簡短回答： 九個標準決定AI數據註釋夥伴是否將維持在基礎模型上:確定的質量衡量(金集和註釋者之間協議,而不是聲稱的準確百分比)、模式適合、勞動力模型和註釋員保留、吞吐量和坡道行爲、多語種和低資源覆蓋, 質量計量是標準購買者最常沒有進行詳細說明,也是最能預測重做工作的標準。
核心重點
- 無分母的質量索賠,如"99%的準確性",不是衡量;需要金套協議和任務匹配的度量標準,如F1,IoU,字差率或概率校正協議.
- 勞動力模型比工具預測的質量穩定性要強:在擁有的中心管理下的勞動力保留了開放人羣反覆支付的學習曲線.
- 有效吞吐量是交付的物品乘以第一通道驗收率;供應商交付 100,000 每週項目數 70% 接受爲a 70,000- 供應商收取 100,000.
- 多語種的覆蓋範圍應當作爲每種語言的母語註釋員人頭數,位置,而不是作爲支持語言的數來衡量.
- 付費的幾千項試驗,包括最困難的個案和至少一種困難的語言,揭示了任何提案都無法做到的坡道行爲和升級質量。
爲什麼買AI的註解服務容易出錯?.
購買註釋很容易被錯誤所理解,因爲可交付品看起來是否好都是一樣的。 貼有標籤的數據集如期到達,通過抽查,數月後,其內部錯誤的成本會作爲模型浮出水面,在標籤最弱的區段表現不佳。
下面的九項標準是演示後分拆供應商的標準,它們被寫成RFP結構,每個下都有特定的人工活性,它們自然地與一個配對. 說明供應商合併和RFP指南 將若干供應商作爲一次性比較。 大型AI數據註釋公司 是一個合理的起點;標準是如何縮小範圍。
1. 供應商的質量衡量是否確實得到界定?
“ 99% 準確性” 不是一個質量要求; 它是一個沒有分母的數字。 問它指的是哪一個衡量標準, 因爲候選測量標準測試不同的東西, 並且在同一數據集上有很大的不同 。
| 措施 | 告訴你什麼 | 什麼時候需要它 |
|---|---|---|
| 黃金套精度 | 與一套可信的參考文獻達成協議 | 總是; 基線檢查 |
| 公證員協議(IAA) | 是否兩個主管人員在同一物品上標註 | 任何主觀或判斷繁重的任務 |
| F1/精度/對黃金的召回 | 檢測質量, 按錯誤類型分隔 | 探測、分解、提取 |
| iOU 閾值 | 箱和口罩的幾何緊湊度 | 計算機視覺 |
| 字錯誤率( WER) | 譯文質量 | 發言 |
| Kappa / Krippendorff 的α 數據 | 協議經修正後以獲得機會 | 感官 排名 溫和 RLHF |
一套黃金是值得信任的專家貼上標籤的參考樣本,根據該參考樣本,供應商的例行產出會獲得分數。 註釋者間協議(IAA)是指兩個或兩個以上主管的註釋者獨立標註同一物品,產生相同標籤的程度.
機會的校正比聽起來更重要。 在一個二進制任務中, 原始協議可以看起來很好, 而機會校正的數字則顯示, 註釋者幾乎無法區分任何東西:
Cohen's kappa = (Observed agreement − Expected agreement) ÷ (1 − Expected agreement)
F1 = 2 × (Precision × Recall) ÷ (Precision + Recall)
科恩的卡帕(英語:Kehen's kappa)是由雅各布·科恩(Jacob Cohen)於1960年推出的,用於名義上的兩類評分;克里彭多夫的α將這個想法概括到任意數量的評分,缺失的數據和幾種比例類型. 數字在Kappa和alpha後面算算, 以及數字是什麼意思 在一個門檻進入合同之前 值得理解
要求什麼: 用於測試一個類似項目的數據。
問會怎樣? 下級 界定的重修政策,涵蓋誰付費、在何種情況下付款以及如何將根源反饋到培訓中,將供應商與分包商分開。 三種不同的方式 QA 附加說明的數據,成熟的供應商可以解釋其中哪一個使用它的任務。
2. 供應商是否適合你的方式和任務?
註釋不是一種技能,在LiDAR中,2D邊框的強商可能很弱,而強商可能根本沒有RLHF的操作。用供應商按量提供的方式來繪製你的實際需要。
- 計算機視覺:2D/3D 邊框,語義和實例分割,鍵位,跨幀跟蹤,LiDAR點-雲和傳感器-聚變標籤.
- 發言和錄音:轉寫,揚聲器的對稱,語音標籤,音標,口音和方言的覆蓋.
- 文本和 NLP:實體識別,意向分類,情緒,概括質量.
- LLM 和 基因組學:RLHF偏好排名,SFT演示寫作,紅調,響應評價,數據蒸餾.
- 內容節制:政策在規模上應用,同時附帶福利因素。
請求在其中提供參考項目 打開 模式, 時間 打開 。相鄰的經驗比大多數類別的信號要弱得多。
3. 供應商採用什麼樣的勞動力模式,是否保留了註釋員?
勞動力模式比工具更能決定質量穩定性。 現有三種大模式,大多數企業方案都需要一支有專業承包商組成的管理型勞動力隊伍,以進行審查。
| 型號 | 強 力 | 弱點 |
|---|---|---|
| 人羣開放 | 彈性,廉價,快速開始 | 高調, 域任務薄弱, 可變 IAA |
| 管理自有中心的勞動力 | 可訓練、可保留、可審計、安全 | 慢慢地發展成全新的技能 |
| 專家承包商 | 深域權限 | 消耗性有限吞吐量 |
揭示真相的問題: "你對一個我們長度的項目的 註釋員保留率是多少, 當項目組翻轉時, 質量會怎樣?" 每個複雜的分類學都有學習曲線; 一個高通量的銷售商 反覆支付曲線, 你支付它 重修。
4. 斜坡和高峯期的吞吐量如何表現?
穩態吞吐量是容易的數字;坡道時間、高峯行爲和平行限制是重要的數字。要求有效吞吐量而不是交付量。
- 傾斜時間 以您的體積達到完全質量, 包括有吞吐量的時期, 但是IAA還沒有穩定。
- 峯舉舉. 6個星期的三倍量會怎麼樣?質量軌跡審查員的負載, 大約有一個週期的滯後。
- 平行主義的限制。 有多少不同的任務可以同時運行而不競爭同一個訓練有素的人才庫?
Effective throughput = Items delivered × First-pass acceptance rate ÷ Cycle time
有效吞吐量是指交付的物品數量,乘以第一通道的接受率,除以週期時間. 供應商交付 100,000 每週項目數 70% 接受爲a 70,000- 供應商收取 100,000,這也是爲什麼 大規模註解費用 應在接受的項目上進行比較,而不是標題單價。
5. 供應商是否涵蓋貴國的語言,包括資源匱乏的語言?
對於基礎模型工作,語言覆蓋往往是約束性的制約因素,每個供應商都涵蓋英語、普通話、西班牙語、法語和德語;節目由泰國、越南、印度尼西亞巴哈薩、塔加洛格、孟加拉語、斯瓦希里語、阿拉伯語方言和遠尾音決定。
測量覆蓋範圍爲 每種語言的本地語言代表人數, 位置, 而不是支持語言的計算。 對於語言工作, 特別要詢問語言內部的方言和口音覆蓋: 完全基於河內語的“ 越南” 能力不是越南語的通用覆蓋, 由此形成的模型將顯示它。 管理中 低資源語音數據 之所以存在這些方案,正是因爲這一長長的尾巴無法從通用名冊中找到。
資源匱乏的語言有第二個要求:供應商需要一種來源方法,而不僅僅是一個名冊。 問他們如何以他們目前沒有覆蓋的語言招聘和驗證發言者,以及需要多長時間。
對於基礎模型培訓數據,覆蓋面和一致性比原始數量更重要,一個內容廣泛、語言、方言、人口和邊緣案例都一致地標註在經版本的準則之上,其業績超過了從最容易來源收集的更大內容。 問任何潛在的供應商如何衡量覆蓋面,而不只是他們能提供多少。
6. 供應商是否具備執行專家任務的專業領域專門知識?
醫學成像,法律,金融,工程和安全關鍵驅動情景需要理解內容的註釋員,而不僅僅是工具。 詢問域評人如何獲得資格,資格是否經過覈實或自我宣佈,當註釋員不確定時,升級路徑是什麼。
升級路徑是信息部分. 一個沒有定義“我不知道”路線的程序會產生自信錯誤標籤,這些標籤比漏洞更具破壞性,因爲它們在接受檢查中是看不見的。
7. 供應商如何處理安全、隱私和數據儲存?
要求證據,而不是徽章。每個安全索賠都應該用文件、指定設施或指定子處理器回答。
- 數據儲存和處理在何處,而且工作可以限制在指定的法域或特定設施?
- 哪個子處理器觸摸它,他們的名字?
- 物理控制 安全的房間,沒有個人設備,沒有可移動的媒體。
- 訪問模式: 最少特權,輪換時撤銷,審計日誌.
- 證書: 要求證書和範圍說明,而不是標誌. ISO/IEC 27001證書只涵蓋其範圍描述的信息安全管理系統,因此覆蓋一個企業總部的證書對完成你工作的送貨中心沒有任何說明.
- PII 處理和刪除路徑 ,在項目結束時,確認。
該 企業說明的安全、隱私和合規要求 更深入地運行於這個覈對表,但不能清楚回答這六點的供應商也不會回答更深點的供應商。
8. 由誰的工具來操作工作,數據如何移動?
有兩個可行的模式:供應商的平臺,或者你的平臺由員工操作。 兩者都很好;模糊性不是。
澄清誰擁有註釋工具,你的團隊是否在讀取正在工作,以及數據的實際移動方式:格式,計劃版本,API或批量傳輸,以及中項目分類學變化如何傳播.
詢問供應商能否運作 打開 。一個只能在自己的平臺內工作的供應商,將產生您在簽名時同意的轉換成本。
9. 供應商如何管理變化、邊緣案件和爭端?
治理是將兩年夥伴與單一項目供應商分開的標準。 它涵蓋了分類學變化的版本、模糊項目去處、準則由誰擁有以及如何解決對一個批次的分歧。
- 分類學變更管理. 真實項目更改中空定義 。 詢問修改的版本是如何的 , 先前標籤的數據是重新標記還是標記爲先前的版本, 以及誰付費 。
- 邊際案件處理。 模糊不清的項目在哪裏,誰作出裁決,決定如何成爲準則更新而不是部落知識?
- 準則所有權。 寫、改版、分享 還是在項目經理的頭上?
- 解決爭端。 當對批次是否與譜面相遇有分歧時,在成爲商業爭論之前,過程是什麼?
如何權衡這九項標準?
重量質量衡量最高,爲20%,然後是模式,勞動力保留和多語種覆蓋分別爲15%和10%,而吞吐量和保障率爲10%,其餘三個爲5%。 加權是調整約束性的起始框架,而不是普遍排名。
| 標準 | 權重 | 請求的藝術 |
|---|---|---|
| 質量衡量 | 20% | 每項任務的質量定義、金套協議、最後一個季度數字 |
| 方式和任務適合 | 15% | 引用您音量模式中的參考項目 |
| 工作人員隊伍模式和留用 | 15% | 留任率;團隊更替的質量行爲 |
| 吞吐量和坡道 | 10% | 徑向曲線; 峯值行爲; 有效吞吐量 |
| 多語種覆蓋率 | 15% | 每種語言的註釋人人數,包括地點 |
| 領域專門知識 | 5% | 資格認證方法; 升級路徑 |
| 安全和居住 | 10% | 附有範圍說明的證書;居住選擇 |
| 工具和整合 | 5% | 格式和計劃處理; 運行工具的能力 |
| 治理 | 5% | 準則的制定;分類變化和爭議程序 |
試運行一個付費的實驗,然後投入量,覆蓋數千個項目,包括你最難的邊緣案例和至少一種困難的語言,並在同一個框架上給實驗者評分。 試運行顯示坡道行爲和升級質量,而沒有任何建議能夠做到。
怎麼樣 Lifewood 採用這些標準?
Lifewood 通過在自有的交付中心管理下的勞動力而不是開放式人羣來提供註釋,這是適合長期實施的方案和複雜的分類模式,因爲學習曲線一次性支付並保留。
範圍包括上述模式:LLM工作,包括RLHF、SFT和響應評價;計算機視覺,包括2D/3D盒、分區和自動駕駛和醫療成像的鍵點;語音和NLP,包括多語種的轉錄和帶有低資源語言和區域方言特色的語音標籤; 對話-AI培訓數據;內容節制;以及現場數據收集。 AI 數據服務 以兩個獨立審查證衡量,SLA的準確度爲95%。
多語種的立場是結構立場:100+語言,30+國家的40+交付中心,以及擁有56,000+註冊捐款人的全球集合,其中區域本土說明人而非遠程近似。 AI-數據傳統延續到2004年;聘用範圍包括前沿模型實驗室、語音AI開發者、AI計算供應商、計算機視像供應商和自主移動方案,客戶身份通過協議予以扣留。