簡短回答： "99%的準確性"不是標準;它是沒有分母,沒有任務定義,也沒有背後的審計方法的數字. 真實的註解精度標準每任務類型命名四樣事物:與任務匹配的度量(F1,IoU,字誤率或概率校正協議),閾值,審計方法(樣本大小,誰繪製,金套注射率)以及跌落到下方的後果. 設定下游錯誤成本的門檻,而不是聽起來令人印象深刻的門檻。
核心重點
- 可用註釋準確性標準爲每一任務類型規定了衡量標準、門檻值、審計方法和誤差後果。
- 單一的準確度百分比沒有分母,沒有錯誤類型分解,也沒有機會校正,因此在對象級別上,同樣的交付率可以達到95%,在幀級別上可以達到0%.
- 門檻應沿用下游錯誤的成本:安全關鍵感知和產品標記不配有同樣的條。
- 審計樣本大小隨所需精度的平方而增長,因此錯位比差減半,使審計成本四倍,罕見錯誤類需要分層抽樣.
- 低級的註釋者協議通常會發出模棱兩可的準則而不是差的註釋者,這是最早的可用警告,即分類學需要固定.
爲什麼一個精確百分比就意味着什麼?
單一準確率意味着什麼,因爲它從未說明什麼是衡量的,在什麼樣本上,由誰判斷。 註釋合同通常都規定質量百分比,其他的也一樣;雙方都簽了字,分歧就到了第一批有爭議的貨物。
註釋精度標準是書面的規格,按照任務類型,標註了衡量標準,門檻值,審計方法以及低於它的後果. 完全百分比在三種具體方面都未能達到這一定義。
無分母. 準確度: 每件物品、 每件物品、 每件屬性、 每件框架 ? 包含 40個有兩個錯誤的物體的幀值在對象級別爲95%, 在幀級別爲0%。 這兩個數字都是可以辯駁的, 它們支持相反的結論 。
無錯誤類型分解 。 完全集中在一個罕見的類中,3%錯誤的數據集對於模型來說比3%分佈均勻還要糟糕,在標題圖上是相同的.
無法糾正。 有關不平衡的任務,多數人對原始協議的誇大。 兩個標註95%負數據集的註釋者可以同意95%的時間,而完全不區分。 科恩的卡帕是一個偶然修正的協議統計, 衡量兩個評級人同意的 超過隨機標籤會產生。 由雅各布·科恩於1960年提出,計算如下:
Cohen's kappa = (Observed agreement − Expected agreement) ÷ (1 − Expected agreement)
近乎0的Kappa 與95%的原始協議是經典的簽名,它並不體現在任何只規定“準確性”的合同中。 註釋者間協議:科恩的kappa和克里彭多夫的alpha.
每項任務應使用何種準確度衡量標準來說明SLA?
衡量標準應該與任務相符:F1具有單獨的精確度和檢測和提取回溯度,IoU用於箱和立方體,文字錯誤率,以及判斷任務的機會校正協議統計。 一個混合的全程序數字比不上任何東西。
| 任務類型 | 指標 | 報告爲 |
|---|---|---|
| 偵測、提取 | F1,精確和分別召回 | 每個類,加混淆矩陣 |
| 立方體, 立方體 | iOU 在一個規定的閾值 | 分別用於近距離和遠距離 |
| 分塊 | 平均線性 | 每班,從不只看 |
| 追蹤 | 每個序列的身份交換器 | 序列級別, 不是幀級別 |
| 譯名 | 字錯誤率, 並附帶一個已聲明的公約 | 每種語言和聲學條件 |
| 分類 | F1級/每類 | 帶有混淆矩陣 |
| 排名,偏好, 和 RLHF | 概率修正協議 | 每個任務家庭 |
| 感性、意圖、溫和 | 科恩的卡帕或克里彭多夫的α | 按政策類別 |
兩種慣例必須寫下來,或者衡量標準在供應商之間不具有可比性。對於抄錄:哪些是差錯、數字、密碼轉換和適當的名詞。對於檢測:如何處理短、閉和模糊的對象。 自動驅動數據註釋要求.
合同中,精確度和召回率幾乎永遠不應單是倒塌爲F1。 溫和的管道不能錯過侵權行爲,不能過度移動,而必須精確。 國家優先,並另定底線。
如何確定準確性閾值?
錯誤的後果導致工作倒退,而不是野心。 標籤的下游使用決定了酒吧的高度,並支付各地廢物預算最高的酒吧,這是困難情況所需要的。
| 下游使用量 | 典型欄 | 理由說明 |
|---|---|---|
| 安全關鍵觀念 | 最高的,每層樓都是稀有的 | 系統錯誤成爲安全故障 |
| 示範評價和基準 | 很高,你喜歡嗎? | 這裏的錯誤會損壞從基準中所做的每個決定 |
| 基金會-示範培訓機構 | 高在上的一致性,容忍一些噪音 | 卷數部分平均隨機錯誤; 系統錯誤不平均出錯 |
| 產品元數據、標記、搜索 | 中度 | 錯誤是可見的, 並且可以便宜地糾正下游 |
| 探索性或內部分析 | 下調 | 重修費用超過精度值 |
對所有這些區別的區別: 隨機錯誤被體積稀釋;系統錯誤被其放大. 準則模糊性使每個給同一案件貼上同樣錯誤標籤的註釋者不會平均得出;它教模型一條規則。所以,門檻值應該與錯誤必須被設定的要求對齊。 特性。一個沒有錯誤類型的供應商報告錯誤率,報告的是測量的一半。
如何設計質量審計?
4項裁決屬於合同:誰提取樣本,其規模有多大,衡量是連續的還是交貨時,以及誰裁定糾紛。 留任其中任何一項裁決待解決,後將第一次分歧轉變爲商業爭論。
誰畫標本. 如果供應商選擇審計樣本,審計會衡量供應商的選擇,樣本選擇應當隨機,由你省抽取或可覈實.
樣本有多大? 對於一定的置信度和誤差幅度的比例估計,標準公式爲:
n ≈ z² × p(1 − p) ÷ e²
地點 z 信心乘數(95%爲1.96), p 估計誤差比例,以及 e 需要的樣本隨您想要的精確度的平方而增加,因此將誤差率減半,使審計成本四倍;以及 估計 罕見 錯誤類精確地要求比估計總體速率要大得多的樣本. 稀有類通常需要定向分層抽樣,而不是更大的隨機抽取.
連續或交貨時。 黃金套注是將已知的答案投放到活注工作上,以規定的速度進行,以便連續而不是隻在投遞時衡量質量。 檢查在批量結束時進行,而重修費用最高。需要兩種方法:注射控制,門口審計接受。 黃金套、審計抽樣和共識.
由誰裁決糾紛. 需要前指定程序:由第三審審閱員、商定的仲裁人和指定的窗口重新審計。沒有這個程序,第一個真正的分歧就變成了商業爭論,而不是技術爭論。
說明中的質量條款應是什麼 SLA 包含 ?
可行的質量條款有六個部分:任務定義和準則版本、每個任務類型的衡量標準和門檻、審計協議、接受和拒絕規則、一個根源要求以及改變管理。 任何一種版本的模糊版本都是爭端的起源地。
- 任務定義和準則版本。 質量只能比照特定準則版本來衡量。 版本的更新在這裏不是行政間接費用;而是可交付品的定義。 如何編寫準則說明人可以實際應用的內容包括在 撰寫註釋準則.
- 每個任務類型的計量、閾值和分母包括每個等級的樓層,其中稀有等級很重要。
- 審計協議:樣本大小和選擇方法,金套注射率,誰操作,產生什麼證據.
- 接受和拒絕。 低於門檻的批次會發生什麼:完全重修、部分重修或信用接受。 國家重修的週轉,因爲時間影響通常是更大的成本。
- 根因須. 門檻以下的批次觸發書面原因分析和準則或訓練變化,而不是默默的重做。這是將供應商轉換成夥伴的條款。
- 改革管理. 如何版本化中項目分類學變化,先前的數據是否重新貼上標籤或標記爲早期版本,誰付費,以及之後如何重新建立質量基準.
增加兩項保護條款,這些條款在簽字時費用低廉,以後不可能獲得: 按語文或按類別分列的報告 而不是總和,以及 保留審計證據 這些條款與較廣泛的選擇清單放在一起,在合同有效期內加上商定的期限。 9項選擇AI註釋服務的標準.
一個好賣家應該推什麼回去?
供應商接受你提出的每個數字,卻不是一種方便,而是一種警告。 良好的供應商質疑特定類別、無法發現罕見錯誤的樣本大小和模糊不清的準則。
合理的回推聽起來像:
- “這個門檻是可以實現的,而不是在這個階級;這就是爲什麼,而我們建議的結果。”
- “樣本大小不會發現一個稀有類1%的錯誤率; 你需要分層取樣。”
- "你的準則對此案含糊不清,協議將封頂,直到解決".
第三件是賣家能告訴你的最有價值的事情 低級的註釋員協議通常意味着準則含糊不清,而不是說明註釋員很差,這是最早的可得到的信號,即分類學需要先加以修飾,然後才能將整批的分類標註爲不一致。 AI數據註釋公司前10名 他們處理的方式有很大不同。
怎麼樣 Lifewood 設置註釋質量標準嗎 ?
Lifewood 界定每個任務在範圍界定時的質量標準,而不是在整個方案內適用一個單一的混合數字,因爲適合立方體的衡量標準不符合抄錄標準,也不符合 RLHF 優先排序。
由此可選擇兩種操作方法:通過金套注射而不是僅在交貨時持續測量質量,因此漂移是在幾天之內而不是在批量接近時捕獲的。 Lifewood已公佈的標準是 95%+ 準確率 SLA 備註a 95%+ 標註員間一致性門檻 對照客戶覈准的黃金套數計量, 兩份獨立審查證 和時間戳式批准記錄; AI 數據驗證 頁面。
勞動力是在自有的交付中心管理,而不是在人羣中,這對標準來說特別重要,因爲穩定的團隊是使每個語言、每個階級的協議數字隨着時間而有意義而不是對任何人的一絲不苟。 LLM 數據包括: RLHF 評估 100+ 語言、計算機視覺、語音和NLP、對話AI、內容節制和現場收集,來自 40+ 跨省服務中心 30+ 國家 與 56,000+ 登記繳款人。全範圍 AI 數據服務 服務頁面上列出。