簡短回答： 專家註釋員通過四門管道:篩選可覈查的工作歷史和付費樣本,有反饋和無限重取的已知答案資格測試,在達成協議之前對團隊進行校準,直至清清一個已申明的門檻,然後通過隱藏的黃金物品和重複的任務進行永久監測. 自然機器智能研究 14,040幅圖像發現專業的注目者 總是比人羣工作者好
核心重點
- 專業的註釋員的業績始終高於羣衆工作者——在各地設立。 14,040 圖像爲 156 專業人員和 708 人羣工作者, 和再次跨越 57,648 隔開口罩 924 註釋者。
- 已公佈的協議中篩選嚴格: 98% 接受率 1,000–5,000+ 完成的任務甚至還沒有進行資格測試。
- 資格測試應當使用已知的答案,給出詳細的反饋,並允許無限的重取——組合使得舞臺訓練,而不僅僅是過濾.
- 校準是指在協議清除Fleiss's $0.80等聲明欄之前,聯合審查,獨立試點說明和共識討論.
- 說明中的例子大大改進了質量;較長的文字說明根本無法改進。
如何徵聘專家的註釋員?
以已顯示的能力,而不是簡歷——而且越來越多地通過僱用的團隊而不是開放的市場。
提供商模型本身現在是一個證據支持的選擇。 研究將註釋公司與衆包平臺進行比較——基於 57,648 實例分割口罩,來自 924 註釋員和 34 QA 5個供應商的工人發現,註釋公司在產生高質量產出方面比MTurk公司效率更高,將部分差異歸因於直接在共享工作空間中僱用註釋公司的公司。 市場上的頂級供應商 大部分是遵循就業團隊模式,而不是開放人羣市場。
在使用市場的地方,在任何人接觸真實數據之前,用硬的已公佈的協議屏幕篩選。QuALITY數據集將其資格任務限制在工人中,而且其資格要求超過 1,000 接受的任務和至少a 98% 接受率,支付美元5 資格任務加1美元5 圖像研究更進一步,需要 98% 接收率超過 5,000 完成的任務和將徵聘工作分散到各個地點 40 日數,以獲取有代表性的樣本。
聘用的特性很容易被錯過:遵守準則而不作解釋——經過一段細細的敘述,而不是逐漸以個人判斷取代書面規則。 書面溝通也比表面上更重要,因爲對於分佈的團隊來說,書面明確闡明標籤問題的能力是一種操作技能。 以上任何一項都無法取代任務需要的領域專門知識:在適用四個大門之前,而不是之後,醫學成像任務或法律文件審查需要具備基本主題知識的候選人庫。
資格測試是什麼樣子的?
已知的答案,豐富的反饋,以及無限的重取——因爲測試是訓練,而不僅僅是過濾.
A 資格測試 這是一種有名的答案評估,它與專家的地面真相相對應,即候選人在進行現場數據工作之前必須經過。 犬類設計要求候選人在專家已經確定正確答案的項目上工作,然後詳細報告他們的表現。 關鍵是,在點擊-超視線協議中,失敗的註釋者可能會按自己的意願重複多次測試直到通過,通過者被標爲合格,永遠不再重考. 作者們明確表示,將豐富的反饋與無限重複相結合,是使得舞臺成爲有效的培訓機制而不是過濾器——資格測試奏效,因爲有些註釋者對指示不怎麼注意。
門檻應該由經驗而不是直覺來設定。 在一條圖像檢索管道中,50位付費的註釋員首先完成了五點指導調查,說明了標準以及判斷質量的方式,然後得到了精確的反饋、回憶、F1和對被整理的地面真相的虛假陽性/假陰性計數。 註釋員按F1 ≥ 0.5或FP/FN ≤ 6計算合格,其閾值來自校準研究,將高度可靠的註釋員與故意吵鬧的註釋員進行比較——這種設計在顧及自然人類變異的同時過濾粗心大意的工作.
測試設計與門檻一樣重要。 QuALITY的資格通過包括十個問題,其中兩個是故意含糊不清的,具體地說,是爲了檢驗工人是否能夠識別質量低下的物品——這是對判斷的檢查而不是勤勉。
| 門 | 機制 | 文獻中使用的門檻 | 抓到的是什麼? 被抓到的是什麼? 被抓到的是什麼? |
|---|---|---|---|
| 篩選 | 平臺歷史加有償工作樣本 | 98%的接受率; >1,000任務(Quality)或 >5,000任務(成像研究) | 垃圾和低功率申請者 |
| 資格 | 已知的回答測試,包括詳細的反饋和無限的重取 | 例如,F1 0.5或FP/FN 6, 由經驗校準確定 | 錯誤讀取指令; 粗心的提交 |
| 校準 | 試點批次、聯合審查、關於邊緣案例的共識討論 | 排到Fleiss的0.80 ob = 校準集 | 對同一規則的不同解釋 |
| 蜜壺 | 將經覈實的地面真相隱藏在現場工作 | ~10%的查詢嵌入爲隱藏測試例 | 個別的註釋員漂移 |
| 注意檢查 | 重複的衡量判決內部一致性的項目 | 5%重複;如果重複的% 2 與20%的重複相差,則不包括在內。 | 嚴重和不協調 |
| 正在進行 QA | 抽查和持續跟蹤協議 | 5–10% 抽查率; IAA 下級 0.8 觸發審查 | 系統過程和準則失敗 |
協議的放棄 0.8 需要澄清指示的信號準則模糊不清——不更明確 QA 階段。
校準彈如何進行?
每個人都把同一個試驗套裝貼上標籤,討論分歧以達成共識,只有在協議清除了一個已申明的欄杆後,生產纔開始。
校準 是在正式說明開始前,將每個註釋員對同一試驗的判斷轉化爲有分寸的協議。 一份已公佈的乾淨實例分三個步驟:聯合審查,以統一標準,明確解決邊緣案件——包括定義問題,如近誤是否構成侵權行爲;試點說明,所有專家都獨立標註同一套小件;以及協商一致討論,直到 標註員間一致性,最常報告爲 弗萊斯的卡帕,在校準集中達到 0.80。只有這樣,正式的註釋纔開始。
更輕的版本可以執行更簡單的任務:五個練習項目,有參考分數,在主要任務開始前,只用對齊註釋器。校準會話本身也需要注意。 在一項社會影響研究中,第一輪之後的校準會議故意不使用任何實例文本,這樣澄清技術誤解不會污染具體判斷——這是值得複製的微妙之處。
同一研究提供了最有力的證據,證明註釋是培訓。 每個註釋者分三個階段標註了大約205個文本:30個文本預集、174個文本主集、然後從頭到尾的30個文本與郵局集相同、在較短的時間內衡量能力是否爲高質量的工作或同等質量。 將上崗期設計爲可測量的學習曲線,而不是形式化,是將新聘人員變成校準專家的原因.
船一旦被認證,你如何檢測漂移?
有三個獨立的儀器,每個註釋員隨時間而跟蹤——因爲每個都對其他人所捕獲的東西視而不見。
黃金項目 (也叫蜜壺)是一種隱藏的任務,有預先驗證的正確答案,隱性地混入活體工作,這樣就可以在他們不知道哪個項目被打中的情況下檢查一個註釋者的準確性. 成熟方案中的質量如何結合在一起:逐個說明人衡量標準隨時間推移而跟蹤(與共識達成協議、與黃金項目達成協議、速度準確性權衡);保持、定期更新 金色標準集; 隨機審查任務; 直接 QA-方案失敗時:在不擴大質量基礎設施的情況下擴大勞動力規模,過度依賴自動化而無人工驗證,多數人對主觀任務投票,以及支付每任務而不是每小時的費用。
RLHF偏好說明中噪聲通常在真實數據集中超過20%,從而降低校正性能。 這個數字是有用的提醒,認證不是一次性事件:在上季度任務集上可靠的註釋員仍然可以漂移在一個新的任務集上,這就是爲什麼上面的儀器會持續運行而不是僅僅在上任時運行。
兩個設計點還得注意。 首先,監測每項任務的註釋速度和質量:不尋常的速度標誌既包括急忙工作,也包括需要審查的意外複雜項目。 第二,如果一個模型提供預標,則建立明確的反衡——定期校準回合、隨機審查任務和關於嚴格評價建議的直接培訓——因爲審查人員傾向於接受 AI-生成的預標籤 並且沒有經過充分的審查。
但最有影響力的投資是上游投資。 自然機器情報研究發現,將示範圖像納入其中極大地促進了註釋性能,而僅僅擴展文本描述卻絲毫沒有改進,其收益集中在模範也掙扎的模範案件中。 執業指導同意,對 編寫更清晰的準則 有了視覺實例,決策樹和邊緣案例比添加更能帶來更大的改進 QA 訓練得更好,而不是檢查得更多
對於多語種節目,每個門都是按語言設置的,黃金項目、校準裝置和漂移閾值不會跨地方轉移,因爲模棱兩可的情況不同——這就是爲什麼認證的講當地語言的人羣、每語言的金標準以及標準。 特定區域校準 怎麼樣 Lifewood 運行專家註釋 100+ 語言和方言 40+ 跨省服務中心 30+ 國家。 Lifewood的,因爲 培訓方案 應用同樣的層型, 同樣的學科支撐它的 驗證工作 說明一經送達。