簡短回答： 這些都是兩個獨立的決定,它們被捆綁在一起。 積極的學習決定了哪些沒有標籤的項目需要發送註釋; 預標籤決定了註釋者在物品到達時所看到的。 預標籤上的證據是真實積極的 — 一個臨牀的。 NER 研究:計算節省的時間 13.85–21.5% 每一個在協議或註釋人業績方面沒有統計上顯著差異的實體——但有一個關鍵的告誡:在僅人性錯誤是隨機的情形下,在預先註釋工作流程中存在的錯誤是系統性的,協議分數可能過分強調質量,正因爲每個註釋人都看到了同樣的建議。
核心重點
- 主動學習選擇要註釋的數據; 預貼標籤會塑造註釋者所看到的。 這些數據會以不同的方式失敗, 應該單獨評估 。
- 預注已保存 13.85–21.5% 說明時間的計算 1,400- 臨牀證明 NER 與《公約》的 內部 審計員協議 93.4–95.5% 並且協議或業績方面沒有統計上的重大差異。
- 在依賴語法註釋上,前注增加了一致性,而未降低質量;早期的彭恩樹銀行工作在時間,協議和準確性上也發現了類似的收益.
- 當每個註釋者看到同樣的模型建議時,協議分數可能會誇大質量,因爲接受一個建議的人不是獨立的佐證.
- 預注錯誤是系統性的,而僅人性的錯誤是隨機的,所以預注錯誤在平均情況下存活,而不是衝出.
- 模擬在主動學習循環中定位和相關認知偏差,與一個無偏見的參考案例相比,模型準確性顯著下降。
爲什麼從標籤前的篩選中分離出來?
因爲它們在相反的方向上失敗:一個是數據集中存在的示例,另一個是這些示例上的標籤所說的話。
積極學習 這是一種培訓戰略,通過提名它預期從最優的無標籤項目,即通過不確定性抽樣——通過如何不自信地劃分現有模型的等級,以及發送最不自信的標註項目——得到貼標的樣本,使模型達到高度準確度,並減少標註實例。 標籤前 (也稱預注)是經過訓練的模型先進行推論的單獨步驟,註釋者接收一個人口稠密的屏幕來接受,糾正或拒絕而不是空白的屏幕. 兩者在大多數的人在"Loop"管道中結合得很好,但一種主動學習策略,過度標註特徵空間的一個區域,生成一個不再代表基礎分佈的訓練集,而一個被潛移錯誤的預標籤則產生一個從未獨立考慮過的註釋者標籤. 對方的衡量標準中都沒有出現失敗,這就是爲什麼團隊建立可重複的 人類在學習 過程測試兩個階段,對照不同的檢查。
預貼標籤什麼時候真正有用?
在數量大、規格明確的任務方面,如果已經存在一個合格的模型,而衡量的收益是真實的而不是假設的。
最大的證據來自 JAMIA 研究建立金本位的 1,400 隨機選擇臨牀試驗公告,診斷,標註,症狀和臨牀代碼的雙倍說明,從詞典方法中提取預注,並使用. F-措施, ANOVA 發現前註解時間縮短了 13.85–21.5% 每個實體 標註員間一致性 衡量兩個獨立註釋者如何一致地標註同一物品——持有率在93.4%至95.5%之間,沒有統計上顯著的偏差效應。
第二項研究就一項更艱鉅的任務得出了一致的結論. 分析依賴語法註釋——中層複雜,預加說明的高精確度解析器——研究者發現,預先註釋是加快人工註釋的有效工具,可以提高所生成註釋的一致性,同時又不降低其質量. 先前的彭樹銀行工作也指出了同樣的方式,半自動方法在顯著縮短註釋時間的同時,也增加了協議和準確性。 標註員間一致性 將這些結果與以下的警告一併讀作質量信號:效率案例得到很好的支持,但細微之處在於“質量”實際用什麼來衡量。
他們什麼時候會偏向數據?
當基本模型以一致的方式自信地錯誤,當註釋者之間的協議是唯一使用的檢查.
| 標籤前的幫助當... | 標籤前偏差當... |
|---|---|
| 任務非常明確, 標籤集很穩定 | 模式在分組上是系統性錯誤的 |
| 已經存在一個勝任的模型或詞典 | 任務主觀——情緒,毒性,偏好. |
| 作品量大且重複 | 人煙屏上看不到缺失的間隙或遺漏 |
| 錯誤是顯而易見的——一個錯誤的跨度是顯而易見的 | 每個註釋員都覺得有同樣的建議 |
| 監理員被訓練拒絕,不只是接受 | 質量僅由協議判斷 |
兩項調查結果值得一併閱讀。 首先,測量問題:研究從預先說明中推斷出高質量往往通過雙方的校對協議來衡量,當多個前說明受到相同的預先說明的影響時,這些校對協議可能會高估質量——兩個註釋者都同意,因爲他們都接受了相同的模型建議,並不是獨立的佐證. 第二,錯誤形狀問題:預先註釋工作流程產生的錯誤遵循了更系統的模式,而僅由人來註釋的錯誤往往更隨機,隨機錯誤在整體上衝洗,而系統錯誤直接傳播到訓練過的模型中。這與人類的註釋的區別是一樣的。 黃金套、審計抽樣和共識 檢查是爲了抓捕,因爲沒有一個只依靠協議。
記錄了背後的認知機制。 人類的“即時”審查不是中性的過濾器;註釋者本身帶有認知偏見,而人氣屏幕邀請 鎖定 —— 偏重第一個建議的趨勢是獨立看待而不是推理. 模擬一個在真實的胰腺癌數據集上積極學習的循環中鎖定,賭徒的謬誤和後悔的反感發現,相對於一個沒有偏見的參考案例來說,分類性能明顯惡化.
接下來你應該如何選擇什麼來做筆記?
精心設計,有與任務相匹配的選拔策略,並進行長期檢查,確定所選集仍然與它要代表的世界相類似.
| 戰略 | 如何選擇 | 風險 | 判決 |
|---|---|---|---|
| 隨機取樣 | 統一從游泳池 | 效率低下——預算用於模型已經處理的例子 | 基線和控制 |
| 不確定的取樣 | 模型信心最低; 靠近決定邊界的點 | 採樣過多或不足的地區,製作一套沒有代表性的培訓 | 高效但可觀察的覆蓋 |
| 多樣性/基於梯度 | 批量選擇在信息與空間分佈之間保持平衡 | 更多計算;仍然無法保證分組覆蓋 | 更好的批量標籤 |
| 混合+半監督 | 正在運行的查詢加上未加標籤的數據摺疊回學習 | 增加的管道複雜度 | 證明可以減少抽樣-偏見的影響 |
這裏的證據不是片面的:一項經驗研究發現,使用從深層模型中強力抽取的後方演算法來進行主動的選集,以進行抽樣偏差,並查詢大小和戰略選擇,這與先前的文獻相反——因此最安全的方法是在你自己的數據上測試不確定性取樣,而不是假設結果中的任何一種。
複合風險值得簡單地命名。 主動獲取假設它收集的標籤是健全的,但許多主動學習應用程序依賴於人類生成的標籤,這些標籤極易產生偏差,並且研究在標籤偏差文件模式下的積極數據獲取,其中更多的數據導致模型誤入歧途而不是改進這些模式。 量並不糾正有偏見的選擇規則;它鞏固了它。一個針對多語種方案的具體警告:一種用於預貼標籤的模式幾乎總是在資源較少的語言中表現更糟糕, 因此,在高資源語言中節省時間的同樣工作流程,可以悄悄地將註釋者放在其他地方的差建議上——這就是爲什麼在啓用預先標籤之前,先進行每個語言的模型評價,再配以本地語言的評語,對於 低資源語音數據收集 和文字一樣
在實踐中,有5個檢查抓住了上面大多數失敗模式。在信任前按類和分組評估前標籤模式的錯誤配置 — — 總體精確度爲92%的模型可以準確度爲40%。 從頭到尾按一個盲點控制集,沒有建議,所以錨定有可以衡量的東西。 跟蹤接受率作爲警告信號:接近100%的速率通常意味着註釋者停止審查模型而不是該模型變得優秀。 在混合中保留一個隨機切片,同時保留一個具有代表性的、沒有偏見的評價集。 完全爲了主觀任務而關閉預貼標籤——情緒、毒性和偏好判斷是錨定最能造成傷害並顯示最少的地方。 交付前分層質量控制數據到達客戶面前的黃金組之前 數據組也是基礎 AI 數據驗證 和爲 企業 LLM 培訓.