簡短回答： 註釋者協議衡量人們如何一致地給同一數據貼上標籤。 兩大指標是科恩的卡帕(kappa),它糾正了兩個註釋者偶然分享份額的原始協議,以及克里彭多夫的α(它向任何數量註釋者概括),容忍缺失數據,並跨計量類型工作。 兩種度量衡都從0到1,但計數的閾值取決於任務,兩者都測量可靠性,不正確,不認同真理.
核心重點
- 原始百分比協議偶然被誇大;kappa和α正確。
- Cohen的kappa在名義類別上處理兩個正名的註釋員,從所觀察的協議中減去預期的機會協議.
- kappa悖論:即使註釋者一致,但扭曲的標籤分佈也會產生低的 kappa,因爲預期的機會協議已經很高了.
- Krippendorff的α處理任意數量的註釋器,容忍缺失的數據,並跨名義,正文,間隔和比例尺度工作.
- Landis和Koch(1977年)將0.61至0.80作爲實質性協議,0.81至1.00作爲幾乎完美的協議;Krippendorff建議0.800作爲可靠結論的底線.
爲什麼原始百分比協議還不夠?
原始協議是不可靠的,因爲機會會誇大其詞,而概率通脹是衡量可靠性的衡量標準旨在衡量過去的確切問題。 概率校正協議是任何衡量標準,如kappa或alpha,在報告究竟有多少實際協議存在之前,通過猜測來減去兩位註釋者所達成的協議。
想象一下,兩個註釋者將90%的物品歸爲A類的二進制分類任務。 兩位註釋者每次猜測A類就能得出81%的原始協議,而從未接觸實際數據。原始百分比看起來是合理的。協議毫無意義。
科恩的卡帕是用來解決的基礎問題。 雅各布·科恩在1960年引入了卡帕統計,專門衡量兩位精神病診斷師之間對病人症狀的評級,糾正了誇大原始百分比協議分數的基數概率協議。
同樣的通貨膨脹問題出現在多語種註釋中。 一個在一個標籤類別占主導地位的數據集,在情緒、毒性和意圖分類任務中很常見,即使註釋者在標籤上的應用不一致,也會產生很高的原始協議。 法學碩士的多語文培訓數據 經常地出現這種情況,因爲一旦一個體格跨越許多語言,標籤的分發就很少保持平衡。 機會校正的衡量標準就是揭示這一點的衡量標準。
Cohen的卡帕實際上算什麼?
科恩的卡帕(英語: 觀察協議是否高於機會與唯一高於機會的協議的比例是兩個註釋者之間的最大可能協議。 它回答:不可能偶然發生的協議,實際做了多少?
公式是直截了當的。 Kappa 等於觀察到的協議減去預期的協議,除以一個減去預期的協議。 預期協議是從每個註釋者的標籤的邊緣分佈中計算出來的:如果註釋者A標籤爲60%的正標項目,註釋者B標籤爲55%正標項目,那麼預期的機會協議是兩個獨立評級人在這些分佈下在同一標籤上着陸的概率.
Cohen的kappa的值從負1(完美分歧)到1(完美協議),0表示機會級協議.
值得了解的關鍵限制:
Cohen的kappa是完全針對兩個註釋者. Fleiss的kappa將它擴展至多個使用相同公式結構的註釋者,但它要求每個註釋者給每個項目貼上標籤. Kripendorff的α在Fleiss的kappa不適用時被使用,例如對於變量的註釋子集,其中並非每個項目都是由同一人註解的.
Kappa 對標籤分發很敏感。 這是 kappa 悖論: 標籤分配扭曲的圖案將卡帕推低,儘管註釋者是一致的,因爲預期的協議很高,而且沒有太多餘地讓觀察到的協議超過它。 在一個嚴重扭曲的任務上,0.40的卡帕可以代表與平衡的0.70的卡帕相同的根本一致性。
它只按標準形式衡量名義類別。 標準尺度、連續評級和跨度需要不同的處理,這是一個大原因。 NLP 的文本註釋 程序常常會移動到alpha,一旦任務混合了類別類型。
克里彭多夫的阿爾法是什麼 你什麼時候用?
克里彭多夫的阿爾法 數據是所有數字的註釋者、容忍缺失數據、在名義、正數、間隔和比例尺度上發揮作用的,是概率校正的可靠性衡量標準。 在大註釋管道中,它幾乎總是正確的選擇。
Klaus Krippendorff於1970年開發了α,用於通信研究中的內容分析,其中多個編碼器將媒體內容分類. 他2004年的正規化將α設定爲最通用的可靠性度量衡,處理任意數量的編碼器,缺失的數據,以及多個測量水平,所有現實世界註釋項目中常見的條件.
阿爾法的計算方式是:一減觀察到的分歧與偶然預期的分歧之比。 與kappa的關鍵區別在於α使用一個可以適應測量尺度的統一分歧函數:相鄰的正弦類之間的分歧比極端類之間的分歧加權少,間隔距離對連續的評級的尊重,名義上的分歧對所有不匹配的處理是平等的.
Alpha是一個數據集級的度量衡,對於混亂的、真實世界的數據集特別有用,因爲並非所有的註釋者都對每個項目進行評分——情況最糟。 人類在“LOOP”註釋 一旦工作分佈在一個大貢獻者池中,管道就實際投入運行。
使用 Cohen 的 kappa 來進行精確的兩種註解, 標稱類別, 雙向可靠性檢查。 當兩個以上註解器都標註了每個項目時, 使用 Fleiss 的 kappa 。 使用 Krippendorff 的α 來處理其他所有問題: 大型池中部分重疊、 平面或連續的縮放、 缺少數據, 或者當單個的度量值需要跨任務結構的可比性時。 在多語言註釋中, alpha 幾乎總是正確的選擇, 因爲註釋者指派很少是統一的 。
你怎麼讀數字?
閱讀數字時要對照任務,而不是對照一個單一的通用切入. 公佈的閾值來自Landis和Koch(1977年)的kappa; Krippendorff自己對α的指導比較保守.
科恩的卡帕:0.0到0.20是微弱的,0.21到0.40是公平的,0.41到0.60是中度的,0.61到0.80是實質性的,0.81到1.00是幾乎完美的協議。 根據倫道夫(2008年)的替代公約,0.40是差的,0.40到0.75是中間到好的,0.75和以上是極好的。
Krippendorff建議謹慎地將0.667的α以下的數據和0.800以下的數據視爲不可靠,以得出結論,儘管可接受的水平取決於任務。
0.60的卡帕表示不同任務的不同內容。對於模糊邊緣病例的毒性分類,即專家語言學家對相同實例有不同意見,0.60可能反映真正的任務困難而不是註釋器故障。對於明確的二進制類別,0.60將引起關注。這就是爲什麼出現這種情況。 AI 數據驗證 進程應報告每個類別細目和混淆矩陣,並附上標題數字,因爲這些顯示分歧的存在地點,而不是存在多少。
分歧到底告訴你什麼了?
分歧告訴你任務在哪裏模糊,準則在哪裏不明確,有時是類別本身錯誤。它不僅是失敗,而是信息。
對100多份NLP數據集文件中的註釋質量做法的分析發現,質量保證通常報告不足,大多數論文都報告一個標題IAA數字,沒有按類別分列,顯示哪些標籤引起分歧,這掩蓋了真正能改進數據集的信息。
系統分歧通常有三件事要表明:
準則模糊性:在同一類別上始終存在分歧,意味着指示不明確,其修正是準則更新和重新說明有爭議的項目,而不是業績談話,在下文中更詳細地闡述模式。 如何寫註解指南 註釋者實際上遵循.
類別設計問題。 持續的分歧可能意味着標籤會誇大兩個不同的事物, 或者邊界被劃錯了地方。
真正的任務難度。對於情感、諷刺和諷刺等主觀任務,IAA衡量任務是如何有爭議的而不是註釋質量。 在數據集中保留分歧可能比強迫達成共識更有用。
在多語種註釋中,一種語言的分歧很大,另一種語言的分歧較少,這可以表示翻譯不善的類別或不清晰映射的文化概念。 單個IAA的彙總數字將無法顯示這一點;通過語言分類生成的每個語言的分解。 管理多語種數據收集,是它表面的。 。 。 Lifewood質量進程對 a 95%+ 說明人之間的協議門檻,對照客戶批准的黃金套件進行衡量,有兩張獨立的審查證和時間戳式的批准記錄,因此在交付之前而不是交付之後,可以看到對某一類別或語言的協議的下降。