簡短回答： 四個任務類型主導文本註釋, 並且每個都不同。 NER 突破了跨邊界和模糊的類別。 感官突破了諷刺、 混合意見和域語。 故意突破了重疊的類和混亂的談話語言。 關係標籤突破了隱含和方向鏈接 。 好消息是,這些是解決了存在學科的問題:通過適當的訓練、工具和反覆使用的準則,註釋者之間的高度一致是可以證明可以實現的——關於德國關係的一份註釋研究達到了科恩的0.92。
核心重點
- 四種任務類型在文字註釋中占主導地位——NER,情緒,意圖和關係標籤——每個都有自己的特徵故障點.
- 高度一致是可以實現的: EHR 註釋研究發現,經過適當培訓後,在跨度和類別方面,高分校間一致,德國關係研究達到== 0.92.
- NER 跨邊界、巢穴實體和包羅萬象的班級; PER, LOC 財務報告和已審計財務報表 ORG 超過成績 MISC 同意協議。
- 感官顯示同型蠍子中的NER協議較低,主要是因爲中立的邊界和諷刺的描述不準確.
- 使用符號級別 F1 費用 NER, 用於分類的 ox 或 Krippendorff α,以及 F1 關係問題; 被低估的 NER 實際值 0.347 對抗一個真實的 0.71.
四種任務類型是什麼?
文本註釋沒有通用的解決方案: NER,情緒,意圖和關係標籤各使用不同的標籤結構,在開始時選擇正確的一個是使管道保持平滑和模型準確的.
命名實體識別( NER) 表示是符號級的工作,通常標記爲 Begin-Inside-Outside(BIO) 計劃,它支持信息檢索、問答和事件提取。感官分配了極性,或者在更豐富的計劃中,分配了歡樂、憤怒或沮喪等離散的情緒。意向將演講者想要的東西歸爲一類,並驅動虛擬助手和支持路徑。 關係標籤標籤自由形式跨度和它們之間的聯繫,是知識圖文構建的基礎.
文獻中令人鼓舞的發現是,困難不是命運。 關於電子健康記錄中神經徵兆的註釋研究——以前研究表明,在這種領域,同意率很低——發現三個評級人之間的結對協議在經過關於過程、工具和輔助腫瘤的培訓後,在文字跨度和類別標籤方面都是很高的。 作者的結論值得任何項目執行:人類註釋者之間達成高度協議,並有適當的培訓和註釋工具是可能的。
每一個都跑到哪裏去做註釋?
可預測和不同——這就是爲什麼一套準則不能爲所有四種任務服務的原因。
| 任務 | 說客們出行的地方 | 修補 | 判決 |
|---|---|---|---|
| NER | 範圍、嵌入實體、部分選用選用和包羅萬象的類別——PER、LOC和ORG在協議方面可靠地超過MISC | 切換到橫跨控制; 放下或拆分 MISC 桶; 查找弱型的 實體 F1 | 可用設計圖修復 |
| 感官 | 諷刺、不同意見、文化差異和中立的界限; 醫療情緒不是零售情緒 | 明確正面/負/中性定義,並有邊緣實例;特定領域指導 | 四人中最低的約定 |
| 意向( I) | 重疊或近似重複的課;談話演講增加了不暢,中斷和隱含的引用插槽的內容. | 相互排斥的類別定義;真正模糊不清的旗幟和升級路線 | 司馬紀律勝 |
| 關係 | 中性或"無關係"案件在長文件中的隱含與明示聯繫,方向和沉默主導 | 對前方隱含關係的規則; 明確註明負面; 使用F1 處理關係, 不使用“ 單項” | 最硬, 最高值 |
註釋質量設定了上限:如果註釋員的協議爲80%,那麼一個達到83%的模型已經在大約人的水平上運行。
關係標籤值得特別注意,因爲它在單一的計劃中難度不均。 在多語種關係提取研究中,自動標籤被對照使用。 2,000 手動附加說明的句子:有些關係幾乎完美,而另一些則完全崩潰。接下來是兩個教訓。首先,一個宏 F1 備註 0.79 透過這個計劃隱藏了一種關係類型 表現在 0.33,所以質量的衡量標準總是應該按類別細分。 0.92,有確鑿證據表明,困難的部分是準則的清晰和裁定程序,而不是人的能力。
感知坐落在另一端. 使用克里彭多夫的α found情緒任務的基準工作顯示,在同一個蠍子中,與命名的實體識別任務相比,一致度較低,實際原因是中立性很少是乾淨的類別. 在一項分析文本研究中,只標出正反關係的註釋者在內部將當時主導數據的第三個中性類別——一個騙局問題僞裝成一個註釋者問題.
您應該用什麼衡量標準來完成哪項任務?
將公制與標籤結構匹配, 否則您的質量數字會誤導您: 單一協議的分數不能同樣很好地爲絕對標籤、 橫幅標籤和關係鏈接服務 。
科恩的兩分 是一個兩個註釋協議 統計的絕對標籤, 它符合感情和意圖。 克里普多夫的α 將這一想法擴展到多個註釋者、缺失的數據以及普通或等級標籤。 標註員間一致性 測量每個任務,這是大多數團隊陷入的陷阱。
| 量度和何時使用 | 避開此陷阱 |
|---|---|
| Cohen的"&"——兩個註釋者,直截了當的標籤:情緒,意圖 | 使用 Cohen 的 ob 值 NER ——需要負面案例,嚴重低估協議. |
| Krippendorff 的α – 多個註釋器,缺失的數據,正文或等級標籤 | 報告所有各年級的平均分數 |
| 切換級對偶 F1(不包括“ O” 標籤) – NER 的右 IAA 度量 | 數據類型錯誤的 α 設置, 數據類型可以任意扭曲結果 |
| F1 關係——關係提取,但兩者不相適應 | 將低分視爲註釋器故障而不是準則漏洞 |
| 格韋特的AC2——當類別嚴重失衡時. | 一次測量而不是連續測量樣本 |
臨牀數據集通常在發佈前需要α以上0.90;一般目標占80%的協議。 測量值之間的差距不是學術性的:在Tweebank NER(NER)中,“ob”改爲“0.347”,而適當的F1計量值則顯示在同一個說明上一致爲0.71。
兩個業務要點在實踐上有所區別。 持續監測關於子集的協議在早期就顯示出準則中的模糊之處,即這些準則的修飾費用低廉,生物醫學黃金標準文獻表明,通過收緊規則和制定語義等同標準,在多個重複體之間達成了可以接受的協議。 NER的F1級精確地確定了哪些實體類型在注意到者時遇到困難,將一個模糊的質量問題轉變爲有針對性的培訓。
多語言工作增加了一個沒有衡量捕獲的層次。 諷刺、禮貌和否定在語言上表現不同,而用英語編寫的準則很少能幹淨地傳遞。 本地語言學家,每個語言的試點批次,以及每個語言的協議跟蹤,正是人行人行的學科 Lifewood在100+語言和方言中應用,借鑑了同樣的 多種語文數據收集 用於語音和文本程序的網絡。
你該先修什麼?
將管道按此順序修復,因爲每一步提高下一步的上限.
在全面生產前先進行試點批次,在同一數據上有2至3個註釋器,目標是 80%+ 協議,以及將分歧視爲準則積壓。 註釋準則, 不僅僅是定義, 正面、 負面和中性的明確界限, 並有明顯的例子可以明顯改善協議。 選擇符合標籤結構的度量標準: 符號級 F1 表示NER, ob 或α 表示分類, F1 表示關係工作的關係。 按類分打破每分質量的分數,因爲0.79的宏分數可以隱藏0.33的關聯類型和自由秋季的實體類型.
將註釋器匹配到域中——專家對子清除了ARF Bench數據的可接受閾值,而非專家對子則沒有。先用模型標記,然後由人類來審查: LLM 預標籤和主動學習 以低廉的每例成本進行基本情緒和分類,但與域域專業知識和主觀判斷相搏,因此,初始註釋加專家驗證的雙通道工作流程仍然比較安全。 重新標記灰色區域而不是整個組合——拉出最狡猾的 5–10% 穿過一個 黃金套數審計 最後,進行按語文進行的飛行員和協議檢查,因爲用一種語文編寫的準則不會不經過審查而轉至另一種語文。
提供大規模這項工作的團隊可以將供應商與《公約》的標準進行比較。 買方數據註釋公司指南 承諾向供應商或內部建築提供