簡短回答： 註釋 QA 具有三種不同的工具,它們服務於不同的目的,不能相互替代。黃金組建立了一種已知的正確參照標準,用來測量註釋者,在累積之前捕捉漂移。審計抽樣以可控的速度審查一小部分產出,以估計總體質量,而不審查所有情況。協商一致的方法通過彙總多個註釋者來產生標籤,或者增加信心,或者確定專家真正不同意的地方。 QA 設計在不同層使用所有三個,而不是單獨使用任何一個.
核心重點
- 批次末端審查允許系統錯誤複合;註釋缺陷在以後的每個階段需要花費大約十倍的時間來修復.
- 金剛套件隱形地將經覈實的正確項目嵌入隊列,連續測量每個註釋者的準確性。用大約3%的數據的3到5個註釋者共識來構建它們。
- 隨機抽樣審查項目統一進行;分層抽樣按風險的不同率;基於信任的抽樣集中力量於最有可能錯的抽樣項目。
- 動態抽樣規則提高準確性或通知人之間的協議下降時的審查率,抽樣應始終按批次逐批逐批追蹤。
- 多數表決、加權表決和專家裁決是三種不同的協商一致方法,選擇錯誤的方法來完成某項任務,會產生更糟糕的標籤。
爲什麼是單身 QA 批次結束時審查最弱的可能設計?
因爲當你發現一個系統錯誤時, 整個批次都有它, 並且修復它的成本是它早期的兩倍。
核心問題是複雜。如果一個註釋者在一週內誤解了準則,那麼他們標註的每個項目都會帶錯。在第四周進行檢討會發現錯誤,但此時重做意味着重新檢討所有被其觸碰的東西。
成本模式遵循與軟件缺陷相同的規則:在指南中發現錯誤需要修改;在試點中捕獲它需要一些重新說明;在生產中捕獲它意味着重新說明批量;在培訓後捕獲它意味着再培訓。 各階段之間的比例在每一步驟上大約是十倍。
批次結束審查也把所有項目都視爲同樣可能包含錯誤。在實踐中,錯誤集中在特定條件下:模棱兩可的情況、不尋常的類別、接近標籤邊界的邊緣情況,以及準則未預見到的內容類型。
另一種辦法是 分層質量控制系統 不同工具在不同階段抓住不同問題:金套連續運行,審計抽樣分批結束,以及協商一致處理問題本身就是信號的項目。
黃金是什麼東西,你怎麼造的?
金集合是一組有經驗證的正確標籤的項目,種子入註解隊列,並用於連續測量註解的準確性,其價值是註解者不知道它們所在的項目.
黃金套 : 一組預先貼標籤、經覈實的正確項目隱形地混合到註釋器的隊列中,以便可以在不知道哪些項目正在檢查的情況下測量其準確性。
金套有時被稱爲蜂蜜壺任務或金絲雀項目,特別是在衆包語境中. 這三個術語都描述了相同的功能: 已知的對稱項目,註釋平臺與每個註釋者的反應自動比較,產生每個註釋者的準確率,隨着項目運行更新.
建造一個黃金套裝正確需要四個決定.
選擇。 黃金項目應該覆蓋標籤的完整分佈,包括稀有類別、邊緣案例和模糊的例子,說明註釋者是否在最重要的邊界條件下正確應用了準則。 黃金項目只包含簡單、明確、符合明顯和忽略重要內容的計量標準。 黃金項目將包含在最關鍵邊界條件中。 從業人員建議對大約3%的數據採用三至五折疊的共識來建立金本位標準,意思是多位專家的註釋者對每個項目作出裁決,黃金標籤只有在他們達成明確協議時才被記錄下來.
覆蓋。 代表每個標籤類別、 每一個域或主題, 在多語言項目中, 數據集中每個語言類型。 向多數類別加權的金色集將無法檢測罕見的錯誤 。
卷。 這裏有一個抽樣大小問題。 黃金項目太少, 並且每個註釋的準確性估計值有很寬的置信間隔, 這意味着一個漂移不良的註釋者可能長時間無法檢測。 太多的,你消耗了覈查而不是生產的預算。 常見的起點是每場比賽每個註釋員的5-10%的項目,一些團隊在校準階段前裝入15-20%,並作爲註釋員進行穩定減值.
旋轉。 在一個漫長的工程中, 靜態金器會逐漸被人們知道。 物品應該被旋轉並按時間表退役。 如果已退役的物品有有價值的標籤, 則可以移動到訓練裝置; 新物品在部署之前需要裁決 。
金片不能做。它們衡量的是,是否正確標出已知正確物品的標記。如果基本事實是錯誤的,它們不會自己驗證標籤。對於主觀或有爭議的任務,專家註釋者之間的共識不會產生客觀的真理;它產生最一致的標籤,而這是另一回事。 黃金套件也無法系統探測 註釋準則 錯誤同樣影響所有註解者,因爲每個人都錯誤地將同樣的規則應用到同一個方向,他們都通過了金支票.
審計抽樣如何運作,應審查多少批次?
抽樣審查產出的一小部分而不是全部。正確的比率不是單一數字:它取決於註釋者追蹤記錄、任務風險、標籤分佈以及樣本的衡量目的。
審計抽樣: 以可接受的統計信心來估計批量的總體誤差率。
統計抽樣是可靠的。一個足夠大、可以估計真實誤差率且具有可接受的置信度的樣本,可能遠遠小於整批,而且樣本大小與置信間隔之間的關係也已經知道。 95% 信任水平,a 10% 樣本 1,000- 批量項目產生大約加或減的誤差幅度 3%,這足以作出大多數業務質量決定。
三種取樣戰略是常用的。
隨機抽樣選擇整個批次一致的項目。 它是最易解釋和最常見的起點。 它的弱點在於它以同樣的速度對簡單和困難的項目進行抽樣,這在統計上是有效的,但在操作上是無效的:大多數錯誤沒有統一分佈。
分級抽樣將批次按類別(按類別、註釋、域、難度級別)劃分,按各自比例對每個組進行抽樣。 這樣,高風險階層的覆蓋率可以更高,低風險階層的覆蓋率較低,同時保持對每個組的錯誤率進行估計的能力。 已知歷史難點的標籤類可抽樣30%,而清晰,低error類可抽樣5%.
基於信心的取樣使用模型或註釋者之間的分歧分數來識別最可能包含錯誤的項目,並抽樣那些高費率的項目。 這種方法將審查者的努力集中在最有可能改變決定的地方。 註釋者不同意的項目、分配給低效註釋者和帶有模棱兩可的標籤的項目都是候選項目。 標註員間一致性 下調 0.8 準則模糊性需要立即澄清而不是更多 QA.
動態採樣率隨項目運行而調整。百分比規則在啓動時設定了固定率(10%至30%是新項目或新註釋員的典型範圍 ) 。 《動態百分比規則》在準確性或協議下降時自動提高比率,在穩定期間保持審查努力,並在問題期間加強審查努力時降低比率。 對於有高註解的衆源註解,從業者指導建議在整個過程中保持高採樣率,因爲新的註解者不斷進入池中.
在實踐中,要進行多少抽樣。正確的答案取決於項目,但普通從業人員的範圍是:新的註釋員或新的任務類型,15%至30%,直到確定穩定的質量估計;建立有乾淨記錄的註釋員,5%至10%;高記錄類別,如安全、醫療或法律, – 類別 比例爲 20- 50%, 不論 註釋 記錄; 試驗階段在全程生產前爲 100% 或 近100%, 縮放前客戶簽名。 一個學科是通用的: 每個註釋者而不是每批樣本。 每批樣本允許一個表現不佳的註釋者隱藏在強團隊輸出中。 說明人抽樣確保每個貢獻者的工作在公衆面前可見。 人工參與審核 層。
共識是什麼,何時有助於與誤導相對應?
共識是多個註釋者合併而不是一個時產生的標籤,它增加了對註釋者同意的項目的信心,並顯示出對不正確的項目的真正困難,它不能取代正確性。
協商一致標籤: 標註項目,將多個註釋者的獨立判斷彙總爲一個判斷,無論是通過表決、加權表決還是專家決定。
幾種協商一致的方法是常用的,選擇錯誤的方法來完成這項任務,會產生更糟糕的有意義的結果。
多數投票分配半數以上註解者選擇的標籤,它迅速、透明,適合帶有明確客觀標籤的任務。 其失敗模式與協議評分相同:主觀或真正有爭議的項目會產生不反映任何原則性真理的多數選票,並將它視爲地面真理,從而在專家會爭論的共識上訓練出一種模式。
加權投票給每個註釋員一個從他們的金本位精度中推導出的權重,因此,有較強音軌記錄的註釋員對最終標籤的貢獻更大. 當註釋員的質量差別很大時,這比平等加權多數投票更準確,這在衆包和多種語言項目中很常見,因爲具體語言的註釋員庫在深度上有所不同。
專家裁決會請資深的註釋員或域專家解決註釋員有不同意見的案件。 裁決員的裁決是最終裁決,並附有理由。 這是最昂貴的方法,也是真正困難或後果的標籤最值得信賴的方法。
保留分歧,對於主觀任務——情感,語氣,諷刺,文化適宜性——強迫單一共識標籤丟失模型可能使用的信息. 研究人員和從業人員越來越多地建議存儲註釋標籤的完整分發,而不是僅僅存儲共識,讓模型能夠知道某一物品受到質疑,而不是被作爲明確標籤對待。 這是最適合培訓模式的方法,這些模式表達的是校準不確定性而不是虛假信心。
當共識誤導時,任何共識方法都會放大所有註釋者在相同方向上所犯的錯誤,這就是上述系統性的準則錯誤問題。 三個註釋者都應用同樣的錯誤規則,將產生自信、一致、錯誤的標籤。 高協議加上高金套精度是將真正的共識與共同誤解區分開來的檢查:許多項目之間一致的協議,加上黃金項目上的正確性能,是可靠的;一致的協議與金本位的差績相結合,是一個共同的錯誤.
這三個方法如何組合成一個完整的 QA 設計?
每種方法都在不同層操作,並檢測出不同的一類問題。一個完整的設計都使用這三種方法,它們之間有明確的升級路徑。
從從業者指導中產生的架構看起來是這樣的.
第1層: 金套, 持續運行。 整個註釋隊列中種子, 自動檢查, 實時更新每個註釋者的分數。 此層在開發時, 而不是在通過批次傳播後, 捕獲到單個漂移和校準故障 。 黃金精度低於閾值的註釋者,在對其其他工作進行審查之前,暫停校準.
層 2:審計抽樣,分批結束運行。 QA 分類別和註釋,對高風險物品進行信任度的提升。這一層提供了批量級的準確估計值,用於發送簽註和準則維護所需的分類分級。抽樣率是根據第一層的金位信號動態確定的:穩定的註釋者看到較低的率,不穩定者看到較高的率。
第3層:對有爭議的項目達成共識。第2層標註爲具有低級註釋協議的項目、貼有標籤界限的項目和高分級的項目都經過二級共識程序。通常的分歧由資深註釋者通過多數表決解決。 真正有爭議的項目由專家裁決,裁決有文件記載,並反饋到準則中。
遞升路徑。 失敗的二層採樣項目將返回生產, 重新註釋; 失敗的三層判定觸發準則審查; 準則更改會使先前關於受影響類別的說明無效, 並且需要重新註釋有代表性的樣本, 以確認變化, 從而產生預期的改進 。
這個建築的形狀是 Lifewood實際操作中的交付模式:自動檢查處理可衡量規模的東西,每個註釋者黃金追蹤在化合物之前的單個漂移表面,按動態速率分級取樣提供批量級的置信度,被命名的人類裁判員對有爭議的物品擁有裁決權,並由一個註釋者支持 95%+ 準確度 SLA 並用時間戳住批准記錄兩次獨立審查,決定及其理由都記錄下來,因此準則會隨着時間的推移而收緊,而不是累積例外。
何爲應. QA 框架報告?
每個註釋者、每個類別和每個語言的數字,不是所有三種數字的平均值。一個總的準確數字可以說明平均數字隱藏了什麼。
數據集層面的健康分析不是問個人標籤是否正確,而是問數據集整體是否代表了它要解決的問題。 這意味着要監測類的完整性、類平衡、條件和環境的涵蓋範圍以及各部分之間的註釋一致性。
在註釋層:每類金位精度,審計樣本精度,每對註釋者間協議和拒絕率. 在分類層:每類協議,審計精度和混淆矩陣顯示哪些標籤對最常被混淆.
在多語種項目的語言一級:以上每一度,分別列出。 92% 組合 98% 英文和中文文本 82% 泰米爾語不是 92% 使用泰米爾語的數據集。 大型註解提供者 在承諾採用交付模式之前,應先建立其本身的質量報告結構,或 獨立驗證 過.
在項目開始前商定報告設定。一個客戶在簽註時將通知人之間的協議閾值、每類準確度底值和拒絕限值定爲去/去標準,該客戶擁有一個數據集,可以審計。一個接受標題數字的客戶接受了一個平均值。