簡短回答： 將第一稿視爲一種假設,而不是一種規則手冊。被遵循的準則有四個特點:它們以工作實例和反例爲首,而不是以傳教規則爲首,在專門附錄中明確解決邊緣案例,它們根據通知人之間的協議進行反覆闡述,直到得分穩定, 協議通過這個循環可靠地上升了 — 一個臨牀基準達到了更明確的規則,第三輪則明顯地提高了一致性。
核心重點
- 低級的註釋者協議幾乎總是一個準則問題,而不是註釋者問題——分歧定位文件未能解決的模糊性.
- 將第一稿作爲假設:在樣本上進行斜拉,只有在第一次通過時通過新鮮樣本達到門檻時才退出.
- 例子和反例比傳言規則更可靠地減少了解釋錯誤.
- 邊緣案件需要專門、註明日期的附錄加上域專家的路線——記錄並隨着時間的推移加以完善,而不是裁決一次。
- 將準則、註釋數據和裁決記錄合併,從而任何標籤都能夠追溯到規範準則的規則。
說明者爲何偏離準則?
因爲文件沒有說明他們實際遇到的情況。 低協議幾乎總是一個指導問題,而不是一個註釋問題。
公證員協議(IAA)是獨立註釋者爲同一項目指定相同標籤的程度。, 並且它是準則寫得多麼清楚的標準代詞。 常見的情況是直覺正確處理的。 書面指導決定註釋者是趨同還是漂移的邊界情況—— 任何準則的第一個版本都是錯誤的, 只有在標籤開始後才能被看到, 因爲 說明人之間協議衡量標準 用來跟蹤這個持續顯示。
這不是起草失敗;而是發現數據實際包含的內容而不是設計者預期的正常過程。 實際後果是分歧應理解爲地圖:它準確地定位了準則未能解決的模糊之處。
使這項工作得以完成的學科是在生產開始前的蓄意循環. MAMA(模型-安諾塔-模型-安諾塔特)環路是生產開始前進行樣本註釋和準則改進的迭代週期.正如Argilla描述的那樣: 進行樣本實驗,反覆地針對問題,反饋和團隊表面的邊緣案例進行精細的改進,並且不要擔心註釋的質量,現在——這個階段的目標是共同的理解.
注意協議的衡量標準, 特定標籤上的一致度很低, 具體寫法需要使用。
退出條件與循環同樣重要. 在SILICON流程流中,重複只在第一次通過時用新的樣本達到協議門檻時才結束——證明規則是通用的而不是團隊已經記住了一批. 同一份文件建議獨立起草準則的註釋員,然後合作合併,在它們硬化成生產錯誤之前,這些說明會浮現出隱藏的假設,這個學科接近於如何制定準則。 徵聘、培訓和認證了公證員 專業領域。
指導文件應具有什麼結構?
七節,以固定順序排列,因爲註釋者讀上部,參考下部.
| 節次 | 裏面寫着的 | 爲何它能贏得它的地位 |
|---|---|---|
| 1. 目的 | 標籤數據會如何訓練 下游的標籤成本如何 | 瞭解這個構思的 註釋家們會用新案件來做出更好的判斷 |
| 2. 標籤定義 | 每一句中標籤, 與最近的鄰居有明確的邊界 | 多數分歧都存在於兩個標籤之間的邊界,而不是一個標籤之內 |
| 3. 已開展工作的例子 | 標籤正確, 並顯示理由, 每個標籤 | 實例減少解釋錯誤比僅憑傳言規則更可靠 |
| 4. 反實例 | 近親:這標籤是什麼樣子,但並非如此,爲什麼? | 顯示標籤不象顯示標籤那樣有啓發性 |
| 5. 決定規則 | 重現衝突時訂購的斷開綁定符, 加上默認 | 刪除會悄悄破壞協議的硬幣- 滑塊 |
| 6. 邊際個案附錄 | 日期、裁決及其理由的已裁決案件 | 該文件的記憶——以及任何現場項目中增長最快的一節 |
| 7. 升級路徑 | 如何標出無法解決的案件,誰裁決 | 註釋者在無處可查時猜測; 旗下路徑會轉換爲裁決 |
反例是類似標籤邊界的近似缺失物品,但必須排除於其中,與理由的配對。保留定義簡短和示例繁多:顯示正確的標籤和不正確的標籤比較長的書面描述更準確,而支持堅實性的原則也是相同的。 黃金套、審計抽樣和共識 持續質量控制方案。
你怎麼處理邊際案子的?
明確地說,在不斷增長的附錄中,通過給註解者提供通往域專家的路徑,而不是爲一切規定一條規則.
邊緣案件附錄是一份日期日俱增、不斷更新的關於模棱兩可案件及其裁決的記錄邊緣情況很難,因爲它們是罕見的、模棱兩可的,而且往往是後果。 關於自主駕駛的註釋要求的研究發現,從業人員在一種反覆的、專家驅動的方法上趨同:註釋員就不明確的案件諮詢域專家,這些案件是經過一段時間記錄和完善的,而不是一次解決和被遺忘的。 該文件還用乾淨的工具來說明——自動化應該幫助而不是取代人的註釋員,特別是在複雜或安全關鍵的情況下。
兩種機制使附錄在實踐上發揮作用,第一,一個平臺上的方法是,在被打中時,由註釋者標記混亂的例子,因此模糊性很早就浮出水面,討論起來,而不是以十種不同的方式默不作聲地解決.
第二,有記錄的推理的判決,而不僅僅是判決——其原理是讓一名註釋員概括到下一個不熟悉的案件,這是背後的邏輯。 標籤質量如何到達模型 初一總明.
預想着計劃本身會移動。 在CRADLE 班座臨牀註釋協議中,十輪迭代看到兩個註釋器獨立貼標籤,同時跟蹤了完善準則的協議;在第一回合之後,標籤集被擴充,第三回合引入了時間標記,並制定了更明確的規則,這時實現了更高的一致性。 準則迭代和計劃演化是相同的活動.
如何編輯指導文件?
將澄清與規則修改區分開來,並作出與規則修改時生效的版本相關的每一註釋。
| 更改類型 | 包括什麼 | 對先前數據的影響 |
|---|---|---|
| 更新(v1.1, v1.2...) 互聯網檔案館的存檔,存檔日期2014-09-02. | 澄清不與現有指南相矛盾;額外實例、措辭更清晰、新附錄條目 | 不影響先前附加說明的數據的有效性 |
| 修改(v2.0) | 與現行規則相矛盾或替換的更改; 新建、合併或刪除的標籤 | 先前的數據可能需要審查或重新說明 |
記錄每次更改的生效日期和適用範圍;任何註釋必須可追溯到指導它的準則版本。如果可能,請原作者進行編輯——它保持文檔的內部一致性。
這一點最強烈的表述來自已公佈的法律論證結構註釋準則,該準則將版本管理適用於準則、註釋數據和衝突裁定記錄, 以可追溯到相應的準則版本,而主要規則修改具有明確的生效日期和範圍。這是值得采用的標準:三個手工業品是逐步版的,而不是一個在頁腳上有日期的文件。
關於衡量標準的一個警告是:高度一致只確認註釋者是一致的,而不是它們正在衡量預期的構象——它可能來自過於簡化或有偏見的準則,而低程度的一致可能反映真正的解釋性多樣性而不是質量低下。 報告可靠性,同時報告有效性的證據,例如模棱兩可的病例,並指出心理測量和醫學研究通常將0.75以上的數值視爲可靠性強。
最後,用一種語言編寫的準則很少會不經審查而轉移。 忽略、禮貌和平庸地轉移邊界案例,因此每種語言都需要自己的飛行員、自己的附錄條目和自己的協議跟蹤——在運行管理時,Lifewood在100+語言中適用。 註釋和鑑定工作 企業夥伴,由 頂級註解和標籤公司 範圍更廣,在規模和過程上相互競爭 AI 數據註釋服務 將相同的版本控制方法應用於圖像、文本、視頻和語音工作流程。