簡短回答： 通過規範各地必須完全相同的事物——準則,金本位標準,質量衡量標準,審查結構,道德——以及刻意將一定不能做到的事物本地化:語言判斷,文化審查和社區招聘. 遊戲本在每個中心都以同樣的方式寫作,訓練並測量;每個地方的飛行員在製作前按照相同的金本位對每支新團隊進行校準;以及一種質量語言(協議分數,金本位檢查,雙層審查)使任何中心的工作都與任何其他中心的工作相媲美.
核心重點
- 一個客戶購買一個數據集,因此40+交付中心,30+國家和50+語言的一致性必須用文字寫成——研究表明不同的註釋者解釋會給模型帶來可衡量的傷害,而指導性投資會比附加的QA階段更強.
- 遊戲本將各地的五件事標準化:密碼本,金本位,度量和閾值,雙層審查結構,以及如何對待貢獻者的道德.
- 當地有意有三件事:語言判斷(母語作者爲每種語言的金色套件),對產出有權力的文化審查,以及社區招聘。
- 新隊伍通過同一斜坡校準——火車、反金飛行員、判決、尺度——持續協議低於0.8, 認爲這是一個準則問題,而不是人民問題。
- 合併是存在第二個審查通行證的原因:在協商一致後,近79.8 F1 的研究措施單方說明人協議上升到84.1,同樣的邏輯支撐着任何雙層審查結構。
爲什麼一個全局數據操作需要一個遊戲本?
因爲客戶購買一個數據集,而不是本地解釋的聯合會,而各站點的一致性是設計的財產,而不是意外.
A 遊戲本從這個意義上講,是每個地點的數據操作都以同樣方式運行的指南、培訓、質量衡量標準、審查結構和貢獻者道德的書面層。 40+ 跨省服務中心 30+ 國家, 56,000+ 註冊捐款人和在 100+ 語言,從菲律賓的長期業務到貝寧、印度尼西亞和中國的較新的中心。 一個多語種數據集通常會分批生成大陸,客戶模式不會原諒這些接合:如果“攻擊性”、“blury”或“相關”在每個中心意味着一些稍有不同的東西,則該數據集會教教給模型不一致是事實。
研究中準確命名了故障模式。 工作以數據爲中心 AI 說明說明者之間的不同解釋產生不一致的數據,對模型性能造成相當大的傷害,並規定了補救辦法:共享的、書面的代碼簿,在比例尺之前就確定解釋。 QA 換言之,你不能檢查全球行動的一致性;你必須寫進。 書面層—— 準則、培訓、質量衡量標準、審查結構以及指導如何對待貢獻者的價值觀—— 是保持的。 一次行動 做一個遊戲,而不是40個地方傳統。
哪裏都標準化了,哪裏是故意本地化的?
標準化解釋、衡量和道德;地方化判斷、文化和社區。
將分裂的分數錯開, 打破操作。 從宿務到貝寧, 五個事情是相同的。 準則集是每個項目一個代碼簿, 其示例、 決策樹和邊緣案例裁決相同, 翻譯後再也沒有重新解釋過 。 金色標準 ——一組附加說明的參考項目,每個團隊的工作都得分——是機制。 審計抽樣和共識檢查 將多站點一致性作爲錨點。測量標準是各地一致的衡量標準、準確度閾值和取樣規則,因此,批量的質量分數不分來源都意味着相同的東西。審查結構是一門 雙層審查: 一張通行證產生,一張獨立通行證通過有權拒絕的驗證,並且每個中心都記錄着同樣的決定。 同意、隱私處理的道德以及貢獻者的待遇標準並沒有因地理而異,因爲地理上不同的價值是一種政策,而不是價值。
三個事物屬於中心,目的. 語言判斷:宿野或豐的金本位標準只能由本地語人來撰寫和裁決,因爲多語種數據集項目每個語言都建立金本位,精確地確保每種語言內部的一致解釋,而作者身份是不可減少的本地化. 文化審查:形象意味着什麼,詞語意味着什麼,聲音是否被理解爲尊重,由對產出擁有權力的區域本土審查者行使。 採購網絡、轉介鏈和地方信任 遊戲本的單行憲法是標準是全球性的,判斷是局部性的。
新團隊如何校準遊戲本?
生產前的飛行員,每個地方,每次都沿着同一斜坡:火車,校準金牌,判決分歧,然後是比例.
已公佈的多語種PII-註釋方案在製作階段之前,每個地方都有一個明確的試驗階段,即衡量每個任務和 標註員間一致性 ——如何一致地將同一項目標註在試點和確定準則中,然後纔開始量。多語言數據集小組報告,追蹤每個註釋員與金本位一致的情況,不斷並直接干預,伸出援手,再培訓,澄清出現偏離的時刻。 QA 文獻增加了閾值: 大約低於 0.8 信號 準則模糊 來修正, 不是一個團隊的責任。
我們的斜坡沿着每個中心都一樣的形狀,無論隊伍是貝寧的新隊還是老兵菲律賓行動的新項目:以工作實例指導培訓;校準批次 以金本位爲標準; 裁決會審斷高級審查員解決分歧,並將裁決反饋到代碼簿中,這樣下一個中心就能繼承裁決;然後,監測生產會從收緊的抽樣開始,隨着質量記錄的積累而放鬆。這反映了運行良好的團隊如何移動。 從試點到生產行業證據表明投資在這裏的回報是準確的:擁有長期合同和真正培訓方案的組織可以明顯地看到準確性和一致性,因爲只有一支經過校準、保留下來的團隊才能保持校準。
一種優質語言如何把這一切結合在一起?
每個中心都在同一單位報告——協議、黃金準確度、拒絕率——因此質量是可比的、可攜帶的和有證據可論證的。
共享單位使場地具有可比性。 因爲每個中心都以同樣的方式衡量,即共同計量標準協議得分、對投放到常規工作中的黃金物品的準確性、抽樣審計、有記錄理由的雙重等級拒絕率,所以項目牽頭者可以同時閱讀宿務批次和貝寧批次,並知道數字的含義。 合併是算術的一部分:註釋研究對個體工人對工人協議的衡量,約爲79.8 F1,在協商一致合併後上升到84.1,這是爲什麼存在第二次審查證的統計版本——合併判斷可靠地優於任何單一判斷。 開設和訓練一個新的中心:它從第一天起繼承共享單位而不是建立自己的單位.
遊戲本本身是版本的。每個裁決,每一個邊緣案例都浮現,每一個引導員暴露出的準則模糊性會回到代碼本中,被版本,日期和推到每個中心,因此遊戲本是一個活的文件,它與每個地方比起來更尖銳,而不是一個衰變的綁定器. 環球是一款真實的答案,可以解釋一個遊戲手冊如何橫跨各大洲:不是因爲沒有任何地方對此感到驚訝,而是因爲每一個地方的驚喜都讓全球文件變得更好。 Lifewood自己對此的處理方法,以及他自己的方法。 管理多語種數據收集 較廣義地說,在《公約》第2條中作了說明。 10 最佳人環AI公司 比較。
對數字的警告:協議數字和 QA 閾值來自引用的研究和從業者文獻,並取決於任務;我們的業務細節是我們出版的一級第一人描述。