簡短回答： 多種語言的LLM培訓數據由三種供應商提供——大型一般註釋供應商、專業語言數據公司和有市場交付中心的管理下的多語言供應商——並且通過四種機制而不是任何單一的檢查來確保質量:收集前設計的覆蓋面(語言、方言、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、 人口統計,有分層分類的,當地語言製作和審查市場中,按語言而不是按總數衡量的機會校正協議,以及按項目記錄的來源和同意。 綜合質量數字是弱多語言公司隱藏其弱點的主要方法:一個以英語爲主的平均數對你的模型實際上會失敗的語言沒有任何說明。
基金會模式越來越多地被看做是支持最差的語言,而不是最好的語言。 這正是投訴的來源,監管者看的地方,以及有效模式和讓所有者難堪的模式之間的差距最大。 這些語言背後的數據通常是最薄的元件部分和最不經過審查的採購部分。
該指南涵蓋哪些內容使多語種實體良好、如何實際覈實質量以及供應商應提供哪些要求。
核心重點
- 多語種培訓數據來自大型一般註釋銷售商、專業語言數據公司和在市場上提供中心的多語種供應商。
- 5種失敗模式驅動最糟糕的多語言corpora: 翻譯英語,方言和註冊崩潰,域名skew,腳本和標語化盲點,以及彙總質量報告.
- 質量必須按語言進行衡量——科恩的kappa或克里彭多夫的α用於判斷任務,字錯誤率用於抄寫,因爲一個全球平均值隱藏了實際會失敗的語言.
- 覆蓋是收集開始前作出的設計決定,涉及四個軸心:語言、一種語言內的品種、域和講者人口統計。
- 證明、同意、許可證和污染控制是LLM數據的採購門,而不是可選的額外數據。
爲何多語種的蠍子失敗?
5種失敗模式佔了大部分,沒有任何一種是異國情調——所有模式都便宜地防止,訓練後修復費用也很高。
翻譯英語. 由機器翻譯的英語數據所構建的體裁將英語話語結構,英語文化假設和英語形的問題都包含在每種語言中,爲此而培訓的模型用另一種語言回答英語問題,它速度快,價格低廉,並且能產生出當地人立即發現的流利但外語的品質。
撥號與登記崩潰。 “阿拉伯語”並非一種類型,完全由現代標準阿拉伯語構建的體裁在大多數用戶實際寫作的口語形式上都會失敗。 同樣的,中國地區品種、美洲西班牙語以及任何形式上或非正式上分化廣泛的語言都一樣。
域名 skew. 星洲網. 網絡拼貼多語言數據過多地呈現新聞、百科全書和論壇文本。如果您的模型服務於醫療保健、金融或工業支持,那麼它所需要的詞彙是容易拼貼尾巴中最不存在的詞彙。
腳本和標誌性盲點。 語言具有豐富的形態學,非拉丁文字,或者沒有白空間字邊界,每個意義單位消耗更多的符號,並且對正常化錯誤更敏感。 以英語構建和測試的管道會默默地操控其中一些符號。 語言中,語言中包含的語句是“語言 ” 。
質量報告彙總。 隱藏其他四種模式的失敗模式。 報告40種語言質量97%的主體可以包含60%的語言, 並且直到用戶看到, 纔會看到。 共享模式中選擇供應商的讀物包含在 9 AI註釋服務的選擇標準.
在收集數據之前,應如何設計覆蓋範圍?
覆蓋是收集開始前作出的設計決定,而不是事後衡量的結果,四軸是明確決定的.
| 軸 | 具體內容 | 何必這麼重要 |
|---|---|---|
| 語言 | 按商業優先等級劃分,每級目標數量 | 防止長尾巴成爲容易找到的東西 |
| 一種語言中的品種 | 語言、區域形式、正式和非正式登記 | 最常見的差距,以及語言層次計劃中的隱形 |
| 域 域 | 模式服務的主題領域分佈情況 | 網絡搜索數據扭曲到新聞和百科全書文本 |
| 議長和作者人口統計 | 年齡、性別、地區、教育組合與使用情況相適應 | 確定模式爲誰工作不好 |
收集過程中按語文而不是按全球計算的一種有用的檢查:
Coverage ratio = Items collected in stratum ÷ Items targeted in stratum
報告 最小值 覆蓋率與平均值並列。 平均值告訴你, 節目按計劃進行; 最小值告訴你哪些語言或方言將失敗評估。 團隊將首次對此進行範圍界定。 如何爲地方政府管理課程建立多語種評價集 與覆蓋計劃同時進行,因爲兩者應一起設計.
四個質量機制如何運作?
四種機制相互配合,而不是相互取代:覆蓋決定收集什麼,市場生產決定誰生產,每種語言的協議決定是否誠實地衡量,來源決定是否能夠合法使用.
1. 本地、市場生產和審查
供應商通常模糊兩個區別。 本地語言 是一個從童年時期就掌握語言的人, 並且可靠地捕捉到註冊, 平庸和“這裏沒有人會說”的錯誤類別—— 一個流利的演說者, 在許多任務中有用, 市場 指審查員目前每天生活和使用語言,跟蹤當前使用,管理和文化參考;散居地審查員擅長許多任務,但隨時間推移,所有三個都漂浮.
問每個語言的人均人數,包括位置,而不是支持語言的計算。 語言和對話數據,問每種語言的品種的涵蓋範圍,因爲完全來自一個城市的越南能力不是越南的普通涵蓋範圍。
2. 按語文衡量的協議
質量數字是獨立註釋者之間按語言計算的機會修正協議:
Cohen's kappa = (Observed agreement − Expected agreement) ÷ (1 − Expected agreement)
科恩的卡帕(英語: 原始協議會誤導不平衡的任務 — — 兩個註釋者可以同意95%的時間,而幾乎什麼也別開一分 — — 而全球平均水平則會完全隱藏你需要看到的語言。 要求使用每種語言的表格,並將只報告在總數內的任何語言視爲未計量語言;更充分地處理數字的含義 說明人之間的協議:科恩的卡帕,克里彭多夫的α,以及數字的實際含義.
對於抄寫工作,每語種的等值數字是字差率,而公約則明確設定:什麼算作差錯,數字,代碼切換和適當的名詞,供應商之間是不同的,沒有說明公約的WER數字不能與任何東西相提並論.
3. 每種語言建造的黃金套件
黃金套 是一個正確標籤項的參考集合, 以目標語言建構, 用來對照已知的正確答案檢查正在進行的生產。 用英語建構並翻譯的金集合不是目標語言的金集合 。 每個人需要自己的參考品,由講母語的人建造,定期刷新,並以已知的速度投入現場工作,因此,質量是連續的而不是在分娩時衡量的。
問三個問題:誰建造黃金套裝,多久刷新一次,生產工作是黃金插裝的,沒有黃金套裝協議的供應商正在檢查產出而不是測量產出。
4. 每一物品的證明、同意和許可證發放
具體來說,LLM數據是一個採購門,而不是一個優美的:
- 每一物品的來源和許可證,有權用於明確確定的而不是假定的示範培訓。
- 同意收集的演講、圖像和文字資料,包括供今後使用。
- PII處理——檢測,必要時進行編輯,以及可以執行和確認的刪除路徑.
- 污染控制——在人體內部分解,並在可能的情況下,對照公共評價組進行篩選,因此,你的基準衡量能力而不是記憶。
- 以此種標籤標註的合成數據。模型生成的培訓數據有合理用途和不同風險,在以下條目中涵蓋更深入: 訓練安全嗎? AI 模型打開 AI-生成的數據 ? ——這種混合起來而不加標籤的物劑使得這些風險無法管理.
如何在訓練前評估一個屍體?
5項檢查都進行這項評估,在投入量之前,所有檢查都可在樣本上進行。
- 由沒有參與制作的母語人所閱讀的每個語言樣本。 問一個簡單的判斷:當地有才能的作家會製作嗎?
- 翻譯檢測。 樣本和請審查人員猜出源語言。 如果可以, 程序是翻譯而不是本地語言 。
- 與設計目標相對的對齊並進行記錄分發,而不是與總量相對的對齊。
- 域分佈與模型的預期用途相對,而不是與最容易收集的.
- 複製率和近複製率,每種語言。高複製率在資源少的語文中很常見,因爲可用的原始材料很少,而且同一文本廣泛流通。
在投入數量之前先用付費的飛行員來操作這些。每個優先語言,包括最難的語句,有幾千個項目比任何建議都更能說明問題。
你該向供應商要求什麼?
供應商應能夠提供不利於上述各種機制的證據,而不只是在銷售甲板上描述這一機制。
| 要求 | 所需證明材料 |
|---|---|
| 本地、市場生產 | 按語文分列的人數,地點 |
| 每種語文的質量報告 | 上季度按語言分列的Kappa或WER表 |
| 黃金套裝協議 | 誰造的, 刷新卡登斯, 注射率 |
| 覆蓋範圍設計 | 每層最低覆蓋率的分級計劃 |
| 低資源來源方法 | 他們如何以他們尚未覆蓋的語言招募和驗證發言者,以及需要多長時間 |
| 證明和同意 | 逐項記錄;示範培訓許可證位置 |
| 污染控制 | 重複方法;評價設置篩選 |
| 安全和居住 | 存儲和處理數據的地方; 命名的子處理器 |
紅旗:一個單一的總質量數字; 語言覆蓋以支持語言計算; 翻譯金色套; 沒有回答新低資源語言是如何來源的; “ 我們可以支持任何語言” 而不支持它, 後面沒有來源方法 。 買家可以比較這些點上的多個供應商 。 頂端多語種 AI 培訓數據公司 和 高級LLM培訓數據公司然後從任何倖存的短名單中要求上述證據。
怎麼樣 Lifewood 採用多語文培訓數據質量的方法?
Lifewood 通過在自有的交付中心管理的工作人員隊伍而不是開放的人羣來提供多語種培訓數據,這是使每個語文的問責製成爲可能的模式。
同樣的審查人員使用的語言足夠長,可以使用金牌組合和一個協議數字來表示某種意思。 100+ 語言, 40+ 跨省服務中心 30+ 國家,和 56,000+ 登記繳款人,有區域本土的註釋者而不是遠距離近似,以及資源匱乏的語言和區域方言的特殊性——一個體的一部分最有可能通過其他地方的翻譯獲得。 LLM 工作,包括: RLHF, SFT數據蒸餾和答覆評價 50+ 公司成立於2002年,主要有:語言、多語種語音記錄和語音標籤,以及跨地域和人口階層的現場語音收集。 200420年來,送貨模式逐漸成熟, 並且,在前沿模型實驗室,語音上,AI 開發者, AI 計算供應商、計算機視像供應商和自主移動程序,客戶身份通過協議予以扣壓。 企業 LLM 培訓數據 和 多種語文數據收集.