簡短回答： 多語言文本數據在四個不同階段進入LLM,每個階段都需要不同的數據:每個語言符號層以上的預訓需求量,標語符需要腳本多樣性,教學調音需要提示和本地語者寫的答案,以及用語言構建的評價需求測試集. 最近的研究也推翻了舊的假設,即添加語言必然會耗費性能. 懲罰來自細微的符號計數和低質量的corpora,而不是語言計數——這把建模權衡變成了數據操作問題.
將“多種語言數據”作爲一個採購項目處理是這項工作中最常見的規劃錯誤。 它導致團隊在最便宜的階段投資過多,在決定模型是否實際可用某種語言的兩種情況下投資不足。
這篇作品將四個階段分開,然後通過2025年的研究所講到的關於象徵樓層,質量過濾以及爲什麼指示數據仍然必須由人來寫來進行.
核心重點
- 多語種文本數據爲LLM培訓的四個不同階段服務——預訓,標語構建,指令/首選調製和評價——每個階段都獎勵數據的不同屬性.
- 2025年的一項研究培訓在25至400種語言上進行了1.1B和3B參數模型的測試,發現一旦每種語言都清除了足夠的符號計數,添加語言並不一定會損害性能.
- 質量過濾與基線基準分數相符,在多語種預訓中使用的培訓標誌不到15%。
- 教學和偏好數據必須由講母語的人編寫,因爲它教授的是文化上特有的行爲,而不僅僅是語言;Aya項目對齊了。 513 百萬個翻譯實例 204,000 人文寫對,而不是隻依靠翻譯.
- 應在由該語言的講者編寫的測試集上對每種語言的多種語言模型進行評價,因爲平均分數和翻譯基準都掩蓋了重要的故障。
多語種文本數據實際是在哪裏輸入 LLM 訓練的?
多語種文本數據通過四個不同階段進入模型培訓,每個階段都需要不同的數據.
該 預訓課程 即原始文本的巨大量,大多是無標籤文本,模型從中學習一種語言的形狀;其貨幣是每個語言的符號,並且可以批量地來源. 助推器培訓 通常從同一個本體中抽取一個樣本,這裏的樣本中的腳本和語言多樣性關係過大,儘管樣本也可以是批量來源的. 指令和偏好數據 ——教導一種模式有用、遵循指示和採用適當登記冊的提示和反應——不能大量來源;其貨幣是作者質量。 評價集,它揭示前三個階段是否有效,取決於是否獨立於培訓組,同樣也不能大量提供。
| 階段 | 是什麼來着? | 貨幣是什麼 | 能批量輸入嗎? |
|---|---|---|---|
| 培訓前文書 | 大量原始文本,大多是無標籤文本,模型學習語言形狀 | 每種語言的託肯數 | 是 |
| 助推器培訓 | 通常從預訓書中抽取的樣本 | 樣本中的腳本和語言多樣性 | 是的,但組成關係特別大 |
| 指令和偏好數據 | 提示和反應,教導模型有用,遵循指示,並採用適當的登記冊 | 作者質量 | 否 |
| 評價集 | 顯示前三個項目是否有效的測試數據 | 脫離培訓 | 否 |
要求從不同方向拉動,預訓獎勵尺度,指示調整獎勵作者,評價獎勵獨立性,一個將所有內容都視爲"用這些語言獲得更多文字"的方案,將花費大部分預算在最便宜的舞臺上.
標語化的決定值得單獨關注,因爲它是小的,廉價的和永久的。 建立在英語主語樣本上的標語化器爲模型的生命效率低,顯示爲成本、耐用性和減少每個語言的有效上下文。 比較這些階段在培訓方案中如何比較的更廣義的看法,見《培訓與培訓》,第3段。 水平對垂直 LLM 培訓數據.
多語種的詛咒是真實的嗎?
其可衡量,但最近的工作表明,它被廣泛誤判。
該 咒罵多語種 答案是,在2020年首次描述的,在固定模式能力下,增加語言首先幫助——特別是資源匱乏的語言——然後開始傷害單一語言和跨語言的性能。多年來,它被理解爲硬性權衡:覆蓋或質量,選擇一個。
2025年的一項研究在適當規模上重新審視了這一問題,對1.1B和3B參數模型進行了關於公司參數模型的培訓,範圍從 25至400種語言其調查結果使舊事變得相當複雜:
- 合併英文和多語文數據 不一定降低任一組的性能,但每種語言在文書中都有足夠數量的符號。
- 以英語爲主 關鍵語言 語言家庭都產生了各種好處——與預期相反,從語言家庭內部選擇一個支柱並不一定更好。
- 作者將詛咒歸咎於模型的有限能力和數據分佈,這些分佈擴大了以質量差的數據爲代表的語言的影響, 而不是添加語言本身.
這是一種有意義的不同問題。“語言競相爭取能力”意味着切換語言。“Thin, 低質的Corpora拖動在一切上”意味着修復Corpora,而這是一個數據操作問題,可以溶解。 權衡哪些語言優先,這些團隊首先可以看到權衡在實際中如何發揮作用。 AI培訓的高資源與低資源語言.
一種語言需要多少文本?
足夠清理一層樓層,地板比份額更重要。 下面,一種語言會發出噪音;在它之上,它會產生能力。
實際含義是: 每個語言符號音量是需要觀看的變量,而不是列表中語言的數量。一個400種語言的模型,其中多數語言的符號數微不足道,但並不是400種語言的模型,而是400種標籤和少數功能語言的模型。
這也是自然網絡分佈比例抽樣失敗的原因。 與網上文本數量成比例的抽樣語言和英語的抽樣語言大約一半,而尾巴幾乎得不到任何信息 — — 完全複製了抽樣本來要糾正的不平衡現象。標準反制是: 溫度取樣,它通過提高小語言的重量來平穩分佈,但推得太遠,導致資源低的數據被重複,直到模型超量使用.
制定多語種比例法的工作,通過得出最佳抽樣比率,將不同語言之間的總損失降到最低,使這項工作更加容易進行。 85M參數 被發現可以概括到幾個更大的數量級模型中——這樣一隊就可以廉價地尋找合適的混合物,並大規模應用.
對資源匱乏的語言來說,令人不快的結論是,清理地板往往需要在線上尚不存在的文本。 如何將語言覆蓋範圍擴大到地方.
數據質量是否比數據數量高?
決定性地,在多語種環境中,這是最近多語種預培訓研究中最令人鼓舞的成果。
有關基於模型的數據選擇的工作應用了不同語言家族和腳本的質量過濾,然後訓練了1B參數模型來進行比較. 過濾的數據與基準分數相符,使用的培訓標誌只有15%。
第二個發現更引人注目。 當將多語種模式與接受同樣數量相關語言培訓的單一語言模式進行比較時,多語種模式接受了有關語言的培訓。 過濾 數據效果超過了其單一語言等效。 未過濾 同樣的結構、同樣的預算、相反的結果——完全由實體質量決定。
對於計劃多語言方案的人來說,這重新定義了預算問題。本能是問能夠獲取多少文本。 更好的問題是,現有文本中有多少值得培訓,哪些經覈實的語文材料可以取代其他文本。 過濾和整理不是收藏品的間接費用;在多語種培訓中,它們就是大部分表演的起源地,這就是爲什麼 多語種 LLM 培訓數據質量 值得作爲自己的工作流程來對待
爲什麼指令數據必須被人們寫?
因爲它教行爲而不是語言,行爲在文化上是具體的.
指令調諧 是一個訓練階段, 教預訓模式遵循提示並持有一個適合對話的註冊, 不同於預訓, 它只教它語言的形狀。 爲何這一階段抵制自動化, 最清楚的證據來自 Aya 項目, 仍然是多語教學調用的參考點 。 它產生了兩件非常不同的東西:
| Aya 數據集 | 亞亞收藏 | |
|---|---|---|
| 大小 | ~204,000 即時和完成對 | ~513 百萬例 |
| 語言 | 65 | 114 |
| 如何建造 | 由流利的演講者撰寫和審查;~3,000 合作者 119 國家 | 大量微調和機器翻譯現有英文數據集 |
| 所交付的 | 行爲:登記、適當性、參與 | 麪包 |
翻譯和調試都十分必要,因爲人的努力無法以這種代價相匹配。 但研究人員直接談到爲什麼較小的、由人書寫的一套程序很重要:從人類註釋員那裏獲得的開放式指示數據很難,而且費用昂貴,正是這種數據使得模型參與對話而並非僅僅正確,而是一種區分,在下文中作了進一步闡述。 翻譯以外的問題:原因 AI 需要文化相關數據.
下面有一個結構問題。Pretraining教它語言的模型。教它如何用語言來行爲,每一種文化都不同,這都意味着禮貌的拒絕、適當的直接程度、文化上明智的榜樣。 翻譯本身不能產生。
你怎麼知道多語種數據起作用了?
只能通過對每種語言的評價,在使用該語言的人所製作的測試集上。三種失敗模式重複出現。
- 橫跨語言. 單一多語種的分數以集中的高資源語言爲主,一個模型可以整體看起來很固,同時在三分之一的支持語言中無法使用.
- 轉換基準。 翻譯一套英文測試集,可以對英文而不是語言進行翻譯測試,獎勵用英文思考和在翻譯中回答的模型——評價的用意是抓住的確切行爲。
- 測試一下什麼是容易衡量的。 準確性是直截了當的。 註冊、語氣、文化適宜性和拒絕行爲都不是,而使用者實際上注意到的是它們。
亞亞的工作也在這裏很有啓發性:除了模型之外,團隊還建造了涵蓋近百種語言的評價套房,包括人的評價而不是單靠自動評分。 如何爲地方政府管理課程建立多語種評價集.
Lifewood如何接近多語言文本數據?
Lifewood 由受過訓練的講土著語者製作而不是翻譯的語文教學、偏好和評價數據。
提示、回應、優先排序和評價集是用語言編寫的,這是行爲層獲得翻譯無法攜帶的註冊簿和文化框架的唯一途徑。 95%+ 準確率 SLA,並按語言而不是彙總報告,因爲平均數字以集中最大的語言爲主,並隱藏需要注意的語言——上面描述的用於評價的同樣陷阱.
對於清除象徵樓層意味着收集不存在在線文本的語言,制約在於位於正確位置的人,而不是工具化. 100+ 語言 包括代表性不足的方言, 40+ 跨省服務中心 30+ 國家 和 56,000+ 登記繳款人 需要這種規模的從頭到尾的方案可以看到如何通過下列方式安排行動: 管理多語種數據收集 和 企業 LLM 培訓數據.