簡短回答： 高資源語言有大量數字化、貼標籤和無標籤的數據可供培訓AI。低資源語言缺乏這些數據,無論有多少人說,區別在於提供可用數據,而不是說人。 標準參考是喬希和同事的六級框架(ACL 2020),將7種語言置於頂級,2,191種置於底級,差距自行擴大.
核心重點
- 一種語言的資源水平描述了數字化文本,音頻,詞典,平行的corpora和周圍的標籤數據集的庫存,而不是語言本身所固有的任何內容.
- Joshi 等人(ACL 2020)分類學共有6個班級:7種語言坐落在5級和2,191種語言,其中88%左右被研究者坐落在幾乎沒有數字資源的0級.
- 資源不足並不意味着微不足道:博日普里,爪哇內塞,豪薩和阿姆哈拉克各有數千萬的揚聲器,並很好地坐到這個比例.
- MMLU-ProX基準顯示,36種模式中高資源語言和低資源語言在相同問題上的性能差距高達24.3分。
- 本地語言使用者製作的標籤數據是將一種語言移到一個班級,而這是網絡刮掉無法提供的一種輸入。
高資源語言與低資源語言有何區別?.
高資源語言有大量的累積的數字化文本,音頻,詞典,平行的corpora和標籤數據集,可以用來訓練AI系統,而低資源語言則很少擁有這種存量. 差異在於關於語言環境的經濟和歷史事實,而不是語言的屬性.
研究人員 Microsoft 印度研究開放了 2020 紙質,帶有謎題。兩種語言,每種語言都是一國的官方語言,其母語人口在周圍相當。 29 百萬左右 約1億左右 18 百萬,一個大概有 2 百萬篇維基百科文章;另一篇關於 5,500。一個出現在 69 兩種主要語言數據目錄的條目, LDC 財務報告和已審計財務報表 ELRA;另一個在 2一種語言由一些現有最好的機器翻譯系統提供,另一種語言由極少數的和很差的翻譯系統提供,語言是荷蘭語和索馬里語。
索馬里問題沒有一點讓人難以瞭解或少表態。 兩者的區別在於一個世紀的出版、機構投資、互聯網基礎設施和研究注意力累積在一邊而不是另一邊。 值得早做更正的是,資源匱乏並不意味着微不足道。 博日普里,爪哇內斯,豪薩和阿姆哈拉各有數千萬的揚聲器,並很好地坐落到這個尺度下.
兩類標準在相同的一套標準上有所不同,下表將它們並列.
| 標準 | 高資源語言 | 資源低的語言 |
|---|---|---|
| 分類學位置 | Joshi等人的4級和5級(ACL 2020) | 0至2級,以3級爲邊界 |
| 語文數目 | 25 (7 類別 5, 18 類別 4) | 2,432人(0類2,191人,1類222人,2類19人). |
| 未加標籤的網頁文本 | 豐富; 主導在線存在 | 第0類和第1類中不存在的配位符 |
| 綁定的數據集 | 大量投資,並隨着持續投資而增長 | 社區建造的小型設備最多;1級和0級幾乎無 |
| 研究關注 | 在NLP主要會議上,第5級排在前2至前3名 | 類 0 平均軍銜 600 改爲: 1,000 |
| 基準業績 | 一些模型在西歐語言上以MMLU-ProX的得分超過75% | 在某些非洲語言中,同樣的模式低至0.6% |
| 類型覆蓋 | 培訓數據中充分體現的結構特徵 | 1,139個特徵類別中的549個僅出現於此處 |
| 示例語言 | 英語、西班牙語、德語、日語、法語、俄語、荷蘭語、朝鮮語 | 博日普里、切羅基、斐濟、祖魯、老撾、馬耳他、阿姆哈拉 |
| 是什麼讓班級升遷 | 數據通常可以來源或刪除 | 數據通常必須由講母語的人提供。 |
如何按資源水平對語言進行分類?
常見的參考文獻有喬希、桑蒂、布迪拉賈、巴釐和喬杜裏六級分類法,即“NLP世界語言多樣性和包容的現狀和命運”(ACL 2020),該分類法根據每種語言的標籤和無標籤數據數量排序世界語言。這些分類通常被賦予了值得紀念的名稱。
| 類 | 名稱 | 語言 | 示例 | 數據位置 |
|---|---|---|---|---|
| 5 | 贏家 | 7 | 英語、西班牙語、德語、日語、法語 | 在線主導存在和持續投資;首先從每一項預付款中受益 |
| 4 | 下層人 | 18 | 俄語、越南語、朝鮮語、荷蘭語 | 大量無標籤數據,較少標籤數據,活躍的研究羣體 |
| 3 | 上升的星辰 | 28 | 印度尼西亞、烏克蘭、希伯來、南非荷蘭語 | 強大的網絡存在,但缺乏有標籤的數據集收集服務 |
| 2 | 衆望所歸 | 19 | 老撾祖魯、馬耳他、愛爾蘭 | 通常由確定的社區建立的小型標籤數據組 |
| 1 | 斯克萊平比斯人 | 222 | 斐濟族、格陵蘭族、切羅基族、博傑普里族 | 一些未加標籤的文本, 幾乎沒有標籤的數據 |
| 0 | 左後衛 | 2,191 | 長尾巴 | 基本上根本沒有數字資源 |
下方的數字使畫面變得非常清晰 57種語言覆蓋在周圍 2.5 億講者; 類 0的,因爲 2,191 語言,關於 88% 被研究的人羣中,有的被覆蓋 1.2 底層階級擁有世界絕大多數語言,大約是 15% 幾乎無所訓練
向下讀取表格,然後突出一個邊界。 3級和4級之間的區別並不真正是網絡存在,因爲3級語言往往有蓬勃發展的網絡文化。 數據被貼上標籤。 同樣,下調的rung也是這樣:希望與升起星的區別在於,是否有人以該語言系統生產了附加註釋的、經過覈實的數據集。這就是一個空格。 多語種數據收集夥伴 被僱傭關閉。
爲什麼差距會擴大而不是縮小?
單靠着,發行集中,因爲系統幾乎每個機制都獎勵已經擁有數據的語言。四個強化循環可以發揮作用。
預訓會放大已經存在的東西. 現代模式主要學習大型無標籤公司。 這樣做是爲了實現事物民主化,對中產階級來說,它也部分地如此。 但一種幾乎沒有標籤的在線文本語言幾乎從消耗它的技術中得不到任何好處。 正如最初的研究者所說,未經監督的預訓方法只會使窮人更加貧困。
研究注意力與資源相依爲命。 分析主要計算語言學會議的出版物 5 語文在前兩、前三名中排列一致,而類 0 語言平均排名 600 財務報告和已審計財務報表 1,000論文較少意味着基準更少,工具更少,訓練有素的研究人員更少,這意味着論文更少.
商業刺激使情況更加複雜。 投資流向能夠支付費用的市場,而那些市場大多講類 4 和類 5 商業案例最薄弱的語言往往是最需要的語言。
發言者遷移到服務語言。 這是最微妙的循環,也是最間接的循環。 當技術用一種語言而不是另一種語言運行時,人們會切換到工作語言。 每個切換會減少較小語言的數字輸出,進一步削弱其位置。 工具不僅反映了語言不平等,而且加速了它。
測量結果究竟顯示什麼?
三個獨立的證據機構也指出了同樣的情況:大多數接受高資源語言培訓的模型在低資源語言上表現明顯差,在許多語言中,差距的大小直到有人建立了基準才爲人所知。
字形間隙. 比較類中發現的結構特徵 0 改爲: 2 以階級爲敵, 3 改爲: 5,則 Microsoft 已查明的研究 549 特性類別 1,139 資源不足的組別中存在,在資源充足的組別中並不出現。頂級班級的培養模式從未遇到過人類語言結構多樣性的近一半。結果很具體:僅次於阿拉伯語的第二口猶太人語言阿姆哈拉語在該組別中具有9種類型特徵,而阿拉伯語則沒有。在跨語言的任務中,英語到阿拉伯語產生了一個錯誤率: 7.8;英文譯爲阿姆哈拉語 60.71。差距不是以困難來解釋,而是以模型從未顯示的內容來解釋。
相同內容的基準差距。 MMLU-ProX將同樣的11,829個問題翻譯成29種類型多樣的語言,因此語言之間的分數差異是模型中的差異,而不是問題. 作者評估了36種最新模式,包括推理增強和多語言優化模式,報告高資源語言和低資源語言之間的績效差距高達24.3分,一些模式在西歐語言上實現了75%以上,而在某些非洲語言上則達到了0.6%以下。 作品發表於EMNLP 2025,該方法與在"Entertainment"中描述的相同. 多語種AI模型如何基準化.
測量差距本身。 對於許多語言來說,差距的大小是未知的,而不是小的,因爲沒有基準。 2024 研究創造了大約100萬個人類翻譯的新基準數據,涵蓋非洲8種低資源語言,即阿姆哈拉語、班巴拉語、伊格博語、塞佩迪語、肖納語、塞索托語、塞茨瓦納語和特森加語,涵蓋的超過1 000個非洲語言。 160 造成數百萬人發言,正是因爲那裏沒有標準基準。
以下實際措施很簡單:
Coverage gap = Score in your strongest language − Score in the target language
計算每個語言的分數而不是報告多語種的平均數。 集合分數以套集中高資源語言爲主,一個模型可以張貼一個強的平均值,而市場卻在語言中失敗。 如何爲地方政府管理課程建立多語種評價集.
還有一個需要規劃的問題:流利和準確性以不同的速度下降。模型從相對較少的數據中學習語言的形狀,因此輸出在語法上遠遠超過其實際可靠性下降的程度,不說語言的審閱者會看到流利的文本並得出結論它很好。
商業案件是否跟隨數據?
問題在於,市場對市場的影響並不大。 市場對市場的影響並不大,而是導致市場成本高,而不僅僅是不公平。 模式最不可靠的市場往往是當地語言在商業上最重要的市場。
CSA研究公司對29個國家8,709名消費者的調查發現,76%的網上購物者更喜歡購買以自己語言提供信息的產品,40%的人永遠不會從其他語言的網站購買.
一項方案通過將市場拖欠給英語來應對模式性能薄弱的問題,選擇了在商業上表現最差的選項,同時作爲質量意識的決定出現在儀表板上。
什麼能把語言移到一個班級?
本地語者製作的標籤數據將語言移到一個類上。 這是對幾乎每個類下語言的約束 4,這是刮刮不能提供的唯一的東西。
資源類響應投資,最近出現了一個示範. Meta的Omnilanguage ASR於11月發佈 2025,使演講獲得認可, 1,600 語言,包括 500 資源低的語言在被轉錄之前從未被轉錄過 AI爲了接觸到數字化的或幾乎沒有數字化存在的語言,Meta與當地組織合作,招聘和補償土著語言使用者,這些使用者往往分佈在偏遠或文獻資料不足的地區,同時,這些語言並沒有因爲互聯網的變化而上升,而是有人花錢去收集數據,在這類工作背後的錄音和抄錄管道被描述爲: 如何爲低資源語言收集語音數據.
對分類的研究從另一個方向發現了同樣的模式:一些最被忽視的語言有小的,集中的社羣努力地研究它們,而其他的則有數百萬的演說者,爪哇內塞和伊格博,幾乎沒有這樣的支持.
隨後是兩個規劃結論,以及每個語文的覆蓋面差距衡量。
- 答應市場之前先查查班 發言人數會告訴你機會的大小; 資源課會告訴你需要多少工作來達到它。 混淆兩者是發射日期滑落。
- 用於數據創建的預算,而不是數據獲取的預算. 對於第4類和第5類語言,數據往往可以來源於數據。下面通常必須製作數據,而這種數據是不同的活動,時間和費用各不相同。一旦製作多語種,如何具體確定和核實。 多語種 LLM 培訓數據質量.
Lifewood如何接近資源匱乏的語言?.
Lifewood的多語言作品是爲這個指南描述的制約而構建的:在網絡未提供時,製作標註的,語言上的數據.
意思是說 100+ 語言 包括通過下列方式收集和核實的任職人數不足的方言: 40+ 跨省服務中心 30+ 國家,在項目開始前先篩選本地語,並在自動檢查中進行人文審查 95%+ 準確度 閾值。網絡的分佈是因爲將一種語言上移到一個班級意味着人們在講語言的地方。
服務按管理方式提供 多種語文數據收集 文本和對話數據,以及 低資源語音數據 用於從未有轉寫程序的語言的收藏。購買者可以比較這類工作的提供者,從 2026年頂級多語言AI數據收集公司..