简短回答： 高资源语言有大量数字化、贴标签和无标签的数据可供培训AI。低资源语言缺乏这些数据,无论有多少人说,区别在于提供可用数据,而不是说人。 标准参考是乔希和同事的六级框架(ACL 2020),将7种语言置于顶级,2,191种置于底级,差距自行扩大.
核心要点
- 一种语言的资源水平描述了数字化文本,音频,词典,平行的corpora和周围的标签数据集的库存,而不是语言本身所固有的任何内容.
- Joshi 等人(ACL 2020)分类学共有6个班级:7种语言坐落在5级和2,191种语言,其中88%左右被研究者坐落在几乎没有数字资源的0级.
- 资源不足并不意味着微不足道:博日普里,爪哇内塞,豪萨和阿姆哈拉克各有数千万的扬声器,并很好地坐到这个比例.
- MMLU-ProX基准显示,36种模式中高资源语言和低资源语言在相同问题上的性能差距高达24.3分。
- 本地语言使用者制作的标签数据是将一种语言移到一个班级,而这是网络刮掉无法提供的一种输入。
高资源语言与低资源语言有何区别?.
高资源语言有大量的累积的数字化文本,音频,词典,平行的corpora和标签数据集,可以用来训练AI系统,而低资源语言则很少拥有这种存量. 差异在于关于语言环境的经济和历史事实,而不是语言的属性.
研究人员 Microsoft 印度研究开放了 2020 纸质,带有谜题。两种语言,每种语言都是一国的官方语言,其母语人口在周围相当。 29 百万左右 约1亿左右 18 百万,一个大概有 2 百万篇维基百科文章;另一篇关于 5,500。一个出现在 69 两种主要语言数据目录的条目, LDC 财务报告和已审计财务报表 ELRA;另一个在 2一种语言由一些现有最好的机器翻译系统提供,另一种语言由极少数的和很差的翻译系统提供,语言是荷兰语和索马里语。
索马里问题没有一点让人难以了解或少表态。 两者的区别在于一个世纪的出版、机构投资、互联网基础设施和研究注意力累积在一边而不是另一边。 值得早做更正的是,资源匮乏并不意味着微不足道。 博日普里,爪哇内斯,豪萨和阿姆哈拉各有数千万的扬声器,并很好地坐落到这个尺度下.
两类标准在相同的一套标准上有所不同,下表将它们并列.
| 标准 | 高资源语言 | 资源低的语言 |
|---|---|---|
| 分类学位置 | Joshi等人的4级和5级(ACL 2020) | 0至2级,以3级为边界 |
| 语文数目 | 25 (7 类别 5, 18 类别 4) | 2,432人(0类2,191人,1类222人,2类19人). |
| 未加标签的网页文本 | 丰富; 主导在线存在 | 第0类和第1类中不存在的配位符 |
| 绑定的数据集 | 大量投资,并随着持续投资而增长 | 社区建造的小型设备最多;1级和0级几乎无 |
| 研究关注 | 在NLP主要会议上,第5级排在前2至前3名 | 类 0 平均军衔 600 改为: 1,000 |
| 基准业绩 | 一些模型在西欧语言上以MMLU-ProX的得分超过75% | 在某些非洲语言中,同样的模式低至0.6% |
| 类型覆盖 | 培训数据中充分体现的结构特征 | 1,139个特征类别中的549个仅出现于此处 |
| 示例语言 | 英语、西班牙语、德语、日语、法语、俄语、荷兰语、朝鲜语 | 博日普里、切罗基、斐济、祖鲁、老挝、马耳他、阿姆哈拉 |
| 是什么让班级升迁 | 数据通常可以来源或删除 | 数据通常必须由讲母语的人提供。 |
如何按资源水平对语言进行分类?
常见的参考文献有乔希、桑蒂、布迪拉贾、巴厘和乔杜里六级分类法,即“NLP世界语言多样性和包容的现状和命运”(ACL 2020),该分类法根据每种语言的标签和无标签数据数量排序世界语言。这些分类通常被赋予了值得纪念的名称。
| 类 | 名称 | 语言 | 示例 | 数据位置 |
|---|---|---|---|---|
| 5 | 赢家 | 7 | 英语、西班牙语、德语、日语、法语 | 在线主导存在和持续投资;首先从每一项预付款中受益 |
| 4 | 下层人 | 18 | 俄语、越南语、朝鲜语、荷兰语 | 大量无标签数据,较少标签数据,活跃的研究群体 |
| 3 | 上升的星辰 | 28 | 印度尼西亚、乌克兰、希伯来、南非荷兰语 | 强大的网络存在,但缺乏有标签的数据集收集服务 |
| 2 | 众望所归 | 19 | 老挝祖鲁、马耳他、爱尔兰 | 通常由确定的社区建立的小型标签数据组 |
| 1 | 斯克莱平比斯人 | 222 | 斐济族、格陵兰族、切罗基族、博杰普里族 | 一些未加标签的文本, 几乎没有标签的数据 |
| 0 | 左后卫 | 2,191 | 长尾巴 | 基本上根本没有数字资源 |
下方的数字使画面变得非常清晰 57种语言覆盖在周围 2.5 亿讲者; 类 0的,因为 2,191 语言,关于 88% 被研究的人群中,有的被覆盖 1.2 底层阶级拥有世界绝大多数语言,大约是 15% 几乎无所训练
向下读取表格,然后突出一个边界。 3级和4级之间的区别并不真正是网络存在,因为3级语言往往有蓬勃发展的网络文化。 数据被贴上标签。 同样,下调的rung也是这样:希望与升起星的区别在于,是否有人以该语言系统生产了附加注释的、经过核实的数据集。这就是一个空格。 多语种数据收集伙伴 被雇佣关闭。
为什么差距会扩大而不是缩小?
单靠着,发行集中,因为系统几乎每个机制都奖励已经拥有数据的语言。四个强化循环可以发挥作用。
预训会放大已经存在的东西. 现代模式主要学习大型无标签公司。 这样做是为了实现事物民主化,对中产阶级来说,它也部分地如此。 但一种几乎没有标签的在线文本语言几乎从消耗它的技术中得不到任何好处。 正如最初的研究者所说,未经监督的预训方法只会使穷人更加贫困。
研究注意力与资源相依为命。 分析主要计算语言学会议的出版物 5 语文在前两、前三名中排列一致,而类 0 语言平均排名 600 财务报告和已审计财务报表 1,000论文较少意味着基准更少,工具更少,训练有素的研究人员更少,这意味着论文更少.
商业刺激使情况更加复杂。 投资流向能够支付费用的市场,而那些市场大多讲类 4 和类 5 商业案例最薄弱的语言往往是最需要的语言。
发言者迁移到服务语言。 这是最微妙的循环,也是最间接的循环。 当技术用一种语言而不是另一种语言运行时,人们会切换到工作语言。 每个切换会减少较小语言的数字输出,进一步削弱其位置。 工具不仅反映了语言不平等,而且加速了它。
测量结果究竟显示什么?
三个独立的证据机构也指出了同样的情况:大多数接受高资源语言培训的模型在低资源语言上表现明显差,在许多语言中,差距的大小直到有人建立了基准才为人所知。
字形间隙. 比较类中发现的结构特征 0 改为: 2 以阶级为敌, 3 改为: 5,则 Microsoft 已查明的研究 549 特性类别 1,139 资源不足的组别中存在,在资源充足的组别中并不出现。顶级班级的培养模式从未遇到过人类语言结构多样性的近一半。结果很具体:仅次于阿拉伯语的第二口犹太人语言阿姆哈拉语在该组别中具有9种类型特征,而阿拉伯语则没有。在跨语言的任务中,英语到阿拉伯语产生了一个错误率: 7.8;英文译为阿姆哈拉语 60.71。差距不是以困难来解释,而是以模型从未显示的内容来解释。
相同内容的基准差距。 MMLU-ProX将同样的11,829个问题翻译成29种类型多样的语言,因此语言之间的分数差异是模型中的差异,而不是问题. 作者评估了36种最新模式,包括推理增强和多语言优化模式,报告高资源语言和低资源语言之间的绩效差距高达24.3分,一些模式在西欧语言上实现了75%以上,而在某些非洲语言上则达到了0.6%以下。 作品发表于EMNLP 2025,该方法与在"Entertainment"中描述的相同. 多语种AI模型如何基准化.
测量差距本身。 对于许多语言来说,差距的大小是未知的,而不是小的,因为没有基准。 2024 研究创造了大约100万个人类翻译的新基准数据,涵盖非洲8种低资源语言,即阿姆哈拉语、班巴拉语、伊格博语、塞佩迪语、肖纳语、塞索托语、塞茨瓦纳语和特森加语,涵盖的超过1 000个非洲语言。 160 造成数百万人发言,正是因为那里没有标准基准。
以下实际措施很简单:
Coverage gap = Score in your strongest language − Score in the target language
计算每个语言的分数而不是报告多语种的平均数。 集合分数以套集中高资源语言为主,一个模型可以张贴一个强的平均值,而市场却在语言中失败。 如何为地方政府管理课程建立多语种评价集.
还有一个需要规划的问题:流利和准确性以不同的速度下降。模型从相对较少的数据中学习语言的形状,因此输出在语法上远远超过其实际可靠性下降的程度,不说语言的审阅者会看到流利的文本并得出结论它很好。
商业案件是否跟随数据?
问题在于,市场对市场的影响并不大。 市场对市场的影响并不大,而是导致市场成本高,而不仅仅是不公平。 模式最不可靠的市场往往是当地语言在商业上最重要的市场。
CSA研究公司对29个国家8,709名消费者的调查发现,76%的网上购物者更喜欢购买以自己语言提供信息的产品,40%的人永远不会从其他语言的网站购买.
一项方案通过将市场拖欠给英语来应对模式性能薄弱的问题,选择了在商业上表现最差的选项,同时作为质量意识的决定出现在仪表板上。
什么能把语言移到一个班级?
本地语者制作的标签数据将语言移到一个类上。 这是对几乎每个类下语言的约束 4,这是刮刮不能提供的唯一的东西。
资源类响应投资,最近出现了一个示范. Meta的Omnilanguage ASR于11月发布 2025,使演讲获得认可, 1,600 语言,包括 500 资源低的语言在被转录之前从未被转录过 AI为了接触到数字化的或几乎没有数字化存在的语言,Meta与当地组织合作,招聘和补偿土著语言使用者,这些使用者往往分布在偏远或文献资料不足的地区,同时,这些语言并没有因为互联网的变化而上升,而是有人花钱去收集数据,在这类工作背后的录音和抄录管道被描述为: 如何为低资源语言收集语音数据.
对分类的研究从另一个方向发现了同样的模式:一些最被忽视的语言有小的,集中的社群努力地研究它们,而其他的则有数百万的演说者,爪哇内塞和伊格博,几乎没有这样的支持.
随后是两个规划结论,以及每个语文的覆盖面差距衡量。
- 答应市场之前先查查班 发言人数会告诉你机会的大小; 资源课会告诉你需要多少工作来达到它。 混淆两者是发射日期滑落。
- 用于数据创建的预算,而不是数据获取的预算. 对于第4类和第5类语言,数据往往可以来源于数据。下面通常必须制作数据,而这种数据是不同的活动,时间和费用各不相同。一旦制作多语种,如何具体确定和核实。 多语种 LLM 培训数据质量.
Lifewood如何接近资源匮乏的语言?.
Lifewood的多语言作品是为这个指南描述的制约而构建的:在网络未提供时,制作标注的,语言上的数据.
意思是说 100+ 语言 包括通过下列方式收集和核实的任职人数不足的方言: 40+ 跨省服务中心 30+ 国家,在项目开始前先筛选本地语,并在自动检查中进行人文审查 95%+ 准确度 阈值。网络的分布是因为将一种语言上移到一个班级意味着人们在讲语言的地方。
服务按管理方式提供 多种语文数据收集 文本和对话数据,以及 低资源语音数据 用于从未有转写程序的语言的收藏。购买者可以比较这类工作的提供者,从 2026年顶级多语言AI数据收集公司..