如何为 LLMS 建立多种语言评价集

2026年评价游戏本中有一句 比其他任何关于这个话题的 更准确地描述失败模式: 团队将一个英文建造的评价堆运到印地语, 日语或阿拉伯语表面最终会有一个双语质量的产品——一个英文半分的得分好,一个非英文半分的得分好,因为面额无法看清什么是破损的。 这就是问题所在。 这并不是说其他语言的模型更糟糕,这是预期的和可衡量的。 评估机器本身在另一种语言中更糟糕,因此退化是看不见的。这篇文章阐述了如何从零开始构建一套评估,这是任何公司在多个市场部署最终必须做的;这一系列的配套作品涵盖了如何阅读 已公布的多语种基准 以及为什么翻译的这些文章与当地人的判断不一致。

这些问题分为四类:语言特有语言推理,文字游戏和谜语,文化和传统推理,以及具有文化意义的数学推理. Scale AI 评估 14 领先的LLMS覆盖大多数模范家庭,没有得分高于 50%由于小组还通过英语流利的母语人手工翻译,制作基于文化的问题的英语等效词,因此可以直接孤立语言效应:大多数模型在英语数学推理方面比在原始语言方面表现得好得多,按周而复始的英语语言, 10 百分比,在同一基本问题上。

这一设计下的评论是重要部分。 现有的多语种推理基准一般是通过翻译英语基准构建的,这偏向于英语语言和文化背景的推理问题。 翻译测试标准衡量该模型是否能够处理一个翻译英语问题。 它不能衡量该模式是否能够用该语言说明这种文化。

公布的做法采用三种施工方法,最严肃的基准结合使用.

• 机器翻译与专家编辑后. 大规模基准,包括Mu Bench、BenchMAX和Bench MMLU-ProX 使用机器和 LLM-翻译管道在编辑后有专家协助,以保持语义、术语和文化忠诚。 优点是并行的数据构建,这可以直接进行跨语言比较,因为每种语言都看到相同的项目。
• 人类混合审查 翻译后进行结构化的多注释者裁决.
• 原创作者. 以目标语言写的问题,如MultiNRC中,最真实,没有平行,成本最高.

翻译的并行集可以比较各种语言, 本地作者的集可以告诉你模型是否用该语言工作,

ExpendentMAX将评价范围扩大到16种非英语语言,涵盖6种核心LLM能力,使用三步管道:由3位人文注释员从英文翻译,每集编辑后,然后选择最终翻译版本。 每集3位注释员,跨越16种语言,是设计的成本驱动器。

MIDB 报告明确努力扩大阿尔帕卡-埃瓦尔和 MT-法官席,均是英文,原为英文,至 16 语言: 一组 20 专业翻译 175 测试设置开发所需的人日。 11 使用每种语言,在任何本地作者之前,延长两个现有基准。

其管道通过 LLM-首先协助过滤和一致性检查,然后由两名注释员对每种语言的每个项目进行审查。 5% 子集是测试集构造的双附加说明,关于该子集的注释协议在 95%剩余的分歧由第三名专家裁决,没有达成共识的样本被完全删除,而不是武力解决。

设计中有三件事值得命名。自动过滤首先作为分解而不是判断进行,这是数据操作中在其它地方都起作用的相同架构。一致是用一个定义的子集来衡量的,而不是假设的,而数字是被报告的,这样读者就可以判断集的可靠性。 无法协商一致的物品被移除而不是强制解决:一个项目,两个合格的注释者无法达成一致,不是一个硬项目,是一个模棱两可的项目,并且包括它给每个模型的分数增加了噪音.

同一基准将本土评价与合成评价区分开来. 其本土评价使用674个人类验证的被搁置的真正多语种流量的子集,并删除了跨语义重复——比数以万计的翻译项目更小但更有用的评价资产,并且对大多数公司来说都是可以实现的。

这两种错误在行政上都是方便的,因此它们一直存在。 中国、日本和韩国都具有脚本特征,几乎与示范行为无关。 西班牙和葡萄牙关系十分密切,因此,团队通常将彼此视为对方的代名词,而由此造成的失败则十分微妙而非明显。

相关的优质酒吧是按语言雇用本地的注释员,并强制执行 开盘 —— 一种为机会而更正的公证人间协议的统计衡量标准——每语言超过0.7, 而不是整个语言组的汇总数字,这可以看起来健康,而一种语言的分布为0.4。 通知人之间的协议措施.

• 仪轨转法性. 翻译是否保留了平庸的意图而不是字面的翻译? 获取技术上准确的输出,并读取机器制作的输出。
• 文化注册局 坚持. 答案是否与预期使用者的居住地文化登记册相符? 得到的答案正确、不恰当、不便,或正确和严格地正式地反映市场。
• 拒绝保留。 源语言拒绝是否仍然是目标语言的拒绝? 这是一个安全主题,也是优先排序的:每一种语言都训练护栏,而拒绝英文请求并遵守另一种语言要求的模型是安全故障,而不是质量故障。
• 形式更正。 反应是否击中了预期的形式级别? 在语法化的礼貌系统语言中尤为重要,在语言中,错误的发生是社会错误,而不是形式上的错。

公布的基准确实使用LLM裁判器——OMGEval的GPT-4,MMLU-ProX的GPT-4o,以及其他地方的类似方法——结合多阶段的人的注释,这是规模的合理架构. 限制在于,一名在英语中强壮,在约鲁巴语中软弱的法官会不可靠地评估约鲁巴的输出,并且会用英语中所使用的同样自信的评分行为来进行:其错误不会看起来像错误. See. 如何可靠一个 LLM 法官其实是 实际位置是自动判断,用于对大块块进行分解和回归测试,以及人类本族判断,用于校准子集,用于上面四个标题,以及用于法官模型自身能力不确定的任何语言——大多数是这种语言。

做大规模的工作有两个方面。第一,最高价值的资产是私人的本地资产,而不是一个大额的翻译: 由真实流量产生的被扣留的、经过人验证的本地样本,比机器翻译的设定大小要好50倍,因为它衡量的是实际部署,而不是基准的代用, 并且不能因培训数据中出现污染而污染。 多种语文数据收集方案 范围更广。

第二,注释员的要求是有约束力的制约,在征聘方面,这是方法问题。 每种语言超过0.7的卡帕语通常需要每一种语言有两到三个合格的当地注释员,同时提供,并遵循共同的准则;对于16种语言,即30到50个具有正确语言特征的人,这是一个交付网络问题,而不是研究设计问题。 这正是项目滑落之处,值得按照征聘时间表而不是说明时间表进行规划,这也是造成征聘时间不足的制约因素。 黄金套件和审计抽样 更普遍地说,买家比较供应商的原因之一是: 多种语言的AI培训数据 承诺建设之前的覆盖。

• 决定每套软件的用途: 用于跨语言比较的并行翻译集, 用于模型是否在那里工作的地方的本地授权集。 请不要拼写 。
• 预算现实:在本地作者之前,每种语言大约11人/日,以延长现有的英语基准。
• 运行 LLM-协助过滤 分解,然后人检, 顺序。
• 每语言使用两个注释器,并带有一个双附加说明的子集来测量协议,第三个专家负责裁决,而去除而不是强制解决无共识项目.
• 执行每种语言0.7以上,每种语言报告。
• 按语言和文字,而不是按地区,而不是按文字家族来划分。
• 将四个本土的标语 优先保留拒绝
• 建立私人的本地交通系统, 将语言语义复制件删除。
• 使用自动判断器进行吞吐量,而不是用于校准集.