如何制定多语言AI模式的基准

最近的调查工作提供了一个有用的框架,确定了多语种评价中的三个核心挑战:覆盖面,是指测试何种语言;代表性,指测试是否反映语言和文化,而不是英文原文;信任,指结果是否科学可靠。 US-核心框架被指为两个主要的代表性缺陷。

实际后果是"支持 100 语言,“被评价为 100 和“在语言方面表现良好” 100 语言"是三种不同的主张,市场通常会呈现第一种,好像它是第三种. A. Microsoft- 对多语种评价的附带调查发现,在世界每个区域,大部分语文主要通过翻译内容来评价,其中欧洲和东亚最依赖翻译,撒哈拉以南非洲地区在本土撰写的内容中所占的份额最高,这是区域研究界从零开始制定的具体语文基准的直接结果。 多语种数据收集提供者 应将“语言覆盖”视为营销主张,直至其与评价方法配对为止。

翻译 源语言在翻译文本中留下的干扰——可以探测的符号和合成结构,让读者识别原始内容。这种现象在语言学中有大量文献记载,在评价中它是一种污染物而不是好奇心。

继承 模型的分数是通过识别原始英语问题的形状而不是理解目标语言来进行。由于所有非英语项目都来源于共同的英语源,模型性能可能反映对保留英语提示的识别,而不是真正的理解。 早先的作品恰恰证明了这一点,表明翻译引入了作为非语义快捷方式加以利用的微妙的文物模型.

与发言者的分歧是决定相关的结果:与本地构建的替代品相比,翻译基准与当地人类判断的一致程度要差得多,因为Spireman的关联度为0.47比0.68,如果基准及其使用者不同意,基准就是错误之处。

翻译质量也比大多数买家所假定的要多。 全球语言翻译(Global-MMLU),它涉及42种语言,结合了机器翻译和众源载人验证,但只有约20%的机器翻译文本经过人工校正,问答被分别翻译,在一些语言中产生了可观察到的语法不一致。这是原因之一。 多语种 LLM 培训数据质量 取决于本地审查,而不仅仅是翻译覆盖。

本地基准是一个真正的进步。 写真课程、政府考试和地方电子学习平台的问题的努力保护文化背景、正确的术语和真实的框架,并完全避免翻译。 语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言语言

交叉语言比较变得困难:如果一种语言集比另一种语言集利用不同的主题组合,那么分数差异就把语言熟练程度与任务难度混为一谈。 本地源基准在内部是有效的,在语言之间进行比较时很尴尬,这正是买家想要做的事情 — — 这个问题贯穿了整个过程。 高资源语言和低资源语言 不均衡,因为资源不足的组合开始会更稀薄.

多选择测试检索,而不是生成。 翻译和本土基准都绝大多数使用多选择格式,这些格式衡量知识检索,并带有选择偏差。 现实世界的效用取决于连贯、流利、忠诚的一代,而多重选择并不评估它;研究人员一直明确表示,评估多语种的生成质量仍然是一个公开的问题。 本地基准告诉买家一个模型是否处理语言和文化;生成评价告诉他们输出是否可用。 两者都不是替代品。

基准污染 意味着评价问题出现在模型的预训数据中,通过记忆而不是能力来夸大分数。大型的网络缩写公司使得任何一段时间以来公开的基准都有可能出现这种情况。最近的计量给出了一个可用的情况:较新的基准显示,污染率明显较低,据报告。 0.0% 费用 MILU, 1.0% 费用 INCLUDE 财务报告和已审计财务报表 1.7% 全球环境基金 MMLU其必然结果是不适:最引用的基准最有可能受损。

检测也不稳定。 不同的方法测量不同的东西,表面形态重叠和记忆驱动的性能差距在同一基准上产生不同的结果,研究人员指出,单一的检测方法不足以造成多语言污染。

接下来是两个实际的回答:第一,更喜欢最近的基准,对待长期的领导牌分数比其突出地位所显示的要谨慎。 私人持有的套装 ——一套从未公布的评价——作为唯一可靠的防污染的防御手段,也是衡量具体用途而不是一般用途的唯一检验手段.

层 1 语言是本地知识和理解:由讲者用当地语言写的问题,最好来自当地的课程或考试,测试模型是否懂该语言而不是翻译。 2 生成质量:由发言者判断为流利、连贯和语义忠实的开放式任务——多选择基准沉默的层次,用户实际上形成印象的层次。 3 是一个从真实工作、公司自己的域、客户措辞和文件类型中抽取的私有设备, 不受建筑污染。 4 语气、记录和适当性,由发言者判断,因为它不能自动化——这是决定产出是尊重还是粗鲁的层次。 5 安全与拒绝行为, 每种语言, 因为护栏只保留在他们受过训练的地方, 并且只有英文的安全评价 几乎不告诉公司 暴露在别处。

将所有五个层次围在一起的两个学科。每个语言都报告,从不作为汇总,因为一个平均值由一组最强的语言所主导,这个要点在如何进行更详尽的论述中被涵盖。 为地方政府管理课程建立多语种评价集并且先定义每个市场中一个好答案的模样,然后进行衡量,因为对直接性、长度和形式性的期望不同,并且对照英国规范对一切进行评分得出自信但错误的结论。 标注员间一致性 跟踪,使各种语文的评分一致。

以上每一层都需要同样的投入:本地语者写项目、判断产出、裁定分歧和记录决定。 没有自动替代,使用一种模式来判断其处理不良的语文输出,只是将原始问题复制到一个新地方。 这使得评价成为一种业务能力,而不是研究能力——它需要征聘、筛选、目标语文准则、战略间协定跟踪和每种语文的不断裁定,因为模型变化和评价组合必须跟上步伐。

这是Lifewood在它整个世界中 所做的大部分 100+ 语言 能力:通过在全局范围内采用人与人模式工作的经过筛选的讲母语者,制作语言评价和偏好数据,包括语调和适当判断以及每个语言的红色队伍 40+ 跨省服务中心 30+ 国家公司将这类工作作为管理服务的范围,可以审查Lifewood公司 多种语文数据收集 提供和提供 AI 数据验证 如何进行每种语文的质量检查。

结束点是商业的:任何供应商都可以要求语言覆盖。 可以在演讲者(包括生成和安全)编写的每套语言评价结果上产生结果的公司正在提出可以检查的要求。 在支持清单价格低廉的市场中,可以核实的证据是不同的。