简短回答： 翻译转换词,同时保留基本知识和假设不变,因此一个模型可以流利地用一种语言回答,对于在那里的生日吃的食物,适当的形式程度,或者一个请求应该如何表达,仍然是错误的. 在BLEND基准(Myung等人,NeurIPS 2024)中,模型平均为79.22%,以英语询问的美国日常知识为79.22%,以阿姆哈拉语询问的埃塞俄比亚日常知识为12.18%。 这种知识很少被记录下来,因此必须从生活者那里收集。
核心要点
- 衡量的BLEND基准 52,600 手动问答对对 16 国家 13 语言,查找平均模型 79.22% 美国日常知识的英语对应于英语 12.18% 了解埃塞俄比亚人日常的阿姆哈拉语知识。
- 文化知识的示范性表现跟踪文化网络表现如何,而不是其语言处理有多困难。
- 对于资源低的语言,模型的英语答题比当地语言的答题好;对于资源中高的语言,模式反之.
- 所缺少的知识是普通的和不成文的——日常食物,社会规范和当地参考点,没有人认为需要在线录音.
- 缩小差距需要讲母语的人以语言编写和评价内容,而不是更好的翻译程序。
翻译为何不够?
翻译是一种语言操作,应用到已经由另一种文化塑造的内容上,因此,词变了,但世界观却没有。 三种类型的翻译旅行不顺利:日常实践、社会规范、参考点。
问一个模型,该给同事家带什么晚餐。用英语来回答西方语境的明智。把这个翻译成孟加拉语,你就能得到关于葡萄酒的流利的孟加拉语建议。 没有错误翻译 — — 答案建立在其他地方的知识之上,翻译步骤忠实地将假设贯穿了过去。 这是在非本地团队可以运行的每一次质量检查中幸存的失败模式:语法正确,术语一致,寄存器合理,内容错误的方式只有来自该市场的读者才能看到.
| 出事的路程很惨 | 示例 | 翻译的答案会产生什么 |
|---|---|---|
| 每天练习 | 吃、穿、玩、庆祝 | 有关食物、礼物、场合的 流利建议 |
| 社会规范 | 形式、直接性、如何解决谁的问题、什么是礼貌拒绝 | 登记簿上提供的正确信息,读起来粗鲁或荒谬 |
| 参考点 | 法定条件、机构、支付方法、假期、单位 | 自信地提到市场上不存在的东西 |
最重要的是,这三者都比较困难:如何使答案有助于、适当或粗鲁地因社会而异,而一个符合一个社会偏好的模式则在所有地方都适用这些偏好。 文化能力 ——一个模型能够反映特定文化的知识与规范,而不是其培训数据中最能体现的文化——并不是一个知识差距,会让更多的事实得到弥合;它是从校正数据中继承下来的校准.
文化差距有多大,可估量?
差距很大,足以成为某些市场的主要因素,而且可以衡量而不是传闻。 52,600 问答对对 16 国家 13 语言,包括阿姆哈拉语、豪萨语和孙丹语,由讲母语的人手工制作,而不是刮掉,是专门用来检验这一点的。 以此为标准,因为从网络文本中汇集的基准只能衡量已经从模型中吸取的相同在线来源。
| 计量 | 图 |
|---|---|
| 平均分,美国每日学习英语 | 79.22% |
| 埃塞俄比亚日常知识的阿姆哈拉语平均分数 | 12.18% |
| 传播到不同文化中,以获得测试的最佳模式 | 最高57.34个百分点 |
| 覆盖范围 | 52,600 双人 16 国家, 13 语言 |
头条下面的两个发现比头条本身更有用。 业绩跟踪文化在网上的体现程度,而不是其语言的难度 — — 文化的排名遵循其数字足迹。 而对于资源少的语言,模型用英语回答的比用当地语言回答的好,而对于中高资源语言则相反:当用当地语言问起时模型表现得更好. 其含义是准确的:对于这些文化,模型通过英语比通过文化实际使用的语言更了解文化,也就是说,所吸收的一切来自外界描述,而不是社区本身。
该 文化覆盖面差距 ——以本语言对参考文化的分数减去以本语言对目标文化的分数——是比较诚实的衡量标准,因为总体多语种平均数以代表性良好的文化为主,可以报告一个模式具有广泛的能力,而它却在具体市场完全失败.
什么样的知识是真正缺失的?
缺少的知识是普通的:一个地方的每个人都知道的事情,没有人写下来。 BLEND的作者指出了人们在生日庆典时吃什么,他们用什么香料做饭,年轻人玩什么乐器,以及学校里玩什么运动——当地常见的知识,在网络源代码模型中是少见的。
无法用更难或更难翻译的方式来弥补这一点,因为没有人认为需要录音;它只存在于人身上。 这与文化能力与它经常被混淆的两件事相区别。 这并不是语言覆盖,而是语言的流利,对语言的文化一无所知,而正是阿姆哈拉结果所显示的。 并不是生产意义上的适应格式、货币和日期的本地化;而是表面转换,适用于其实质内容在其他地方决定的内容。
产品中的差距在哪里出现?
差距出现在系统生成、排位或判断内容的任何地方,而这种差距则与单一参考市场作出的假设相对应,在图层中最难看到是为了抓住它。
| 表面 | 文化差距是什么样子的 |
|---|---|
| 助理和聊天 | 流利、自信和不适用的建议—— 宾加利酒失败 |
| 搜索和建议 | 以不同市场假设为依据对结果进行排序 |
| 内容生成 | 复制读作翻译,即使语法没有缺陷 |
| 评价 | 绿色仪表板,因为测试集是从参考市场翻译的 |
| 安全和节制 | 在一个社会实施的准则适用于另一个社会、过度或不足封锁 |
评估行是保存其余的隐藏的一行:一个翻译基准将源文化带过,并且可以错误地为那个市场排出模型,因此测量层复制了它安装来捕获的准确错误.
何以能解脱空隙.
缩小差距需要讲母语的人用自己的语言制作和判断内容,然后相互核实对方的工作——没有捷径,因为输入是活的知识,四种做法是大部分工作。
- 作者为语言;不翻译. 翻译可以提供源头从未出现的知识,而这一学科在指南中作了进一步阐述。 多语种 LLM 培训数据质量.
- 故意收集阴茎 日常实践是缺少的材料,因此必须明确要求它——贡献者不会自愿承担他们认为大家都知道的,这就是为什么围绕这些贡献而建立的方案。 收集不同文化间的对话数据 设计仪器去寻找它。
- 使用本地笔试设备进行评估。 由来自这种文化的人撰写的项目,内容包括日常知识、语气和适当性。
- 发射后让人类保持循环. 文化错误被理解为流利和正确,对于不属于这种文化的人来说,包括自动检查和与产生错误的假设相同、基于模型的分级员。
如何具体说明何时委托这项工作
- 哪些文化,与哪些语言分开命名,因为它们不是同一个列表,一种语言可能跨越几种语言。
- 贡献者是否现在在市场上生活,以及自侨民的知识漂移以来,特别是在日常实践中,至今已持续了多久——人们所关注的是对移民的移徙问题提供指导。 征聘非洲语言数据的当地撰稿人.
- 如何吸引日常知识话题,谁选择了话题列表.
- 评分集是本地作者还是翻译,由谁编写.
- 当地审查人员之间的分歧是如何解决的,因为来自同一市场的两个人可以合理地不同。
- 同意和公平补偿捐款者,因为这样做是正确的,而且一旦失去使用稀有语言的捐款者网络,就无法重建。
怎么样 Lifewood 弥补这一差距?
Lifewood 围绕母语收集和审查而不是翻译,建立提供渠道,理由是文化知识不能从拥有文化知识的社区以外收集。
收集、注释和评价贯穿全局 100+ 语言 包括代表人数不足的方言,由经过筛选的土著语言者通过 40+ 跨省服务中心 30+ 国家,在自动检查中进行人文审查 95%+ 准确度 网络的分布是因为文化知识不易携带——必须收集,而且根据另一国翻译的准则开展工作的审评员不能提供网络知识。 多种语文数据收集 和陪伴的向导, 低资源语言语音数据收集,并讨论应如何作出贡献 同意并公平支付 做这种工作