跳至主要内容
AI 数据

你的 AI 产品应该优先支持哪些语言?

Lifewood 团队10 分钟阅读

简短回答: 按四项因素合并打分来排列语言的先后,而不是按使用人数:每种语言能释放的收入与用户、基座模型对它的处理能力如何、把数据做到你的质量门槛需要多少成本,以及上线之后的运营负担。多数团队第一波应当发布三到五种语言,之后再一波一波地增加。

核心要点

  • 语言的先后顺序是一个跨四项因素的组合决策:对你而言的市场价值、基座模型的就绪度、达到目标质量所需的数据成本,以及长期的运营负担。
  • CSA Research 一项覆盖 29 个国家、8,709 名消费者的调查发现,76% 的人偏好在有母语产品信息的情况下购买,40% 的人则根本不会在其他语言的网站上购买。
  • 在不同语言之间,达到同样产品质量的成本可以相差一个数量级,而且恰恰在基座模型最弱的地方成本最高。
  • 只有当母语评测集存在、模型在其上达到质量门槛,并且配有母语者升级处理通道时,一种语言才算被支持。
  • 翻译过来的基准会高估模型能力,因此就绪度必须用母语来测,否则路线图的顺序就会排错。

为什么语言顺序是一个数据决策,而不只是市场决策?

因为在 AI 产品中支持一种语言,并不是预算里的一行翻译费。它是一整套数据工程,涵盖采集、微调素材,以及一个能告诉你产品在当地是否真的可用的评测集——而这套组合的成本在不同语言之间差异极大。

语言支持 指的是模型在这种语言上已经做过数据采集、基于母语质量的数据做过调优并接受过评测,而不只是界面被翻译了一遍。

差异本身才是重点。对高资源语言来说,可用的文本和语音数据或许现成就能授权取得,而且基座模型本来就表现不错,所以你额外要做的数据工作很薄。对低资源语言来说,数据必须去采集而不是去找现成的——这种实地作业的现实,在以下文章中有描述: 如何为低资源语言收集语音数据,而基座模型的起点质量也更低,于是恰恰在数据最难获取的地方,数据需求反而更大。同样一小时的音频,走自动化流程可能不到一美元,而由专业人员采集则可能超过一百美元——这个差距在以下文章中有详细拆解: 多语言 AI 数据采集的经济账.

低资源语言 指的是可用于模型训练的数字化文本或语音极少的语言,因此数据通常必须从母语者那里采集。

因此,两种市场规模完全相同的语言,要达到同样的产品质量,成本可能相差好几倍。仅凭一张市场规模表画出来的路线图,会系统性地在早期对昂贵语言投入过多,同时把便宜的收获白白留在桌上。排序必须把两边的账都算进去。

语言覆盖究竟能为你换来什么?

它换来的不只是触达:还有偏好、信任和真正完成的交易,而且相关研究的结论异常一致。客户在购买时偏好自己的语言;一个把某种语言处理得很糟的 AI 产品,比一个干脆不提供这种语言的产品危害更大。

CSA Research 与 Kantar 合作、基于覆盖 29 个国家、8,709 名消费者的调查所做的「读不懂就不买」系列研究发现:76% 的网购者偏好购买带有母语信息的产品,40% 的人完全不会在其他语言的网站上购买,65% 的人即便内容质量并不完美,也仍然偏好母语内容。这种偏好并不是因为读不懂英语:即使在那些对自己英语最有信心的受访者中,仍有明显多数在客户服务方面偏好母语。

调查发现 占比
偏好在有母语产品信息的情况下购买 76%
即使质量不完美,也仍偏好母语内容 65%
不会在其他语言的网站上购买 40%

这种偏好的强度因国家而异,该系列研究指出日本处于偏低的一端(50%),这本身就说明:应当逐个市场打分,而不是套用一个全球统一的假设。

对 AI 产品来说,风险比网站更高,因为模型在未被支持的语言中的失败方式,不是缺一段翻译,而是流利地给出错误答案。模型的能力与一种语言在训练时所拥有的数据量相关,而这种分布极不均衡。可测量的代价——准确率更低、推理更差、编造更多——在《为什么生成式 AI 在你的第二语言里表现更糟》一文中有详细说明。推出一种模型处理得很糟的语言,比不推出更糟,因为用户分不清自信的错误和真正的能力。

这里还有一层可见度红利:AI 助手是按语言逐一检索答案的,因此你投入的那些语言,也正是你的品牌有机会出现在 AI-生成答案中的那些市场。

决定排序的那四项因素是什么?

所释放的市场价值、基座模型的就绪度、达到目标质量所需的数据成本,以及上线后的运营负担。四项要一起打分,因为单看其中任何一项,都会得出具有误导性的顺序。

因素 1——所释放的市场价值。 不是看使用人口,而是看每种语言对应的可触达用户、收入和战略客户。一种有 4000 万使用者、而你在当地既有销售团队又有自然需求的语言,排序要高于一种有 3 亿(300 million)使用者、而你两样都没有的语言。请依据你自己的销售管道、用未支持语言提交的工单和市场计划来打分,而不是依据一张世界语言人口表。

因素 2——基座模型的就绪度。 你所依托的模型,在这种语言上已经表现得如何?这在花钱之前就能测出来:在每一种候选语言上跑你自己的真实任务,而不是通用基准,并由母语者打分。就绪度高,意味着你的数据工程只是查漏补缺;就绪度低,意味着那是从头建设。翻译过来的基准在这里会系统性地误导人、高估模型能力,原因详见 多语言 AI 模型是如何做基准测试的,所以要用母语去测,否则就等于没测。

因素 3——达到目标质量所需的数据成本。 补齐因素 2 暴露出来的那个缺口要花多少钱?这取决于数据的可得性(能否授权取得,还是必须自己采集)、母语者是否好招募、文字体系与工具链的复杂度,以及所谓「这一种语言」实际上是一个还是好几个地区变体。从右至左书写的文字和复杂文字体系有它们自己的成本溢价,正如《为从右至左书写与复杂文字体系采集文本数据》一文所展示的那样。

地区变体(locale) 指的是在某一地区实际使用的语言,有它自己的词汇、口音和习惯用法;阿拉伯语、西班牙语和中文各自都是一族地区变体,而不是单一条目。

各地区变体在词汇上有差异,在语音方面还有声学上的差异,因此 按地区变体界定语言覆盖范围 ,在此之前任何成本测算都谈不上可信。

因素 4——上线之后的运营负担。 一种已上线的语言需要持续的评测、内容更新、由母语者处理的升级通道,以及模型更新后的回归测试——而且是长期如此。五种语言做深,胜过十五种语言放着不管;被弃置的语言会悄悄退化成「说得流利但答得不对」的失败状态。

如何对候选清单打分并排序?

先列出八到十二个候选语言,在四项因素上各按 1 到 5 分打分,然后按波次排序,而不是排成一条单一名次。要简单到能在预算会议上说得清楚、站得住脚。

第 1 步——列出八到十二个候选语言 ,依据的是真实信号:按语言划分的当前流量与工单、按市场划分的销售管道、竞争对手的覆盖情况以及法规要求。

第 2 步——在四项因素上各按 1 到 5 分打分, ,其中因素 3 要反向计入(越便宜得分越高)。如果一定要加权,就把市场价值的权重加倍。

第 3 步——按波次排序,而不是排名次。 有用的产出是三个层级:

  • 第 1 波(现在):价值高、就绪度高。 那些对你重要、而基座模型本就表现不错的市场。这类回报最快,通常只需适度微调加一个母语评测集就能发布。
  • 第 2 波(接下来):价值高、就绪度低。 那些值得投入一整套数据工程的市场。现在就开始采集,因为它的前置周期最长;什么时候发布由评测说了算,而不是由路线图说了算。
  • 第 3 波(观察):价值较低,或地区变体的问题尚未理清。 每季度回顾一次;基座模型就绪度的变化之快,足以让某些语言在两次回顾之间就被提前。

第 4 步——为每种语言附上「完成」的定义:存在母语评测集、模型在该评测集上达到你的质量门槛,并且配有母语者的升级处理通道。缺少其中任何一项的语言,只是被宣布了,而不是被支持了。

母语评测集 指的是由目标地区变体的母语者撰写或审校、并围绕你真实任务构建的测试集,用来判断模型是否已经可以在该语言上发布。

数据成本(因素 3)会拉长或压缩第 2 波的时间表,而运营负担(因素 4)则决定了任何一波最多能容纳多少种语言。

哪些错误会让语言路线图失败?

按使用人数排序、把翻译当作「支持」、在没有母语评测集的情况下上线、把各地区变体混为一谈,以及把运营预算摊到太多语言上。

按使用人数排序。 世界上使用人数最多的语言,未必是你最大的市场,而使用人口与基座模型质量之间的相关性也很松散。一些体量中等的欧洲语言,在当前模型上得到的支持反而好过别处那些大得多的语言——这是以下文章所解释的那道鸿沟造成的: AI 训练中高资源语言与低资源语言的对比.

把翻译当作「支持」。 把界面翻译了,底下的模型却仍然在这种语言上推理得很差,这会造出最损害信任的组合:一层本地化的外壳,裹着退化的答案。更深层的问题在于,翻译搬走的是词句,却把知识和文化语境留在了原地——这正是《为什么 AI 需要有文化相关性的数据》所讨论的主题。

在没有母语评测集的情况下就上线。 如果你无法在该语言上衡量质量,那你就只能从用户流失中发现问题。评测集是整套组合里最便宜的一环,却也是最常被跳过的一环——《如何为 LLM 构建多语言评测集》一文正是针对这个缺口。

把各地区变体混为一谈。 一份取自西班牙的「西班牙语」数据集,部署到整个拉丁美洲时,会以你那套基于西班牙的评测永远看不出来的方式失败。

把运营预算摊到太多语言上。 路线图的幻灯片上写着二十种;维护预算实际只撑得起六种。剩下那十四种就会荒废。先定下预算真正支撑得起的数量,再在这个数量之内诚实地排序。

数据合作方如何帮你安排语言扩张的顺序?

数据合作方可以先做就绪度评估、界定地区变体范围、按语言测算数据成本并先行搭建评测集,这样在采集开始之前,路线图就已经算好了账。

语言优先级的排定,正是 Lifewood 许多 管理多语种数据收集 项目正是从这里开始的,因为在任何采集简报说得通之前,都必须先回答排序这个问题。工作方法沿用本文的做法:由母语者针对客户的真实任务,在候选语言上做就绪度评估;按地区变体而非按语言界定范围;针对补齐每个缺口所需的数据,按语言建立成本模型;以及一份先搭好评测集的分波路线图。成立于 2004 年的 Lifewood Data Technology 覆盖 100+ 种语言,在 30+ 个国家设有 40+ 个交付中心,其中包括需要实地采集的低资源语言,因此模型中成本的那一侧来自实际运营,而不是估算。

如果你正在比较服务商, 顶尖的多语言数据采集公司 是按明确的标准对它们做的排名。决策中市场价值的那一面,受益于独立的信息来源:CSA Research 的消费者系列研究,是按市场衡量语言偏好的标准参考。至于基座模型的就绪度,已公开的多语言基准可以作为起点(注意上文关于翻译基准的提醒),而最终的判断依据是你自己用母语评测过的真实任务。无论你如何给这几项因素加权,真正要紧的纪律是:在敲定路线图之前把四项都算上价钱——不管数据最终由谁来做。

在敲定语言路线图之前,你该做什么?

在定下方案之前:先拉出你自己的语言信号、在每种候选语言上用母语测试你的真实任务、按地区变体界定范围、测算整套成本,并为每种语言定义「完成」的标准。

  • 先把你自己的语言信号拉出来。 按语言和市场划分的流量、工单、销售管道和流失率;需求的证据其实已经在你自己的系统里了。
  • 在每种候选语言上运行你的真实任务 ,并让母语者为结果打分。这是一周的工作量,却能取代整个计划中最大的那个假设。
  • 按地区变体界定范围 ,然后再谈成本。「阿拉伯语」和「西班牙语」是一个组合,而不是一个条目。
  • 按语言测算整套成本:数据采集、调优数据、评测集和持续维护,而不是翻译那一项开支。
  • 按每波三到五种语言来排序, ,并且第 2 波的数据采集现在就要启动,因为它是周期最长的那一环。
  • 为每种语言定义「完成」的标准: 母语评测集、达到质量门槛、配有母语升级处理人员。
  • 每季度重新打分。 基座模型的就绪度变化很快;去年还排在第 3 波的语言,今年可能就成了唾手可得的收获。

常见问题

先支持那些在「对你的市场价值」和「基座模型就绪度」上得分最高的语言,通常是三到五种。把数据量大、价值高的语言放在第二波,并立刻开始采集,因为它的前置周期最长。绝不要单凭使用人数来决定顺序。

对多数团队而言是三到五种。这个数量足以在不同文字体系和数据条件下验证这套扩张打法,又小到能让每种语言都有一套真正的评测集和真正的维护。制约因素几乎总是运营负担,而不是初次发布时的雄心或预算。

只有当它在你的四项因素上得分第一时才是。对于诞生于非英语市场的产品,英语往往是第 1 波的新增项,而不是基础项,这套打分方法对此一视同仁。请依据你自己的需求、就绪度和成本证据,为每一种语言——包括英语——打分,而不是凭假设。

可以部分使用,但要谨慎。翻译数据带有已知的失真痕迹,也缺少本地知识,因此它只能补充、不能替代母语数据,在评测环节尤其如此。可以用它来扩大通用内容的覆盖面,但决定是否就绪的那套测试集,必须由母语者把关。

在你的用户真正有差异的那个层级上打分。如果两个地区变体在词汇、声学或法规上的差异足以改变产品体验,它们在打分表里就是两行。上面链接的地区变体界定指南,给出了判断某种方言是否值得单列的标准。

对许多中等资源的语言而言,一年之内就会有明显变化,因为新模型的发布会改变覆盖情况。这正是每季度重新打分之所以重要的原因:就绪度的提升,能把原本昂贵的第 2 波语言变成便宜的第 1 波新增项,而你不必在数据上多花一分钱。

资料来源与延伸阅读

  1. CSA Research——《覆盖 29 个国家、8,709 名消费者的调查》(与 Kantar 合作的「读不懂就不买」系列) ——76% 的人偏好用母语购买、40% 的人拒绝在其他语言的网站上购买、65% 的人即使质量不完美也偏好母语内容,以及各国之间的差异,其中日本为 50%。
  2. tcworld——《读不懂就不买》 ——该调查在欧洲、亚洲、北美和南美的覆盖范围。

有 AI 或品牌可见度项目计划吗?

从AI评估和人与人间搜索到GEO和AEO战略,我们的团队可以自信地帮助你们部署,并在AI搜索时代被发现.

联系我们的团队