简短回答: 因为同一个句子用不同语言书写时会变成不同数量的 token,而你是按 token 计费的。对此进行测量的研究发现,同一段文本被翻译成不同语言后,分词长度之间的差异最高可达 15 倍。由于 token 决定价格、延迟以及上下文窗口能装下多少内容,token 数量偏高的语言服务成本更高、响应更慢,留给上下文的空间也更少。
大多数人是以计费异常的形式初次遇到这件事的。一个产品用同一套提示词模板分别跑英语和缅甸语,而缅甸语版本每次请求的花费高出好几倍,却看不出明显原因。并没有任何配置错误。差别是在分词器那一步就定下的,早在模型被调用之前。
这在商业上重要,因为几乎每一种语言服务的定价模型都是按 token 计费的;它在技术上也重要,因为上下文窗口同样是按 token 度量的。同一份文档翻译之后,可能在一种语言里装得轻松,在另一种语言里却会溢出。
核心要点
- 同一段文本被翻译成不同语言后,可能会有 分词长度差异极大,最高可达 15 倍 在某些情况下。
- 这些差异 即便对有意为多语支持而训练的分词器也依然存在。把更多语言加进训练混合数据并不能解决它。
- 成本落在三个地方: 价格 商业语言服务的 处理时间与延迟,以及 可作为上下文的内容量 可作为上下文装下的内容量。
- 字符级与字节级模型也并非免疫,它们显示出 超过四倍的 在某些语言对上的编码长度差异。
- 语言之间的这一比值现在通常被称为 token 溢价.
- 一项横跨 97 种语言 的受控研究发现,词表规模与预分词会影响溢价,而分词器训练数据与测试数据之间的相似度则不会。
快速对比
| 影响 | 机制 | 谁会察觉 | 会出现在仪表盘里吗? |
|---|---|---|---|
| 每次请求的价格更高 | 按 token 计费 | 财务 | 会——表现为按地区的成本差异 |
| 响应更慢 | 需要处理与生成的 token 更多 | 使用该语言的用户 | 有时会——表现为按地区的 p95 延迟 |
| 可用上下文更少 | 窗口按 token 度量 | 没有人会直接察觉 | 很少——它表现为质量下降 |
| 训练吞吐更低 | 每个样例的 token 更多 | ML 团队 | 会——表现为吞吐 |
为什么同一个句子换一种语言就会变成更多 token?
分词器在一个语料上训练,并学到一套固定的子词词表,用以高效压缩该语料。与训练语料相似的文本会被切成少量较长的片段。与之不相似的文本则会被切成大量很短的片段,有时甚至切到单个字符或字节。
因此,一个词表主要从英语学来的分词器,能在词表里找到完整的英语单词和常见的英语片段。而当它面对一种形态结构不同、书写系统不同、或者只是没被充分覆盖的语言时,它就退回到小得多的片段上。文本承载的意义与信息量完全相同,而模型却要为读它收更多的钱。
重要的发现是:这并不单纯取决于某种语言拥有多少数据。即便对有意为多语支持而训练的分词器,差异也依然存在,这就排除了“多语分词器天然能解决问题”这一令人安心的假设。
研究实际测量的是什么?
最基础的那次测量把语言之间的“对等”定义为同一个句子产生相近的 token 数,并把“溢价”定义为两种语言之间 token 数的比值。在 17 个分词器上测量后发现,这些差异既大且持续存在。
最醒目的数字是同一段文本在不同语言之间翻译后最高达 15 倍的差异。那是区间的极端值而非典型情形,而典型情形的幅度仍足以改变单位经济性。同一项研究还发现,有时被当作解决办法提出的字符级与字节级模型,在某些语言对上的编码长度差异依然超过四倍。
更晚近的研究在受控条件下把这个问题拆开来看。通过训练约 7,000 个可比的单语分词器、覆盖 97 种语言,同时变动分词算法、词表规模与数据集规模,研究显示:即便在控制了数据集规模、词表规模与数据内容之后,单语分词器之间的 token 溢价依然跨度很大。有用的反面结论是:分词器训练数据与评测数据之间的相似度并不驱动溢价,而词表规模与预分词则会。
成本究竟落在哪里?
它落在三个地方,而这三者并不可以互相替代。每一个都约束着一个不同的设计决策。
价格。 按 token 计费意味着:一种 token 溢价为 3 倍的语言,在产出同样多用户可见内容的情况下,服务成本大约也是 3 倍。对于按用户核算毛利的消费级产品,这可能直接决定一个市场是否可行。
延迟。 更多的 token 意味着每次请求需要更多算力、需要生成更多步,因此响应来得更慢。高 token 溢价还会降低训练期间的吞吐。使用高溢价语言的用户拿到的是一个更慢的产品。
上下文。 窗口是按 token 计数的,因此在同样大小的窗口下,高溢价语言获得的可用上下文更少。在检索增强系统中,这是最安静也最具破坏性的效应:同样的检索预算只能纳入更少的文档,于是答案质量下降,而其原因从不出现在延迟或成本仪表盘上。
你能对此做些什么?
你无法更改托管模型的分词器,因此可行的选项分为三类:测量、预算与采购。
测量你自己内容的溢价,而不要相信已发布的表格。取一组有代表性的文档,用你的模型实际使用的那个分词器,在你所服务的每一种语言上分词,并记录相对于基准语言的比值。这只需一个下午,却把一项看不见的成本变成了可以写进计划的数字。
然后用 token 而不是字符来做预算。上下文上限、检索预算与按用户的成本上限都应当按地区分别设定,因为一个用字符或词数表达的全局上限,在每种语言里实际上都会悄悄变成一个不同的上限。
对于自行训练模型的团队,这项受控研究指出了两个具体的着力点:为每种语言选择合适的词表规模,以及预分词策略,包括跨空白符合并的超词分词器。两者都被发现能显著降低溢价效应。
最后,把它当作一项采购标准。如果你正在为一款多语产品评估模型,那么在你实际使用的语言集合上的 token 溢价,就应当与基准准确率并列进入比较。两个质量分数相同的模型,在你真正关心的那些语言上的运行成本可能有实质性差别,而这一差别来自各自词表的构建方式——而词表的构建方式,又是其训练数据构成的函数。