簡短回答: 因爲同一個句子用不同語言書寫時會變成不同數量的 token,而你是按 token 計費的。對此進行測量的研究發現,同一段文本被翻譯成不同語言後,分詞長度之間的差異最高可達 15 倍。由於 token 決定價格、延遲以及上下文窗口能裝下多少內容,token 數量偏高的語言服務成本更高、響應更慢,留給上下文的空間也更少。
大多數人是以計費異常的形式初次遇到這件事的。一個產品用同一套提示詞模板分別跑英語和緬甸語,而緬甸語版本每次請求的花費高出好幾倍,卻看不出明顯原因。並沒有任何配置錯誤。差別是在分詞器那一步就定下的,早在模型被調用之前。
這在商業上重要,因爲幾乎每一種語言服務的定價模型都是按 token 計費的;它在技術上也重要,因爲上下文窗口同樣是按 token 度量的。同一份文檔翻譯之後,可能在一種語言裏裝得輕鬆,在另一種語言裏卻會溢出。
核心重點
- 同一段文本被翻譯成不同語言後,可能會有 分詞長度差異極大,最高可達 15 倍 在某些情況下。
- 這些差異 即便對有意爲多語支持而訓練的分詞器也依然存在。把更多語言加進訓練混合數據並不能解決它。
- 成本落在三個地方: 價格 商業語言服務的 處理時間與延遲,以及 可作爲上下文的內容量 可作爲上下文裝下的內容量。
- 字符級與字節級模型也並非免疫,它們顯示出 超過四倍的 在某些語言對上的編碼長度差異。
- 語言之間的這一比值現在通常被稱爲 token 溢價.
- 一項橫跨 97 種語言 的受控研究發現,詞表規模與預分詞會影響溢價,而分詞器訓練數據與測試數據之間的相似度則不會。
快速比較
| 影響 | 機制 | 誰會察覺 | 會出現在儀表盤裏嗎? |
|---|---|---|---|
| 每次請求的價格更高 | 按 token 計費 | 財務 | 會——表現爲按地區的成本差異 |
| 響應更慢 | 需要處理與生成的 token 更多 | 使用該語言的用戶 | 有時會——表現爲按地區的 p95 延遲 |
| 可用上下文更少 | 窗口按 token 度量 | 沒有人會直接察覺 | 很少——它表現爲質量下降 |
| 訓練吞吐更低 | 每個樣例的 token 更多 | ML 團隊 | 會——表現爲吞吐 |
爲什麼同一個句子換一種語言就會變成更多 token?
分詞器在一個語料上訓練,並學到一套固定的子詞詞表,用以高效壓縮該語料。與訓練語料相似的文本會被切成少量較長的片段。與之不相似的文本則會被切成大量很短的片段,有時甚至切到單個字符或字節。
因此,一個詞表主要從英語學來的分詞器,能在詞表裏找到完整的英語單詞和常見的英語片段。而當它面對一種形態結構不同、書寫系統不同、或者只是沒被充分覆蓋的語言時,它就退回到小得多的片段上。文本承載的意義與信息量完全相同,而模型卻要爲讀它收更多的錢。
重要的發現是:這並不單純取決於某種語言擁有多少數據。即便對有意爲多語支持而訓練的分詞器,差異也依然存在,這就排除了“多語分詞器天然能解決問題”這一令人安心的假設。
研究實際測量的是什麼?
最基礎的那次測量把語言之間的“對等”定義爲同一個句子產生相近的 token 數,並把“溢價”定義爲兩種語言之間 token 數的比值。在 17 個分詞器上測量後發現,這些差異既大且持續存在。
最醒目的數字是同一段文本在不同語言之間翻譯後最高達 15 倍的差異。那是區間的極端值而非典型情形,而典型情形的幅度仍足以改變單位經濟性。同一項研究還發現,有時被當作解決辦法提出的字符級與字節級模型,在某些語言對上的編碼長度差異依然超過四倍。
更晚近的研究在受控條件下把這個問題拆開來看。通過訓練約 7,000 個可比的單語分詞器、覆蓋 97 種語言,同時變動分詞算法、詞表規模與數據集規模,研究顯示:即便在控制了數據集規模、詞表規模與數據內容之後,單語分詞器之間的 token 溢價依然跨度很大。有用的反面結論是:分詞器訓練數據與評測數據之間的相似度並不驅動溢價,而詞表規模與預分詞則會。
成本究竟落在哪裏?
它落在三個地方,而這三者並不可以互相替代。每一個都約束着一個不同的設計決策。
價格。 按 token 計費意味着:一種 token 溢價爲 3 倍的語言,在產出同樣多用戶可見內容的情況下,服務成本大約也是 3 倍。對於按用戶覈算毛利的消費級產品,這可能直接決定一個市場是否可行。
延遲。 更多的 token 意味着每次請求需要更多算力、需要生成更多步,因此響應來得更慢。高 token 溢價還會降低訓練期間的吞吐。使用高溢價語言的用戶拿到的是一個更慢的產品。
上下文。 窗口是按 token 計數的,因此在同樣大小的窗口下,高溢價語言獲得的可用上下文更少。在檢索增強系統中,這是最安靜也最具破壞性的效應:同樣的檢索預算只能納入更少的文檔,於是答案質量下降,而其原因從不出現在延遲或成本儀表盤上。
你能對此做些什麼?
你無法更改託管模型的分詞器,因此可行的選項分爲三類:測量、預算與採購。
測量你自己內容的溢價,而不要相信已發佈的表格。取一組有代表性的文檔,用你的模型實際使用的那個分詞器,在你所服務的每一種語言上分詞,並記錄相對於基準語言的比值。這隻需一個下午,卻把一項看不見的成本變成了可以寫進計劃的數字。
然後用 token 而不是字符來做預算。上下文上限、檢索預算與按用戶的成本上限都應當按地區分別設定,因爲一個用字符或詞數表達的全局上限,在每種語言裏實際上都會悄悄變成一個不同的上限。
對於自行訓練模型的團隊,這項受控研究指出了兩個具體的着力點:爲每種語言選擇合適的詞表規模,以及預分詞策略,包括跨空白符合並的超詞分詞器。兩者都被發現能顯著降低溢價效應。
最後,把它當作一項採購標準。如果你正在爲一款多語產品評估模型,那麼在你實際使用的語言集合上的 token 溢價,就應當與基準準確率並列進入比較。兩個質量分數相同的模型,在你真正關心的那些語言上的運行成本可能有實質性差別,而這一差別來自各自詞表的構建方式——而詞表的構建方式,又是其訓練數據構成的函數。