跳至主要內容
AI 數據

爲什麼有些語言在 AI 模型上運行成本更高?

Lifewood 團隊閱讀需 6 分鐘

簡短回答: 因爲同一個句子用不同語言書寫時會變成不同數量的 token,而你是按 token 計費的。對此進行測量的研究發現,同一段文本被翻譯成不同語言後,分詞長度之間的差異最高可達 15 倍。由於 token 決定價格、延遲以及上下文窗口能裝下多少內容,token 數量偏高的語言服務成本更高、響應更慢,留給上下文的空間也更少。

大多數人是以計費異常的形式初次遇到這件事的。一個產品用同一套提示詞模板分別跑英語和緬甸語,而緬甸語版本每次請求的花費高出好幾倍,卻看不出明顯原因。並沒有任何配置錯誤。差別是在分詞器那一步就定下的,早在模型被調用之前。

這在商業上重要,因爲幾乎每一種語言服務的定價模型都是按 token 計費的;它在技術上也重要,因爲上下文窗口同樣是按 token 度量的。同一份文檔翻譯之後,可能在一種語言裏裝得輕鬆,在另一種語言裏卻會溢出。

核心重點

  • 同一段文本被翻譯成不同語言後,可能會有 分詞長度差異極大,最高可達 15 倍 在某些情況下。
  • 這些差異 即便對有意爲多語支持而訓練的分詞器也依然存在。把更多語言加進訓練混合數據並不能解決它。
  • 成本落在三個地方: 價格 商業語言服務的 處理時間與延遲,以及 可作爲上下文的內容量 可作爲上下文裝下的內容量。
  • 字符級與字節級模型也並非免疫,它們顯示出 超過四倍的 在某些語言對上的編碼長度差異。
  • 語言之間的這一比值現在通常被稱爲 token 溢價.
  • 一項橫跨 97 種語言 的受控研究發現,詞表規模與預分詞會影響溢價,而分詞器訓練數據與測試數據之間的相似度則不會。

快速比較

影響機制誰會察覺會出現在儀表盤裏嗎?
每次請求的價格更高按 token 計費財務會——表現爲按地區的成本差異
響應更慢需要處理與生成的 token 更多使用該語言的用戶有時會——表現爲按地區的 p95 延遲
可用上下文更少窗口按 token 度量沒有人會直接察覺很少——它表現爲質量下降
訓練吞吐更低每個樣例的 token 更多ML 團隊會——表現爲吞吐

爲什麼同一個句子換一種語言就會變成更多 token?

分詞器在一個語料上訓練,並學到一套固定的子詞詞表,用以高效壓縮該語料。與訓練語料相似的文本會被切成少量較長的片段。與之不相似的文本則會被切成大量很短的片段,有時甚至切到單個字符或字節。

因此,一個詞表主要從英語學來的分詞器,能在詞表裏找到完整的英語單詞和常見的英語片段。而當它面對一種形態結構不同、書寫系統不同、或者只是沒被充分覆蓋的語言時,它就退回到小得多的片段上。文本承載的意義與信息量完全相同,而模型卻要爲讀它收更多的錢。

重要的發現是:這並不單純取決於某種語言擁有多少數據。即便對有意爲多語支持而訓練的分詞器,差異也依然存在,這就排除了“多語分詞器天然能解決問題”這一令人安心的假設。

研究實際測量的是什麼?

最基礎的那次測量把語言之間的“對等”定義爲同一個句子產生相近的 token 數,並把“溢價”定義爲兩種語言之間 token 數的比值。在 17 個分詞器上測量後發現,這些差異既大且持續存在。

最醒目的數字是同一段文本在不同語言之間翻譯後最高達 15 倍的差異。那是區間的極端值而非典型情形,而典型情形的幅度仍足以改變單位經濟性。同一項研究還發現,有時被當作解決辦法提出的字符級與字節級模型,在某些語言對上的編碼長度差異依然超過四倍。

更晚近的研究在受控條件下把這個問題拆開來看。通過訓練約 7,000 個可比的單語分詞器、覆蓋 97 種語言,同時變動分詞算法、詞表規模與數據集規模,研究顯示:即便在控制了數據集規模、詞表規模與數據內容之後,單語分詞器之間的 token 溢價依然跨度很大。有用的反面結論是:分詞器訓練數據與評測數據之間的相似度並不驅動溢價,而詞表規模與預分詞則會。

成本究竟落在哪裏?

它落在三個地方,而這三者並不可以互相替代。每一個都約束着一個不同的設計決策。

價格。 按 token 計費意味着:一種 token 溢價爲 3 倍的語言,在產出同樣多用戶可見內容的情況下,服務成本大約也是 3 倍。對於按用戶覈算毛利的消費級產品,這可能直接決定一個市場是否可行。

延遲。 更多的 token 意味着每次請求需要更多算力、需要生成更多步,因此響應來得更慢。高 token 溢價還會降低訓練期間的吞吐。使用高溢價語言的用戶拿到的是一個更慢的產品。

上下文。 窗口是按 token 計數的,因此在同樣大小的窗口下,高溢價語言獲得的可用上下文更少。在檢索增強系統中,這是最安靜也最具破壞性的效應:同樣的檢索預算只能納入更少的文檔,於是答案質量下降,而其原因從不出現在延遲或成本儀表盤上。

你能對此做些什麼?

你無法更改託管模型的分詞器,因此可行的選項分爲三類:測量、預算與採購。

測量你自己內容的溢價,而不要相信已發佈的表格。取一組有代表性的文檔,用你的模型實際使用的那個分詞器,在你所服務的每一種語言上分詞,並記錄相對於基準語言的比值。這隻需一個下午,卻把一項看不見的成本變成了可以寫進計劃的數字。

然後用 token 而不是字符來做預算。上下文上限、檢索預算與按用戶的成本上限都應當按地區分別設定,因爲一個用字符或詞數表達的全局上限,在每種語言裏實際上都會悄悄變成一個不同的上限。

對於自行訓練模型的團隊,這項受控研究指出了兩個具體的着力點:爲每種語言選擇合適的詞表規模,以及預分詞策略,包括跨空白符合並的超詞分詞器。兩者都被發現能顯著降低溢價效應。

最後,把它當作一項採購標準。如果你正在爲一款多語產品評估模型,那麼在你實際使用的語言集合上的 token 溢價,就應當與基準準確率並列進入比較。兩個質量分數相同的模型,在你真正關心的那些語言上的運行成本可能有實質性差別,而這一差別來自各自詞表的構建方式——而詞表的構建方式,又是其訓練數據構成的函數。

常見問題

不只是。被測出的驅動因素是某種語言與分詞器所學詞表的匹配程度,它與該語言在訓練語料中的佔比相關,但並不等同。書寫系統與詞長都有影響,而受控實驗發現,即便在可比的單語分詞器之間,詞表規模與預分詞也是顯著因素。

它們會減輕,但不會解決。研究明確指出,即便對有意爲多語支持而訓練的分詞器,差異也依然存在;因此當廠商把某個分詞器描述爲“多語”時,他們並沒有告訴你你的溢價會是多少。

它們縮小了差距,但並未消除。同一項研究發現,字符級與字節級模型在某些語言對上的編碼長度差異依然超過四倍。

對一個平行語料分詞——也就是你所服務的每種語言裏的同一份內容——使用你實際使用的那個模型所屬的分詞器,然後用每種語言的 token 數除以基準語言的 token 數。請使用你自己的內容而不是通用樣本,因爲領域詞彙會改變結果。

會,而且方向相同。訓練與微調同樣按 token 計費並受 token 限制,因此高溢價語言在每個樣例上的訓練成本更高,並且在同樣的實際耗時預算下吞吐更低。

資料來源與延伸閱讀

  1. 語言模型分詞器在語言之間引入了不公平 ——Petrov、La Malfa、Torr 與 Bibi:最高達 15 倍的差異、在多語訓練下依然存在的現象,以及由此帶來的成本、延遲與上下文後果
  2. 語言模型分詞器在語言之間引入了不公平(NeurIPS 2023 會議論文集) ——經同行評審的定稿版本
  3. 解釋並緩解跨語言分詞器的不平等 ——Arnett、Chang、Biderman 與 Bergen:橫跨 97 種語言的約 7,000 個分詞器,以及哪些因素會、哪些不會驅動 token 溢價

有 AI 或品牌能見度項目計畫嗎?

從AI評估和人與人間搜索到GEO和AEO戰略,我們的團隊可以自信地幫助你們部署,並在AI搜索時代被發現.

聯絡我們的團隊