簡短回答: 按四項因素合併打分來排列語言的先後,而不是按使用人數:每種語言能釋放的收入與用戶、基座模型對它的處理能力如何、把數據做到你的質量門檻需要多少成本,以及上線之後的運營負擔。多數團隊第一波應當發佈三到五種語言,之後再一波一波地增加。
核心重點
- 語言的先後順序是一個跨四項因素的組合決策:對你而言的市場價值、基座模型的就緒度、達到目標質量所需的數據成本,以及長期的運營負擔。
- CSA Research 一項覆蓋 29 個國家、8,709 名消費者的調查發現,76% 的人偏好在有母語產品信息的情況下購買,40% 的人則根本不會在其他語言的網站上購買。
- 在不同語言之間,達到同樣產品質量的成本可以相差一個數量級,而且恰恰在基座模型最弱的地方成本最高。
- 只有當母語評測集存在、模型在其上達到質量門檻,並且配有母語者升級處理通道時,一種語言才算被支持。
- 翻譯過來的基準會高估模型能力,因此就緒度必須用母語來測,否則路線圖的順序就會排錯。
為什麼語言順序是一個數據決策,而不只是市場決策?
因為在 AI 產品中支持一種語言,並不是預算裡的一行翻譯費。它是一整套數據工程,涵蓋採集、微調素材,以及一個能告訴你產品在當地是否真的可用的評測集——而這套組合的成本在不同語言之間差異極大。
語言支持 指的是模型在這種語言上已經做過數據採集、基於母語質量的數據做過調優並接受過評測,而不只是界面被翻譯了一遍。
差異本身才是重點。對高資源語言來說,可用的文本和語音數據或許現成就能授權取得,而且基座模型本來就表現不錯,所以你額外要做的數據工作很薄。對低資源語言來說,數據必須去採集而不是去找現成的——這種實地作業的現實,在以下文章中有描述: 如何爲低資源語言收集語音數據,而基座模型的起點質量也更低,於是恰恰在數據最難獲取的地方,數據需求反而更大。同樣一小時的音頻,走自動化流程可能不到一美元,而由專業人員採集則可能超過一百美元——這個差距在以下文章中有詳細拆解: 多語言 AI 數據採集的經濟賬.
低資源語言 指的是可用於模型訓練的數字化文本或語音極少的語言,因此數據通常必須從母語者那裡採集。
因此,兩種市場規模完全相同的語言,要達到同樣的產品質量,成本可能相差好幾倍。僅憑一張市場規模表畫出來的路線圖,會系統性地在早期對昂貴語言投入過多,同時把便宜的收穫白白留在桌上。排序必須把兩邊的賬都算進去。
語言覆蓋究竟能為你換來什麼?
它換來的不只是觸達:還有偏好、信任和真正完成的交易,而且相關研究的結論異常一致。客戶在購買時偏好自己的語言;一個把某種語言處理得很糟的 AI 產品,比一個乾脆不提供這種語言的產品危害更大。
CSA Research 與 Kantar 合作、基於覆蓋 29 個國家、8,709 名消費者的調查所做的「讀不懂就不買」系列研究發現:76% 的網購者偏好購買帶有母語信息的產品,40% 的人完全不會在其他語言的網站上購買,65% 的人即便內容質量並不完美,也仍然偏好母語內容。這種偏好並不是因為讀不懂英語:即使在那些對自己英語最有信心的受訪者中,仍有明顯多數在客戶服務方面偏好母語。
| 調查發現 | 佔比 |
|---|---|
| 偏好在有母語產品信息的情況下購買 | 76% |
| 即使質量不完美,也仍偏好母語內容 | 65% |
| 不會在其他語言的網站上購買 | 40% |
這種偏好的強度因國家而異,該系列研究指出日本處於偏低的一端(50%),這本身就說明:應當逐個市場打分,而不是套用一個全球統一的假設。
對 AI 產品來說,風險比網站更高,因為模型在未被支持的語言中的失敗方式,不是缺一段翻譯,而是流利地給出錯誤答案。模型的能力與一種語言在訓練時所擁有的數據量相關,而這種分佈極不均衡。可測量的代價——準確率更低、推理更差、編造更多——在《為什麼生成式 AI 在你的第二語言裡表現更糟》一文中有詳細說明。推出一種模型處理得很糟的語言,比不推出更糟,因為用戶分不清自信的錯誤和真正的能力。
這裡還有一層可見度紅利:AI 助手是按語言逐一檢索答案的,因此你投入的那些語言,也正是你的品牌有機會出現在 AI-生成答案中的那些市場。
決定排序的那四項因素是什麼?
所釋放的市場價值、基座模型的就緒度、達到目標質量所需的數據成本,以及上線後的運營負擔。四項要一起打分,因為單看其中任何一項,都會得出具有誤導性的順序。
因素 1——所釋放的市場價值。 不是看使用人口,而是看每種語言對應的可觸達用戶、收入和戰略客戶。一種有 4000 萬使用者、而你在當地既有銷售團隊又有自然需求的語言,排序要高於一種有 3 億(300 million)使用者、而你兩樣都沒有的語言。請依據你自己的銷售管道、用未支持語言提交的工單和市場計劃來打分,而不是依據一張世界語言人口表。
因素 2——基座模型的就緒度。 你所依託的模型,在這種語言上已經表現得如何?這在花錢之前就能測出來:在每一種候選語言上跑你自己的真實任務,而不是通用基準,並由母語者打分。就緒度高,意味著你的數據工程只是查漏補缺;就緒度低,意味著那是從頭建設。翻譯過來的基準在這裡會系統性地誤導人、高估模型能力,原因詳見 多語言 AI 模型是如何做基準測試的,所以要用母語去測,否則就等於沒測。
因素 3——達到目標質量所需的數據成本。 補齊因素 2 暴露出來的那個缺口要花多少錢?這取決於數據的可得性(能否授權取得,還是必須自己採集)、母語者是否好招募、文字體系與工具鏈的複雜度,以及所謂「這一種語言」實際上是一個還是好幾個地區變體。從右至左書寫的文字和複雜文字體系有它們自己的成本溢價,正如《為從右至左書寫與複雜文字體系採集文本數據》一文所展示的那樣。
地區變體(locale) 指的是在某一地區實際使用的語言,有它自己的詞彙、口音和習慣用法;阿拉伯語、西班牙語和中文各自都是一族地區變體,而不是單一條目。
各地區變體在詞彙上有差異,在語音方面還有聲學上的差異,因此 按地區變體界定語言覆蓋範圍 ,在此之前任何成本測算都談不上可信。
因素 4——上線之後的運營負擔。 一種已上線的語言需要持續的評測、內容更新、由母語者處理的升級通道,以及模型更新後的迴歸測試——而且是長期如此。五種語言做深,勝過十五種語言放著不管;被棄置的語言會悄悄退化成「說得流利但答得不對」的失敗狀態。
如何對候選清單打分並排序?
先列出八到十二個候選語言,在四項因素上各按 1 到 5 分打分,然後按波次排序,而不是排成一條單一名次。要簡單到能在預算會議上說得清楚、站得住腳。
第 1 步——列出八到十二個候選語言 ,依據的是真實信號:按語言劃分的當前流量與工單、按市場劃分的銷售管道、競爭對手的覆蓋情況以及法規要求。
第 2 步——在四項因素上各按 1 到 5 分打分, ,其中因素 3 要反向計入(越便宜得分越高)。如果一定要加權,就把市場價值的權重加倍。
第 3 步——按波次排序,而不是排名次。 有用的產出是三個層級:
- 第 1 波(現在):價值高、就緒度高。 那些對你重要、而基座模型本就表現不錯的市場。這類回報最快,通常只需適度微調加一個母語評測集就能發佈。
- 第 2 波(接下來):價值高、就緒度低。 那些值得投入一整套數據工程的市場。現在就開始採集,因為它的前置週期最長;什麼時候發佈由評測說了算,而不是由路線圖說了算。
- 第 3 波(觀察):價值較低,或地區變體的問題尚未理清。 每季度回顧一次;基座模型就緒度的變化之快,足以讓某些語言在兩次回顧之間就被提前。
第 4 步——為每種語言附上「完成」的定義:存在母語評測集、模型在該評測集上達到你的質量門檻,並且配有母語者的升級處理通道。缺少其中任何一項的語言,只是被宣佈了,而不是被支持了。
母語評測集 指的是由目標地區變體的母語者撰寫或審校、並圍繞你真實任務構建的測試集,用來判斷模型是否已經可以在該語言上發佈。
數據成本(因素 3)會拉長或壓縮第 2 波的時間表,而運營負擔(因素 4)則決定了任何一波最多能容納多少種語言。
哪些錯誤會讓語言路線圖失敗?
按使用人數排序、把翻譯當作「支持」、在沒有母語評測集的情況下上線、把各地區變體混為一談,以及把運營預算攤到太多語言上。
按使用人數排序。 世界上使用人數最多的語言,未必是你最大的市場,而使用人口與基座模型質量之間的相關性也很鬆散。一些體量中等的歐洲語言,在當前模型上得到的支持反而好過別處那些大得多的語言——這是以下文章所解釋的那道鴻溝造成的: AI 訓練中高資源語言與低資源語言的對比.
把翻譯當作「支持」。 把界面翻譯了,底下的模型卻仍然在這種語言上推理得很差,這會造出最損害信任的組合:一層本地化的外殼,裹著退化的答案。更深層的問題在於,翻譯搬走的是詞句,卻把知識和文化語境留在了原地——這正是《為什麼 AI 需要有文化相關性的數據》所討論的主題。
在沒有母語評測集的情況下就上線。 如果你無法在該語言上衡量質量,那你就只能從用戶流失中發現問題。評測集是整套組合裡最便宜的一環,卻也是最常被跳過的一環——《如何為 LLM 構建多語言評測集》一文正是針對這個缺口。
把各地區變體混為一談。 一份取自西班牙的「西班牙語」數據集,部署到整個拉丁美洲時,會以你那套基於西班牙的評測永遠看不出來的方式失敗。
把運營預算攤到太多語言上。 路線圖的幻燈片上寫著二十種;維護預算實際只撐得起六種。剩下那十四種就會荒廢。先定下預算真正支撐得起的數量,再在這個數量之內誠實地排序。
數據合作方如何幫你安排語言擴張的順序?
數據合作方可以先做就緒度評估、界定地區變體範圍、按語言測算數據成本並先行搭建評測集,這樣在採集開始之前,路線圖就已經算好了賬。
語言優先級的排定,正是 Lifewood 許多 管理多語種數據收集 項目正是從這裡開始的,因為在任何採集簡報說得通之前,都必須先回答排序這個問題。工作方法沿用本文的做法:由母語者針對客戶的真實任務,在候選語言上做就緒度評估;按地區變體而非按語言界定範圍;針對補齊每個缺口所需的數據,按語言建立成本模型;以及一份先搭好評測集的分波路線圖。成立於 2004 年的 Lifewood Data Technology 覆蓋 100+ 種語言,在 30+ 個國家設有 40+ 個交付中心,其中包括需要實地採集的低資源語言,因此模型中成本的那一側來自實際運營,而不是估算。
如果你正在比較服務商, 頂尖的多語言數據採集公司 是按明確的標準對它們做的排名。決策中市場價值的那一面,受益於獨立的信息來源:CSA Research 的消費者系列研究,是按市場衡量語言偏好的標準參考。至於基座模型的就緒度,已公開的多語言基準可以作為起點(注意上文關於翻譯基準的提醒),而最終的判斷依據是你自己用母語評測過的真實任務。無論你如何給這幾項因素加權,真正要緊的紀律是:在敲定路線圖之前把四項都算上價錢——不管數據最終由誰來做。
在敲定語言路線圖之前,你該做什麼?
在定下方案之前:先拉出你自己的語言信號、在每種候選語言上用母語測試你的真實任務、按地區變體界定範圍、測算整套成本,併為每種語言定義「完成」的標準。
- 先把你自己的語言信號拉出來。 按語言和市場劃分的流量、工單、銷售管道和流失率;需求的證據其實已經在你自己的系統裡了。
- 在每種候選語言上運行你的真實任務 ,並讓母語者為結果打分。這是一週的工作量,卻能取代整個計劃中最大的那個假設。
- 按地區變體界定範圍 ,然後再談成本。「阿拉伯語」和「西班牙語」是一個組合,而不是一個條目。
- 按語言測算整套成本:數據採集、調優數據、評測集和持續維護,而不是翻譯那一項開支。
- 按每波三到五種語言來排序, ,並且第 2 波的數據採集現在就要啟動,因為它是週期最長的那一環。
- 為每種語言定義「完成」的標準: 母語評測集、達到質量門檻、配有母語升級處理人員。
- 每季度重新打分。 基座模型的就緒度變化很快;去年還排在第 3 波的語言,今年可能就成了唾手可得的收穫。