跳至主要內容
AI 數據

你的 AI 產品應該優先支持哪些語言?

Lifewood 團隊10 分鐘閱讀

簡短回答: 按四項因素合併打分來排列語言的先後,而不是按使用人數:每種語言能釋放的收入與用戶、基座模型對它的處理能力如何、把數據做到你的質量門檻需要多少成本,以及上線之後的運營負擔。多數團隊第一波應當發佈三到五種語言,之後再一波一波地增加。

核心重點

  • 語言的先後順序是一個跨四項因素的組合決策:對你而言的市場價值、基座模型的就緒度、達到目標質量所需的數據成本,以及長期的運營負擔。
  • CSA Research 一項覆蓋 29 個國家、8,709 名消費者的調查發現,76% 的人偏好在有母語產品信息的情況下購買,40% 的人則根本不會在其他語言的網站上購買。
  • 在不同語言之間,達到同樣產品質量的成本可以相差一個數量級,而且恰恰在基座模型最弱的地方成本最高。
  • 只有當母語評測集存在、模型在其上達到質量門檻,並且配有母語者升級處理通道時,一種語言才算被支持。
  • 翻譯過來的基準會高估模型能力,因此就緒度必須用母語來測,否則路線圖的順序就會排錯。

為什麼語言順序是一個數據決策,而不只是市場決策?

因為在 AI 產品中支持一種語言,並不是預算裡的一行翻譯費。它是一整套數據工程,涵蓋採集、微調素材,以及一個能告訴你產品在當地是否真的可用的評測集——而這套組合的成本在不同語言之間差異極大。

語言支持 指的是模型在這種語言上已經做過數據採集、基於母語質量的數據做過調優並接受過評測,而不只是界面被翻譯了一遍。

差異本身才是重點。對高資源語言來說,可用的文本和語音數據或許現成就能授權取得,而且基座模型本來就表現不錯,所以你額外要做的數據工作很薄。對低資源語言來說,數據必須去採集而不是去找現成的——這種實地作業的現實,在以下文章中有描述: 如何爲低資源語言收集語音數據,而基座模型的起點質量也更低,於是恰恰在數據最難獲取的地方,數據需求反而更大。同樣一小時的音頻,走自動化流程可能不到一美元,而由專業人員採集則可能超過一百美元——這個差距在以下文章中有詳細拆解: 多語言 AI 數據採集的經濟賬.

低資源語言 指的是可用於模型訓練的數字化文本或語音極少的語言,因此數據通常必須從母語者那裡採集。

因此,兩種市場規模完全相同的語言,要達到同樣的產品質量,成本可能相差好幾倍。僅憑一張市場規模表畫出來的路線圖,會系統性地在早期對昂貴語言投入過多,同時把便宜的收穫白白留在桌上。排序必須把兩邊的賬都算進去。

語言覆蓋究竟能為你換來什麼?

它換來的不只是觸達:還有偏好、信任和真正完成的交易,而且相關研究的結論異常一致。客戶在購買時偏好自己的語言;一個把某種語言處理得很糟的 AI 產品,比一個乾脆不提供這種語言的產品危害更大。

CSA Research 與 Kantar 合作、基於覆蓋 29 個國家、8,709 名消費者的調查所做的「讀不懂就不買」系列研究發現:76% 的網購者偏好購買帶有母語信息的產品,40% 的人完全不會在其他語言的網站上購買,65% 的人即便內容質量並不完美,也仍然偏好母語內容。這種偏好並不是因為讀不懂英語:即使在那些對自己英語最有信心的受訪者中,仍有明顯多數在客戶服務方面偏好母語。

調查發現 佔比
偏好在有母語產品信息的情況下購買 76%
即使質量不完美,也仍偏好母語內容 65%
不會在其他語言的網站上購買 40%

這種偏好的強度因國家而異,該系列研究指出日本處於偏低的一端(50%),這本身就說明:應當逐個市場打分,而不是套用一個全球統一的假設。

對 AI 產品來說,風險比網站更高,因為模型在未被支持的語言中的失敗方式,不是缺一段翻譯,而是流利地給出錯誤答案。模型的能力與一種語言在訓練時所擁有的數據量相關,而這種分佈極不均衡。可測量的代價——準確率更低、推理更差、編造更多——在《為什麼生成式 AI 在你的第二語言裡表現更糟》一文中有詳細說明。推出一種模型處理得很糟的語言,比不推出更糟,因為用戶分不清自信的錯誤和真正的能力。

這裡還有一層可見度紅利:AI 助手是按語言逐一檢索答案的,因此你投入的那些語言,也正是你的品牌有機會出現在 AI-生成答案中的那些市場。

決定排序的那四項因素是什麼?

所釋放的市場價值、基座模型的就緒度、達到目標質量所需的數據成本,以及上線後的運營負擔。四項要一起打分,因為單看其中任何一項,都會得出具有誤導性的順序。

因素 1——所釋放的市場價值。 不是看使用人口,而是看每種語言對應的可觸達用戶、收入和戰略客戶。一種有 4000 萬使用者、而你在當地既有銷售團隊又有自然需求的語言,排序要高於一種有 3 億(300 million)使用者、而你兩樣都沒有的語言。請依據你自己的銷售管道、用未支持語言提交的工單和市場計劃來打分,而不是依據一張世界語言人口表。

因素 2——基座模型的就緒度。 你所依託的模型,在這種語言上已經表現得如何?這在花錢之前就能測出來:在每一種候選語言上跑你自己的真實任務,而不是通用基準,並由母語者打分。就緒度高,意味著你的數據工程只是查漏補缺;就緒度低,意味著那是從頭建設。翻譯過來的基準在這裡會系統性地誤導人、高估模型能力,原因詳見 多語言 AI 模型是如何做基準測試的,所以要用母語去測,否則就等於沒測。

因素 3——達到目標質量所需的數據成本。 補齊因素 2 暴露出來的那個缺口要花多少錢?這取決於數據的可得性(能否授權取得,還是必須自己採集)、母語者是否好招募、文字體系與工具鏈的複雜度,以及所謂「這一種語言」實際上是一個還是好幾個地區變體。從右至左書寫的文字和複雜文字體系有它們自己的成本溢價,正如《為從右至左書寫與複雜文字體系採集文本數據》一文所展示的那樣。

地區變體(locale) 指的是在某一地區實際使用的語言,有它自己的詞彙、口音和習慣用法;阿拉伯語、西班牙語和中文各自都是一族地區變體,而不是單一條目。

各地區變體在詞彙上有差異,在語音方面還有聲學上的差異,因此 按地區變體界定語言覆蓋範圍 ,在此之前任何成本測算都談不上可信。

因素 4——上線之後的運營負擔。 一種已上線的語言需要持續的評測、內容更新、由母語者處理的升級通道,以及模型更新後的迴歸測試——而且是長期如此。五種語言做深,勝過十五種語言放著不管;被棄置的語言會悄悄退化成「說得流利但答得不對」的失敗狀態。

如何對候選清單打分並排序?

先列出八到十二個候選語言,在四項因素上各按 1 到 5 分打分,然後按波次排序,而不是排成一條單一名次。要簡單到能在預算會議上說得清楚、站得住腳。

第 1 步——列出八到十二個候選語言 ,依據的是真實信號:按語言劃分的當前流量與工單、按市場劃分的銷售管道、競爭對手的覆蓋情況以及法規要求。

第 2 步——在四項因素上各按 1 到 5 分打分, ,其中因素 3 要反向計入(越便宜得分越高)。如果一定要加權,就把市場價值的權重加倍。

第 3 步——按波次排序,而不是排名次。 有用的產出是三個層級:

  • 第 1 波(現在):價值高、就緒度高。 那些對你重要、而基座模型本就表現不錯的市場。這類回報最快,通常只需適度微調加一個母語評測集就能發佈。
  • 第 2 波(接下來):價值高、就緒度低。 那些值得投入一整套數據工程的市場。現在就開始採集,因為它的前置週期最長;什麼時候發佈由評測說了算,而不是由路線圖說了算。
  • 第 3 波(觀察):價值較低,或地區變體的問題尚未理清。 每季度回顧一次;基座模型就緒度的變化之快,足以讓某些語言在兩次回顧之間就被提前。

第 4 步——為每種語言附上「完成」的定義:存在母語評測集、模型在該評測集上達到你的質量門檻,並且配有母語者的升級處理通道。缺少其中任何一項的語言,只是被宣佈了,而不是被支持了。

母語評測集 指的是由目標地區變體的母語者撰寫或審校、並圍繞你真實任務構建的測試集,用來判斷模型是否已經可以在該語言上發佈。

數據成本(因素 3)會拉長或壓縮第 2 波的時間表,而運營負擔(因素 4)則決定了任何一波最多能容納多少種語言。

哪些錯誤會讓語言路線圖失敗?

按使用人數排序、把翻譯當作「支持」、在沒有母語評測集的情況下上線、把各地區變體混為一談,以及把運營預算攤到太多語言上。

按使用人數排序。 世界上使用人數最多的語言,未必是你最大的市場,而使用人口與基座模型質量之間的相關性也很鬆散。一些體量中等的歐洲語言,在當前模型上得到的支持反而好過別處那些大得多的語言——這是以下文章所解釋的那道鴻溝造成的: AI 訓練中高資源語言與低資源語言的對比.

把翻譯當作「支持」。 把界面翻譯了,底下的模型卻仍然在這種語言上推理得很差,這會造出最損害信任的組合:一層本地化的外殼,裹著退化的答案。更深層的問題在於,翻譯搬走的是詞句,卻把知識和文化語境留在了原地——這正是《為什麼 AI 需要有文化相關性的數據》所討論的主題。

在沒有母語評測集的情況下就上線。 如果你無法在該語言上衡量質量,那你就只能從用戶流失中發現問題。評測集是整套組合裡最便宜的一環,卻也是最常被跳過的一環——《如何為 LLM 構建多語言評測集》一文正是針對這個缺口。

把各地區變體混為一談。 一份取自西班牙的「西班牙語」數據集,部署到整個拉丁美洲時,會以你那套基於西班牙的評測永遠看不出來的方式失敗。

把運營預算攤到太多語言上。 路線圖的幻燈片上寫著二十種;維護預算實際只撐得起六種。剩下那十四種就會荒廢。先定下預算真正支撐得起的數量,再在這個數量之內誠實地排序。

數據合作方如何幫你安排語言擴張的順序?

數據合作方可以先做就緒度評估、界定地區變體範圍、按語言測算數據成本並先行搭建評測集,這樣在採集開始之前,路線圖就已經算好了賬。

語言優先級的排定,正是 Lifewood 許多 管理多語種數據收集 項目正是從這裡開始的,因為在任何採集簡報說得通之前,都必須先回答排序這個問題。工作方法沿用本文的做法:由母語者針對客戶的真實任務,在候選語言上做就緒度評估;按地區變體而非按語言界定範圍;針對補齊每個缺口所需的數據,按語言建立成本模型;以及一份先搭好評測集的分波路線圖。成立於 2004 年的 Lifewood Data Technology 覆蓋 100+ 種語言,在 30+ 個國家設有 40+ 個交付中心,其中包括需要實地採集的低資源語言,因此模型中成本的那一側來自實際運營,而不是估算。

如果你正在比較服務商, 頂尖的多語言數據採集公司 是按明確的標準對它們做的排名。決策中市場價值的那一面,受益於獨立的信息來源:CSA Research 的消費者系列研究,是按市場衡量語言偏好的標準參考。至於基座模型的就緒度,已公開的多語言基準可以作為起點(注意上文關於翻譯基準的提醒),而最終的判斷依據是你自己用母語評測過的真實任務。無論你如何給這幾項因素加權,真正要緊的紀律是:在敲定路線圖之前把四項都算上價錢——不管數據最終由誰來做。

在敲定語言路線圖之前,你該做什麼?

在定下方案之前:先拉出你自己的語言信號、在每種候選語言上用母語測試你的真實任務、按地區變體界定範圍、測算整套成本,併為每種語言定義「完成」的標準。

  • 先把你自己的語言信號拉出來。 按語言和市場劃分的流量、工單、銷售管道和流失率;需求的證據其實已經在你自己的系統裡了。
  • 在每種候選語言上運行你的真實任務 ,並讓母語者為結果打分。這是一週的工作量,卻能取代整個計劃中最大的那個假設。
  • 按地區變體界定範圍 ,然後再談成本。「阿拉伯語」和「西班牙語」是一個組合,而不是一個條目。
  • 按語言測算整套成本:數據採集、調優數據、評測集和持續維護,而不是翻譯那一項開支。
  • 按每波三到五種語言來排序, ,並且第 2 波的數據採集現在就要啟動,因為它是週期最長的那一環。
  • 為每種語言定義「完成」的標準: 母語評測集、達到質量門檻、配有母語升級處理人員。
  • 每季度重新打分。 基座模型的就緒度變化很快;去年還排在第 3 波的語言,今年可能就成了唾手可得的收穫。

常見問題

先支持那些在「對你的市場價值」和「基座模型就緒度」上得分最高的語言,通常是三到五種。把數據量大、價值高的語言放在第二波,並立刻開始採集,因為它的前置週期最長。絕不要單憑使用人數來決定順序。

對多數團隊而言是三到五種。這個數量足以在不同文字體系和數據條件下驗證這套擴張打法,又小到能讓每種語言都有一套真正的評測集和真正的維護。制約因素幾乎總是運營負擔,而不是初次發佈時的雄心或預算。

只有當它在你的四項因素上得分第一時才是。對於誕生於非英語市場的產品,英語往往是第 1 波的新增項,而不是基礎項,這套打分方法對此一視同仁。請依據你自己的需求、就緒度和成本證據,為每一種語言——包括英語——打分,而不是憑假設。

可以部分使用,但要謹慎。翻譯數據帶有已知的失真痕跡,也缺少本地知識,因此它只能補充、不能替代母語數據,在評測環節尤其如此。可以用它來擴大通用內容的覆蓋面,但決定是否就緒的那套測試集,必須由母語者把關。

在你的用戶真正有差異的那個層級上打分。如果兩個地區變體在詞彙、聲學或法規上的差異足以改變產品體驗,它們在打分表裡就是兩行。上面鏈接的地區變體界定指南,給出了判斷某種方言是否值得單列的標準。

對許多中等資源的語言而言,一年之內就會有明顯變化,因為新模型的發佈會改變覆蓋情況。這正是每季度重新打分之所以重要的原因:就緒度的提升,能把原本昂貴的第 2 波語言變成便宜的第 1 波新增項,而你不必在數據上多花一分錢。

資料來源與延伸閱讀

  1. CSA Research——《覆蓋 29 個國家、8,709 名消費者的調查》(與 Kantar 合作的「讀不懂就不買」系列) ——76% 的人偏好用母語購買、40% 的人拒絕在其他語言的網站上購買、65% 的人即使質量不完美也偏好母語內容,以及各國之間的差異,其中日本為 50%。
  2. tcworld——《讀不懂就不買》 ——該調查在歐洲、亞洲、北美和南美的覆蓋範圍。

有 AI 或品牌能見度項目計畫嗎?

從AI評估和人與人間搜索到GEO和AEO戰略,我們的團隊可以自信地幫助你們部署,並在AI搜索時代被發現.

聯絡我們的團隊