如何制定多語言AI模式的基準

最近的調查工作提供了一個有用的框架,確定了多語種評價中的三個核心挑戰:覆蓋面,是指測試何種語言;代表性,指測試是否反映語言和文化,而不是英文原文;信任,指結果是否科學可靠。 US-核心框架被指爲兩個主要的代表性缺陷。

實際後果是"支持 100 語言,“被評價爲 100 和“在語言方面表現良好” 100 語言"是三種不同的主張,市場通常會呈現第一種,好像它是第三種. A. Microsoft- 對多語種評價的附帶調查發現,在世界每個區域,大部分語文主要通過翻譯內容來評價,其中歐洲和東亞最依賴翻譯,撒哈拉以南非洲地區在本土撰寫的內容中所佔的份額最高,這是區域研究界從零開始制定的具體語文基準的直接結果。 多語種數據收集提供者 應將“語言覆蓋”視爲營銷主張,直至其與評價方法配對爲止。

翻譯 源語言在翻譯文本中留下的干擾——可以探測的符號和合成結構,讓讀者識別原始內容。這種現象在語言學中有大量文獻記載,在評價中它是一種污染物而不是好奇心。

繼承 模型的分數是通過識別原始英語問題的形狀而不是理解目標語言來進行。由於所有非英語項目都來源於共同的英語源,模型性能可能反映對保留英語提示的識別,而不是真正的理解。 早先的作品恰恰證明了這一點,表明翻譯引入了作爲非語義快捷方式加以利用的微妙的文物模型.

與發言者的分歧是決定相關的結果:與本地構建的替代品相比,翻譯基準與當地人類判斷的一致程度要差得多,因爲Spireman的關聯度爲0.47比0.68,如果基準及其使用者不同意,基準就是錯誤之處。

翻譯質量也比大多數買家所假定的要多。 全球語言翻譯(Global-MMLU),它涉及42種語言,結合了機器翻譯和衆源載人驗證,但只有約20%的機器翻譯文本經過人工校正,問答被分別翻譯,在一些語言中產生了可觀察到的語法不一致。這是原因之一。 多語種 LLM 培訓數據質量 取決於本地審查,而不僅僅是翻譯覆蓋。

本地基準是一個真正的進步。 寫真課程、政府考試和地方電子學習平臺的問題的努力保護文化背景、正確的術語和真實的框架,並完全避免翻譯。 語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言語言

交叉語言比較變得困難:如果一種語言集比另一種語言集利用不同的主題組合,那麼分數差異就把語言熟練程度與任務難度混爲一談。 本地源基準在內部是有效的,在語言之間進行比較時很尷尬,這正是買家想要做的事情 — — 這個問題貫穿了整個過程。 高資源語言和低資源語言 不均衡,因爲資源不足的組合開始會更稀薄.

多選擇測試檢索,而不是生成。 翻譯和本土基準都絕大多數使用多選擇格式,這些格式衡量知識檢索,並帶有選擇偏差。 現實世界的效用取決於連貫、流利、忠誠的一代,而多重選擇並不評估它;研究人員一直明確表示,評估多語種的生成質量仍然是一個公開的問題。 本地基準告訴買家一個模型是否處理語言和文化;生成評價告訴他們輸出是否可用。 兩者都不是替代品。

基準污染 意味着評價問題出現在模型的預訓數據中,通過記憶而不是能力來誇大分數。大型的網絡縮寫公司使得任何一段時間以來公開的基準都有可能出現這種情況。最近的計量給出了一個可用的情況:較新的基準顯示,污染率明顯較低,據報告。 0.0% 費用 MILU, 1.0% 費用 INCLUDE 財務報告和已審計財務報表 1.7% 全球環境基金 MMLU其必然結果是不適:最引用的基準最有可能受損。

檢測也不穩定。 不同的方法測量不同的東西,表面形態重疊和記憶驅動的性能差距在同一基準上產生不同的結果,研究人員指出,單一的檢測方法不足以造成多語言污染。

接下來是兩個實際的回答:第一,更喜歡最近的基準,對待長期的領導牌分數比其突出地位所顯示的要謹慎。 私人持有的套裝 ——一套從未公佈的評價——作爲唯一可靠的防污染的防禦手段,也是衡量具體用途而不是一般用途的唯一檢驗手段.

層 1 語言是本地知識和理解:由講者用當地語言寫的問題,最好來自當地的課程或考試,測試模型是否懂該語言而不是翻譯。 2 生成質量:由發言者判斷爲流利、連貫和語義忠實的開放式任務——多選擇基準沉默的層次,用戶實際上形成印象的層次。 3 是一個從真實工作、公司自己的域、客戶措辭和文件類型中抽取的私有設備, 不受建築污染。 4 語氣、記錄和適當性,由發言者判斷,因爲它不能自動化——這是決定產出是尊重還是粗魯的層次。 5 安全與拒絕行爲, 每種語言, 因爲護欄只保留在他們受過訓練的地方, 並且只有英文的安全評價 幾乎不告訴公司 暴露在別處。

將所有五個層次圍在一起的兩個學科。每個語言都報告,從不作爲彙總,因爲一個平均值由一組最強的語言所主導,這個要點在如何進行更詳盡的論述中被涵蓋。 爲地方政府管理課程建立多語種評價集並且先定義每個市場中一個好答案的模樣,然後進行衡量,因爲對直接性、長度和形式性的期望不同,並且對照英國規範對一切進行評分得出自信但錯誤的結論。 標註員間一致性 跟蹤,使各種語文的評分一致。

以上每一層都需要同樣的投入:本地語者寫項目、判斷產出、裁定分歧和記錄決定。 沒有自動替代,使用一種模式來判斷其處理不良的語文輸出,只是將原始問題複製到一個新地方。 這使得評價成爲一種業務能力,而不是研究能力——它需要徵聘、篩選、目標語文準則、戰略間協定跟蹤和每種語文的不斷裁定,因爲模型變化和評價組合必須跟上步伐。

這是Lifewood在它整個世界中 所做的大部分 100+ 語言 能力:通過在全局範圍內採用人與人模式工作的經過篩選的講母語者,製作語言評價和偏好數據,包括語調和適當判斷以及每個語言的紅色隊伍 40+ 跨省服務中心 30+ 國家公司將這類工作作爲管理服務的範圍,可以審查Lifewood公司 多種語文數據收集 提供和提供 AI 數據驗證 如何進行每種語文的質量檢查。

結束點是商業的:任何供應商都可以要求語言覆蓋。 可以在演講者(包括生成和安全)編寫的每套語言評價結果上產生結果的公司正在提出可以檢查的要求。 在支持清單價格低廉的市場中,可以覈實的證據是不同的。