如何爲 LLMS 建立多種語言評價集

2026年評價遊戲本中有一句 比其他任何關於這個話題的 更準確地描述失敗模式: 團隊將一個英文建造的評價堆運到印地語, 日語或阿拉伯語表面最終會有一個雙語質量的產品——一個英文半分的得分好,一個非英文半分的得分好,因爲面額無法看清什麼是破損的。 這就是問題所在。 這並不是說其他語言的模型更糟糕,這是預期的和可衡量的。 評估機器本身在另一種語言中更糟糕,因此退化是看不見的。這篇文章闡述瞭如何從零開始構建一套評估,這是任何公司在多個市場部署最終必須做的;這一系列的配套作品涵蓋了如何閱讀 已公佈的多語種基準 以及爲什麼翻譯的這些文章與當地人的判斷不一致。

這些問題分爲四類:語言特有語言推理,文字遊戲和謎語,文化和傳統推理,以及具有文化意義的數學推理. Scale AI 評估 14 領先的LLMS覆蓋大多數模範家庭,沒有得分高於 50%由於小組還通過英語流利的母語人手工翻譯,製作基於文化的問題的英語等效詞,因此可以直接孤立語言效應:大多數模型在英語數學推理方面比在原始語言方面表現得好得多,按週而復始的英語語言, 10 百分比,在同一基本問題上。

這一設計下的評論是重要部分。 現有的多語種推理基準一般是通過翻譯英語基準構建的,這偏向於英語語言和文化背景的推理問題。 翻譯測試標準衡量該模型是否能夠處理一個翻譯英語問題。 它不能衡量該模式是否能夠用該語言說明這種文化。

公佈的做法採用三種施工方法,最嚴肅的基準結合使用.

• 機器翻譯與專家編輯後. 大規模基準,包括Mu Bench、BenchMAX和Bench MMLU-ProX 使用機器和 LLM-翻譯管道在編輯後有專家協助,以保持語義、術語和文化忠誠。 優點是並行的數據構建,這可以直接進行跨語言比較,因爲每種語言都看到相同的項目。
• 人類混合審查 翻譯後進行結構化的多註釋者裁決.
• 原創作者. 以目標語言寫的問題,如MultiNRC中,最真實,沒有平行,成本最高.

翻譯的並行集可以比較各種語言, 本地作者的集可以告訴你模型是否用該語言工作,

ExpendentMAX將評價範圍擴大到16種非英語語言,涵蓋6種核心LLM能力,使用三步管道:由3位人文註釋員從英文翻譯,每集編輯後,然後選擇最終翻譯版本。 每集3位註釋員,跨越16種語言,是設計的成本驅動器。

MIDB 報告明確努力擴大阿爾帕卡-埃瓦爾和 MT-法官席,均是英文,原爲英文,至 16 語言: 一組 20 專業翻譯 175 測試設置開發所需的人日。 11 使用每種語言,在任何本地作者之前,延長兩個現有基準。

其管道通過 LLM-首先協助過濾和一致性檢查,然後由兩名註釋員對每種語言的每個項目進行審查。 5% 子集是測試集構造的雙附加說明,關於該子集的註釋協議在 95%剩餘的分歧由第三名專家裁決,沒有達成共識的樣本被完全刪除,而不是武力解決。

設計中有三件事值得命名。自動過濾首先作爲分解而不是判斷進行,這是數據操作中在其它地方都起作用的相同架構。一致是用一個定義的子集來衡量的,而不是假設的,而數字是被報告的,這樣讀者就可以判斷集的可靠性。 無法協商一致的物品被移除而不是強制解決:一個項目,兩個合格的註釋者無法達成一致,不是一個硬項目,是一個模棱兩可的項目,並且包括它給每個模型的分數增加了噪音.

同一基準將本土評價與合成評價區分開來. 其本土評價使用674個人類驗證的被擱置的真正多語種流量的子集,並刪除了跨語義重複——比數以萬計的翻譯項目更小但更有用的評價資產,並且對大多數公司來說都是可以實現的。

這兩種錯誤在行政上都是方便的,因此它們一直存在。 中國、日本和韓國都具有腳本特徵,幾乎與示範行爲無關。 西班牙和葡萄牙關係十分密切,因此,團隊通常將彼此視爲對方的代名詞,而由此造成的失敗則十分微妙而非明顯。

相關的優質酒吧是按語言僱用本地的註釋員,並強制執行 開盤 —— 一種爲機會而更正的公證人間協議的統計衡量標準——每語言超過0.7, 而不是整個語言組的彙總數字,這可以看起來健康,而一種語言的分佈爲0.4。 通知人之間的協議措施.

• 儀軌轉法性. 翻譯是否保留了平庸的意圖而不是字面的翻譯? 獲取技術上準確的輸出,並讀取機器製作的輸出。
• 文化註冊局 堅持. 答案是否與預期使用者的居住地文化登記冊相符? 得到的答案正確、不恰當、不便,或正確和嚴格地正式地反映市場。
• 拒絕保留。 源語言拒絕是否仍然是目標語言的拒絕? 這是一個安全主題,也是優先排序的:每一種語言都訓練護欄,而拒絕英文請求並遵守另一種語言要求的模型是安全故障,而不是質量故障。
• 形式更正。 反應是否擊中了預期的形式級別? 在語法化的禮貌系統語言中尤爲重要,在語言中,錯誤的發生是社會錯誤,而不是形式上的錯。

公佈的基準確實使用LLM裁判器——OMGEval的GPT-4,MMLU-ProX的GPT-4o,以及其他地方的類似方法——結合多階段的人的註釋,這是規模的合理架構. 限制在於,一名在英語中強壯,在約魯巴語中軟弱的法官會不可靠地評估約魯巴的輸出,並且會用英語中所使用的同樣自信的評分行爲來進行:其錯誤不會看起來像錯誤. See. 如何可靠一個 LLM 法官其實是 實際位置是自動判斷,用於對大塊塊進行分解和迴歸測試,以及人類本族判斷,用於校準子集,用於上面四個標題,以及用於法官模型自身能力不確定的任何語言——大多數是這種語言。

做大規模的工作有兩個方面。第一,最高價值的資產是私人的本地資產,而不是一個大額的翻譯: 由真實流量產生的被扣留的、經過人驗證的本地樣本,比機器翻譯的設定大小要好50倍,因爲它衡量的是實際部署,而不是基準的代用, 並且不能因培訓數據中出現污染而污染。 多種語文數據收集方案 範圍更廣。

第二,註釋員的要求是有約束力的制約,在徵聘方面,這是方法問題。 每種語言超過0.7的卡帕語通常需要每一種語言有兩到三個合格的當地註釋員,同時提供,並遵循共同的準則;對於16種語言,即30到50個具有正確語言特徵的人,這是一個交付網絡問題,而不是研究設計問題。 這正是項目滑落之處,值得按照徵聘時間表而不是說明時間表進行規劃,這也是造成徵聘時間不足的制約因素。 黃金套件和審計抽樣 更普遍地說,買家比較供應商的原因之一是: 多種語言的AI培訓數據 承諾建設之前的覆蓋。

• 決定每套軟件的用途: 用於跨語言比較的並行翻譯集, 用於模型是否在那裏工作的地方的本地授權集。 請不要拼寫 。
• 預算現實:在本地作者之前,每種語言大約11人/日,以延長現有的英語基準。
• 運行 LLM-協助過濾 分解,然後人檢, 順序。
• 每語言使用兩個註釋器,並帶有一個雙附加說明的子集來測量協議,第三個專家負責裁決,而去除而不是強制解決無共識項目.
• 執行每種語言0.7以上,每種語言報告。
• 按語言和文字,而不是按地區,而不是按文字家族來劃分。
• 將四個本土的標語 優先保留拒絕
• 建立私人的本地交通系統, 將語言語義複製件刪除。
• 使用自動判斷器進行吞吐量,而不是用於校準集.