簡短回答： 翻譯轉換詞,同時保留基本知識和假設不變,因此一個模型可以流利地用一種語言回答,對於在那裏的生日喫的食物,適當的形式程度,或者一個請求應該如何表達,仍然是錯誤的. 在BLEND基準(Myung等人,NeurIPS 2024)中,模型平均爲79.22%,以英語詢問的美國日常知識爲79.22%,以阿姆哈拉語詢問的埃塞俄比亞日常知識爲12.18%。 這種知識很少被記錄下來,因此必須從生活者那裏收集。
核心重點
- 衡量的BLEND基準 52,600 手動問答對對 16 國家 13 語言,查找平均模型 79.22% 美國日常知識的英語對應於英語 12.18% 瞭解埃塞俄比亞人日常的阿姆哈拉語知識。
- 文化知識的示範性表現跟蹤文化網絡表現如何,而不是其語言處理有多困難。
- 對於資源低的語言,模型的英語答題比當地語言的答題好;對於資源中高的語言,模式反之.
- 所缺少的知識是普通的和不成文的——日常食物,社會規範和當地參考點,沒有人認爲需要在線錄音.
- 縮小差距需要講母語的人以語言編寫和評價內容,而不是更好的翻譯程序。
翻譯爲何不夠?
翻譯是一種語言操作,應用到已經由另一種文化塑造的內容上,因此,詞變了,但世界觀卻沒有。 三種類型的翻譯旅行不順利:日常實踐、社會規範、參考點。
問一個模型,該給同事家帶什麼晚餐。用英語來回答西方語境的明智。把這個翻譯成孟加拉語,你就能得到關於葡萄酒的流利的孟加拉語建議。 沒有錯誤翻譯 — — 答案建立在其他地方的知識之上,翻譯步驟忠實地將假設貫穿了過去。 這是在非本地團隊可以運行的每一次質量檢查中倖存的失敗模式:語法正確,術語一致,寄存器合理,內容錯誤的方式只有來自該市場的讀者才能看到.
| 出事的路程很慘 | 示例 | 翻譯的答案會產生什麼 |
|---|---|---|
| 每天練習 | 喫、穿、玩、慶祝 | 有關食物、禮物、場合的 流利建議 |
| 社會規範 | 形式、直接性、如何解決誰的問題、什麼是禮貌拒絕 | 登記簿上提供的正確信息,讀起來粗魯或荒謬 |
| 參考點 | 法定條件、機構、支付方法、假期、單位 | 自信地提到市場上不存在的東西 |
最重要的是,這三者都比較困難:如何使答案有助於、適當或粗魯地因社會而異,而一個符合一個社會偏好的模式則在所有地方都適用這些偏好。 文化能力 ——一個模型能夠反映特定文化的知識與規範,而不是其培訓數據中最能體現的文化——並不是一個知識差距,會讓更多的事實得到彌合;它是從校正數據中繼承下來的校準.
文化差距有多大,可估量?
差距很大,足以成爲某些市場的主要因素,而且可以衡量而不是傳聞。 52,600 問答對對 16 國家 13 語言,包括阿姆哈拉語、豪薩語和孫丹語,由講母語的人手工製作,而不是刮掉,是專門用來檢驗這一點的。 以此爲標準,因爲從網絡文本中彙集的基準只能衡量已經從模型中吸取的相同在線來源。
| 計量 | 圖 |
|---|---|
| 平均分,美國每日學習英語 | 79.22% |
| 埃塞俄比亞日常知識的阿姆哈拉語平均分數 | 12.18% |
| 傳播到不同文化中,以獲得測試的最佳模式 | 最高57.34個百分點 |
| 覆蓋範圍 | 52,600 雙人 16 國家, 13 語言 |
頭條下面的兩個發現比頭條本身更有用。 業績跟蹤文化在網上的體現程度,而不是其語言的難度 — — 文化的排名遵循其數字足跡。 而對於資源少的語言,模型用英語回答的比用當地語言回答的好,而對於中高資源語言則相反:當用當地語言問起時模型表現得更好. 其含義是準確的:對於這些文化,模型通過英語比通過文化實際使用的語言更瞭解文化,也就是說,所吸收的一切來自外界描述,而不是社區本身。
該 文化覆蓋面差距 ——以本語言對參考文化的分數減去以本語言對目標文化的分數——是比較誠實的衡量標準,因爲總體多語種平均數以代表性良好的文化爲主,可以報告一個模式具有廣泛的能力,而它卻在具體市場完全失敗.
什麼樣的知識是真正缺失的?
缺少的知識是普通的:一個地方的每個人都知道的事情,沒有人寫下來。 BLEND的作者指出了人們在生日慶典時喫什麼,他們用什麼香料做飯,年輕人玩什麼樂器,以及學校裏玩什麼運動——當地常見的知識,在網絡源代碼模型中是少見的。
無法用更難或更難翻譯的方式來彌補這一點,因爲沒有人認爲需要錄音;它只存在於人身上。 這與文化能力與它經常被混淆的兩件事相區別。 這並不是語言覆蓋,而是語言的流利,對語言的文化一無所知,而正是阿姆哈拉結果所顯示的。 並不是生產意義上的適應格式、貨幣和日期的本地化;而是表面轉換,適用於其實質內容在其他地方決定的內容。
產品中的差距在哪裏出現?
差距出現在系統生成、排位或判斷內容的任何地方,而這種差距則與單一參考市場作出的假設相對應,在圖層中最難看到是爲了抓住它。
| 表面 | 文化差距是什麼樣子的 |
|---|---|
| 助理和聊天 | 流利、自信和不適用的建議—— 賓加利酒失敗 |
| 搜索和建議 | 以不同市場假設爲依據對結果進行排序 |
| 內容生成 | 複製讀作翻譯,即使語法沒有缺陷 |
| 評價 | 綠色儀表板,因爲測試集是從參考市場翻譯的 |
| 安全和節制 | 在一個社會實施的準則適用於另一個社會、過度或不足封鎖 |
評估行是保存其餘的隱藏的一行:一個翻譯基準將源文化帶過,並且可以錯誤地爲那個市場排出模型,因此測量層複製了它安裝來捕獲的準確錯誤.
何以能解脫空隙.
縮小差距需要講母語的人用自己的語言製作和判斷內容,然後相互覈實對方的工作——沒有捷徑,因爲輸入是活的知識,四種做法是大部分工作。
- 作者爲語言;不翻譯. 翻譯可以提供源頭從未出現的知識,而這一學科在指南中作了進一步闡述。 多語種 LLM 培訓數據質量.
- 故意收集陰莖 日常實踐是缺少的材料,因此必須明確要求它——貢獻者不會自願承擔他們認爲大家都知道的,這就是爲什麼圍繞這些貢獻而建立的方案。 收集不同文化間的對話數據 設計儀器去尋找它。
- 使用本地筆試設備進行評估。 由來自這種文化的人撰寫的項目,內容包括日常知識、語氣和適當性。
- 發射後讓人類保持循環. 文化錯誤被理解爲流利和正確,對於不屬於這種文化的人來說,包括自動檢查和與產生錯誤的假設相同、基於模型的分級員。
如何具體說明何時委託這項工作
- 哪些文化,與哪些語言分開命名,因爲它們不是同一個列表,一種語言可能跨越幾種語言。
- 貢獻者是否現在在市場上生活,以及自僑民的知識漂移以來,特別是在日常實踐中,至今已持續了多久——人們所關注的是對移民的移徙問題提供指導。 徵聘非洲語言數據的當地撰稿人.
- 如何吸引日常知識話題,誰選擇了話題列表.
- 評分集是本地作者還是翻譯,由誰編寫.
- 當地審查人員之間的分歧是如何解決的,因爲來自同一市場的兩個人可以合理地不同。
- 同意和公平補償捐款者,因爲這樣做是正確的,而且一旦失去使用稀有語言的捐款者網絡,就無法重建。
怎麼樣 Lifewood 彌補這一差距?
Lifewood 圍繞母語收集和審查而不是翻譯,建立提供渠道,理由是文化知識不能從擁有文化知識的社區以外收集。
收集、註釋和評價貫穿全局 100+ 語言 包括代表人數不足的方言,由經過篩選的土著語言者通過 40+ 跨省服務中心 30+ 國家,在自動檢查中進行人文審查 95%+ 準確度 網絡的分佈是因爲文化知識不易攜帶——必須收集,而且根據另一國翻譯的準則開展工作的審評員不能提供網絡知識。 多種語文數據收集 和陪伴的嚮導, 低資源語言語音數據收集,並討論應如何作出貢獻 同意並公平支付 做這種工作