簡短回答： 對,在多語言工作中經常如此。 對205種網絡縮寫語言公司進行人工審計後發現,至少有15種語言根本沒有可用的文本,87種語言的可用內容低於50%。 添加該標準的數據會教給一個模型錯誤的語言、錯誤的事實或根本一無所有,同時消耗了已經覈實的數據會使用的訓練預算。 在質量閾值以下,數量停止幫助並開始成本計算。
核心重點
- 更多的數據在擠出好數據,教假聯或者放大內容時會傷害,效果在低資源語言中最強.
- 對205個網絡縮寫公司的審計發現至少有15個沒有可用的文本,87個低於50%的可用文本,82個錯誤的標籤或使用了模糊的語言代碼.
- 在65種經審計的CCAcent語言中,44種,在20種維基語種中,19種低於50%的正確句子.
- 噪聲有四種反覆出現的形式:重複,語言錯誤,並行數據中的錯位,以及非語言內容,每個都需要不同的修補.
- 過濾過的多語言公司(corpora) 的基線結果 幾乎只有15%的代幣,所以過濾是一種性能槓桿, 而不僅僅是清理。
數據加起來怎麼能讓模型更糟糕?
通過三種機制,隨着語言的變小,所有機制都變得更加強大.
數據被擠出。 培訓預算是有限的,因此,在被綁起來的文件中花費的每個符號都不是用於正確的,而用低資源語言正確文件是稀缺的資產。 可使用文本在這方面,係指流利的發言者將承認其所稱語言中正確、專題內容的句子或文件。
它教錯人了。 被標爲一種語言但包含另一種語言的教義並非只是沒有幫助;它訓練一種語言代碼與不屬於它的內容之間的虛假聯繫。
它放大了主導者的任何內容,重複的內容被過度地學習,因此鍋爐板和刮碎的重複成爲模型對語言的想法.
不對稱很重要。 在英語中, 噪音被大量乾淨的文本所稀釋。 在有數十萬句可用句子的語言中, 噪音的集合可以成爲模型所看到的。 團隊構建 多語種評價集 運行到相同的不對稱:從吵吵的源文本中提取的基準測量噪音,而不是模型質量.
網絡上多語言數據到底有多糟糕?
比大多數團隊所假設的還要糟糕,證據自2022年起便公開.
Kreutzer和同事手動審計了205種特定語文 公司 公司 ——收集爲單一語言收集的文本,併發往他人進行培訓——來自五個主要公共數據集:CCAconition, ParaCrawl,WikiMatrix,OSCAR和mC4. 調查結果很重要,因爲這些數據集支撐了大量多語種模式培訓,包括背後的工作. 高資源與低資源語言 比較。
至少15種公司在審計樣本中根本沒有可用的文字,這意味着沒有一句正確的句子。 87種語言的可用數據低於50%。 在CCAReaction中,65種審計語言中有44種的正確句子低於50%,在20種的維基百科中,有19種。 對於維基百科,大約三分之二的已審計樣本平均誤配,句子對看起來結構相似,同時描述了不同的事實.
單獨地,82corpora被錯誤地貼上標籤或使用了非標準或模棱兩可的語言代碼,這意味着數據集對於它所聲稱的語言並不可靠.
作者們補充了一個應該令人鼓舞的觀點:這些問題很容易發現,即使是不通曉語言的人也是如此。 沒有人檢查過。
聲音到底由什麼組成?
四個反覆出現的類別,每個類別都需要不同的固定.
重複。 重複數據很廣泛: Indic公司的工作報告, 大約70%的頁, 葡萄牙管道從中移除了40%左右的剩餘頁。 脫落 ——在單一的爬行中去掉幾乎相同的重複案文。 清理和複製培訓前的教程.
錯誤或錯誤標記的語言。 內容用不同的語言, 以所主張語言的羅馬化變體, 或者用模棱兩可的代碼。 失敗使得數據集產生誤導, 而不是僅僅瘦小 。
錯配。 在平行的corpora中, 句子對非相互翻譯。 接受過這些培訓的模型會自信地學習假等效。
非語言內容。 使用波勒普拉特、 導航、 自動生成文本、 代碼碎片和垃圾郵件, 都以重要的速度出現在被審計的低資源公司。 測量一個實體有多少真正多樣, 有用的內容是其中的一部分 。 數據集多樣性 分析是用來分析的。
一個反直覺的發現值得知道:消除重疊的爬行可以降低性能,因爲它優先保留高直覺的噪音頁. 清掃是一組判斷,而不是切換.
團隊應該做什麼?
在培訓前先審計,先嚴格過濾,然後購買覈查而不是數量。
檢查每個語言的樣本,一百句的演講者會告訴你比體積還要多。它便宜,幾乎沒有人會這樣做。
將過濾作爲性能槓桿,而不僅僅是清理. 基於模型的過濾 使用受過訓練的分類員來評分,只保留質量較高的文件,其基準結果幾乎達到15%。
使用揚聲器驗證語言身份,而不是僅自動識別語言,因爲最弱的正是錯誤集羣。 多語種 LLM 培訓數據質量 方案依靠母語審查,而不是單獨工具。
設定每個語言的可用音量地板, 以便無法使用的數量停止計算目標。
更喜歡生成數據,而所獲取的數據卻比較薄。在某一點之下,委託使用經覈實的語文數據比清理一個從未使用過的數據庫便宜得多,而這是大多數數據背後的邏輯。 多種語文數據收集 方案及後方 數據驗證 步驟,在數據集到達培訓前對其進行檢查。
最後一點是業務夥伴的重要性。 Lifewood的多語種工作位於這一行的製作和驗證一邊:用100+語言的土著演講者篩選收集和檢查演講和文字,並用元數據和質量歷史來提供,從而使得審計成爲可能。 帶證據的數據集 包含着不同的資產 與只帶一個符號的數據集 不同的資產