簡短回答： 原始普通爬行通道上的全FineWeb-Edu型管道 5 改爲: 7% 進化到什麼程度... 100 數萬億原始證券產量 5 改爲: 7 萬億種培訓標誌,僅語言識別 50 改爲: 80% 在任何質量過濾器運行之前。 ID精細的解析 模糊的解析 高壓過濾 質量分類 PII 清除、消除污染和格式化,而且順序是負載的。2022)發現字節精確的重複,位於 6.7% 輸入 C4, 18.6% 真實新聞和 21.67% 輸入 ROOTS.
核心重點
- 原始普通爬行的全FineWeb-Edu型管道的通過率爲5%至7%;100萬億原始標誌值爲5至7萬億培訓標誌值。
- 單是語言識別一般會丟棄50%到80%的原始輸入,這就是它爲什麼在八級序列中排行第一的原因.
- 李等人 (中文(簡體) ).2022測量的字節-精確重複,在 6.7% 輸入 C4, 18.6% 真實新聞和 21.67% 輸入 ROOTS.
- Shilov等人(Nature Communications,2026)發現模糊重複驅動的記憶率是確切重複的0.8倍,這使得模糊解脫成爲強制性而非可選性.
- 最近的證據有利於當地分化(每個爬出和每種語言),而不是保護生物體多樣性的全球分化。
多少原始的網爬 存活的曲解?
適用於原始普通爬行的全FineWeb-Edu式管線的通過率爲: 5 改爲: 7%開始於 100 萬億個原始的代幣和大約 5 改爲: 7 萬億個訓練標誌倖存下來。
這並不是因爲管道具有異常的侵略性。它反映了原始網絡爬行實際包含的內容:語言錯誤、重複、鍋爐板、機器生成或質量太差,無法教給模型有用的東西。 整理前的量本身不是有意義的數量 — — 重要的是過濾存活下來的量。
爲何八戒清淨階段的順序重要?.
生產序列在昂貴的操作之前就進行廉價操作,因此管道從不花去計算過後階段會棄置的過濾文件.
八個階段,順序是:語言識別,它拋棄非目標語言文本,一般去除50%至80%的原始輸入;精確的減值,通過散列清除字節-同文文件; 模糊的分解,它使用MinHash 局部敏感散列法而不是要求精確字節匹配法,發現近似複製的文件;在行統計數據、字長分佈和插圖比上進行熱度過濾,使用Gopher和MassiveText項目的參考熱度; 質量分類,在經過訓練的模型中,記錄和丟棄低分數者; PII 清除,編輯電子郵件,電話號碼,政府標識和IP地址到位,而不是丟棄文件; 清除污染,刪除評價設定內容,因此基準分數仍然能衡量一些真實的東西; 硬化爲訓練準備的Parquet或JSONL.
一個例外值得知道。 FineWeb2 團隊特意先進行減值,先於過濾,具體地說,這樣過濾實驗就可以在不影響以後的結果的情況下,按自身效果來評價。 這是一種進行清潔實驗的方法選擇,而不是生產建議,因爲生產過程中的脫脂時間很晚,因爲費用昂貴,而且不應該花在文件上,而便宜的過濾器無論如何都會被去掉。
生化體裏到底有多少重複?
字節的重複性足以改變培訓成果,幾乎重複的文本——同樣的文件,差別不大,而不是相同的副本——仍然普遍得多。
李和同事(2022年)測量了C4、RealNews和ROOTS的字節精確重複率爲6.7%、18.6%和21.67%。 這些數字只涵蓋確切重複;用不同頭或日期複製的同一文件算作近重複,而模糊的去除作用是用來捕捉的。
重複的理由是記憶. 卡利尼和同事在訓練數據中出現序列的頻率和模型複製的可能性之間,定型爲日誌線性關係——同時是隱私問題,版權問題和概括問題. 近似重複並非風險的次要版本:希洛夫和同事在2026年的自然通訊雜誌上發表文章時發現,模糊重複以0.8倍於確切重複率的倍率促成了記憶。 這一單一結論是將模糊分裂視爲強制性而非選擇性的論點。
何種分化方法實際上在規模上有效?
MinHash LSH仍然是主要的製作方法,幾種變體將其與速度或語義精度進行交換.
明哈什 LSH 使用MinHash的草圖計算出對地點敏感的散列,這是Broder爲網絡尺度近似重複檢測採用的一種技術,它仍然是培訓前程序解碼的默認。 FineWeb的超參數——14桶大小8,超過5克的超參數——已經成爲事實上的標準;文件通過簽名組合,每個集羣保留一個代表.
LSHBloom(Khan等人,2024年)用Bloom濾波器取代MinHash-LSH指數,並在petascale上報告12次速度. SemDeDup(Abbas等人,2023年)致力於意義而非原始的符號,嵌入帶有輕量級句式編碼器的文件,並去除模具冗餘的;典型的製作序列先是運行MinHash以清除準確和近語義的重複,然後SemDeDup在剩餘內容上. SoftDedup再次採取了不同的方法,重定重磅而不是去除重磅,保留了內容經常出現同時降低其在訓練中的主導地位的信號.
計算成本是真實的:MinHash LSH 打開 100 億令牌需要數週時間 96- 核心 - 核心 - Centre CPU 組合,這就是爲什麼 GPU-任何在嚴格培訓前規模進行評估的人都可以加快實施。 值得提醒的是,所有這些方法都是近似方法,都適合減少冗餘,而不是保證字節匹配,結果隨執行和超參數而異,以至於公司之間的比較不可靠。
分解是全球性的還是局部性的?
最近的證據傾向於地方的分化——每個爬行場和每種語言——而不是一次使整個體格分解,儘管全球消除了更多的紙面重複。
OpenGPT-X團隊既廣泛測試了每筆跳躍和每語的重複測試,又進行了脫落測試,引用研究證實局部的重複測試可以更好地保存數據多樣性,同時仍然可以減少冗餘. 機制是反直覺的,但是一致的:積極的交叉爬行減速偏好保留高強度的噪音,因爲跨多個爬行重複的真正有用的內容會被脫落,而獨特的低質頁面卻僅靠獨特的生存。 結果,一個實體的冗餘程度和更糟程度都較低。
不同的項目在不同的地方登陸. 精華網 運行每秒一次的MinHash 顯示96個常見的Crawl快照,以產生15兆個符號 — — 一種純粹的局部方法。 FineWeb2 在全球每種語言中都存在一箇中間位置: 在一個語言中具有全球位置, 並且分化到各種語言。 Zyda 則採取相反的極端, 使用 13 克的 LSH 進行跨數據集高侵入性分解。 這是一個現場設計決定,而不是一個解決的決定,儘管最近的證據傾向於分化的辦法,而不是完全全球性的辦法。
爲什麼分解會打破多語種的蠍子?
爲英語而建的減碼會默默地誤射其他語言,因爲MinHash運行在首先需要表示符號化的n-gm的螺旋上,而白空間表示只對用空格來劃分詞的語言有效.
運行英文式的纏繞泰文、中文或日文,以及由此產生的明哈什簽名毫無意義:真實的複製件會被不被發現,無關的文件會被錯誤地組合在一起。 管道仍然運行,仍然報告有破損率,而這個數字是虛構的。 FineWeb2團隊通過使用每個語言的詞級標語來生成詞n-gram,而不是對整個多語種體的一種標語化方法,直接解決了這個問題.
同樣的故障模式在管道的其餘部分傳播. Heuristic filters 建立在英語假設基礎上——平均字長,尖點比,止字頻率——誤射不同形態的語言,並丟棄有效文本作爲低質量. 語言識別在低資源和代碼切換文本上表現得更差,將文件導向錯誤的分區或直接丟棄。 受過英語教育內容培訓的質量分類人員也不進行傳輸。 實際結果是用英語精心整理,在其他地方都無法預測地整理,在任何彙總統計中都看不到。 補救措施是按語言進行配置和按語言報告,說明、過濾閾值、語言ID自信以及解脫和通過率——更多的工作,以及瞭解什麼是唯一的方法。 多語種培訓教程 實際包含完成的曲解。 橫向培訓數據 在許多語言中,除非明確檢查,否則這種失敗模式會更可能,而不是更少。
爲何除污易錯?
消除污染可以消除培訓機構內設定的評價內容,如果錯誤地評估,則事後報告的每一基準分數無效,因爲受污染的基準衡量的不是能力,而是紀念。
污染通常通過整個開放網絡重複基準內容而不是任何人故意包括一套測試來達到,100個博客文章中引用的流行基準問題在主體中超過100倍,與原始基準文件的精確匹配不會抓住被解釋的拷貝。 清除污染還必須對照一個小組打算報告的每一基準進行,這意味着必須在開始校訓之前確定名單,而不是在培訓結束後選定名單。
單打掃能解決一個壞人嗎?
不,清理告訴一個團隊什麼是去掉的;它不能告訴他們什麼是缺失的,因爲過濾只操作於所發現的爬行。
網絡爬行過度地呈現了網絡本身產生的:來自少數高資源語言的文字、正式的、英語主語文本。 對205種網絡爬行語言公司的審計發現,至少有15種語言根本沒有可用的文本,87種信息低於50%的可用內容 — — 沒有多少MinHash調製修正了一個從未使用過的內容。 英語的通過率爲6%,低資源語言的通過率爲0.4%,這並非一個連續運行的管道;這是一個信號,即這些語言需要收集,而不是進一步過濾。 編制和核實的培訓數據 比反覆清理那些 永遠無法操作的 爬行數據便宜 也是學科與更廣泛的問題 測量數據集的多樣性 避免在研究中涉及的退化類型 合成或低質量數據培訓模式.
Lifewood 工作在以下單位 AI 數據及數據 多種語文數據收集,包括 管理多語種數據收集 和 企業 LLM 培訓數據 兩者正是在這個時候相會:清理一個爬行和委託數據以填補其空白是相輔相成的步驟,而不是相互替代。 由此得出的實際框架是:先進行編審,然後按語文對實際存活下來的事物進行審計,而不是相信一個單一的總數通過率來描述一個多語種的教程。
團隊應該做什麼 來管理一個乾淨的預訓?
不存在單一的固定辦法;對一個文書進行整理意味着將一個簡短的學科清單放在一起,而不是孤立地適用其中任何一個學科。
報告每個階段和每個語言的通過率,而不僅僅是彙總率,因爲彙總數字完全隱藏了需要注意的語言和領域。除了精確的重複外,還要進行模糊的分解,因爲模糊的重複驅動記憶大致 0.8 默認到局部的減值,每次爬行和每種語言,除非對所持特定體的測試顯示全球減值效果更好。使用每個語言的標記來進行打包而不是在各地使用一個白空間的標記,因爲運行英語的標記來代替非拉丁文字,會產生實際上虛構的減值率。命令八個生產階段便宜到昂貴,以節省計算,但考慮先進行減值,而當目標正在進行清潔過濾實驗而不是生產檢驗。在開始驗收之前,確定基準清單,這樣,除污就可以與一個團隊以後打算報告的一切情況相對應,而不是追溯性地決定預算。 GPU 離體在大約高度上 100 百萬個金幣,自明哈什以來 LSH 計算時需要數週時間 CPU-並且審覈管道中倖存下來的, 不僅僅是它被清除的, 因爲清理後留下的體積完全由一個團隊開始的爬行所決定, 覆蓋的空白在清理統計中是看不見的。