简短回答： 原始普通爬行通道上的全FineWeb-Edu型管道 5 改为: 7% 进化到什么程度... 100 数万亿原始证券产量 5 改为: 7 万亿种培训标志,仅语言识别 50 改为: 80% 在任何质量过滤器运行之前。 ID精细的解析 模糊的解析 高压过滤 质量分类 PII 清除、消除污染和格式化,而且顺序是负载的。2022)发现字节精确的重复,位于 6.7% 输入 C4, 18.6% 真实新闻和 21.67% 输入 ROOTS.
核心要点
- 原始普通爬行的全FineWeb-Edu型管道的通过率为5%至7%;100万亿原始标志值为5至7万亿培训标志值。
- 单是语言识别一般会丢弃50%到80%的原始输入,这就是它为什么在八级序列中排行第一的原因.
- 李等人 (中文(简体) ).2022测量的字节-精确重复,在 6.7% 输入 C4, 18.6% 真实新闻和 21.67% 输入 ROOTS.
- Shilov等人(Nature Communications,2026)发现模糊重复驱动的记忆率是确切重复的0.8倍,这使得模糊解脱成为强制性而非可选性.
- 最近的证据有利于当地分化(每个爬出和每种语言),而不是保护生物体多样性的全球分化。
多少原始的网爬 存活的曲解?
适用于原始普通爬行的全FineWeb-Edu式管线的通过率为: 5 改为: 7%开始于 100 万亿个原始的代币和大约 5 改为: 7 万亿个训练标志幸存下来。
这并不是因为管道具有异常的侵略性。它反映了原始网络爬行实际包含的内容:语言错误、重复、锅炉板、机器生成或质量太差,无法教给模型有用的东西。 整理前的量本身不是有意义的数量 — — 重要的是过滤存活下来的量。
为何八戒清净阶段的顺序重要?.
生产序列在昂贵的操作之前就进行廉价操作,因此管道从不花去计算过后阶段会弃置的过滤文件.
八个阶段,顺序是:语言识别,它抛弃非目标语言文本,一般去除50%至80%的原始输入;精确的减值,通过散列清除字节-同文文件; 模糊的分解,它使用MinHash 局部敏感散列法而不是要求精确字节匹配法,发现近似复制的文件;在行统计数据、字长分布和插图比上进行热度过滤,使用Gopher和MassiveText项目的参考热度; 质量分类,在经过训练的模型中,记录和丢弃低分数者; PII 清除,编辑电子邮件,电话号码,政府标识和IP地址到位,而不是丢弃文件; 清除污染,删除评价设定内容,因此基准分数仍然能衡量一些真实的东西; 硬化为训练准备的Parquet或JSONL.
一个例外值得知道。 FineWeb2 团队特意先进行减值,先于过滤,具体地说,这样过滤实验就可以在不影响以后的结果的情况下,按自身效果来评价。 这是一种进行清洁实验的方法选择,而不是生产建议,因为生产过程中的脱脂时间很晚,因为费用昂贵,而且不应该花在文件上,而便宜的过滤器无论如何都会被去掉。
生化体里到底有多少重复?
字节的重复性足以改变培训成果,几乎重复的文本——同样的文件,差别不大,而不是相同的副本——仍然普遍得多。
李和同事(2022年)测量了C4、RealNews和ROOTS的字节精确重复率为6.7%、18.6%和21.67%。 这些数字只涵盖确切重复;用不同头或日期复制的同一文件算作近重复,而模糊的去除作用是用来捕捉的。
重复的理由是记忆. 卡利尼和同事在训练数据中出现序列的频率和模型复制的可能性之间,定型为日志线性关系——同时是隐私问题,版权问题和概括问题. 近似重复并非风险的次要版本:希洛夫和同事在2026年的自然通讯杂志上发表文章时发现,模糊重复以0.8倍于确切重复率的倍率促成了记忆。 这一单一结论是将模糊分裂视为强制性而非选择性的论点。
何种分化方法实际上在规模上有效?
MinHash LSH仍然是主要的制作方法,几种变体将其与速度或语义精度进行交换.
明哈什 LSH 使用MinHash的草图计算出对地点敏感的散列,这是Broder为网络尺度近似重复检测采用的一种技术,它仍然是培训前程序解码的默认。 FineWeb的超参数——14桶大小8,超过5克的超参数——已经成为事实上的标准;文件通过签名组合,每个集群保留一个代表.
LSHBloom(Khan等人,2024年)用Bloom滤波器取代MinHash-LSH指数,并在petascale上报告12次速度. SemDeDup(Abbas等人,2023年)致力于意义而非原始的符号,嵌入带有轻量级句式编码器的文件,并去除模具冗余的;典型的制作序列先是运行MinHash以清除准确和近语义的重复,然后SemDeDup在剩余内容上. SoftDedup再次采取了不同的方法,重定重磅而不是去除重磅,保留了内容经常出现同时降低其在训练中的主导地位的信号.
计算成本是真实的:MinHash LSH 打开 100 亿令牌需要数周时间 96- 核心 - 核心 - Centre CPU 组合,这就是为什么 GPU-任何在严格培训前规模进行评估的人都可以加快实施。 值得提醒的是,所有这些方法都是近似方法,都适合减少冗余,而不是保证字节匹配,结果随执行和超参数而异,以至于公司之间的比较不可靠。
分解是全球性的还是局部性的?
最近的证据倾向于地方的分化——每个爬行场和每种语言——而不是一次使整个体格分解,尽管全球消除了更多的纸面重复。
OpenGPT-X团队既广泛测试了每笔跳跃和每语的重复测试,又进行了脱落测试,引用研究证实局部的重复测试可以更好地保存数据多样性,同时仍然可以减少冗余. 机制是反直觉的,但是一致的:积极的交叉爬行减速偏好保留高强度的噪音,因为跨多个爬行重复的真正有用的内容会被脱落,而独特的低质页面却仅靠独特的生存。 结果,一个实体的冗余程度和更糟程度都较低。
不同的项目在不同的地方登陆. 精华网 运行每秒一次的MinHash 显示96个常见的Crawl快照,以产生15兆个符号 — — 一种纯粹的局部方法。 FineWeb2 在全球每种语言中都存在一个中间位置: 在一个语言中具有全球位置, 并且分化到各种语言。 Zyda 则采取相反的极端, 使用 13 克的 LSH 进行跨数据集高侵入性分解。 这是一个现场设计决定,而不是一个解决的决定,尽管最近的证据倾向于分化的办法,而不是完全全球性的办法。
为什么分解会打破多语种的蝎子?
为英语而建的减码会默默地误射其他语言,因为MinHash运行在首先需要表示符号化的n-gm的螺旋上,而白空间表示只对用空格来划分词的语言有效.
运行英文式的缠绕泰文、中文或日文,以及由此产生的明哈什签名毫无意义:真实的复制件会被不被发现,无关的文件会被错误地组合在一起。 管道仍然运行,仍然报告有破损率,而这个数字是虚构的。 FineWeb2团队通过使用每个语言的词级标语来生成词n-gram,而不是对整个多语种体的一种标语化方法,直接解决了这个问题.
同样的故障模式在管道的其余部分传播. Heuristic filters 建立在英语假设基础上——平均字长,尖点比,止字频率——误射不同形态的语言,并丢弃有效文本作为低质量. 语言识别在低资源和代码切换文本上表现得更差,将文件导向错误的分区或直接丢弃。 受过英语教育内容培训的质量分类人员也不进行传输。 实际结果是用英语精心整理,在其他地方都无法预测地整理,在任何汇总统计中都看不到。 补救措施是按语言进行配置和按语言报告,说明、过滤阈值、语言ID自信以及解脱和通过率——更多的工作,以及了解什么是唯一的方法。 多语种培训教程 实际包含完成的曲解。 横向培训数据 在许多语言中,除非明确检查,否则这种失败模式会更可能,而不是更少。
为何除污易错?
消除污染可以消除培训机构内设定的评价内容,如果错误地评估,则事后报告的每一基准分数无效,因为受污染的基准衡量的不是能力,而是纪念。
污染通常通过整个开放网络重复基准内容而不是任何人故意包括一套测试来达到,100个博客文章中引用的流行基准问题在主体中超过100倍,与原始基准文件的精确匹配不会抓住被解释的拷贝。 清除污染还必须对照一个小组打算报告的每一基准进行,这意味着必须在开始校训之前确定名单,而不是在培训结束后选定名单。
单打扫能解决一个坏人吗?
不,清理告诉一个团队什么是去掉的;它不能告诉他们什么是缺失的,因为过滤只操作于所发现的爬行。
网络爬行过度地呈现了网络本身产生的:来自少数高资源语言的文字、正式的、英语主语文本。 对205种网络爬行语言公司的审计发现,至少有15种语言根本没有可用的文本,87种信息低于50%的可用内容 — — 没有多少MinHash调制修正了一个从未使用过的内容。 英语的通过率为6%,低资源语言的通过率为0.4%,这并非一个连续运行的管道;这是一个信号,即这些语言需要收集,而不是进一步过滤。 编制和核实的培训数据 比反复清理那些 永远无法操作的 爬行数据便宜 也是学科与更广泛的问题 测量数据集的多样性 避免在研究中涉及的退化类型 合成或低质量数据培训模式.
Lifewood 工作在以下单位 AI 数据及数据 多种语文数据收集,包括 管理多语种数据收集 和 企业 LLM 培训数据 两者正是在这个时候相会:清理一个爬行和委托数据以填补其空白是相辅相成的步骤,而不是相互替代。 由此得出的实际框架是:先进行编审,然后按语文对实际存活下来的事物进行审计,而不是相信一个单一的总数通过率来描述一个多语种的教程。
团队应该做什么 来管理一个干净的预训?
不存在单一的固定办法;对一个文书进行整理意味着将一个简短的学科清单放在一起,而不是孤立地适用其中任何一个学科。
报告每个阶段和每个语言的通过率,而不仅仅是汇总率,因为汇总数字完全隐藏了需要注意的语言和领域。除了精确的重复外,还要进行模糊的分解,因为模糊的重复驱动记忆大致 0.8 默认到局部的减值,每次爬行和每种语言,除非对所持特定体的测试显示全球减值效果更好。使用每个语言的标记来进行打包而不是在各地使用一个白空间的标记,因为运行英语的标记来代替非拉丁文字,会产生实际上虚构的减值率。命令八个生产阶段便宜到昂贵,以节省计算,但考虑先进行减值,而当目标正在进行清洁过滤实验而不是生产检验。在开始验收之前,确定基准清单,这样,除污就可以与一个团队以后打算报告的一切情况相对应,而不是追溯性地决定预算。 GPU 离体在大约高度上 100 百万个金币,自明哈什以来 LSH 计算时需要数周时间 CPU-并且审核管道中幸存下来的, 不仅仅是它被清除的, 因为清理后留下的体积完全由一个团队开始的爬行所决定, 覆盖的空白在清理统计中是看不见的。