简短回答： 有条件,条件也做大部分工作. 2024年自然的一项研究表明,关于递归生成的内容的不加区分的培训模型导致模型崩溃——罕见的病例先消失,然后产出总体缩小. 合成数据被刻意使用,与真实数据混合,在质量上过滤并锁定到人验证的材料上,是一种正常有效的技术。 合成数据意外积累和无标签是大多数组织在没有选择的情况下接触到的失败案例。
核心要点
- 模型崩溃是一种有记录的失败模式,在这种模式中,一个经过循环生成数据的训练的模型逐渐丧失产生多样化,高质量输出的能力,罕见的案例首先消失.
- 舒梅洛夫和同事在“世界”中展示了这种效果。 性质 7月(7月) 2024 其后,在后续评注中对该报告进行了审查和辩论。
- 合成数据在来源已知后安全,并且仍固定在真实的、经过人验证的核心上;如果没有标签,又在无人跟踪其来源的情况下积累,则风险很大。
- 综合基准在崩溃的早期阶段保持健康,因此多样性和罕见情况的业绩必须直接衡量。
- 合成记录不包含自动隐私保障;NIST表示,大多数合成数据技术都提供不提供,除非构建时有差别隐私.
真正的培训数据是否总是比合成数据更好?
两者也并非都更好;每一种数据都适合不同条件。 真实数据能够捕捉真实的复杂性 — — 感官噪音、意外行为、自然发生的边缘病例、文化差异 — — 并且是判断合成忠诚的参考,但它昂贵、缓慢、有时稀少和往往敏感。 合成数据是可控的,廉价的,可以随需求而变化和提供,它也可以复制其生成者的偏差,同时看起来完全现实。 值得回答的问题不是什么更好,而是数据生成条件会降低从中吸取教训的模型,现在有一份公开的答案。
自然界关于模型崩溃的研究究竟显示出什么?
这表明,反复培训一个关于自己一代产出的模型会缩小模型所能产生内容的范围,罕见的结果首先消失. 2024年7月,舒梅洛夫,舒梅洛夫,赵,帕诺特,安德森和加尔在"自然"中发表了"AI模型在接受过关于递归生成数据的培训时崩溃"(第631卷,第755–759页). 研究人员培训了一个模型,从中生成了数据,对下一代进行了关于该产出的培训,并重复了循环. 产出分布在几代人中不断缩小:低概率事件——尾巴——首先消失,因为它们在任何有限的样本中代表不足,因此在下一代人所学到的东西中代表不足。 作者的结论是,不加区别地对真和生成内容的组合进行基因AI培训,如从互联网上删除数据时发生的情况,会削弱模型生成多样化高质量输出的能力.
崩溃很难察觉,因为它始于尾部。 失去生产稀有但具有有效性产出能力的模型在一般情况下和在综合基准上仍然表现良好 — — 这是一种具体评价稀有案例而不是依赖平均值的论点。
其结果也经过了批判性审查,这很正常和有用. arXiv上发表的一份说明(预印本2410.12954,2024年10月,没有经过同行评审)认为,最初设定中的特定假设对结论的概括性有多大影响. 实际立场:机制是真实的,动机良好,它在任何具体管道中的严重性取决于管道如何校验数据,正确的反应是校验而不是惊慌或解雇。
合成数据何时才是正确的选择?
合成数据并不是每个应用中真实数据的退化替代;在有些情况下,它直接成为更好的选择,将崩溃发现作为全面禁止的做法,使这些情况毫无益处。
| 使用场景 | 为什么合成工作 | 情况 |
|---|---|---|
| 罕见的事件——事故、过失、危险 | 真实的例子很少,危险或不道德 | 对照确实存在的实际实例验证;绝不允许仅由合成定义该类别 |
| 隐私敏感域 | 从培训集中删除个人记录 | 校验合成不会从源头泄露可识别属性 |
| 类平衡 | 任职人数不足的类别增加费用较低 | 控制合成份额, 检查少数族裔的行为是否确实有所改善 |
| 感知和机器人模拟 | 完美的地面真相,无限的变异,可控制的条件 | 明确测量成象到现实的缺口,并以真实的验证数据来弥补它 |
| 蒸发 从更强大的模式 | 有意从已知的、质量较高的教师那里转学 | 并非自修——老师的成绩优于学生, |
| 格式和结构 | 模板和结构变异对生成正确性很便宜 | 内容仍然需要人性化基础;结构不是实质 |
蒸发 正在就更强大、已知的教师模式的产出培训一个较小或更新的模式,如涵盖 选择时买什么 RLHF, SFT 或蒸馏。表方图案:当合成数据系系系已知,并被固定在真实的东西上时,这些数据是安全的,如果它没有标签、积累和仅与其他合成数据相对照,则数据是危险的。
一个值得在此退休的假设:合成并不意味着自动的私密. NIST指出许多合成数据技术没有提供正式的隐私保障,因此当隐私成为目标时,必须评估生成方法及其剩余风险,而不是因为记录是人为的而假设消失.
为什么组织在没有选择的情况下就暴露在模型崩溃的面前?
因为一般的做法——刮网,微调前期输出,使用模型辅助标签——悄悄地建立自然研究描述的相同的递归循环,甚至对于从未打算训练一个基础模型的团队来说. 曝光是常见的和间接的:
- 被打成碎片的蝎子 大约2023年后从开放网络收集的任何数据集都包含机器生成的文字,比例不明,没有标签。如果修改,则是否为故意,则进行循环培训,进一步涵盖这一风险。 清理和拆除培训前的教程.
- 精细调整自己的产出。 出版团队 AI-辅助内容和后来根据自己的出版内容进行微调,建立了没有外部主播的小回转循环.
- 被污染的成套评价。 从网络文本中收集的基准可能包含生成的项目,这些项目为生成类似文本的模型所赞美。
- 以示范建议为主的说明。 模型辅助标签 不加协助的批量控制被接受,将预标签模型的分布编码为数据集——从不同方向得到的相同机制。
- 夺得corp氏. 一个检索-增强系统,其索引充满机器写页检索机器写页的答案,完全不参与培训。
共同因素就是缺少来源,如果知道哪些物品是人类授权的,哪些不是,那么这些都不是危险的,因为这样它们就可以加权、过滤或排除——这是完全与法律无关的出处纪律的实际论点。 一个相关的陷阱坐落在评价中:如果同一个模型家族同时生成数据和判断数据,系统会奖励自己的假设,循环性从分数内部看不见.
如何在不贬低模型的情况下使用合成数据?
将培训组合与已知的血统刻意结合,而不是避免合成数据或积累这些数据,而忽视了这一点。
- 把每件物品都标注在原产地上 人文著作,模型生成,模型辅助,或未知,"未知"是一个合法而重要的类别——追踪它而不是默默地把它当作人来对待.
- 锁定混音器 以核实人类数据。 保存大量、经整理的人类编译、经人验证的材料,这些材料不会随着合成体积的增加而萎缩。 这正是阻止分布漂移的原因,随着开放网络作为一种来源的可靠性降低,其价值也随之增加。
- 设定并强制执行合成共享. 选择一个任意比例,每个训练运行和每个域,并记录它。没有人选择的混合是行为改变时没有人可以调试的混合。
- 过滤质量, 不只是有效性。 生成的、造型良好但通用驱动器分布缩小;过滤多样性和信息性比过滤本身正确性更重要。
- 评估尾部。 专门从罕见案例、少数群体阶层和边缘条件中建立评价套,这是涵盖的学科。 测量数据集的多样性 和 采矿业的长尾矿和边缘矿综合测量值在崩溃的早期阶段保持健康;罕见的性能则不健康。
- 保持一个未触及的真数据搁置。 一套由人类撰写的评价集,收集一次,从未用于训练,从未再生成,也从未扩大——这是跨模范代的唯一稳定的参考点.
- 数据版本,而不仅仅是模型. 记录生成的检查点。 当行为退化时, 数据构成通常是解释, 如果没有记录, 则无法恢复 。
合成份额是机器生成的物品在总训练组合中的分数. 正确的比率是试验性地为目标任务确定的,而不是由普遍规则确定的,应该与增加的合成数据在各部分的分层性能一起报告,以便改进这些部分,如果这些部分不移动,增强除了改变分布之外,别无其他。 更多的数据可以让AI更糟糕 处理更多量何时停止帮助这一更广泛的问题。
这对规模出版内容的组织意味着什么?
其成本将提高,因为内容将成为未来模式的一部分。 如果开放的网络中充满了机器生成的材料,未来模式将学习降解,而制作这些材料的组织则正在推动降解。 因此,未经核查而大规模出版不仅是一种薄弱的营销资产,而且对集体问题的贡献很小。
建设性解读提高了生产者控制两件事的价值。 首先,人验证的物质:原始数据、第一手经验、真正的专业知识、真正的市场语言工作——正是因为不是已经存在的再现而保持有价值的材料。 第二,出处标识,使下游的主管能够以出口时间几乎不花费费用的方式区分出产生的材料和作者制作的材料。
怎么样 Lifewood 是否接近合成数据和模型崩溃?
通过记录而不是假设来源,它的工作是:收集和注释由人类撰写的培训数据,以及制作 AI-人类核查是双向的支柱,被人们所掌握 95%+ 准确度 双层人员在即审查的门槛——两次审查,并附有时间标记的核准记录,详见 AI 数据验证锚只能在其背后的网络上生产: 100+ 语言, 40+ 跨省服务中心 30+ 国家 和 56,000+ 登记缴款人,这是产生真正新的人类材料而不是回收的网络文本所需要。 AI 服务,见 Lifewood的,因为 AI 数据服务.