简短回答： 生产日志通过数据飞轮成为培训数据:捕捉相互作用,擦除个人数据,自动分解故障,确认真实数据并贴上人类专家的标签,整理一套小数据,进行微调,评价和重新部署。 NVIDIA公布的代理飞轮显示的比例:495个不满意的回复,140个LLM法官标注,32个专家确认,以及一套685个数据点,可以大大改进较小的模型. 法官过滤;人类决定.
核心要点
- NVIDIA的内部代理飞轮收到了495个不令人满意的生产反应,一个LLM-as-a-judge标注140个路由故障,主题专家仅证实32个,大约77%的假正率在自动分解上.
- 原始生产记录不是训练数据:它们吵闹,偏爱容易处理的案件,充满个人资料,只有在洗涤、分拣、根部分类和人肉加工之后才有用。
- 从日志到重新部署的周期时间是数据飞轮的束缚,而不是数据集大小;NVIDIA的编译数据集为685个数据点,从100到200个标注的例子开始,从操作者推荐.
- 飞轮会扩大已经服务过的产品的语言、市场和片段,不能将它没有的服务拖住;在使用之前,这些产品需要委托收集数据。
- 仅根据模型判断的模型产出培训会降低性能,罕见的案例首先消失;人文审查是停止循环消耗自身错误的外部主锚.
NVIDIA的飞轮显示什么 将日志变成训练数据?
NVIDIA公布的关于其内部代理飞轮的叙述显示,自动评价缩小了被审查人口,人类专家做出实际判断,几百个被整理的例子足以改进较小的模型,数字比任何图表都能更好地说明故事.
视察队从制作中获得了495项不满意的答复,一份LLM-as-a-judge的通行证确认140项是路线错误造成的,然后专题专家亲手审查了这140项,确认了32项。
140个标注,32个真实数字。在由建设这一基础设施为生的人管理的资源充足的方案中,自动分解率大约为77%,这并非是这一方法的失败。 这种方法应该做的是:自动评价将495减少到140,从而使昂贵的人类审查在140上进行而不是495。 如何可靠一个 LLM 做法官时.
最后产出是685个数据点的编译地面真人数据集,将60/40分作培训和测试,NVIDIA报告小模型性能从中显著改善. 685,而非685千.
什么是数据飞轮,为什么静态数据集在生产中失败?
数据飞轮是一种反馈循环,利用从活的相互作用中收集的数据不断完善AI模型,从而产生更好的结果和更加有价值的数据。 它取代了收集固定体、一次性说明、培训和部署的旧模式。
线性方法在生产中迅速失败,一个模型遇到提示,域位移和长尾边缘的情况没有捕获到预训练程序,发射时冻结的数据集无法跟随. 飞轮的前提是自我强化:随着更多用户与系统互动,日志捕捉到真正的成功,用户校正和代理故障;提取,注释和对这些故障的培训可以改善接下来的迭代,这驱动更多的使用和更丰富的日志.
战略索赔是商业案例的所在地。 NVIDIA和Iguazio的参考材料的论文是,AI代理的持续改进并不需要不断升级到更大的模型。 它需要系统的反馈循环,让更小,更便宜,更快的模型匹配或接近更大的模型的准确性。 将飞轮从质量倡议重新纳入成本方案。
框架的一个更正:原始生产日志不是培训数据。它们结构不整齐、吵闹、被轻视到没有新学习信号的例行查询,并带有合规风险。 日志体积不转转转轮速;飞轮的速度是由如何高效地发现故障,分类和注释来设定的,将未加工的日志直接反馈到微调中会稀释精度,放大漂移.
循环是如何运行的, 舞台逐个进行?
循环运行捕捉、监控、自动分解、人文审查、校准、定制、评价和重新部署,由管弦乐手决定每个阶段的火灾时间。 每个阶段都有不同的输入和输出,而拼凑它们就是通常的飞行轮投资停滞的原因。
| 阶段 | 发生什么事 | 产出 |
|---|---|---|
| 抓取 | 推论日志,提示,响应,检索痕迹,工具呼叫,延迟和用户反馈,存储在可查询的地方(NVIDIA和MLRun参考架构中的弹性搜索) | 原始遥测流 |
| 擦拭 | PII 检测和去识别;在培训储存之前适用居住和同意规则 | 符合规定的遥测 |
| 监测和检测 | 持续跟踪业绩、稳定性和资源使用情况,使候选人浮现,而不是等待投诉 | 候选人人才库 |
| 自动分解 | LLM-法官职位和在线评价缩小了人才库的范围; 495 改为: 140 步骤 | 标记失败 |
| 根因分类 | 每一个标记的失败都映射到一个集合、注释或建模问题 | 补救队列 |
| 人工审核 | 域专家确认哪些旗帜是真实的,并界定正确的行为;140至32步 | 底部真伪标签 |
| 解析 | 已确认的案件成为一套培训和评价,分头处理 | Gold SFT, 偏好或工艺监督数据 |
| 自定义 | 通过LORA进行微调,对套装进行微调或监督微调 | 候选人模式 |
| 评估 | 候选模型使用零射、RAG和LLM-即时判断评价,加上回归测试和红色小组,对照生产日志和搁置数据进行运行 | 要么去要么不去决定 |
| 调动 | 改进后的模型船 并生成下一轮的木头 | 下一个周期 |
管弦乐将项目变成一个系统:在参考执行中,一个管弦乐手将循环包裹起来,在日志符合规定条件时触发评价和自定义,并在需要决定时升级到人类。 同样的捕捉、审查和再训练模式出现在已公布的Loop飞行轮代理中。 LLM-以客户支持为基础。
在生产记录被触摸训练之前,你如何去除这些记录?
生产日志是用户数据,必须在采集时进行解识别、居住资格检查和同意审查,然后才储存起来进行培训。 在整个一年积累的日志中重新调整合法依据要比在第一天正确写出要困难得多。
日志通常载有个人可识别的信息、专有客户有效载荷,有时还载有操作证书。 单凭Regex匹配不足以进行基因、多式联运应用;企业管道采用多通道脱识别,将命名实体识别与象征性或差异性偏差技术相结合,并将输出作为单独的遵守许可流。
居住几乎无人处理。 在一个法域捕捉日志并在另一个法域进行处理的飞轮是一种跨界数据传输,无论是否有人在编审中称之为一种。 用于提供服务的同意语不会自动涵盖模式培训。 Lifewood作为管理下提供者处理此事的一个实例,它指出,它在其整个企业中实行治理。 40+ 包括: EU-仅通过地理出入控制处理(公司报告)。
你怎么分辨失败 找到根源?
高强度交互的样本而不是统一,然后将每一个确认的失败排序为三个桶中的一桶:缺失数据、不良标签或准则,或模型容量限制。只有前两个是数据问题,它们只属于飞轮的注解队列。
标记可能失败的信号是明确的用户编辑或拒绝,低置信分数,废弃会话,执行超时和下游任务例外. 通过嵌入距离或步骤的 en将其分组为分级的失败集群和一个长尾队列.
一旦失败被隔离, 根原因分类学用于 为基因AI收集培训数据 应用:
- 缺少数据(一个收集问题):用户在培训大纲中缺少一个低资源方言或域名术语。
- 错误标记的数据(一个注释问题):在早期的微调或RLHF运行中相互矛盾的指南会产生不稳定的行为. 补救措施:修正指南和重新标签.
- 容量限制(一个建模问题):模型缺乏上下文窗口或建筑深度来解决任务. 补救:工程改变,而不是更多的标签.
将这三个因素混为一谈,就是预算如何为仅需要管理的问题获得花费的再培训模式,或者为问题贴上标签的数据,没有任何数据能够解决。
为什么循环时间是真正的制约因素?
从日志到重新部署的循环时间,而不是数据集大小,是决定飞轮是否起作用的尺度,因为比生产分布慢的循环是在一个不再存在的世界上训练。 几天后关闭的循环比200个例子比四分之一时关闭的循环要快,比20,000个。
阿里兹最直接地提出这个论点,它解释了为什么手动飞轮失败而不是仅仅表现不佳。手动过程在规模上崩溃。当实例被审查、标签、再训练和部署时,生产系统已经前进:要求发生变化,出现了新的边缘案例,团队总是追赶。
这是一种不同的失败模式,而不是没有足够的数据。 完成循环需要11周的飞轮并不缓慢;它是固定的,它能产生一个已经转变的分布。
飞轮在哪里悄悄地出错?
四种失败模式一再出现,在销售商图中都没有出现:日志中的幸存者偏差、自动分类作为地面真相处理、关于未经核实的模型输出的培训、以及作为事后思考处理的隐私或居住权。
日志中的幸存者坑偏
生产日志包含来自停留的用户的交互。询问系统处理不当且从未回来的用户生成一个糟糕的日志,然后则一无所获;发现它有用的用户生成数百个。所以日志的分布过多地反映了已经起作用的,而飞轮选择最难处理最不需要帮助的个案。 这是结构性的,并不与体积相适应。它需要反衡:对废弃的会话进行取样,跟踪第一次交互的churn,将某一段的日志缺失作为发现。 长尾矿和边缘矿 即是反量级。
自动分类作为地面真相处理
140到32个漏斗是警告。 如果NVIDIA对所有140个标注的病例进行微调,那么大约四分之三的训练信号会出错,而且模型会学会纠正已经正确的路径决定。自动评估会缩小搜索空间,不会做出判断。
未经核实自行产出培训
捕捉模型响应的飞轮,在结果上用模型和列车来判断它们,是一个循环,没有外部锚。同样也适用于自动标记高自信输出并附加到SFT集的诱人快捷键。 模型崩溃文献显然表明,关于生成数据的循环培训会降解模型,其中罕见的案例首先消失,缓解是核实和积累真实的、人为的而不是替换的数据。 是否安全训练 AI-生成的数据人类评论不是这个循环中的一种品质的好;而是锚阻止它自己吃东西。
隐私和居留权作为事后考虑
管道在一年中发现其日志是个人数据,必须删除或修改同意。 断层和居住权属于捕获阶段。
飞轮不能做什么?
飞轮会放大产品已经拥有的,也不能拖住它没有的。 市场中没有任何用户意味着没有来自市场的日志,也没有改善,而且采用率持续较低,因此进入新语言、领域或区段需要委托收集,而不是收取。
如果一个产品在印尼没有用户,那么其日志中就没有印度尼西亚人的互动。 飞轮无法改善印尼人的性能,因为没有东西可以喂食,而且由于该模型在印尼人的性能不佳,所以采用率低,日志也保持空。循环循环倒流:覆盖度低导致使用率低,因此没有数据。 这一点也适用于用户离开的、尚未进入的、以及极少出现的任何边缘案例。 这需要委托收集:由目标市场招募的讲土著语者故意生成的数据,而不是从不存在的交通中获取的数据。
这里 Lifewood自己的作品坐了下来,所以利益被宣布. Lifewood 收集并注释跨区域的数据 100+ 语言通过 管理多语种数据收集,而反复出现的模式是客户端,其飞轮成熟,使用两种或三种语言,且在他们想成长的市场上表现平坦。飞轮正在按照设计运行,无法从尚未进入的用户那里生产日志。 2.1 亿元的纪念品 42 语文在a 97.3% 质量接受率,加 18 首次将低资源语言纳入培训组合,随后是 40% 下游毒性基准的减少。
实用框架: 用于您所使用语言的飞轮, 用于您所想要语言的委托收藏。 一旦市场达到足够的使用, 飞轮将接管, 收集成本将停止。 规模化地进行这项工作的提供者将在 高级多语言AI数据收集公司.
人类的专门知识在哪里合适,685个例子为什么足够?
NVIDIA685点数据集的价值完全集中在校验上:自动通行证找到的候选人和主题专家决定了哪些是真实的,哪些是正确的行为。 一个小的、正确的、目标明确的数据集比一个大而吵闹的数据集要好,成本在于使其正确而不是使其大。
自动飞轮不会消除人类的注释器;它会提高它们的条形。自动系统过滤量;人类解决模棱两可的情况,评估推理并定义正确之处。 有三个角色是负载的:
- 能够判断标记失败是否真正失败的课题专家,这需要域知识,而不是注释培训。
- 定义正确行为的审查者,不只是识别错误行为。知道路线错误是一半的标签;知道应该去哪里是另一半,更难。
- 抽样策略的主人,因为被审查的事物决定了什么得到固定,自动标注继承了法官模型的任何偏见。
这些数据在判断上越来越接近,而注释者简介从受过培训的转向合格的,推理痕迹和偏好数据也得出同样的结论,以及原因。 企业 LLM 培训数据 方案的工作人员配备不同于批量标签,有三种情况使要求变得具体。
语言和方言精度
当一名助手从非英语市场接收日志时,通用人群注释员经常错过区域idioms和低资源方言,因此本地化的故障会被错贴标签,飞轮会学习错误的校正. 从原木原产地语言社区招聘讲母语的社区内书记员,使所编集的文化效果保持了一定的正确性。
步骤级推理失败
当日志揭示了代码生成,医学分析或数学逻辑中多步骤推理失败时,标记最终答案错误是不够的. 飞轮必须捕捉过程级数据:专家将逻辑破裂时的精确中间步骤隔离,并标注. Lightman et al. 这表明,这种过程监督比只注重结果的监督要好,而OmegaPRM的研究表明,对第一个错误步骤的二进制搜索会削减注释成本,同时仍为过程奖励模型提供强烈的信号。 构建推理跟踪数据.
多式联运日志
飞轮不仅限于文字. 在自主驾驶和计算机视觉中,边缘情况日志包括传感器校准漂移,相机闭塞和异常交通环境;校准它们是指3D的边框,LiDAR点-云分和由专门的注解者对传感器的聚变配对,在发布前有第二个独立审查通行证与金调校准套对.
你怎么知道飞轮在起作用?
工作飞轮显示,每个周期后已知错误等级稳步下降,专家对校准套件的标识高度一致,而且比未确定的数据更能提供基准收益。 周期是三者之上的操作度量。
- 低效率:在微调周期后,反复出现的长尾故障模式的下降率。 健康的飞轮会退缩错误等级;不健康者会不断找到同样的错误等级。
- 校准集的注释员协议: 处理三进制日志的专家评审员之间的一致性。 在将数据集放入培训之前, 运行校准批量和测量协议, 因此该模型没有接受相互冲突的指导方针的培训。 Lifewood管理方案使用 95%+ 对照客户核准的黄金组合衡量的公证员协议门槛值。
- 数据效率:每单位的编译数据实现性能收益,以NVIDIA案例作为小的,故障校验的集应实现的目标的基准.
- 从日志到重新部署的周期时间,是主操作的度量衡,因为其他每个数字只有在循环比分布移动快关闭时才重要.
如何不造满堆堆就开始?
从一个改进领域开始,一个重点评价,100至200个标注实例和强制性人类确认步骤,并衡量从第一次重复开始的周期时间。
- 选择一个高值改进区:安全性,准确性或反应风格。不是全部三个。
- 首先写摄入规格:元数据计划、PII 刷新规则、居住和同意框架。在捕获时而不是在以后排序。
- 建立针对这一具体关切的在线评价,而不是一般质量监测,在用户编辑、信心阈值和超时的基础上建立分门别类过滤器。
- 在注释前将根源分类,因此工程努力到建模问题,注释努力到数据问题.
- 收集100至200个标注的例子,建议起始量;NVIDIA案例表明,有用结果的上限低于大多数团队的假设。
- 在自动标记和数据集包含之间设置一个人确认步骤。 140比32是论证。
- 运行一个校准批次,在将任何数据集放入培训之前,测量各注释者之间的协议.
- 用于缺失的,而不只是故障的:废弃的会话,未解答的询问,段段产生无流量.
- 衡量从日志到重新部署的周期时间,作为主要的业务衡量标准。
如果审查步骤需要域专家、讲本地语者或专门说明人员,小组没有,通常的答案是,有管理的执行伙伴,具有区域语言覆盖面和可执行的准确性;未经审查的人群重新提出飞轮存在的噪音,以便消除。