简短回答： 结果监督只告诉一个模型它的最后答案是错误的,但并不是哪个步骤断了,所以长久的推理痕迹收集了在一个负面信号下的许多正确步骤。 过程奖励模型通过给中间步骤而不是最终答案打分来解决这个问题,用更高的标签成本来换取一个更强大的训练信号。 Lightman等人。 (2023)显示有效的PRM训练只需要识别第一个错误的步骤;OmegaPRM然后通过二进制搜索而不是每个步骤标记来发现这个步骤.
核心要点
- 结果监督显示,一个模型的答案是错误的,但并没有打破哪个步骤;过程奖励模型为弥补这一差距而分了中间步骤。
- Lightman等人(2023年)显示有效的PRM培训只需要确定推理链中的第一个错误步骤,因为早期的步骤通过构建是正确的.
- OmegaPRM应用二进制搜索来定位第一个错误,与每个步骤的标签相比,减少了需要的评价数量.
- 说明理由需要域专家审查员,他们要从最后答案中孤立地判断每一步骤,而不是一般用途的注释员。
- 与实事求是的知识相比,在语言之间实现技能转移的理由是:加强中国推理数据的学习,也提高了德语、西班牙语和孟加拉语评价的绩效。
成果监督为何在长的推理痕迹上失败?
结果监督只告诉一个模型它的最后答案是对还是错,所以一个达到错误答案的十二步推理链会得到一个在每一个步骤,包括正确的步骤间分布的负信号.
仅注重结果的监督几乎没有提供信息,说明在最后答复错误时,哪些中间步骤是有益的。 在强化学习设置中,核查者只检查最终答案,长推理痕迹产生许多获得相同结果奖的样本,这削弱了学习信号,以至于模型无法从声音推理中分辨出幸运猜想.
固定的办法是给步骤贴上标签。这听起来很明显,而且操作上也困难重重,因为它需要一种注释,因为大多数数据程序并不是用来制作的,更接近于用于开发或开发的域-专家审查。 企业 LLM 培训数据 而不是例行的标签。
结果与过程奖励模式有何区别?
结果奖励模式只评价最后答案,而过程奖励模式则评估每个中间步骤的正确性,将更高的标签成本交易给一个更强大的培训信号.
结果奖励模型(ORMs)是奖励模型,只得推理链的最终答案,为整个链条提供一点信号. 贴标签很便宜,因为你只需要知道结果是否正确。
过程奖励模型(PRMs)是奖励模型,它分分每个中间推理步骤的正确性,而不仅仅是最后的答案. 这些数据通过评估推理过程本身的质量来用于重新排位、搜索和测试时间的缩放。 步骤级注释比结果级注释要贵得多,但为推理质量产生更强大的监督信号。
还有一个更微妙的好处。 仅接受结果培训的模型能够通过无法坚持的推理来学习找到正确的答案,因为训练信号中没有任何东西惩罚了不良的道路。 过程监督使得可见的推理值得信赖,而不是装饰,这就是它日益与人并肩的原因。 RLHF, SFT 培训后数据 企业团队买。
如何使奖励模式培训负担得起?
培训有效的过程奖励模式并不要求在每个跟踪中标注每个步骤;它只需要找到错误的第一步,因为在该步骤之前的一切都是通过构建而正确的.
Lightman等人(2023年)确定,第一误识别是认定,在链条中仅标注错误的第一步,即充分监督有效的PRM培训。 一旦发现第一个错误,前述所有步骤都会被附加注释为正确,后继所有步骤都会被附加注释为不正确.
将详尽无遗的标签任务转化为搜索问题,搜索可以优化. OmegaPRM(Luo等人,2024年)使用二进制搜索来定位第一个错误步骤,减少所需的评价数量,并且如作者所描述的那样,在不给每个步骤贴标签的情况下效仿人类注释过程. 对于十二步追踪,二进制搜索大约是指四项判断而不是十二个判断——规模上,一个可行的方案与一个负担不起的方案之间的区别.
谁应该说明推理的痕迹?
说明跟踪的理由需要具备真正领域专门知识的审查人员,他们可以核实每个步骤的逻辑,而不是接受过标准标签任务培训的一般说明人员。
注释推理痕迹需要一个与标准标记任务根本不同的注释者配置。数学痕迹需要能够发现第七步对错误数量应用有效操作的人。代码痕迹需要能够看到逻辑是健全的,但循环边界是被一个关闭的。 法律或医学推理追踪需要在这方面具有资格的人——这种审查是如何描述的。 征聘、培训和认证专业领域的公证员.
这是一种专家审查,应该配备人员和相应定价。 被招募和接受过约束盒或情绪标签培训的团队无法做到这一点,而将他们放在任务上则会产生一个看上去很完整的数据集,并且教模型没有任何用处。
实践中使用的标签集区分了四个状态,而不是二进制: 正确和必要的步骤,推进推理; 正确但冗余的步骤,因为冗余在生成推理中是一个真正的质量问题; 不正确的步骤; 需要额外信息验证的不完整步骤.
每个步骤都得到一个独立标签,由一位合格的审查者与最终答案隔离地评价该步骤。 一个知道最终答案正确与否的审查者会无意识地使一个有缺陷的中间步骤合理化,而一个知道错误的审查者会寻找不存在的错误。 在步骤审查中隐藏结果是保持标签诚实的.
为什么追踪质量比体积更重要?
一大组逻辑缺陷推理追踪 训练出一个模型来复制这些缺陷 因为模型正在学习模仿 向它展示的推理 而不仅仅是找到正确的答案
两个质量维度很重要,它们拉向不同方向。每个步骤的准确性和逻辑一致性是关键的底线。 推理途径的多样性对于概括性很重要:关于狭义推理模式的培训产生了一种模式,它对于需要不同方法的问题很简洁,因此,千种痕迹,所有同样解决问题的方法都比500种解决它们的方法要差。
紧张的因素是,获得高质量痕迹的最简单方法是用固定的即时模板从一个强健模型中产生这些痕迹,而这个模型恰恰产生了限制泛化的狭隘、同质推理。 多样性必须经过精心设计,而不是期望。 多样性是无法被理解的。
注释员间协议,是指独立合格审查员为推理步骤指定相同正确性标签的计量率. 在充分说明开始前,根据校准标准衡量步法正确性,这是方案正在发挥作用的信号——这与本节所述学科相同。 黄金套、审计抽样和共识 费用 QA 如果两名合格的专家对第七步是否正确有分歧,该步骤是否真正模糊不清,或作为第一步的准则不明确,两者都需要在比额表之前解决。
推理追踪标签能否自动化?
部分可以。 几种自动化方法在不经过充分的人文审查的情况下估计阶梯级正确性,但每种方法都有实际的局限性,并且与校准和硬性案例的专家审查相结合效果最好。
依靠人类来给数据贴标签是衡量流程层面数据集的一个重要瓶颈;记述精细的阶梯奖励通常需要人类专家或高性能模型,这无论怎样都是劳动密集型的,成本高昂的。 存在几种自动化方法。 基于推出的估算(MathShepherd)从部分推理链中生成完成,并测量达到正确解决方案的百分比,以该步骤的价值为标准——有效,但计算沉重。 二进制搜索(OmegaPRM)将推出评价与二进制搜索相结合,以削减成本。 信息理论标签使用Monte Carlo Net Information Gai通过信息收益获得步骤标签. CPMI等矛盾方法将每一步正确答案与错误答案之间的预测概率变化量化,归集为CPMI-80k数据集. PrecessThinker在ICLR 2026上发布,通过将痕迹重写成一个带有步号的格式进行冷启动微调,然后应用以推出过程奖励为基础的强化学习,完全避免了单独的奖励模式.
警告不断被报告. 依靠蒙特卡洛推出或搜索的自动化方法会吵闹,对如何定义"步骤"敏感——一个设计决定,而不是数据属性. 步骤的 en研究也显示并非所有步骤都同样有助于预测功率,因此统一标签工作效率低下. 实用的结构是覆盖和量的自动化、对校准套件的人力专家审查、模棱两可的案例、以及错误步骤产生实际后果的领域——同样的判断引起争议。 如何可靠一个 LLM 做法官时 更广义地说,是自动评价。
推理是否追踪跨语言的数据传输?
与大多数培训数据相比,更可靠。 以一种语言强化推理数据的学习已经证明可以改善几种不相关语言的性能,尽管与本地环境挂钩的域内推理仍需要每个市场。
大部分推理追踪工作都是在英语和数学领域完成的,原因可以理解:可核实的答案,丰富的源材料,现有的专业知识. 关于跨语言通用的研究发现,加强学习中国推理数据不仅提高了中文的绩效,而且大大改善了德语、西班牙语和孟加拉语的评价,远远超出了监督对同样数据进行的微调。 与实际记忆不同的是,在语文之间,合理技能的转让似乎非常好。
这改变了投资案例:与大多数情况相反,以一种语言进行流程监督比知识数据在其他地方购买更多。 多种语文数据收集 工作,即一种语言的事实知识不会转移到另一种语言。 但是它并不买通一切 — — 临床推理追踪引用一个国家的药物名称,或者财务推理引用一个国家的税收待遇,仍然需要每个市场建设,无论基本的推理技能转移情况如何良好。
怎么样 Lifewood 方法推理追踪注释?
Lifewood提供推理追踪和过程奖励注释,作为其AI数据服务的一部分,使用全语言覆盖的人类在即域专家审查.
宣布兴趣:这项工作与下列工作并列: RLHF 和优惠数据,包括审查 50+语言值得指出的是,从这一角度得出的两点意见与谁在做这项工作无关。
第一个是人员配置观察。 跟踪注释会打破标准注解操作模式: 无法招聘普通注解, 无法按准则和规模培训它们。 它需要域内合格审查员, 这意味着不同的招聘渠道, 不同的薪酬带, 每一个域内可用的注解库较小, 以及更长的坡道 。 预算用于推理的方案以普通注解率衡量,这几周来就发现了这一点,通常的结果是质量崩溃或重新谈判。
第二个是校准。 重要的衡量是, 仪表之间就步态正确性达成协议, 设定在缩放前的校准设定上 。 在实践中,关于推理任务的第一回合的校准往往产生低于团队预期的一致,原因几乎总是分化:两位专家对第七步是否正确有分歧,经常对第七步开始的地点有分歧. 修正步骤定义解决了分歧,而不是重新培训注解者——域更难,审查者更贵,但学科是后面的一条 企业 LLM 培训数据 总体来说。
确定推理追踪程序时该做什么?
首先,界定什么是重要的一步,然后用实例来写下来,因为单一的决定推动了标签的一致性、自动标签的可靠性和结果的可比性。
从这里:使用第一反应识别而不是详尽无遗的标签,因为Lightman和同事确认,这足以进行有效的PRM培训和二进制搜索,因此,这样做是有效的。 招聘域专家,而不是一般的注释员,以及为更长的坡道编列预算,即《规则》规定的审查类型。 撰写注释准则,供注释者实际遵循 判断与最终答案隔离,因为这是保持标签诚实的控制。在缩放前,先运行一套校准并测量阶梯级协议,然后将低级协议视为分块问题,再处理培训问题。 工程师路径的多样性是有意的,因为从一个模型中产生一个模板的痕迹会产生一个单一的推理和一个简单的结果。 使用自动化来覆盖和人类来应对困难的情况,而不是在两者之间做出选择。 并且不要假设结果正确意味着过程正确性——通过错误推理而达到正确答案的痕迹是带有正标签的负面训练实例,它是数据集中最具破坏性的记录类型。 数据说明公司对 LLM 培训和遗传学 AI.