简短回答： 优先数据只好于制作者之间的协议,低协议几乎总是一个重大问题,而不是一个评分问题. 一个产生协议的标语指定了四个事物 一个"更好的?"的问题不能: 被判断的维度, 锁定描述每个分数级的外观, 当维度不一致时的优先规则, 以及明确的平局政策. 增加对照裁定的黄金比较的校准回合,获取理由,并衡量每个维度而不是总体的机会校正协议。 在第一批试制批中诊断出全部——在量产前尚未经过协议测试的标点是按量产时会产生噪声的标点,在文件收录后,噪声与信号是无法区分的.
核心要点
- 优惠率者之间协议低几乎总是由模糊的标语造成,而不是由评分者自己造成.
- 一个工作标题规定了四件事:判断的维度,每个分数级的主锚,冲突优先规则,以及一个平分政策.
- 在量产前,用经过裁决的黄金套装进行校准,表明一个标点模棱两可。
- 机会修正协议应当按维度而不是一个总分进行衡量,使用科恩的卡帕等命名的比额.
- 从另一种语言翻译出的偏好题材,将语言对礼貌和直接性的假设带入它所应用的每一个市场。
为什么评分者对模型输出有分歧?
评分者之间的分歧有可识别的原因,大多数原因可以修复,而不是任务固有的. 偏好标点是书面工具,它告诉测量器在比较两个模型输出时适用哪个维度,锚值和优先规则,而留下任何一种不书面的符号,则完全产生那种从外部看似不可靠的测量器的分歧。
从人类反馈中学习强化,将人类判断转化为培训信号。 管道有详细的文献记录,在演示中监督微调,然后在模型产出中进行人类比较,然后从模型产出中得出奖励信号或偏好学习目标,如欧阳等人关于指导跟踪模型的工作所阐明的。 文献记录少得多的是决定所得出的数据是否值钱的部分:人类得到的工具。 LLM 数据产品购买,以及按何种顺序购买,是本节涵盖的一个单独问题。 比较 RLHF, SFT 和蒸馏.
语言生成是无限的,因此两个响应既可以因不同的原因被接受,一个响应在一个维度上可以更强,另一个维度上则更弱,但"任务是主观的"是一个描述,而不是诊断.
| 原因 | 看起来像什么 | 修补 |
|---|---|---|
| 真正等值 | 鼠标平分,理由都认为两样都很好 | 许可和界定联系 |
| 方方面面冲突 | A更准确,B更有用;测算器重量不同 | 每个维数的得分; 状态优先 |
| 缺少上下文 | 鼠标可以想象不同的用户或情况 | 提供项目上下文,而不是标题 |
| 专门知识差距 | Rater 无法验证正在提出的域请求 | 通往专家级的路线 |
| 鲁布利奇模糊不清 | 理由说明 引用不同的标准 相同的选择 | 重写主锚的字段 |
| 摆动鼠标 | 协议在数周内达成,没有重大改变 | 重新校准; 检查疲劳和组群变化 |
任务中只有第一种是固有,其他5种是可处理的,在生产开始前有4种是可处理的. 一个偏好方案能够捕捉的最有用的东西是原理,而不是偏好:原理是用符号模糊来分辨维度冲突,而它们则是下一个符号版本的写法材料.
偏好标题必须具体指明什么?
一个工作标题规定了维度、锚、优先规则、平准政策、明确处理拒绝和套期保值以及衡量者需要的背景——每个都写下来,而不是留给个人判断。
维度,不是判决 问一下,哪些反应更适合准确性,哪些是以下指示,哪些是帮助,哪些是安全,哪些是语气,哪些是完整性,而两者是分开的。 总体偏好会打破权衡:一种反应更准确,更不愉快,因为没有人记录,模型会学习总体。
Dimension conflict rate = Comparisons where dimensions disagree ÷ Total comparisons
在飞行员上计算。 冲突率高意味着总的偏好标签对任务毫无意义, 程序应该收集每个偏差的分数。 低的表示汇总是安全且便宜的。
每关都扣锁. “Rate helpness 1–5”产生了一个评分器的私人比例。一个主播描述了一个2的外观和4的外观,并举出每个实例。 锁定是一个标点符号和一个问卷的区别,写作是标点设计的大部分工作都用在了哪里。
优先规则。 当维度不一致时,哪一个获胜?准确度高于语气是常见的默认;安全度高于一切,是常见的绝对. 无论答案是什么,它都必须在文件中,因为否则每个评分者都会发明一个——并且他们的私人规则将在每个评分者内部一致,并且它们之间也有所不同,这正是产生低程度协议的规律,而且个人可靠性很高.
一项平局政策 用于定义两个响应何时被认为是等效的,让评估者记录这些,而不是强迫选择。在两个等效响应之间强制选择,会制造不存在的信号,并注入培训。 允许挂钩,确定什么是 " 一体 " ,并期望其中有意义的比例能够用一套精心构建的比较来进行。
明确处理拒绝,套期和期限. 这三种说法最常是沉默和高分率者最可靠的差异之处。正确的拒绝是否应该比对边界线请求的有益答案好? 被套期的答案是否比自信的错误更好?长度是否算得上是彻底还是粘着? 未经说明,这些也成为模型的行为——无论评估者碰巧如何倾向,都由它决定.
标价所需的上下文, 由项目提供。 答案是“直接性、形式性、适当细节”这些判断也具有文化背景,对于那些能够提供整个评级的节目来说,这些判断非常重要。 多语言.
你怎么去测算?
校准回合是对当前数字对判定的金集合的盲目测试,在计算结果被视作生产数据之前,先查清其位置。它不是训练;而是使用校准器作为工具,以查找数字模糊之处。
- 构建一个判定的金币集 。 高级审查员通过书面推理解决了20至50个比较,包括最难和最模棱两可的比较。这是标点校准的参考。
- 运行盲圆. 每个评分员独立地根据当前标语版本判断黄金集,并附有原理.
- 计算每个维度的协议机会纠正, 和金的答案 分开 彼此。
Cohen's kappa = (Observed agreement − Expected agreement) ÷ (1 − Expected agreement)
- 将不同的道理一并解读. 这就是回合的实际工作。当评分者为同一选择引用不同的标准时,标题是模糊的。当他们引用相同的标准并得出不同的答案时,主播就是。
- 修改标题, 版本, 并重复 以至协议稳定了其中的尺寸。两轮或三轮是正常的; 需要的比通常更多的是尺寸集是错的而不是措辞。
- 调整下节奏,而且总是在出现重大改变、群体改变或观察到协议下降之后。 注释者协议统计 只有在对照一个定名的比额表而不是私人比额表阅读时才有意义。
将 kappa 对照一个命名的比额而不是私人比额进行解释。 Landis 和 Koch 频段( 缩写为 :生物计量, 1977) — 0.61–0.80 实务,以上 0.80 几乎完美无缺的方面是共同的参照标准,作者们提出来将其作为任意的基准而不是统计阈值。 客观的维度,如遵循的指示,应该达到更高的范围;真正的主观维度,如语气很少愿意,主观维度上可疑的高数字通常表明,坚持建议的答复而不是出色的工作。 自动法官可以信任多少 站在人类的衡量标准上
如何在生产过程中将分歧分成三部分?
量产过程中的分歧需要一条路由规则,而不是讨论:按顺序检查项目是否不好,标题是否沉默,或者一个评分器是否与组别不同.
- 东西坏了吗? 两个几乎相同的答复,或者一个模棱两可的提示,会产生分歧,对评分器或标点没有说明。删除项目,检查它是如何进入集的。
- 面额是否沉默? 如果理由引用了标题没有提到的考虑,这就是一项有待写成的裁决——一旦写成,就将回溯到已经收集的受影响物品。 撰写注释准则,供注释者实际遵循.
- 评分有差异吗? 单一的评级人与组别一贯不一致,通常是一种可以纠正的误解,而不是一个业绩问题。 只有按评级人和维度跟踪协议,才能看出这一点。
随时间推移,整个组别呈下降趋势,通常意味着疲劳或漂移;步骤变化通常意味着没有标注的标点或项目源变化。 金色套装 保持这个趋势的诚实,而不是自我报告。
偏好是文化上的——对直接性、礼貌性、套期保值和适当细节的期望因市场而异。 对一种语言的偏好应由市场内本地语言者来制定,而不是从英语集翻译,英语集培训一种模式,以英语方式在每种语言中都具有礼貌。 这不是一件好事:当使用翻译的字面语时,它在某些市场上显示出一贯很低的约定,而低的约定是由字面语而不是由评分者造成的.
为什么培训和评价偏好必须分开?
同样的判断基础设施支持两者,但数据集本身不得重叠,因为对与其所培训内容有关的数据进行评估的模型看起来会比它更好。
培训偏好决定了行为;评价偏好估计行为是否有所改善,因为有阻力,包括困难和对抗性。 接下来有三个要求:独立建立评价套,而不是通过分割培训套件,对照培训套件筛选污染,并定期更新,以限制过度调整。 对于多语种方案,按语文建立评价套件,而不是翻译,这是一套被翻译的评价,衡量翻译的程度与模型一样多。
成熟的工作流程会用错误分类法关闭循环:评价失败被分类,而失败最多的类别会决定下一轮的首选收集目标。如果没有这样的分类法,首选数据的累积不会成为更有针对性的数据,那么,关于基础数据产品的比较将在指南中涵盖。 水平对垂直LLM培训数据.
怎么样 Lifewood 近似偏好符号设计?
Lifewood 优先和反应评价工作分数第一:每分分数以书面主播计分,明确优先规则和挂钩政策,裁定金的比较,量前的校准回合,以及按尺寸和按标分数跟踪的概率校正协议。
理由被作为标准来捕捉,因为它们是使得标点即兴. 交付模式是使协议数字随着时间的推移具有意义的因素:在自有交付中心管理的工作人员队伍而不是开放式人群,意味着同一合格的评级人停留在足够长的路段上,以便稳定,而高温的外包则因建筑工程而无法实现——和 414,120 培训时间 联 合 国 孟加拉国 2025年的劳动力队伍是方案规模中维持这种一致性的一部分。 100+ 语言 和 40+ 跨省服务中心 30+ 国家 使市场评级实用,如果替代方法正在翻译一套英文优先选择,并辅以 56,000+ 范围 RLHF, SFT数据提炼和迅速反应评价,根据文件提供 QA 进程 并通过 AI 数据验证 方案从试点转向 企业 LLM 培训数据 规模。