简短回答： 人类的落脚点( O)HITL数据注释是一个工作流程,在其中,人员和自动化共同负责创建、审查或验证 AI 培训数据。一个模型可以预贴简单的例子标签,对不确定的样本进行排序,或者进行自动检查,而人类的注释者和专家则纠正错误,解决模糊性,处理边缘案例,并提供最终判断。然后,人类的反馈可以用来改进模型或下一轮注释。目标不是用自动化或自动化的每个标签来替换人;而是在每一个增加最大价值的地方使用每个标签。
核心要点
- 人类和模型根据自信,风险,和任务的复杂性来划分标签工作.
- AI 可以在重复性物品上预先贴上标签;人类可以核实,纠正和裁定不确定的案件.
- 积极学习优先处理对模型最有信息性或难度的例子.
- 人类核查有助于防止自信但错误的自动标签。
- 质量保证可以结合黄金任务,重复注释,审查,合并,自动化检查.
人入记录数据是什么意思?
人在即时数据注释意味着人的决定仍然是用于创建或验证标签数据的过程的一部分,而AI或规则则将可以可靠处理的部分自动化. 人的作用可能是主要标签,校正,核实,判决,专家审查,偏好排名,或最后批准.
人行道(HITL) 用于任何工作流程的简写,当一个模型的输出在算作完成之前被路由给一个人,而不是一个完全自动化的管道。 AWS 广义地描述 " 人 " 是指在整个机器学习生命周期利用人的投入来提高模型的准确性和相关性,包括数据注释、监督学习实例、偏好判断、模型审查、定制和评价(AWS SageMaker 地面真相FAQ 地图比较此类工作的提供者的团队往往从排名排行榜(如: 最好的人类在跳 AI 公司提供数据说明.
如何是个 HITL 注释工作流程?
HITL工作流程通过种子标签,模型预标,路由,审查,裁定和反馈来移动每个项目,人类集中在判断最重要的阶段.
| 阶段 | 自动化/示范作用 | 人类作用 |
|---|---|---|
| 1. 种子标签 | 没有模型或弱模型 | 人类标记一个代表开始集 |
| 2. 模式预贴标签 | 模型预测标签或评分信任度 | 人类验证或正确预测 |
| 3. 骑 车 | 系统选择低自信或高价值样本 | 人类注重困难或信息性数据 |
| 4. 审查 | 规则检测办法或一致性问题 | 审查人员检查质量和背景 |
| 5. 裁决 | 系统汇总差异 | 高级审查员或 SME 决定最后答复 |
| 6. 反馈 | 校正的标签成为训练信号 | 人类验证反馈是有意义的 |
| 7. 重复 | 模型改进和自动化更方便的案件 | 人类仍然处于不确定、新颖或高风险的病例之中 |
成熟的 HITL 环路随时间而变化。 在项目开始时, 人类可能会给大多数项目贴上标签。 随着模型变得更加可靠, 容易的例子可以自动贴上标签, 而人类的努力则转向低信心预测、新类、罕见事件和困难的边缘案例。 更紧密的循环正在进入。 人类的注解是怎样运作的.
哪里会 AI-贴标签的合适吗?
AI-帮助注释使用一种模型来减少重复的人类工作,而不会取消人类的问责制。 例子包括:预先填充的边框、建议文本分类、起草文字记录、排位候选人标签,或检查已完成的描述,以检查无法使用的值。
| AI-辅助方法 | 做什麽? | 人类控制 |
|---|---|---|
| 标签前 | 创建首通标签 | 人类确认或编辑 |
| 示范建议 | 可能类别 | 人类选择正确的类 |
| 自动分区/跟踪 | 生成形状或时间轨迹 | 人修的界限和身份交换 |
| 发言记录草稿 | 将音频转换为文本 | 人类的言语、扬声器、标语 |
| LLM-协助分类 | 建议意图、安全、情绪或实体 | 人类验证语义 |
| 自动 QA | 旗子缺失字段、几何、图案或异常 | 审查者解决标有标记的项目 |
什么是积极学习?
积极学习是一种策略,即系统选择哪些没有标记的例子应该发送给人类,因为这些例子可望最能改进模型。 工作流程不是统一地标注每个例子,而是优先考虑低信心、不确定、多样或其他信息化的数据。
积极学习 是一种让模型自己不确定决定下一步被标记的技巧,而不是按照固定顺序给数据集贴标签。 AWS SageMaker地面真相文件描述了一个积极的学习工作流程,其中最初的人类标注样本训练一个模型,模型得分未标注的数据,低信心的例子被送回给人类工人(AWS).AWS 自动数据标签和主动学习然后使用人类标注的例子来更新模型,过程重复。 模式辅助标签和积极学习.
积极学习为何能减少注解努力:
- 人类花在简单,重复的例子上的时间较少.
- 困难的例子受到更多的关注。
- 模型更早地看到一些资料丰富的例子。
- 标签工作可以针对罕见的分类或失败模式.
- 随着模型信心的提高,人的工作量可以减少。
人类核查为什么仍然必要?
一个模型可以自信,而且仍然是错误的,因此人类的核查仍然是对自动评分本身会错过的错误的检查.
当模型遇到不寻常的场景,模棱两可的语言,罕见的类,分布转移,传感器数据薄弱,文化背景,或安全敏感的决定时,人类的验证是重要的. AWS标签核查指南将高质量培训数据描述为迭代:对现有标签进行审查和调整,直至准确反映预期的地面真相(AWS 图像标签验证).
人类核查对以下方面特别有用:
- 低信心模型预测
- 新建类或未识别对象类型
- 少有或安全危急事件
- 隐蔽、模糊、部分可见和模糊的界限
- 语言、讽刺、文化含义或域名
- 模型产出看起来合理,但含有事实或推理错误
- 多个自动检查之间的冲突
边缘案件是如何处理的?
边缘案例应该有一个升级路径,而不是一个简易答案。 边缘案例是指任何与现有标签准则不明显一致的样本,而一个强有力的准则则定义了常见的例子、排除、模糊规则,以及当出现时该做什么。
| 边际阶段 | 谁管 | 典型行动 |
|---|---|---|
| 注释者不确定性 | 主注释器 | 旗子而不是猜测 |
| 审评员的不确定性 | QA 审阅员 | 比较准则和类似情况 |
| 规则漏洞 | 高级 QA / SME | 裁决和文件决定 |
| 一再出现的模糊不清 | 项目牵头人+客户端 | 更新准则和再培训 |
| 模型失败模式 | ML团队+数据操作 | 添加目标数据和反馈循环 |
说明质量保证如何发挥作用?
HITL质量保证结合了人检与可测量控制,而精确的设计取决于任务主观性,误差成本,以及生产成熟度.
| QA 方法 | 如何运作 | 最佳用途 |
|---|---|---|
| 黄金任务 | 工人将有已知答案的例子贴上标签 | 资格和漂移探测 |
| 重复注释 | 多个标签为同一物品的人 | 协议和主观任务 |
| 说明合并 | 将多种工人产出结合起来 | 高度诚信共识标签 |
| 独立审查 | 初等工作 | 高风险或复杂的说明 |
| 裁决 | 高级审查员解决冲突 | 含糊不清或专家级案件 |
| 自动审定 | 规则检测出不可能或不一致的产出 | 形状、几何、完整性 |
| 取样 | 审查具有代表性的子集 | 稳定、成熟的高容量任务 |
AWS将注释合并描述为将多个工人的结果合并为一个更高可信度的标签(AWS 增强数据标签对这些方法的更深入比较正在进行之中。 黄金套、审计抽样和共识,需要文件记录准确度底线的企业小组可以审查 AI 数据验证服务.
反馈如何改进模型?
只有在人类矫正改变接下来发生的事情时,循环才完整,无论是新的培训实例、重新调整的阈值,还是更新的指南。
校正后的标签可以添加到训练集中,用于调制模型,提高信心校准,识别弱类,更新路由阈值,或者修改注释指南:
- 人教养成为新的受监督的培训实例。
- 低自信组揭示了模型需要更多数据的地方.
- 反复出现虚假阳性与虚假阴性指导定向采集.
- 审查者意见不一,说明规则模糊不清。
- 新的边缘案例成为未来注释家的黄金例子.
- 模型置信阈值可以使用经验证的数据重新校正.
哪些数据类型可以使用 HITL 注释?
HITL 适用于模型培训所使用的每一种模式,从文字和图像到传感器数据和基础模型输出。
| 数据类型 | 人类注释实例 | AI 援助实例 |
|---|---|---|
| 文本 | 实体、意图、安全、排名、推理审查 | LLM 推荐, 分类器预标签 |
| 图像 | 框、多边形、分区、OCR验证 | 检测/分区预标签 |
| 音频 | 传译、演讲、意图、声响 | ASR 记录稿草稿 |
| 视频 | 追踪、时间事件、行动 | 物体跟踪和帧传播 |
| 3D/传感器 | 球体、轨迹、传感器聚变 | 3D 探测器预标签 |
| 基础模型产出 | 优先排序、SFT、红色团队建设、评价 | 模型生成的候选人和自动检查 |
企业计划需要覆盖不同语言的 通常与它配对 企业 LLM 培训数据 寻觅.
人工HITL和全自动标签有什么区别?
三种模式主要在标签决定的多少是由一个人对一个系统做出,正确的选择取决于任务成熟度和错误成本.
| 型号 | 人类作用 | 自动化角色 | 最适合 |
|---|---|---|---|
| 手动注释 | 人类几乎什么都贴上了 | 最小值 | 新任务,小数据集,难以判断 |
| 人类的跳动 | 人类注重核查、不确定性、边缘案例和专家决定 | 标签前, 路径, QA, 积极学习 | 大型或不断发展的生产数据集 |
| 完全自动 | 人类主要监测系统质量 | 模型标签 多数/ 所有项目 | 工作表现良好、风险低、自信高的稳定性任务 |
企业何时应多多少少使用人文审查?
适当的审查尺度,包括数据如何新、稀或高取,而不是仅与数据集的大小。
| 情况 | 建议人类参与 | 原因 |
|---|---|---|
| 新任务/ 新本体学 | 高 高 高 高 高 | 规则和模式行为不稳定 |
| 安全关键数据 | 高 高 高 高 高 | 错误成本很高 |
| 稀有类 | 高 高 高 高 高 | 模型信心可能校准不严 |
| 复杂的重复任务 | 中度 | 自动化可以处理稳定的模式 |
| 非常自信的简单例子 | 低/ 抽样 | 人类的努力可能没有什么价值 |
| 分销转移/新市场 | 增加审查 | 旧的信心假设可能不再存在 |
哪些标准应该由团队追踪?
团队需要质量衡量标准(接受率、缺陷率、协议率)和业务衡量标准(转弯、成本、重修),才能了解是否 HITL 程序已经正常工作。
| 指标 | 何必这么重要 |
|---|---|
| 接受率 | 已宣读说明中根据商定意见接受的 份额 QA 规则 |
| 残疾率 | 注释错误的频率和严重程度 |
| 标注员间一致性 | 以判决为基础的任务的连贯性 |
| 首发收益 | 多少工作可以清出QA,不用重修 |
| 重修率 | 业务摩擦和隐藏费用 |
| 人审查率 | 有多少数据集仍然需要人类干预 |
| 自动标签率 | 系统在所需信任下能贴多少标签 |
| 转弯时间 | 从指派到接受产出的时间 |
| 每接受单位费用 | 质量调整后的商业效率 |
| 模型改进 | 反馈是否改善了下游模型性能 |
协议评分是衡量审查者和任务之间一致解释的较难标准之一。
常见的失败模式是什么?
多数HITL故障来自将自动化视为比它更可靠,或是在数据证明合理之前削减审查。
- 将模型信任视为没有代表性验证的地面真理.
- 将低信心案件发给需要域专家的通论家.
- 让人类猜到当准则没有涵盖边缘情况时.
- 使用一个全局性QA百分比来完成难度非常大的任务.
- 忽略系统性的标签前偏差,因为审查人员会成为建模建议的主攻者。
- 更新模型行为而不更新注释指南.
- 短短业绩好后,审查的减少过于激烈。
- 未能将培训数据、验证数据和基准数据分开。
- 测量原始标签的速度,而不是接受输出和下游模型影响。
企业应如何 HITL 工作流程的设计?
一个可行的企业HITL程序以固定顺序构建:先定义地面真理,然后定义指南,种子数据,路由规则,QA,以及反馈回向到模型中.
- 定义地面真理:指定什么是正确,什么是可观察到的,什么是需要判断的.
- 写成版本的准则:包括正面例子、排除、模糊规则和升级。 如何写注解指南 注释者实际上遵循 用于工作模板。
- 创建人标种子集:构建代表性培训与验证样本.
- 训练或连接一个预标签模型:仅在其行为可以测量的地方使用自动化.
- 设定置信度和路由规则:决定哪些物品可以自动贴标签,哪些物品必须贴在人类身上.
- 构建 QA 和裁定:使用审查员、黄金任务、合并或自动检查。
- 跟踪边缘案例:将反复出现的模糊性转化为新的指导和有针对性的数据。
- 反馈验证过的校正:更新模型、阈值和数据选择。
- 定期重新评价:当数据,市场,阶级或模式行为发生变化时,增加人文审查.
企业执行清单
- 命名为注释所有者和 ML 拥有者
- 版本控制的肿瘤学和指南
- 代表验证套案
- 界定的人力审查触发因素
- 已命名的审查者 / SME 升级路径
- 质量仪表板
- 数据行和注释历史
- 改变控制过程
- 安保和出入控制
- 成本/吞吐量/模型影响报告
结论:HITL是培训数据质量的控制系统
人类在“不简单”的注解。AI 这是一种控制反馈系统,自动化处理可重复的工作,人性判断处理不确定性和问责制,经验证的校正改进了数据或模型的下一迭代。对于企业团队来说,实际目标是减少不必要的手工工作,而不会削弱地面真理的定义。 HITL 系统使人类的角色,信心阈值, QA 规则、升级路径和模型反馈明确和可计量。