简短回答： 专家注释员通过四门管道:筛选可核查的工作历史和付费样本,有反馈和无限重取的已知答案资格测试,在达成协议之前对团队进行校准,直至清清一个已申明的门槛,然后通过隐藏的黄金物品和重复的任务进行永久监测. 自然机器智能研究 14,040幅图像发现专业的注目者 总是比人群工作者好
核心要点
- 专业的注释员的业绩始终高于群众工作者——在各地设立。 14,040 图像为 156 专业人员和 708 人群工作者, 和再次跨越 57,648 隔开口罩 924 注释者。
- 已公布的协议中筛选严格: 98% 接受率 1,000–5,000+ 完成的任务甚至还没有进行资格测试。
- 资格测试应当使用已知的答案,给出详细的反馈,并允许无限的重取——组合使得舞台训练,而不仅仅是过滤.
- 校准是指在协议清除Fleiss's $0.80等声明栏之前,联合审查,独立试点说明和共识讨论.
- 说明中的例子大大改进了质量;较长的文字说明根本无法改进。
如何征聘专家的注释员?
以已显示的能力,而不是简历——而且越来越多地通过雇用的团队而不是开放的市场。
提供商模型本身现在是一个证据支持的选择。 研究将注释公司与众包平台进行比较——基于 57,648 实例分割口罩,来自 924 注释员和 34 QA 5个供应商的工人发现,注释公司在产生高质量产出方面比MTurk公司效率更高,将部分差异归因于直接在共享工作空间中雇用注释公司的公司。 市场上的顶级供应商 大部分是遵循就业团队模式,而不是开放人群市场。
在使用市场的地方,在任何人接触真实数据之前,用硬的已公布的协议屏幕筛选。QuALITY数据集将其资格任务限制在工人中,而且其资格要求超过 1,000 接受的任务和至少a 98% 接受率,支付美元5 资格任务加1美元5 图像研究更进一步,需要 98% 接收率超过 5,000 完成的任务和将征聘工作分散到各个地点 40 日数,以获取有代表性的样本。
聘用的特性很容易被错过:遵守准则而不作解释——经过一段细细的叙述,而不是逐渐以个人判断取代书面规则。 书面沟通也比表面上更重要,因为对于分布的团队来说,书面明确阐明标签问题的能力是一种操作技能。 以上任何一项都无法取代任务需要的领域专门知识:在适用四个大门之前,而不是之后,医学成像任务或法律文件审查需要具备基本主题知识的候选人库。
资格测试是什么样子的?
已知的答案,丰富的反馈,以及无限的重取——因为测试是训练,而不仅仅是过滤.
A 资格测试 这是一种有名的答案评估,它与专家的地面真相相对应,即候选人在进行现场数据工作之前必须经过。 犬类设计要求候选人在专家已经确定正确答案的项目上工作,然后详细报告他们的表现。 关键是,在点击-超视线协议中,失败的注释者可能会按自己的意愿重复多次测试直到通过,通过者被标为合格,永远不再重考. 作者们明确表示,将丰富的反馈与无限重复相结合,是使得舞台成为有效的培训机制而不是过滤器——资格测试奏效,因为有些注释者对指示不怎么注意。
门槛应该由经验而不是直觉来设定。 在一条图像检索管道中,50位付费的注释员首先完成了五点指导调查,说明了标准以及判断质量的方式,然后得到了精确的反馈、回忆、F1和对被整理的地面真相的虚假阳性/假阴性计数。 注释员按F1 ≥ 0.5或FP/FN ≤ 6计算合格,其阈值来自校准研究,将高度可靠的注释员与故意吵闹的注释员进行比较——这种设计在顾及自然人类变异的同时过滤粗心大意的工作.
测试设计与门槛一样重要。 QuALITY的资格通过包括十个问题,其中两个是故意含糊不清的,具体地说,是为了检验工人是否能够识别质量低下的物品——这是对判断的检查而不是勤勉。
| 门 | 机制 | 文献中使用的门槛 | 抓到的是什么? 被抓到的是什么? 被抓到的是什么? |
|---|---|---|---|
| 筛选 | 平台历史加有偿工作样本 | 98%的接受率; >1,000任务(Quality)或 >5,000任务(成像研究) | 垃圾和低功率申请者 |
| 资格 | 已知的回答测试,包括详细的反馈和无限的重取 | 例如,F1 0.5或FP/FN 6, 由经验校准确定 | 错误读取指令; 粗心的提交 |
| 校准 | 试点批次、联合审查、关于边缘案例的共识讨论 | 排到Fleiss的0.80 ob = 校准集 | 对同一规则的不同解释 |
| 蜜壶 | 将经核实的地面真相隐藏在现场工作 | ~10%的查询嵌入为隐藏测试例 | 个别的注释员漂移 |
| 注意检查 | 重复的衡量判决内部一致性的项目 | 5%重复;如果重复的% 2 与20%的重复相差,则不包括在内。 | 严重和不协调 |
| 正在进行 QA | 抽查和持续跟踪协议 | 5–10% 抽查率; IAA 下级 0.8 触发审查 | 系统过程和准则失败 |
协议的放弃 0.8 需要澄清指示的信号准则模糊不清——不更明确 QA 阶段。
校准弹如何进行?
每个人都把同一个试验套装贴上标签,讨论分歧以达成共识,只有在协议清除了一个已申明的栏杆后,生产才开始。
校准 是在正式说明开始前,将每个注释员对同一试验的判断转化为有分寸的协议。 一份已公布的干净实例分三个步骤:联合审查,以统一标准,明确解决边缘案件——包括定义问题,如近误是否构成侵权行为;试点说明,所有专家都独立标注同一套小件;以及协商一致讨论,直到 标注员间一致性,最常报告为 弗莱斯的卡帕,在校准集中达到 0.80。只有这样,正式的注释才开始。
更轻的版本可以执行更简单的任务:五个练习项目,有参考分数,在主要任务开始前,只用对齐注释器。校准会话本身也需要注意。 在一项社会影响研究中,第一轮之后的校准会议故意不使用任何实例文本,这样澄清技术误解不会污染具体判断——这是值得复制的微妙之处。
同一研究提供了最有力的证据,证明注释是培训。 每个注释者分三个阶段标注了大约205个文本:30个文本预集、174个文本主集、然后从头到尾的30个文本与邮局集相同、在较短的时间内衡量能力是否为高质量的工作或同等质量。 将上岗期设计为可测量的学习曲线,而不是形式化,是将新聘人员变成校准专家的原因.
船一旦被认证,你如何检测漂移?
有三个独立的仪器,每个注释员随时间而跟踪——因为每个都对其他人所捕获的东西视而不见。
黄金项目 (也叫蜜壶)是一种隐藏的任务,有预先验证的正确答案,隐性地混入活体工作,这样就可以在他们不知道哪个项目被打中的情况下检查一个注释者的准确性. 成熟方案中的质量如何结合在一起:逐个说明人衡量标准随时间推移而跟踪(与共识达成协议、与黄金项目达成协议、速度准确性权衡);保持、定期更新 金色标准集; 随机审查任务; 直接 QA-方案失败时:在不扩大质量基础设施的情况下扩大劳动力规模,过度依赖自动化而无人工验证,多数人对主观任务投票,以及支付每任务而不是每小时的费用。
RLHF偏好说明中噪声通常在真实数据集中超过20%,从而降低校正性能。 这个数字是有用的提醒,认证不是一次性事件:在上季度任务集上可靠的注释员仍然可以漂移在一个新的任务集上,这就是为什么上面的仪器会持续运行而不是仅仅在上任时运行。
两个设计点还得注意。 首先,监测每项任务的注释速度和质量:不寻常的速度标志既包括急忙工作,也包括需要审查的意外复杂项目。 第二,如果一个模型提供预标,则建立明确的反衡——定期校准回合、随机审查任务和关于严格评价建议的直接培训——因为审查人员倾向于接受 AI-生成的预标签 并且没有经过充分的审查。
但最有影响力的投资是上游投资。 自然机器情报研究发现,将示范图像纳入其中极大地促进了注释性能,而仅仅扩展文本描述却丝毫没有改进,其收益集中在模范也挣扎的模范案件中。 执业指导同意,对 编写更清晰的准则 有了视觉实例,决策树和边缘案例比添加更能带来更大的改进 QA 训练得更好,而不是检查得更多
对于多语种节目,每个门都是按语言设置的,黄金项目、校准装置和漂移阈值不会跨地方转移,因为模棱两可的情况不同——这就是为什么认证的讲当地语言的人群、每语言的金标准以及标准。 特定区域校准 怎么样 Lifewood 运行专家注释 100+ 语言和方言 40+ 跨省服务中心 30+ 国家。 Lifewood的,因为 培训方案 应用同样的层型, 同样的学科支撑它的 验证工作 说明一经送达。