简短回答： 注释 QA 具有三种不同的工具,它们服务于不同的目的,不能相互替代。黄金组建立了一种已知的正确参照标准,用来测量注释者,在累积之前捕捉漂移。审计抽样以可控的速度审查一小部分产出,以估计总体质量,而不审查所有情况。协商一致的方法通过汇总多个注释者来产生标签,或者增加信心,或者确定专家真正不同意的地方。 QA 设计在不同层使用所有三个,而不是单独使用任何一个.
核心要点
- 批次末端审查允许系统错误复合;注释缺陷在以后的每个阶段需要花费大约十倍的时间来修复.
- 金刚套件隐形地将经核实的正确项目嵌入队列,连续测量每个注释者的准确性。用大约3%的数据的3到5个注释者共识来构建它们。
- 随机抽样审查项目统一进行;分层抽样按风险的不同率;基于信任的抽样集中力量于最有可能错的抽样项目。
- 动态抽样规则提高准确性或通知人之间的协议下降时的审查率,抽样应始终按批次逐批逐批追踪。
- 多数表决、加权表决和专家裁决是三种不同的协商一致方法,选择错误的方法来完成某项任务,会产生更糟糕的标签。
为什么是单身 QA 批次结束时审查最弱的可能设计?
因为当你发现一个系统错误时, 整个批次都有它, 并且修复它的成本是它早期的两倍。
核心问题是复杂。如果一个注释者在一周内误解了准则,那么他们标注的每个项目都会带错。在第四周进行检讨会发现错误,但此时重做意味着重新检讨所有被其触碰的东西。
成本模式遵循与软件缺陷相同的规则:在指南中发现错误需要修改;在试点中捕获它需要一些重新说明;在生产中捕获它意味着重新说明批量;在培训后捕获它意味着再培训。 各阶段之间的比例在每一步骤上大约是十倍。
批次结束审查也把所有项目都视为同样可能包含错误。在实践中,错误集中在特定条件下:模棱两可的情况、不寻常的类别、接近标签边界的边缘情况,以及准则未预见到的内容类型。
另一种办法是 分层质量控制系统 不同工具在不同阶段抓住不同问题:金套连续运行,审计抽样分批结束,以及协商一致处理问题本身就是信号的项目。
黄金是什么东西,你怎么造的?
金集合是一组有经验证的正确标签的项目,种子入注解队列,并用于连续测量注解的准确性,其价值是注解者不知道它们所在的项目.
黄金套 : 一组预先贴标签、经核实的正确项目隐形地混合到注释器的队列中,以便可以在不知道哪些项目正在检查的情况下测量其准确性。
金套有时被称为蜂蜜壶任务或金丝雀项目,特别是在众包语境中. 这三个术语都描述了相同的功能: 已知的对称项目,注释平台与每个注释者的反应自动比较,产生每个注释者的准确率,随着项目运行更新.
建造一个黄金套装正确需要四个决定.
选择。 黄金项目应该覆盖标签的完整分布,包括稀有类别、边缘案例和模糊的例子,说明注释者是否在最重要的边界条件下正确应用了准则。 黄金项目只包含简单、明确、符合明显和忽略重要内容的计量标准。 黄金项目将包含在最关键边界条件中。 从业人员建议对大约3%的数据采用三至五折叠的共识来建立金本位标准,意思是多位专家的注释者对每个项目作出裁决,黄金标签只有在他们达成明确协议时才被记录下来.
覆盖。 代表每个标签类别、 每一个域或主题, 在多语言项目中, 数据集中每个语言类型。 向多数类别加权的金色集将无法检测罕见的错误 。
卷。 这里有一个抽样大小问题。 黄金项目太少, 并且每个注释的准确性估计值有很宽的置信间隔, 这意味着一个漂移不良的注释者可能长时间无法检测。 太多的,你消耗了核查而不是生产的预算。 常见的起点是每场比赛每个注释员的5-10%的项目,一些团队在校准阶段前装入15-20%,并作为注释员进行稳定减值.
旋转。 在一个漫长的工程中, 静态金器会逐渐被人们知道。 物品应该被旋转并按时间表退役。 如果已退役的物品有有价值的标签, 则可以移动到训练装置; 新物品在部署之前需要裁决 。
金片不能做。它们衡量的是,是否正确标出已知正确物品的标记。如果基本事实是错误的,它们不会自己验证标签。对于主观或有争议的任务,专家注释者之间的共识不会产生客观的真理;它产生最一致的标签,而这是另一回事。 黄金套件也无法系统探测 注释准则 错误同样影响所有注解者,因为每个人都错误地将同样的规则应用到同一个方向,他们都通过了金支票.
审计抽样如何运作,应审查多少批次?
抽样审查产出的一小部分而不是全部。正确的比率不是单一数字:它取决于注释者追踪记录、任务风险、标签分布以及样本的衡量目的。
审计抽样: 以可接受的统计信心来估计批量的总体误差率。
统计抽样是可靠的。一个足够大、可以估计真实误差率且具有可接受的置信度的样本,可能远远小于整批,而且样本大小与置信间隔之间的关系也已经知道。 95% 信任水平,a 10% 样本 1,000- 批量项目产生大约加或减的误差幅度 3%,这足以作出大多数业务质量决定。
三种取样战略是常用的。
随机抽样选择整个批次一致的项目。 它是最易解释和最常见的起点。 它的弱点在于它以同样的速度对简单和困难的项目进行抽样,这在统计上是有效的,但在操作上是无效的:大多数错误没有统一分布。
分级抽样将批次按类别(按类别、注释、域、难度级别)划分,按各自比例对每个组进行抽样。 这样,高风险阶层的覆盖率可以更高,低风险阶层的覆盖率较低,同时保持对每个组的错误率进行估计的能力。 已知历史难点的标签类可抽样30%,而清晰,低error类可抽样5%.
基于信心的取样使用模型或注释者之间的分歧分数来识别最可能包含错误的项目,并抽样那些高费率的项目。 这种方法将审查者的努力集中在最有可能改变决定的地方。 注释者不同意的项目、分配给低效注释者和带有模棱两可的标签的项目都是候选项目。 标注员间一致性 下调 0.8 准则模糊性需要立即澄清而不是更多 QA.
动态采样率随项目运行而调整。百分比规则在启动时设定了固定率(10%至30%是新项目或新注释员的典型范围 ) 。 《动态百分比规则》在准确性或协议下降时自动提高比率,在稳定期间保持审查努力,并在问题期间加强审查努力时降低比率。 对于有高注解的众源注解,从业者指导建议在整个过程中保持高采样率,因为新的注解者不断进入池中.
在实践中,要进行多少抽样。正确的答案取决于项目,但普通从业人员的范围是:新的注释员或新的任务类型,15%至30%,直到确定稳定的质量估计;建立有干净记录的注释员,5%至10%;高记录类别,如安全、医疗或法律, – 类别 比例为 20- 50%, 不论 注释 记录; 试验阶段在全程生产前为 100% 或 近100%, 缩放前客户签名。 一个学科是通用的: 每个注释者而不是每批样本。 每批样本允许一个表现不佳的注释者隐藏在强团队输出中。 说明人抽样确保每个贡献者的工作在公众面前可见。 人工参与审核 层。
共识是什么,何时有助于与误导相对应?
共识是多个注释者合并而不是一个时产生的标签,它增加了对注释者同意的项目的信心,并显示出对不正确的项目的真正困难,它不能取代正确性。
协商一致标签: 标注项目,将多个注释者的独立判断汇总为一个判断,无论是通过表决、加权表决还是专家决定。
几种协商一致的方法是常用的,选择错误的方法来完成这项任务,会产生更糟糕的有意义的结果。
多数投票分配半数以上注解者选择的标签,它迅速、透明,适合带有明确客观标签的任务。 其失败模式与协议评分相同:主观或真正有争议的项目会产生不反映任何原则性真理的多数选票,并将它视为地面真理,从而在专家会争论的共识上训练出一种模式。
加权投票给每个注释员一个从他们的金本位精度中推导出的权重,因此,有较强音轨记录的注释员对最终标签的贡献更大. 当注释员的质量差别很大时,这比平等加权多数投票更准确,这在众包和多种语言项目中很常见,因为具体语言的注释员库在深度上有所不同。
专家裁决会请资深的注释员或域专家解决注释员有不同意见的案件。 裁决员的裁决是最终裁决,并附有理由。 这是最昂贵的方法,也是真正困难或后果的标签最值得信赖的方法。
保留分歧,对于主观任务——情感,语气,讽刺,文化适宜性——强迫单一共识标签丢失模型可能使用的信息. 研究人员和从业人员越来越多地建议存储注释标签的完整分发,而不是仅仅存储共识,让模型能够知道某一物品受到质疑,而不是被作为明确标签对待。 这是最适合培训模式的方法,这些模式表达的是校准不确定性而不是虚假信心。
当共识误导时,任何共识方法都会放大所有注释者在相同方向上所犯的错误,这就是上述系统性的准则错误问题。 三个注释者都应用同样的错误规则,将产生自信、一致、错误的标签。 高协议加上高金套精度是将真正的共识与共同误解区分开来的检查:许多项目之间一致的协议,加上黄金项目上的正确性能,是可靠的;一致的协议与金本位的差绩相结合,是一个共同的错误.
这三个方法如何组合成一个完整的 QA 设计?
每种方法都在不同层操作,并检测出不同的一类问题。一个完整的设计都使用这三种方法,它们之间有明确的升级路径。
从从业者指导中产生的架构看起来是这样的.
第1层: 金套, 持续运行。 整个注释队列中种子, 自动检查, 实时更新每个注释者的分数。 此层在开发时, 而不是在通过批次传播后, 捕获到单个漂移和校准故障 。 黄金精度低于阈值的注释者,在对其其他工作进行审查之前,暂停校准.
层 2:审计抽样,分批结束运行。 QA 分类别和注释,对高风险物品进行信任度的提升。这一层提供了批量级的准确估计值,用于发送签注和准则维护所需的分类分级。抽样率是根据第一层的金位信号动态确定的:稳定的注释者看到较低的率,不稳定者看到较高的率。
第3层:对有争议的项目达成共识。第2层标注为具有低级注释协议的项目、贴有标签界限的项目和高分级的项目都经过二级共识程序。通常的分歧由资深注释者通过多数表决解决。 真正有争议的项目由专家裁决,裁决有文件记载,并反馈到准则中。
递升路径。 失败的二层采样项目将返回生产, 重新注释; 失败的三层判定触发准则审查; 准则更改会使先前关于受影响类别的说明无效, 并且需要重新注释有代表性的样本, 以确认变化, 从而产生预期的改进 。
这个建筑的形状是 Lifewood实际操作中的交付模式:自动检查处理可衡量规模的东西,每个注释者黄金追踪在化合物之前的单个漂移表面,按动态速率分级取样提供批量级的置信度,被命名的人类裁判员对有争议的物品拥有裁决权,并由一个注释者支持 95%+ 准确度 SLA 并用时间戳住批准记录两次独立审查,决定及其理由都记录下来,因此准则会随着时间的推移而收紧,而不是累积例外。
何为应. QA 框架报告?
每个注释者、每个类别和每个语言的数字,不是所有三种数字的平均值。一个总的准确数字可以说明平均数字隐藏了什么。
数据集层面的健康分析不是问个人标签是否正确,而是问数据集整体是否代表了它要解决的问题。 这意味着要监测类的完整性、类平衡、条件和环境的涵盖范围以及各部分之间的注释一致性。
在注释层:每类金位精度,审计样本精度,每对注释者间协议和拒绝率. 在分类层:每类协议,审计精度和混淆矩阵显示哪些标签对最常被混淆.
在多语种项目的语言一级:以上每一度,分别列出。 92% 组合 98% 英文和中文文本 82% 泰米尔语不是 92% 使用泰米尔语的数据集。 大型注解提供者 在承诺采用交付模式之前,应先建立其本身的质量报告结构,或 独立验证 过.
在项目开始前商定报告设定。一个客户在签注时将通知人之间的协议阈值、每类准确度底值和拒绝限值定为去/去标准,该客户拥有一个数据集,可以审计。一个接受标题数字的客户接受了一个平均值。