简短回答： 这些都是两个独立的决定,它们被捆绑在一起。 积极的学习决定了哪些没有标签的项目需要发送注释; 预标签决定了注释者在物品到达时所看到的。 预标签上的证据是真实积极的 — 一个临床的。 NER 研究:计算节省的时间 13.85–21.5% 每一个在协议或注释人业绩方面没有统计上显著差异的实体——但有一个关键的告诫:在仅人性错误是随机的情形下,在预先注释工作流程中存在的错误是系统性的,协议分数可能过分强调质量,正因为每个注释人都看到了同样的建议。
核心要点
- 主动学习选择要注释的数据; 预贴标签会塑造注释者所看到的。 这些数据会以不同的方式失败, 应该单独评估 。
- 预注已保存 13.85–21.5% 说明时间的计算 1,400- 临床证明 NER 与《公约》的 内部 审计员协议 93.4–95.5% 并且协议或业绩方面没有统计上的重大差异。
- 在依赖语法注释上,前注增加了一致性,而未降低质量;早期的彭恩树银行工作在时间,协议和准确性上也发现了类似的收益.
- 当每个注释者看到同样的模型建议时,协议分数可能会夸大质量,因为接受一个建议的人不是独立的佐证.
- 预注错误是系统性的,而仅人性的错误是随机的,所以预注错误在平均情况下存活,而不是冲出.
- 模拟在主动学习循环中定位和相关认知偏差,与一个无偏见的参考案例相比,模型准确性显著下降。
为什么从标签前的筛选中分离出来?
因为它们在相反的方向上失败:一个是数据集中存在的示例,另一个是这些示例上的标签所说的话。
积极学习 这是一种培训战略,通过提名它预期从最优的无标签项目,即通过不确定性抽样——通过如何不自信地划分现有模型的等级,以及发送最不自信的标注项目——得到贴标的样本,使模型达到高度准确度,并减少标注实例。 标签前 (也称预注)是经过训练的模型先进行推论的单独步骤,注释者接收一个人口稠密的屏幕来接受,纠正或拒绝而不是空白的屏幕. 两者在大多数的人在"Loop"管道中结合得很好,但一种主动学习策略,过度标注特征空间的一个区域,生成一个不再代表基础分布的训练集,而一个被潜移错误的预标签则产生一个从未独立考虑过的注释者标签. 对方的衡量标准中都没有出现失败,这就是为什么团队建立可重复的 人类在学习 过程测试两个阶段,对照不同的检查。
预贴标签什么时候真正有用?
在数量大、规格明确的任务方面,如果已经存在一个合格的模型,而衡量的收益是真实的而不是假设的。
最大的证据来自 JAMIA 研究建立金本位的 1,400 随机选择临床试验公告,诊断,标注,症状和临床代码的双倍说明,从词典方法中提取预注,并使用. F-措施, ANOVA 发现前注解时间缩短了 13.85–21.5% 每个实体 标注员间一致性 衡量两个独立注释者如何一致地标注同一物品——持有率在93.4%至95.5%之间,没有统计上显著的偏差效应。
第二项研究就一项更艰巨的任务得出了一致的结论. 分析依赖语法注释——中层复杂,预加说明的高精确度解析器——研究者发现,预先注释是加快人工注释的有效工具,可以提高所生成注释的一致性,同时又不降低其质量. 先前的彭树银行工作也指出了同样的方式,半自动方法在显著缩短注释时间的同时,也增加了协议和准确性。 标注员间一致性 将这些结果与以下的警告一并读作质量信号:效率案例得到很好的支持,但细微之处在于“质量”实际用什么来衡量。
他们什么时候会偏向数据?
当基本模型以一致的方式自信地错误,当注释者之间的协议是唯一使用的检查.
| 标签前的帮助当... | 标签前偏差当... |
|---|---|
| 任务非常明确, 标签集很稳定 | 模式在分组上是系统性错误的 |
| 已经存在一个胜任的模型或词典 | 任务主观——情绪,毒性,偏好. |
| 作品量大且重复 | 人烟屏上看不到缺失的间隙或遗漏 |
| 错误是显而易见的——一个错误的跨度是显而易见的 | 每个注释员都觉得有同样的建议 |
| 监理员被训练拒绝,不只是接受 | 质量仅由协议判断 |
两项调查结果值得一并阅读。 首先,测量问题:研究从预先说明中推断出高质量往往通过双方的校对协议来衡量,当多个前说明受到相同的预先说明的影响时,这些校对协议可能会高估质量——两个注释者都同意,因为他们都接受了相同的模型建议,并不是独立的佐证. 第二,错误形状问题:预先注释工作流程产生的错误遵循了更系统的模式,而仅由人来注释的错误往往更随机,随机错误在整体上冲洗,而系统错误直接传播到训练过的模型中。这与人类的注释的区别是一样的。 黄金套、审计抽样和共识 检查是为了抓捕,因为没有一个只依靠协议。
记录了背后的认知机制。 人类的“即时”审查不是中性的过滤器;注释者本身带有认知偏见,而人气屏幕邀请 锁定 —— 偏重第一个建议的趋势是独立看待而不是推理. 模拟一个在真实的胰腺癌数据集上积极学习的循环中锁定,赌徒的谬误和后悔的反感发现,相对于一个没有偏见的参考案例来说,分类性能明显恶化.
接下来你应该如何选择什么来做笔记?
精心设计,有与任务相匹配的选拔策略,并进行长期检查,确定所选集仍然与它要代表的世界相类似.
| 战略 | 如何选择 | 风险 | 判决 |
|---|---|---|---|
| 随机取样 | 统一从游泳池 | 效率低下——预算用于模型已经处理的例子 | 基线和控制 |
| 不确定的取样 | 模型信心最低; 靠近决定边界的点 | 采样过多或不足的地区,制作一套没有代表性的培训 | 高效但可观察的覆盖 |
| 多样性/基于梯度 | 批量选择在信息与空间分布之间保持平衡 | 更多计算;仍然无法保证分组覆盖 | 更好的批量标签 |
| 混合+半监督 | 正在运行的查询加上未加标签的数据折叠回学习 | 增加的管道复杂度 | 证明可以减少抽样-偏见的影响 |
这里的证据不是片面的:一项经验研究发现,使用从深层模型中强力抽取的后方演算法来进行主动的选集,以进行抽样偏差,并查询大小和战略选择,这与先前的文献相反——因此最安全的方法是在你自己的数据上测试不确定性取样,而不是假设结果中的任何一种。
复合风险值得简单地命名。 主动获取假设它收集的标签是健全的,但许多主动学习应用程序依赖于人类生成的标签,这些标签极易产生偏差,并且研究在标签偏差文件模式下的积极数据获取,其中更多的数据导致模型误入歧途而不是改进这些模式。 量并不纠正有偏见的选择规则;它巩固了它。一个针对多语种方案的具体警告:一种用于预贴标签的模式几乎总是在资源较少的语言中表现更糟糕, 因此,在高资源语言中节省时间的同样工作流程,可以悄悄地将注释者放在其他地方的差建议上——这就是为什么在启用预先标签之前,先进行每个语言的模型评价,再配以本地语言的评语,对于 低资源语音数据收集 和文字一样
在实践中,有5个检查抓住了上面大多数失败模式。在信任前按类和分组评估前标签模式的错误配置 — — 总体精确度为92%的模型可以准确度为40%。 从头到尾按一个盲点控制集,没有建议,所以锚定有可以衡量的东西。 跟踪接受率作为警告信号:接近100%的速率通常意味着注释者停止审查模型而不是该模型变得优秀。 在混合中保留一个随机切片,同时保留一个具有代表性的、没有偏见的评价集。 完全为了主观任务而关闭预贴标签——情绪、毒性和偏好判断是锚定最能造成伤害并显示最少的地方。 交付前分层质量控制数据到达客户面前的黄金组之前 数据组也是基础 AI 数据验证 和为 企业 LLM 培训.