简短回答： 四个任务类型主导文本注释, 并且每个都不同。 NER 突破了跨边界和模糊的类别。 感官突破了讽刺、 混合意见和域语。 故意突破了重叠的类和混乱的谈话语言。 关系标签突破了隐含和方向链接 。 好消息是,这些是解决了存在学科的问题:通过适当的训练、工具和反复使用的准则,注释者之间的高度一致是可以证明可以实现的——关于德国关系的一份注释研究达到了科恩的0.92。
核心要点
- 四种任务类型在文字注释中占主导地位——NER,情绪,意图和关系标签——每个都有自己的特征故障点.
- 高度一致是可以实现的: EHR 注释研究发现,经过适当培训后,在跨度和类别方面,高分校间一致,德国关系研究达到== 0.92.
- NER 跨边界、巢穴实体和包罗万象的班级; PER, LOC 财务报告和已审计财务报表 ORG 超过成绩 MISC 同意协议。
- 感官显示同型蝎子中的NER协议较低,主要是因为中立的边界和讽刺的描述不准确.
- 使用符号级别 F1 费用 NER, 用于分类的 ox 或 Krippendorff α,以及 F1 关系问题; 被低估的 NER 实际值 0.347 对抗一个真实的 0.71.
四种任务类型是什么?
文本注释没有通用的解决方案: NER,情绪,意图和关系标签各使用不同的标签结构,在开始时选择正确的一个是使管道保持平滑和模型准确的.
命名实体识别( NER) 表示是符号级的工作,通常标记为 Begin-Inside-Outside(BIO) 计划,它支持信息检索、问答和事件提取。感官分配了极性,或者在更丰富的计划中,分配了欢乐、愤怒或沮丧等离散的情绪。意向将演讲者想要的东西归为一类,并驱动虚拟助手和支持路径。 关系标签标签自由形式跨度和它们之间的联系,是知识图文构建的基础.
文献中令人鼓舞的发现是,困难不是命运。 关于电子健康记录中神经征兆的注释研究——以前研究表明,在这种领域,同意率很低——发现三个评级人之间的结对协议在经过关于过程、工具和辅助肿瘤的培训后,在文字跨度和类别标签方面都是很高的。 作者的结论值得任何项目执行:人类注释者之间达成高度协议,并有适当的培训和注释工具是可能的。
每一个都跑到哪里去做注释?
可预测和不同——这就是为什么一套准则不能为所有四种任务服务的原因。
| 任务 | 说客们出行的地方 | 修补 | 判决 |
|---|---|---|---|
| NER | 范围、嵌入实体、部分选用选用和包罗万象的类别——PER、LOC和ORG在协议方面可靠地超过MISC | 切换到横跨控制; 放下或拆分 MISC 桶; 查找弱型的 实体 F1 | 可用设计图修复 |
| 感官 | 讽刺、不同意见、文化差异和中立的界限; 医疗情绪不是零售情绪 | 明确正面/负/中性定义,并有边缘实例;特定领域指导 | 四人中最低的约定 |
| 意向( I) | 重叠或近似重复的课;谈话演讲增加了不畅,中断和隐含的引用插槽的内容. | 相互排斥的类别定义;真正模糊不清的旗帜和升级路线 | 司马纪律胜 |
| 关系 | 中性或"无关系"案件在长文件中的隐含与明示联系,方向和沉默主导 | 对前方隐含关系的规则; 明确注明负面; 使用F1 处理关系, 不使用“ 单项” | 最硬, 最高值 |
注释质量设定了上限:如果注释员的协议为80%,那么一个达到83%的模型已经在大约人的水平上运行。
关系标签值得特别注意,因为它在单一的计划中难度不均。 在多语种关系提取研究中,自动标签被对照使用。 2,000 手动附加说明的句子:有些关系几乎完美,而另一些则完全崩溃。接下来是两个教训。首先,一个宏 F1 备注 0.79 透过这个计划隐藏了一种关系类型 表现在 0.33,所以质量的衡量标准总是应该按类别细分。 0.92,有确凿证据表明,困难的部分是准则的清晰和裁定程序,而不是人的能力。
感知坐落在另一端. 使用克里彭多夫的α found情绪任务的基准工作显示,在同一个蝎子中,与命名的实体识别任务相比,一致度较低,实际原因是中立性很少是干净的类别. 在一项分析文本研究中,只标出正反关系的注释者在内部将当时主导数据的第三个中性类别——一个骗局问题伪装成一个注释者问题.
您应该用什么衡量标准来完成哪项任务?
将公制与标签结构匹配, 否则您的质量数字会误导您: 单一协议的分数不能同样很好地为绝对标签、 横幅标签和关系链接服务 。
科恩的两分 是一个两个注释协议 统计的绝对标签, 它符合感情和意图。 克里普多夫的α 将这一想法扩展到多个注释者、缺失的数据以及普通或等级标签。 标注员间一致性 测量每个任务,这是大多数团队陷入的陷阱。
| 量度和何时使用 | 避开此陷阱 |
|---|---|
| Cohen的"&"——两个注释者,直截了当的标签:情绪,意图 | 使用 Cohen 的 ob 值 NER ——需要负面案例,严重低估协议. |
| Krippendorff 的α – 多个注释器,缺失的数据,正文或等级标签 | 报告所有各年级的平均分数 |
| 切换级对偶 F1(不包括“ O” 标签) – NER 的右 IAA 度量 | 数据类型错误的 α 设置, 数据类型可以任意扭曲结果 |
| F1 关系——关系提取,但两者不相适应 | 将低分视为注释器故障而不是准则漏洞 |
| 格韦特的AC2——当类别严重失衡时. | 一次测量而不是连续测量样本 |
临床数据集通常在发布前需要α以上0.90;一般目标占80%的协议。 测量值之间的差距不是学术性的:在Tweebank NER(NER)中,“ob”改为“0.347”,而适当的F1计量值则显示在同一个说明上一致为0.71。
两个业务要点在实践上有所区别。 持续监测关于子集的协议在早期就显示出准则中的模糊之处,即这些准则的修饰费用低廉,生物医学黄金标准文献表明,通过收紧规则和制定语义等同标准,在多个重复体之间达成了可以接受的协议。 NER的F1级精确地确定了哪些实体类型在注意到者时遇到困难,将一个模糊的质量问题转变为有针对性的培训。
多语言工作增加了一个没有衡量捕获的层次。 讽刺、礼貌和否定在语言上表现不同,而用英语编写的准则很少能干净地传递。 本地语言学家,每个语言的试点批次,以及每个语言的协议跟踪,正是人行人行的学科 Lifewood在100+语言和方言中应用,借鉴了同样的 多种语文数据收集 用于语音和文本程序的网络。
你该先修什么?
将管道按此顺序修复,因为每一步提高下一步的上限.
在全面生产前先进行试点批次,在同一数据上有2至3个注释器,目标是 80%+ 协议,以及将分歧视为准则积压。 注释准则, 不仅仅是定义, 正面、 负面和中性的明确界限, 并有明显的例子可以明显改善协议。 选择符合标签结构的度量标准: 符号级 F1 表示NER, ob 或α 表示分类, F1 表示关系工作的关系。 按类分打破每分质量的分数,因为0.79的宏分数可以隐藏0.33的关联类型和自由秋季的实体类型.
将注释器匹配到域中——专家对子清除了ARF Bench数据的可接受阈值,而非专家对子则没有。先用模型标记,然后由人类来审查: LLM 预标签和主动学习 以低廉的每例成本进行基本情绪和分类,但与域域专业知识和主观判断相搏,因此,初始注释加专家验证的双通道工作流程仍然比较安全。 重新标记灰色区域而不是整个组合——拉出最狡猾的 5–10% 穿过一个 黄金套数审计 最后,进行按语文进行的飞行员和协议检查,因为用一种语文编写的准则不会不经过审查而转至另一种语文。
提供大规模这项工作的团队可以将供应商与《公约》的标准进行比较。 买方数据注释公司指南 承诺向供应商或内部建筑提供