简短回答： 注释者协议衡量人们如何一致地给同一数据贴上标签。 两大指标是科恩的卡帕(kappa),它纠正了两个注释者偶然分享份额的原始协议,以及克里彭多夫的α(它向任何数量注释者概括),容忍缺失数据,并跨计量类型工作。 两种度量衡都从0到1,但计数的阈值取决于任务,两者都测量可靠性,不正确,不认同真理.
核心要点
- 原始百分比协议偶然被夸大;kappa和α正确。
- Cohen的kappa在名义类别上处理两个正名的注释员,从所观察的协议中减去预期的机会协议.
- kappa悖论:即使注释者一致,但扭曲的标签分布也会产生低的 kappa,因为预期的机会协议已经很高了.
- Krippendorff的α处理任意数量的注释器,容忍缺失的数据,并跨名义,正文,间隔和比例尺度工作.
- Landis和Koch(1977年)将0.61至0.80作为实质性协议,0.81至1.00作为几乎完美的协议;Krippendorff建议0.800作为可靠结论的底线.
为什么原始百分比协议还不够?
原始协议是不可靠的,因为机会会夸大其词,而概率通胀是衡量可靠性的衡量标准旨在衡量过去的确切问题。 概率校正协议是任何衡量标准,如kappa或alpha,在报告究竟有多少实际协议存在之前,通过猜测来减去两位注释者所达成的协议。
想象一下,两个注释者将90%的物品归为A类的二进制分类任务。 两位注释者每次猜测A类就能得出81%的原始协议,而从未接触实际数据。原始百分比看起来是合理的。协议毫无意义。
科恩的卡帕是用来解决的基础问题。 雅各布·科恩在1960年引入了卡帕统计,专门衡量两位精神病诊断师之间对病人症状的评级,纠正了夸大原始百分比协议分数的基数概率协议。
同样的通货膨胀问题出现在多语种注释中。 一个在一个标签类别占主导地位的数据集,在情绪、毒性和意图分类任务中很常见,即使注释者在标签上的应用不一致,也会产生很高的原始协议。 法学硕士的多语文培训数据 经常地出现这种情况,因为一旦一个体格跨越许多语言,标签的分发就很少保持平衡。 机会校正的衡量标准就是揭示这一点的衡量标准。
Cohen的卡帕实际上算什么?
科恩的卡帕(英语: 观察协议是否高于机会与唯一高于机会的协议的比例是两个注释者之间的最大可能协议。 它回答:不可能偶然发生的协议,实际做了多少?
公式是直截了当的。 Kappa 等于观察到的协议减去预期的协议,除以一个减去预期的协议。 预期协议是从每个注释者的标签的边缘分布中计算出来的:如果注释者A标签为60%的正标项目,注释者B标签为55%正标项目,那么预期的机会协议是两个独立评级人在这些分布下在同一标签上着陆的概率.
Cohen的kappa的值从负1(完美分歧)到1(完美协议),0表示机会级协议.
值得了解的关键限制:
Cohen的kappa是完全针对两个注释者. Fleiss的kappa将它扩展至多个使用相同公式结构的注释者,但它要求每个注释者给每个项目贴上标签. Kripendorff的α在Fleiss的kappa不适用时被使用,例如对于变量的注释子集,其中并非每个项目都是由同一人注解的.
Kappa 对标签分发很敏感。 这是 kappa 悖论: 标签分配扭曲的图案将卡帕推低,尽管注释者是一致的,因为预期的协议很高,而且没有太多余地让观察到的协议超过它。 在一个严重扭曲的任务上,0.40的卡帕可以代表与平衡的0.70的卡帕相同的根本一致性。
它只按标准形式衡量名义类别。 标准尺度、连续评级和跨度需要不同的处理,这是一个大原因。 NLP 的文本注释 程序常常会移动到alpha,一旦任务混合了类别类型。
克里彭多夫的阿尔法是什么 你什么时候用?
克里彭多夫的阿尔法 数据是所有数字的注释者、容忍缺失数据、在名义、正数、间隔和比例尺度上发挥作用的,是概率校正的可靠性衡量标准。 在大注释管道中,它几乎总是正确的选择。
Klaus Krippendorff于1970年开发了α,用于通信研究中的内容分析,其中多个编码器将媒体内容分类. 他2004年的正规化将α设定为最通用的可靠性度量衡,处理任意数量的编码器,缺失的数据,以及多个测量水平,所有现实世界注释项目中常见的条件.
阿尔法的计算方式是:一减观察到的分歧与偶然预期的分歧之比。 与kappa的关键区别在于α使用一个可以适应测量尺度的统一分歧函数:相邻的正弦类之间的分歧比极端类之间的分歧加权少,间隔距离对连续的评级的尊重,名义上的分歧对所有不匹配的处理是平等的.
Alpha是一个数据集级的度量衡,对于混乱的、真实世界的数据集特别有用,因为并非所有的注释者都对每个项目进行评分——情况最糟。 人类在“LOOP”注释 一旦工作分布在一个大贡献者池中,管道就实际投入运行。
使用 Cohen 的 kappa 来进行精确的两种注解, 标称类别, 双向可靠性检查。 当两个以上注解器都标注了每个项目时, 使用 Fleiss 的 kappa 。 使用 Krippendorff 的α 来处理其他所有问题: 大型池中部分重叠、 平面或连续的缩放、 缺少数据, 或者当单个的度量值需要跨任务结构的可比性时。 在多语言注释中, alpha 几乎总是正确的选择, 因为注释者指派很少是统一的 。
你怎么读数字?
阅读数字时要对照任务,而不是对照一个单一的通用切入. 公布的阈值来自Landis和Koch(1977年)的kappa; Krippendorff自己对α的指导比较保守.
科恩的卡帕:0.0到0.20是微弱的,0.21到0.40是公平的,0.41到0.60是中度的,0.61到0.80是实质性的,0.81到1.00是几乎完美的协议。 根据伦道夫(2008年)的替代公约,0.40是差的,0.40到0.75是中间到好的,0.75和以上是极好的。
Krippendorff建议谨慎地将0.667的α以下的数据和0.800以下的数据视为不可靠,以得出结论,尽管可接受的水平取决于任务。
0.60的卡帕表示不同任务的不同内容。对于模糊边缘病例的毒性分类,即专家语言学家对相同实例有不同意见,0.60可能反映真正的任务困难而不是注释器故障。对于明确的二进制类别,0.60将引起关注。这就是为什么出现这种情况。 AI 数据验证 进程应报告每个类别细目和混淆矩阵,并附上标题数字,因为这些显示分歧的存在地点,而不是存在多少。
分歧到底告诉你什么了?
分歧告诉你任务在哪里模糊,准则在哪里不明确,有时是类别本身错误。它不仅是失败,而是信息。
对100多份NLP数据集文件中的注释质量做法的分析发现,质量保证通常报告不足,大多数论文都报告一个标题IAA数字,没有按类别分列,显示哪些标签引起分歧,这掩盖了真正能改进数据集的信息。
系统分歧通常有三件事要表明:
准则模糊性:在同一类别上始终存在分歧,意味着指示不明确,其修正是准则更新和重新说明有争议的项目,而不是业绩谈话,在下文中更详细地阐述模式。 如何写注解指南 注释者实际上遵循.
类别设计问题。 持续的分歧可能意味着标签会夸大两个不同的事物, 或者边界被划错了地方。
真正的任务难度。对于情感、讽刺和讽刺等主观任务,IAA衡量任务是如何有争议的而不是注释质量。 在数据集中保留分歧可能比强迫达成共识更有用。
在多语种注释中,一种语言的分歧很大,另一种语言的分歧较少,这可以表示翻译不善的类别或不清晰映射的文化概念。 单个IAA的汇总数字将无法显示这一点;通过语言分类生成的每个语言的分解。 管理多语种数据收集,是它表面的。 。 。 Lifewood质量进程对 a 95%+ 说明人之间的协议门槛,对照客户批准的黄金套件进行衡量,有两张独立的审查证和时间戳式的批准记录,因此在交付之前而不是交付之后,可以看到对某一类别或语言的协议的下降。