简短回答： 将第一稿视为一种假设,而不是一种规则手册。被遵循的准则有四个特点:它们以工作实例和反例为首,而不是以传教规则为首,在专门附录中明确解决边缘案例,它们根据通知人之间的协议进行反复阐述,直到得分稳定, 协议通过这个循环可靠地上升了 — 一个临床基准达到了更明确的规则,第三轮则明显地提高了一致性。
核心要点
- 低级的注释者协议几乎总是一个准则问题,而不是注释者问题——分歧定位文件未能解决的模糊性.
- 将第一稿作为假设:在样本上进行斜拉,只有在第一次通过时通过新鲜样本达到门槛时才退出.
- 例子和反例比传言规则更可靠地减少了解释错误.
- 边缘案件需要专门、注明日期的附录加上域专家的路线——记录并随着时间的推移加以完善,而不是裁决一次。
- 将准则、注释数据和裁决记录合并,从而任何标签都能够追溯到规范准则的规则。
说明者为何偏离准则?
因为文件没有说明他们实际遇到的情况。 低协议几乎总是一个指导问题,而不是一个注释问题。
公证员协议(IAA)是独立注释者为同一项目指定相同标签的程度。, 并且它是准则写得多么清楚的标准代词。 常见的情况是直觉正确处理的。 书面指导决定注释者是趋同还是漂移的边界情况—— 任何准则的第一个版本都是错误的, 只有在标签开始后才能被看到, 因为 说明人之间协议衡量标准 用来跟踪这个持续显示。
这不是起草失败;而是发现数据实际包含的内容而不是设计者预期的正常过程。 实际后果是分歧应理解为地图:它准确地定位了准则未能解决的模糊之处。
使这项工作得以完成的学科是在生产开始前的蓄意循环. MAMA(模型-安诺塔-模型-安诺塔特)环路是生产开始前进行样本注释和准则改进的迭代周期.正如Argilla描述的那样: 进行样本实验,反复地针对问题,反馈和团队表面的边缘案例进行精细的改进,并且不要担心注释的质量,现在——这个阶段的目标是共同的理解.
注意协议的衡量标准, 特定标签上的一致度很低, 具体写法需要使用。
退出条件与循环同样重要. 在SILICON流程流中,重复只在第一次通过时用新的样本达到协议门槛时才结束——证明规则是通用的而不是团队已经记住了一批. 同一份文件建议独立起草准则的注释员,然后合作合并,在它们硬化成生产错误之前,这些说明会浮现出隐藏的假设,这个学科接近于如何制定准则。 征聘、培训和认证了公证员 专业领域。
指导文件应具有什么结构?
七节,以固定顺序排列,因为注释者读上部,参考下部.
| 节次 | 里面写着的 | 为何它能赢得它的地位 |
|---|---|---|
| 1. 目的 | 标签数据会如何训练 下游的标签成本如何 | 了解这个构思的 注释家们会用新案件来做出更好的判断 |
| 2. 标签定义 | 每一句中标签, 与最近的邻居有明确的边界 | 多数分歧都存在于两个标签之间的边界,而不是一个标签之内 |
| 3. 已开展工作的例子 | 标签正确, 并显示理由, 每个标签 | 实例减少解释错误比仅凭传言规则更可靠 |
| 4. 反实例 | 近亲:这标签是什么样子,但并非如此,为什么? | 显示标签不象显示标签那样有启发性 |
| 5. 决定规则 | 重现冲突时订购的断开绑定符, 加上默认 | 删除会悄悄破坏协议的硬币- 滑块 |
| 6. 边际个案附录 | 日期、裁决及其理由的已裁决案件 | 该文件的记忆——以及任何现场项目中增长最快的一节 |
| 7. 升级路径 | 如何标出无法解决的案件,谁裁决 | 注释者在无处可查时猜测; 旗下路径会转换为裁决 |
反例是类似标签边界的近似缺失物品,但必须排除于其中,与理由的配对。保留定义简短和示例繁多:显示正确的标签和不正确的标签比较长的书面描述更准确,而支持坚实性的原则也是相同的。 黄金套、审计抽样和共识 持续质量控制方案。
你怎么处理边际案子的?
明确地说,在不断增长的附录中,通过给注解者提供通往域专家的路径,而不是为一切规定一条规则.
边缘案件附录是一份日期日俱增、不断更新的关于模棱两可案件及其裁决的记录边缘情况很难,因为它们是罕见的、模棱两可的,而且往往是后果。 关于自主驾驶的注释要求的研究发现,从业人员在一种反复的、专家驱动的方法上趋同:注释员就不明确的案件咨询域专家,这些案件是经过一段时间记录和完善的,而不是一次解决和被遗忘的。 该文件还用干净的工具来说明——自动化应该帮助而不是取代人的注释员,特别是在复杂或安全关键的情况下。
两种机制使附录在实践上发挥作用,第一,一个平台上的方法是,在被打中时,由注释者标记混乱的例子,因此模糊性很早就浮出水面,讨论起来,而不是以十种不同的方式默不作声地解决.
第二,有记录的推理的判决,而不仅仅是判决——其原理是让一名注释员概括到下一个不熟悉的案件,这是背后的逻辑。 标签质量如何到达模型 初一总明.
预想着计划本身会移动。 在CRADLE 班座临床注释协议中,十轮迭代看到两个注释器独立贴标签,同时跟踪了完善准则的协议;在第一回合之后,标签集被扩充,第三回合引入了时间标记,并制定了更明确的规则,这时实现了更高的一致性。 准则迭代和计划演化是相同的活动.
如何编辑指导文件?
将澄清与规则修改区分开来,并作出与规则修改时生效的版本相关的每一注释。
| 更改类型 | 包括什么 | 对先前数据的影响 |
|---|---|---|
| 更新(v1.1, v1.2...) 互联网档案馆的存檔,存档日期2014-09-02. | 澄清不与现有指南相矛盾;额外实例、措辞更清晰、新附录条目 | 不影响先前附加说明的数据的有效性 |
| 修改(v2.0) | 与现行规则相矛盾或替换的更改; 新建、合并或删除的标签 | 先前的数据可能需要审查或重新说明 |
记录每次更改的生效日期和适用范围;任何注释必须可追溯到指导它的准则版本。如果可能,请原作者进行编辑——它保持文档的内部一致性。
这一点最强烈的表述来自已公布的法律论证结构注释准则,该准则将版本管理适用于准则、注释数据和冲突裁定记录, 以可追溯到相应的准则版本,而主要规则修改具有明确的生效日期和范围。这是值得采用的标准:三个手工业品是逐步版的,而不是一个在页脚上有日期的文件。
关于衡量标准的一个警告是:高度一致只确认注释者是一致的,而不是它们正在衡量预期的构象——它可能来自过于简化或有偏见的准则,而低程度的一致可能反映真正的解释性多样性而不是质量低下。 报告可靠性,同时报告有效性的证据,例如模棱两可的病例,并指出心理测量和医学研究通常将0.75以上的数值视为可靠性强。
最后,用一种语言编写的准则很少会不经审查而转移。 忽略、礼貌和平庸地转移边界案例,因此每种语言都需要自己的飞行员、自己的附录条目和自己的协议跟踪——在运行管理时,Lifewood在100+语言中适用。 注释和鉴定工作 企业伙伴,由 顶级注解和标签公司 范围更广,在规模和过程上相互竞争 AI 数据注释服务 将相同的版本控制方法应用于图像、文本、视频和语音工作流程。