简短回答： "99%的准确性"不是标准;它是没有分母,没有任务定义,也没有背后的审计方法的数字. 真实的注解精度标准每任务类型命名四样事物:与任务匹配的度量(F1,IoU,字误率或概率校正协议),阈值,审计方法(样本大小,谁绘制,金套注射率)以及跌落到下方的后果. 设定下游错误成本的门槛,而不是听起来令人印象深刻的门槛。
核心要点
- 可用注释准确性标准为每一任务类型规定了衡量标准、门槛值、审计方法和误差后果。
- 单一的准确度百分比没有分母,没有错误类型分解,也没有机会校正,因此在对象级别上,同样的交付率可以达到95%,在帧级别上可以达到0%.
- 门槛应沿用下游错误的成本:安全关键感知和产品标记不配有同样的条。
- 审计样本大小随所需精度的平方而增长,因此错位比差减半,使审计成本四倍,罕见错误类需要分层抽样.
- 低级的注释者协议通常会发出模棱两可的准则而不是差的注释者,这是最早的可用警告,即分类学需要固定.
为什么一个精确百分比就意味着什么?
单一准确率意味着什么,因为它从未说明什么是衡量的,在什么样本上,由谁判断。 注释合同通常都规定质量百分比,其他的也一样;双方都签了字,分歧就到了第一批有争议的货物。
注释精度标准是书面的规格,按照任务类型,标注了衡量标准,门槛值,审计方法以及低于它的后果. 完全百分比在三种具体方面都未能达到这一定义。
无分母. 准确度: 每件物品、 每件物品、 每件属性、 每件框架 ? 包含 40个有两个错误的物体的帧值在对象级别为95%, 在帧级别为0%。 这两个数字都是可以辩驳的, 它们支持相反的结论 。
无错误类型分解 。 完全集中在一个罕见的类中,3%错误的数据集对于模型来说比3%分布均匀还要糟糕,在标题图上是相同的.
无法纠正。 有关不平衡的任务,多数人对原始协议的夸大。 两个标注95%负数据集的注释者可以同意95%的时间,而完全不区分。 科恩的卡帕是一个偶然修正的协议统计, 衡量两个评级人同意的 超过随机标签会产生。 由雅各布·科恩于1960年提出,计算如下:
Cohen's kappa = (Observed agreement − Expected agreement) ÷ (1 − Expected agreement)
近乎0的Kappa 与95%的原始协议是经典的签名,它并不体现在任何只规定“准确性”的合同中。 注释者间协议:科恩的kappa和克里彭多夫的alpha.
每项任务应使用何种准确度衡量标准来说明SLA?
衡量标准应该与任务相符:F1具有单独的精确度和检测和提取回溯度,IoU用于箱和立方体,文字错误率,以及判断任务的机会校正协议统计。 一个混合的全程序数字比不上任何东西。
| 任务类型 | 指标 | 报告为 |
|---|---|---|
| 侦测、提取 | F1,精确和分别召回 | 每个类,加混淆矩阵 |
| 立方体, 立方体 | iOU 在一个规定的阈值 | 分别用于近距离和远距离 |
| 分块 | 平均线性 | 每班,从不只看 |
| 追踪 | 每个序列的身份交换器 | 序列级别, 不是帧级别 |
| 译名 | 字错误率, 并附带一个已声明的公约 | 每种语言和声学条件 |
| 分类 | F1级/每类 | 带有混淆矩阵 |
| 排名,偏好, 和 RLHF | 概率修正协议 | 每个任务家庭 |
| 感性、意图、温和 | 科恩的卡帕或克里彭多夫的α | 按政策类别 |
两种惯例必须写下来,或者衡量标准在供应商之间不具有可比性。对于抄录:哪些是差错、数字、密码转换和适当的名词。对于检测:如何处理短、闭和模糊的对象。 自动驱动数据注释要求.
合同中,精确度和召回率几乎永远不应单是倒塌为F1。 温和的管道不能错过侵权行为,不能过度移动,而必须精确。 国家优先,并另定底线。
如何确定准确性阈值?
错误的后果导致工作倒退,而不是野心。 标签的下游使用决定了酒吧的高度,并支付各地废物预算最高的酒吧,这是困难情况所需要的。
| 下游使用量 | 典型栏 | 理由说明 |
|---|---|---|
| 安全关键观念 | 最高的,每层楼都是稀有的 | 系统错误成为安全故障 |
| 示范评价和基准 | 很高,你喜欢吗? | 这里的错误会损坏从基准中所做的每个决定 |
| 基金会-示范培训机构 | 高在上的一致性,容忍一些噪音 | 卷数部分平均随机错误; 系统错误不平均出错 |
| 产品元数据、标记、搜索 | 中度 | 错误是可见的, 并且可以便宜地纠正下游 |
| 探索性或内部分析 | 下调 | 重修费用超过精度值 |
对所有这些区别的区别: 随机错误被体积稀释;系统错误被其放大. 准则模糊性使每个给同一案件贴上同样错误标签的注释者不会平均得出;它教模型一条规则。所以,门槛值应该与错误必须被设定的要求对齐。 特性。一个没有错误类型的供应商报告错误率,报告的是测量的一半。
如何设计质量审计?
4项裁决属于合同:谁提取样本,其规模有多大,衡量是连续的还是交货时,以及谁裁定纠纷。 留任其中任何一项裁决待解决,后将第一次分歧转变为商业争论。
谁画标本. 如果供应商选择审计样本,审计会衡量供应商的选择,样本选择应当随机,由你省抽取或可核实.
样本有多大? 对于一定的置信度和误差幅度的比例估计,标准公式为:
n ≈ z² × p(1 − p) ÷ e²
地点 z 信心乘数(95%为1.96), p 估计误差比例,以及 e 需要的样本随您想要的精确度的平方而增加,因此将误差率减半,使审计成本四倍;以及 估计 罕见 错误类精确地要求比估计总体速率要大得多的样本. 稀有类通常需要定向分层抽样,而不是更大的随机抽取.
连续或交货时。 黄金套注是将已知的答案投放到活注工作上,以规定的速度进行,以便连续而不是只在投递时衡量质量。 检查在批量结束时进行,而重修费用最高。需要两种方法:注射控制,门口审计接受。 黄金套、审计抽样和共识.
由谁裁决纠纷. 需要前指定程序:由第三审审阅员、商定的仲裁人和指定的窗口重新审计。没有这个程序,第一个真正的分歧就变成了商业争论,而不是技术争论。
说明中的质量条款应是什么 SLA 包含 ?
可行的质量条款有六个部分:任务定义和准则版本、每个任务类型的衡量标准和门槛、审计协议、接受和拒绝规则、一个根源要求以及改变管理。 任何一种版本的模糊版本都是争端的起源地。
- 任务定义和准则版本。 质量只能比照特定准则版本来衡量。 版本的更新在这里不是行政间接费用;而是可交付品的定义。 如何编写准则说明人可以实际应用的内容包括在 撰写注释准则.
- 每个任务类型的计量、阈值和分母包括每个等级的楼层,其中稀有等级很重要。
- 审计协议:样本大小和选择方法,金套注射率,谁操作,产生什么证据.
- 接受和拒绝。 低于门槛的批次会发生什么:完全重修、部分重修或信用接受。 国家重修的周转,因为时间影响通常是更大的成本。
- 根因须. 门槛以下的批次触发书面原因分析和准则或训练变化,而不是默默的重做。这是将供应商转换成伙伴的条款。
- 改革管理. 如何版本化中项目分类学变化,先前的数据是否重新贴上标签或标记为早期版本,谁付费,以及之后如何重新建立质量基准.
增加两项保护条款,这些条款在签字时费用低廉,以后不可能获得: 按语文或按类别分列的报告 而不是总和,以及 保留审计证据 这些条款与较广泛的选择清单放在一起,在合同有效期内加上商定的期限。 9项选择AI注释服务的标准.
一个好卖家应该推什么回去?
供应商接受你提出的每个数字,却不是一种方便,而是一种警告。 良好的供应商质疑特定类别、无法发现罕见错误的样本大小和模糊不清的准则。
合理的回推听起来像:
- “这个门槛是可以实现的,而不是在这个阶级;这就是为什么,而我们建议的结果。”
- “样本大小不会发现一个稀有类1%的错误率; 你需要分层取样。”
- "你的准则对此案含糊不清,协议将封顶,直到解决".
第三件是卖家能告诉你的最有价值的事情 低级的注释员协议通常意味着准则含糊不清,而不是说明注释员很差,这是最早的可得到的信号,即分类学需要先加以修饰,然后才能将整批的分类标注为不一致。 AI数据注释公司前10名 他们处理的方式有很大不同。
怎么样 Lifewood 设置注释质量标准吗 ?
Lifewood 界定每个任务在范围界定时的质量标准,而不是在整个方案内适用一个单一的混合数字,因为适合立方体的衡量标准不符合抄录标准,也不符合 RLHF 优先排序。
由此可选择两种操作方法:通过金套注射而不是仅在交货时持续测量质量,因此漂移是在几天之内而不是在批量接近时捕获的。 Lifewood已公布的标准是 95%+ 准确率 SLA 备注a 95%+ 标注员间一致性门槛 对照客户核准的黄金套数计量, 两份独立审查证 和时间戳式批准记录; AI 数据验证 页面。
劳动力是在自有的交付中心管理,而不是在人群中,这对标准来说特别重要,因为稳定的团队是使每个语言、每个阶级的协议数字随着时间而有意义而不是对任何人的一丝不苟。 LLM 数据包括: RLHF 评估 100+ 语言、计算机视觉、语音和NLP、对话AI、内容节制和现场收集,来自 40+ 跨省服务中心 30+ 国家 与 56,000+ 登记缴款人。全范围 AI 数据服务 服务页面上列出。