简短回答： 九个标准决定AI数据注释伙伴是否将维持在基础模型上:确定的质量衡量(金集和注释者之间协议,而不是声称的准确百分比)、模式适合、劳动力模型和注释员保留、吞吐量和坡道行为、多语种和低资源覆盖, 质量计量是标准购买者最常没有进行详细说明,也是最能预测重做工作的标准。
核心要点
- 无分母的质量索赔,如"99%的准确性",不是衡量;需要金套协议和任务匹配的度量标准,如F1,IoU,字差率或概率校正协议.
- 劳动力模型比工具预测的质量稳定性要强:在拥有的中心管理下的劳动力保留了开放人群反复支付的学习曲线.
- 有效吞吐量是交付的物品乘以第一通道验收率;供应商交付 100,000 每周项目数 70% 接受为a 70,000- 供应商收取 100,000.
- 多语种的覆盖范围应当作为每种语言的母语注释员人头数,位置,而不是作为支持语言的数来衡量.
- 付费的几千项试验,包括最困难的个案和至少一种困难的语言,揭示了任何提案都无法做到的坡道行为和升级质量。
为什么买AI的注解服务容易出错?.
购买注释很容易被错误所理解,因为可交付品看起来是否好都是一样的。 贴有标签的数据集如期到达,通过抽查,数月后,其内部错误的成本会作为模型浮出水面,在标签最弱的区段表现不佳。
下面的九项标准是演示后分拆供应商的标准,它们被写成RFP结构,每个下都有特定的人工活性,它们自然地与一个配对. 说明供应商合并和RFP指南 将若干供应商作为一次性比较。 大型AI数据注释公司 是一个合理的起点;标准是如何缩小范围。
1. 供应商的质量衡量是否确实得到界定?
“ 99% 准确性” 不是一个质量要求; 它是一个没有分母的数字。 问它指的是哪一个衡量标准, 因为候选测量标准测试不同的东西, 并且在同一数据集上有很大的不同 。
| 措施 | 告诉你什么 | 什么时候需要它 |
|---|---|---|
| 黄金套精度 | 与一套可信的参考文献达成协议 | 总是; 基线检查 |
| 公证员协议(IAA) | 是否两个主管人员在同一物品上标注 | 任何主观或判断繁重的任务 |
| F1/精度/对黄金的召回 | 检测质量, 按错误类型分隔 | 探测、分解、提取 |
| iOU 阈值 | 箱和口罩的几何紧凑度 | 计算机视觉 |
| 字错误率( WER) | 译文质量 | 发言 |
| Kappa / Krippendorff 的α 数据 | 协议经修正后以获得机会 | 感官 排名 温和 RLHF |
一套黄金是值得信任的专家贴上标签的参考样本,根据该参考样本,供应商的例行产出会获得分数。 注释者间协议(IAA)是指两个或两个以上主管的注释者独立标注同一物品,产生相同标签的程度.
机会的校正比听起来更重要。 在一个二进制任务中, 原始协议可以看起来很好, 而机会校正的数字则显示, 注释者几乎无法区分任何东西:
Cohen's kappa = (Observed agreement − Expected agreement) ÷ (1 − Expected agreement)
F1 = 2 × (Precision × Recall) ÷ (Precision + Recall)
科恩的卡帕(英语:Kehen's kappa)是由雅各布·科恩(Jacob Cohen)于1960年推出的,用于名义上的两类评分;克里彭多夫的α将这个想法概括到任意数量的评分,缺失的数据和几种比例类型. 数字在Kappa和alpha后面算算, 以及数字是什么意思 在一个门槛进入合同之前 值得理解
要求什么: 用于测试一个类似项目的数据。
问会怎样? 下级 界定的重修政策,涵盖谁付费、在何种情况下付款以及如何将根源反馈到培训中,将供应商与分包商分开。 三种不同的方式 QA 附加说明的数据,成熟的供应商可以解释其中哪一个使用它的任务。
2. 供应商是否适合你的方式和任务?
注释不是一种技能,在LiDAR中,2D边框的强商可能很弱,而强商可能根本没有RLHF的操作。用供应商按量提供的方式来绘制你的实际需要。
- 计算机视觉:2D/3D 边框,语义和实例分割,键位,跨帧跟踪,LiDAR点-云和传感器-聚变标签.
- 发言和录音:转写,扬声器的对称,语音标签,音标,口音和方言的覆盖.
- 文本和 NLP:实体识别,意向分类,情绪,概括质量.
- LLM 和 基因组学:RLHF偏好排名,SFT演示写作,红调,响应评价,数据蒸馏.
- 内容节制:政策在规模上应用,同时附带福利因素。
请求在其中提供参考项目 打开 模式, 时间 打开 。相邻的经验比大多数类别的信号要弱得多。
3. 供应商采用什么样的劳动力模式,是否保留了注释员?
劳动力模式比工具更能决定质量稳定性。 现有三种大模式,大多数企业方案都需要一支有专业承包商组成的管理型劳动力队伍,以进行审查。
| 型号 | 强 力 | 弱点 |
|---|---|---|
| 人群开放 | 弹性,廉价,快速开始 | 高调, 域任务薄弱, 可变 IAA |
| 管理自有中心的劳动力 | 可训练、可保留、可审计、安全 | 慢慢地发展成全新的技能 |
| 专家承包商 | 深域权限 | 消耗性有限吞吐量 |
揭示真相的问题: "你对一个我们长度的项目的 注释员保留率是多少, 当项目组翻转时, 质量会怎样?" 每个复杂的分类学都有学习曲线; 一个高通量的销售商 反复支付曲线, 你支付它 重修。
4. 斜坡和高峰期的吞吐量如何表现?
稳态吞吐量是容易的数字;坡道时间、高峰行为和平行限制是重要的数字。要求有效吞吐量而不是交付量。
- 倾斜时间 以您的体积达到完全质量, 包括有吞吐量的时期, 但是IAA还没有稳定。
- 峰举举. 6个星期的三倍量会怎么样?质量轨迹审查员的负载, 大约有一个周期的滞后。
- 平行主义的限制。 有多少不同的任务可以同时运行而不竞争同一个训练有素的人才库?
Effective throughput = Items delivered × First-pass acceptance rate ÷ Cycle time
有效吞吐量是指交付的物品数量,乘以第一通道的接受率,除以周期时间. 供应商交付 100,000 每周项目数 70% 接受为a 70,000- 供应商收取 100,000,这也是为什么 大规模注解费用 应在接受的项目上进行比较,而不是标题单价。
5. 供应商是否涵盖贵国的语言,包括资源匮乏的语言?
对于基础模型工作,语言覆盖往往是约束性的制约因素,每个供应商都涵盖英语、普通话、西班牙语、法语和德语;节目由泰国、越南、印度尼西亚巴哈萨、塔加洛格、孟加拉语、斯瓦希里语、阿拉伯语方言和远尾音决定。
测量覆盖范围为 每种语言的本地语言代表人数, 位置, 而不是支持语言的计算。 对于语言工作, 特别要询问语言内部的方言和口音覆盖: 完全基于河内语的“ 越南” 能力不是越南语的通用覆盖, 由此形成的模型将显示它。 管理中 低资源语音数据 之所以存在这些方案,正是因为这一长长的尾巴无法从通用名册中找到。
资源匮乏的语言有第二个要求:供应商需要一种来源方法,而不仅仅是一个名册。 问他们如何以他们目前没有覆盖的语言招聘和验证发言者,以及需要多长时间。
对于基础模型培训数据,覆盖面和一致性比原始数量更重要,一个内容广泛、语言、方言、人口和边缘案例都一致地标注在经版本的准则之上,其业绩超过了从最容易来源收集的更大内容。 问任何潜在的供应商如何衡量覆盖面,而不只是他们能提供多少。
6. 供应商是否具备执行专家任务的专业领域专门知识?
医学成像,法律,金融,工程和安全关键驱动情景需要理解内容的注释员,而不仅仅是工具。 询问域评人如何获得资格,资格是否经过核实或自我宣布,当注释员不确定时,升级路径是什么。
升级路径是信息部分. 一个没有定义“我不知道”路线的程序会产生自信错误标签,这些标签比漏洞更具破坏性,因为它们在接受检查中是看不见的。
7. 供应商如何处理安全、隐私和数据储存?
要求证据,而不是徽章。每个安全索赔都应该用文件、指定设施或指定子处理器回答。
- 数据储存和处理在何处,而且工作可以限制在指定的法域或特定设施?
- 哪个子处理器触摸它,他们的名字?
- 物理控制 安全的房间,没有个人设备,没有可移动的媒体。
- 访问模式: 最少特权,轮换时撤销,审计日志.
- 证书: 要求证书和范围说明,而不是标志. ISO/IEC 27001证书只涵盖其范围描述的信息安全管理系统,因此覆盖一个企业总部的证书对完成你工作的送货中心没有任何说明.
- PII 处理和删除路径 ,在项目结束时,确认。
该 企业说明的安全、隐私和合规要求 更深入地运行于这个核对表,但不能清楚回答这六点的供应商也不会回答更深点的供应商。
8. 由谁的工具来操作工作,数据如何移动?
有两个可行的模式:供应商的平台,或者你的平台由员工操作。 两者都很好;模糊性不是。
澄清谁拥有注释工具,你的团队是否在读取正在工作,以及数据的实际移动方式:格式,计划版本,API或批量传输,以及中项目分类学变化如何传播.
询问供应商能否运作 打开 。一个只能在自己的平台内工作的供应商,将产生您在签名时同意的转换成本。
9. 供应商如何管理变化、边缘案件和争端?
治理是将两年伙伴与单一项目供应商分开的标准。 它涵盖了分类学变化的版本、模糊项目去处、准则由谁拥有以及如何解决对一个批次的分歧。
- 分类学变更管理. 真实项目更改中空定义 。 询问修改的版本是如何的 , 先前标签的数据是重新标记还是标记为先前的版本, 以及谁付费 。
- 边际案件处理。 模糊不清的项目在哪里,谁作出裁决,决定如何成为准则更新而不是部落知识?
- 准则所有权。 写、改版、分享 还是在项目经理的头上?
- 解决争端。 当对批次是否与谱面相遇有分歧时,在成为商业争论之前,过程是什么?
如何权衡这九项标准?
重量质量衡量最高,为20%,然后是模式,劳动力保留和多语种覆盖分别为15%和10%,而吞吐量和保障率为10%,其余三个为5%。 加权是调整约束性的起始框架,而不是普遍排名。
| 标准 | 权重 | 请求的艺术 |
|---|---|---|
| 质量衡量 | 20% | 每项任务的质量定义、金套协议、最后一个季度数字 |
| 方式和任务适合 | 15% | 引用您音量模式中的参考项目 |
| 工作人员队伍模式和留用 | 15% | 留任率;团队更替的质量行为 |
| 吞吐量和坡道 | 10% | 径向曲线; 峰值行为; 有效吞吐量 |
| 多语种覆盖率 | 15% | 每种语言的注释人人数,包括地点 |
| 领域专门知识 | 5% | 资格认证方法; 升级路径 |
| 安全和居住 | 10% | 附有范围说明的证书;居住选择 |
| 工具和整合 | 5% | 格式和计划处理; 运行工具的能力 |
| 治理 | 5% | 准则的制定;分类变化和争议程序 |
试运行一个付费的实验,然后投入量,覆盖数千个项目,包括你最难的边缘案例和至少一种困难的语言,并在同一个框架上给实验者评分。 试运行显示坡道行为和升级质量,而没有任何建议能够做到。
怎么样 Lifewood 采用这些标准?
Lifewood 通过在自有的交付中心管理下的劳动力而不是开放式人群来提供注释,这是适合长期实施的方案和复杂的分类模式,因为学习曲线一次性支付并保留。
范围包括上述模式:LLM工作,包括RLHF、SFT和响应评价;计算机视觉,包括2D/3D盒、分区和自动驾驶和医疗成像的键点;语音和NLP,包括多语种的转录和带有低资源语言和区域方言特色的语音标签; 对话-AI培训数据;内容节制;以及现场数据收集。 AI 数据服务 以两个独立审查证衡量,SLA的准确度为95%。
多语种的立场是结构立场:100+语言,30+国家的40+交付中心,以及拥有56,000+注册捐款人的全球集合,其中区域本土说明人而非远程近似。 AI-数据传统延续到2004年;聘用范围包括前沿模型实验室、语音AI开发者、AI计算供应商、计算机视像供应商和自主移动方案,客户身份通过协议予以扣留。