简短回答： 在对象上购买图像注释,而不是图像 。 四个问题分别提供方:他们在一个一致的准则(框,多边形,分割,键点,属性)下支持哪一个几何美特;他们是否按照对象密度而不是文件计数来范围;如何占据,模糊和模糊的对象;以及工作份额得到二次通过审查. 一个供应商,如果引用每个图像而不询问每个图像的平均对象,就给出了假设的价格,而这种假设是风险。
核心要点
- 图像注释应当对每个对象进行范围化和定价,属性字段分别定价,因为对象密度差异远大于图像计数.
- 大规模图像注释有六个任务家族:分类,边框,多边形和分块,键点,每个对象属性,以及文本在色谱的抄写.
- 封装、切换、最小尺寸、模棱两可的类对、组对象和无法使用的图像的边框规则必须在第一批之前写入准则。
- 质量应当使用IoU在规定的阈值上进行每个对象类的测量,F1按类别进行测定,对主观属性进行偶然修正的约定,并有已知的审查率.
- Lifewood 数据技术通过管理下的员工队伍提供图像注释 95%+ 准确度 SLA, 50+ 语文和 40+ 跨省服务中心 30+ 国家。
大规模图像注释实际上包括什么?
大规模图像注释涵盖六个任务家庭,其劳动特征和失败模式各不相同,一个有能力的提供者在一个指导文件和一个分类法下运行所有六个。
图像注释(Image anotation)是将结构化的标签,形状或属性添加到图像的过程,这样计算机视觉模型就可以学习每个区域包含的内容. 图像注释是AI数据中最商品化的外观服务,也是最容易买到的劣质. 交付品看起来与好坏相同:贴有标签的数据集如期到达,通过抽查,而且其中错误的成本在几个月后似乎是一个模型,在标签最弱的区段表现不佳。
六个任务家庭是:
- 分类 ——每个图像一个或多个标签,每个单位最便宜;在分类模糊而不是执行上失败.
- 2D 边框 积分工作马 藏物规则和小远物都失败了
- 多边形和分块 语义和实例:每个物体的劳动量的几倍;在注释者之间的边界一致性上失败。
- 关键点和姿势 具有显著性规则的标志性位置,在显性公约未得到充分规定时失败。
- 属性 ——每个对象属性:颜色,状态,调值,隐蔽级,方向. 例行成本低,因为每个对象六个属性字段是比赤盒子在物质上更大的工作.
- OCR-样式标签和文字在现场 ——图像内部文本的复制,包括非拉丁文字和右到左文字,其中分化行为不同.
提供商可以管理一些井,并将其余的分包给您,您可以不告诉你,对本体学进行第二次解释。同样的分类学还包含在配套指南中。 购买大型视频注释.
购买者应该对图像注释提供者进行比较吗?
购买者应该根据七个标准来比较提供者:注释几何、对象密度范围界定、边缘大小写处理、质量控制、比例行为、安全性以及图像文本的本地阅读器。 其它所有东西,包括工具、转换和标题单位率,都位于下游。
| 买方标准 | 何必这么重要 | 强力的送货看起来像什么 |
|---|---|---|
| 注释几何 | 地理美因族在劳动力和人口方面各不相同。 QA 多次增加次数 | 方框、多边形、分区和按一致准则排列的键点 |
| 对象密度 | 清晰的图像乘以注释和审查努力 | 以对象和复杂度进行定义,而不是图像计数 |
| 边缘案件 | 隐蔽、模糊和模糊 破坏模型质量 | 书面升级和裁定程序 |
| 质量控制 | 系统错误在数百万个对象之间重复 | 具有可衡量接受目标的多阶段审查 |
| 缩放行为 | 企业项目包含数百万个目标 | 训练有素的劳动力,在不出现质量崩溃的情况下爬坡 |
| 警卫 | 图像包含面部、文档、专有环境 | 出入控制和受控生产流程 |
| 图像文本 | 非拉丁文和RTL 脚本需要本地阅读器 | 范围中的脚本的母语注释员 |
关于适用于不同模式的清单,见 9项选择AI注释服务的标准; 计算机视觉工作上, 与命名的提供者并列, 请参见 比较计算机中人-在“Loop”的视觉注释提供者.
在引用前如何指定对象密度 ?
在向任何销售商索取价格之前,在至少200个真实制作图像的随机样本上测量对象密度,记录每幅图像的中位数、第90百分位数和最大对象。
对象密度是指某一图像在给定的本体学下包含的标记对象的数量,而正是该变量决定了注释努力量远大于图像计数. 测量它是一个图像注释采购中价值最高的单一小时。
- 从真实制作数据中随机抽取至少200张图像——而不是一个被整理的演示集.
- 将每个图像的物体数到一, 包括你不确定的物体。
- 记录中位数,九成数和最高值.
- 每个对象计算属性字段。
你可以用已知的乘数要求每个对象的定价, 你可以发现报价假设你的数据没有密度的供应商。 CVAT所公布的独家注释项目成本分析假设: 23 每个图像的对象 100,000 图像 - 2.3 百万个可计费对象—— 提醒人们注意文件计数是简要中信息最少的数字。 图像、视频和3D/LiDAR注释定价指南.
在第一批之前,应界定哪些边缘情况规则?
第一批前的指南中包含7条规则: 隔离阈值,截断,最小尺寸,模棱两可的类对,组对象,图像质量底,以及一个注释者无法分类的对象的路线.
多数图像注释争议不是关于权限的,而是从未写过的规则。在准则文件中解决这些争议:
- 隐蔽阈值. 物体停止标记的可见分数是多少?
- 断断. 被框边切割的物体——贴上标签,贴上旗帜,还是跳过?
- 最小尺寸。 低于哪个像素维度的物体是超出范围?没有这个,便由注释者的耐心设定你的门槛。
- 粗细的课对. 你团队争吵的两门课 说出他们的名字并给出裁决规则
- 组对象. 人群、产品架子、堆积物——单独还是作为一个区域?
- 图像质量层. 何时被否定为无法使用而非标签不良的图像?
- 未知 。 问曰: 注释员发送的是什么他们真正无法分类的东西?一个没有“我不知道”路线的程序会产生自信错误的标签,这比漏洞更糟糕,因为它们在验收中是看不见的。
写这些规则,让新的注释员以经验丰富的方式应用这些规则,是其自身的技能;见指南 撰写注释准则,供注释者实际遵循.
如何测量图像注释的质量?
图像注释质量应当使用IoU在规定的阈值下,F1按类别,对主观属性的偶然修正协议,以及已知的二传检定率,对每个对象类别进行测量.
不接受一个精确度百分比。 跨联盟(IoU)是预测的框或多边形将参照物除以两个形状共同覆盖的总面积的面积相重叠的区域,因此1.0值表示完美的匹配,0.5表示合并区域重叠的一半. 要求,每个对象类别:
IoU = Area of overlap ÷ Area of union (geometric tightness)
F1 = 2 × (Precision × Recall) ÷ (P + R) (detection quality)
- 离线 对于箱和多边形——0.5是用于正确检测的经典PASCAL VOC栏,对于任何与安全相关的事物来说,它都是弱的栏;说明每个类所需的阈值。
- F1 按类别,因为一个集合数字以大型,简易,精密的物体为主.
- 概率修正协议 (Cohen's kappa或Krippendorff's alpha),用于任何主观属性.
- 属性精确度 以几何精确度计算,它们独立失效。
质量在尺度上的重要性不成比例,因为数百万个物体之间重复出现的小的系统错误会扭曲模型行为在一个一致的方向,而这个方向比随机噪声更难发现.
二通检是接受作品前由不同的注释员对完成的注释进行独立检查. 要求审查率:有多少工作得到二次审查,如何选择样本?随机取样和风险加权取样对相同的费用产生截然不同的保证。 Lifewood的,因为 AI 数据验证服务 措施审查通过时,将参照客户核准的一套黄金。
买东西之前你应该问什么问题?
八问暴露了在承诺量前的细长过程,最有资料的问到提供商去年最差的质量事件.
- 你现在需要哪些注释 哪些在18个月内?
- 我们的数据中每个图像的物体中位数和百分数是多少?
- 您指南中如何定义隔离、 截流、 最小大小和组对象 ?
- 二次通过审查的工作百分比是多少,如何选择样本?
- 同样的计划能否在不给图像集重新贴标签的情况下延伸成视频或3D?
- 如何在大型团队中推行准则修改,谁支付重新贴标签的费用?
- 对于包含非拉丁文字文本的图像,谁读的?
- 去年你在一个图像节目上 出了什么最糟糕的质素事件 之后又有什么变化?
最后一个问题是信息最丰富的问题。 以实际数量运作的供应商发生了事故;声称其他情况是新、小或非计量的供应商。
怎么样 Lifewood 接近大型图像注释?
Lifewood 通过在自有交付中心管理的员工队伍而不是开放式人群来提供图像注释,涵盖合同下的分类、箱、多边形、分区、关键点和属性标签 95%+ 准确度 SLA.
管理型劳动力模型适合具有复杂分类学的长期方案:你的本体学的学习曲线一次性支付并保留。图像工作与视频、文本、音频和3D点云工作在同一方案内,因此,一个计划可以跨模式延伸,而无需第二个供应商和第二个解释(关于本体的全范围)。 AI 数据服务页面).
质量框架是合同框架:a 95%+ 准确率 SLA 并配备经过训练的注释员,高级二等座评审,自动一致性检查和客户反馈循环,低于门槛的批次以Lifewood的成本重新工作.
对于载有文字、标志或文化上具体内容的图像, 100+ 语言 区域内部的注释员 40+ 跨省服务中心 30+ 国家 问题比买家所期望的要多——非拉丁和右对左脚本作品需要读过剧本的人,而不是翻转形状的人.
图像重度方案的其他可信提供者包括: Sama将服务定位于人行影像、视频和三维注释; TELUS Digital,用于需要注释与地面真相工作室和可配置工作流程相结合的购买者; Scale AI,用于围绕其数据引擎建造的高度技术化的计算机视线管道。如果飞行员证明您的具体任务在实质上质量或经济学上都比较好,则选择一个较窄的专家。 AI 大型数据注释和标签公司.