简短回答： 图像,视频和3D/LiDAR注释不应该从相同的单价中预算. 成本随几何和审查努力而上升,而不是文件计数:分类最便宜,盒和键点加劳力,分块增加边界精度,视频增加时间一致性工作,3D/LiDAR增加空间解释加交叉传感器审查. CVAT已公布的例子 23 每个图像的对象 100,000 图像显示文件数是如何隐藏工作量的。预算按几何和 QA 每一个对象的尝试,然后在真实的样本中验证。
核心要点
- 注释成本尺度,以对象数,每个标签的几何和审查深度为单位,而不是以图像或剪辑的数量为单位.
- CVAT出版的外包实例假设: 23 每个图像的对象 100,000 图像, 大致生成 2.3 百万个注释对象。
- 视频注释比图像注释成本更高,因为轨道身份,隐含和插图规则创造了静态图像中不存在的序列级审查工作.
- 3D和LiDAR的注释又花费了更多的钱,因为注释者将立方体放在三根轴上,加上小点云上的 ya,并把它们调和到相机,LiDAR和雷达上.
- 一种可论证的多式联运预算模式,每种模式针对每件资产的计量对象,然后增加一次入职、修改准则和重修规定。
为什么大多数注释预算都是用错误的数字来编制的?
大多数注释预算都是从一个文件数乘以一个不同数据集引用的速率来构建的,而这个数字只持续到第一个发票。实际驱动成本的数字是对象数、每个标签的几何和质量目标要求的审查深度。
对象密度是指在买方自身本体学下根据生产数据测量的每件资产标注对象的平均数量,是大多数注释预算所假定的而不是衡量的单一数字.
该指南规定了各种模式的相对成本结构、为什么每个模式都以这种方式行事、以及在预算执行之前应衡量什么。 Lifewood指南 数据注释定价模型,它涵盖每个对象,每个小时和每个项目收费的一般条件;这个帖子是关于模式本身如何移动成本的.
说明费用如何因任务类型而异?
注释努力以可预测的顺序上升:图像分类最便宜,边框和键位成本更高,多边形和分区成本更高,视频跟踪和3D点云坐高端,传感器聚变和专家医学注释坐极顶端. 绝对率取决于语言,地理,质量目标和安全要求,所以有用的比较是相对的.
为什么每个图像的价格会误导?
每个图像的价格会误导,因为工作量生活在图像内部的物体,而不是图像本身,而对象密度因数据集之间的数量顺序而异。 有两个项目的文件计数相同,在可计费劳动方面可以有十倍的差异。
CVAT对外承包说明的公布成本分析假设: 23 每个图像的对象 100,000 图像, 创建大约 2.3 百万个单个注释对象。将这个比例改为 5 和同一文件数成为 500,000-对象工程。 将其修改为 60 变成一个 6- 百万对象项目,文件数没有移动 。
在接受任何逐个图像引用之前,请做如下:
- 从实际生产数据中随机抽取至少200件资产,而不是一个被整理的演示集.
- 计算每个资产在你自己本体学下的对象.
- 记录中位数,九成数和最高值.
- 如果九成分数超过中位数的两倍, 成像定价正在将真实风险转移给某人, 并且它会在你的发票或供应商的质量中解决。
同样的操作适用于属性。 带有23个盒子的图像是一份工作; 带有23个盒子的图像每个带6个属性字段的图像是一份大得多的图像。 Lifewood的指南 比较数据注释供应商报价 覆盖如何使使用不同单位的引文正常化。
为什么视频注释比图像注释要贵?
视频注释的成本更高,因为同一对象必须保持同样身份,覆盖数百个帧,并且错误沿序列传播,而不是停留在一个图像中。 这创造了结构性的回顾工作,而不仅仅是更多的帧。
时间一致性是要求标注对象在出现时的每个框架,包括封存和重新输入时,保持相同的轨道身份,类别和属性.
视频注释不是图像注释乘以帧数。 附加的工作是结构的 :
- 身份坚持. 同一对象必须在整个序列中携带相同的音轨ID。 这不仅仅是一个标签问题, 也不是一个清晰的平行: 将一个片段分割到两个注释器上就是音轨身份的断裂方式。
- 出入处. 对象出现、离开和返回。该准则必须定义返回对象是否恢复其原始对象 ID,而注释者必须坚持使用 整个小时的镜头。
- 隐蔽规则。 物体在轨道终止前可能隐藏了多长时间,以及两者间框会怎样.
- 内向政策. 关键框架之间可能存在哪些插值,哪些必须直接贴上标签。 侵略性插值是合法的成本节省和系统性错误的合法来源,完全取决于运动特征。
- 序列级评议. 数百帧的错误被传播,因此,对随机单个帧的审查几乎一无所获。 需要按顺序进行审查,每审查一个数据单位,其成本会更高。
对于自动驾驶和机器人数据集,增加同步相机和传感器标签,将以上所有数据乘以传感器数量.
为什么3D和LiDAR注释要花费更多?
3D和LiDAR的注释成本更高,因为人类必须解释稀疏或吵闹的点云,在包括黄牛在内的三轴中准确定位立体,并保持观点和时间的一致性。 传感器聚变在其中增加了一个跨模式的调节步骤。
传感器聚变注是指同一物理物体的标签,该标记一致地横跨相机,LiDAR和雷达数据,这样一个身份将一个2D盒,一个3D立方体和一个雷达返回连接起来.
远地点和反射物体可能还原少数点,此时,注释者在推断而不是观察,准则必须说明何时允许推断,何时排除物体,何时升级。
当相机,LiDAR和雷达被合并时,跨模式审查既增加了劳动要求,也增加了错误的后果。 一个有正确相机盒,正确LiDAR立方体和它们之间不匹配的特性的物体教给模型两个几何美图描述不同事物,这比缺失的标签更糟糕. 有关该成本的任务规格载于Lifewood指南。 自动驱动数据注释要求.
如何建立可辨证注解预算?.
预算工作可以从每个目标计费对象和努力而不是从档案中进行,然后增加审查、重做、入职和修改准则的规定作为单独的项目。 省略的两条项目大多是入职和修改准则的津贴。
审查乘数是用于为某一精确目标所需的二次通过和审计工作供资的基本人工成本的系数,随着所涉类别的质量门槛和安全临界度的提高而增加。
Billable objects = Assets × Mean objects per asset
Base labour cost = Billable objects × Unit rate for that geometry
QA and review cost = Base labour cost × Review multiplier for your quality target
Rework provision = Base + QA, ÷ Expected first-pass acceptance rate
Total programme cost = Rework-adjusted cost + Onboarding + Guideline change allowance
入职和校准是每个供应商每个分类学都出现过的实际成本。 改变准则津贴是真正的成本,它每次你的ML团队学到一些东西都会出现,而健康方案往往会出现。
| 预算项目 | 通常省略了吗? | 典型触发 |
|---|---|---|
| 每件资产差异的物体 | 是 | 制作数据中的场景 |
| 每个对象属性字段 | 是 | 试运行后肿瘤扩张 |
| 序列级视频评论 | 是 | 跟踪身份错误发现较晚 |
| 交叉传感器对账 | 是 | 增加2D方案的综合工作 |
| 登机和校准 | 有时 | 新销售商或新分类 |
| 准则修改和重新标签 | 几乎总是 | 任何真正的研究方案 |
| 保障费或居住费 | 有时 | 客户或监管任务 |
本指南中所有引用的数字都是针对具体情景公布的第三方实例,它们不是行业平均值,也不是行业平均值。 Lifewood 价格。 价格。
怎么样 Lifewood 采用多式联运说明定价办法?
Lifewood 范围是每个项目的多式联运方案,而不是公布收费卡,因为图像、录像和三维工作的成本结构差异太大,无法减少到一个数字。
覆盖整个文本、图像、音频、视频和三维点云工作,意味着一个提供者可以持有一致的图案和 QA 定义从2D到视频,然后进入传感器数据。替代方案是第二个供应商、第二个登机和同一肿瘤学两个解释之间的永久调节任务。 Lifewood的,因为 AI 数据服务 及其与《公约》有关的程序和机制 自动驱动注释 服务覆盖了LiDAR,相机和雷达标签,并配有聚变对齐.
质量框架是合同框架,而不是描述的:a 95%+ 准确率 SLA,对照客户核准的黄金套, 两份独立审查证 带有时间戳式批准记录、自动一致性检查和客户反馈循环,低于门槛的批次按Lifewood的成本重新工作。对于多式联运工作,这一点特别重要,因为失败模式因方式不同而不同,一个汇总数字会隐藏这些模式;要求按方式和对象类别报告接受情况。
跨度 40+ 分娩中心 30+ 国家 支持需要持续在多个生产地点配置人员的大量方案,这是连续的视频和传感器管道所需要的,因为不能在一个星期内进行分批。 Lifewood列表 顶级自主驱动注释公司.