简短回答： 没有单一的注解率,因为输出动脉动能驱动的时间远大于模式. COCO自己的测量结果 将一个边框放在 7 绘图秒,但 50.2 秒结束到每个实例结束—— 86% 其中,查找对象并进行分类,而不是绘制对象。多边形掩码大约是 122 秒到结束,大约 2.4× 框。 注释 COCO 2017年火车在 493 日数,用于箱和 1,204 用于相同图像上的口罩的日数。这些数字中没有一个可以按人头数来划分,以产生交付日期,因为审查、重修和坡道介于吞吐量和交付之间。
核心要点
- 同一图像可以根据输出的动脉动能进行7秒或2分钟的注释,这是送货时间段的最大单驱动器.
- COCO研究将边框画画按每例约7秒,50.2秒时完全端对端实例注解:分类标签28.8,如抽查14.4,箱7.0。
- 对象的标注和分类是实例时间的86%,所以预标签可以发现对象保存远不止于预标签可以完善几何.
- 多边形口罩每例约需79.2秒,或122.4秒结束,每箱约2.4倍;点基注10分,约需9秒,比面具快8倍以上.
- 名义容量不能交付:QA能消耗15-30%的时数,再工作能消耗两次时间,新组群坡道长达数周,全球劳动力无法在语言和任务上互换.
边框或多边形面具需要多长时间才能作注释?
边框在物体被找到后需要约7秒的绘图,但50.2秒的结束则在发现和分类后才包括;多边形的面具需要大约2.4倍于同一管道中的盒子. 注释吞吐量是指每个单位时间生成完成,审查实例的速度,并且根据请求的人工艺术,而不是图像内容,按数量级变化.
最有用的公布时间数据来自COCO数据集注释工作,因为研究人员记录的每集时间都足以作为基准。 使用极速点击技术的每个实例的边界箱运行大约7秒 — — 孤立地绘制时间。 整个管道编号更具有启发性:一个实例结束需要50.2秒,分类标签分为28.8秒,如观察14.4秒,以及盒子本身7.0秒。 盒子占总时间的14%; 发现和分类物体占另外86%。 范围界定时,这个比例很重要,因为找到和分类对象的预标签比在已识别对象周围绘制框的预标签节省的时间要多得多。
单是图纸,多边形口罩就长约79.2秒,或者说,一旦增加了分类标签和实例抽查,就结束122.4秒——大约是同一管道中一个盒子的2.4倍,大约是图纸成本的11倍。 点基注法,用10分对着一个现有的边框,每例约需要9秒,比多边形面具快8倍多.
整体视图使得具体差异。 COCO 2017年列车 - 118,287 包含图像 849,949 实例——计算时间为 493 几天的捆绑箱, 1,204 戴面具的日子,以及 582 点名注释日。图像、对象相同,在最快和最慢的动画之间,日历时间超过两倍。
说明的时间和费用如何跨越其他方式?
时间研究在计算机外的视野中更为细小,但任务复杂性的相对顺序在行业中是一致的,而且定价数据也密切跟踪它,因为价格大多是时间的代名词。 对于图像数据,复杂性从分类到边框和多边形注释,到语义和实例分解。 文本中,文档分类最快,其次是命名实体识别、情绪分析、关系提取和coference分辨率。 对于音频,转录是基线,其中的分化、情感标记和电话注释按此顺序增加成本。 对于视频,帧级任务将等效图像成本乘以帧数,跟踪增加了保持一个序列的一致性的间接费用。 对于3D数据,立方体和点云注释需要几何专业知识,并且始终是每个项目成本最高的类别——一个值得对照的起点。 按方式分列的全额定价细目.
定价可以证实订单: 诸如边框等基本标签运行于$0.03 减为美元1.00 ,而复杂的标签,如精确的语义口罩,则按美元计算0.05 减为美元5.00。3D立体起始于美元左右0.121 与美元相比0.036 显示深度、范围、标题和分区、多边形和3D点云工作的额外工作 10 改为: 50 训练有素的抄写员需要三到六个小时才能制作一个完整的抄写小时,经验丰富的注释员则以制作速度在复杂的城市LiDAR场景中工作,大致 8 改为: 15 优先配对是最难以诚实地衡量的任务类型:对短答的单调判断可以很快,而适用于长式响应的多调值则接近每对5至10分钟,任何人引用一个确定的数字而不懂得数字是猜想——见 优惠标题如何影响评分协议 是什么驱使了这种差异。
你为什么不把劳动力规模乘以小时率才能得到一个分娩日期呢?
你不能,因为至少有四个因素 将名义容量与交付容量分开: QA 高空、重修、加载和特定语言或任务可互换性。 用小时计算率乘以人头计算得出的数字看起来很精确,但与哪些船只几乎没有关系。
QA 管理费是实际能力,而不是浪费——进行同行审查和取样的方案可以花费 15 改为: 30% 时间是使产出能够使用的。 重修( L) 复工率10%的方案在QA管理费用之前,正在以大约90%的明显能力完成。 倾斜 是减速的,是升起的,QA 新的注释员组在达到经验丰富的生产率之前就已经工作,通常是在最初几周里完成某项任务。 并非每个工作人员都有资格完成每一项任务:网络是一个集合,从中得出一个特定语言、方式和规格的子集,因此,头条工作人员规模对于任何一项方案的执行速度来说都是一种差的代名词——决定时间是该特定语言和任务的深度,而不是整个网络的宽度。 70 改为: 80% 费用 QA 并重新做起管理费用, 对任何组别在第一个月实行进一步的坡道折扣。
是什么能加速注解的吞吐量?
真正移动时间线的杠杆是预贴标签,找到物体,而不是仅仅完善其几何,任务链,将忠诚与模型需要的匹配,以及成熟的准则. 鉴于COCO发现对物体的定位和分类是86%的例时,一种将候选人定位和分类的模式节省了远远不止一个只精炼已发现物体几何特征的模型——在缩放任何物体之前,值得加以应用。 模式辅助标签和积极学习 工作流程。任务链式——从完成的立体运行开始分解,或粗细的通道的细微注释——减少重复的工作,而平台能力在这方面的重要性超过注释器的速度。
在模型不需要精度的情况下,降低任务的复杂性是最未充分利用的杠杆:在箱内充分发挥作用时,指定多边形口罩的费用是模型无法利用的精确性说明时间的2.4倍,因此,将精度与实际模型要求相匹配是生产开始前值得进行的范围界定对话。 准则的成熟度同样重要——不明确的规格会产生重工,是大多数方案中最大的可回收效率低下,校准前期花费的时间直接转化为后期吞吐量;见。 如何写注解指南 注释者实际上遵循 反之,切换QA来达到最后期限通常会延缓交货,因为错误会在客户审查时浮出水面,而作为更大的重工批次返回。
在相信吞吐量估计之前,你该问什么?
有用估计取决于输出动脉、每个项目的例密度、准确目标、 QA 以及有多少贡献者实际上有资格完成这项任务和语言——而不是仅仅在数量上。 20-像素阈值,而不是“注意图像”,因为每层图像的速率只有在知道实例密度之后才会转换成每层图像的速率——城市驱动框架与 40 对象和乡村框架 3 询问需要何种精确度,如何测量:IoU阈值为 0.92,报告行业中自主驾驶和医疗的最低要求 AI,需要每个物体比松散的容忍性更有意义的照顾。 QA 系统是,因为采样率、同行审查和重修预期都来自能力,有多少贡献者有资格完成具体任务和语言,而不是网络大小。问是否需要一个新的组群,因为第一个月的交付率低于名义比率。一个供应商在引用数字之前就已经运行过程序,而仅引用量的供应商没有——作为标准依据的同一条。 在提供AI数据前进行分层质量控制 以及 QA 附加说明的数据所使用的金套和协商一致方法.
Lifewood 应用 95%+ 公证员协议 对照客户核准的黄金套数衡量阈值; 两份独立审查证 交货前附有时间戳式批准记录,即 QA 实际的吞吐量估计数必须说明而不是视为不方便才削减——在下文中详述了这一办法。 如何开设和训练新的注解中心 并反映于 大型AI数据注释中的供应商比较. Lifewood已登录的贡献网络 414,120 孟加拉国的培训时间 说明在2025年,斜坡和校准投资的规模与合格、任务特定组群相比,而不是原始人数。 购买者对混合方案的范围进行界定,还可以将单位率假设与更广泛的假设进行比较。 AI数据注释和验证的服务概览 或专用 AI 数据验证 承诺交付日期之前的程序。