简短回答： 视频注释不是图像注释乘以帧数,而购买方式是类别中最昂贵的错误。 成本和质量都活在时间里:身份的持久性跨帧、隔离和重返规则、插值政策以及按序列而不是抽样框架进行的审查。 比较提供者,了解他们如何保存跟踪ID,如何解决拆分和合并,以及QA是每个帧还是每个序列.
核心要点
- 跟踪对象是经过时间延伸的单一标签,因此一个身份错误可以腐蚀每个帧的音轨触碰,而帧级的即时检查仍然通过.
- 在第一个剪辑之前必须确定七项准则规则:跟踪ID持续性、隔离期、分拆和合并、插值政策、事件界限、出入以及剪辑边界。
- 视频注释质量必须按顺序进行衡量,在报告帧水平准确性的同时,报告轨迹破碎、ID开关和轨迹完整性。
- 一个有用的视频试验项目有意包括过境、完全隔离、重复的帧式输入、不利条件以及至少一个足够长的片段,以便分拆给各注释者。
- 帧计数是追踪工作的不良计费单位,因为审查和身份分辨率,而不是帧,主导成本.
大型视频注释包括什么?.
大型视频注释涵盖了一个物体、事件或行为在时间上被跟踪而不是被一个静态图像标注的每一个标签任务。服务跨越跟踪、分块、关键点、事件、行为和多相机同步。
跟踪物体是经过时间延伸的单一标签,在物体出现的每一帧中都有一个持续的身份. 视频注释的难度都来自此定义。 静态图像中的错误会影响一个图像。 音轨中的错误会影响每个音轨的触碰, 这就是为什么视频数据集能够通过帧级的即时检查, 并且仍然无法使用。 已经知道购买者的 如何购买大型图像注释 将发现时间层是变化所在。
- 触发式跟踪 ——物体横跨框架,带有持久的识别特征。
- 跨框架的分割 ——通过运动和隔离保持语义或实例口罩.
- 关键点跟踪 ——定位和标志性跟踪,能见度变化框架可框.
- 活动和行动确认 ——标注正在发生的事情,而不仅仅是现在发生的事情.
- 时间事件标签 ——事件始末界限,比听起来更难判断.
- 行为和意图标签 ——需要经过时间背景培训的注释员进行背景判断,而不仅仅是几何学.
- 多相机同步 ——同一物体在观点和时间戳上一致确定.
购买者应该对视频注释提供者进行比较吗?
购买者应该比较供应商的时间一致性、帧密度处理、隔离规则、行为标签、序列级QA、平行和传感器同步。 引用每个帧和每个帧的审查的供应商没有理解可交付性。 购买者应该比较一个时间一致性、帧密度处理、隔离规则、行为标签、序列级QA、平行和传感器同步。
| 买方标准 | 何必这么重要 | 强力的送货看起来像什么 |
|---|---|---|
| 时间一致性 | 一个物体必须保持一个跨框的身份 | 跟踪规则和身份持久性得到明确验证 |
| 框架密度 | 高帧率迅速增加工作量 | 使用内插和取样,但不致丧失所需的精确度 |
| 隐蔽处理 | 对象消失和重现 | 准则界定了重新识别和跟踪延续 |
| 行为标签 | 行动和意图需要根据具体情况作出判断 | 接受过时间背景培训的注释者,而不仅仅是几何学 |
| 视频QA | 传播数百帧错误 | 对序列进行的审查,而不是随机的单个框架 |
| 平行 | 长片段会产生巨大的任务量 | 平行剪贴,不打破轨道标识或准则一致性 |
| 传感器同步 | 融合工作需要跨模式身份 | 摄像机、LiDAR、雷达和音频标签,以时间戳为单位 |
对于自动驾驶和机器人方案,通常由传感器同步行决定短名单; 顶级自主驱动注释公司 基本上在它上排行
在第一个片段被附加说明之前,必须存在哪些规则?
7条准则规则必须在开始注释前写下:跟踪ID持续性、隔离期、分拆和合并、插值政策、事件界限、出入口和剪辑边界。 视频准则在这些具体、可预测的地方失败。
- 追踪ID持续。 如果一个物体离开框架并返回, 它是否恢复其原始的ID? 在什么条件下?
- 闭塞期. 一个对象在轨道终止前可能隐藏多少帧而不是继续?
- 分化兼化. 两个重叠和分离的物体——如何解决身份问题?
- 内向政策. 哪些可能介于关键框架之间,哪些必须直接贴上标签。 内插法(Interproduction)是自动估计一个物体在两个人类标记的键框之间的帧上的位置. 它是合法节省成本和系统错误的合法来源,而这种错误完全取决于运动特性。
- 事件界限。 行动开始和结束时,要有容忍。 没有明确的容忍,事件标签的公证人之间协议就会很差,没有人知道这是准则问题还是公证人问题。
- 出入处. 部分进入框架边缘的物体,以及开始标记的可见折射阈值。
- 剪接边界 。 当一段长视频被分解给各条注释者时,身份是如何调和的——这是并行工作中追踪腐败的最常见来源.
普通纪律 撰写注释准则 适用;这七项规则是永远不必说明的静态准则。
如何衡量视频注释的质量?
视频注释质量按顺序进行测量,除了帧级精度外,还使用轨迹破碎,ID开关和轨迹完整性等时间度量,帧级精度是必要的,也是不充分的.
时间尺度来自CLEAR MOT的度量衡,该度量衡在跟踪器对物体随时间推移而不断贴标签的能力以及每帧精确度的分数。
- 轨迹分割 ——一个单一的真对象被分割成多个轨道的频率.
- ID 开关 ——两个物体经常在穿越或被隔离后交换身份. ID开关是追踪错误,指定给一个对象的身份被转移到另一个对象.
- 轨迹纯度和完整性 ——真轨的分数被一个预言的轨迹覆盖,反之亦然.
- 逐序接受。带有3个ID开关的序列可能具有99%的正确帧,无法使用。
- 事件标签上的边界错误,在框或毫秒内报告,以反对所述容忍。
Effective throughput = Sequences delivered × Sequence-level acceptance ÷ Cycle time
注意单位: 序列,而非帧。 供应商报告跟踪工作的框架级接受度是报告隐藏其实际故障模式的度量。 独立 AI 数据验证 对照一套黄金的全跟踪序列 是最干净的检查供应商自己号码的方法
如何设计一个视频飞行员 找出失败?
有用的视频实验中,有一部分是故意的,包括了跟踪中断的镜头:交叉、完全隔离、重复的帧式输入、不利条件、拥挤的场景和足够长的片段,可以分辨给注释者。 一个干净、清晰、人烟稀少的镜头实验中,没有任何东西可以衡量。
包括,故意:
- 由两个相似对象交叉并分离的序列.
- 一个序列,一个对象在一个可变时期完全被占据并返回。
- 带有物体在帧边缘反复进出的序列.
- 不利条件:夜,雨,光,运动模糊,分辨率低.
- 场面拥挤 颗粒性水平的正确程度 真正可以论证
- 至少一个长的序列——足够长,必须分成各条注释者.
- 如果传感器在范围,则镜头和LiDAR观点不一致的片段.
然后分数轨道破碎,ID开关和升级行为,而不仅仅是箱质量。 自动驱动数据注释要求 指南列出了对驾驶方案最重要的特定场景类型。
如何定价视频注释?
视频注释应该由跟踪真实成本驱动器的单位定价,用于跟踪工作的是审查时间和身份分辨率,而不是帧计数. 每一个帧定价诉讼只符合可预见对象计数的一致镜头.
| 情况 | 更好的单位 |
|---|---|
| 一致的镜头,可预测的物体计数 | 每段视频或每帧 |
| 跟踪与隔离和场景变化 | 每小时或每个项目 |
| 长连续管道 | 以保留资格订阅 |
| 事件和行为标签 | 每小时 |
| 多传感器同步工作 | 每个序列或每个项目 |
无论单位,都同意"跟踪对象"在签字前的计费含义,一个跨越200帧的标点就是一个经过时间延伸的标点——但它也是200帧的审查,双方需要定价同样的解释. 图像、视频和3D/LiDAR注释定价指南 显示时间性工作如何改变预算。
怎么样 Lifewood 接近大型视频注释?
Lifewood 视频的注释是管理下制作而不是工具,而对于时间工作来说,这具有特殊意义。 持续的视频管道需要人员,而人员在安静的一周内无法分批,跟踪一致性取决于保留注释员而不是弹性能力。
已出版 自动驱动注释 工作包括感知、预测和驱动数据——时间上复杂的视觉任务,其中身份持久性和行为标签是可交付的,而不是改进的。 视频与静态,文本,音频和3D点云工作坐落在同一个节目内,因此一个计划可以跨模式延伸,而无需重新贴标签,也不需要你本体学的第二解释.
质量治理是控制流畅随着视频节目增长而增长的部分:多阶段的“人与人”审查与“人与人”审查 95%+ 准确率 SLA,但低于门槛的批次按Lifewood的成本重新施工。 40+ 跨省服务中心 30+ 国家 输入 100+ 语言,对于现场会议、标志和口语内容为当地内容的市场的行为和事件标签,这一点很重要。
其他可信的供应商包括: Sama,其出版的视频注释指南强调时间背景、注释者协议和对安全关键计算机视觉的纪律性做法; iMerit,其视频注释服务涵盖整个闭塞和重返、机器人操纵数据和LiDAR-camera聚变的物体跟踪;以及 TELUS Digital,用于购买者在地面真相工作室内部的视频框架注释,即其多式联运注释平台。选择一个专家,在其中,项目狭隘地以技术视频感知为中心,专家在受控飞行员上的绩效优于该专家; Lifewood 数字 Sama 计算机视觉注释的比较 说明每个地方的合适之处。