简短回答： 机器人注释并不是在更大的尺度上自主驾驶的注释——它要求注释者从演员自己的角度来描述一对手对一个物体,一个帧,三个维度的动作. 这意味着手持标签、接触状态过渡、任务分割和负担说明,每个都带有自己的准则和审查者。 正确性越来越慢,需求增长最快的地方也越来越难。
核心要点
- 机器人注解与驱动注解是不同的学科,而不是更大的版本: 驾驶问场景中有什么,机器人问手对物体做了什么.
- 2026年实体-AI计划中的瓶颈是数据质量和覆盖,而不是模型架构或计算,根据覆盖该部门的多个市场分析师.
- 爱果中心视频——从穿戴者自己的角度捕获的镜头——很重要,因为它与机器人挂载的相机所看到的相匹配,而第三人称镜头则教人识别而不是表现.
- 5种标签类型来自相同的镜头——手姿、接触状态、视线和近距离、任务划分和负担——每种类型都需要自己的准则、金色镜头和审查者。
- 承受力是五种中最难的:数据集经常将其与对象函数或与目标相关的动作混淆,大多数都完全忽略了人类的运动能力.
为什么机器人数据突然变得如此庞大?
因为人造机器人不再被演示。一旦机器人在真实生产时间表上进入真正的仓库,瓶颈就会从模型架构转移到数据上——数据必须由人来收集。
放大从几个方向一次可见. 图AI在2026年1月报道,其BotQ设施已经交付了350多台图03单元,并将生产从每天一个机器人提升到每小时一个. 特斯拉于同月在弗雷蒙开始Optimus Gen 3生产. 覆盖该部门的分析人员将2026年描述为对企业实体-AI方案的制约从架构和计算转向数据质量和分布范围,对经过精心整理的实际世界示范数据模型的培训超过了对模拟数据的培训,甚至比模拟数据模型的10倍。
兴趣也越来越高了 US 物理搜索的月搜索量 AI" 长得差不多 35x 在12个月内,在人造物方案、公开源码政策发布和工厂式数据管道的到来取代被动的网络刮刮的驱动下,购买者实际采购的是以自我为中心的视频、远程操作痕迹、操纵演示和评价套件,并附有商业权利和同意品——同样的学科 Lifewood 适用于整个 自动驱动注释,传感器许可和同意跟踪对于交付同样至关重要。
时 Lifewood 两年前,机器人调查意味着LiDAR和捆绑箱, 和后面的工作一样 顶级自主驱动注释程序现在它从可穿戴、手迹追踪和接触状态开始,几乎总是以一个问题为结束,即一个供应商可以收集多少国家和厨房。
自我中心注解究竟涉及什么?
给机器人自己所看到的而不是外人所看到的贴上标签。 单一的制约会改变下游的一切。
爱高中心视频 是从穿戴者自己的角度拍摄的镜头,与机器人挂相机而不是旁观者的角度一致. 接受第三人称镜头训练的模型学习识别外部动作;接受自我中心镜头训练的模型学习表演,因为它展示了手,接触的瞬间,机器人会看到精确的像素,一到它就会看到. 这就是为什么自我中心抓获 成为了高效的方式 扩大操纵数据集 不购买更多的机器人, 多式联运数据说明 纪律用于同步视频,深度和音频在其他域中.
所产生的数据集很大,一个数据集特别重置了预期。 Apple 以 Vision Pro 建造 EgoDex : 829 小时 30 横跨Hz自我中心视频 194 桌面操作任务, 使用 SE(3说明 25 使用校准摄像机和视障装置跟踪装置 SLAM它将语言注释、相机外观和无动于衷的注释结合在一起,而以前提供的数据集中没有一个是这种组合。
其他人则去工业规模的工作。 2026,捕获 2,153 工厂工人,跨越实际工业场地: 1.08 1080p和30fps的亿帧, 164TB,第一个以自我为中心的数据集,完全收集在工厂而不是家庭或实验室。 UC 圣地亚哥, ETH 苏黎世 MIT 和Meta Reality Labs, 撰稿 1,362 小时数 1,965 任务, 240 场景和 2,087 多国示威者,多机器人联合训练,最多可取得 30% Ego Scale在人类数据量和验证损失之间展示了一个对数线性缩放定律,这一损失与下游机器人的性能密切相关——实际上,更有说明的人类演示可以可靠地购买更好的机器人,这就是收集能力成为商业制约因素的原因。
五个不同的标签类型都来自相同的镜头,每个镜头都有自己的故障模式,指南和审查器:
| 标签类型 | 注释者所制作的 | 为何政策很重要 | 困难 |
|---|---|---|---|
| 手摆姿势 | 双手按立体排列的组合姿势,指向 | 精细精度,只限手腕或抓手跟踪无法提供 | 硬件辅助、审查繁重 |
| 联系方式 | 联系开始和结束的确切框架,每个对象 | 无法从自己的角度检测到联系人的政策在放置时失败 | 实在是模棱两可 |
| 迷宫和近距离 | 显示器的外观; 抓取的空间关系 | 方法阶段错误造成抓取失败 | 需要同步抓取 |
| 任务分割 | 原子动作边界和自然语言描述 | 让语言条件化的政策规划指示可以启动 | 准则敏感 |
| 支付 | 物体的哪个区域提供何种行动,以及掌握 | 启用对训练中从未见过的对象的概括 | 剧集最难的 |
将这五条作为一项任务,用一条准则和一个注释者来对待,是这个领域最常见的错误.
为什么给付得起的标签是难的?
因为定义本身有争议,大多数数据集都以相同的三种方式将其弄错了.
支付 行动可能性的概念:一个特定对象允许某个角色根据对象的物理属性和演员的运动能力来完成。原则上有用,在实践中滑动。 东京大学的研究人员提议一个自我中心动作视频的注释计划,他们发现现有数据集中三个反复出现的问题:他们将支付与物体功能混合在一起,将支付与目标相关动作混淆,他们完全忽略了人类的机动能力. 他们提出的固定把与目标无关的运动动作和抓取类型结合起来作为标签,并增加了机械动作的概念,以捕捉两个物体之间可能发生的事情——这个准则问题与所覆盖的工作密切相关。 撰写注释准则,供注释者实际遵循.
读作注解,影响迅速着陆,刀的功能正在切. 它的承受力包括被握住手柄,被捏住刀片进行交接,并用掌压下——不同的标签,一个不将它们分开的指南产生一个数据集,其中"刀"指每个注释者当日所假定的"刀"的意思. 实地直接承认了短缺:负担研究仍然面临数据稀缺、概括性差和向现实世界部署困难,而且特别缺乏载有精确分区图的大规模负担数据集。
从以自我为中心的视频中自动提取的支付能力正在推进,应当使用,但它继承了同样的定义问题——自动管道只与其所建的标签计划一样连贯。 这就是人类的层次,也是纪律的。 标注员间一致性 以黄金组合计量,赚取成本。
将工作方案与停顿工作方案分开的做法,完全分为两栏:
| 实际可行的做法 | 方案未受阻碍的地方 |
|---|---|
| 每个标签类型单独编写准则,不是所有五个文件的一则文件 | 将支付价作为对象函数的同义词 |
| 采集前同意并绘制了 Grasp 分类图 | 模糊的接触框静默地解决了 |
| 第二审审 算 员 的 联系 状态 裁定 | 一个国家或一个机构类型的示范人才库 |
| 同步的多模式抓取:视频、深度、音频、目视 | 一个标注员,在同一个片段上标注所有五种类型 |
| 各种环境与示威者——厨房、工厂、国家 | 从未看到真正工作空间的仅实验室收藏 |
| 来源地取得的同意工艺和商业权利 | 交付后发现的第一人称镜头中的PII |
机器人接受过狭义的演示多样性的训练,他们也概括了这种描述。 人类示威者是感应器;他们像感应器一样被招募并校准。
缩小规模之前队伍应该得到什么?
鲜艳的部件,大多,而且比感觉需要的时间要早: 隐私处理和演示多样性,两者都比改造便宜得多.
联系方式 是一个手或工具开始和结束与物体物理接触的注解的时刻,它是管道中最有争议的标签,因为边界框架往往真正模糊。 将它按规模弄错在交货后修补费用昂贵,这就是为什么它与隐私一起属于在开始收集之前而不是审查期间要解决的事项清单。
以爱高心为中心拍摄的镜头记录着穿戴者所看到的一切,包括面孔,屏幕和无人同意的文件. 端到端的PII清除、符合要求的存储和全面审计线索已成为企业买主的台标,ISO 27001和SOC 2现在是机器人采购中的基线要求,而不是不同者——这与本条目中涵盖的相同。 企业说明的安全和合规性重新整理收集后会很痛苦,有时是不可能的。
由20名研究生在一个实验室收集的数据集, 提出了在实验室里有效的政策。 驱动真正进步的数据集走错了方向: 成千上万的示威者,数百场景,多个国家。这是一个物流问题, 然后再是一个注释问题, 也是跨网络的传输网络的工作。 40+ 中心在 30+ 国家是用来在真正不同的厨房、车间和仓库里招募示威者的,有当地语言的情况介绍,因此任务指示在各地的意义是一样的,并得到同样的支持。 验证 将纪律适用于交付前的每个数据集。
在缩小收集范围之前,方案应:
- 首先写出付薪计划 分离功能 与目标有关的动作和运动承受能力 将抓取分类法固定在前面
- 将这五种标签类型分成专业审查员,每类都有自己的准则和金币。
- 书面的断结规则和对有争议的联系框架的二审裁决。
- 一种故意的多样化的示范池, 跨越手掌,手掌大小,身高,工作风格,文化和环境。
- 捕获时获得的同意和商业使用权,而不是事后重建。
- 管道本身中含有PII的去除,在交付后没有栓塞。
- 用于姿势的自动预标签,人类判断保留给接触和支付.
- 模拟和现实世界的结果相互对照,因为所编译的真正示范数据甚至比十倍规模的模拟训练都好。