簡短回答： 機器人註釋並不是在更大的尺度上自主駕駛的註釋——它要求註釋者從演員自己的角度來描述一對手對一個物體,一個幀,三個維度的動作. 這意味着手持標籤、接觸狀態過渡、任務分割和負擔說明,每個都帶有自己的準則和審查者。 正確性越來越慢,需求增長最快的地方也越來越難。
核心重點
- 機器人註解與驅動註解是不同的學科,而不是更大的版本: 駕駛問場景中有什麼,機器人問手對物體做了什麼.
- 2026年實體-AI計劃中的瓶頸是數據質量和覆蓋,而不是模型架構或計算,根據覆蓋該部門的多個市場分析師.
- 愛果中心視頻——從穿戴者自己的角度捕獲的鏡頭——很重要,因爲它與機器人掛載的相機所看到的相匹配,而第三人稱鏡頭則教人識別而不是表現.
- 5種標籤類型來自相同的鏡頭——手姿、接觸狀態、視線和近距離、任務劃分和負擔——每種類型都需要自己的準則、金色鏡頭和審查者。
- 承受力是五種中最難的:數據集經常將其與對象函數或與目標相關的動作混淆,大多數都完全忽略了人類的運動能力.
爲什麼機器人數據突然變得如此龐大?
因爲人造機器人不再被演示。一旦機器人在真實生產時間表上進入真正的倉庫,瓶頸就會從模型架構轉移到數據上——數據必須由人來收集。
放大從幾個方向一次可見. 圖AI在2026年1月報道,其BotQ設施已經交付了350多臺圖03單元,並將生產從每天一個機器人提升到每小時一個. 特斯拉於同月在弗雷蒙開始Optimus Gen 3生產. 覆蓋該部門的分析人員將2026年描述爲對企業實體-AI方案的制約從架構和計算轉向數據質量和分佈範圍,對經過精心整理的實際世界示範數據模型的培訓超過了對模擬數據的培訓,甚至比模擬數據模型的10倍。
興趣也越來越高了 US 物理搜索的月搜索量 AI" 長得差不多 35x 在12個月內,在人造物方案、公開源碼政策發佈和工廠式數據管道的到來取代被動的網絡刮刮的驅動下,購買者實際採購的是以自我爲中心的視頻、遠程操作痕跡、操縱演示和評價套件,並附有商業權利和同意品——同樣的學科 Lifewood 適用於整個 自動驅動註釋,傳感器許可和同意跟蹤對於交付同樣至關重要。
時 Lifewood 兩年前,機器人調查意味着LiDAR和捆綁箱, 和後面的工作一樣 頂級自主驅動註釋程序現在它從可穿戴、手跡追蹤和接觸狀態開始,幾乎總是以一個問題爲結束,即一個供應商可以收集多少國家和廚房。
自我中心註解究竟涉及什麼?
給機器人自己所看到的而不是外人所看到的貼上標籤。 單一的制約會改變下游的一切。
愛高中心視頻 是從穿戴者自己的角度拍攝的鏡頭,與機器人掛相機而不是旁觀者的角度一致. 接受第三人稱鏡頭訓練的模型學習識別外部動作;接受自我中心鏡頭訓練的模型學習表演,因爲它展示了手,接觸的瞬間,機器人會看到精確的像素,一到它就會看到. 這就是爲什麼自我中心抓獲 成爲了高效的方式 擴大操縱數據集 不購買更多的機器人, 多式聯運數據說明 紀律用於同步視頻,深度和音頻在其他域中.
所產生的數據集很大,一個數據集特別重置了預期。 Apple 以 Vision Pro 建造 EgoDex : 829 小時 30 橫跨Hz自我中心視頻 194 桌面操作任務, 使用 SE(3說明 25 使用校準攝像機和視障裝置跟蹤裝置 SLAM它將語言註釋、相機外觀和無動於衷的註釋結合在一起,而以前提供的數據集中沒有一個是這種組合。
其他人則去工業規模的工作。 2026,捕獲 2,153 工廠工人,跨越實際工業場地: 1.08 1080p和30fps的億幀, 164TB,第一個以自我爲中心的數據集,完全收集在工廠而不是家庭或實驗室。 UC 聖地亞哥, ETH 蘇黎世 MIT 和Meta Reality Labs, 撰稿 1,362 小時數 1,965 任務, 240 場景和 2,087 多國示威者,多機器人聯合訓練,最多可取得 30% Ego Scale在人類數據量和驗證損失之間展示了一個對數線性縮放定律,這一損失與下游機器人的性能密切相關——實際上,更有說明的人類演示可以可靠地購買更好的機器人,這就是收集能力成爲商業制約因素的原因。
五個不同的標籤類型都來自相同的鏡頭,每個鏡頭都有自己的故障模式,指南和審查器:
| 標籤類型 | 註釋者所製作的 | 爲何政策很重要 | 困難 |
|---|---|---|---|
| 手擺姿勢 | 雙手按立體排列的組合姿勢,指向 | 精細精度,只限手腕或抓手跟蹤無法提供 | 硬件輔助、審查繁重 |
| 聯繫方式 | 聯繫開始和結束的確切框架,每個對象 | 無法從自己的角度檢測到聯繫人的政策在放置時失敗 | 實在是模棱兩可 |
| 迷宮和近距離 | 顯示器的外觀; 抓取的空間關係 | 方法階段錯誤造成抓取失敗 | 需要同步抓取 |
| 任務分割 | 原子動作邊界和自然語言描述 | 讓語言條件化的政策規劃指示可以啓動 | 準則敏感 |
| 支付 | 物體的哪個區域提供何種行動,以及掌握 | 啓用對訓練中從未見過的對象的概括 | 劇集最難的 |
將這五條作爲一項任務,用一條準則和一個註釋者來對待,是這個領域最常見的錯誤.
爲什麼給付得起的標籤是難的?
因爲定義本身有爭議,大多數數據集都以相同的三種方式將其弄錯了.
支付 行動可能性的概念:一個特定對象允許某個角色根據對象的物理屬性和演員的運動能力來完成。原則上有用,在實踐中滑動。 東京大學的研究人員提議一個自我中心動作視頻的註釋計劃,他們發現現有數據集中三個反覆出現的問題:他們將支付與物體功能混合在一起,將支付與目標相關動作混淆,他們完全忽略了人類的機動能力. 他們提出的固定把與目標無關的運動動作和抓取類型結合起來作爲標籤,並增加了機械動作的概念,以捕捉兩個物體之間可能發生的事情——這個準則問題與所覆蓋的工作密切相關。 撰寫註釋準則,供註釋者實際遵循.
讀作註解,影響迅速着陸,刀的功能正在切. 它的承受力包括被握住手柄,被捏住刀片進行交接,並用掌壓下——不同的標籤,一個不將它們分開的指南產生一個數據集,其中"刀"指每個註釋者當日所假定的"刀"的意思. 實地直接承認了短缺:負擔研究仍然面臨數據稀缺、概括性差和向現實世界部署困難,而且特別缺乏載有精確分區圖的大規模負擔數據集。
從以自我爲中心的視頻中自動提取的支付能力正在推進,應當使用,但它繼承了同樣的定義問題——自動管道只與其所建的標籤計劃一樣連貫。 這就是人類的層次,也是紀律的。 標註員間一致性 以黃金組合計量,賺取成本。
將工作方案與停頓工作方案分開的做法,完全分爲兩欄:
| 實際可行的做法 | 方案未受阻礙的地方 |
|---|---|
| 每個標籤類型單獨編寫準則,不是所有五個文件的一則文件 | 將支付價作爲對象函數的同義詞 |
| 採集前同意並繪製了 Grasp 分類圖 | 模糊的接觸框靜默地解決了 |
| 第二審審 算 員 的 聯繫 狀態 裁定 | 一個國家或一個機構類型的示範人才庫 |
| 同步的多模式抓取:視頻、深度、音頻、目視 | 一個標註員,在同一個片段上標註所有五種類型 |
| 各種環境與示威者——廚房、工廠、國家 | 從未看到真正工作空間的僅實驗室收藏 |
| 來源地取得的同意工藝和商業權利 | 交付後發現的第一人稱鏡頭中的PII |
機器人接受過狹義的演示多樣性的訓練,他們也概括了這種描述。 人類示威者是感應器;他們像感應器一樣被招募並校準。
縮小規模之前隊伍應該得到什麼?
鮮豔的部件,大多,而且比感覺需要的時間要早: 隱私處理和演示多樣性,兩者都比改造便宜得多.
聯繫方式 是一個手或工具開始和結束與物體物理接觸的註解的時刻,它是管道中最有爭議的標籤,因爲邊界框架往往真正模糊。 將它按規模弄錯在交貨後修補費用昂貴,這就是爲什麼它與隱私一起屬於在開始收集之前而不是審查期間要解決的事項清單。
以愛高心爲中心拍攝的鏡頭記錄着穿戴者所看到的一切,包括面孔,屏幕和無人同意的文件. 端到端的PII清除、符合要求的存儲和全面審計線索已成爲企業買主的臺標,ISO 27001和SOC 2現在是機器人採購中的基線要求,而不是不同者——這與本條目中涵蓋的相同。 企業說明的安全和合規性重新整理收集後會很痛苦,有時是不可能的。
由20名研究生在一個實驗室收集的數據集, 提出了在實驗室裏有效的政策。 驅動真正進步的數據集走錯了方向: 成千上萬的示威者,數百場景,多個國家。這是一個物流問題, 然後再是一個註釋問題, 也是跨網絡的傳輸網絡的工作。 40+ 中心在 30+ 國家是用來在真正不同的廚房、車間和倉庫裏招募示威者的,有當地語言的情況介紹,因此任務指示在各地的意義是一樣的,並得到同樣的支持。 驗證 將紀律適用於交付前的每個數據集。
在縮小收集範圍之前,方案應:
- 首先寫出付薪計劃 分離功能 與目標有關的動作和運動承受能力 將抓取分類法固定在前面
- 將這五種標籤類型分成專業審查員,每類都有自己的準則和金幣。
- 書面的斷結規則和對有爭議的聯繫框架的二審裁決。
- 一種故意的多樣化的示範池, 跨越手掌,手掌大小,身高,工作風格,文化和環境。
- 捕獲時獲得的同意和商業使用權,而不是事後重建。
- 管道本身中含有PII的去除,在交付後沒有栓塞。
- 用於姿勢的自動預標籤,人類判斷保留給接觸和支付.
- 模擬和現實世界的結果相互對照,因爲所編譯的真正示範數據甚至比十倍規模的模擬訓練都好。