簡短回答： 其四層: 屏幕理解數據 教模型讀取界面 地面數據 地圖指示精確像素 跨步軌跡 教UI狀態如何在動作下演化 推理痕跡加獎勵信號 教每個步驟發生的原因. 供應組合跨越了專家人類演示,合成探索,佈雷導師和教學視頻——研究不斷以相同的結論爲依託:經過認真核實的人類數據比大得多的未經驗證的蠍子的性能還要好.
核心重點
- 計算機使用代理人學習一個循環——讀屏,找到目標,行動,跟蹤變化——訓練數據沿着相同的關節分解:理解,地面,軌跡,以及推理-加獎勵.
- 軌跡數據教它狀態: 人類演示的蠍子,如Mind2Web, AITW 財務報告和已審計財務報表 GUI-奧德賽的 7,700 交叉應用事件仍然是忠貞的標準,現在隨着諸如隔離和動態內容等異常條件而擴展.
- 供應來自四行,經濟學相反:昂貴的高性能人類示威、可伸縮的合成探索、地雷導讀器和教學錄像。
- 現場最近最明確的發現有利於質量:GroundCUA 3.56 百萬個經人驗證的說明 訓練出匹配或擊敗系統 訓練出更多數據
- 本類的質量是指像素精確的標籤,狀態一致的軌跡,獨立的人文驗證,跨平臺覆蓋,以及關閉最被公司忽略的多語種差距.
電腦用藥到底在學什麼?
計算機使用代理學了一個感知對動作循環:看到屏幕,找到目標,行動,跟蹤變化。 其培訓數據正是按照這些關節分解的,而不是作爲一個數據集存在的。
A 計算機使用代理 是一個視覺語言模型,它被要求做一些沒有網絡主文直接教給的東西: 查看一個已實現的界面, 將像“導出報告作爲PDF”這樣的指令連接到數百個元素中的一個特定按鈕, 執行一個低級動作——點擊,鍵入,拖動,滾動,然後理解動作所產生的新屏幕, 連續幾十次, 。該循環中的每個能力都獨立失敗:一個代理可以完美地描述屏幕,仍然點擊目標剩下的40像素;它可以精確地按下並仍然不知道點擊的順序會實現一個目標;它可以執行已知的序列,並在彈出改變狀態時崩潰。
這就是爲什麼GUI代理培訓數據是一個堆,而不是一個單一的數據集:理解數據用於感知,定位數據定位,多步驟執行的軌跡數據,以及規劃和判斷的原理和獎勵數據. ScaleCUA等框架使堆棧清晰,在任何訓練開始前,將一組共享的截圖和元數據精確地標註在這些任務家族中——因爲模型最弱的一層,而不是它的平均值,設定了它能在真正的桌面上做什麼. 每層都訓練出不同的故障模式:感知,瞄準,執行和判斷在部署的特工中獨立失敗.
4個核心數據類型是什麼?
理解數據教讀,定位數據教瞄準,軌跡數據教做,原理與獎勵數據教做決定.
屏幕理解數據 覆蓋描述一個元素的外觀,提取其文本(參考OCR),推斷其功能和意圖,概括整個界面,並描述兩個截圖之間變化的特徵. 縮放CUA的圖解將這些作爲元素級和截圖級的任務形式化,包括屏幕過渡字幕——注意點擊打開一個對話框——支撐下游的一切.
地面數據 地圖語言可以以三種花紋顯示座標:點點落地(精確點擊位置),定界框落地(選擇式操作的區域),動作落地(將空間目標與運行它的低級命令連接). SeeClick, UGround,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,, OS-阿特拉斯,阿里亞...UI 和ScreenSpot-Pro, 互聯網檔案館的存檔,存檔日期2013-03-05. 1,581 跨高分辨率任務 23 專業行業披露了比消費者網頁更難使用密集的專家軟件。桌面的亮點是GuideCUA:由專家人類演示而建,跨越整個網絡。 87 應用程序在 12 類別,56K截圖,每張屏幕元素都附加說明,共計超過 3.56 百萬人次的驗證說明.
軌跡數據 由完整的劇集組成——指令,截圖,帶參數的行動,一步步的進行,並教一個接口狀態的代理. Canonical sets是從人類演示中構建的: Mind2Web for web 任務, AITW 以Android爲尺度, GUI-奧德賽的 7,700 移動事件,跨越跨應用程序工作流程,以及Android Control和 JEDI 將步驟與低級動作描述豐富起來, 將意圖連接到可執行操作中。 強性變體現在添加了現實的混亂: 一個基準收集到 10,000 動作序列在7個異常條件下,包括隔離和動態內容變化,因爲部署的屏幕很少表現得像乾淨的捕獲.
理由和報酬數據 最新一層,培訓每個步驟背後的原因:記錄顯示者所觀察到、規劃和預期的一步級自然語言原理——AITZ、Agent Trek、OS-Genesis和Aguvis背後的方法——以及獎勵加強學習的信號, 從學習的獎勵模型到最近訓練後工作中使用的部分可覈實的獎勵. TongUI展示了改造模式:激勵一個模型爲256K現有樣品生成一致的"想法",在點擊的元素上設置視覺標記,這樣原理和行動就無法分解.
培訓數據來自何處?
4條供應線的運價是相反的經濟學,現場最近的最明確的發現是,與未經覈實的體積相比,經覈實的人類數據比其體積要大得多。
人類演示設置了忠貞條。創建數據集 — Mind2Web, Android Control, GUI-Odyssey — 是由執行真實任務的人所建,因此他們捕捉自然互動模式而不是隨機點擊。 GroundCUA的協議是現代模板:註釋者設計反映共同目標的日常任務,在開源應用程序中執行,每個元素都得到人驗證的標籤. 成本是整個領域圍繞的制約——專家演示每集費用昂貴——但現在衡量回報:GroundNext, 培訓專家驅動的數據,匹配或比照培訓的模型,以獲得更多數據,作者得出結論,高質量、專家驅動的數據集在推進通用計算機使用代理人方面發揮着關鍵作用。
合成管道購買規模. OS-Genesis通過由代理人驅動的探索,在學習的獎勵模型的指導下提取軌跡; WebSynthesis在模擬的網絡界面上運行世界模型制導搜索; GUI-ReWalk 結合了有意識的探索和意向推理; 使用模擬的網絡界面進行世界模型制導搜索; 使用模擬的網絡界面進行模擬搜索; 使用模擬的網絡接口進行模擬搜索; 使用模擬的網絡接口進行模擬搜索; 使用模擬的網絡接口進行模擬搜索; 使用模擬的網絡接口進行模擬搜索; 使用模擬的網絡搜索; 使用模擬的網絡進行模擬搜索; 使用模擬的網絡; 使用模擬的網絡進行模擬搜索; 使用模擬的網絡; 使用模擬的網絡進行模擬搜索; 使用模擬的網絡; 模擬的網絡; 模擬的網絡; 模擬系統; 模擬的網絡; 模擬的網絡; 模擬的網絡; 模擬的網絡; 模擬的網絡; 模擬的網絡; 模擬的; 模擬的; 模擬的; 模擬的; 模擬的; 模擬的; 模擬的; 互聯網上網絡的管道已經成功地在49K URL 和 720K 截圖上繪製了9,4K 的網絡軌道,而根本沒有人名註釋。 交易在文件中是明確的:合成數據提供覆蓋和量,需要驗證層,正因爲沒有人看到。
教學和視頻是睡眠者的來源。 互聯網已經包含數百萬個軟件使用的演示, 軟件使用完全沒有標記爲培訓數據。 TongUI 地雷多模式網絡導讀器爲 143K 可執行的軌跡; VideoAgentTrek 轉換 39,000 無標籤的教學視頻進入 1.52 百萬個推理與行動步驟——關於 26 其最後組合是對當前做法的有益快照:大致 26 視頻上的十億個符號, 8 人類和諧示威活動產生的10億人口, 1 10億對對有重點的地面——從發現的數據中得出比例,從人類數據中得出忠誠,從地面中得出精確度.
RL環境關閉了循環. OSWorld 雙倍基準作爲訓練場:針對任務成功可覈查的可執行環境加強後訓練,持續改善代理,超越模仿,這使得可覈查的任務定義和獎勵功能成爲他們自己的數據類型. 閱讀如何 推理追蹤數據教模型顯示其工作 幫助解釋爲什麼上面的原理層與動作標籤一樣重要.
質量對於這類數據意味着什麼,如何產生?
質量是指像素精確的標籤,符合狀態的軌跡,獨立的人文驗證,覆蓋跨平臺,行業和語言的真桌面實際運行.
錯誤的容積是殘酷的。在大多數註釋中,略微鬆散的標籤會降低統計值; GUI 數據,繪製邊框 20 像素寬度教一個代理點點擊錯誤的控制,一個錯誤的軌道步驟會毒害之後的一切,因爲每個動作都給下一個狀態帶來條件。 這就是爲什麼最強的數據集用專家示威者、每個元素的驗證和截圖級審查來描述他們的管道,以及爲什麼“人驗證”出現在數據集摘要中作爲銷售點,而不是腳註。 一致的標籤標準也是主題。 說明人之間協議衡量標準 ,而同樣的統計邏輯適用於 GUI 元素標籤,用於其他註釋任務。
覆蓋是一個質量維度,而不是獎金。 消費者網頁培訓的代理商在密集的專業軟件中偶然發現 — — 漏洞ScreenSpot-Pro的23個行業基準被建立出來以暴露 — — 而公司現在故意橫跨Windows,macOS,Android和網絡,加上隔離和動態內容等異常條件. 最安靜的空白是語言:界面存在於每個腳本和語言,輔導和演示都大量地 skew英語,一個只擁有禁足英語標籤的代理商從未真正看到過世界上大部分的屏幕.
在每個“專家驅動”數據集背後都有一個操作問題,即招聘瞭解軟件的人,讓他們執行自然任務,說明他們接觸的每一個要素,獨立覈實結果。 AI 數據服務工作, 以及什麼的形狀 Lifewood 行業方面供應:任務示範和數據收集,通過各交付中心進行 40+ 分娩中心 30+ 國家、不同文本的元素級註釋、圖像和互動數據、 100+ 用於最差的corpora miss的語境,以及雙層人入Loop審查——一個通過產生演示,一個獨立通過驗證每個標籤與屏幕相對照——按每個單元的標準應用,這個類別要求的程序也取決於該標準如何執行。 更廣泛的代理 AI 培訓數據堆棧 組裝和QA'd 之前,它曾經到達一個模型, 和在 多式聯運註解管道 將截圖、文本和交互日誌合併爲一個標籤記錄。這裏還有一個生產規則很重要:真實工作的截圖能捕捉到真實信息,因此,在單一框架達到訓練運行之前,PII的洗滌和同意屬於管道。
數字的謹慎:上述數據集大小、符號數和調查結果來自所引用的文件和儲存庫,並描述了這些具體的公司和模型。 “在更多數據方面訓練的模型”等結果是作者提出的具體基準要求,而實地行動的速度足夠快,今年的科技水平是明年的基準。 引用的論文是公開的,值得在任何具體數字的基礎上再檢查。