简短回答： 其四层: 屏幕理解数据 教模型读取界面 地面数据 地图指示精确像素 跨步轨迹 教UI状态如何在动作下演化 推理痕迹加奖励信号 教每个步骤发生的原因. 供应组合跨越了专家人类演示,合成探索,布雷导师和教学视频——研究不断以相同的结论为依托:经过认真核实的人类数据比大得多的未经验证的蝎子的性能还要好.
核心要点
- 计算机使用代理人学习一个循环——读屏,找到目标,行动,跟踪变化——训练数据沿着相同的关节分解:理解,地面,轨迹,以及推理-加奖励.
- 轨迹数据教它状态: 人类演示的蝎子,如Mind2Web, AITW 财务报告和已审计财务报表 GUI-奥德赛的 7,700 交叉应用事件仍然是忠贞的标准,现在随着诸如隔离和动态内容等异常条件而扩展.
- 供应来自四行,经济学相反:昂贵的高性能人类示威、可伸缩的合成探索、地雷导读器和教学录像。
- 现场最近最明确的发现有利于质量:GroundCUA 3.56 百万个经人验证的说明 训练出匹配或击败系统 训练出更多数据
- 本类的质量是指像素精确的标签,状态一致的轨迹,独立的人文验证,跨平台覆盖,以及关闭最被公司忽略的多语种差距.
电脑用药到底在学什么?
计算机使用代理学了一个感知对动作循环:看到屏幕,找到目标,行动,跟踪变化。 其培训数据正是按照这些关节分解的,而不是作为一个数据集存在的。
A 计算机使用代理 是一个视觉语言模型,它被要求做一些没有网络主文直接教给的东西: 查看一个已实现的界面, 将像“导出报告作为PDF”这样的指令连接到数百个元素中的一个特定按钮, 执行一个低级动作——点击,键入,拖动,滚动,然后理解动作所产生的新屏幕, 连续几十次, 。该循环中的每个能力都独立失败:一个代理可以完美地描述屏幕,仍然点击目标剩下的40像素;它可以精确地按下并仍然不知道点击的顺序会实现一个目标;它可以执行已知的序列,并在弹出改变状态时崩溃。
这就是为什么GUI代理培训数据是一个堆,而不是一个单一的数据集:理解数据用于感知,定位数据定位,多步骤执行的轨迹数据,以及规划和判断的原理和奖励数据. ScaleCUA等框架使堆栈清晰,在任何训练开始前,将一组共享的截图和元数据精确地标注在这些任务家族中——因为模型最弱的一层,而不是它的平均值,设定了它能在真正的桌面上做什么. 每层都训练出不同的故障模式:感知,瞄准,执行和判断在部署的特工中独立失败.
4个核心数据类型是什么?
理解数据教读,定位数据教瞄准,轨迹数据教做,原理与奖励数据教做决定.
屏幕理解数据 覆盖描述一个元素的外观,提取其文本(参考OCR),推断其功能和意图,概括整个界面,并描述两个截图之间变化的特征. 缩放CUA的图解将这些作为元素级和截图级的任务形式化,包括屏幕过渡字幕——注意点击打开一个对话框——支撑下游的一切.
地面数据 地图语言可以以三种花纹显示坐标:点点落地(精确点击位置),定界框落地(选择式操作的区域),动作落地(将空间目标与运行它的低级命令连接). SeeClick, UGround,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,, OS-阿特拉斯,阿里亚...UI 和ScreenSpot-Pro, 互联网档案馆的存檔,存档日期2013-03-05. 1,581 跨高分辨率任务 23 专业行业披露了比消费者网页更难使用密集的专家软件。桌面的亮点是GuideCUA:由专家人类演示而建,跨越整个网络。 87 应用程序在 12 类别,56K截图,每张屏幕元素都附加说明,共计超过 3.56 百万人次的验证说明.
轨迹数据 由完整的剧集组成——指令,截图,带参数的行动,一步步的进行,并教一个接口状态的代理. Canonical sets是从人类演示中构建的: Mind2Web for web 任务, AITW 以Android为尺度, GUI-奥德赛的 7,700 移动事件,跨越跨应用程序工作流程,以及Android Control和 JEDI 将步骤与低级动作描述丰富起来, 将意图连接到可执行操作中。 强性变体现在添加了现实的混乱: 一个基准收集到 10,000 动作序列在7个异常条件下,包括隔离和动态内容变化,因为部署的屏幕很少表现得像干净的捕获.
理由和报酬数据 最新一层,培训每个步骤背后的原因:记录显示者所观察到、规划和预期的一步级自然语言原理——AITZ、Agent Trek、OS-Genesis和Aguvis背后的方法——以及奖励加强学习的信号, 从学习的奖励模型到最近训练后工作中使用的部分可核实的奖励. TongUI展示了改造模式:激励一个模型为256K现有样品生成一致的"想法",在点击的元素上设置视觉标记,这样原理和行动就无法分解.
培训数据来自何处?
4条供应线的运价是相反的经济学,现场最近的最明确的发现是,与未经核实的体积相比,经核实的人类数据比其体积要大得多。
人类演示设置了忠贞条。创建数据集 — Mind2Web, Android Control, GUI-Odyssey — 是由执行真实任务的人所建,因此他们捕捉自然互动模式而不是随机点击。 GroundCUA的协议是现代模板:注释者设计反映共同目标的日常任务,在开源应用程序中执行,每个元素都得到人验证的标签. 成本是整个领域围绕的制约——专家演示每集费用昂贵——但现在衡量回报:GroundNext, 培训专家驱动的数据,匹配或比照培训的模型,以获得更多数据,作者得出结论,高质量、专家驱动的数据集在推进通用计算机使用代理人方面发挥着关键作用。
合成管道购买规模. OS-Genesis通过由代理人驱动的探索,在学习的奖励模型的指导下提取轨迹; WebSynthesis在模拟的网络界面上运行世界模型制导搜索; GUI-ReWalk 结合了有意识的探索和意向推理; 使用模拟的网络界面进行世界模型制导搜索; 使用模拟的网络界面进行模拟搜索; 使用模拟的网络接口进行模拟搜索; 使用模拟的网络接口进行模拟搜索; 使用模拟的网络接口进行模拟搜索; 使用模拟的网络接口进行模拟搜索; 使用模拟的网络搜索; 使用模拟的网络进行模拟搜索; 使用模拟的网络; 使用模拟的网络进行模拟搜索; 使用模拟的网络; 使用模拟的网络进行模拟搜索; 使用模拟的网络; 模拟的网络; 模拟的网络; 模拟系统; 模拟的网络; 模拟的网络; 模拟的网络; 模拟的网络; 模拟的网络; 模拟的网络; 模拟的; 模拟的; 模拟的; 模拟的; 模拟的; 模拟的; 模拟的; 互联网上网络的管道已经成功地在49K URL 和 720K 截图上绘制了9,4K 的网络轨道,而根本没有人名注释。 交易在文件中是明确的:合成数据提供覆盖和量,需要验证层,正因为没有人看到。
教学和视频是睡眠者的来源。 互联网已经包含数百万个软件使用的演示, 软件使用完全没有标记为培训数据。 TongUI 地雷多模式网络导读器为 143K 可执行的轨迹; VideoAgentTrek 转换 39,000 无标签的教学视频进入 1.52 百万个推理与行动步骤——关于 26 其最后组合是对当前做法的有益快照:大致 26 视频上的十亿个符号, 8 人类和谐示威活动产生的10亿人口, 1 10亿对对有重点的地面——从发现的数据中得出比例,从人类数据中得出忠诚,从地面中得出精确度.
RL环境关闭了循环. OSWorld 双倍基准作为训练场:针对任务成功可核查的可执行环境加强后训练,持续改善代理,超越模仿,这使得可核查的任务定义和奖励功能成为他们自己的数据类型. 阅读如何 推理追踪数据教模型显示其工作 帮助解释为什么上面的原理层与动作标签一样重要.
质量对于这类数据意味着什么,如何产生?
质量是指像素精确的标签,符合状态的轨迹,独立的人文验证,覆盖跨平台,行业和语言的真桌面实际运行.
错误的容积是残酷的。在大多数注释中,略微松散的标签会降低统计值; GUI 数据,绘制边框 20 像素宽度教一个代理点点击错误的控制,一个错误的轨道步骤会毒害之后的一切,因为每个动作都给下一个状态带来条件。 这就是为什么最强的数据集用专家示威者、每个元素的验证和截图级审查来描述他们的管道,以及为什么“人验证”出现在数据集摘要中作为销售点,而不是脚注。 一致的标签标准也是主题。 说明人之间协议衡量标准 ,而同样的统计逻辑适用于 GUI 元素标签,用于其他注释任务。
覆盖是一个质量维度,而不是奖金。 消费者网页培训的代理商在密集的专业软件中偶然发现 — — 漏洞ScreenSpot-Pro的23个行业基准被建立出来以暴露 — — 而公司现在故意横跨Windows,macOS,Android和网络,加上隔离和动态内容等异常条件. 最安静的空白是语言:界面存在于每个脚本和语言,辅导和演示都大量地 skew英语,一个只拥有禁足英语标签的代理商从未真正看到过世界上大部分的屏幕.
在每个“专家驱动”数据集背后都有一个操作问题,即招聘了解软件的人,让他们执行自然任务,说明他们接触的每一个要素,独立核实结果。 AI 数据服务工作, 以及什么的形状 Lifewood 行业方面供应:任务示范和数据收集,通过各交付中心进行 40+ 分娩中心 30+ 国家、不同文本的元素级注释、图像和互动数据、 100+ 用于最差的corpora miss的语境,以及双层人入Loop审查——一个通过产生演示,一个独立通过验证每个标签与屏幕相对照——按每个单元的标准应用,这个类别要求的程序也取决于该标准如何执行。 更广泛的代理 AI 培训数据堆栈 组装和QA'd 之前,它曾经到达一个模型, 和在 多式联运注解管道 将截图、文本和交互日志合并为一个标签记录。这里还有一个生产规则很重要:真实工作的截图能捕捉到真实信息,因此,在单一框架达到训练运行之前,PII的洗涤和同意属于管道。
数字的谨慎:上述数据集大小、符号数和调查结果来自所引用的文件和储存库,并描述了这些具体的公司和模型。 “在更多数据方面训练的模型”等结果是作者提出的具体基准要求,而实地行动的速度足够快,今年的科技水平是明年的基准。 引用的论文是公开的,值得在任何具体数字的基础上再检查。