科技行者 2026-11-22 00:42:18
2024年底,OSWorld这个基准测试出现时,很多人以为通用电脑操作智能体的好日子快来了。毕竟GPT-4V能看图了,能点按钮了,能在屏幕坐标上找东西了。结果两年过去,榜单最靠前的纯图形界面智能体,成功率还在30%到40%这个区间里挣扎。同一批模型,换个基准,成绩又能翻倍。
你可能不知道,就在这样的背景下,有一批研究者做了一件很像"自废武功"的实验:他们把一个成功率34%的图形界面智能体,直接给它加上了执行代码的能力,然后测它的表现。答案掉到了32%。
给工具,反而变笨了。这件事听起来离谱,但它恰恰是OS-Helix这篇论文的起点。
先说清楚这篇论文在谈什么。计算机操作智能体*:指能够像人一样操作电脑、完成打开软件、编辑文件、填写表格、查资料这类开放式任务的AI系统。它们的输入是屏幕截图和用户指令,输出是鼠标键盘动作。过去两年,这个方向的主流做法几乎都是纯图形界面路线:看屏幕,想一下,点一下。
问题出在哪?论文在开篇就把瓶颈说得挺直白。
屏幕上的按钮有的是小图标,有的是纯色文字,有的被弹窗遮住一半,视觉定位一旦出错,后面全盘皆输。更麻烦的是另一类任务:一张有八百行的表格要按条件重新分类,或者一批PDF要按规律命名下载。用鼠标去点,哪怕支持批量操作,也笨重得像拿筷子夹米粒。
于是很自然有人想到:那给智能体一个终端不就行了?代码能一口气处理几百行数据,能循环批量操作,能在几秒内完成人类要点五分钟的事情。这个想法,几乎所有做智能体的团队都试过,具体做法是在推理阶段挂一个工具调用接口。
论文用一句话终结了这个思路:仅靠提示词层面的工具拼装,得不到真正的图形界面与代码协同。
那句话在摘要里就写了,但真正支撑它的,是论文第二页那张表。34%到32%,两个百分点的下降,背后是行为模式的整体漂移。模型不是"多了个工具随便用用",而是被这个新工具带跑了。
为什么?论文的解释是:基座模型此前长期只在纯图形界面上训练,它学到的决策边界里,根本没有"什么时候该切到代码"这一项。你突然往它的动作空间里塞进一个完全陌生的选项,它没有对应的先验知识来判断这个选项的适用场景。于是一些原本该点鼠标的地方,它开始尝试写脚本。脚本一失败,任务就崩了。
这里有个很关键的判断,也是整篇论文的原点:
协同能力不是接口问题,是策略问题,必须通过训练内化进模型里。
换句话说,你不能指望一个从没学过"两条路怎么选"的司机,拿到导航仪就会开山路。路线判断这件事得先在他脑子里长出来。
接下来的问题就变成了工程性的:要让模型学会这件事,你得先有大量"手眼配合"的示范数据,而这些数据在现实里几乎不存在。没人会把自己编辑表格的过程录下来还标注好每一步的心理活动。所以论文的第一大块贡献不是算法,是造数据的基础设施。
先说这个叫应用与素材组合的机制。
大概意思是,研究者把一台Ubuntu虚拟机的桌面拆成两个可以自由拼装的零件库。一边是45款应用,从LibreOffice三件套到GIMP、Blender、Wireshark、PyCharm,都固定了版本号和启动命令。另一边是真实文件素材库,docx、pptx、xlsx、pdf、mp3、blend、dxf,来源都是公开语料,比如TableBench的表格、DocVQA转出来的PDF、SWE-bench的项目目录。
两边之间连着一张兼容性图。谁和谁配得上,不是随便决定的,而是按"这个应用能不能打开这种格式"来画边。一个.pptx文件可以连到LibreOffice Impress,也可以连到WPS演示,两条边都成立,具体走哪条由应用配置里记录的初始化概率决定。比如PyCharm的配置写着:10%的概率空着启动,90%的概率带着一个Python项目启动,路径从素材库里随机抽。
类比一下。这就像一家餐厅的后厨备料。厨师不是每天现场洗菜切菜,而是有一个恒温冷库,里面按菜品分好了一袋一袋的净菜,标着保质期和做法。客人点单,厨房按菜单去取对应那一袋,两分钟出菜。如果不这么干,每个新任务都从"装系统、装软件、找文件"开始,一台机器半小时才能准备好一个样本,一天下来产出几十条数据,根本不够训练一个27B参数的模型。代价是要提前把兼容性规则一条条写清楚,新加一款软件就得补一份配置,但这笔一次性的成本换来的,是可以并行开上百台沙箱、批量复现同一初始状态的能力。
有了环境还不够,任务指令得有人写。这一步论文用了一个很有意思的设计:探索智能体。
它的工作方式是这样的。抽一个应用,打开,看看里面有什么文件,点两下、滚两下、看看界面长什么样,然后退出来,基于它看到的真实状态,写一条像人话的任务指令。整个过程限制在只读操作上,不许输入文字,不许保存,不许改任何东西。为什么这么严格?因为它一旦动了状态,后面生成的标准答案就不成立了。
更巧的是全局应用记忆这个机制。系统会给每个应用记一本账,写明"哪些功能已经被出过题了"。比如LibreOffice Calc的透视表已经用过三次,下次探索就优先去看条件格式。没有这本账会怎样?模型会反复出同一种题,八千条指令里有两千条是"把A列求和填到B1",多样性直接塌掉。论文后面有个消融实验专门测了这一点,我们稍后会说。
指令写完之后,还有一个独立的评估智能体接手。
这里的设计是刻意解耦的。指令一旦被接受就冻结,评估器只能看着这份冻结的指令去构造验证逻辑,不许回头改题面。这就像考试出题和阅卷必须分两个人:如果同一个人既出题又阅卷,他很容易不知不觉把题出成"只有自己那种解法能得分"的样子。
评估器的构造遵循一个叫一切都是文件的原则。
凡是能落成文件或者命令行可读状态的结果,都尽量物化成虚拟机里的一个文件表示,然后用Python写的规则函数去打勾。网页上的东西可以下载下来序列化,内存里的结果可以导出,答案可以写成一个txt。真正没法程序化读出来的,比如画布上的排版效果,才交给视觉模型去判断。
规则评估器和视觉评估器的分数是分开记录的,不取平均,各自过各自的阈值,SFT阶段要求都在0.8以上。为什么不取平均?论文给了个很实在的理由:规则分数是按完成项加权算出来的细粒度分数,视觉分数是模型的一个整体印象,两套刻度根本不是一回事,硬平均等于拿摄氏度和华氏度求中间值。
再说强化学习阶段。
到这一步,模型已经通过监督微调学会了基本的动作语法,但还不会在两条路之间灵活切换。在线强化学习就是要它在真实桌面里反复试错,用评估器的分数当奖励。
然后研究者撞上了一个特别典型的问题。
训练进行下去,模型调用代码的比例稳步上升,任务成功率却在下降。论文的判断是:这不是学习率的问题,是奖励分配机制的结构性缺陷。
具体解释一下。在一个混合动作的训练样本里,一次点击可能只有几十个token,一段bash脚本可能有上千个token。标准的GSPO算法是把样本内所有token的对数重要性权重取平均,得到一个样本级别的比率,然后用这个比率去算梯度。问题是,那个上千token的代码步骤,在平均里占了绝大部分权重。
GSPO*:Group Sequence Policy Optimization,一种把整个序列的重要性权重聚合成一个标量比率的强化学习优化方法,相比逐token计算的PPO更稳定,但聚合方式会带来粒度失衡。
再用一个场景说明这件事的后果。假设你带一个实习生做项目,他每天干三件事:打两个电话,写一份两页的报告。你按字数给绩效,那么报告的贡献会压倒性地盖过打电话。半年后他学会了什么?他会把报告写到十页,因为那才计分。至于电话打得对不对,无所谓了。模型面对的情况一模一样:代码步骤天然字多,梯度里它说了算,于是模型学会了"多写代码",而不是"该写代码时写代码"。
论文给出的补丁叫步平衡GSPO。改动只有一处:聚合的时候,不再按token数量加权,而是先算出每个动作步骤内部的平均对数权重,再对所有步骤做等权平均。GUI步和代码步各占一份,都是1.0。
这一步在数学上带来的变化,论文在附录E里推得很干净:动作步骤k的聚合标量梯度系数,从原来依赖该步骤的token数,变成了与token数无关。这是一个可验证的性质,不是经验性的trick。
代价是什么?它放弃了对长步骤的天然重视,长代码里那些细节token的贡献被均摊了。论文自己也承认,这不等价于让不同长度动作的完整参数梯度范数相等,只是在标量系数这一层切断了长度依赖。所以它解决的问题是"漂移",不是"路由最优"。
数据上的对比很直接。用同样的SFT初始化、同样的采样策略、同样的奖励信号,标准GSPO把成功率从62.75%拉低到60.47%,代码动作占比从27.9%涨到40.0%。换成步平衡GSPO,成功率升到66.44%,代码占比26.1%,几乎没动。
现在说结果。
OSWorld-Verified是主战场,361个真实任务,Ubuntu环境,分操作系统、办公、日常、专业、工作流五个域。
| 方法 | 设置 | 操作系统 | 办公 | 日常 | 专业 | 工作流 | 平均 |
|---|---|---|---|---|---|---|---|
| OS-Symphony w/ GPT-5 | 混合 | 79.17 | 65.73 | 67.76 | 69.23 | 57.98 | 65.84 |
| Agent S3 w/ GPT-5 | 混合 | 77.50 | 66.46 | 61.23 | 69.80 | 51.37 | 62.63 |
| Claude Sonnet 4.5 | 图形界面 | 70.83 | 72.59 | 61.35 | 63.27 | 49.54 | 62.88 |
| Kimi K2.6 | 图形界面 | 79.17 | 80.03 | 77.11 | 81.63 | 54.97 | 73.07 |
| Qwen3.5-27B(复现) | 混合 | 66.67 | 39.26 | 58.79 | 49.96 | 38.29 | 46.50 |
| Qwen3.5-35B-A3B(复现) | 混合 | 69.57 | 40.94 | 46.21 | 52.22 | 31.01 | 42.84 |
| OS-Helix-35B-A3B | 混合 | 60.87 | 70.00 | 52.19 | 56.31 | 45.14 | **57.27** |
| OS-Helix-27B | 混合 | 75.00 | 72.60 | 58.32 | 56.49 | 54.28 | **62.75** |
| OS-Helix-27B-RL | 混合 | 82.61 | 69.14 | 65.01 | 79.59 | 53.32 | **66.44** |
看第一组数,最刺眼的是办公那一列。27B版从自家混合基线39.26跳到72.60,涨了33.3个点。工作流从38.29到54.28,涨了16.0。
为什么偏偏是这两个域涨得最多?办公域的任务通常是"把这份Calc表格的数据整理好,再导入Impress做成图表",里面既有需要看渲染效果才能判断的视觉部分,又有几百行结构化数据的精确变换。工作流域则是跨应用信息传递,你先在浏览器里查到一个数值,再到表格里填进去。这两类任务,纯鼠标和纯脚本都做不好,只有两条路配合才行。涨得最多的位置,恰好证明了能力的来源。
35B-A3B那行有个反常现象,操作系统域掉了8.7个点。论文没回避,但也没深挖,这本身值得记一笔。
跨平台迁移到WindowsAgentArena之后,27B-RL拿到63.87%,比Qwen3.5-27B的纯图形界面基线高23.05个点,也略微超过GPT-5驱动的OS-Symphony(63.45%)和Agent S3(54.10%)。注意这里有个前提:训练数据全是Ubuntu的,Windows上只用了纯Python的代码动作,Bash被禁用,需要命令行的地方改成在Python里调subprocess。
泛化是怎么发生的?论文的失败分析给了一个有意思的线索:剩下的差距主要不在策略层,在具体的系统命令层。模型经常选对了大方向,然后在写PowerShell的时候把Bash那种语法习惯混了进去。
消融实验里有几组特别值得看。
去掉SFT只做RL,成功率48.20%,比未训练的46.50%只高1.7个点。这说明SFT才是主力,RL是精修。SFT加RL一共66.44%,说明两者不重复,各管一段。
禁用推理时的代码访问,同一个OS-Helix检查点掉到52.13%。也就是说27.9%的代码动作贡献了10.62个点。把SFT数据从混合换成纯图形界面,规模同样是1万条,混合60.61%,纯图形界面57.56%,差3.05个点。这3个点说明的是:光有代码工具不够,得有人教过什么时候用。
还有一个更狠的对调实验。把Qwen3-VL-32B-Instruct的代码能力打开但不训练,成绩从34.17%掉到32.68%。同一个模型,同样的工具,训练过之后跳到50.56%,涨17.88个点。这组数据把"工具可得"和"策略学会"两件事彻底分开了。
现在看论文正文里的两张行为图,信息密度很高。
图3左半边讲效率。三根柱子并排比平均交互步数,全部任务上纯图形界面19.47步,混合基线21.01步,OS-Helix只要17.25步。右侧那条累积成功率曲线更清楚:横轴是允许的步数预算,纵轴是成功率,OS-Helix那条线从很左边就甩开了另外两条。用更少的步数,完成更多的任务,这是学会路由带来的效率红利,不是靠更大的模型硬算出来的。
图4左上一那张代码动作比例的曲线,是整个论文学术上最漂亮的一张图。红线是标准GSPO,训练步数往上走,代码占比从30%一路爬到50%还多,波动很大。绿线是步平衡GSPO,稳定在30%上下,几乎没有漂移。两条线在同一个起点出发,分道扬镳,这个对比把"结构缺陷"这个说法变成了可视证据。
论文还做了一个手动的轨迹审计,从30条工作流任务的成功轨迹里逐条检查模态切换。27条有实质性的跨模态交接,其中22条属于"一种模态验证或修复另一种模态的产出"。这个数字比总体成功率更能说明协同是真的发生了,而不是碰巧两条路都能单独过关。
其中最典型的一条:智能体先用代码生成了一张簇状柱形图,然后切回图形界面看渲染结果,发现只有Sales这一组数据,COGS那组丢了。这个问题在代码路径里是看不出来的,因为代码逻辑完全正确,错在库的默认参数。它看到图之后,回去改代码,补上第二组数据。
反过来的例子也有。先在幻灯片里手动加上批注、把标题加粗,然后用python-pptx读回文件验证,确认文本内容和粗体属性都落盘了。
最后说说这篇论文自己承认的窟窿,这部分反而比结论更值得读。
第一,评估器是脆的。一篇论文的最终状态如果要求"保留原始格式",而格式包括隔行底纹、货币符号、边框粗细,那么用代码路径做出来往往不难看但也不对,规则检查却可能因为这些细节把分数打成零。反过来,如果指令只写了"保留格式"没写清楚格式具体指什么,模型就会挑一个它更容易满足的解释。这不是模型的问题,是任务描述和验证覆盖之间的缝隙。
第二,策略在线强化学习里被完全排除了,因为视觉判断太不稳定,容易变成奖励作弊。这意味着训练任务池被限制在"能被脚本打分"的那部分,任务类型的多样性因此被压窄。
第三,强化学习只在27B的稠密模型上跑过。35B-A3B那个专家的版本在SFT阶段表现很好,但混合专家架构在训练和推理一致性、优化稳定性上带来的麻烦,让这个流水线暂时撑不住。论文把这一条明确列成了未来工作。
第四,也是我个人觉得最有意思的一条:数据合成流水线天然造不出不可行的任务。因为它从"可执行的目标状态"出发反向生成指令。结果是模型不太会主动说"这个任务做不了",它会一直试到步数耗尽。论文做了一个诊断,把两个基准里不可行的任务剔掉,平均成功率能抬高3到5个点。
这条观察往深处想一层:我们现在训练的这些智能体,学的是"如何把事做成",但真实世界里相当一部分工作恰恰是"判断这事做不成然后上报"。一个从不说"不"的助手,和一个会权衡后果再报价的顾问,差别不在能力,在敢不敢承认边界。而这条边界,恰恰是当前数据构造方式从结构上就排除掉的东西。
Q&A
Q1:OS-Helix是什么?
A1:OS-Helix是上海AI实验室等机构提出的计算机操作智能体,它把鼠标点击和代码执行统一在同一个策略里,让模型自己判断什么时候该点界面、什么时候该写脚本,在OSWorld基准上达到66.44%的成功率。
Q2:为什么给智能体加代码工具反而会让它变差?
A2:论文实测发现,直接给一个纯图形界面模型挂代码工具,成功率从34%掉到32%。原因是模型没有学过两种动作怎么权衡,原本该点击的地方开始乱写脚本,破坏了已经学会的行为,所以协同能力必须靠训练获得。
Q3:步平衡GSPO解决了什么问题?
A3:标准GSPO按token数聚合权重,长代码步骤会压倒短点击步骤,导致训练中模型越来越爱写代码、成功率反而下降。步平衡GSPO改成每个动作步骤等权,切断了梯度系数对token长度的依赖,使成功率从60.47%回升到66.44%。
【版权声明】本文内容来源于科技行者,版权归原作者及原媒体所有。本站仅作信息分享,不构成任何商业用途;如涉版权问题,请联系本站删除。
发布时间:2026-11-22 00:04:10
(第1/1页/共8168字/1阅)