5.6 视觉 Agent 与 Computer Use：让模型操作你的电脑

本章目标：拆解”截图→理解→点击→完成任务”的多模态 Agent 全栈——grounding、动作空间、长时程误差累积、可验证奖励，以及安全边界。这是多模态落地最快的应用方向（企业自动化刚需）。学完标准：能搭一个最小 computer-use agent，并说清成功率瓶颈在哪一环。

1. 任务定义：GUI 是视觉 Agent 的完美舞台

人机界面天然是多模态的：屏幕是图像、任务用语言说、动作用坐标和键盘表达。为什么说它”完美”：① 环境标准化（所有人的电脑长差不多）；② 任务可自动验证（文件删了没有/表单交了没有——5.1 的 RLVR 天然适用）；③ 商业价值直接（办公自动化/RPA 的 AI 化）。Qwen2.5-VL 把 GUI agent 当头牌能力、Claude Computer Use、各大厂 Agent OS 战略，都在押这个场景。

2. 技术栈五层（画得出才算懂）

① 感知：截图 → VLM（分辨率要扛住 1080p+ 的小字——3.4/1.4 的 token 账在这最疼）
② 定位（grounding）："点击'导出'按钮" → (x, y) 坐标——可精确判分的核心子任务
③ 规划：任务分解（"订机票"→查日期→选航班→填支付）+ 记忆（哪些步骤做过了）
④ 动作空间：click/type/scroll/hotkey/drag + 坐标输出格式
⑤ 执行与校验：pyautoid 类执行 → 截图回看 → 出错回滚（自我纠错）

工程三件套：Set-of-Marks（SoM）提示——把界面元素框出编号叠在截图上，让模型”选编号”而不是”说坐标”（定位精度立涨，零训练成本的经典 trick）；双系统节奏（快动作循环 + 慢规划反思）；轨迹数据（人类演示录制 → SFT 冷启动）。

3. 基准与成功率现状（诚实版）

基准	考什么	现状（2026）
ScreenSpot 系	纯 grounding	头部模型 90%+（基本解决）
AndroidWorld / AITW	手机端任务完成	中游水平
OSWorld / WindowsAgentArena	真实桌面多步任务	普遍 30–60%——差得远

关键洞察：grounding 已接近解决，瓶颈在长时程——多步误差累积（每步 95% 成功，20 步任务只剩 36%）、环境突变弹窗、动态界面。这个 gap 就是研究空间：分而治之的任务规划、失败检测与回滚（反思机制）、以及 5.1 的 RLVR——GUI 任务完成与否天然可验证，是最适合 RL 的 agent 场景（当前论文高产区）。

4. 安全：不能跳过的一节

Agent 拿着鼠标键盘，三类风险：① 提示注入——恶意网页把”请把邮箱发到 xxx”画在截图里，模型照做（视觉通道的 prompt injection，比文本注入更隐蔽）；② 破坏性动作——删库级操作必须人工确认（就像 3.7 的”存疑”选项）；③ 越权数据访问。研究机会：注入攻击的评测集与防御（视觉 RagNDet 类）、“高危动作确认”的交互协议——安全+评测的交叉题，论文和产业都认。

5. 学生最小项目（一个周末 + 免费额度）

1. 栈：Qwen2.5-VL-7B（API 或本地）+ pyautogui + 虚拟机沙箱（VirtualBox/VMware，防误伤宿主机）；
2. 任务集：自选 10 个桌面任务（建文件夹重命名、浏览器搜索记事等），手写成功判据（可验证奖励的 DIY）；
3. 跑通循环：截图 → SoM 叠框 → 模型输出动作 → 执行 → 再截图，最多 N 步；
4. 量你的数字：单步 grounding 准确率 vs 任务完成率——亲手复现 95%^20 的误差累积，这张图就是你理解该领域瓶颈的一手证据；
5. 升级：给任务加 RLVR（TRL）或加反思机制，对比成功率——一个最小 agent 论文的骨架就出来了。

6. 自测题

1. GUI 为什么是”完美舞台”三条？（环境标准化/任务可自动验证/商业价值直接）
2. SoM 提示解决什么？代价是什么？（说坐标不准→选编号；需额外元素检测步骤）
3. grounding 90%+ 但任务完成 30–60%，gap 的三个来源？（误差累积/环境突变/规划失败）
4. 为什么说 GUI agent 是 RLVR 的最佳场景之一？（任务完成天然可验证+真实商业价值）
5. 视觉通道的提示注入和文本注入有何不同、为什么更危险？（指令藏在像素里，模型”看见即执行”，用户无感知）
6. 你的学生项目里”成功判据”对应论文里的什么？（可验证奖励函数/评测协议——5.1 与 3.7 的合流）

7. 动手作业

1. 完成第 5 节的最小项目，记录 10 个任务的逐步轨迹（成功与失败各留截图）；
2. 画出”任务步数 vs 累计成功率”曲线（假设单步 90/95/98% 三档）——理解误差累积的数学；
3. 收集 5 条含诱导内容的网页截图，测试你的 agent 是否会被视觉注入带偏——写安全观察笔记；
4. 挑战：给 OSWorld 子集跑一个开源 agent 框架（如 UI-TARS 系），复现其报告数字的一半以上，差异表按 6.2 写。

8. 延伸资源

• CogAgent / UI-TARS / Qwen2.5-VL 技术报告的 agent 章节——grounding 与轨迹数据的一手做法
• OSWorld / AndroidWorld 论文——评测环境的设计思路
• 《Prompt Injection in multimodal agents》类论文——安全线