Computer Use：让 Agent 操控 GUI

一句话定义

Computer Use 是让 Agent 以"截图观察 → 坐标点击/输入"的方式直接操作计算机图形界面的能力——把"人机界面"变成"机机接口，通用性极强（任何有 GUI 的软件都能被驱动），代价是慢、脆、且安全面极大。

为什么重要

人类软件的绝大多数没有 API——老旧 ERP、政府申报网站、企业微信的某个设置页。在 MCP/工具路线覆盖不到的地方，GUI 是最后也是最通用的接口：有界面就能自动化。2024 年 10 月 Anthropic 发布 Computer Use（模型原生截图理解 + 点击坐标输出），把这条路线从学术原型推向产品可用线（OSWorld 基准上从个位数跃至 14%+，后续各家跟进到 30%+ 区间）。它的战略意义：Agent 的能力下限从"你集成了什么工具"变成"屏幕上有什么"。

前置知识

kp-018（通用行动空间的哲学）、kp-009（函数调用——computer use 常以专用工具形式提供：screenshot / click(x,y) / type 等）。

核心概念

感知-行动回路

截图（视觉模型解析：按钮/输入框/文本）
  → 决策（ReAct：想清楚点哪里、为什么）
  → 动作原语：click(x,y) / type(text) / key(ctrl+s) / scroll / wait
  → 环境变化 → 新截图 → …（kp-006 循环的视觉版）

三个关键设计点：

截图像素坐标是事实上的动作协议；分辨率与缩放会直接影响成功率（系统提示常带分辨率说明）
等待是第一公民原语：页面加载、动画过渡——不知道等就会点到旧画面
辅助 API 混用：能走 DOM/API 的步骤混用结构化工具，纯视觉只留给无 API 环节（实践标配，性能翻倍）

能力现状（诚实版）

OSWorld（真实 OS 任务基准）揭示了差距：人类 ~72%，最佳系统 2025 年约 30-40%——可用但远未可靠。失败模式高度集中：小元素点偏、下拉菜单与弹层的时序、多步表单的状态跟踪、验证码/反自动化墙。

原理与机制

为什么 GUI 这么难？对比 kp-028 的编程场景：

维度	代码环境	GUI 环境
反馈信号	测试红绿（结构化、即时）	截图像素（需视觉再推理）
状态可见性	文件/git 全量可查	隐藏状态多（内存中的会话、未保存的表单）
动作精度	文本级精确	像素级概率（点偏 5px 就是另一个按钮）
时序	同步为主	异步加载/动画竞态

本质是把"可验证的结构化环境"换成了"需要感知的概率性环境"——这正是成功率差距的来源，也解释了缓解手段的方向：提高感知（更高分辨率/视觉 grounding 专训）、稳定时序（等待原语 + 重试）、混用结构化旁路（DOM/API）。

模型侧的进展（kp-031 详述）：用 RL 在真实/仿真 GUI 环境中训 click 与 grounding，是 2024-25 年多模态模型的后训练重点——错误率下降曲线陡峭，是"训练造 Agent"范式的代表作。

直观类比

编程 Agent 是给会写代码的员工一套服务器的钥匙（快而准）；Computer Use 是让一个从没见过你电脑的远程实习生，只靠看屏幕共享来操作——他什么软件都能凑合用（通用性），但会点错按钮、等不到加载、看不懂你自定义的皮肤（脆弱性），而且动作慢一拍。通用性是用可靠性换的。

实例与案例

网页表单填报的混用策略（实践推荐结构）：

任务：在供应商门户录入 20 条发票
策略：
  · 数据准备走 API/文件（结构化，快且准）
  · 登录走 browser tool 的 session API（不走视觉）
  · 表单页无 API → computer_use 接管：
      screenshot → 定位字段 → type → 校对截图 → 提交
  · 每条录完 screenshot 留档（审计，kp-025）
结果对比：纯视觉全程 vs 混用 = 延迟与错误率都差 2-3 倍

常见误区

误区一："有 API 就别折腾 GUI"——对，但反过来说"GUI 会取代 API 集成"是错的。结构化接口永远优先：快 10 倍、可测、可审计。GUI 是长尾兜底，不是主路径。
误区二：把 computer use 跑在员工日常桌面。它需要专用虚拟桌面/容器（隔离 + 可快照回滚 + 审计），直接放真机等于给注入攻击一台带登录态的真人电脑（kp-026：GUI 上的钓鱼页面现在能直接指挥 Agent 的鼠标）。
误区三：忽视网站的自动化政策。绕过反机器人机制有法律与 ToS 风险——合规审查前置。
误区四：分辨率/缩放随缘。2x 缩放的截图与模型训练分布不符，点击精度骤降——固定分辨率是基本功。

自测题

GUI 环境与代码环境相比，四个退化维度是什么？
为什么实践中要"结构化旁路 + 视觉兜底"混用？
Computer Use 的安全为什么必须依赖隔离环境？

（参考答案：1. 反馈像素化、状态隐藏、动作概率化、时序异步；2. API 快而准，GUI 覆盖无 API 长尾——各取所长；3. 它操作的是带登录态的真实界面，劫持即横向移动；专用桌面提供隔离、回滚与审计。）

与其他知识点的关系

通用行动的姊妹形态 → kp-018（代码）/kp-030（信息聚合）
隔离与审计 → kp-018/026/025；RL 训练 → kp-031