Claude Computer Use 全攻略：基于视觉的桌面 GUI 控制与浏览器自动化

为什么需要 Computer Use：无 DOM、无接口的界面也能自动化

传统自动化有三条路：网页用 Playwright/Selenium 读 DOM，桌面用 RPA 的 UI 选择器，有 API 的系统直接调接口。但企业里大量系统是遗留 C/S 架构、无 DOM、无稳定控件标识，选择器漂移、坐标写死，维护成本极高。大语言模型时代，Agent 默认只能读写文本；面对一个只有像素的界面，模型产生不了任何动作——这是「看得见但动不了」的断层。

Computer Use 把问题重新定义为「视觉 + 动作」：模型输入当前屏幕截图（可选附带 accessibility 历史，即界面控件结构的文本描述），输出 11 种结构化动作原语（鼠标、键盘、滚动、截图），开发者用自己的代码执行动作、再回传新截图，构成一个闭环。因为不依赖控件标识，任何「看得见」的 GUI 都能被操作，无需厂商提供 API 或 DOM。

与 DOM 级方案（如 Playwright MCP）相比，Computer Use 是「看见」而非「读取」：优点是跨应用通用、无需环境适配；缺点是精确度依赖分辨率设置与模型视觉能力，且每轮都要支付图像 token 成本。它本质上是 API 能力而非成品 Agent，循环逻辑必须由开发者实现。

安装与环境配置：3 步就绪

第一步，安装 Python SDK 与本地截图/控制库。pip install anthropic 只装 SDK；要让模型「看见并操作」真实桌面，还需 pyautogui（鼠标键盘控制）、pillow（图像处理）与 mss（截图，性能优于 ImageGrab）：

第二步，配置 API Key。在 Anthropic 控制台创建密钥后写入环境变量：

Windows PowerShell 使用 $env:ANTHROPIC_API_KEY="sk-ant-..."。注意密钥不要提交到 Git 仓库，建议用环境变量管理器或密钥服务注入。

第三步，验证连通性——发一次最小请求，确认模型可访问：

两条命令都成功即环境就绪。若输出网络错误，检查代理或防火墙对 api.anthropic.com 的访问；国内直连不稳定，生产环境需配置合规代理。

pip install anthropic pyautogui pillow mss

export ANTHROPIC_API_KEY="sk-ant-..."

python -c "import anthropic; c=anthropic.Anthropic(); print(anthropic.__version__)"python -c "import anthropic; c=anthropic.Anthropic(); print(c.messages.create(model='claude-sonnet-4-5-20250929', max_tokens=10, messages=[{'role':'user','content':'hi'}]).content[0].text)"

快速上手：5 分钟跑通官方沙箱

最快路径是官方参考实现 computer-use-demo：一个 Docker 容器内置虚拟 Linux 桌面（Xvfb 虚拟显示 + Fluxbox 窗口管理器）、VNC 远程桌面与 Playwright 浏览器，Claude 在隔离环境里操作桌面，不会误伤宿主机。操作步骤如下：

1. 准备 Docker（20.10+）与可用的 API Key；

2. 克隆官方仓库并启动容器（命令见下）；

3. 浏览器打开 http://localhost:8080 进入沙箱控制台（若端口被占用，以 docker compose ps 输出的映射端口为准）；

4. 在输入框填写自然语言指令，例如「打开火狐浏览器访问 example.com，并在页面中点击第一个链接」；

5. 观察模型逐轮输出动作、沙箱桌面实时执行，直到任务完成或达到步数上限。

跑通沙箱后，可以把它当作参考实现，替换为自己的动作执行器与业务逻辑。下面是一个最小可运行的本地循环示例（macOS 需在「系统设置 → 隐私与安全性」中给终端授予屏幕录制与辅助功能权限；Windows 需保持桌面会话不被锁定）：

运行后 Claude 会自行截图、决策并返回动作，循环最多执行 10 轮。首次运行建议只开一个浏览器窗口，避免多窗口干扰视觉判断。

export ANTHROPIC_API_KEY="sk-ant-..."git clone https://github.com/anthropics/anthropic-quickstarts.gitcd anthropic-quickstarts/computer-use-demodocker compose up --build -d# 浏览器打开 http://localhost:8080

import base64, ioimport anthropicimport pyautoguifrom PIL import ImageGrab client = anthropic.Anthropic()W, H = 1920, 1080 def snap():    buf = io.BytesIO()    img = ImageGrab.grab().resize((W, H))  # 强制对齐坐标基准    img.save(buf, format="PNG")    return {"type": "image", "source": {        "type": "base64", "media_type": "image/png",        "data": base64.b64encode(buf.getvalue()).decode()}} def execute(block):    a = block.input  # {"action":..., "coordinate":[x,y], "text":...}    if a["action"] == "left_click":        pyautogui.click(*a["coordinate"])    elif a["action"] == "double_click":        pyautogui.doubleClick(*a["coordinate"])    elif a["action"] == "type":        pyautogui.write(a["text"], interval=0.02)    elif a["action"] == "key":        pyautogui.hotkey(*a["key"].split("+"))    # drag/scroll/right_click 按需补充，完整版见官方 quickstart messages = [{"role": "user", "content": [snap(), {    "type": "text",    "text": "打开系统浏览器访问 https://example.com"}]}] for _ in range(10):    resp = client.beta.messages.create(        model="claude-3-7-sonnet-20250219",        max_tokens=1024,        betas=["computer-use-2024-10-22"],        tools=[{"type": "computer_20250129", "name": "computer",                "display_width": W, "display_height": H}],        messages=messages)    messages.append({"role": "assistant", "content": resp.content})    if resp.stop_reason != "tool_use":        print("完成：", resp.stop_reason); break    for b in resp.content:        if b.type == "tool_use" and b.name == "computer":            execute(b)    messages.append({"role": "user", "content": [snap()]})

核心能力详解：5 大支柱

支柱一：视觉感知。 截图是模型唯一的视觉输入。模型把屏幕当作图像理解按钮位置、表单、弹窗与上下文，不读取任何 DOM 或控件属性；可选传入 accessibility 历史（界面无障碍树，描述控件层级与文本的结构化数据）可显著提升成功率。截图会被缩放至 display_width/display_height 指定的尺寸，坐标输出基于该参考系。

支柱二：动作原语。 computer 工具原生支持 11 类动作：screenshot（截图）、cursor_position（光标位置）、mouse_move（移动）、left_click / left_click_drag / right_click / middle_click / double_click（各类鼠标点击与拖拽）、key（按键组合）、type（键入文本）、scroll（滚动）。所有动作以结构化 JSON 返回，含坐标或文本参数，便于开发者逐条执行与审计。

支柱三：循环执行模型。 官方定义的 agent loop 为：截图 → 拼接用户指令 → 模型返回动作 → 开发者执行 → 回传最新截图 → 依据 stop_reason 判断继续或终止。循环不是自动的，每一步对开发者可见，天然可审计、可干预；这正是与「黑盒 Agent」产品的本质区别。

支柱四：跨 OS 与跨应用。 截图与控制库在 macOS、Windows、Linux 均可工作，浏览器、Office、终端、遗留 C/S 软件一视同仁。支持 computer use 的模型包括 Claude 3.5 Sonnet（20241022）、Claude 3.5 Haiku、Claude 3.7 Sonnet、Claude Sonnet 4 与 Claude Sonnet 4.5。

支柱五：安全设计。 官方安全指南强调提示词注入（prompt injection，页面上的恶意文本诱导模型执行非预期动作）的缓解：在 Docker 或不可变虚拟机中运行、采用最小权限、敏感界面不接入、全程留存动作日志。参考实现默认跑在容器里，就是为了在失控时一键回滚。

生产部署与监控：从上线到运维

部署方式一：Docker 沙箱。 官方 docker-compose 可作评测与演示基线；生产建议自建镜像：Xvfb 虚拟显示 + noVNC + 固定浏览器配置，容器只挂载必要工作目录，网络仅放行白名单域名。优点是隔离提示词注入、可快速重建；缺点是容器内无法操作真实硬件外设，适合纯软件流程。

部署方式二：专用虚拟机或物理机。 用 mss（截图）+ pyautogui（控制）在专用虚机运行，固定分辨率与 DPI 缩放为 100%，关闭屏幕休眠与锁屏；macOS 需授予权限，Windows 用服务账号保持会话。该方式能操作真实企业软件，但隔离性差，需结合快照定期回滚。

可观测性。 至少记录四类数据：① 每轮动作 JSON（action/coordinate/text）全量落库；② 截图按时间戳归档，用于事后复核与缺陷定位；③ token 与成本统计——每轮输入都含整张截图，视觉 token 按图片尺寸计费，长任务成本线性增长，需设预算告警；④ 任务级指标——定义完成率与平均步数，用 OSWorld/WebArena 子集做回归。运行时务必设置最大步数与超时兜底，防止失控循环烧钱。

<p class="para-label">避坑清单：</p>

<ul class="dash-list"><li>坐标偏移：截图缩放后 display_width/height 未同步导致点击错位——截图、模型坐标、控制库必须使用同一像素基准，macOS 高分屏先固定 DPI 为 100%。</li><li>会话冲突：人工和 Agent 同时操作同一桌面会互相抢鼠标——生产环境必须专用虚拟机/容器，禁止共享会话。</li><li>图像成本：每轮都要把整张截图传给模型，视觉 token 随步数累积——先用小任务验证 ROI，控制单任务最大步数。</li><li>提示词注入：网页或弹窗中的恶意指令可能被模型当作任务执行——隔离沙箱 + 最小权限 + 日志审计三步缺一不可。</li><li>网络可达：国内直连 api.anthropic.com 不稳定，生产需配置合规代理与超时重试，避免长任务中断后上下文丢失。</li></ul>

版本迭代

Computer Use 于 2024 年 10 月作为公测能力随 Claude 3.5 Sonnet 发布；2025 年 2 月随 Claude 3.7 Sonnet 升级工具版本；2025 年 5 月随 Claude Sonnet 4 转为正式 GA（移除 beta 头）；2025 年 9 月 Claude Sonnet 4.5 发布并完整支持该能力。演进主线是：从 beta 到稳定 API，模型视觉理解与指令遵循持续增强。

AI 应用场景

常见误区

面试题

参考来源

• webpageanthropic-sdk-python（GitHub）Python SDK 源码、示例与 Changelog
• webpageBuilding effective agents（官方研究）Agent 循环设计、工具选择与评估最佳实践