AutoGLM 2.0 全攻略

为什么需要 AutoGLM 2.0：GUI 自动化脚本的脆弱性 → 视觉驱动自主操作

传统 GUI 自动化依赖三条路径，各有硬伤。一是坐标录制宏，界面像素一变即失效；二是 DOM/控件树解析，Web 页面可用，但 Android 原生 App 不暴露 DOM，iOS 应用管控更严，脚本无处下刀；三是 OCR 定位，能“看见”文字但理解不了界面语义，遇到弹窗遮挡、列表滚动、多步跳转就断链。跨应用场景尤其困难：把外卖地址同步到地图、把网页资料整理进文档这类任务需要上下文在多个应用间传递，传统脚本工具没有统一的状态管理机制。

AutoGLM 2.0 用视觉语言模型重做了这条链路。模型直接读取屏幕截图，识别界面中的按钮、列表、输入框与弹窗，结合用户指令与历史操作轨迹，逐帧输出“点击哪里、输入什么、如何滚动”的决策序列。界面改版只影响像素呈现，不影响模型对语义的理解，因此对 UI 变化的鲁棒性显著高于选择器方案。任务规划器负责把“帮我订一杯咖啡并同步地址到地图”这类复合目标拆成多步子任务，执行中自动完成跨应用上下文传递。

与 Anthropic Computer Use、OpenAI Operator 等同赛道产品相比，AutoGLM 2.0 的气质差异有三点：以国内 App 生态与中文场景为第一优先，首发即覆盖微信、美团、12306 等高频应用；产品形态直接面向 C 端（清言 App 内对话即用），而非仅提供 API；安全策略激进收敛，支付、密码等敏感操作强制人工确认，执行失败礼貌退出。

安装与环境配置：3 步就绪

AutoGLM 2.0 没有独立安装包，采用“账号 + 内测资格 + 入口”的方式交付，全程无需写代码。

步骤一：注册账号并申请内测。 在智谱清言 App（Android/iOS）或智谱官网注册手机号账号。AutoGLM 2.0 采用分批内测制，发布会后灰度开放；在清言 App 内搜索“AutoGLM”智能体，若显示可添加即已获得资格，未显示则需等待官方放量或关注智谱官方公告。在智谱开放平台（open.bigmodel.cn）完成实名认证，可作为后续申请企业版通道的备案。

步骤二：按使用形态完成授权。 手机端：在清言 App 内进入 AutoGLM 对话，首次使用按引导在系统设置中开启“无障碍服务”权限——这是模拟点击、滑动操作的底层通道，不开启则无法操作其他 App。电脑端：下载官方发布的电脑版客户端并登录同一账号，按引导授予屏幕录制与辅助操作权限。网页端：使用浏览器入口登录，授权浏览器自动化能力。

步骤三：验证环境可用。 在 AutoGLM 对话中发送一条低风险指令，如“打开微信，给最近联系人发一条‘测试’消息”。观察执行过程：界面上应出现 AutoGLM 的操作浮层，自动完成打开微信、搜索联系人、输入并发送；任务结束在对话中返回执行摘要。执行成功即环境就绪。若提示“未获得权限”，回到系统设置检查无障碍服务是否开启；若提示“暂不支持该应用”，则说明该 App 不在当前内测支持名单内。

安装、授权与验证的关键状态可归纳为：账号具备内测资格 → 设备开启无障碍/屏幕录制权限 → 一条测试指令执行成功。三步全过，即可进入真实任务。

快速上手：跑通第一个多步任务

最小可用流程选用“跨应用数据搬运”场景，最能体现 AutoGLM 2.0 区别于脚本工具的价值：让它在备忘录里找到一段地址，打开地图完成搜索。任务链路包含读取、切换应用、输入三个动作，能验证视觉理解与跨应用能力是否正常。

1. 打开智谱清言 App，进入 AutoGLM 智能体对话，确认顶部状态为“AutoGLM 2.0”且已授权无障碍服务。

2. 发送指令：“打开备忘录，找到第一条笔记里的地址，然后打开地图 App 搜索这个地址。”

3. 观察执行：AutoGLM 依次打开备忘录、定位地址文本、切换至地图 App、在搜索框输入地址。全程显示操作浮层与每一步的执行说明。

4. 若涉及点击“搜索”后的跳转，AutoGLM 会继续执行；若地图要求定位权限等敏感授权，会暂停并询问用户。

5. 对话区收到“已完成：地图中已搜索该地址”的摘要，任务结束。

执行失败的常见原因是备忘录内容未加载完成导致屏幕信息不足，此时 AutoGLM 会返回“未能完成，界面状态异常”并停止操作，不会反复重试。可先手动打开备忘录刷新内容后重发指令。

进阶技巧：一是任务拆细，把“订咖啡并同步地址”拆成“在美团下单咖啡”“把地址复制到备忘录”两条指令，单任务成功率更高；二是指定入口，指令中带“用 XX 应用完成”能减少模型选错 App 的概率；三是善用确认机制，涉及支付的步骤 AutoGLM 会主动停下等人工操作，这是特性而非故障。

核心能力详解：4 大支柱

支柱一：视觉驱动的 GUI 操作生成。 AutoGLM 2.0 的底层是智谱自研的视觉语言模型（官方未完全公开型号细节）。模型对屏幕截图做细粒度理解：识别按钮层级、列表滚动状态、弹窗遮挡关系，并预测下一步操作的类型（点击、长按、滑动、文本输入）与目标坐标。该机制天然免疫 DOM 与控件树依赖，界面改版只需模型重新理解一次，无需人工维护选择器。这也是它与传统 RPA 最根本的差异点。

支柱二：长任务规划与跨应用上下文。 复合指令由任务规划器拆解为有序子任务，每一步执行结果（如“已找到地址文本”）作为上下文输入下一步决策。跨应用场景中，AutoGLM 自行完成应用切换与数据携带，用户无需介入中间步骤。规划器具备失败回退能力：某一步操作无效时，会尝试替代路径（如点不到“搜索”按钮则尝试键盘回车），超过阈值才放弃。

支柱三：敏感操作强制人工确认。 密码输入、支付确认、通讯录读取、短信验证码等高风险动作执行前，AutoGLM 会暂停并弹出确认请求，由用户手动完成该步骤后继续后续任务。这套“自动执行 + 关键节点人工接管”的人机协同机制，是它在真实场景可用的前提，也是产品设计上区别于“全自动”技术演示的核心收敛点。

支柱四：多端一致的操作范式。 手机、电脑、网页三种形态共享同一套“截图-决策-操作”循环，入口不同但执行逻辑一致。这意味着在手机端验证过的指令逻辑，可迁移到电脑端处理文档、网页端填写表单，降低了跨端自动化的学习成本。需要明确的是，多端覆盖不等于全应用覆盖，具体支持范围以内测名单为准。

生产部署与监控：从上线到运维

部署方式一：使用智谱托管服务。 面向个人与轻量业务，AutoGLM 2.0 由智谱云端执行，用户只提供指令与必要的人工确认，无需自建任何基础设施。优点是无运维成本、模型持续更新；约束是数据经智谱云端处理、任务执行受内测配额与并发限制，适合对数据合规要求不高的场景。企业批量使用需通过智谱开放平台申请，具体配额与计费以官方商务政策为准。

部署方式二：基于开源组件自建 GUI Agent。 对数据敏感或需深度定制的团队，可基于开源学术版 AutoGLM（THUDM/AutoGLM）或通过智谱开放平台调用 GLM 视觉模型 API，自建“截图-决策-操作”管线。此路线数据不出域，但需要自备 GPU 推理资源、维护操作环境（Android 模拟器或云手机集群）、自行实现任务规划与失败恢复逻辑，工程成本显著高于托管方案。适用于企业自动化测试、合规要求高的内部流程场景。

可观测性。 无论哪种部署方式，建议监控四项指标：任务成功率（按指令类型分桶统计，识别高频失败场景）、平均步数与人工确认次数（衡量规划效率与安全收敛度）、单任务模型调用量（对应成本核算）、失败原因分布（界面不支持、权限缺失、模型误判）。托管模式下智谱提供任务级执行日志，自建模式需自行记录每次决策的截图与操作轨迹，作为调优与事故回溯依据。

<p class=“para-label“>避坑清单：</p><ul class=”dash-list”><li>内测资格不等于全量可用：部分 App 与系统版本不在支持名单，下单前先在测试环境验证目标应用是否可操作，避免上线后才发现“暂不支持”。</li><li>无障碍权限是双刃剑：开启后 AutoGLM 可读取屏幕全部内容，手机端务必在系统层限制其使用范围，并定期检查授权状态。</li><li>敏感操作的人工确认不可关闭：不要尝试绕过支付与密码确认环节，该机制既是安全边界也是合规底线，关闭会导致账号风险与平台封禁。</li><li>任务成功率非 100%：复杂界面、动态加载内容、异常弹窗都会导致失败，生产环境必须设计失败降级路径（如转人工），不能假设模型永不犯错。</li></ul>

版本迭代

AutoGLM 产品线从手机单点突破走向多端统一。初版聚焦 Android 手机 GUI 操作，验证“视觉驱动自动化”的可行性；2.0 完成跨设备升级，将手机、电脑、网页纳入同一操作范式，并强化任务规划与跨应用协作能力。截至训练数据，AutoGLM 2.0 仍为最新正式发布版本，可能已有更新版本。

AI 应用场景

常见误区

面试题

参考来源

• webpageZ.ai 国际站智谱国际版产品与文档入口