WebArena：浏览器操作

可视化演示

展示Agent感知-推理-行动闭环、任务类型分类与评测指标对比，支持复杂度调节。

测试环境搭建：先搭一座不会倒闭的道具超市

如果实习管家直接去真正的线下超市实习，你很难比较两个管家的水平：货架会缺货，促销海报会变动，收银员的态度也各不相同。于是 WebArena 的团队先搭了一座“道具超市”——把电商、论坛、代码托管、百科、地图等真实网站复制到本地沙箱里，让每次评测都从同一条起跑线开始。

在技术实现上，WebArena 使用容器技术启动多个镜像站点，每个站点都有固定的网址、初始数据、登录账号和订单状态。智能体以为自己在浏览真实互联网，实际上是走进了一个被隔离开的摄影棚：页面会响应点击，表单能提交，但所有操作都不会影响外部世界。这就像道具超市里的扫码枪真的会“嘀”一声，但并不会真正扣钱。

这种环境搭建方式解决了评测最重要的两个问题：可复现和可控。只要重跑一次容器，货架就会恢复原样；只要重置数据库，上次被翻乱的会员登记表也会回到空白状态。对于 AI 从业者来说，这一步相当于为每个模型准备了同一张考卷，避免不同选手因为碰巧遇到不同网页状态而无法比较。

道具超市的每一个细节都是为了让“考试”公平。货架还是那些货架，标签还是那些标签，唯一不同的是：今天来考试的管家，第一次走进这座摄影棚。

任务类型设计：一张张写好的购物清单

考试不能只考“找到牛奶”这种一句话动作。店长会写出更完整的购物清单：“从首页进入生鲜区，找到低脂牛奶，加入购物车，再去会员中心用积分兑换一张优惠券。”WebArena 的任务也遵循同样思路：每条任务都是一段自然语言指令，并附带一个可验证的最终状态。

WebArena 的常见任务大致可以分为三类。导航类任务要求智能体从一个页面出发，经过多级跳转到达某个特定页面；表单填写任务要求它在注册页、结算页或设置页里正确输入信息并提交；信息检索任务则要求它从多个页面中筛出指定内容，比如找出某件商品的价格或某篇帖子的作者。

任务设计的关键不是“看起来像日常对话”，而是“能否被客观判定”。每一条任务都会被拆解成目标状态，例如购物车里出现指定商品、页面上出现指定文字、地址栏跳转到某个 URL。这样一来，机器才知道管家到底有没有把清单上的事情办完。

如果一份购物清单写得含糊，比如“买点喝的”，那么管家买可乐、买牛奶、买咖啡都算对，考试就失去了区分度。WebArena 刻意把清单写得具体到品牌、规格和数量，正是为了让成功与否有唯一答案。

评测执行流程：跟拍管家的一举一动

考试开始后，考官不会只在门口等待。WebArena 会给智能体打开一个真实浏览器窗口，智能体每次只能看到当前页面的截图和网页结构信息，然后输出“点击”“输入”“滚动”“跳转”等动作。浏览器执行动作后，环境再返回新的状态。

从技术上看，一次完整的浏览器操作可以被记成一条轨迹：初始状态、动作、新状态、再动作、再新状态……直到任务结束。我们用下面这条公式描述它：

有了完整轨迹，考官就不必只看结果，还能回放管家到底绕了多少路、填错了几个框。这也为后续判定成功率提供了最原材料。

成功率计算：按最终结果发工资

收到完整录像后，考官要回答一个问题：这位管家到底算不算完成了任务？WebArena 更看重“最终状态是否满足目标”，而不是“动作是否和参考答案一模一样”。毕竟通往同一货架的路径有很多条，多走两步不算失败，关键是最后买到了对的牛奶。

对单个任务，如果最终状态满足目标就记为成功，否则记为失败。把所有任务放在一起，WebArena 用成功率作为核心指标：

参考答案仍然有价值，它主要用来诊断智能体是否绕路、是否用异常方式“作弊”达成目标。但在最终工资单上，WebArena 按结果发钱：买对了就是成功，买错了就是失败。

可信度保障：两个裁判还要给分数“消毒”

如果只有一位店长看录像打分，他可能因为心情好坏、对任务理解偏差而误判。WebArena 非常在意数据质量和评分一致性，所以会安排多位标注者独立评测同一批任务，而不是让单一专家说了算。

评分一致度不能只看表面。假如两位裁判都很宽容，把 95% 的任务都判为成功，他们的一致率自然很高，但这可能是因为两人都在“猜成功”。为了剔除随机碰巧一致的成分，我们常使用卡帕系数：

除了评分一致性，WebArena 还会过滤无效任务。如果一个任务本身描述混乱、目标状态无法实现，或者连人工都难以认定成功，它就会被标记出来并剔除。经过这样的“数据消毒”，最终公布的成功率才值得被谨慎比较。

基准对比分析：道具超市和真实菜市场的差别

WebArena 并不是第一个让智能体操作浏览器的评测，但它的难度更接近现实。早期一些基准把任务压缩成单次点击或单步填空，相当于只问“管家会不会按电梯按钮”；而 WebArena 更关心“管家能不能在陌生商场里完成一整趟采购”。

这种难度差异来自几个方面。真实站点结构复杂，一个页面里可能有几十个链接和按钮，智能体需要先判断哪些值得点击；任务又往往是长流程，从首页到商品页、从表单到确认页，中间一步出错就可能前功尽弃；加上页面状态是动态变化的，智能体必须根据当前反馈调整计划。

不过，道具超市也有自己的局限。它毕竟不是每天都在变化的真实互联网，数据是固定的，布局也不会频繁改版。如果模型在评测时见过这些页面，它可能记住了“地图”而没有真正学会“认路”。因此，WebArena 的成功率应该和人工完成率放在一起看：人工能完成说明任务可行，智能体远低于人工则说明能力仍有差距。

真实菜市场的价值，是永远无法被摄影棚完全替代的。但正因为先有了道具超市，我们才能把不同管家放在同一张购物清单前，公平地比较谁更会办事。

AI 应用场景

Python 演示

"""WebArena-style evaluation: success rate and annotator agreement."""import random  class Task:    """One browser-operation task in a sandboxed store."""     def __init__(self, task_id, name, requirement):        self.task_id = task_id        self.name = name        self.requirement = requirement     def is_success(self, final_state):        """Check whether the target item appears in the final cart."""        return self.requirement in final_state.get("cart", [])  class Agent:    """A fake browser agent used only to demonstrate the evaluator."""     def __init__(self, seed=42):        self.rng = random.Random(seed)     def run(self, task, max_steps=12):        """Simulate searching shelves and adding the target to cart."""        cart = []        for _ in range(max_steps):            if self.rng.random() < 0.35:                cart.append(task.requirement)        return {"cart": list(dict.fromkeys(cart))}  class Evaluator:    """Compute success rate over multiple tasks."""     def __init__(self, tasks, agent):        self.tasks = tasks        self.agent = agent        self.results = []     def run_evaluation(self):        """Run every task and record 1/0 success."""        for task in self.tasks:            state = self.agent.run(task)            self.results.append(1 if task.is_success(state) else 0)        return sum(self.results) / len(self.results)  def make_reviews(seed, task_count):    """Simulate two annotators with a given agreement level."""    rng = random.Random(seed)    return [1 if rng.random() < 0.8 else 0 for _ in range(task_count)]  def kappa(r1, r2):    """Cohen's kappa: remove chance agreement."""    total = len(r1)    observed = sum(a == b for a, b in zip(r1, r2)) / total    p_success = (sum(r1) + sum(r2)) / (2.0 * total)    expected = p_success ** 2 + (1 - p_success) ** 2    if 1 - expected <= 0:        return 0.0    return (observed - expected) / (1 - expected)  def main():    tasks = [        Task("T01", "buy_milk", "milk"),        Task("T02", "fill_form", "register"),        Task("T03", "search_price", "price")    ]    agent = Agent(seed=7)    evaluator = Evaluator(tasks, agent)    sr = evaluator.run_evaluation()    r1 = make_reviews(1, len(tasks))    r2 = make_reviews(2, len(tasks))    print("Success Rate: {:.2f}".format(sr))    print("Kappa: {:.2f}".format(kappa(r1, r2)))  if __name__ == "__main__":    main()

1. state = self.agent.run(task)让 Agent 在模拟浏览器里执行一次完整任务。
2. self.results.append(1 if task.is_success(state) else 0)根据最终购物车是否包含目标商品，记录 1 或 0。
3. return sum(self.results) / len(self.results)对应正文中的成功率公式，求成功任务占比。
4. observed = sum(a == b for a, b in zip(r1, r2)) / total计算标注者之间“实际一致”的比例。
5. expected = p_success ** 2 + (1 - p_success) ** 2计算两个人随机猜测时“碰巧一致”的期望比例。

常见误区

面试题