想象你走进一家新开张的餐厅,招牌上醒目地写着“米其林大厨主理”。你兴致勃勃地坐下,点了三道菜:家常小炒、分子料理、火焰冰淇淋。前菜上得又快又好,可等来的第二道菜,却是服务生一脸歉意:“分子料理我们不会做,火焰冰淇淋的设备还没到货。”你当然会失望——但问题出在哪?出在大厨(Agent)确实有两把刷子,而菜单(PRD)上压根没写清楚“今日供应”的范围。 AI 产品经理面临的正是同样的困境:Agent 能力再强,也有明确的边界。它可能擅长查天气、设提醒,却不擅长处理支付纠纷、无法理解方言。如果团队在 PRD 里不写清“能做什么、不能做什么、做不到时怎么办”,开发和测试就会各猜各的,上线后用户撞上能力盲区,体验直接翻车。降级策略,就是那套“招牌菜售罄之后怎么办”的预案。 这篇教程,会带你用写菜单的思路,把 Agent 的能力边界与降级策略文档化,让全团队对“今天能端出什么菜”达成共识。

岗位关联

对 AI 从业者而言,把能力边界与降级策略写进 PRD,是避免上线事故、统一团队认知、建立专业信任感的必修基本功。

目录
  1. 可视化演示
  2. 边界定义:先画清厨房的“灶台范围”
  3. 降级策略:招牌菜售罄时的三套接住方案
  4. 文档撰写:这份菜谱要连实习生都看得懂
  5. 团队协作:后厨、服务员、品控的三方共识
  6. 期望管理:不承诺满汉全席,只承诺今日供应
  7. 迭代更新:菜单要随季节换新,但不能悄无声息
  8. AI 应用场景
  9. Python 演示
  10. 常见误区
  11. 面试题

可视化演示

展示AI Agent能力边界三层模型(功能/性能/限制)、四维评估方法(基准/对抗/探测/反馈)和降级策略四阶段流程(正常→检测→降级→恢复),三模式理解Agent边界文档化要点。

本节配有交互动效(进入视口后自动加载,约 3KB)。

'+C1+'

边界定义:先画清厨房的“灶台范围”

后厨的灶台只有四个火眼,一次最多同时炒四道菜。聪明的老板会在开业第一天就告诉厨师长:“凉菜、小炒、蒸菜、炖汤,这四类我们做;分子料理、火焰冰淇淋,一概不接。”这不是认怂,而是让所有人——包括后厨、服务员、采购——对“今天能端出什么”有统一认知。AI 产品的第一步,就是给 Agent 画出同样的“灶台范围”。

在 AI 产品语境里,能力边界指的是 Agent 在给定输入下能可靠完成任务的集合。它不取决于“模型理论上会不会”,而取决于“产品承诺上能不能”。文档化时,通常拆成三张清单:能做什么(白名单,比如“查天气、设提醒、查日程”)、不能做什么(黑名单,比如“不处理支付、不提供医疗建议”)、以及灰色地带(需要人工判定或强制降级的输入)。

边界判定要可测试,才能写进验收标准。产品经理可以用一个集合模型来描述:所有用户请求构成输入空间,能力边界就是其中的一个子集,请求落在子集内正常处理,落在子集外触发降级。

回到餐厅的比喻:菜单上写着“火焰冰淇淋不做”,客人点了这道菜,服务员就能立刻说“抱歉,这道菜我们没有,但可以试试我们的招牌焦糖布丁”。这份从容,来自开业那天就画清楚的“灶台范围”——边界越清晰,应对越从容。

判定(x)={正常处理x∈B触发降级x∉B\text{判定}(x) = \begin{cases} \text{正常处理} & x \in \mathcal{B} \\ \text{触发降级} & x \notin \mathcal{B} \end{cases}
这个公式把“能力边界”变成了一道判断题:请求 x 是否属于能力集合 B。落在里面走正常流程,落在外面走降级流程,两条路在 PRD 里都必须写清楚。
  1. 请求输入 x每个用户请求都被抽象成一个输入变量 x,例如“帮我查明天天气”就是一条具体输入,它是判定动作的起点。
    x∈Bx \in \mathcal{B}
  2. 能力集合 \mathcal{B}产品经理把 Agent 能可靠完成的场景整理成一个集合,就像菜单上的“今日供应”清单,每一项都来自真实可测的能力,而不是美好想象。
    B={查天气,设提醒,查日程,…}\mathcal{B} = \{ \text{查天气}, \text{设提醒}, \text{查日程}, \ldots \}
  3. 成员判定计算 x 是否属于集合 B,本质是一次集合成员判断,如同厨房核对客人点的菜是否在当日备料单上,结果只有“在”或“不在”两种。
    x∈B或x∉Bx \in \mathcal{B} \quad \text{或} \quad x \notin \mathcal{B}
  4. 输出分支判定结果决定请求流向哪条代码分支——正常处理或触发降级,两条分支的触发条件必须互斥且穷尽,不能出现“既不算能力内、又没人管”的真空地带。
    判定(x):X→{正常处理,触发降级}\text{判定}(x): \mathcal{X} \to \{ \text{正常处理}, \text{触发降级} \}

降级策略:招牌菜售罄时的三套接住方案

客人点的招牌菜售罄了,一家体面的餐厅绝不会冷冰冰甩一句“没有”,而是给出三个选择:“要不要试试口味相近的替代菜?或者帮您预订明天最新鲜的一批?实在着急,我们联系隔壁合作餐厅帮您调货。”这三种回应,恰好对应降级策略的三个层级。

降级的本质,不是向用户宣告失败,而是用备选路径承接用户的目标。在 PRD 中,每个能力边界外的请求,都必须能映射到一个降级动作。常见的分级方式是 L1 到 L3:L1 提示引导——告诉用户这个请求超出能力范围,并给出替代指令建议;L2 替代方案——提供等价路径,比如返回人工可操作的模板、官网链接或自助查询入口;L3 人工介入——涉及资金、投诉、医疗等高风险场景,直接转接人工客服或专家,不让 Agent 硬扛。

设计降级策略时,还要考虑数据保全:降级过程中用户已上传的文件、填写的表单不能丢,要随请求一起移交给兜底流程。最后,用降级成功率来检验这套“安全网”是否真的接住了用户。

服务生把“招牌菜售罄”的预案练到极致,客人反而会记住这家店的贴心。降级策略的意义正是如此:能力边界外的每一次“做不到”,都是一次展示产品温度的机会。PRD 里写清三级降级、兜底流程、告知文案和数据保全,就是在为这种温度做彩排。

S降级=N成功兜底N触发降级×100%S_{\text{降级}} = \frac{N_{\text{成功兜底}}}{N_{\text{触发降级}}} \times 100\%
降级成功率 = 成功兜底的请求数 ÷ 触发降级的请求总数。它衡量的是“接住”的质量——如果触发降级后用户还是走了,说明你的替代方案没有真正解决用户的问题。
  1. 触发降级总数 N_{\text{触发降级}}统计一段时间内所有超出能力边界、进入降级流程的请求数量,它是分数的分母,代表安全网需要接住的总人次。
    N触发降级N_{\text{触发降级}}
  2. 成功兜底数 N_{\text{成功兜底}}其中通过引导、替代或人工介入真正解决用户问题的请求数量,它是分子,代表网真的接住了多少人。
    N成功兜底N_{\text{成功兜底}}
  3. 相除换算百分比两者相除再乘以 100%,得到降级成功率。这个指标要按 L1、L2、L3 分别统计,因为转人工的成功率和文案引导的成功率,优化手段完全不同。
    N成功兜底N触发降级×100%\frac{N_{\text{成功兜底}}}{N_{\text{触发降级}}} \times 100\%

文档撰写:这份菜谱要连实习生都看得懂

老板头脑里有一本“什么菜能做”的账,但如果不落到纸上,新来的实习生就会在大厨休假时对着点单发呆。PRD 就是那本落到纸上的菜谱——它必须细到让一个从没进过这家厨房的人,也能照单备料、照单出菜。

能力边界文档化,建议采用“四件套”结构化模板。第一件是能力清单:一张表,列出能力名称、触发输入示例、期望输出;第二件是降级策略表:每个边界外场景对应降级等级、兜底动作、用户告知文案;第三件是场景示例法:用“给定输入 → 期望行为 → 降级动作”的三栏格式,写出 10 到 30 个典型场景,覆盖白名单、黑名单和灰区;第四件是验收标准:每一条能力声明都要有可执行的判定方式,比如“对'查天气'类请求,响应成功率不低于 95%”。

边界描述有个常见规范:用用户的话写输入,用系统的话写输出。比如不要写“处理天气类意图”,而要写“当用户说'今天会下雨吗''明天多少度'时,返回对应城市未来 24 小时天气”。文档写没写全,可以用边界覆盖率来量化。

一本好菜谱,不取决于文笔多华丽,而取决于实习生照着做能不能出菜。PRD 的能力边界文档同理——它不需要炫技,需要的是让每个读文档的人,都能复述出“Agent 能做什么、不能做什么、做不到时怎么办”这三个问题的标准答案。

边界覆盖率=N已文档化场景N预期场景×100%\text{边界覆盖率} = \frac{N_{\text{已文档化场景}}}{N_{\text{预期场景}}} \times 100\%
边界覆盖率 = 已写进 PRD 的场景数 ÷ 预期会遇到的场景总数。它告诉你这本“菜谱”还缺多少页,是评审会上最直观的量化指标。
  1. 预期场景总数 N_{\text{预期场景}}产品经理结合用户访谈、客服记录、竞品分析,梳理出所有可能碰上的用户请求类别,构成分母。
    N预期场景N_{\text{预期场景}}
  2. 已文档化场景数 N_{\text{已文档化场景}}其中已经在 PRD 里明确写出“能做什么、不能做什么、怎么降级”的场景数量,构成分子。
    N已文档化场景N_{\text{已文档化场景}}
  3. 覆盖率计算两者相除,如果覆盖率低于 80%,意味着大量请求处于“没人管”的真空地带,评审会应打回补充;接近 100% 则说明菜单基本完整。
    N已文档化场景N预期场景×100%\frac{N_{\text{已文档化场景}}}{N_{\text{预期场景}}} \times 100\%

团队协作:后厨、服务员、品控的三方共识

餐厅里最怕的是什么?后厨以为菜单上写了“火焰冰淇淋”,服务员却从没见过这道菜,品控也不知道该按什么标准验收。三方各有一套理解,客人点单时必然鸡飞狗跳。AI 产品的开发、测试、产品团队,也会因为边界文档缺失而陷入同样的混乱。

开发团队的预期对齐,从 PRD 评审就开始了。开发要确认两件事:一是能力清单里的每一项是否在排期内可实现,二是降级策略表的兜底动作是否已有依赖服务(比如转人工需要客服系统工单接口)。如果开发发现某个“能力项”根本无法实现,必须在评审会上提出,而不是等上线后被用户打脸。

测试团队则是边界文档的最大受益者。PRD 里的场景示例表,可以直接翻译成测试用例:每个“能做什么”的白名单场景对应正向用例,每个“不能做什么”的黑名单场景对应反向用例,每个降级策略对应一条“边界外请求 → 验证兜底动作”的专项用例。责任划分也要写清:边界判定逻辑由算法团队负责,降级流程由后端团队负责,用户告知文案由产品经理负责,测试团队对三者做端到端验收。

评审会上,可以用风险值来给每条边界打分,决定优先级。

三方共识的本质,是把“我以为”变成“文档上写着”。后厨按菜谱备料,服务员按菜谱推荐,品控按菜谱验收——当 PRD 里的边界与降级策略成为唯一事实来源,团队协作就从“靠默契”升级为“靠共识”。

R风险=P触发×I影响R_{\text{风险}} = P_{\text{触发}} \times I_{\text{影响}}
风险值 = 边界被触发的概率 × 触发后的影响程度。概率高且影响大的边界(比如支付类请求)必须优先完善降级方案,影响小概率低的可以后置处理。
  1. 触发概率 P_{\text{触发}}通过用户请求日志或客服工单频次,估算某类边界外请求出现的概率,比如“用户问发票怎么开”可能每周出现 200 次。
    P触发P_{\text{触发}}
  2. 影响程度 I_{\text{影响}}边界外请求如果没被接住,会造成多大的后果——轻则用户不满,重则资金损失或合规风险,通常用 1 到 5 分打分。
    I影响I_{\text{影响}}
  3. 相乘得到风险值 R两者相乘得到风险优先级,风险值高的场景在评审会上最先过、资源最先给,避免团队在无关紧要的边界上消耗精力。
    P触发×I影响P_{\text{触发}} \times I_{\text{影响}}

期望管理:不承诺满汉全席,只承诺今日供应

一家聪明的餐厅,不会在招牌上写“能做出全世界所有菜”,而会写“今日供应:家常小炒、蒸菜、炖汤”。为什么?因为管理预期比满足预期更重要。用户失望的根源,往往不是能力不足,而是预期与现实的落差。

用户预期管理,第一道防线是产品内的官方说明文档和帮助中心:明确列出 Agent 能处理哪些事项、不能处理哪些事项,用通俗语言而非技术术语。第二道防线是风险提示标注:在关键流程入口(比如即将进入 Agent 能力边界外的操作时)给出提示,“以下操作将转接人工客服,可能需要等待 2 分钟”。第三道防线是客服话术:客服团队要拿到降级策略表的“人话版”,当用户因 Agent 能力不足而投诉时,能用统一口径解释并引导。

这些动作背后的逻辑,可以用一个简单的“满意度公式”来理解——用户的满意度取决于实际体验与预期体验的比值。

菜单上写“今日供应:四道菜”,客人就不会为没有佛跳墙而愤怒;菜单上吹“什么都有”,客人点佛跳墙吃不到,就会给差评。期望管理不是降低产品的雄心,而是把承诺精确到“今天能端出的每一道菜”上。

E满意=实际体验预期体验E_{\text{满意}} = \frac{\text{实际体验}}{\text{预期体验}}
满意度 = 实际体验 ÷ 预期体验。当预期被提前设定在合理水位,实际体验稍微达标,用户就会满意;反之,预期被吹上天,实际体验再好也容易失望。
  1. 实际体验Agent 对请求的真实处理质量,包括响应速度、准确率和降级时的接住感,这是产品的硬实力。
    实际体验=f(准确性,响应速度,降级质量)\text{实际体验} = f(\text{准确性}, \text{响应速度}, \text{降级质量})
  2. 预期体验用户在交互前对 Agent 的期待水位,它由产品宣传、官网说明、历史使用经验共同塑造。
    预期体验=g(宣传承诺,文档说明,历史经验)\text{预期体验} = g(\text{宣传承诺}, \text{文档说明}, \text{历史经验})
  3. 比值与满意度当实际体验持平或超过预期时,比值大于等于 1,用户满意;当预期被过度抬高而实际跟不上时,比值小于 1,用户必然失望。所以 PRD 里每条能力声明的措辞,都要反复校准,不夸大、不模糊。
    实际体验预期体验≥1⇒满意\frac{\text{实际体验}}{\text{预期体验}} \geq 1 \Rightarrow \text{满意}

迭代更新:菜单要随季节换新,但不能悄无声息

夏天的菜单有凉拌菜,冬天就要换成砂锅煲。餐厅换菜单,要提前通知采购、培训厨师、更新价目表,而不是某天客人点菜时才发现“这道菜没了”。Agent 的能力边界也一样,它会随模型升级、数据更新、需求变化而移动——但每次移动,都要走一套正式的变更流程。

边界变更的第一步是更新 PRD 文档:新增的能力要补充到能力清单和场景示例表,移除的能力要标注废弃原因。第二步是版本记录追踪:在文档头部维护变更历史表,记录版本号、变更日期、变更人、变更摘要,让任何成员都能追溯“这个边界是什么时候、为什么改的”。第三步是回归测试验证:新增或收窄边界后,跑一遍全量场景用例,确保旧能力没退化、新能力真可用。

回归测试的通过率,是边界变更能否发布的关键闸门。

换季菜单的每一次更新,都是一次小型的“发布仪式”:更新菜谱、培训后厨、通知服务员、告知老顾客。Agent 的能力边界更新也是如此——文档先变、测试跟上、通知到位、反馈回流。这样循环往复,菜单越写越准,团队越配合越顺。

---

P回归=N通过用例N全部用例×100%P_{\text{回归}} = \frac{N_{\text{通过用例}}}{N_{\text{全部用例}}} \times 100\%
回归通过率 = 通过的测试用例数 ÷ 全部用例数。只有通过率达标,边界变更才允许合并上线,避免“修好一个边界、弄坏三个能力”。
  1. 全部用例数 N_{\text{全部用例}}从 PRD 场景示例表导出的全量测试用例,包括白名单正向用例、黑名单反向用例和降级策略用例,构成分母。
    N全部用例N_{\text{全部用例}}
  2. 通过用例数 N_{\text{通过用例}}回归测试中实际通过、行为符合 PRD 声明的用例数量,构成分子。
    N通过用例N_{\text{通过用例}}
  3. 通过率换算两者相除得到回归通过率,通常要求不低于 95% 才能发布。更重要的是,边界变更期间新发现的异常请求要回流到需求池,形成下一轮边界评审的输入——这就是反馈闭环。
    N通过用例N全部用例×100%≥95%\frac{N_{\text{通过用例}}}{N_{\text{全部用例}}} \times 100\% \geq 95\%

AI 应用场景

场景一:智能客服 Agent 的用户预期管理

阶段:产品需求定义与 PRD 撰写

解决的问题:某电商平台的智能客服 Agent 只能处理售后进度查询、物流跟踪和退款状态查询,却经常收到“价格为什么比别家贵”“能帮我开专票吗”等边界外请求。过去没有边界文档,Agent 面对这些请求时胡猜乱答,用户反复追问后愤怒转人工,投诉率居高不下。

具体案例:产品经理在 PRD 中新增“能力边界与降级策略”章节:白名单列出三类可处理场景,黑名单标注“不处理价格异议、不处理发票申请”,针对黑名单请求配置 L2 降级——自动生成“发票申请指引”链接并引导用户自助提交。上线两个月后,边界外请求的降级成功率从 31% 提升到 78%,转人工投诉量下降 55%。

场景二:企业办公助手 Agent 的数据保全降级

阶段:方案设计与降级流程设计

解决的问题:企业内部文档处理 Agent 负责合同信息抽取,但遇到手写扫描件或加密 PDF 时识别失败。若直接报错,用户辛苦上传的文件就会丢失,需要重新上传,体验极差。

具体案例:PRD 中明确规定降级策略:识别失败时触发 L2 降级——保留用户已上传文件到临时存储(24 小时),同时返回可编辑的空白抽取模板,并提示“文件已为您保存,可稍后使用模板手动填写”。这个“数据保全 + 替代工具”的组合,把失败体验转化成了可接受的备用路径,文件重传率降低 90%。

场景三:金融合规场景的人工介入降级

阶段:合规评审与边界判定

解决的问题:理财助手 Agent 可以介绍理财产品的基本信息,但一旦用户询问“我该不该买这只基金”这类投资建议,就触碰了合规红线,绝不能被 Agent 自由发挥。

具体案例:PRD 把“个性化投资建议”明确列入不能做什么的黑名单,边界外请求强制触发 L3 降级——转接持证人工理财顾问,并在对话中展示合规提示语。这一边界声明同时写入官网帮助文档,成为监管审计时的合规凭证。

Python 演示

python51 行
# -*- coding: utf-8 -*-"""Agent 能力边界检查与降级分发演示代码""" class AgentBoundaryChecker:    """把 PRD 中的能力边界与降级策略实现为一个可执行的请求分发器"""     def __init__(self):        # 能力边界白名单: 对应 PRD 中"能做什么"清单        self.scope_list = [            "查询天气",            "设定提醒",            "查询日程",            "发送邮件",        ]        # 降级策略表: 边界外请求按关键词匹配降级等级与兜底动作        self.degrade_map = {            "支付": ("L3", "转接人工客服处理资金问题"),            "投诉": ("L2", "生成投诉工单并跟踪处理"),            "未知": ("L1", "提示用户提供更明确的指令"),        }     def in_scope(self, request):        """判断请求是否在能力边界集合内"""        return request in self.scope_list     def get_degrade_plan(self, request):        """为边界外请求匹配降级方案"""        for keyword, plan in self.degrade_map.items():            if keyword in request:                return plan        return ("L1", "记录反馈并提示稍后重试")     def dispatch(self, request):        """统一分发入口: 能力内执行, 能力外降级"""        if self.in_scope(request):            return {"status": "success", "action": "执行: " + request}        level, fallback = self.get_degrade_plan(request)        return {"status": "degraded", "level": level, "action": fallback}  def main():    """模拟一组用户请求, 观察正常处理与降级分支"""    checker = AgentBoundaryChecker()    requests = ["查询天气", "帮我支付这笔订单", "设定提醒", "我要投诉快递"]    for req in requests:        result = checker.dispatch(req)        print("请求[{}] -> {}".format(req, result))  if __name__ == "__main__":    main()
目的:用不到 50 行代码演示 PRD 中“能力边界判定 + 降级策略分发”的核心逻辑,跑一遍就能直观看到能力内请求走成功分支、能力外请求走降级分支。
  1. self.scope_list = [...]能力边界白名单,对应 PRD 里“能做什么”表格,这是一切判定的基准
  2. self.degrade_map = {...}降级策略表,把边界外请求按关键词映射到 (等级,兜底动作)
  3. def in_scope(self, request)边界判定函数,本质就是上文的集合成员判断 $x \in \mathcal{B}$
  4. level, fallback = self.get_degrade_plan(request)能力外请求在这里匹配降级方案,返回 L1/L2/L3 等级
  5. if __name__ == "__main__":可执行入口,跑起来直接观察四种请求的流向

常见误区

误区写 PRD 时,我总觉得能力清单列得越多越好,恨不得把“写诗、编程、炒股建议”全写进去,这样客户和老板看了才觉得这个 Agent 值钱。

正解边界写宽而实现不了,开发和测试按文档排期后必然翻车,上线时用户撞上“菜单上写了但后厨不会做”的菜,体验崩盘比能力弱更致命。PRD 里的能力边界必须基于当前模型真实可测的表现,宁可窄而准,不可宽而虚。就像菜单上写“今日供应”,就得保证后厨真的备了这道菜的料。

为何常见:产品经理容易把“理想中的功能”当成“已有的功能”,带着推销心态写文档,忽略了能力边界是给开发测试看的工程契约,而不是给客户看的营销文案。

误区我理解的降级很简单,Agent 处理不了就返回“系统繁忙,请稍后再试”,这不就是降级吗?PRD 里写一句“报错提示”就够了。

正解报错是冷漠的终止,降级是温暖的接住。降级策略要求必须给出下一步:引导用户换一种问法、提供一个替代入口、或者转接人工。三者都是 PRD 里要写明的兜底路径。只写“报错”等于把用户丢在荒郊野外还不给地图,降级成功率会惨不忍睹。

为何常见:把 Agent 当成传统软件来设计,习惯了表单页面的错误提示,忽略了对话式产品中“每一轮交互都要能接住”的体验连续性。

误区我原以为边界判定和降级方案可以等模型上线、跑出真实数据后再慢慢补,反正前期用户少,翻车了再修也来得及。

正解降级策略必须在 PRD 阶段和正常流程一起设计、一起开发、一起验收。因为它不是可选的补丁,而是产品行为的一部分——触发降级时用户看到什么文案、数据保不保全、转人工要不要对接工单系统,这些都要提前联调。上线后再补,等于让第一批用户当小白鼠,口碑损失往往无法挽回。

为何常见:传统软件开发中“先上线再迭代”的习惯被错误迁移到 AI 产品上,忽略了 Agent 的能力边界是概率性的,第一天就可能被大量边界外请求命中。

误区Agent 的能力是模型给的,所以测试就测模型的准确率、召回率就行,PRD 里的能力和降级策略不用专门测。

正解边界判定和降级分发是确定性软件逻辑,与模型推理是两套完全不同的代码路径,必须有独立的测试用例,而且用例要从 PRD 的场景示例表直接导出。模型再准,边界判定代码写错,能力内请求照样可能被误判成降级。回归测试的通过率,就是给这套确定性逻辑上保险。

为何常见:把“模型评测”和“产品验收”混为一谈,忽略了 AI 产品是“模型 + 规则 + 流程”的复合系统,每一层都可能有 bug。

面试题

Q1. 在 PRD 中明确 Agent 能力边界的最主要目的是什么?

单选题 · easy

  • A.减少开发团队的编码工作量
  • B.统一开发测试对行为的预期← 正确答案
  • C.提升模型推理的响应速度
  • D.减少产品上线的部署时间

答案:B。能力边界文档化的核心价值,是让开发和测试对 Agent 的预期行为有一致认知,避免各自理解、上线翻车。它属于“行为契约”而非性能优化手段,所以 B 正确,其余选项都是对目的的误读。

Q2. 当用户请求超出 Agent 能力边界时,最优的处理方式是?

单选题 · easy

  • A.直接向用户返回错误提示
  • B.静默忽略掉这条用户请求
  • C.执行预设的降级策略方案← 正确答案
  • D.返回空结果并假装正常成功

答案:C。边界外请求必须走 PRD 里预设的降级策略,提供引导、替代或人工兜底。直接报错是冷处理,静默忽略和假装成功更是对用户的欺骗。降级的精髓是“接住”,而不是“甩开”。

Q3. 降级策略中“L1 提示引导”的典型场景是哪一种?

单选题 · mid

  • A.涉及资金操作必须转人工接管
  • B.能力不足但可用文案引导用户← 正确答案
  • C.系统完全崩溃且无法恢复运行
  • D.模型响应超时需要自动重新连接

答案:B。L1 是最轻量级的降级,适用于“做不了但能说明白”的场景,比如提示用户换个说法或引导到帮助文档。涉及资金是典型的 L3 人工介入场景,系统崩溃属于运维事故而非降级策略。

Q4. 以下哪些属于 PRD 中能力边界文档化的必需内容?

多选题 · mid

  • A.能处理的用户场景清单← 正确答案
  • B.超出能力范围的典型请求← 正确答案
  • C.模型层权重参数的具体数值
  • D.边界外请求的降级动作方案← 正确答案

答案:ABD。能力边界文档三件套是“能做什么”白名单、“不能做什么”黑名单、以及边界外的降级动作对应关系。模型权重参数是算法团队的内部实现细节,不属于 PRD 必须暴露的内容,所以 C 不选。

Q5. 边界覆盖率计算公式中,分母代表什么含义?

单选题 · mid

  • A.已经完成文档化的场景总数
  • B.全部预期会遇到的场景总数← 正确答案
  • C.已经执行并且通过的用例数
  • D.用户实际提交的请求总数量

答案:B。边界覆盖率 = 已文档化场景 ÷ 预期场景总数,分母是产品经理通过访谈、客服记录等梳理出的全部预期场景。分子才是已经写进 PRD 的场景数。C 和 D 分别属于测试和线上数据,与文档覆盖率无关。

Q6. 关于降级策略与用户体验的关系,下列说法正确的有哪些?

多选题 · mid

  • A.降级方案应尽早告知用户当前状况← 正确答案
  • B.降级流程需要保全用户提交的关键数据← 正确答案
  • C.降级策略等同于向用户隐瞒服务失败
  • D.降级方案应写入 PRD 验收标准接受检验← 正确答案

答案:ABD。优秀的降级必须提前告知、保全数据、并纳入验收标准。C 恰恰相反——降级不是隐瞒失败,而是坦诚告知并给出替代路径。越坦诚,用户对产品的信任感反而越强。

Q7. Agent 能力边界发生变更时,正确的第一步动作是什么?

单选题 · hard

  • A.直接修改底层的模型推理参数
  • B.更新 PRD 边界文档并通过评审← 正确答案
  • C.通知所有已注册的存量用户
  • D.立即下线旧版本的 Agent 服务

答案:B。边界变更是产品层决策,必须先在 PRD 文档中更新并经过评审,随后才能驱动开发和测试动作。直接改模型参数绕过评审,会让团队失去对行为的统一认知。通知用户是变更发布后的动作,而非第一步。

Q8. 测试团队应当依据什么来设计 Agent 的边界测试用例?

单选题 · mid

  • A.依据模型训练过程中的日志
  • B.依据 PRD 边界与降级策略表← 正确答案
  • C.依据竞品功能的完整列表
  • D.依据历史用户的差评记录

答案:B。PRD 里“能做什么/不能做什么/降级动作”的场景示例表,是测试用例的直接来源——白名单对应正向用例,黑名单对应反向用例,降级策略对应专项用例。训练日志和竞品列表都不是产品行为的契约依据。

Q9. 以下哪些属于用户期望管理的有效手段?

多选题 · easy

  • A.官网公开能力范围说明栏目← 正确答案
  • B.客服提前准备降级应对话术← 正确答案
  • C.完全回避向用户提及能力局限
  • D.关键流程节点标注风险提示← 正确答案

答案:ABD。期望管理三件套是官方说明、客服话术、风险提示,核心是提前把预期水位校准到实际能力附近。回避提及局限只会让用户在撞上边界时更加失望,是典型的反面做法。

Q10. 降级成功率指标最适合用来衡量什么?

单选题 · hard

  • A.衡量降级兜底流程的有效性← 正确答案
  • B.衡量模型本身的预测准确率
  • C.衡量用户对产品的整体满意度
  • D.衡量团队需求的开发交付速度

答案:A。降级成功率 = 成功兜底数 ÷ 触发降级总数,它直接检验“安全网”是否接住了边界外请求,是降级策略有效性的核心指标。模型准确率属于模型评测范畴,整体满意度是多因素综合结果,都不能由降级成功率单独代表。