老王在市中心开了家“AI食府”。起初他以为,只要请来星级大厨(算法模型),生意就能火。可现实是:后厨经常缺食材、切配没有统一标准、客人吃完有没有意见也没人问。直到他悟出一个道理——餐厅想活得好,必须转起一条循环:今天采购什么食材(数据采集)、按什么菜谱切配(数据标注)、客人反馈好不好吃(用户反馈)、主厨怎么改良配方(模型迭代)。这条“采集→标注→反馈→迭代”的循环,在AI行业里就叫数据闭环。本篇文章把这家餐厅的经营故事讲完,你就能摸清AI产品经理最核心的一项硬功夫:如何设计数据闭环需求、用RICE和Kano给需求排座次、拿竞品对标找差距、再把需求变更管得井井有条。

岗位关联

学会数据闭环需求设计,你将成为连接用户、算法与工程的关键枢纽:让模型“越用越聪明”,让需求“越排越有价值”,这是AI产品经理区别于普通产品经理的分水岭。

目录
  1. 可视化演示
  2. 闭环全景认知
  3. 需求采集策略
  4. 数据标注体系
  5. 反馈机制设计
  6. 需求优先级排序
  7. 竞品对标分析
  8. 需求变更管理
  9. AI 应用场景
  10. Python 演示
  11. 常见误区
  12. 面试题

可视化演示

动态演示AI产品经理的核心机制,通过采集/分析/决策/反馈四种模式展示关键概念与交互流程。

本节配有交互动效(进入视口后自动加载,约 3KB)。

AI产品经理:数据采集 数据采集策略设计 数据标注流程与质量控制 核心机制可视化 AI产品经理整体架构与关键组件

闭环全景认知

老王第一次画下那条循环时,厨房里的人都笑了:“这不就是采购、备菜、上菜、听意见嘛,我们天天都在做。”可当他真的把四个环节串成一张表,才发现每道菜(每个模型能力)背后都缺一环:语音点菜模型没有方言录音(采集缺)、外卖评价没人归类(标注缺)、客人投诉没有回流到后厨(反馈缺)。数据闭环不是四个独立任务,而是一条首尾相接的流水线。

在AI产品里,闭环四环节分别对应:采集(Collect)获取原始数据,标注(Annotate)把数据变成模型能学习的“标准答案”,反馈(Feedback)回收真实使用中的错误与用户意见,迭代(Iterate)驱动模型和产品升级。AI产品经理的核心工作,就是设计这条闭环里“需求从哪来、数据往哪流、价值在哪闭环”。

闭环的价值可以用“数据飞轮”理解:每一轮循环都在喂养模型,模型变好又吸引更多用户,产生更多数据。需求分析在这个飞轮里的角色是“菜单设计师”:决定采什么、标什么、反馈怎么用。质量、数量、速度三者缺一不可——海量但低质的数据只会把模型带偏。

老王把这张“数据价值公式”贴在厨房门口:食材要新鲜(质量)、种类要够(数量)、每周必须开一次复盘会(循环次数)。他后来常说:“餐厅的护城河不是某一道菜,而是这条越转越顺的循环。”

数据价值=数据量×标注质量×反馈循环次数数据价值 = 数据量 \times 标注质量 \times 反馈循环次数
  1. 数据量(D)采集到的样本规模。数据是模型的“口粮”,规模越大,模型见过的场景越丰富。
    D=有效样本条数D = \text{有效样本条数}
  2. 标注质量(Q)标签与真实答案的一致性。质量差的数据等于“变质的食材”,再多也白搭。
    Q=标注一致率 / 准确率Q = \text{标注一致率 / 准确率}
  3. 反馈循环次数(N)闭环转了多少轮。飞轮的复利来自“次数”——每转一轮模型都带着上一轮的教训重新学习。
    N=完成的迭代轮次N = \text{完成的迭代轮次}
  4. 乘法关系三项是相乘而非相加,意味着任何一项趋近于零,整体价值都归零。
    价值=D×Q×N\text{价值} = D \times Q \times N

需求采集策略

老王采购从不只去一个菜市场。时令蔬菜去早市、稀缺海鲜找固定供应商、特殊调料走网购——因为单一渠道会让餐厅“偏食”。AI产品的数据采集也一样:只盯着一个渠道,模型就会在自己的小世界里自我强化。

需求采集的本质是回答三个问题:要解决什么问题?需要什么数据?从哪来?常见的采集渠道有四类:用户访谈与问卷(收集显性需求)、埋点日志(记录行为数据)、客服工单与投诉(挖掘痛点)、行业报告与竞品情报(捕捉趋势)。不同渠道解决不同缺口,组合使用才能覆盖完整场景。

有了渠道还要做数据源规划:把每条需求映射成一张表——需要哪些字段、数据从哪个系统来、采集频率多高、成本多少。特别要注意场景覆盖:AI产品最怕“训练时没见过”,长尾场景(方言、夜间拍照、极端天气)要专门补采。最后守住质量底线:采集必须合法合规(隐私授权、脱敏),否则“垃圾进、垃圾出”,后端的标注与模型全被污染。

老王后来把采购清单改成了“菜品-食材-供应商”三栏表,还规定每种食材必须有备选供应商。数据源规划的意义就在于此:让每一条需求都能找到稳定的数据“供货渠道”。

数据标注体系

同样一盘回锅肉,十个厨师切法不同,出品就不稳定。老王为此定下标准菜谱:肉片切多厚、蒜苗切几段、豆瓣酱放几勺。数据标注就是给AI“备菜”的标准工序——把原始数据切成模型能一口吃下的“标准答案”。

标注体系的第一步是标注规范:一份好的规范包含标注指南、类别体系、边界示例和疑难案例。比如意图识别模型要定义清楚“查天气”和“闲聊天气”的边界;图像框选要说明遮挡、模糊时怎么处理。规范越细,标注员之间的分歧越小。

有了规范还要质量控制。最常用的指标是一致性(两个标注员对同一条数据是否给出相同标签),用 Cohen's kappa 衡量。众包管理把任务分给大量兼职标注员,适合规模大、边界清晰的场景;但关键数据建议专家复核,并用主动学习优先标注模型最不确定的样本,实现成本平衡。

老王后来发现,菜谱写得越细,新来的帮厨也能切出老师傅的刀工。标注规范就是给“AI后厨”扩产能的菜谱——它让规模化众包成为可能,也守住了质量这条生命线。

κ=Po−Pe1−Pe\kappa = \frac{P_o - P_e}{1 - P_e}
  1. Po 观测一致率两名标注员对同一样本给出相同标签的比例,反映“实际想到一块”的程度。
    Po=一致标注的样本数总样本数P_o = \frac{\text{一致标注的样本数}}{\text{总样本数}}
  2. Pe 随机一致率即使双方随机乱标也可能“碰巧一致”的比例,由各类别被使用的频率推算。
    Pe=∑kpk2P_e = \sum_{k} p_k^2
  3. 归一化相除分母把“随机猜对”的部分去掉,得到真正的、超出运气的一致性。κ>0.8 近乎完美,0.6~0.8 较强,<0.4 说明规范或培训出了问题。
    κ=Po−Pe1−Pe\kappa = \frac{P_o - P_e}{1 - P_e}

反馈机制设计

老王最怕的不是差评,而是“没评价”。没评价就不知道哪道菜该下架、哪道菜该改良。于是他设计了四层反馈渠道:桌上意见卡(主动反馈)、服务员巡台询问(引导式反馈)、外卖平台评论(外部反馈)、后厨记录剩菜率(隐式反馈)。

反馈机制要区分显式反馈和隐式反馈。显式反馈包括点赞/点踩、纠错按钮、举报入口,信号明确但数量少;隐式反馈包括停留时长、退出率、自动上报的失败日志,量大但噪音多。产品经理的任务是降低反馈成本、提高反馈的结构化程度——用户点一下“答错了”就应该自动带上上下文。

反馈不能躺在数据库里,要能触发闭环。一方面做模型评估:离线看准确率/召回率,在线看通过率/满意度,发现指标退化就自动生成待标注样本池;另一方面定迭代节奏:按周或双周完成一轮“反馈→分析→补标→重训→上线”,让闭环触发成为自动化机制而非人肉催促。

老王把每周一上午定为“剩菜复盘会”:服务员报菜名、后厨查原因、采购改清单,四十分钟形成本周改良清单。AI产品也需要这样一个雷打不动的闭环节点——它让“听取反馈”从口号变成机制。

Tcycle=Tcollect+Tanalyze+Tlabel+TdeployT_{cycle} = T_{collect} + T_{analyze} + T_{label} + T_{deploy}
  1. Tcollect 采集耗时反馈从用户端汇聚到分析系统的时间,埋点与自动上报能大幅压缩。
    Tcollect=反馈数据汇聚时长T_{collect} = \text{反馈数据汇聚时长}
  2. Tanalyze 分析耗时产品经理从反馈中定位问题、形成需求清单的时间。
    Tanalyze=问题定位与需求分析时长T_{analyze} = \text{问题定位与需求分析时长}
  3. Tlabel 标注耗时新样本进入标注与质检的时间,众包和主动学习能缩短这一环。
    Tlabel=标注与质检时长T_{label} = \text{标注与质检时长}
  4. Tdeploy 上线耗时模型重训、评测和发布的时间。
    Tdeploy=训练与上线时长T_{deploy} = \text{训练与上线时长}
  5. 求和与加速闭环周期是四段之和,压缩任意一段都能让飞轮转得更快。
    Tcycle=Tcollect+Tanalyze+Tlabel+TdeployT_{cycle} = T_{collect} + T_{analyze} + T_{label} + T_{deploy}

需求优先级排序

菜单要上新菜,候选有十道:佛跳墙、酸菜鱼、辣子鸡……后厨只有三个人,先做哪道?老王列了张表:这道菜能吸引多少客人(覆盖)、对满意度提升多大(影响)、我有几分把握(信心)、要投入多少人工(成本)。四个数字一算,孰先孰后立刻有了依据——这就是传说中的RICE模型。

RICE 把四个抓手合成一个分:Reach(覆盖度)、Impact(影响力)、Confidence(信心度)和Effort(成本)。

只算分还不够,因为有些需求“不做会被骂”、有些“做了也没人夸”。Kano 模型把需求分成三类:基本型(如米饭要管饱、点菜要能下单,不做会强烈不满)、期望型(如上菜速度,做得越好越满意)、兴奋型(如免费甜品,不做没人怪,做了超预期惊喜)。产品经理的组合决策是:先用 Kano 定“品级”,再用 RICE 定“次序”,最后结合战略依赖做资源分配——基本型需求优先保底,兴奋型需求择机创造口碑。

老王最终把“基础套餐优化”排进本周(基本型+RICE高),把“隐藏彩蛋甜品”排进下月(兴奋型)。他说:优先级不是拍脑袋,也不是一味算分,而是“分类保底线、分数定次序、节奏控资源”。

RICE=R×I×CE\text{RICE} = \frac{R \times I \times C}{E}
  1. A/O/M/I 问卷计数通过功能“有”与“无”两份问卷,把每个用户归入魅力型(A)、期望型(O)、必备型(M)或无差异型(I)。
    A,O,M,I=各类别回答人数A, O, M, I = \text{各类别回答人数}
  2. better 满意系数取值范围 0~1,越大代表提供该功能越能提升满意度,主要用于发现兴奋型需求。
    better=A+OA+O+M+Ibetter = \frac{A + O}{A + O + M + I}
  3. worse 不满意系数取负值,绝对值越大代表缺失该功能越招致不满,主要用于识别基本型需求。
    worse=−O+MA+O+M+Iworse = -\frac{O + M}{A + O + M + I}

竞品对标分析

老王每月派两个试吃员去隔壁餐厅:点招牌菜、掐表算上菜时间、偷偷记客人表情。但他从不要求厨房照着别人的菜“像素级复刻”,而是追问:对方这道菜背后用的什么食材供货链(数据)、什么切配标准(标注)、什么意见反馈机制(反馈)?

竞品对标的核心是拆解对方的数据闭环,而不是抄功能界面。对标维度通常有四层:数据规模与来源、标注规范与质量、反馈机制与迭代速度、模型效果与用户体验。每个维度都要找可度量的抓手,比如“对方周更模型”“对方标注一致率公开报告”。

对照之后做差距识别:把竞品功能拆成“表面功能”和“背后数据/机制”两层。比如对方有“拍照识别菜品”,表面是CV功能,背后是数十万张菜品图的采集与标注体系。如果只抄前端不补数据,等于只学摆盘不学后厨。然后是机会洞察:在对方薄弱处建立差异,比如对方反馈响应要3天,你做24小时闭环;最后是动态跟踪:竞品对标不是一次性的,要建立月度/季度跟踪机制,防止对手悄悄拉开差距。

试吃员报告的最后一行永远是一句话:“我们落后在食材供应链,而不是摆盘。”老王把这句话抄下来贴在会议室——对标的意义是照见自己的短板,而不是复刻别人的光鲜。

Sgap=∑iwi×giS_{gap} = \sum_{i} w_i \times g_i
  1. wi 维度权重不同维度对业务的重要程度不同,搜索产品更看重数据规模,客服产品更看重反馈机制。
    wi=第 i 个维度的权重(和为 1)w_i = \text{第 i 个维度的权重(和为 1)}
  2. gi 单项差距分该维度下自身与竞品的差距得分(负值代表落后,正值代表领先)。
    gi=自身得分−竞品得分g_i = \text{自身得分} - \text{竞品得分}
  3. 加权求和得到一个综合差距分,帮助判断“整体落后多少、落后在哪一环”。
    Sgap=∑iwi×giS_{gap} = \sum_{i} w_i \times g_i

需求变更管理

客人点完菜突然要求“少油少盐”,老王的做法不是直接拒绝,也不是立刻改菜单,而是跑到后厨确认:肉切了没?料调了没?换成新做法要返工多少?需求变更在AI产品里是常态而非意外,产品经理的价值在于把变更变成“可控的成本核算”,而不是情绪的拉扯。

规范的变更流程有四步:提出(任何干系人都可发起,但要写清理由与期望);影响评估(对闭环各环节逐一排查:已采集数据是否作废、标注计划是否调整、模型训练是否回滚、上线时间是否受影响);决策排期(纳入当前迭代还是切到下一版本);通知执行(把结论同步给研发、算法、标注团队)。每一步都要留痕,防止“我以为你改了”。

在版本规划上,产品经理要建立节奏感:小变更随时进当前迭代,大变更统一进下个版本;迭代中设置需求冻结期(比如上线前三天只修 bug 不改需求),保护团队专注度。干系人沟通同样关键:定期同步需求池状态、变更原因与影响面,让算法、工程、数据团队在同一个决策上下文里协作。

老王后来在菜单上印了一行字:“菜单每两周大改一次,每天仅限三道菜微调。”看似限制,实则保护了后厨的节奏。需求变更管理的精髓就是如此:用流程承接变化,用节奏保护团队——把“谁嗓门大谁说了算”变成“谁的数据充分谁影响决策”。

Cchange=Csunk+Crework+CopportunityC_{change} = C_{sunk} + C_{rework} + C_{opportunity}
  1. Csunk 沉没成本在旧需求上已经投入、无法收回的资源,包括已标注数据、已训练模型。
    Csunk=已投入且不可回收的资源C_{sunk} = \text{已投入且不可回收的资源}
  2. Crework 返工成本需求调整后需要重做的部分,包括重新标注、重新训练、重新测试。
    Crework=返工所需人月×单位成本C_{rework} = \text{返工所需人月} \times \text{单位成本}
  3. Copportunity 机会成本因为做这个变更而推迟其他需求带来的潜在损失。
    Copportunity=被推迟需求的价值估计C_{opportunity} = \text{被推迟需求的价值估计}
  4. 求和决策变更成本=三者之和,只有当预期收益大于该成本时才值得变更。
    Cchange=Csunk+Crework+CopportunityC_{change} = C_{sunk} + C_{rework} + C_{opportunity}

AI 应用场景

智能客服:误答反馈驱动的双周闭环

阶段:需求分析 + 数据闭环设计

解决的问题:传统FAQ知识库靠人工维护,模型答错了要等很久才更新,用户重复投诉。AI产品经理设计“误答反馈→自动聚类→补标→双周重训”的闭环,让客服模型每次答错都自动沉淀为下一轮的训练素材。

具体案例:某银行智能客服PM在对话窗口加“答错了”按钮,误答样本自动带上上下文进入待标注池;每周按错误热点聚类生成标注任务,双周完成一次模型热更新。三个月后,人工转接率下降 31%。

电商搜索:RICE + Kano 排序需求池

阶段:需求优先级排序

解决的问题:搜索需求池堆了上百条“优化点”,研发资源只够做三分之一,传统做法靠开发自选或老大拍板。产品经理用 RICE 算分、用 Kano 分类,把“搜索结果页不能白屏”(基本型)与“猜你想搜”(兴奋型)分开排期。

具体案例:某电商平台搜索团队每双周开需求评审会,先按 Kano 分类保底线,再按 RICE 得分排次序,输出带分值的排期表。研发反馈“终于知道为什么做这个、为什么不做那个”。

自动驾驶数据平台:标注一致性与竞品对标

阶段:数据标注体系 + 竞品对标分析

解决的问题:自动驾驶路采数据海量,众包标注质量波动大,且难以判断自研标注平台与行业标杆的差距。平台PM引入 Cohen's kappa 作为标注员考核指标,并定期对标头部企业的数据规模与标注规范。

具体案例:某自动驾驶公司标注平台PM按月输出“一致性体检报告”,kappa 低于 0.6 的批次强制返工重标;同时对标竞品公开的采集车队规模与场景分布,发现夜间雨雾数据缺口,专项补采后模型长尾场景通过率提升 18%。

Python 演示

python45 行
# -*- coding: utf-8 -*-"""数据闭环需求池优先级排序:RICE打分+Kano分类辅助决策"""from dataclasses import dataclass  @dataclassclass Requirement:    name: str    reach: int          # 影响用户数(万人)    impact: float       # 影响等级 0.25-3    confidence: float   # 信心 0.5-1.0    effort: float       # 投入(人月)    kano: str           # basic / performance / delight  def rice_score(item):    """RICE = Reach * Impact * Confidence / Effort"""    return item.reach * item.impact * item.confidence / item.effort  def kano_weight(kano):    """Kano 类型权重:基本型优先保底,期望型中等,兴奋型锦上添花"""    table = {"basic": 1.3, "performance": 1.0, "delight": 0.7}    return table[kano]  def rank_backlog(backlog):    """综合得分 = RICE * Kano权重,降序输出"""    scored = []    for item in backlog:        score = rice_score(item) * kano_weight(item.kano)        scored.append((score, item.name))    scored.sort(reverse=True, key=lambda x: x[0])    return [(name, round(score, 2)) for score, name in scored]  if __name__ == "__main__":    backlog = [        Requirement("客服纠错反馈入口", 80, 2.0, 0.9, 2.0, "basic"),        Requirement("标注质检抽检升级", 50, 2.5, 0.8, 1.5, "basic"),        Requirement("异常日志自动采集", 60, 1.5, 0.7, 1.0, "performance"),        Requirement("模型周度评估看板", 40, 2.0, 0.8, 2.5, "delight"),    ]    for name, score in rank_backlog(backlog):        print("%s -> 综合得分: %.2f" % (name, score))
目的:把需求池里的候选需求,按 RICE 打分并叠加 Kano 分类权重,输出一份可直接用于评审排期的优先级清单。
  1. @dataclass用数据类定义需求条目,字段覆盖覆盖度、影响、信心、成本与 Kano 类型。
  2. return item.reach * item.impact * item.confidence / item.effortRICE 核心公式:乘出价值、除以成本。
  3. table = {"basic": 1.3, "performance": 1.0, "delight": 0.7}Kano 权重映射:基本型需求放大权重,保证底线优先。
  4. scored.sort(reverse=True, key=lambda x: x[0])按综合得分降序排列,把“谁先做”变成可解释的数字。
  5. if __name__ == "__main__":程序入口,直接运行即可看到排好序的需求清单。

常见误区

误区以为拼命堆标注量就能提升模型效果,把“标注条数”当成团队KPI,甚至鼓励标注员“多劳多得”。

正解质量失控的标注等于给模型喂变质的菜。当一致性 κ 低于 0.4 时,再多的标注只会放大错误信号,模型越练越偏。正确的做法是先定规范、查一致性,再谈规模化;主动学习优先标“模型最不确定”的样本,往往比盲目翻倍更有价值。

为何常见:标注量直观、可数、容易汇报,而“质量”难以量化,于是团队本能地用容易衡量的指标替代真正重要的指标。

误区把反馈机制理解成“建个吐槽入口”,问卷、评论区、投诉邮箱全开,数据进来后却从不处理,美其名曰“收集反馈”。

正解反馈的价值在触发闭环:分类→评估→补标→迭代。没有后续动作的反馈只是数据垃圾,还会让用户觉得“说了也没用”。设计反馈机制时必须同步设计下游动作,比如自动生成待标注池、触发模型评估看板。

为何常见:收集反馈成本低、动作感强,容易让人误以为“听了用户的声音”,而真正的闭环动作需要跨团队协作,门槛高得多。

误区把 RICE 当成唯一真理,分高就排第一,分低就无情砍掉,甚至为了分数好看去“美化”覆盖度或信心值。

正解RICE 是筛选工具,不是裁决工具。基本型需求即使 RICE 不高也必须保底,否则用户连用都用不下去;战略级需求可能与现有闭环强依赖,需要插队。正确姿势是 Kano 定品级、RICE 定次序、战略依赖做微调。

为何常见:数字天然给人一种“客观、科学”的安全感,让人忘记分数背后的假设可能不靠谱。

误区把对标报告写成功能清单,要求团队“别人有我也要有”,上线后发现效果差一大截,反过来怪研发不给力。

正解对标要拆解数据与机制。同样的“拍照识别菜品”,对方背后是数十万张图和多轮标注迭代;只抄前端不补数据,等于只学摆盘不学后厨。差距识别必须落到数据闭环的某一环,机会洞察也要找对方机制上的薄弱点。

为何常见:功能可见、数据不可见,人们容易只抄看得见的界面,忽略看不见的供应链与流程。

误区把反复变更当成团队不专业的表现,试图用“封板”“冻结”压制一切变更,谁提变更就嫌谁事多。

正解AI 产品需求天然高频演化——数据分布会变、用户行为会变、竞品也会变。关键不是禁止变更,而是用流程承接变更:评估沉没、返工与机会成本,小变更进迭代、大变更进版本,并设置合理的冻结期。

为何常见:变更多意味着返工多,直觉上让人反感;但压制变更只会让错误需求硬着头皮上线,返工成本更高。

面试题

Q1. 数据闭环“采集-标注-反馈”中,反馈环节的核心目的是什么?

单选题 · easy

  • A.收集用户满意度数据
  • B.驱动错误标注与迭代← 正确答案
  • C.完全替代人工客服
  • D.削减数据采集预算

答案:B。反馈环节的价值是把模型错误和用户不满转化成下一轮迭代的输入,即“驱动错误标注与迭代”。A 只是手段之一而非目的,C 不可能完全替代人工客服,D 与反馈无关。

Q2. RICE 模型中的 C 代表什么?

单选题 · easy

  • A.Cost 开发成本
  • B.Confidence 把握度← 正确答案
  • C.Coverage 覆盖度
  • D.Conversion 转化率

答案:B。RICE 中 C 是 Confidence(信心度),指对覆盖和影响估计的把握程度。Cost 对应的是 E(Effort),Coverage 是 R(Reach)的近似概念,Conversion 不在 RICE 框架内。

Q3. Kano 模型中“基本型需求”的特点是?

单选题 · easy

  • A.不满足则不满,满足无惊喜← 正确答案
  • B.满足程度越高越兴奋
  • C.用户从不会主动提及
  • D.只影响核心付费客户

答案:A。基本型需求是“必需品”,不满足会强烈不满,满足也不会带来额外惊喜(如下单支付、登录)。B 描述的是期望型需求的线性增长,C、D 与 Kano 分类无关。

Q4. 两位标注员对同一批数据的一致性很差,产品经理最先应该检查什么?

单选题 · mid

  • A.调整标注员的薪资
  • B.检查标注规范边界例题← 正确答案
  • C.更换数据采集渠道
  • D.修改模型网络结构

答案:B。标注一致性差的常见根因是规范不清晰、边界示例不足,先把“菜谱”写清楚再谈考核。薪资、采集渠道、模型结构都不是标注分歧的直接原因,属于干扰项。

Q5. 设计一套有效的用户反馈机制,应该包含哪些要素?

多选题 · mid

  • A.提供点赞举报显式入口← 正确答案
  • B.自动上报失败与纠错日志← 正确答案
  • C.屏蔽所有负面用户评论
  • D.定期分流评审反馈信息← 正确答案

答案:ABD。反馈机制需要显式入口(A)获取主动意见,隐式日志(B)获取行为信号,并用定期分流评审(D)让反馈真正进入闭环。屏蔽负面评论(C)会切断最宝贵的反馈信号,属于错误做法。

Q6. 计算 RICE 得分时,Effort 通常用什么口径衡量?

单选题 · mid

  • A.研发测试投入的人月数← 正确答案
  • B.用户平均使用时长
  • C.需要标注的数据条数
  • D.竞品上线的功能数量

答案:A。RICE 中的 Effort 指实现该需求的总投入,包括研发、标注、测试等,通常用人月衡量。用户时长、标注条数、竞品功能数都不是成本口径,属于干扰项。

Q7. 接到一个需求变更请求后,影响评估的第一步应该做什么?

单选题 · mid

  • A.直接关闭本次变更
  • B.评估已投入标注资源← 正确答案
  • C.召集全部干系人开会
  • D.立即重写需求文档

答案:B。变更评估的第一步是摸清“已投入了什么、会返工什么”,即盘点已采集/已标注/已训练的资源。直接关闭或立刻改文档都跳过了评估,C 的“全员大会”也不是第一步且成本过高。

Q8. 关于 Cohen's kappa 的说法,正确的有哪些?

多选题 · hard

  • A.Po 代表标注员观测一致率← 正确答案
  • B.Pe 越大说明一致性越好
  • C.数值可以超过一
  • D.用于衡量标注一致性← 正确答案

答案:AD。Po 是观测一致率(A 对),kappa 常用于衡量标注一致性(D 对)。Pe 是随机期望一致率,Pe 越大意味着运气成分越大,一致性越可能被高估(B 错);kappa 最大为 1,不可能超过 1(C 错)。

Q9. Kano 模型中 better 系数的含义是什么?

单选题 · hard

  • A.越大说明越容易引发不满
  • B.越大说明越能提升满意度← 正确答案
  • C.可以直接替代 RICE 排序
  • D.只适用于付费功能评估

答案:B。better 系数衡量“提供该功能对满意度的提升作用”,越大越能带来惊喜,常用于识别兴奋型需求。worse 系数的绝对值才对应不满风险,因此 A 错误;C、D 明显超出 Kano 的适用范围。

Q10. 以下哪些做法能真正加速数据飞轮的转动?

多选题 · extreme

  • A.缩短反馈到上线周期← 正确答案
  • B.提升标注通过率指标← 正确答案
  • C.增加无效冗余采集样本
  • D.标注规范对齐错误热点← 正确答案

答案:ABD。加速飞轮 = 缩短循环周期(A)+ 提升标注质量与通过率(B)+ 让标注规范紧跟模型错误热点(D),三者分别压缩了 T_cycle 中的不同环节。增加无效冗余样本(C)会稀释数据质量、拖慢闭环,是错误的做法。