想象你开了一家“AI小馆”。推出新菜前,你不需要请美食家评委,只需要问常客一句话:“如果明天这道菜下架了,你会很失望吗?”如果十个人里有四个都说“会”,这道菜才算真被记住了;如果说“关我什么事”,那它可能只是菜单上的数字。这个思路,正是创业圈判断产品是否达到市场匹配的经典方法——Sean Ellis 测试。它不迷信老板直觉,也不依赖复杂数据,只用一个精心设计的问题,把“用户离不离得开你的产品”变成可衡量的信号。

岗位关联

对 AI 从业者来说,Sean Ellis 测试是低成本验证 AI 产品方向是否成立的“体检表”。它会帮你用数据代替拍脑袋,判断该继续投入还是及时转向。

目录
  1. 可视化演示
  2. 核心概念
  3. 问卷设计
  4. 用户分群
  5. 阈值判定
  6. 信号解读
  7. 实施流程
  8. 常见误区
  9. 应用延伸
  10. AI 应用场景
  11. Python 演示
  12. 常见误区
  13. 面试题

可视化演示

三步交互演示PMF验证方法:40%阈值问卷分析、用户分群响应对比、PMF信号光谱解读与应对策略。

本节配有交互动效(进入视口后自动加载,约 3KB)。

40%阈值问卷分析 非常失望≥40%→达到PMF 四个选项:失望/有点/不/不再用 PMF = 非常失望占比 ≥ 40% 用数据而非直觉判断产品方向

核心概念

你一开始做菜全凭自己口味:喜欢辣就多加辣,结果客人只是客气地说“还行”。开餐厅最怕的不是没人尝,而是没有人记住这道菜。产品也一样,最怕用户用完就走,却说不清哪里不好。产品市场匹配(PMF)要回答的,就是“是否有一群用户,少了你就难受”。

Sean Ellis 测试就是为这个问题发明的一把尺子。它来自增长黑客圈一个朴素观察:与其分析一堆行为数据,不如直接问用户“如果不能再使用这个产品,你会多失望”。这个测试在创业圈里被反复验证,特别适合早期产品——当产品还未形成稳定留存、方向还没定型时,用它可以低成本判断方向对不对。

要注意,它不是替代留存率、收入等指标,而是补充一个“用户情感依赖”的视角。Sean Ellis 测试的真正价值在于:它把模糊的“感觉有需求”变成了一串数字,让团队在继续投入和及时转向之间,有一个冷静的参考。就像老板不再问自己“我爱不爱吃”,而是问熟客“你离不离得开”。

问卷设计

做这道“招牌菜检验”时,最忌问“菜怎么样”。客人都说“不错”,但下个月还是没人点。真正有用的问法是:“如果明天菜单上没有这道菜,你会失望吗?”只有把问题逼到“失去”的边界,才能听到真心话。

问卷设计要从四个口子把好。第一,筛选条件:只让真正用过产品的人答题,至少体验过一次核心功能。第二,核心问题:一句话——“如果明天不能继续使用这个产品,你会?”选项要给出明显的程度差。第三,选项设计:通常使用“非常失望、有点失望、不失望、不再使用”四档,方便后续只把“非常失望”算作正面信号。第四,开放追问:在选择题后加一个“为什么”,让用户用一句话解释,方便做归因。

设计时还要守住中立性。不能在问题前加“我们产品最近优化了很多功能”之类的介绍,那等于暗示用户说好话。也不能用“很失望吗”这种带倾向的语气。问卷就像匿名意见簿,客人们只有觉得安全,才敢写“这道菜太咸了”。否则你回收的每条答案都是礼貌的谎言。

用户分群

假如店门口排着两类人:一类是路过打卡的游客,一类是每周都来的熟客。游客说“还行”可能只是给个面子,熟客说“失望”才是真正的生意晴雨表。Sean Ellis 测试同样不能把所有注册用户混在一起算。

所以分析时要先分群。付费用户是最值得关注的群体,他们真金白银投票;高频活跃用户是潜在的核心食客,他们离不开的可能性更高。而那些注册后只打开过一次、或者连核心功能都没用过的人,就像刚进店就走的客人,他们的回答不该和熟客平均。样本抽样也要注意,不能只挑客服反馈里说好的人,也不能只在粉丝群里发问卷。

避免偏差还有一层意思:亲友、同事、早期投资人往往因为关系而给好评。真正的测试应该匿名、随机,并覆盖不同渠道来源的用户。分群不是为了让数字好看,而是为了看清——如果把游客都赶出平均分,剩下的熟客到底爱不爱这道菜。

阈值判定

你问了一圈熟客,有人说“会失望”,有人说“无所谓”。到底多少人失望才算这道菜立住了?Sean Ellis 给出的经验线是:40%。也就是说,如果十个目标用户里,有四个及以上表示“非常失望”,产品就释放出很强的 PMF 信号。

这里有两个口径必须咬死。第一,分子只能是“非常失望”,不能把“有点失望”也算进去。第二,分母是完整填写问卷的目标用户,不是所有注册用户。否则分母灌水,比例会虚低;分子放宽,比例会虚高。由此可以得到核心指标:

为什么是 40% 而不是 80%?因为早期产品总有不完美,只要四成核心用户觉得离不开,就说明需求真实存在。剩下的六成可能只是还没被完全打动,那是产品迭代要解决的问题。反之,如果连四成都凑不齐,说明这道菜还没成为熟客的“心头好”,老板应该先改菜谱,而不是急着开分店。

S=NdN×100%≥40%\displaystyle S = \frac{N_d}{N} \times 100\% \ge 40\%
这个公式的意思是:把回答“非常失望”的人数除以有效问卷总数,得到失望比例;当这个比例不低于 40% 时,认为产品具备 PMF 信号。40% 是经验阈值,不是绝对的数学定理。
  1. 失望人数 \(N_d\)\(N_d\) 表示在所有有效问卷中,选择“非常失望”选项的用户数量。
    NdN_d
  2. 总样本量 \(N\)\(N\) 表示完成问卷并通过筛选条件的目标用户总数,不包括未激活用户和废卷。
    NN
  3. 占比计算 \(\frac{N_d}{N}\)计算“非常失望”用户在全部有效样本中的占比,衡量用户舍不得产品的强度。
    NdN\frac{N_d}{N}
  4. 百分比与阈值比较乘以 100% 转为百分比,并与 40% 这条经验线比较,决定是否释放 PMF 信号。
    S=NdN×100%≥40%\displaystyle S = \frac{N_d}{N} \times 100\% \ge 40\%

信号解读

比例算出来了,但 40% 只是绿灯,不是终点。就像你发现四成熟客说离不开这道菜,还要看看这四成人是谁、为什么离不开、下次还来不来。信号解读通常分三档:40% 以上是强信号,值得加速投入;25% 到 40% 是中信号,说明有需求但不够强烈,要找出阻碍;25% 以下是弱信号,最好重新审视方向。

解读时要结合留存率。如果失望比例高,但用户的次月留存很低,可能是“嘴上说很想、身体很诚实”,说明产品没有被真正使用。还要做分群对比:付费用户失望比例是否明显高于普通用户?活跃用户是否比沉默用户更舍不得?开放问题里的高频词,比如“便宜”“方便”“省时间”,会告诉你用户离不开的具体原因。

最终这些信号要落到行动决策上。强信号不是马上烧钱扩张,而是集中资源把核心体验做深;中信号要去排查是新用户没理解价值,还是功能某处卡住体验;弱信号则要考虑换人群还是换产品定位。数据不会替你做决定,但它能让你在岔路口不再靠掷硬币。

实施流程

一次可靠的“试菜”不能随手抓客就问。真正的实施流程分为四步:准备、投放、收集、分析。每一步失误,都可能让最后 40% 的数字失去意义。

准备阶段,先明确测试目的和对象:你想验证哪个假设?你的核心用户是谁?然后设计问卷,把核心问题、选项和开放追问写好,同时定好样本量——通常回收 100 到 300 份有效问卷,足以看出趋势。投放阶段,通过邮件列表、App 内弹窗或目标用户社群邀请用户,尽量覆盖不同渠道,避免只触达最忠诚的一批人。

收集阶段,要看回收率和完成率。如果大量用户填到一半退出,说明问卷太长或问题太怪;如果答案清一色好评,要警惕是不是投放渠道偏了。分析阶段,先算总比例,再做分群对比,最后结合开放回答和留存数据输出决策建议。整套流程就像后厨的品控:菜单、食材、试吃、复盘,缺一环都可能上了假招牌。

常见误区

很多创业团队把 Sean Ellis 测试当成万能开关,结果在错误的时间用错误的方式,得到了漂亮的伪信号。这就像老板特意挑喜欢夸人的朋友来试菜,最后菜单上全是自我感动。

第一个误区是过早测试。产品还没让用户体验到核心价值,就急着发问卷,用户自然说“不失望”,带回来的不是方向判断,而是噪音。第二个误区是样本偏差。只问老用户、亲友团,或者只挑活跃用户里的积极分子,失望比例当然虚高。第三个误区是问卷诱导。问题前加一堆产品亮点,选项里写“我们真的很想帮你”,用户出于礼貌就会说好。第四个误区是误用阈值。40% 适用于早期 PMF 验证,不代表成熟期、B 端或高客单价产品可以照搬;在中信号情况下不做留存分析就盲目扩张,同样危险。

这些误区的共同点,是让测试服务于“证明我是对的”,而不是“搞清楚真相”。测试的价值在于诚实,哪怕是难看的数字,也比漂亮的谎言更能帮你活下去。

应用延伸

回到 AI 小馆:智能菜单推荐这个功能是不是招牌菜?你同样可以问用户“如果明天不能使用 AI 推荐,你会不会很失望”。在 AI 创业场景里,Sean Ellis 测试特别适合回答一个现实问题:用户到底是因为 AI 能力离不开,还是只是来薅按钮的羊毛。

延伸使用时,可以把它和留存率、使用频次、付费意愿等指标组合起来看。例如 AI 写作工具可以先测“非常失望”比例,再看这群失望用户是否保持了高活跃;如果失望回答者集中在付费用户,说明产品对核心人群有价值。同时要记得它的边界:Sean Ellis 测试只说明需求强度,不回答商业模式是否成立、渠道能不能复制、成本能不能覆盖。它适合在早期验证中做“筛查”,但之后还要靠留存曲线和单位经济模型来长期追踪。

就像不能靠一道菜开遍全国,PMF 是起点,不是终点。用 Sean Ellis 测试找到“少吃一口就难受”的核心用户之后,你要做的是把这道菜做深、做透,让更多人成为舍不得离开的熟客。

AI 应用场景

场景一:AI 早期产品要不要继续投钱

阶段:方向验证

解决的问题:很多 AI 产品上线后,团队只盯着日活,却说不清用户是不是真的离不开,就像老板没问熟客爱不爱招牌菜就急着宣传。传统做法是拍脑袋决定继续烧钱,或用留存率等间接指标推断,容易误导。

具体案例:一个 AI 简历优化工具,向 200 名活跃用户推送 Sean Ellis 问卷,结果只有 30% 选“非常失望”。进一步分群后,发现付费用户的失望比例高达 52%,说明核心人群有强需求,于是团队放弃泛用户市场,专注付费求职人群。

场景二:AI 功能取舍

阶段:需求优先级

解决的问题:AI 客服机器人的两个候选新功能(语音转写、知识库问答)资源冲突,PMF 问卷可量化“失去哪个更让人失望”,像试菜时比较哪道菜更让熟客怀念。

具体案例:团队分别对 80 个活跃客服用户做测试,知识库问答的“非常失望”比例达到 47%,语音转写只有 21%,于是把下个迭代资源优先投入知识库问答。

场景三:AI 产品人群定位修正

阶段:用户洞察

解决的问题:AI 写作助手同时面向职场白领和学生,不知道哪个群体才是“离不了”的目标用户。

具体案例:分群体回收问卷后,学生的“非常失望”比例 51%,白领只有 33%。团队据此把产品文案、模板和定价策略全面向学生群体倾斜,次月付费转化率提升 28%。

Python 演示

python45 行
# -*- coding: utf-8 -*-"""Sean Ellis PMF Test: 计算总体与分群的非常失望比例""" THRESHOLD = 0.40 def generate_responses(total, seed_value):    """模拟一份问卷结果: 每个用户有是否付费/是否活跃/是否非常失望"""    import random    random.seed(seed_value)    responses = []    for i in range(total):        responses.append({            "user_id": i,            "is_paying": i % 3 == 0,            "is_active": i % 2 == 0,            "very_disappointed": random.random() < 0.42,        })    return responses def very_disappointed_ratio(group):    """返回一组用户中'非常失望'的比例"""    if not group:        return 0.0    hit = sum(1 for r in group if r["very_disappointed"])    return hit / len(group) def filter_group(responses, key):    """按某个字段过滤出目标分群"""    return [r for r in responses if r.get(key)] def main():    responses = generate_responses(240, 7)     all_ratio = very_disappointed_ratio(responses)    print("总样本: {} 人, 非常失望比例: {:.1%}".format(len(responses), all_ratio))    print("Sean Ellis 阈值: {:.0%}".format(THRESHOLD))    print("PMF 信号: {}".format("通过" if all_ratio >= THRESHOLD else "未通过"))     paying = filter_group(responses, "is_paying")    active = filter_group(responses, "is_active")    print("付费用户: {} 人, 比例: {:.1%}".format(len(paying), very_disappointed_ratio(paying)))    print("活跃用户: {} 人, 比例: {:.1%}".format(len(active), very_disappointed_ratio(active))) if __name__ == "__main__":    main()
目的:模拟一份 Sean Ellis 测试问卷数据,计算总体和分群的“非常失望”比例,并与 40% 阈值比较,输出 PMF 信号判断。
  1. random.seed(seed_value)固定随机种子,让每次运行得到相同结果,便于复盘和演示。
  2. responses.append({...})生成一条问卷记录,包含用户是否付费、是否活跃、是否非常失望三个字段。
  3. hit = sum(1 for r in group if r["very_disappointed"])统计分群中回答“非常失望”的人数。
  4. return hit / len(group)算出该群组的失望比例,作为 PMF 指标。
  5. all_ratio >= THRESHOLD用 40% 阈值判断总体是否发出 PMF 信号。
  6. filter_group(responses, "is_paying")过滤出付费用户分群,检查核心用户的表现。
  7. print("PMF 信号: {}".format("通过" if ... else "未通过"))把判断结果转化为团队能直接看懂的结论。

常见误区

误区问卷里选了“有点失望”也可以算作好消息,四舍五入就凑够 40% 了,看起来产品更受欢迎。

正解Sean Ellis 测试的分母里只统计“非常失望”的用户。因为“有点失望”意味着可用可不用,而 PMF 要求的是“少了就难受”的强依赖。把弱态度算进去,等于把“还不错”误当成“离不开”,会让团队过早投入资源。

为何常见:早期数据少,人容易想找补,觉得“有点失望”总比“不失望”强,却忽略了指标定义本身就是结论的一部分。

误区只要产品有注册用户,就把他们全部算进问卷分母,这样样本更大,更有说服力。

正解分母应该是实际体验过核心功能的目标用户。从未激活、只看过落地页的人根本没感受到产品价值,回答“不失望”不是在否定你,而是根本还没进入场景。把他们算进去,会把真实比例稀释到失真。

为何常见:很多团队拉不到足够有效样本,就用手头全部用户充数,最后得到一个偏低但“看起来客观”的数字。

误区发问卷时写一句“我们最近优化了性能,你体验如何?”能唤起用户好感,让更多人愿意认真回答。

正解这种铺垫会明显诱导回答偏向正面。用户看到你期望的是好评,就会出于礼貌给高分,尤其在中国熟人语境下更明显。高质量问卷要保持中立,不带任何产品主观评价,用户才能说实话。

为何常见:大家都想让问卷别那么冷冰冰,却忘了引导性语言会污染数据,回收率提高了,数据反而不可信。

误区只要 Sean Ellis 测试达标,就说明产品已经成功,可以马上投广告、扩团队、开分店。

正解40% 达标只是“用户情感依赖”的强信号,不代表留存、成本、渠道都能跟上。很多产品失望比例高,但用户因为没替代品才离不开,一旦出现竞品就会流失。强信号只说明需求成立,接下来还要用留存曲线和单位经济验证规模化条件。

为何常见:创业叙事喜欢找确定性,一个指标达标会让人觉得可以松口气,忽视了完整商业验证还有好几关。

面试题

Q1. Sean Ellis 测试的核心目的是什么?

单选题 · easy

  • A.提升产品日活用户数
  • B.量化用户离不开的程度← 正确答案
  • C.降低服务器运营成本
  • D.替代 A/B 测试做优化

答案:B。Sean Ellis 测试通过“不能使用会多失望”来量化用户依赖度,属于 PMF 验证手段,不负责提日活、降成本或页面优化。它和留存率、A/B 测试是不同工具。

Q2. 问卷核心问题中,哪个选项会被计入 40% 分子?

单选题 · easy

  • A.非常失望← 正确答案
  • B.有点失望
  • C.完全不失望
  • D.我不再使用它

答案:A。Sean Ellis 测试只认“非常失望”,因为 PMF 要的是强需求。有点失望、不失望、不再使用都不代表用户真的离不开,不能计入分子。

Q3. Sean Ellis 测试常用的经验阈值是多少?

单选题 · mid

  • A.20% 的用户表示失望
  • B.30% 的用户表示失望
  • C.40% 的用户非常失望← 正确答案
  • D.50% 的用户非常失望

答案:C。Sean Ellis 在大量产品观察中提出“40% 非常失望”作为经验线。注意分子必须是“非常失望”,不是任意失望。

Q4. 哪些用户适合纳入 Sean Ellis 测试样本?

多选题 · mid

  • A.已注册但从未使用
  • B.完成过一次核心功能← 正确答案
  • C.最近一个月保持活跃← 正确答案
  • D.员工和亲友内测团

答案:BC。样本应覆盖实际体验过核心功能并有一定使用频率的目标用户。未激活用户没感受到价值,亲友团会给出偏正面答案,都不适合纳入。

Q5. 若“非常失望”比例达到 40%,说明什么?

单选题 · easy

  • A.产品已经完美无需迭代
  • B.产品出现 PMF 强信号← 正确答案
  • C.一定可以融资成功
  • D.可以停止所有用户调研

答案:B。40% 表示有相当比例核心用户离不开产品,是 PMF 的强信号,但不代表产品完美、融资成功或不需要继续调研,仍需结合留存和成本做判断。

Q6. 以下哪项是 Sean Ellis 测试问卷应避免的?

单选题 · mid

  • A.选项中有“非常失望”
  • B.用“我们的新品”引导← 正确答案
  • C.先让用户打开产品
  • D.最后加一个开放问题

答案:B。带“我们的”字样会让用户觉得该说好话,属于诱导性表达。中立措辞才能得到真实回答,开放问题、选项分级都允许。

Q7. 失望比例在 25% 到 40% 之间,通常说明什么?

多选题 · hard

  • A.产品有需求但不强烈← 正确答案
  • B.存在明显的使用阻碍← 正确答案
  • C.方向完全错误应放弃
  • D.需要继续排查原因← 正确答案

答案:ABD。中信号意味着用户有一定依赖,但还没到离不开的程度,可能因为核心体验受阻、价值传达不清或目标人群不准。此时应结合留存和开放回答排查,而不是直接放弃。

Q8. 分群分析时,哪个群体的“失望比例”更有决策权重?

单选题 · mid

  • A.付费用户群体← 正确答案
  • B.新注册的体验人群
  • C.只访问过落地页的人
  • D.社交媒体围观者

答案:A。付费用户已用真金白银验证价值,是“熟客”;新注册、落地页访客和围观者都没真正使用产品,他们的失望比例参考价值较低。

Q9. 关于 Sean Ellis 测试的适用范围,正确说法是?

单选题 · hard

  • A.只适合成熟期产品
  • B.适合验证早期 PMF← 正确答案
  • C.只能用于 B2B 产品
  • D.可以直接替代财务模型

答案:B。测试的经典场景是早期产品尚未形成稳定留存时,快速判断需求是否成立。成熟期、B2B 或高客单价产品可以借鉴,但 40% 不宜照搬,更不能替代财务模型。

Q10. 要让 Sean Ellis 测试更可靠,应该怎么做?

多选题 · hard

  • A.只向活跃用户发放← 正确答案
  • B.使用中立问卷措辞← 正确答案
  • C.回收样本不少于一百← 正确答案
  • D.把样本限定在付费用户

答案:ABC。活跃用户是核心人群,中立措辞保证数据真实,足够样本避免偶然波动。只限付费用户会忽略潜在核心用户,且样本过度单一。