餐厅最近换了大厨。原来这里是自助餐:几十道菜摆在台前,客人端着盘子自己夹、自己拼,爱吃哪个回头再夹;现在改成主厨定制——每桌客人跟主厨说清楚想吃什么,端上来的是一道完整搭配好的料理,不满意随时喊主厨回来调整。 菜单一换,客人的行为悄悄变了。点菜的话越来越长:以前“来个饭”,现在“少油微辣的烤三文鱼,配柠檬和米饭”。喊服务员调整的次数变多了:“淡一点”“加杯水”“换成蒸的”。在餐厅里干等翻菜的时间却变短了——因为菜直接端上来,不用一遍遍去餐台前看。 老板最关心两件事:客人吃得满不满意,明天还愿不愿意来。这篇文章就像一份“主厨模式经营报告”:怎么从点单小票和传菜记录(行为日志)里读出客人的变化,怎么判断这顿饭是否令人满意,以及什么因素决定了客人下次还来不来。

岗位关联

学会用行为日志量化搜索体验,是 AI 搜索产品经理和算法工程师做迭代决策的基本功——不懂用户行为数据,优化就永远是拍脑袋。

目录
  1. 可视化演示
  2. 行为模式变迁
  3. 日志指标体系
  4. 生成与传统差异
  5. 满意度评估方法
  6. 留存关键因素
  7. 产品优化策略
  8. AI 应用场景
  9. Python 演示
  10. 常见误区
  11. 面试题

可视化演示

展示生成式搜索下用户行为模式变化:查询长度分布、追问频率趋势与停留时长对比,切换维度观察AI搜索与传统搜索的满意度差异。

本节配有交互动效(进入视口后自动加载,约 3KB)。

查询行为分析 AI搜索查询更长,更接近自然语言 追问频率显著高于传统搜索 QL_ai > QL_trad, Follow_ai ≈ 3×Follow_trad 查询长度分布右移,长尾增多

行为模式变迁

主厨上岗后,最先变化的不是菜,而是点菜方式。以前吃自助,客人只需报个大概——“来个饭”“有肉就行”,因为反正要自己去餐台前挑选;现在对着主厨,一次性就要把忌口、口味、分量说清楚:“少油微辣的烤三文鱼,配柠檬和米饭”。于是,餐桌上递出去的点单小票,肉眼可见地变长了。

搜索产品里,这张“点单小票”就是查询日志。AI 搜索产品上线生成式回答模式后,产品经理观察到的第一个行为变化就是查询变长了——用户不再担心描述不精确会错过一排“可点的菜”,因为系统会把散落的信息整合成一道完整答案端上来,于是他们愿意把需求原原本本写出来。

除了查询长度,追问频率、停留时长、点击次数也在同步变化:对话式界面鼓励用户接着问“那周末营业吗”“哪家评分高”,追问率明显上升;答案直接展示,翻页和点击显著减少;从输入查询到问题解决,整个会话的停留时长整体缩短。日志里最常用平均查询长度刻画“点单变长”这件事:

点单小票变长,不代表客人话变多,而是餐厅的沟通方式变了。当主厨承诺“你说清楚,我就做对”,客人自然愿意把需求讲透。对产品经理来说,查询长度上升,代表用户对生成式搜索的“主厨式理解力”投出了信任票。

Lavg=∑i=1Nℓ(qi)N\displaystyle L_{\mathrm{avg}}=\frac{\sum_{i=1}^{N}\ell(q_i)}{N}
平均查询长度 = 所有查询的字符数总和 ÷ 查询总次数,反映用户把需求说得多清楚。
  1. 字符数累加把会话中所有查询的字符数逐条累加起来,得到总字符数
    ∑i=1Nℓ(qi)\sum_{i=1}^{N}\ell(q_i)
  2. 查询总次数统计日志中出现的查询总数量,记为 N,作为平均的分母
    NN
  3. 求平均总字符数除以查询次数,得到每次查询的平均长度
    ∑i=1Nℓ(qi)N\displaystyle \frac{\sum_{i=1}^{N}\ell(q_i)}{N}

日志指标体系

主厨上岗后,餐厅经理想知道大家究竟怎么吃饭,不能靠站在桌边看,最好的办法是统计“点单小票”和“传菜记录”。AI 搜索也一样——一次查询、一次追问、一次离开,都会被前端埋点记成一条结构化的行为日志,沉淀成产品优化的“后厨账本”。

从这些日志中可以加工出三类核心指标。查询长度指标:统计每次查询的字符数,反映需求表达的细度;追问频率指标:识别同一个会话内轮次是否≥2,反映对话交互的深度;停留时长指标:统计从进入会话到离开的秒数,反映任务耗时的长短。

追问频率是最有“对话感”的指标,也是生成式搜索区别于传统搜索的标志。它的计算方式是:

另外,平均停留时长同样是基础指标,需要用“总和除以会话数”的方式去掉单次时长长短不一带来的噪音:

这三个指标就像餐厅仪表盘上的三块表:点单多长说明客人说得多清楚,喊菜几次说明传菜顺不顺,坐多久说明整个用餐流程紧不紧凑。报表里它们经常并列出现,共同反映“主厨模式”是否真的跑得顺畅。

ffollow=Nsess≥2Nsess\displaystyle f_{\mathrm{follow}}=\frac{N_{\mathrm{sess}\ge2}}{N_{\mathrm{sess}}}
平均停留时长 = 所有会话停留秒数之和 ÷ 会话数,反映完成任务的平均耗时。
  1. 时长累加将每个会话的停留秒数相加,得到总停留时间
    ∑j=1Mtj\sum_{j=1}^{M}t_j
  2. 会话数量参与统计的会话总数,记为 M
    MM
  3. 平均时长总停留时间除以会话数,得到每次搜索的平均停留秒数
    ∑j=1MtjM\displaystyle \frac{\sum_{j=1}^{M}t_j}{M}

生成与传统差异

自助餐与主厨定制的根本差异,是“谁来组织这顿饭”。自助餐把食材一溜排开,选菜、夹菜、搭配全凭客人自己;主厨则根据客人的一句描述,把食材整合成一道有结构的菜端上来。前者是用户做信息筛选,后者是系统做信息整合。

换成搜索语言:传统搜索返回一连串网页链接,用户自己逐个点击、逐个对比——这是“自助式消费”;生成式搜索把多篇网页的信息处理成一段完整回答,用户只需要阅读和追问——这是“主厨式消费”。打开日志对比,差异非常直观:同样一个“北京看牙”的需求,传统搜索平均点击三四条链接,生成式搜索几乎没有点击;传统会话拖到三五分钟,生成式会话更快收尾。

不仅是点击和时长,会话结构也完全不同:传统搜索是“单查询—多结果—多点击”的扁平时序;生成式搜索是“长查询—整合答案—多轮追问”的对话纵深。用户预期也在变化:以前预期“给我有用的链接”,现在预期“直接给我答案,给不出来也别糊弄”。做产品升级复盘时,常用行为指标变化率来量化这种差异:

谁负责“组织这顿饭”,谁就决定了用户行为的模样。自助时代选菜是客人的事,翻页、筛选、比对都是用户承担的体力活;主厨时代配菜是后厨的事,系统把整合的活揽上身,用户行为自然从“翻找”变成“对话”。

Δr=rgen−rtradrtrad×100%\displaystyle \Delta_r=\frac{r_{\mathrm{gen}}-r_{\mathrm{trad}}}{r_{\mathrm{trad}}}\times100\%
行为指标变化率 = (生成式指标 − 传统指标) ÷ 传统指标 × 100%,把“差多少”变成百分比。
  1. 求差值新老模式下同一指标相减,得到变化量,例如点击次数从 3.2 降到 0.5
    rgen−rtradr_{\mathrm{gen}}-r_{\mathrm{trad}}
  2. 除以基线用传统模式的值做基准,得到相对变化的比例
    rgen−rtradrtrad\displaystyle \frac{r_{\mathrm{gen}}-r_{\mathrm{trad}}}{r_{\mathrm{trad}}}
  3. 转百分比乘以 100%,把小数变成更直观的百分数,方便向协作方汇报
    ×100%\times100\%

满意度评估方法

客人吃得满不满意,餐厅有两种问法。一种直接问——“这顿饭打几分?”,记在意见本上;另一种是暗中观察——“菜剩了多少、有没有叫加菜、下次还来不来”。前者是显式反馈,后者是隐式信号。

搜索产品里,显式反馈包括用户主动点的“有帮助/没帮助”按钮、弹窗问卷和 NPS 评分,它们直接表达态度,但参与率低、样本偏差大;隐式信号从行为日志里自动挖掘——复制答案说明“这段有用”,快速放弃说明“这不是我想要的”,围绕同一话题连续追问说明“答案没一次到位”。

隐式信号全天候产生、样本量大,但单个信号可能误判(比如复制答案也可能只是拿去吐槽),所以实践中常把显式和隐式加权合成一个综合满意度指数:

问卷是正式访谈,行为是暗中观察。单看访谈,样本太少且客套话多;单看观察,又容易误解意图。只有把两者叠加,老板才能真正摸准客人对主厨的真实态度。

S=α⋅Sexplicit+(1−α)⋅Simplicit\displaystyle S=\alpha\cdot S_{\mathrm{explicit}}+(1-\alpha)\cdot S_{\mathrm{implicit}}
综合满意度 = α × 显式满意度 + (1−α) × 隐式满意度,α 是调节两者分量的旋钮。
  1. 显式满意度由问卷、评价按钮等直接反馈归一化得到的分数,代表用户亲口说的话
    SexplicitS_{\mathrm{explicit}}
  2. 隐式满意度由行为信号(追问、放弃、复制等)建模得到的分数,代表用户脚头的票
    SimplicitS_{\mathrm{implicit}}
  3. 权重因子α 调节显式与隐式的相对分量,接近 1 时更看重显式反馈
    α\alpha
  4. 加权求和合成后的数值用于判断一个会话或一个版本是否更令人满意
    α⋅Sexplicit+(1−α)⋅Simplicit\displaystyle \alpha\cdot S_{\mathrm{explicit}}+(1-\alpha)\cdot S_{\mathrm{implicit}}

留存关键因素

一顿吃得满意不算本事,明天还来才是真本事。决定回头率的通常就三件事:菜好不好吃、上菜快不快、服务员记不记得你的偏好。搜索产品也一样——回答质量、响应速度、信任与个性化,构成了用户留存的三大支柱。

回答质量是第一位的:事实准确、逻辑清晰、引用可溯源,用户才会“吃完这一顿还惦记下一顿”。响应速度是基础体验:生成式回答如果动辄十几秒,再好的答案也会被等待消耗掉。信任与个性化则决定长期黏性:记得用户的历史偏好、解释清楚信息来源,用户才会把主厨当成“自己人”。

留存效果最常用的量化方式是 N 日留存率,比如衡量某个新版本有没有留住用户:

留住客人,靠的不是某一顿惊艳,而是每一顿都稳定、及时、懂人。留存率就是这些努力在时间长河里的复购投票——它把“满意”沉淀成“习惯”。

R7d=NreturnNnew\displaystyle R_{\mathrm{7d}}=\frac{N_{\mathrm{return}}}{N_{\mathrm{new}}}
7日留存率 = 新用户中第7天再次搜索的人数 ÷ 当日新增用户总数,比值越高留得越牢。
  1. 回流用户数统计某天新增用户中,第 7 天再次产生搜索行为的数量
    NreturnN_{\mathrm{return}}
  2. 新增用户数该自然日的新增用户总量,作为留存的分母
    NnewN_{\mathrm{new}}
  3. 留存率比值越高,说明产品越能把“尝鲜客”变成“回头客”
    NreturnNnew\displaystyle \frac{N_{\mathrm{return}}}{N_{\mathrm{new}}}

产品优化策略

主厨收到差评之后,会先翻后厨账本:是口味不对、上菜太慢,还是座位安排混乱?然后有针对性地调整。AI 搜索产品经理也一样,拿到行为日志和满意度数据后,围绕生成链路中的具体环节做优化。

优化通常落在三个落点上。查询意图理解:让系统听懂“长查询+追问”背后的真实需求;追问交互设计:让多轮对话更顺滑,比如建议问题卡片、追问快捷入口;反馈闭环机制:把日志信号、满意度评估、策略调整串成持续迭代的飞轮,每轮上线后都重新评估效果。

优化最终要用一个清晰的北极星指标来验收。满意率就是一个常见选择——先给行为日志打出满意度标签,再看满意的会话占比是否提升:

每一次优化都是一次主厨复盘:日志当后厨账本,追问当客人反馈,留存当复购率。小步快跑地调整菜单与流程,直到客人愿意明天再来——这就是生成式搜索产品迭代的全部秘密。

Csat=NsatNtotal×100%\displaystyle C_{\mathrm{sat}}=\frac{N_{\mathrm{sat}}}{N_{\mathrm{total}}}\times100\%
满意率 = 行为信号显示满意的会话数 ÷ 总会话数 × 100%,是优化是否见效的标尺。
  1. 满意会话数行为信号显示用户需求被满足的会话数量,例如无追问、未放弃、有正向操作
    NsatN_{\mathrm{sat}}
  2. 总会话数纳入评估的全部会话数量,作为满意率的基准
    NtotalN_{\mathrm{total}}
  3. 满意率该比例上升说明优化方向正确,反之需要回退或换路
    NsatNtotal×100%\displaystyle \frac{N_{\mathrm{sat}}}{N_{\mathrm{total}}}\times100\%

AI 应用场景

场景1:搜索产品经理的周报利器

阶段:用户行为分析 / 产品迭代

解决的问题:生成式搜索上线后,旧的点击率、无结果率指标全面失真,产品经理拿不到“用户到底满不满意”的信号。用查询长度、追问频率、停留时长等行为指标,PM 能每周定位“哪类问题没答好”,把迭代从拍脑袋改成看数据。

具体案例:某 AI 搜索 App 发现“对比类问题”(如“iPhone 和小米怎么选”)的追问频率高达 0.35,说明首次回答总是不全面。优化回答结构——先给结论再列对比表格——之后追问率降回 0.18,满意率提升 12%。

场景2:不满意会话的实时“救火”

阶段:在线服务 / 反馈闭环

解决的问题:传统上只能等用户主动投诉或填问卷,反馈滞后。通过行为日志实时识别“快速放弃、重复提问、长时间无操作”等隐式不满意信号,系统可自动触发补救话术或切换回答策略,相当于服务员看到客人皱眉就主动上前询问。

具体案例:一个法律咨询 AI 搜索的热门主题“合同纠纷”连续 3 天放弃率超过 40%,策略引擎自动调严该主题的回答评估阈值,运营同步补充专业语料,一周后放弃率回落至 22%。

场景3:留存健康度诊断

阶段:增长分析

解决的问题:新用户 7 日留存下滑,原因难定位。把新增用户按“首次会话是否有追问、查询是否超过 15 字、是否复制过答案”分组对比留存,找出高留存行为并放大。

具体案例:分析发现首次会话“点击过推荐追问”的用户 7 日留存率比对照组高 18%,产品团队把引导区改成更显眼的追问推荐条,整体留存随之提升。

Python 演示

python46 行
# -*- coding: utf-8 -*-# 搜索行为日志分析:对比生成式搜索与传统搜索的用户行为指标 def analyze_sessions(sessions):    n = max(len(sessions), 1)    total_len = 0    follow_cnt = 0    total_dwell = 0    total_clicks = 0    for s in sessions:        total_len += len(s.get('query', ''))        if s.get('rounds', 1) >= 2:            follow_cnt += 1        total_dwell += s.get('dwell_sec', 0)        total_clicks += len(s.get('clicks', []))    return {        'query_len': total_len / n,        'follow_rate': follow_cnt / n,        'dwell_sec': total_dwell / n,        'clicks': total_clicks / n    }  def compare(trad, gen):    print('指标        传统    生成式  变化率')    for key in trad:        base = trad[key] if trad[key] else 1        delta = (gen[key] - trad[key]) / base * 100        print('%-10s %6.2f %6.2f %+7.1f%%' % (key, trad[key], gen[key], delta))  if __name__ == '__main__':    trad_logs = [        {'query': '看牙 医院', 'rounds': 1, 'dwell_sec': 340, 'clicks': ['r1', 'r2']},        {'query': '手机 推荐', 'rounds': 1, 'dwell_sec': 280, 'clicks': ['r1', 'r2', 'r3']},    ]    gen_logs = [        {'query': '北京看牙哪家好 如何预约 可以报销吗', 'rounds': 3, 'dwell_sec': 118, 'clicks': []},        {'query': '3000以内拍照强的手机推荐', 'rounds': 2, 'dwell_sec': 95, 'clicks': []},    ]    print('=== 传统搜索 ===')    print(analyze_sessions(trad_logs))    print('=== 生成式搜索 ===')    print(analyze_sessions(gen_logs))    print('=== 指标对比 ===')    compare(analyze_sessions(trad_logs), analyze_sessions(gen_logs))
目的:用行为日志统计查询长度、追问频率、停留时长和点击次数四项指标,量化对比生成式与传统搜索的用户行为差异。
  1. for s in sessions:逐条遍历会话日志,每次处理一个用户的搜索过程
  2. total_len += len(s.get('query', ''))累加查询字符串的字符数,用于算平均查询长度
  3. if s.get('rounds', 1) >= 2:一个会话内提问轮次≥2,就判定为“产生追问”
  4. total_dwell += s.get('dwell_sec', 0)累加每个会话的停留秒数,对应停留时长指标
  5. total_clicks += len(s.get('clicks', []))统计一次会话中点击过的结果条数
  6. base = trad[key] if trad[key] else 1防止传统指标为 0 时除零报错
  7. delta = (gen[key] - trad[key]) / base * 100计算生成式相对传统的变化百分比
  8. compare(analyze_sessions(trad_logs), analyze_sessions(gen_logs))一次性对比两类搜索的四项指标

常见误区

误区用户在我们的生成式搜索结果页上停留了 3 分钟,说明回答很精彩、很吸引人,满意度很高。

正解生成式搜索的答案就摆在页面上,停留时间长往往是“没找到想要的”——反复拖动、回去改关键词、中途去其他 App 比价。判断满意度要看停留的“形状”:短而果断是满意,长而反复可能是困惑。就像在餐厅,吃得快可能是好吃,等菜等到刷手机才是问题。

为何常见:传统搜索里停留时长常与内容消费深度正相关,这个旧经验被直接搬到了新场景。

误区用户查询平均长度变长了,说明用户信任生成式搜索、愿意详细描述需求,这个指标非常健康。

正解查询变长要区分原因:可能是用户学会了更好地表达需求(好),也可能是答案总不对、用户在堆砌关键词穷举(坏)。要结合追问率和满意率交叉验证——如果查询变长的同时追问率也在涨,可能恰恰说明第一次回答没命中。

为何常见:单一指标上涨容易被当成功劳,缺乏多指标对照,就像只看顾客点菜单变长、不看后厨返工率。

误区生成式上线后点击率从 35% 跌到 10%,肯定是效果变差了,得尽快回滚。

正解生成式搜索直接给答案,点击率下降是消费方式迁移的自然结果,就像自助餐变成主厨定制后,客人不再需要一趟趟去餐台夹菜。正确的验证方式是看“任务完成率”和“满意度”:如果用户在会话里用追问把问题解决了,这次搜索就是成功的。

为何常见:点击率是传统搜索最成熟的北极星指标,团队习惯用旧尺子量新东西。

误区我们每月发一次 NPS 问卷,用户平均给了 8 分,说明大家对 AI 搜索很满意。

正解问卷只覆盖愿意填表的小部分用户,样本偏差大;而且用户打分往往受最近一次体验影响。行为日志是全天候、全样本的信号:追问、复制、放弃、回流频率都比问卷更真实。好餐厅除了问客人“满意吗”,更要看盘子剩了什么、下次来不来。

为何常见:显式调研上线快、结果直观,容易被当成真相本身,而隐式信号需要埋点和建模的工程投入。

面试题

Q1. 生成式搜索带来的最典型用户行为变化是?

单选题 · easy

  • A.查询长度明显变短
  • B.查询变长且追问增多← 正确答案
  • C.点击次数显著增加
  • D.会话时间明显拉长

答案:B。生成式搜索让用户愿意详细描述需求,因此查询变长;答案可以即时追问,追问频率上升。A、C、D 都与观察到的行为模式相反——查询更短、点击更多、时间更长是传统搜索的特征。

Q2. 某 AI 搜索升级后平均点击次数下降,最可能的原因是?

单选题 · easy

  • A.搜索结果质量全面下降
  • B.用户变得不再有耐心
  • C.答案直接展示免去点击← 正确答案
  • D.搜索产品出现了故障

答案:C。生成式搜索把答案整合在页面中,用户消费结果的方式从“点击链接”变成“直接阅读”,点击下降是自然迁移。若质量下降或故障,通常伴随满意度下滑,而不仅是点击变化。

Q3. 追问频率指标的标准计算方式是?

单选题 · mid

  • A.追问次数除以查询总数
  • B.多轮会话数占会话总数比← 正确答案
  • C.单会话内最大追问轮次
  • D.点击次数除以查询数量

答案:B。追问频率=轮次≥2的会话数÷总会话数,衡量对话式搜索的交互深度。A 把“追问次数”当分子,颗粒度不对;C 只取极值无法代表整体;D 是传统点击指标。

Q4. 综合满意度指数 S=α·S显式+(1−α)·S隐式 中 α 的含义是?

单选题 · mid

  • A.控制显隐信号的权重← 正确答案
  • B.决定查询长度的上限
  • C.调节回答生成的篇幅
  • D.设定页面跳转的次数

答案:A。α∈[0,1],用于平衡显式反馈与隐式信号的贡献。α 高则更看重问卷评分,α 低则更看重行为信号。B、C、D 都是对 α 的凭空联想,与产品参数无关。

Q5. 以下哪些属于隐式满意度信号?

多选题 · mid

  • A.用户复制答案的操作← 正确答案
  • B.会话结束前快速放弃← 正确答案
  • C.问卷中的满意度打分
  • D.围绕同一话题的追问← 正确答案

答案:ABD。复制答案说明信息有用,快速放弃说明需求未满足,围绕同一话题追问说明回答没一次到位,这些都是行为日志推断的信号。C 的问卷打分属于显式反馈,需要用户主动表态。

Q6. 7日留存率 R7d=N返回/N新增 中,分子 N返回 指什么?

单选题 · easy

  • A.七天内再次搜索的用户数← 正确答案
  • B.七天新增用户占全部的比
  • C.七天未搜索用户的总数
  • D.七天完成问卷的用户数

答案:A。留存率关注“用过之后还来不来”。N返回 是某个新增日期的用户中,7 天后再次产生搜索行为的数量;分母是该日期的新增用户总数。C、D 与留存定义无关。

Q7. 生成式搜索与传统搜索在会话结构上最大的差异是?

单选题 · hard

  • A.单次查询多个结果依次点开
  • B.多轮问答需求逐步收敛← 正确答案
  • C.零交互一次生成全部结果
  • D.多查询多次翻页寻找目标

答案:B。传统搜索典型结构是“单查询—多结果—多点击”,生成式搜索是“多轮问答—需求收敛”。C 说零交互过于绝对,生成式搜索恰恰鼓励追问;A、D 描述的是传统搜索结构。

Q8. 哪些因素会影响生成式搜索用户的信任与留存?

多选题 · mid

  • A.回答质量与来源是否可信← 正确答案
  • B.响应延迟是否可接受← 正确答案
  • C.个性化程度是否贴合需求← 正确答案
  • D.页面广告位数量是否足够多

答案:ABC。质量、速度、个性化是决定留存的三大体验因素;广告位数量与信任不直接相关,广告过多反而可能削弱信任。用户信任建设靠事实准确、回应及时、贴合自身需求。

Q9. 某产品升级后点击率下降 40% 但满意率上升 15%,最佳解读是?

单选题 · hard

  • A.功能退化应立即回滚版本
  • B.点击被直接阅读行为替代← 正确答案
  • C.用户教育不足需加强引导
  • D.行为日志数据统计有误

答案:B。两个指标同向发声时,更可能是行为模式迁移:答案直接展示,用户无需点击即可消费,点击下降是正常现象;满意率上升说明新体验确实更好。若功能退化,满意率通常不会上升。

Q10. 产品优化“反馈闭环”机制包含哪些环节?

多选题 · hard

  • A.收集用户行为的各类信号← 正确答案
  • B.挖掘低满意度会话的特征← 正确答案
  • C.调整检索与生成相关策略← 正确答案
  • D.仅依赖人工评审来把关

答案:ABC。反馈闭环=行为日志采集→低满意会话归因→策略调整→重新上线验证,形成一个循环。D 人工评审只能做辅助抽样,无法规模化支撑闭环。