序列推荐评估与长短期兴趣分离

可视化演示

通过评估协议对比、长短期兴趣分离门控与NDCG@K性能曲线三个模式，展示序列推荐如何区分评估方法并分离长短期兴趣贡献。

评估协议分类

考店员这件事，如果方法不对，就会得出完全错误的结论。比如你问店员“陈阿姨下周五会买什么”，他翻了翻最近一周的记录说“冷萃咖啡”——但他没意识到陈阿姨三个月来每周五都买全麦吐司。这暴露了一个根本问题：你怎么考，决定了他表现出哪种能力。评估协议就是“考法”本身。序列推荐最常见的两种考法，第一种叫留一法：把顾客最后一次购买记录藏起来，让模型用之前的所有记录去猜这最后一次是什么；第二种叫时间切分法：把所有记录按时间排成一条线，从某个点一刀切开，用前面的记录训练、预测后面的记录。两种考法的目标不同：留一法考的是“猜中最近一次”的功力，时间切分考的是“在一段持续时间里表现稳定”的功力。

从面包店回到推荐系统，这两种协议的本质区别在于“被评估的预测任务如何定义”。留一法把每个用户最后一条行为当作测试样本，评估的是模型对“下一次交互”的预测能力；时间切分则把时间轴切出一个区间作为测试窗口，评估的是模型在一段未来时间内的表现。形式化地看，给定用户交互序列 $\mathcal{D}_u = \{ (i_1, t_1), (i_2, t_2), \dots, (i_n, t_n) \}$，时间切分选择一个切分点 $t^*$：

明确了两种协议的输入输出结构，才能继续讨论“训练集”和“测试集”各自的作用。留一法其实可以看作时间切分的一种极端特例——$t^*$ 取在最后一个行为之前，而测试集只包含一条记录。但正是这个“极端”让它有了完全不同的评估语义：它只考“下一次预测”。理解了协议的差异，下一步关键问题是：为什么需要分开看短期和长期？ 这就引出了长短期兴趣分离的核心议题。

长短期兴趣

陈阿姨周五买全麦吐司，但连着三天买冷萃咖啡，这两种行为背后是两套不同的“决策系统”。长期兴趣像一个人的饮食习惯——广东人爱吃清淡、四川人爱吃辣，这种偏好几个月甚至几年都不会变；短期行为则像“最近天气热想喝冰的”——今天的突发念头，过两周可能就消失了。如果店员把所有记录混在一起看，他会被最近的冷萃咖啡带偏，以为陈阿姨是个咖啡爱好者，忘记了她其实是个固定吐司党。序列推荐模型面临同样的困境：用户的交互序列里同时藏着长期偏好（反复购买、规律出现）和短期漂移（一时兴起、环境影响），评估时必须把它们分开，否则一个指标掩盖另一个指标的真实水平。

在技术层面，最常见的做法是把用户兴趣建模为长期分量与短期分量的叠加。长期分量是用户的静态画像，比如历史所有行为的加权平均；短期分量捕捉最近的动态变化，比如只取最近 $L$ 条行为。

有了兴趣分解的视角，评估指标的“分离”就有了理论依据。既然模型内部把长期和短期分开建模，那么评估时也应当对应地设计能够独立衡量长短期贡献的指标——否则，一个综合分数可能因为两者相反表现相抵而显得平庸或虚高。

指标设计

考试的评分标准如果只有“总分”，就会出现一个尴尬的局面：店员在“全麦吐司猜中”上拿了满分，在“冷萃咖啡猜中”上挂了零蛋，两项平均五十分——看起来他不行；可实际上他很可能是个“经典搭配专家”，只是对新鲜事物不敏感。反过来，如果总分很高，也可能只是因为短期记忆好。为了避免这种误判，评估指标本身也要做长短期分离：分别计算“推荐结果中命中用户长期兴趣的比例”和“命中用户近期行为窗口的比例”。

长期兴趣命中率考察的是模型推荐的 $K$ 个物品中有多少落在用户的长期兴趣集合 $\mathcal{L}_u$（如历史中出现 ≥2 次且总时长横跨较长时间跨度的物品）：

短期行为命中率则考察推荐结果中有多少落在用户最近的 $L$ 条行为窗口 $\mathcal{S}_u$中：

设计好分离指标后，评估“用什么考”的定义就清楚了。但实际操作中，“训练集要怎么切、边界怎么定” 是另一道坎——切不好就会出现一道尴尬的技术问题：时间泄漏。

时序切分实操

把陈阿姨一年的购买小票按时间摊开，你决定用前 8 个月做训练、后 4 个月做测试。听起来很合理，但如果切分点恰好落在“6 月 30 日”，而陈阿姨在 7 月 2 日买的贝果和 6 月 28 日买的贝果来自同一次促销活动，那么训练集和测试集之间就存在信息重叠——模型在训练时已经“见过”这条信息了，这就像考试前偷看了答案。在序列推荐中，这种问题被称为时间泄漏（data leakage），会让评估结果虚高。

时间切分法的正确姿势是：先按用户把所有行为按时间排序，然后选择一个全局的或用户级的切分点 $t^*$，保证训练集中所有行为的时间戳严格小于测试集。切分点的选择要考虑数据量配比，通常希望训练集与测试集的比例接近一个预设值 $\rho$：

时间切分的重点在于“干净地切”——边界清晰、不交叉。而另一种协议留一法看似简单，实际操作中同样藏着不少细节。

留一法实操

留一法的直观场景是：陈阿姨今天刚买完东西离开，店员要立刻预测“她这次买的是什么”。我们把今天那条小票藏起来，让他看着之前的所有记录来猜。如果猜中了，说明他捕捉到了陈阿姨最新的选择模式。这个协议极其贴近“下一次推荐”的线上场景——用户打开 App，系统推荐下一个点击目标，用户点了，就完成了一次成功预测。

形式化地说，留一法对每个用户只保留最后一条行为作为测试样本，其余作为训练。模型的预测命中率就是“最后一次被猜中”的比例：

留一法能精准反映“猜最近一次”的能力，但也有一个明显倾向：它完全押注在最后一条行为上。如果用户最后一次行为是个偶然事件（比如买了个生日蛋糕），模型只要重复推荐他之前常买的东西就会失手。这一特点与时间切分形成鲜明对比——接下来我们用一组对比分析来理解两者的互补性。

表现差异解析

同一名店员用两种考法测出来的成绩如果差很多，你会得到重要洞察：他擅长哪一种。假设留一法考 85 分、时间切分考 42 分，说明这店员对“最近一次买什么”很敏感，但对“下个月还喜欢买什么”缺乏理解——他只是个短期记忆高手。反过来，如果时间切分高、留一法低，则说明模型捕捉长期规律的能力强，但在最新的口味变化上反应迟钝。

这种对比分析可以形式化为一个差异度量。设模型在不同协议下的长短期命中率分别为 $\mathrm{HR}_{\mathrm{short}}$ 和 $\mathrm{HR}_{\mathrm{long}}$，定义：

拿到这个差异信号后，下一步自然要问：实际项目中到底该用哪种协议？ 这取决于业务目标与数据条件，没有放之四海而皆准的答案。

评估方法选择

回到面包店，如果你的目标是培训一个“熟客小助手”，负责在下一次进店时快速响应顾客当天的需求，那留一法更合适；如果你的目标是规划下个月的进货清单，希望理解顾客群体的稳定购买习惯，那时间切分更能说明问题。现实中的推荐系统往往两种场景并存，所以答案不是二选一，而是根据评估目标选择最匹配的协议。

一个实用决策思路是：当业务强调即时响应（猜下一次点击、下一页浏览、下一单购买）时优先留一法；当业务强调周期性复盘（月度订阅推荐、季度品类规划）时优先时间切分；当两者都重要时，采用双轨评估——同时报告两种协议下的指标，互为补充。

确定了协议，就进入了真正的工程实践环节——线上系统如何落地这套评估方法论。

落地应用实践

把评估协议从实验室搬到生产环境，就像把“店员考核”从模拟试卷变成真实柜台服务。离线评估阶段我们选好了协议、算好了指标，但这些数字是否有意义，最终要看上线后的业务指标是否与离线评估结论一致。如果离线时留一法得分很高，但实盘推荐后用户次日留存率不升反降，说明模型很可能只是“过度拟合了最近的点击噪声”，而没有真正学会用户的长期偏好。

在工业界，一套标准的落地流程包括三个环节：第一，在离线环境同时运行留一法与时间切分评估，产出长短分离指标报告；第二，上线 A/B 测试，跟踪短期指标（点击率、当日转化）与长期指标（7 日留存、月度复购）的变化；第三，持续监控离线指标与在线指标的相关性，用离线评估结果的可靠性反哺模型迭代方向。这套流程可以用一个一致性系数来描述：

AI 应用场景

Python 演示

"""序列推荐评估演示：对比留一法与时间切分协议并分离长短期兴趣命中的贡献"""import randomfrom collections import defaultdict def make_data(num_users=30, num_items=12, seq_len=40, seed=42):    """生成模拟用户行为序列: user -> [(item, time), ...]"""    random.seed(seed)    data = {}    for u in range(num_users):        long_taste = random.sample(range(num_items), 4)        seq = []        for t in range(seq_len):            if random.random() < 0.6:                item = random.choice(long_taste)   # 长期偏好            else:                item = random.randint(0, num_items - 1)  # 短期漂移            seq.append((item, t))        data[u] = seq    return data def split_time(data, ratio=0.8):    """时间切分: 按用户序列的时间比例切割"""    train, test = {}, {}    for u, seq in data.items():        cut = int(len(seq) * ratio)        train[u] = seq[:cut]        test[u] = seq[cut:]    return train, test def split_loo(data):    """留一法: 每条序列最后一项作为测试"""    train, test = {}, {}    for u, seq in data.items():        train[u] = seq[:-1]        test[u] = [seq[-1]]    return train, test def popularity_model(train):    """基准模型: 返回整体最热门的5个物品"""    counter = defaultdict(int)    for seq in train.values():        for item, _ in seq:            counter[item] += 1    top = sorted(counter, key=counter.get, reverse=True)[:5]    return top def evaluate(model_top, train, test):    """评估长短期命中率"""    total = short_hit = long_hit = 0    for u, seq in test.items():        if not seq:            continue        target = seq[0][0]        rec = model_top        total += 1        if target in rec:            if any(target == it for it, _ in train[u][-3:]):                short_hit += 1            if [it for it, _ in train[u]].count(target) >= 2:                long_hit += 1    return {        "short_rate": short_hit / max(total, 1),        "long_rate": long_hit / max(total, 1),    } def main():    data = make_data()    train_ts, test_ts = split_time(data)    top = popularity_model(train_ts)    print("时间切分:", evaluate(top, train_ts, test_ts))    train_loo, test_loo = split_loo(data)    print("留一法:", evaluate(top, train_loo, test_loo)) if __name__ == "__main__":    main()

1. def make_data(num_users=30, num_items=12, seq_len=40, seed=42):生成 30 个用户、每个 40 条行为记录的模拟序列，每条记录包含物品与时间步。
2. if random.random() < 0.6:以 60% 概率从用户长期偏好中选物品，40% 概率随机漂移，模拟“长期规律 + 短期噪声”的混合行为模式。
3. def split_time(data, ratio=0.8):时间切分实现：把每个人的序列按 80% / 20% 比例切成训练与测试。
4. def split_loo(data):留一法实现：取每条序列最后一个样本作为测试集，其余归入训练集。
5. def popularity_model(train):基准模型：统计训练集中出现频率最高的 5 个物品作为推荐结果。
6. if any(target == it for it, _ in train[u][-3:]):判断目标是否命中“最近 3 条行为构成短期窗口”，用于计算短期命中率。
7. if [it for it, _ in train[u]].count(target) >= 2:判断目标是否在历史中出现过 ≥2 次，用于计算长期命中率。
8. print("时间切分:", evaluate(top, train_ts, test_ts))输出不同协议下的评估结果，对比差异。

常见误区

面试题