重排与多样性协同：打造舒适的信息流

可视化演示

展示重排流水线（精排->重排->业务约束->最终列表）、多样性度量对比（Before同类聚集vs After类型分散+ILD/Entropy/Coverage）、多目标融合（score=a*rel+b*div+硬约束），交互切换核心维度。

重排框架概述

米其林餐厅里有个特殊岗位叫“排菜师”（Chef de Partie 的进阶职责）。采购负责挑选优质食材（召回），备菜大厨负责把食材做成精致的半成品（精排），而排菜师要考虑的，是这一整桌宴席该如何呈现——先上开胃菜还是招牌主菜？冷热如何交替？口味浓淡如何穿插？重排在推荐系统中扮演的正是这个角色。它站在精排之后，不再孤立的看“哪条内容分更高”，而是看“整个列表在一起是不是舒服”。

精排通常用 CTR/CVR 预估模型给每条候选内容打一个分，然后按分数降序截断 Top-N。但每一条内容单独看都优质，它们放在一起却未必和谐——比如十条全是同一位明星的八卦新闻。重排的输入正是精排输出的 Top-N 候选列表（通常 50-200 条），输出是最终展示给用户的 10-20 条排序结果。它通过重新排列组合，在单条相关性与整体多样性之间找最佳平衡点。

从技术架构来看，推荐系统通常分为召回→精排→重排→策略下发四个阶段。召回负责从百万级候选粗筛出千级，精排用复杂模型精算出百级，重排再做最后的全局优化。一个典型的大厂信息流系统里，重排模块可能同时承载多样性控制、去重、频控、广告混排等多项职责。它本质上是站在全局视角做列表优化，解决“局部最优≠全局最优”的问题。

回到厨师的比喻：精排像主厨判断“每道菜火候是否到位”，重排像总厨审视“整桌菜是否和谐”。前者是局部质量，后者是全局体验——两者缺一不可。

重排目标函数

排菜师要怎么决定“这桌菜怎么排”？他心中一定有一个评判标准：宾客每吃一道菜有多满意（相关性收益），相邻菜品是否口味重复（多样性损失），以及是否有特殊菜品必须放某个位置（业务约束）。在数学上，这个评判标准被形式化为重排目标函数——一个综合了相关性收益与多样性代价的全局效用函数。

假设候选集合为 $R$，已选进最终列表的集合为 $S$，每次我们要从 $R$ 中挑一个“性价比最高”的内容 $d_i$ 加入 $S$。目标函数既要奖励高相关性的内容，又要惩罚与已选内容太相似的内容。令 $\hat{y}_i$ 为精排模型给出的相关性分数，$\text{sim}(d_i, S)$ 为内容 $d_i$ 与已选集合的最大相似度，重排的贪心决策可写成：

从 NDCG（归一化折损累计增益）的视角看，重排是在精排排序基础上进一步优化一个“考虑了多样性的评估指标”。传统排序指标只看单条相关性，而重排的效用函数把列表的整体分布纳入考量。实际工程中，目标函数还会加入业务代价项——比如广告位导致的体验损伤、连续相同类别的惩罚，形成一个多项目权衡的大函数。

在排菜师眼里，这张目标函数就是他的“排菜评分表”：每挑一道菜，心里计算的是“这道菜有多好吃”减去“它和前几道菜多重复”，最终让整桌菜既美味又丰富。

多样性算法

客人最喜欢问主厨的一句话是：“怎么没有别的选择？”如果十道菜都是鸡肉，就算每道都做到极致，宾客也会腻。排菜师需要具体的“搭配算法”。行业里有两大流派：一派靠经验法则（MMR），一派靠概率建模（DPP）。

MMR（最大边际相关性） 是最经典的重排算法。它的思想非常直观：每一步都选择一个候选，使得“这个候选与查询的相关性”尽量大，同时“与已选候选的相似度”尽量小。这就像排菜时，在“宾客爱吃”和“别和上道菜重样”两个目标之间取折中。MMR 的计算复杂度为 O(N²)，对百级候选量完全可以接受，因此在工业界被广泛使用。

DPP（行列式点过程） 是更数学化的多样性建模方法。它将整个集合的“多样性得分”定义为一个核矩阵的行列式：如果两个内容很相似，它们共同出现在集合中的概率会被强烈抑制。DPP 的优点是能够全局建模多样性而非两两贪心，缺点是准确求解是 NP-hard，工业界常用贪心近似（每次选择使行列式增量最大的元素）。

滑动窗口惩罚 是一种工程上常用的轻量级多样性方案：不在全局范围内计算两两相似度，只检查候选与最近 K 个已选内容是否同类别或高相似，若是则降权。因为用户注意力往往集中在最近几条，局部多样性就能带来大部分体验收益。它像排菜时“只要不上一种食材连着超过两次”的简单规则，成本低且有效。

排菜师的工具箱里，MMR 像经验老道的手感，DPP 像精确的分子料理配方，滑动窗口则像后厨最简单实用的“限时上菜规则”。你可以根据场景规模和算力预算选择或组合它们。

业务约束融合

宴席不止是美味与均衡——餐厅还有一堆硬规矩：招牌菜必须上（品牌保护）、海鲜每天限量（库存/频控）、客人对花生过敏（禁忌过滤）、主菜必须放在甜品之前（位置规则）。重排算法设计的再好，如果在真实业务中无法落地，也只是纸上谈兵。因此重排框架必须支持业务约束的灵活融合。

业务约束通常分为硬性约束与软性约束。硬性约束是必须满足的过滤条件，比如“已下架商品不出现在列表”“用户 24 小时内看过的内容不重复推荐”“广告位最多出现 1 条且必须间隔 5 条自然内容以上”。这类约束在重排入口作为过滤层先行处理，任何内容不满足条件就无权进入后续的多样性排序。软性约束则是“尽量满足”的偏好，通过惩罚项体现：

工程上，约束往往被封装成可配置的规则引擎。比如频控规则用 Redis 记录用户历史曝光，位次规则用“指定 item 必须出现在第 K 位”的硬编码逻辑，品牌保护则是将特定商家/话题设置为不可被同类挤压的“Protected 集合”。这些配置由业务方通过后台可视化界面动态调整，重排服务实时读取。

在排菜师的工作台上，业务约束就像一张写满“顾客禁忌”和“餐厅规矩”的备忘卡。多样性算法负责让宴席丰盛，而约束系统负责让宴席安全合规——两者协同，才能端出一桌真正的好菜。

在线AB评估

新菜单能不能上？宾客的反馈说了算。但餐厅不能只听一两个人的意见，要用科学的方式收集和分析真实用餐数据。推荐系统也一样：重排策略上线前，必须经过严格的 AB 实验 验证。

AB 实验的核心是随机分流：把用户按组哈希到实验组（A）和对照组（B），两组唯一区别是重排策略不同（新版 vs 旧版）。为了保证科学性，分组必须是随机的、稳定的（同一个用户始终在同一组），并且实验期间两组流量要尽可能均匀。在信息流场景中，常见做法是按用户 ID 取模分桶，实验组和对照组各占 10% 流量跑 1-2 周，收集足够的样本。

评估指标上，既要看业务指标（CTR、人均时长、广告收入），也要看体验指标（内容多样性熵、同类连续率、负反馈率）。多样性提升往往会带来“短期 CTR 变化不大但长短期人均时长上升、负反馈下降”的效果——这类指标的关系需要通过关联分析来理解。最终决策要用统计显著性来判断，而不是看均值大小：

理想情况下，实验还要做正交分层：同一个用户可能同时参与多个实验，不同实验的流量要正交不干扰。此外要注意“新奇效应”——新策略刚上线时用户可能因为新鲜感而表现异常，通常需要预留 3-7 天的冷启动期再读数据。

排菜师的判断依据是宾客翻台率、好评率和重复预约率；推荐工程师的判断依据则是 CTR、时长和负反馈。但本质一样：用数据说话，让用户体验来投票。

工程实现要点

举办千人宴时，排菜师的排菜逻辑再完美，也抵不过后厨出菜速度跟不上。推荐系统的重排模块同样面临严苛的工程挑战：一次用户请求在精排之后往往只剩 30-80ms 的预算留给重排，必须在超低延迟下完成“多样性计算+约束校验+排序输出”全流程。

请求级优化是首要关注点。重排服务通常以 RPC 形式被主链路调用，输入是精排结果数组，输出是最终列表。为了压降延迟，工程上会采取多策略：一是向量预计算，提前把每条内容的 Embedding 向量算好存入特征库，重排时直接读取，避免在线推理；二是近似最近邻（ANN）加速，当候选规模较大时用 HNSW 等索引代替精确的两两相似度计算；三是并行分批，MMR 的贪心迭代虽然串行，但相似度计算可以按批次向量化并行。

缓存设计在重排链路中极其关键。热门用户（如头部主播的粉丝群）的请求量巨大，而他们的重排结果在短时间内变化不大，这类结果可以按“用户 ID + 策略版本”作为 Key 缓存 1-5 分钟。此外，特征向量和业务配置也要缓存到本地内存，避免每次请求都打远程存储。缓存命中率直接决定重排服务的 P99 延迟，工程上一般要求将 P99 控制在 50ms 以内。

性能指标与监控告警是保障线上稳定的眼睛。核心指标包括：重排耗时、QPS、缓存命中率、多样性熵、连续相同类型比例、硬约束违例次数。其中“硬约束违例次数”尤其重要——如果某次上线导致广告位超占比，会直接引发用户体验事故。监控系统需要配置多级告警：耗时超 80ms 触发 warn，违例超阈值触发 fatal 并自动回滚策略。

后厨的流水线上，每个环节都在抢时间。重排服务的高性能改造，就像是给排菜师配备了一个“智能备菜台”：食材分类提前放好（向量预计算）、常用配菜提前摆盘（缓存）、每道菜出餐时间实时显示（监控）。没有这些工程支撑，再精妙的排菜蓝图都只能停留在纸面上。

AI 应用场景

Python 演示

import numpy as npfrom typing import List  class MMRReranker:    """MMR 重排器：在相关性与多样性之间做边际权衡。    贪心策略：每次从未选候选中挑出"相关性收益 - 多样性惩罚"最大的元素。    """     def __init__(self, lambda_: float = 0.7) -> None:        self.lambda_ = lambda_     def _cosine_sim(self, a: np.ndarray, b: np.ndarray) -> float:        """计算两个特征向量的余弦相似度，范围 [-1, 1]。"""        dot = float(np.dot(a, b))        norm_a = float(np.linalg.norm(a))        norm_b = float(np.linalg.norm(b))        if norm_a == 0.0 or norm_b == 0.0:            return 0.0        return dot / (norm_a * norm_b)     def rerank(self, ids: List[str], scores: List[float],               features: List[np.ndarray]) -> List[str]:        """执行 MMR 贪心重排，返回重排后的 id 序列。        - ids: 候选内容 id 列表        - scores: 精排模型给出的相关性分数        - features: 每条内容的 embedding 向量        """        cand = list(range(len(ids)))        selected_idx: List[int] = []        selected_feats: List[np.ndarray] = []         while cand:            best_idx = None            best_val = -float("inf")             for i in cand:                rel = scores[i]                if selected_feats:                    sim = max(self._cosine_sim(features[i], f) for f in selected_feats)                else:                    sim = 0.0                # MMR 核心公式: lambda * rel - (1 - lambda) * max_sim                val = self.lambda_ * rel - (1 - self.lambda_) * sim                if val > best_val:                    best_val = val                    best_idx = i             selected_idx.append(best_idx)            selected_feats.append(features[best_idx])            cand.remove(best_idx)         return [ids[i] for i in selected_idx]  if __name__ == "__main__":    rng = np.random.default_rng(42)    n = 8    ids = ["item-" + str(i) for i in range(n)]    # 模拟 4 类内容: news / video / shop / social    categories = ["news", "video", "shop", "news", "shop", "video", "news", "social"]    scores = [0.90, 0.85, 0.80, 0.78, 0.75, 0.70, 0.65, 0.60]    base = {"news": 1.0, "video": 2.0, "shop": 3.0, "social": 4.0}    features = []    for c in categories:        feat = base[c] + rng.normal(0, 0.1, size=8)        features.append(feat)     reranker = MMRReranker(lambda_=0.7)    result = reranker.rerank(ids, scores, features)    print("原始分数排序:", ids)    print("MMR重排结果:", result)    print("重排后的类别:", [categories[ids.index(x)] for x in result])

1. self.lambda_ = lambda_保存多样性权重参数，lambda_ 越大越看重相关性，越小越看重多样性。
2. sim = max(self._cosine_sim(features[i], f) for f in selected_feats)计算候选与所有已选内容的最大相似度，这是 MMR 多样性惩罚的关键。
3. val = self.lambda_ * rel - (1 - self.lambda_) * simMMR 核心公式，用相关性收益减去多样性代价得到边际价值。
4. selected_idx.append(best_idx)每轮选出边际价值最高的内容加入结果集，更新已选集合。
5. cand.remove(best_idx)将选过的内容从候选中移除，保证每条内容只出现一次。
6. base[c] + rng.normal(0, 0.1, size=8)用类别向量加噪声模拟内容 embedding，让同类内容彼此相似而不同类内容区分明显。

常见误区

面试题