Learning to Rank：RankNet

可视化演示

展示系统处理流水线、实时性能指标曲线及多方案对比分析，包含数据流转、吞吐延迟监控与方案评估。

排序问题：先会比较，再谈排列

老陈从不问小满“这个苹果值八分甜还是九分甜”，而是把两个苹果放到小满面前，只问“谁更甜”。因为“绝对甜度”很难有统一标准，但“这个比那个甜”这种相对判断却天然可靠。排序问题的三种常见做法也由此展开：pointwise 给每个文档打一个绝对分，pairwise 比较文档对，listwise 则直接看整串序列。RankNet 选择了 pairwise 这条务实路径。

在搜索引擎里，输入一个查询 q，系统先从候选池中取出若干文档 d_i。排序模型的任务不是理解整篇文章，而是输出一个能代表“这个文档对当前查询有多相关”的排序分。这个分数不必有绝对含义，只要在同一个查询下能把好文档放在坏文档前面就够了。

形式化地说，文档 i 的排序分可以写作：

小满最终学会的不是“称一次就知道绝对甜度”，而是一套比较规则：哪个重量、颜色、香气组合下的苹果更可能赢过对手。这正是 pairwise 排序的核心气质——排序能力来自一次次比较练习。

RankNet架构：小满的甜度打分器

老陈让小满观察三样东西：重量、底色红不红、果香浓不浓。这三样就是苹果的“特征”。小满的大脑把这些特征综合起来，给每个苹果算出一个甜度分：分高者胜。RankNet 的“大脑”是一个神经网络，输入是查询和文档的特征向量，输出是一个实数值排序分。

对任意两个文档 i 和 j，真正重要的不是各自得分，而是它们之间的差值 \(s_i - s_j\)。如果 i 比 j 相关，我们希望这个差值为正。为了让差值变成一个方便衡量“赢面”的数值，RankNet 用一个 Sigmoid 函数把它压到 0 到 1 之间：

小满心里其实没有一把绝对精确的“甜度尺”，他只需要知道 A 比 B 甜。Sigmoid 函数就像一把软尺：把“领先多少”转化成“赢面多大”，领先越多，赢面越接近板上钉钉。

交叉熵损失：预测错了，代价有多大

老陈给每对苹果只留两个答案：左边这盘更甜，或右边这盘更甜。用符号表示，\(t_{ij}=1\) 表示 i 应排在 j 前，\(t_{ij}=0\) 表示不应排在前面。小满的预测是 \(P_{ij}\)，如果预测 0.9 而标签是 1，说明他判断得不错；如果预测 0.2 而标签是 1，说明他错得离谱。

这种“预测分布和真实标签之间的差距”用交叉熵来衡量。单个文档对的损失是：

交叉熵像老陈的记账本：徒弟猜对，账本上不记；猜错，错得越离谱记的“欠账”越多。RankNet 训练的目标就是把这些欠账一笔一笔还清，也就是让所有文档对的损失总和尽量小。

梯度下降优化：一次一步调整判断

小满意识到，重量、颜色、香气不能平均用力。有的苹果颜色红但不香，香气可能更值得信任。这个“各特征该信多少”就是模型的权重向量 w。训练时每看到一个文档对，小满都会算一算：刚才这个判断让老陈失望了多少？失望的方向是“高估了左边”还是“高估了右边”？

对参数 w 求导后，可以得到一个非常优雅的更新规则：

如果把损失函数想象成一个山坡，小满每次更新就是朝下坡迈一小步。处理成百上千对之后，他不再凭感觉乱撞，而是稳定地走向“让大多数比较都正确”的低谷。

LambdaRank改进：给重要的比较加重量

小满刚开始把每对苹果一视同仁。可后来他发现，顾客最在意的是整排苹果最前面的几个。如果第三名和第四名排反了，大家不会太在意；如果把第一名和第二名排反，顾客会觉得这徒弟根本不会挑。换句话说，排序质量并不是“所有两两比较都正确”那么简单的总和。

LambdaRank 的改进非常聪明：不再只使用交叉熵梯度，而是把两个文档交换位置前后 NDCG 的变化量 \(|\Delta \text{NDCG}|\) 作为权重。于是每一对样本的更新力度变成：

老陈开始给不同位置的苹果标不同价码：越靠前，排错的“成本”越高。LambdaRank 正是把这种成本意识注入梯度，让模型不只为“对错”而学，更为“排序质量”而学。

LambdaMART落地：一片能补漏的树森林

单棵决策树很弱，但很多棵树一起干活就很强。LambdaMART 的 MART 指的是 Multiple Additive Regression Trees，即“多棵相加的回归树”。每棵树不要求一开始就完美，它只需要拟合上一轮还没解决的残差：第一棵树看出个大概，第二棵树补第一棵的漏洞，第三棵树再补前面的遗漏，如此反复。

用公式表达，最终模型是 M 棵树输出的加权和：

LambdaMART 把 LambdaRank 的“位置敏感梯度”交给梯度提升树来拟合，既能处理非线性关系，又比深层神经网络更容易在工业环境训练和部署，因此成为很多搜索引擎排序模块的默认选择。

工程实践：从训练对到上线排序

真实项目里没有现成的“苹果对”，要从业务日志里构造。搜索团队常常把“用户点击的文档”视为比“未点击的文档”更相关，从而生成偏序对；也可以让标注员直接判断候选答案 A 是否比 B 更相关。构造好样本后，还要做特征归一化，否则“重量”这种大数值特征会压过“颜色”这种小数值特征。

离线评估时不能只看 loss，因为用户不关心交叉熵，只关心好结果有没有排到前面。常用指标是 MAP 和 NDCG。MAP 的定义可以写成：

小满最后不是只会在老陈的果摊上表演，而是要把这套“比较—打分—排序列”的流程固化下来：日志生成样本、特征进入模型、离线验证指标、线上小流量实验。只有走完这个闭环，RankNet 才真正从理论变成了搜索排序的日常。

AI 应用场景

Python 演示

import numpy as np class SimpleRankNet:    def __init__(self, dim):        self.w = np.zeros(dim)     def score(self, x):        return float(np.dot(self.w, x))     def train(self, pairs, labels, lr=0.1, epochs=5):        for _ in range(epochs):            for (xi, xj), label in zip(pairs, labels):                diff = self.score(xi) - self.score(xj)                prob = 1.0 / (1.0 + np.exp(-diff))                error = prob - float(label)                self.w -= lr * error * (np.array(xi) - np.array(xj)) if __name__ == "__main__":    # 每行特征:[重量, 底色红, 果香]    pairs = [        ([80, 0.8, 0.6], [70, 0.4, 0.3]),        ([75, 0.7, 0.5], [85, 0.6, 0.4]),        ([90, 0.9, 0.7], [60, 0.2, 0.2])    ]    labels = [1, 1, 1]     model = SimpleRankNet(dim=3)    model.train(pairs, labels, lr=0.3, epochs=20)     a = model.score([85, 0.8, 0.6])    b = model.score([72, 0.5, 0.3])    print("sweet score A: %.3f" % a)    print("sweet score B: %.3f" % b)    print("A sweeter? ", a > b)

1. self.w = np.zeros(dim)初始权重全为 0，相当于学徒还没有任何偏好。
2. prob = 1.0 / (1.0 + np.exp(-diff))把两个文档的分数差换算成“左边赢”的概率。
3. error = prob - float(label)计算预测概率与老师标签的偏差。
4. self.w -= lr * error * (np.array(xi) - np.array(xj))用梯度下降更新每个特征权重。
5. model.train(pairs, labels, lr=0.3, epochs=20)反复看 20 遍训练对，逐步纠正判断。

常见误区

面试题