KTO：基于前景理论的非配对偏好学习

可视化演示

展示前景理论S型价值函数（损失厌恶）、KTO与DPO数据采集对比、KTO损失收敛过程三种模式，点击按钮切换。

前景理论基础

老张的记账本从不记录“总分排名”，只记录每个学生相对心里那条线的偏离。这条线就是前景理论里的“参考点”：学生考了 85 分，如果老张心里预期是 80，那就是惊喜；如果预期是 90，那 85 反而成了失望。同一个分数，因为参考点不同，感受截然相反。卡尼曼与特沃斯基在 1979 年提出的前景理论，正是用这种“看变化而非看总量”的方式描述人的决策，也因此拿下了诺贝尔经济学奖。

这背后的心理学规律有两条。第一，损失厌恶：丢掉 100 块钱的痛苦，要捡到约 200 块钱才能抵消；同样的数量，坏消息比好消息重得多。第二，敏感性递减：从 0 分进步到 10 分的喜悦，远大于从 90 分进步到 100 分的喜悦，收益侧的快乐是边际递减的；而损失侧的痛苦，反而越滚越陡。把这两条画成一条“价值函数”曲线，就是中间经过参考点、右侧平缓上升、左侧陡峭下降的 S 形变体。

老张的记账本之所以有效，就是因为他下意识遵守了这条曲线：进步一点就狠狠表扬，退步一点则更严肃地提醒，从不搞“排名平均主义”。KTO 算法要向模型传递的，正是这种人类真实的心理权重。

非配对偏好数据

传统偏好学习总爱搞“两人 PK”：把同一个问题的两个回答摆在一起，让标注员说哪个更好。老张却从不这样做，他只需要看单个学生的单次表现，在记账本上写一个“好”或“坏”。这正是 KTO 名字里“非配对”的含义——每条训练数据只有一条回复加一个好坏标签，不需要另一个回复作为对照。

那么这些单样本标签从哪来？最直接的是人类标注：客服对话里点“有帮助/没帮助”、内容平台上点“赞/踩”，都是天然的好标签。其次可以用规则或旧模型筛选：拿一个表现很差的回答当“坏”样本，拿精心准备的回答当“好”样本。更妙的是，即使你手里只有成对比较数据，也可以直接“降级”使用：把偏好对里赢的那个拆成“好”样本，输的那个拆成“坏”样本，一对变两条，KTO 照样能学。

这样做的好处是标注成本大幅下降。成对比较要求标注员同时读两个长篇回答再权衡，而单样本打标只需要看一条。假设标注一个样本的成本是 $c$，一份成对数据需要两个回答各读一遍，成本接近 $2c$；同样的预算，KTO 能拿到两倍数量的独立信号。在数据稀缺的垂直领域，这往往决定了项目能不能启动。

老张从不搞 PK 的原因很简单：PK 制造焦虑，也会浪费他观察每个孩子的精力。KTO 用单样本标签，等于把有限的标注预算全部花在“看清每个回答本身”上，而不是花在“比较两个回答的细枝末节”上。对工程团队来说，这意味着更快地攒出数据集，也更接近人类真实的反馈方式。

KTO损失构造

老张把“好/坏”记进账本时，心里其实有个隐形的评分，只是他从不直接打分给学生看。KTO 也一样，它不训练一个显式的奖励模型，而是从“当前模型和参考模型的概率比”里直接算出隐式奖励。参考模型是什么呢？可以理解成训练前那个“原始状态的老张”——一个还没学会新规矩的基准班主任。当前模型如果能给某条回复更高的概率，说明它正在朝“更像这条回复”的方向改变。

有了隐式奖励，还要确定参考点 $z_0$。在老张的账本里，$z_0$ 就是“这次到底算好还是算坏的界线”——高于它记正账，低于它记负账。KTO 论文中常用当前训练批次的 KL 散度估计 $z_0$，相当于用“模型近期平均漂移量”动态确定那条线。此时再套用前景理论的价值函数，KTO 的效用函数就能把人类心理写进损失：

老张记完账会顺势调整对每个孩子的预期：这次表现好，下次参考线就稍高一点；表现坏，参考线也相应下调。KTO 的 $z_0$ 同样动态变化，配合 KL 散度约束防止模型跑太远——就像老张再欣赏某个学生，也不会允许他脱离基本的行为规范。

对齐机制拆解

老张从不掏出一张写着分数的奖状，但他的学生对“这次会被表扬还是批评”心知肚明。KTO 的隐式奖励机制也是如此：它没有独立的奖励模型，却通过概率比向模型传递明确的改进方向。当一条回复被标为“好”，损失函数会反向传播一个抬高这条回复概率的梯度；当一条回复被标为“坏”，梯度方向翻转，模型学会降低这类回复的概率。

梯度信号的具体含义可以从效用函数读出：对好样本，损失 $w_y(1 - \sigma(r - z_0))$ 越小，意味着 $r$ 越要大于 $z_0$；对坏样本，损失 $w_y(1 - \sigma(z_0 - r))$ 越小，意味着 $r$ 越要小于 $z_0$。换句话说，KTO 不需要任何显式打分器，就已经在每一次参数的更新中完成了“奖励高、抑制低”的对齐。这就像老张只需一句“这次不错”或“这次不行”，学生就自动调整了行为方向。

与显式奖励模型相比，这个设计省掉了一个完整模块：RLHF 需要先训练奖励模型，再在上面跑强化学习；KTO 直接把“奖励”藏在生成概率里，训练流程更简洁。同时 KL 散度约束还在幕后兜底：它惩罚当前模型与参考模型的过度偏离，保证模型不会为了迎合标签而胡言乱语——这是老张的“基本盘”：鼓励个性，但不许违反班规。

老张的可贵之处在于，他从不说“你应该比小王强”，而只说“你这次做得好、下次可以更好”。KTO 同样不比较两个回答，只让每个样本自己说话。隐式奖励让对齐信号无处不在却又无声无息，最终训练出的模型在人类看来更自然、也更少说违心话。

方法对比定位

如果把主流对齐方法都请进学校，RLHF 是最正式的督导组：先给每个回答写详细评语（训练奖励模型），再用强化学习反复打磨策略，效果全面但流程笨重，需要大量样本和调参。DPO 像一位特级教师，擅长“两两切磋”：每次拿两个回答对比，明确告诉模型谁优谁劣，数据要求是成对偏好。而 KTO 是老张本人：手里只有“好/坏”标签，一个人就能干活，不搞 PK、不写长评语。

对比之下，DPO 的损失函数长这样：

从适用场景看：如果团队已经攒了大量成对偏好数据，DPO 是稳妥选择；如果只有点赞/点踩、好评/差评这类天然单标签，或者连标注人力都很紧张，KTO 更容易启动。数据规模上，KTO 能用更少预算凑够有效信号，但在极高质量偏好数据充足时，DPO 的显式对比往往上限更高。选哪个，本质上是在问：你的数据长什么样，你愿意为标注付出多少成本。

老张的班不是每学期都拿年级第一，但始终稳定、省心、不折腾。KTO 的定位正是如此：不求在所有 benchmark 上碾压 DPO，只求在数据有限、预算有限、甚至隐私敏感的真实环境里，把模型稳稳地调向人类喜欢的方向。

工程落地实践

把老张的方法变成全校制度，关键在于流程化。第一步是数据采集：从线上日志、用户反馈或专家渠道收集回复，打上“好/坏”二元标签；如果有成对数据，直接拆成两条单样本用。第二步是确定参考模型：通常选一个尚未对齐或只做了轻微对齐的模型，作为 KL 散度约束的锚点。第三步是训练：设置合理的 $\beta$、样本权重和参考点估计方式，跑若干 epoch 后观察损失收敛。

超参调优有几条实用经验。$\beta$ 控制奖励尺度，太小则模型学不动，太大则梯度震荡、输出漂移，一般从 0.1 到 1.0 之间网格搜索。样本权重 $w_y$ 可以分别设置正负权重：由于前景理论的损失厌恶，实践中常把坏样本的权重大于好样本，让模型对“坏回复”更敏感。参考点 $z_0$ 用批次 KL 均值估计时，要注意批次大小不能太小，否则参考点抖动剧烈。

在隐私计算与联邦学习场景中，KTO 有一个天然优势：联邦学习要求各客户端不上传原始数据，而 KTO 的标签本身就是二元信号，比成对偏好更容易做隐私保护。例如手机输入法团队可以在每个用户端本地判断某条候选回复“被采纳/被忽略”，只把梯度或加密统计量回传服务器，中心端聚合更新模型，用户原文始终不出设备。这大大降低了对数据出域的要求。

最后用效果评估闭环：除了常规的胜率（win rate）和在线 A/B 指标，还要盯住 KL 散度——它衡量模型偏离参考模型多远。老张会定期翻记账本回顾哪个孩子进步慢；工程师也应每周检查“模型是不是为了讨好标签而丢了风格”、坏样本的压制是否真的生效。评测通过后，再迭代下一轮数据采集，循环往复。整个过程，就是把老张那套“看个体、重惩罚、定参考”的智慧，沉淀成可以复用的工程管线。

AI 应用场景

Python 演示

import torch def kto_loss(policy_logp, ref_logp, desired, beta=0.5,             alpha_pos=1.0, alpha_neg=1.5, lambda_neg=1.2):    # policy_logp / ref_logp: [batch] 当前模型与参考模型的 log-prob    # desired: [batch] bool, True 表示回复被标为好    r = beta * (policy_logp - ref_logp)    z0 = torch.mean(r).detach()    # 前景理论风格的分段效用    u = torch.where(desired,                    torch.sigmoid(r - z0),                    torch.sigmoid(z0 - r))    w = torch.where(desired,                    torch.full_like(r, alpha_pos),                    torch.full_like(r, alpha_neg * lambda_neg))    return (w * (1 - u)).mean() def main():    torch.manual_seed(0)    ref_logp = torch.tensor([-1.2, -0.8, -0.5, -0.9])    desired = torch.tensor([True, False, True, False])    policy_logp = torch.nn.Parameter(torch.zeros(4))    optimizer = torch.optim.SGD([policy_logp], lr=0.2)     for epoch in range(6):        optimizer.zero_grad()        loss = kto_loss(policy_logp, ref_logp, desired, beta=0.5)        loss.backward()        optimizer.step()        print(f"epoch {epoch}: loss={loss.item():.4f}")     print("final logp:", policy_logp.detach().numpy()) if __name__ == "__main__":    main()

1. r = beta * (policy_logp - ref_logp)用概率对数之差构造隐式奖励，这是 KTO 的核心信号。
2. z0 = torch.mean(r).detach()用当前批次均值作为参考点（简化版），离开计算图避免梯度反传影响。
3. torch.where(desired, torch.sigmoid(r - z0), torch.sigmoid(z0 - r))好样本走收益分支，坏样本走损失分支。
4. torch.full_like(r, alpha_neg * lambda_neg)坏样本权重更大，体现前景理论的损失厌恶。
5. return (w * (1 - u)).mean()效用越高损失越小，模型逐步对齐标签方向。
6. policy_logp = torch.nn.Parameter(torch.zeros(4))用四个可学习参数代表四条回复的概率，便于观察梯度方向。
7. optimizer.step()每轮更新后，好样本的 logp 上升、坏样本的 logp 下降，正是 KTO 期望的对齐信号。

常见误区

面试题