Focal Loss攻克类别不平衡难题

可视化演示

通过CE与Focal Loss曲线对比、长尾分布动画和gamma参数调节，直观展示Focal Loss如何通过难样本挖掘攻克类别不平衡。

1. 不平衡之痛

阿明练厨艺的第一天，老板递给他一张“错题本”：每道菜做错了就记一笔，做对了不加分也不减分。按理说这种“纠错式训练”很公平，可问题出在菜单结构上——客人点番茄炒蛋的次数是佛跳墙的99倍。阿明每天记录的错题几乎全是番茄炒蛋的火候问题，佛跳墙的失误一星期都轮不到一次，他自然觉得“把番茄炒蛋练好就万事大吉了”。这种“订单失衡”在AI世界里无处不在：自动驾驶罕见障碍物、银行欺诈交易、工厂瑕疵品，少数类往往才是真正要命的问题。

在深度学习里，“错题本”对应交叉熵损失函数。它对多数类和少数类样本一视同仁地计算误差，可误差总和被多数类牢牢把持。如果1000个样本里只有10个是正类，那么每次梯度更新时，负类的贡献可能占到90%以上，模型为了尽快降低总损失，就会倾向于把一切输入都判成负类——准确率虚高，可少数类一个都预测不出来。

回到厨房：错题本的设计本身没错，错的是“每道菜占同样篇幅”。如果老板想拯救佛跳墙，得让错题本更偏心——这正是Focal Loss的出场理由。

2. 核心思想

老师傅看了阿明的错题本，提出一个反直觉的改法：“番茄炒蛋你已经九成把握做对了，以后做对了不再奖励，做错了也只轻轻扣一分；佛跳墙每次练习都记双倍错题，逼你反复琢磨。”这就是Focal Loss的核心——降低易分样本的损失权重，把训练重心推向难分样本。

Focal Loss在交叉熵前面挂了一个“调制因子”$(1-p_t)^\gamma$。这里的$p_t$代表模型对该样本真实类别的置信度：如果模型对某个番茄炒蛋样本有95%把握做对，$p_t$就是0.95；如果佛跳墙完全没头绪，模型瞎猜概率0.5，$p_t$就是0.5。调制因子的妙处在于：$p_t$越接近1（越容易），$(1-p_t)^\gamma$越小，损失被压得越低；$p_t$越小（越困难），因子越接近1，损失几乎不受影响。

阿明的感受最直接：自从错题本变了规则，番茄炒蛋做对了不再占篇幅，佛跳墙的每个步骤细节都被反复放大咀嚼。模型训练也是如此——多数类里的简单样本不再霸占梯度，少数类的难样本终于有机会被模型真正“记住”。

3. alpha平衡

老师傅发现光“惩罚难度”还不够：佛跳墙就算再难，一星期只练一次，进步还是太慢。于是他给每道菜贴标签——佛跳墙的错题权重×0.75，番茄炒蛋的错题权重×0.25。这相当于在Focal Loss里引入了一个类别天平α：给少数类更大的基础权重，多数类的基础权重被压低。

数学上，$\alpha_t$就像一把有刻度的秤，砝码总重量为1：正类放$\alpha$克，负类就放$1-\alpha$克。RetinaNet那篇论文里最常用的配置是$\alpha=0.25$——看起来很偏心？恰恰相反，因为负类（背景框）数量实在太多，即使每份只乘0.25，累加起来依然可观。$\alpha$管的是“整体类别的初始地位”，它不关心单个样本难不难，只关心这个类别占总人口的份额。

阿明恍然大悟：老板不是不让练番茄炒蛋，而是给它戴上了“低权重手环”——练还是要练，但练错了扣分少，练对了不加分；佛跳墙则戴着“高权重勋章”，每练一次都刻骨铭心。两把尺子配合，厨房的学徒才真正雨露均沾。

4. gamma调制

如果说alpha是“给哪道菜加权重”，那么gamma就是“按熟练度打多少折”。老师傅定了个规矩：做菜成功率超过90%的，损失权重按 $(1-0.9)^2=0.01$ 记——等于白练；成功率刚过50%的，按 $(1-0.5)^2=0.25$ 记——保留四分之一的学习压力。折叠系数就是调制因子$(1-p_t)^\gamma$，它像一个“熟练度滤镜”，自动识别哪些菜已炉火纯青、哪些菜仍需千锤百炼。

当$\gamma=0$时，调制因子恒等于1，Focal Loss退化成带alpha的加权交叉熵，没有任何难易区分；当$\gamma$增大，曲线的右端（高置信度区域）被压得越来越扁，模型几乎不再从简单样本身上学到梯度。这也带来一个隐藏的梯度效应：简单样本的梯度贡献指数级衰减，困难样本的相对梯度占比随之提升，模型被迫把注意力集中在那些“一做就错”的样本上。

阿明后来笑称这规则是“熟菜回避术”：番茄炒蛋闭着眼睛都能做对，损失权重接近0，老师不再盯着它；佛跳墙每次翻车都原原本本记进错题本。于是他的厨艺曲线出现了神奇转折——简单菜不再进步，难菜却突飞猛进，整体水平反而上了一个台阶。

5. 参数调优

老师傅的评分法有两个旋钮：α管“类别的起始地位”，γ管“熟练度的折扣力度”。怎么拧才合适？RetinaNet的团队在COCO数据集上做过系统实验，发现默认开局 $\alpha=0.25, \gamma=2.0$ 效果最好。但这不等于所有任务都照抄——如果少数类样本特别稀少且难度极大，可以适当把α往0.5以上调；如果发现训练初期损失震荡剧烈，说明γ太大导致简单样本梯度几乎消失，可以降到1.5试试。

实践中的调参套路是“先粗后细”：先在验证集上分别扫γ∈{0.5, 1.0, 2.0, 3.0}（固定α=0.25），挑出最优γ；再固定γ，扫α∈{0.25, 0.5, 0.75}。注意看PR曲线下面积和少数类召回率，而不是总损失。一个直观的数字对比：置信度0.9的简单样本，在γ=2时调制因子只有0.01；置信度0.5的困难样本，调制因子是0.25——后者保留的学习压力是前者的25倍。

阿明把这组数字贴在灶台上：“同样是错题，佛跳墙要记25遍，番茄炒蛋只记1遍。”调参的本质就是调节这个倍率——倍率太小偏科依旧，倍率太大简单任务彻底荒废。找到一个让验证集指标最优的“偏心程度”，才是老师傅的真正功力。

6. 长尾适配

现实中大部分数据集并不只是“两类失衡”，而是像一张长长的菜单：少数几个热门菜霸占头部，大量小众菜稀稀拉拉排在尾巴上。这种“头部类别样本过剩、尾部类别样本稀缺”的分布叫长尾分布。阿明的餐馆菜单上有300道菜，前10道菜占90%的订单，剩下290道菜分走10%的订单——以前他只练前10道就够了，现在老板要求每道菜都得会做。

长尾场景下，Focal Loss的难点在于“尾部类别遗忘”：头部类别每次epoch都能见到大量样本，尾部类别可能几个epoch才露一次脸。单靠loss层面的调制因子，仍难以阻止模型对尾部类别逐渐失忆。一个经典改进思路是引入“有效样本数”概念——同类别的样本存在信息冗余，第n个样本带来的边际信息会随n增加而衰减，用$\beta$控制衰减速度，把“样本数”折算成“有效信息量”。

回到长尾菜单：老板把每道菜的“真实练习次数”按有效样本数折算——尾部冷门菜每练一次都算实打实的一课，头部菜练到第10000次时几乎不再增长经验值。Focal Loss负责“难点优先”，有效样本数负责“稀缺优先”，两者结合让长尾菜单上的每一道菜都被真正关照到。

7. 策略对比

老师傅有三位同行，各自提出拯救佛跳墙的方案。第一位主张“过采样”：把佛跳墙这道菜反复端上桌，练100遍自然就会了。可它有个隐患——翻来覆去练同一道菜，学徒容易把这道菜的固定做法背下来，换个调料就懵了，这就是过采样导致的过拟合。第二位主张“欠采样”：既然番茄炒蛋订单太多，干脆把大部分番茄炒蛋订单扔掉，只留一小部分。这样确实让天平摆正了，但大量订单数据被浪费，模型也学不到番茄炒蛋的丰富变化。

第三位主张“类别加权交叉熵”：给每道菜按订单量配一个固定权重。这比原始方案强，但它是“一刀切”——同一道菜不管做得好不好，权重都一样。Focal Loss的独到之处是在类别权重的“静态天平”上，叠加了“动态难度滤镜”：静态权重管类别失衡，动态滤镜管单样本难易。工程上最聪明的做法是组合拳——先用欠采样砍掉部分冗余头部数据，再用Focal Loss动态压权。数据层面和损失层面的策略并不互斥，搭配使用往往效果最佳。

| 策略 | 机制 | 优点 | 缺点 |

|------|------|------|------|

| 过采样 | 复制少数类样本 | 简单直接 | 易过拟合 |

| 欠采样 | 丢弃多数类样本 | 训练更快 | 丢失信息 |

| 类别加权CE | 固定类别权重 | 稳健基线 | 不区分难易 |

| Focal Loss | 动态难度调权 | 聚焦难样本 | 需调γ/α |

阿明听完三位同行的方案，觉得老师傅最聪明的地方是“不改菜谱，只改评分”——不丢弃任何订单，也不重复刻板训练，只是让每一次失误都以合适的力度印在记忆里。这正是Focal Loss在工程中最受欢迎的原因：不折腾数据，只改一个损失函数。

8. 工程实践

真正上灶台之前，老师傅还给阿明立了三条规矩。第一条：别只盯准确率。番茄炒蛋订单占99%，哪怕阿明完全不会佛跳墙，闭眼乱做也能有99%的“准确率”。要看他有没有真正学会佛跳墙，得看精确率与召回率拧成的F1分数，以及PR曲线下面积。这就像面试时不能只看他“接单量”，要看他“最难的菜做得怎么样”。

第二条：调参顺序有讲究。先固定一个安全的α（如0.25），把γ从0逐步升到2～3，观察验证集上少数类的PR-AUC何时停止上升；再回头微调α。如果γ升到3以后少数类指标突然下滑，多半是简单样本的梯度被压得太狠，模型连基础特征都没学好。第三条：部署后持续监控。线上数据的类别分布会漂移，今天佛跳墙还是冷门菜，明天可能就热门了——所以要在推理链路里记录每类的召回率，定期回头重新校准alpha。

老师傅最后拍了拍阿明的肩膀：“评分法只是手段，真正的标准永远是——顾客点佛跳墙的时候，你端出来的那碗到底能不能打。”对AI工程师来说，Focal Loss只是工具，最终要回答的问题是：少数类样本在真实场景里，到底被识别出了多少。

AI 应用场景

Python 演示

import numpy as npimport matplotlibmatplotlib.use("Agg")import matplotlib.pyplot as plt def focal_loss(p, y, alpha=0.25, gamma=2.0):    p_t = np.where(y == 1, p, 1 - p)    alpha_t = np.where(y == 1, alpha, 1 - alpha)    return -alpha_t * np.power(1 - p_t, gamma) * np.log(p_t + 1e-9) def ce_loss(p, y):    p_t = np.where(y == 1, p, 1 - p)    return -np.log(p_t + 1e-9) def run_demo():    rng = np.random.default_rng(42)    n_pos = 100    n_neg = 9000    y = np.concatenate([np.zeros(n_neg), np.ones(n_pos)])    p = rng.beta(0.4, 2.5, size=len(y))    p = np.where(y == 1, np.maximum(0.85, p), p)    ce = ce_loss(p, y)    fl = focal_loss(p, y)    print("CE: pos=%.4f neg=%.4f | pos损失占比=%.2f%%" %          (ce[y == 1].mean(), ce[y == 0].mean(), 100 * ce[y == 1].sum() / ce.sum()))    print("FL: pos=%.4f neg=%.4f | pos损失占比=%.2f%%" %          (fl[y == 1].mean(), fl[y == 0].mean(), 100 * fl[y == 1].sum() / fl.sum())) def plot_curve():    p = np.linspace(0.01, 0.99, 200)    ce = -np.log(p)    fl = -np.power(1 - p, 2) * np.log(p)    plt.figure(figsize=(7, 4))    plt.plot(p, ce, label="CE", color="#818CF8")    plt.plot(p, fl, label="FL gamma=2", color="#F43F5E")    plt.xlabel("confidence p_t")    plt.ylabel("loss")    plt.legend()    plt.grid(True)    plt.savefig("focal_loss_compare.png") if __name__ == "__main__":    run_demo()    plot_curve()    print("曲线图已保存: focal_loss_compare.png")

1. p_t = np.where(y == 1, p, 1 - p)提取模型对真实类别的置信度：正类用p本身，负类用1-p。
2. alpha_t = np.where(y == 1, alpha, 1 - alpha)按类别分配互补权重，模拟Focal Loss的静态天平α。
3. return -alpha_t * np.power(1 - p_t, gamma) * np.log(p_t + 1e-9)完整Focal Loss公式，加1e-9避免log(0)。
4. np.maximum(0.85, p)模拟正类置信度普遍偏高，代表“多数负类样本其实容易分类”的设定。
5. p = rng.beta(0.4, 2.5, size=len(y))用Beta分布模拟真实模型的预测分布：多数样本置信度偏低，少数样本信心较足。
6. 100 * ce[y == 1].sum() / ce.sum()计算正类损失占总损失的百分比，交叉熵下少数类占比极低，Focal Loss下显著提升。

常见误区

面试题