多标签分类效果怎么评估

CH-06-06-012·约 20 分钟·机器学习·更新 2026-08-10

新书入库那天，图书管理员小李盯着三本书犯了难。《三体》既要贴上“科幻”的标签，又该贴上“动画”；《解忧杂货店》则同时属于“悬疑”和“爱情”……一本书可以同时挂在多个书架上，这就是多标签分类。可当馆长抽查时，小李贴得到底准不准？要回答这个问题，得先定一套“检查规则”：是要求每本书所有标签都贴得一模一样才算对，还是数一数总共贴错了几个标签位？是按书架逐个打分，还是把整个借阅部混在一起统一清点？不同的检查规则，演化出了多标签分类的各种评估指标——子集准确率、Hamming Loss、微平均/宏平均 F1、Ranking Loss。这篇文章，就用小李的“贴标签验收”故事，把多标签评估指标讲明白。

岗位关联

学会多标签评估指标，你才能客观衡量多标签模型的真实水平、选出适合业务场景的评估方案，这是多标签任务模型评估与对比的必备技能。

可视化演示
理解多标签问题
子集准确率
误标比例
微平均 F1
宏平均 F1
排序损失
指标选择策略
AI 应用场景
Python 演示
常见误区
面试题

可视化演示

通过Hamming Loss、微平均宏平均F1和多指标雷达图三个模式，展示多标签分类任务的全面评估方法。

本节配有交互动效（进入视口后自动加载，约 3KB）。

Hamming Loss错误率指标统计所有样本所有标签的误标比例，红色标记错误值越小越好，0表示完美预测 HL = |Y△Z| / (N×L) 对每个标签独立计算，不受标签不平衡影响

理解多标签问题

馆长把小林叫到办公室：“从下周起，每本新书都可以贴上多个分类标签。”小李的日常工作从“一道单选题”变成了“一道多选题”。以前《三体》只需要被归入唯一的“科幻”书架，现在它可能同时属于“科幻”“动画”两个书架，甚至更多。这种“一个样本可以同时拥有多个标签”的分类任务，就是多标签分类。在真实世界里，它无处不在：一张商品图可以同时包含“连衣裙”“真丝”“长款”等多个属性，一篇新闻可以横跨“科技”“国际”两个主题，一段视频也可以同时被打上“搞笑”“动物”的标签。

要评估小李贴得好不好，先得把“贴标签”这件事变成数学语言。假设图书馆共有 $ L $ 个可选的分类标签（比如科幻、悬疑、爱情、动画），那么每一本书的“真实标签集合”就可以用一个长度为 $ L $ 的 0/1 向量来表示：向量的第 $ j $ 位是 1，表示这本书确实属于第 $ j $ 类；是 0 则不属于。模型给出的预测，也是同样形式的向量。这样一来，“评估贴标签效果”就变成了“比较真实向量和预测向量有多接近”。

这就是为什么评估多标签不能直接套用单标签的准确率：单标签看“猜没猜中唯一答案”，多标签要同时审视“多个答案各自对不对”。弄清楚这个起点，后面的所有指标就都有了着落。

\displaystyle \mathcal{D} = \{(\mathbf{x}_i, \mathbf{y}_i)\}_{i=1}^{N},\quad \mathbf{y}_i \in \{0,1\}^{L}

这个公式是说：我们有一个包含 N 本书的数据集，每本书 $ i $ 对应一个长度 $ L $ 的 0/1 标签向量 $ \mathbf{y}_i $。

数据集与样本$ \mathcal{D} $ 是全体样本的集合，里面每一条记录 $ (\mathbf{x}_i, \mathbf{y}_i) $ 代表“一本书 + 它的真实标签向量”。
$\displaystyle \mathcal{D} = \{(\mathbf{x}_i, \mathbf{y}_i)\}_{i=1}^{N}$
标签向量的取值空间$ \mathbf{y}_i $ 的每一位只能是 0 或 1，长度固定为 $ L $，表示总共有 $ L $ 个候选标签。
$\displaystyle \mathbf{y}_i \in \{0,1\}^{L}$
多标签的“多”向量里可以有多个位置同时为 1，这正是多标签与单标签最本质的区别——单标签向量通常只有一个位置是 1（或者用一个整数表示类别）。
$\displaystyle \sum_{j=1}^{L} y_{ij} \geq 1$

子集准确率

馆长提出第一种抽查方式：“我只认可完全正确的书。哪本书上贴的每一个标签，都必须和标准答案一模一样，有一个标签贴错了，整本书就判定为不合格。”这个要求苛刻得近乎不讲人情——《三体》真实标签是“科幻+动画”，如果模型只贴了“科幻”，漏掉了“动画”，对不起，这本不算对；如果多贴了一个“爱情”，也不算对。这种“全对才算对”的检查方式，在指标上叫子集准确率（Exact Match Ratio，简称 EMR），也叫严格匹配准确率。

子集准确率的计算很直接：把所有“预测标签向量与真实标签向量完全相同”的样本数统计出来，除以样本总数。这里的“完全相同”是逐位比较，任何一个标签位的 0/1 对不上，整条样本都算失败。从数学上看，它等价于把所有样本的“全对标记”做一个平均值。

子集准确率的优点是一目了然、标准严格，适合那些“不允许任何偏差”的场景，比如试卷答案只有一个版本的标准化考试。但它的缺点也很明显：它不给“部分正确”留任何余地。想象一下，一本书有 10 个标签，模型贴对了 9 个，只漏了 1 个，子集准确率照样给它记 0。这时候，馆长就需要一个更宽容的检查方式了。

\displaystyle EMR = \frac{1}{N}\sum_{i=1}^{N}\mathbb{I}(\hat{\mathbf{y}}_i = \mathbf{y}_i)

公式的意思是：对每个样本检查“预测向量是否等于真实向量”，等于记 1、不等于记 0，最后求平均，得到“完全预测正确的样本占比”。

真实与预测向量$ \mathbf{y}_i $ 是第 $ i $ 本书的标准答案向量，$ \hat{\mathbf{y}}_i $ 是模型贴出的标签向量，两者都是 0/1 组成的向量。
$\displaystyle \hat{\mathbf{y}}_i,\ \mathbf{y}_i \in \{0,1\}^{L}$
指示函数$ \mathbb{I}(\cdot) $ 像一个“对错开关”，括号里的等式成立就输出 1，不成立就输出 0，专门用来标记这本书是否全部贴对。
$\displaystyle \mathbb{I}(\hat{\mathbf{y}}_i = \mathbf{y}_i) = \begin{cases}1 & \hat{\mathbf{y}}_i = \mathbf{y}_i\\0 & \hat{\mathbf{y}}_i \neq \mathbf{y}_i\end{cases}$
求平均把 N 本书的“全对开关”累加起来，除以 N，得到的比例就是模型在“整本全对”这个标准下的得分。
$\displaystyle \frac{1}{N}\sum_{i=1}^{N}\mathbb{I}(\hat{\mathbf{y}}_i = \mathbf{y}_i)$

误标比例

小李向馆长提议：“要不我们换个算法？别老盯着'整本全对'了。我们把所有书的所有标签位都当成一张张标签贴纸，统计一共贴错了多少张贴纸，除以贴纸总数。这样就算一本书漏了一两个标签，也能反映出大部分贴对的工作量。”馆长觉得有道理，这就是Hamming Loss（汉明损失）的思路——它看的不是“书”这个整体，而是“每一个标签位”这个局部。

Hamming Loss 的计算方式如下：遍历全部 $ N $ 本书、每本书的 $ L $ 个标签位，数出“预测值不等于真实值”的标签位个数，再除以总的标签位数 $ N \times L $。它实际上是“误标标签的比例”，数值越小说明模型贴得越准。注意这个指标有两个方向都会计入错误：把没有的标签贴上去（误标），以及把该有的标签漏掉（漏标）。

Hamming Loss 因为宽容、连续、能区分“错多错少”，特别适合日常监控模型质量：比如每天凌晨批量更新的商品标签，只需看这个数字有没有异常波动。但它也有个隐藏的“坑”：当标签非常稀疏（大多数书只有一两个标签）时，就算模型什么都不贴，全部输出 0，Hamming Loss 也可能很低。这就是“无为而治”骗来的低分，所以它通常要和别的指标搭配使用。

\displaystyle HL = \frac{1}{N \times L}\sum_{i=1}^{N}\sum_{j=1}^{L}\left[\hat{y}_{ij} \neq y_{ij}\right]

公式可以理解为：把模型在所有书所有标签上的“错贴张数”累加起来，除以总标签张数，得到误标比例。

单个标签位的比较$ \hat{y}_{ij} $ 表示模型对第 $ i $ 本书第 $ j $ 个标签的预测（0 或 1），$ y_{ij} $ 是真实值。方括号 $ [\cdot] $ 同样是一个“对错开关”：两者不相等时记 1，相等时记 0。
$\displaystyle \left[\hat{y}_{ij} \neq y_{ij}\right]$
双重求和外层 $ \sum_{i=1}^{N} $ 遍历所有书，内层 $ \sum_{j=1}^{L} $ 遍历每本书的所有标签位，两层循环把“所有标签位的错误”全部加起来。
$\displaystyle \sum_{i=1}^{N}\sum_{j=1}^{L}\left[\hat{y}_{ij} \neq y_{ij}\right]$
归一化除以总标签位数 $ N \times L $，得到一个 0 到 1 之间的比例，越接近 0 越好。
$\displaystyle \frac{1}{N \times L}\sum_{i=1}^{N}\sum_{j=1}^{L}\left[\hat{y}_{ij} \neq y_{ij}\right]$

微平均 F1

小李把三天的贴标记录汇总后发现，光数错误比例还不够——有些标签被贴上去了，可到底“贴对了多少、该贴的又贴了多少”？这就引出了精确率（Precision）和召回率（Recall）的概念。在多标签场景里，精确率回答“模型贴上去的标签里，有多少是贴对的”；召回率回答“真正该贴的标签里，模型找到了多少”。但只看其中一个会偏科，于是人们把两者融合成一个综合指标——F1 分数。

微平均 F1（Micro F1）的计算思路，是把所有样本的所有标签位全部汇入一个大池子，先在这个大池子中统计所有类别的总 TP、总 FP 和总 FN，再合成一个整体的精确率和召回率，最后计算 F1。这就像把图书馆三个楼层的所有贴标工单倒在一起，统一清点“总共贴对多少、贴错多少、漏掉多少”，而不区分单个类别。

微平均 F1 适合评估“整体贴标命中率”这类目标。比如某电商平台 90% 的商品都属于“女装”大类，微平均 F1 会更多地反映女装标签的贴标质量，因为它按标签位计数，大类的标签位多、影响力自然大。如果你的业务恰好也以主流类别为主，微平均 F1 就很贴合“多数派”的利益。

\displaystyle P_{micro} = \frac{\sum_{j=1}^{L}TP_j}{\sum_{j=1}^{L}TP_j + \sum_{j=1}^{L}FP_j},\quad R_{micro} = \frac{\sum_{j=1}^{L}TP_j}{\sum_{j=1}^{L}TP_j + \sum_{j=1}^{L}FN_j}

\displaystyle F1_{micro} = \frac{2 \cdot P_{micro} \cdot R_{micro}}{P_{micro} + R_{micro}}

微平均 F1 先“合并所有类别，数出总数的 TP/FP/FN”，再计算整体精确率、召回率和 F1；它天然受样本量大的类别影响更强。

单类别的 TP/FP/FN对第 $ j $ 个标签，$ TP_j $ 是“真实为 1 且预测为 1”的数量（贴对了），$ FP_j $ 是“真实为 0 但预测为 1”（误贴了），$ FN_j $ 是“真实为 1 但预测为 0”（漏贴了）。
$\displaystyle TP_j = \sum_{i=1}^{N}[y_{ij}=1,\ \hat{y}_{ij}=1],\quad FP_j = \sum_{i=1}^{N}[y_{ij}=0,\ \hat{y}_{ij}=1],\quad FN_j = \sum_{i=1}^{N}[y_{ij}=1,\ \hat{y}_{ij}=0]$
微平均的聚合把所有类别的 TP 相加、FP 相加、FN 相加，得到“整个大池子”的三个总数，这就是“微”的含义——按每个标签位平等地计数。
$\displaystyle TP_{micro} = \sum_{j=1}^{L}TP_j,\quad FP_{micro} = \sum_{j=1}^{L}FP_j,\quad FN_{micro} = \sum_{j=1}^{L}FN_j$
精确率与召回率微平均精确率 $ P_{micro} $ 是“大池子里贴对的标签 / 贴出去的所有标签”，微平均召回率 $ R_{micro} $ 是“大池子里贴对的标签 / 应该贴的所有标签”。
$\displaystyle P_{micro} = \frac{TP_{micro}}{TP_{micro}+FP_{micro}},\quad R_{micro} = \frac{TP_{micro}}{TP_{micro}+FN_{micro}}$
F1 合成F1 是精确率和召回率的调和平均，它惩罚“偏科”：只有当两者都高时，F1 才会高。
$\displaystyle F1_{micro} = \frac{2 \cdot P_{micro} \cdot R_{micro}}{P_{micro} + R_{micro}}$

宏平均 F1

馆长看完微平均的报告后问：“每个类别的贴标质量分别怎么样？如果'动画'这类书很少，是不是它们的贴标质量就被'科幻'这种大类淹没了？”小李想了想，换了一种算法：先为每一个类别单独计算自己的 F1 分数，然后再把这 $ L $ 个 F1 分数做简单的算术平均。这个做法叫宏平均 F1（Macro F1）。它不再按标签位的数量加权，而是把每一个类别都当成一个独立的“书架”，每个书架在最后打分时拥有同等的话语权。

宏平均 F1 的数学表达很简洁：先得到每个类别的 F1，再对所有类别的 F1 取平均。由于每个类别权重相同，即使某个类别只有几本书，它的 F1 也会和拥有上万本书的大类别平起平坐地影响最终得分。这样一来，模型在小类别上的表现就会在总分数中“原形毕露”。

宏平均 F1 的优点是能暴露小类别的短板。在医疗影像多病征识别中，“气胸”这种罕见病征的样本本来就少，如果样本被茫茫的“正常”影像淹没，微平均 F1 可能依然很高，但宏平均 F1 会因为气胸这一类表现差而被拉低。它把“每个类别都要被认真对待”写进了分数里。缺点是它也可能被“样本极少、噪声极大”的类别过度干扰。所以在实际工作中，微平均和宏平均经常被同时报告，分别回答“整体好不好”和“每一类好不好”。

\displaystyle F1_{macro} = \frac{1}{L}\sum_{j=1}^{L}F1_j,\quad F1_j = \frac{2 \cdot TP_j}{2 \cdot TP_j + FP_j + FN_j}

宏平均 F1 是“每个类别的 F1 先算出来，再取平均”，类别之间地位平等，与每个类别的样本数量无关。

单类别 F1对第 $ j $ 个标签单独计算 F1，$ F1_j $ 只关心这一类里“贴对、误贴、漏贴”三种情况，公式中的 $ 2 \cdot TP_j $ 等价于 $ P_j \times R_j \times 2 $ 的调和平均展开形式。
$\displaystyle F1_j = \frac{2 \cdot TP_j}{2 \cdot TP_j + FP_j + FN_j}$
类别求和把所有类别的 $ F1_j $ 累加起来，每一个类别无论书多书少，在这里都只贡献一个分数。
$\displaystyle \sum_{j=1}^{L}F1_j$
取平均除以类别总数 $ L $，得到“每个类别的平均表现”。这就是“宏”的含义——按类别平等，而不是按样本平等。
$\displaystyle \frac{1}{L}\sum_{j=1}^{L}F1_j$

排序损失

有一天，馆长提出了新的要求：“能不能别只贴'是或否'的硬标签？我想知道每个标签的把握有多大。比如《三体》，你可以标'科幻 0.95、动画 0.80、悬疑 0.30'。”于是小李的模型从“输出 0/1 向量”变成了“输出每个标签的置信度分数”。这时，评估方式也变了：不再检查标签贴得对不对，而是检查排序——真正属于这本书的标签，它们的分数是否排在了不属于这本书的标签前面。

Ranking Loss（排序损失）衡量的正是这种“排序错位”的程度。具体来说，对每一本书，取出它真实拥有的正标签集合 $ Y^+ $ 和真实没有的负标签集合 $ Y^- $，逐一配对，检查“负标签的分数是否高于正标签”。如果某个负标签的分数不低于某个正标签，说明模型把不该排前面的标签排前面了，这就是一次排序错误。最后把排序错误的配对比例在样本间求平均。

Ranking Loss 特别适合那些“不直接做判定、而是给候选标签排序”的系统，比如视频推荐系统给每条视频打 20 个候选标签并按分数排序，再由运营挑选前 5 个。它关心的是“该在前面的是否在前面”，而不是具体分数值本身。只要正标签的分数普遍高于负标签，就算绝对值偏小，排序损失也很低。

\displaystyle RL = \frac{1}{N}\sum_{i=1}^{N}\frac{\left|\left\{(a,b) \in Y_i^{+} \times Y_i^{-} : f_{ia} \leq f_{ib}\right\}\right|}{|Y_i^{+}| \cdot |Y_i^{-}|}

公式的意思是：对每本书，数出“真实负标签的分数 ≥ 真实正标签分数”的错误配对数量，除以所有正负配对总数，再对所有书取平均。

正负标签集合$ Y_i^{+} $ 是第 $ i $ 本书真实拥有的标签集合（正类），$ Y_i^{-} $ 是它没有的标签集合（负类）。
$\displaystyle Y_i^{+} = \{j: y_{ij}=1\},\quad Y_i^{-} = \{j: y_{ij}=0\}$
笛卡尔积配对$ Y_i^{+} \times Y_i^{-} $ 把所有正标签和所有负标签两两配对，总共产生 $ |Y_i^{+}| \cdot |Y_i^{-}| $ 个配对。
$\displaystyle (a,b) \in Y_i^{+} \times Y_i^{-}$
排序错误的条件$ f_{ia} $ 是模型给正标签 $ a $ 打的分数，$ f_{ib} $ 是给负标签 $ b $ 打的分数。若 $ f_{ia} \leq f_{ib} $，说明负标签的分数不低于正标签，这个配对就算“排错了”。
$\displaystyle f_{ia} \leq f_{ib}$
归一化与平均用错误配对数除以总配对数，得到这本书的排序错误比例；再对所有书求平均，得到全局的 Ranking Loss，它越接近 0 说明排序越合理。
$\displaystyle \frac{1}{N}\sum_{i=1}^{N}\frac{\left|\{(a,b) \in Y_i^{+} \times Y_i^{-} : f_{ia} \leq f_{ib}\}\right|}{|Y_i^{+}| \cdot |Y_i^{-}|}$

指标选择策略

故事讲到这里，小李已经掌握了五把“尺子”：子集准确率、Hamming Loss、微平均 F1、宏平均 F1、Ranking Loss。馆长问他：“那到底该用哪一把？”小李恍然大悟：没有一把尺子能通吃所有场景，选指标的本质是让评估方式对齐业务目标。

如果业务是“图书入库的最终审核”，要求每个标签都精确无误，子集准确率就是主指标，因为它最严格，能倒逼模型提高上限；如果业务是“日常上架巡检”，只关心错贴率有没有异常，Hamming Loss 就是最直观的监控指标；如果业务以主流类别为主、希望整体命中率高，微平均 F1 更合适；如果业务强调“每个类别的服务都要到位”，尤其是那些小众类目，宏平均 F1 必不可少；如果业务最终需要按置信度排序来人工挑选标签，Ranking Loss 则是那把专门的尺子。实践中，往往需要多指标组合评估，就像一个综合评分公式：主指标负责定大局，辅助指标负责查死角。

小李最终把“组合评估”写进了图书馆的验收规范：每周汇总三个指标，既看整体水平，又看小类表现，最后结合业务场景做判断。评估指标不是用来“证明模型最好”的装饰品，而是帮助我们发现模型在哪儿“贴歪了”的镜子。多标签分类的评估，本质上就是选择合适的镜子组合，让模型的优点和缺点都无所遁形。

\displaystyle Score = \lambda_1 \cdot EMR + \lambda_2 \cdot (1 - HL) + \lambda_3 \cdot F1_{macro}

这个式子示意“组合评估”的思路：给不同指标分配权重 $ \lambda_1, \lambda_2, \lambda_3 $，把它们综合成一个总分，权重由业务优先级决定。

权重系数$ \lambda_1, \lambda_2, \lambda_3 $ 是三个非负的权重，和为 1，表示业务在不同指标上的侧重程度。
$\displaystyle \lambda_1 + \lambda_2 + \lambda_3 = 1$
方向统一EMR 和 $ 1 - HL $ 都是“越大越好”，这样组合后总分也是越大越好，避免方向混乱。
$\displaystyle 1 - HL \approx \text{整体正确率方向}$
加权求和每个指标乘以权重后加起来，得到一个综合评分，用于跨模型的横向对比。
$\displaystyle Score = \lambda_1 \cdot EMR + \lambda_2 \cdot (1 - HL) + \lambda_3 \cdot F1_{macro}$

AI 应用场景

电商商品自动打标

阶段：模型评估与上线监控

解决的问题：运营团队每天为 10 万件新上架商品人工打标签，速度慢且标准不一。自动化打标模型上线后，需要一套评估体系来判断“模型贴的标签到底靠不靠谱”，并持续监控线上表现。

具体案例：某电商平台的商品打标模型输出“风格”“材质”“款式”等多个维度的标签，运营团队使用 Hamming Loss 监控每日误标率（低于 0.05 视为正常），每周用宏平均 F1 检查小众风格（如“克莱因蓝”“法式”）的贴标质量，避免小类目被大流量类目淹没。季节上新时还会结合子集准确率做一次大考，确保核心商品的标签全对。

医学影像多病征识别

阶段：模型选型与临床验证

解决的问题：一张胸片可能同时存在“肺炎”“胸腔积液”“肺结节”等多个病征，医生需要在一次读片中不遗漏任何一项。AI 辅助诊断模型的多标签输出需要严格评估，尤其是对罕见病征的召回能力。

具体案例：某医疗 AI 团队在开发胸片多病征识别模型时，发现微平均 F1 很高但实际临床效果不佳。改用宏平均 F1 后才发现，占比极少的“气胸”类别的召回率只有 0.4。团队随后用宏平均 F1 作为主指标重新调优，并将 Ranking Loss 纳入评估，确保真正的病征在置信度排序中靠前，方便医生优先查看。

视频内容理解与推荐

阶段：模型对比与 A/B 测试

解决的问题：视频平台需要给每段视频打上多个标签（如“搞笑”“萌宠”“日常”），用于推荐系统的召回和用户兴趣画像。评估指标的选择直接影响推荐质量。

具体案例：某短视频平台在对比两个多标签模型时，模型 A 的 Hamming Loss 更低，模型 B 的子集准确率更高。分析发现模型 A 在大类标签上更稳，但模型 B 在小众标签的排序上更准。最终团队以“微平均 F1 + Ranking Loss”的组合作为选型标准，使得推荐池中的标签相关性显著提升。

Python 演示

python90 行

# -*- coding: utf-8 -*-"""多标签分类评估指标的手写实现与示例""" import numpy as np  def exact_match(y_true, y_pred):    """子集准确率: 整条样本所有标签全部一致才算对"""    return np.mean(np.all(y_true == y_pred, axis=1))  def hamming_loss(y_true, y_pred):    """误标标签比例: 预测与真实不同的标签数 / 总标签数"""    diff = np.sum(y_true != y_pred)    total = y_true.shape[0] * y_true.shape[1]    return diff / total  def f1_per_class(y_true, y_pred):    """逐类别计算 F1, 返回每个类别的 F1 列表"""    eps = 1e-9    rows, cols = y_true.shape    f1_list = []    for j in range(cols):        tp = np.sum((y_true[:, j] == 1) & (y_pred[:, j] == 1))        fp = np.sum((y_true[:, j] == 0) & (y_pred[:, j] == 1))        fn = np.sum((y_true[:, j] == 1) & (y_pred[:, j] == 0))        p = tp / (tp + fp + eps)        r = tp / (tp + fn + eps)        f1_list.append(2 * p * r / (p + r + eps))    return f1_list  def micro_f1(y_true, y_pred):    """微平均 F1: 所有标签汇成一个大池子统一计算"""    eps = 1e-9    tp = np.sum((y_true == 1) & (y_pred == 1))    fp = np.sum((y_true == 0) & (y_pred == 1))    fn = np.sum((y_true == 1) & (y_pred == 0))    p = tp / (tp + fp + eps)    r = tp / (tp + fn + eps)    return 2 * p * r / (p + r + eps)  def macro_f1(y_true, y_pred):    """宏平均 F1: 每个类别 F1 的简单平均"""    return np.mean(f1_per_class(y_true, y_pred))  def ranking_loss(y_true, y_score):    """排序损失: 负标签分数高于正标签的配对比例"""    rows, cols = y_true.shape    total_loss = 0.0    for i in range(rows):        pos = [j for j in range(cols) if y_true[i, j] == 1]        neg = [j for j in range(cols) if y_true[i, j] == 0]        wrong = 0        for a in pos:            for b in neg:                if y_score[i, a] <= y_score[i, b]:                    wrong += 1        total_loss += wrong / max(len(pos) * len(neg), 1)    return total_loss / rows  if __name__ == "__main__":    # 模拟 3 本书、4 个标签(科幻/悬疑/爱情/动画)的结果    y_true = np.array([        [1, 0, 0, 1],  # 三体: 科幻+动画        [0, 1, 1, 0],  # 解忧杂货店: 悬疑+爱情        [1, 1, 0, 1],  # 哈利波特: 科幻+悬疑+动画    ])    y_pred = np.array([        [1, 0, 1, 0],  # 预测: 科幻+爱情 (爱情误标, 动画漏标)        [0, 1, 1, 0],  # 预测: 完全正确        [1, 0, 0, 1],  # 预测: 科幻+动画 (悬疑漏标)    ])    y_score = np.array([        [0.9, 0.3, 0.7, 0.2],  # 爱情分数 0.7 > 动画分数 0.2, 排序错误        [0.1, 0.8, 0.9, 0.1],        [0.8, 0.4, 0.2, 0.7],    ])     print("真实标签:\n", y_true)    print("预测标签:\n", y_pred)    print("子集准确率:", round(exact_match(y_true, y_pred), 4))    print("Hamming Loss:", round(hamming_loss(y_true, y_pred), 4))    print("微平均 F1:", round(micro_f1(y_true, y_pred), 4))    print("宏平均 F1:", round(macro_f1(y_true, y_pred), 4))    print("Ranking Loss:", round(ranking_loss(y_true, y_score), 4))

目的：手写实现了五个多标签评估指标，并在 3 本书 × 4 个标签的示例数据上演示了它们的计算过程和结果差异。

np.all(y_true == y_pred, axis=1)逐样本比较“所有标签位是否完全相等”，返回每个样本的全对标记，再 np.mean 得到子集准确率。
np.sum(y_true != y_pred)统计所有预测与真实不一致的标签位个数，除以总标签位数即 Hamming Loss。
for j in range(cols)逐列（逐类别）统计 TP/FP/FN，用于计算每个类别的精确率、召回率和 F1。
(y_true[:, j] == 1) & (y_pred[:, j] == 1)第 j 类中“真实为 1 且预测为 1”的样本掩码，求和即 TP。
eps = 1e-9加上一个极小的正数，防止分母为 0 导致除零错误。
for a in pos: for b in neg:双重循环枚举“正标签 × 负标签”的配对，检查负标签分数是否不低于正标签。
print("宏平均 F1:", ...)输出各指标，对比发现微平均和宏平均因为类别权重不同而结果不同。

常见误区

误区“准确率不是万能的吗？多标签分类也先算一个总体准确率不就行了？模型在 1000 个标签里猜对了 950 个，准确率 95%，看起来挺好啊。”

正解多标签场景的“准确率”没有统一标准：是按样本算、还是按标签位算、还是按类别算？如果按“整本全对”算，那子集准确率才是它；如果按“标签位”算，那其实是 Hamming Loss 的补数。直接用模糊的“准确率”会导致指标口径混乱，无法和别人的模型公平对比。正确做法是明确说清“我算的是 EMR、HL 还是 F1”。

为何常见：单标签分类的 Accuracy 太深入人心，初学者容易默认“准确率 = 预测正确的样本比例”，却没意识到多标签的“正确”有多个粒度。

误区“Hamming Loss 只有 0.03，说明 97% 的标签都贴对了，模型应该很优秀。”

正解当标签非常稀疏时（比如每本书平均只有 1~2 个标签，而候选标签有 50 个），模型“全部预测 0”也能得到极低的 Hamming Loss，因为绝大多数标签位本来就是 0。这就像检查员把所有书架都报成“空”，自然很少出错，但书全被漏掉了。Hamming Loss 必须配合召回率或子集准确率一起看，才能防止“无为而治”的虚假繁荣。

为何常见：Hamming Loss 的数值天然受标签稀疏度影响，人们容易把“数值低”直接等同于“效果好”，忽略了它没有区分“误报”和“漏报”这两个方向的代价。

误区“F1 不就是 F1 吗？宏平均和微平均差别不大，随便用一个就行。”

正解在类别分布极度不平衡时，两者可能天差地别。微平均按标签位计数，大类标签多、主导分数；宏平均每个类别权重相等，小类表现差会明显拉低分数。选错视角会得出完全相反的模型结论——一个模型可能微平均 F1 高达 0.9，宏平均 F1 却只有 0.5。报告时必须同时说明用哪种平均，最好两个都报。

为何常见：单标签分类只有一个 F1，学习者习惯了“F1 只有一个值”的心智模型，容易忽略多标签中“加权的维度”带来的分裂。

误区“Ranking Loss 越低，模型在硬标签上的表现也一定越好。”

正解Ranking Loss 只关注“正负标签的相对顺序”，不关心分数绝对值和 0/1 判定。一个模型可能排序完美（Ranking Loss 很低），但在阈值选择上很差，导致硬标签输出错误的 0/1 结果。反过来，一个硬标签指标很好的模型，排序可能一塌糊涂。排序类指标和判定类指标回答的是不同的问题，不能互相替代。

为何常见：多标签评估指标太多，学习者容易图省事“用一个指标代表所有”,忽略了排序与判定的本质区别。

面试题

Q1. 多标签分类与单标签多分类的本质区别是什么？

单选题 · easy

A.多标签分类只能使用神经网络模型
B.多标签分类的样本数量一定更大
C.每个样本可同时属于多个类别← 正确答案
D.多分类没有标签，而多标签有标签

答案：C。多标签分类中，一个样本可以同时拥有多个标签，如一本书同时属于“科幻”和“动画”；而单标签多分类要求每个样本只能属于一个类别。选项 A、B、D 都与定义无关或相反。

Q2. 子集准确率（Exact Match Ratio）的核心判定标准是什么？

单选题 · easy

A.预测标签中有超过一半正确即可
B.预测向量与真实向量逐位完全相同← 正确答案
C.至少有一个预测标签与真实一致
D.所有预测标签均不属于该样本

答案：B。子集准确率要求整条样本的预测标签向量与真实标签向量在每一个标签位上完全一致，任何一个标签位不一致都算错。它就像馆长要求“每个标签都和标准答案一模一样”的严格检查。

Q3. 某个数据集有 100 个样本、每个样本 5 个标签，模型总共有 23 个标签位预测错误，Hamming Loss 是多少？

单选题 · mid

A.0.023
B.0.046← 正确答案
C.0.23
D.0.46

答案：B。Hamming Loss = 错误标签位数 / 总标签位数 = 23 / (100 × 5) = 23 / 500 = 0.046。选项 A 是除以 1000 的结果，C 是除以 100 的结果，D 是 23/50 的结果，均错误。

Q4. 下列哪些指标可以用于评估多标签分类模型？

多选题 · mid

A.子集准确率（Exact Match Ratio）← 正确答案
B.Hamming Loss← 正确答案
C.宏平均 F1← 正确答案
D.均方误差（MSE）

答案：ABC。子集准确率、Hamming Loss、宏平均 F1 都是多标签分类常用评估指标，它们分别从“全对率”“误标比例”“类别平均表现”三个角度衡量模型。均方误差是回归任务指标，不适用于多标签分类评估。

Q5. 关于微平均 F1 和宏平均 F1，下列说法正确的是？

单选题 · mid

A.两者计算方式完全相同
B.宏平均对所有类别的 F1 取平均← 正确答案
C.微平均对类别少的类更公平
D.宏平均按样本数量加权计算

答案：B。宏平均 F1 先逐类别计算 F1，再对所有类别的 F1 取算术平均，每个类别权重相等。微平均是按标签位合并后统一计算，受大类别影响更大。选项 A、C、D 的描述都不正确。

Q6. Hamming Loss 有哪些潜在缺陷？

多选题 · hard

A.标签稀疏时数值容易被“虚低”美化← 正确答案
B.不区分误标和漏标两种错误方向← 正确答案
C.默认所有标签位重要性相同← 正确答案
D.数值越低一定代表模型越好

答案：ABC。Hamming Loss 在标签非常稀疏时，模型全部预测 0 也能得到很低的值，容易虚低；它只统计“不一致”的数量，不区分是误标还是漏标；它按标签位平等计数，不体现业务对不同标签的重视程度。D 过于绝对，错误。

Q7. 五个指标中，哪一个对“整本书标签全对”要求最严格？

单选题 · easy

A.Hamming Loss
B.子集准确率← 正确答案
C.微平均 F1
D.Ranking Loss

答案：B。子集准确率要求预测向量与真实向量逐位完全相同，只要有一个标签位不一致，整条样本即判为错误，因此它是五个指标中最严格的。Hamming Loss 允许局部错误，F1 和 Ranking Loss 也都不要求“整本全对”。

Q8. 在类别分布极度不平衡的多标签任务中，想重点考察小众类别的贴标质量，应优先关注哪个指标？

单选题 · hard

A.Hamming Loss
B.微平均 F1
C.宏平均 F1← 正确答案
D.子集准确率

答案：C。宏平均 F1 对每个类别独立计算 F1 再取平均，小类别和大类别拥有相同的权重，因此小众类别的表现会在分数中清晰体现。微平均 F1 受大类别主导，Hamming Loss 和子集准确率都无法单独反映小类别质量。

Q9. 关于 Ranking Loss，下列说法正确的有？

多选题 · hard

A.它要求预测标签必须是 0 或 1
B.它关注正标签分数是否高于负标签分数← 正确答案
C.它适合模型输出置信度分数的场景← 正确答案
D.它计算时需要用到标签排序的“错误配对”数量← 正确答案

答案：BCD。Ranking Loss 针对模型输出的分数进行排序评估，不要求标签是 0/1 硬判定（A 错）。它检查正标签分数是否不低于负标签分数，统计“错误配对”比例，适合分数排序类场景。B、C、D 均正确。

Q10. 实际工作中评估多标签模型时，最合理的做法是什么？

单选题 · mid

A.只选一个指标，指标越少越清晰
B.组合多个指标，从不同角度观察模型← 正确答案
C.只关注 Hamming Loss,因为它数值最小
D.用单标签 Accuracy 替代所有指标

答案：B。多标签评估没有“万金油”指标，不同指标揭示模型的不同侧面：子集准确率看短板、Hamming Loss 看误标比例、宏微平均看类别视角、Ranking Loss 看排序质量。组合使用多个指标，结合业务目标综合判断，才是正确做法。