FID 和 IS 怎么看？合成图像评估指标

可视化演示

展示合成数据如何用于语义分割任务训练，揭示合成图像与掩码生成流程及性能提升效果。

评估指标定位

校长最想知道的是：AI 合唱班整体唱得像不像人类班，而不是某位同学单音准不准。评估合成图像也一样——我们关心的不是“这张图看着清不清晰”，而是“这一整批 AI 生成的图，在统计面貌上和真实照片差多少”。如果只用像素级差异做比对，就像让评委趴在照片上数噪点：两幅构图、光线、内容完全不同的图，像素值天然南辕北辙，根本说明不了问题。

真正的生成任务里，真实图像并不是孤立的样本，而是服从一个看不见的“数据分布”——可以理解为人类班的整体演唱风格分布。生成器的目标就是拟合这个分布。所以所有靠谱的评估指标，本质上都在做一件事：测量两个分布之间的距离。距离越小，说明 AI 班与人类班的整体水平越接近。

怎样测量两个分布的差距？一个经典的数学工具是 KL 散度，它像一个“逐段核对”的尺子：在特征空间每个位置上看看真实分布的浓度比生成分布浓多少、淡多少，再加权汇总成一个数值。

真实图像在特征空间中的分布密度函数，相当于人类班同学在各科分数上的“人员密度”。

AI 生成图像的分布密度函数，即 AI 班同学的分数密度。

在同一个位置 x 上，两班人数浓度的比值取对数。浓度差越大，这一项越偏离 0，惩罚越大。

把每个位置的差异按真实分布的权重全部累加起来，得到一个总的“分布差距”数字。

KL 散度给了我们“分布距离”的直觉，但它不对称、也难在图像上直接算。于是后续的 IS 和 FID 都沿用了这个思路，只是换成了更实用的统计量。它就像给几位评委定下的总章程：别只看个别同学，要比就比整个班的整体面貌。

IS计算原理

评委甲是个急性子，他懒得看人类班，直接站在 AI 班门口闭眼听。他给分只看两条：第一，每个同学唱得响亮不响亮——对应到图像上，就是这张图喂给 Inception v3 分类器后，是否被斩钉截铁地识别成某个类别（比如“这是一只狗”的概率高达 0.95）；第二，全班唱的歌够不够五花八门——对应到整体上，就是所有生成图像的类别分布是否百花齐放，而不是清一色只会唱同一首歌。这两条合起来，就是 IS 的思想：单张要自信，整体要多样。

这里的关键是把“响亮”和“多样”翻译成数学语言。“响亮”就是单张图像的类别概率分布 $p(y|x)$ 非常尖锐；“多样”就是所有图像平均出来的边缘分布 $p(y)$ 比较平坦。两者之间的距离越大，IS 越高。这个距离用一个叫 KL 散度的工具来度量，最后取指数把数值拉回易读的尺度。

把一张生成图 x 输入 Inception v3，输出的是它属于各类别的概率，即“这张图唱的是什么歌、底气足不足”。

把 N 张生成图的类别概率取平均，得到全班唱的歌的风格账单，越均匀说明越多样。

对比“单张图的判断”和“全班的平均风格”之间的差异：既包含单张的置信度，也包含这张图与整体风格的差异程度。

对所有生成图求平均，再取指数映射回正数区间，方便直观比较。

IS 的优点是不需要真实数据、算得快；缺点是“闭门自评”看不出 AI 班是不是在自创跑调歌曲。这就像评委甲只听了 AI 班内部就大声叫好，却不知道他们根本没在和人类班同一本曲库上比较。

FID计算原理

评委乙不苟言笑，他拿来两份成绩单：真实照片的特征成绩单和生成图像的特征成绩单。每张图经过 Inception v3 的特定隐层，被压缩成几百维的特征向量——相当于把一个人的演唱风格拆成“音准、节奏、气息、音色”等各项分数。整批图的特征向量聚在一起，就构成了一个特征集合。FID 的做法是：假设每个集合都近似地像一颗“椭圆”（统计学上叫多元高斯分布），然后用椭圆的位置和形状来衡量两颗椭圆有多不像。

具体地，每颗椭圆由两个量决定：均值向量 μ（椭圆中心，即全班平均风格）和协方差矩阵 Σ（椭圆的胖瘦与倾斜，即班内个体风格的波动方式）。FID 把两班之间的“中心距离”和“形状差异”合成一个数字。

把 N 张图经 Inception 提取的特征向量 $\phi(x_i)$ 求平均，得到“全班平均演唱风格”。

刻画特征围绕均值波动的方向与幅度，即班内风格的“胖瘦形状”。

两班平均风格的欧氏距离，中心离得越远，这一项越大。

两班“形状差异”的度量，其中矩阵平方根负责把两个波动形状拉到同一把尺子上比较。

把矩阵对角线元素相加，把矩阵层面的差异压成一个标量分数。

FID 很像“两班成绩分布相似度排行榜”：AI 班和人类班的平均分越接近、分数内部波动形状越接近，排名就越靠前。但它也有脾气——如果两班特征并非真正的高斯分布，这颗“椭圆”就是近似，距离读数也就打了折扣。

两指标对比

两个评委经常吵架：评委甲说 AI 班闭门唱得又响又多样，素质很高；评委乙说跟人类班一比还差得远。其实他们测的根本不是一回事。甲关心“班内表现”，乙关心“与真班的差距”。你可以想象一个 AI 班学会了一首人类班根本不存在的“自创神曲”，全班唱得震天响，IS 给了高分；可评委乙一看成绩单，发现这歌压根不在人类班曲库里，FID 照样很差。

从数学上讲，IS 高并不能推出 FID 低，两者是非蕴含关系：

生成图像的类别置信度与类别多样性提升，代表“班内表现”变好。

“不能推导出”——逻辑上 IS 的改善不携带关于真实分布对齐程度的任何信息。

生成分布与真实分布的统计距离缩小。它的变化只取决于和真实分布的关系。

既然两者不可互相替代，实践中就要配合使用：需要快速监控生成器有没有“唱新歌”（模式塌缩检测）时看 IS；需要判断合成数据能不能以假乱真时看 FID。此外要记住，FID 对样本量敏感，样本少时读数会偏低甚至抖动，而 IS 也随类别数和分类器能力而变。最稳妥的做法是像学术论文那样同时报告两者，并固定统一的样本量与预处理流程。

KID无偏估计

评委乙还有一个毛病：如果考场人数太少，他打的分数会有系统性偏差。FID 的估计在小样本时并非无偏——真实图和生成图各只有几百张时，距离读数往往被低估。评委丙看不下去了，他发明了一种更公平的机制：两两互评。把两个班的所有同学两两配对，逐一比较“举手投足”的相似度，再汇总成总分。这就是 KID（Kernel Inception Distance）。

KID 用核函数来给“相似度”打分，最常用的是三次多项式核。它分别计算：真实班内部两人相似度的平均、真实班与 AI 班交叉配对相似度的平均、AI 班内部相似度的平均，最后把这三项拼成一个距离。

一个“相似度打分器”：把两个特征向量映射到更高维空间后计算内积，向量越像分数越高。

真实班内部随机抽两人互评的平均分，代表真实数据的“自相似基线”。

真实班与 AI 班各抽一人互评的平均分，两班越不像，这一项扣得越多。

AI 班内部互评的平均分，防止 AI 班内部过于单一而显得“太像”。

理解 KID 的诀窍是看“三项抵消”：如果 AI 班和真实班毫无差别，真实内部、交叉、生成内部三项相等，KID 趋近 0；如果 AI 班自成一派，交叉项偏小，KID 就会明显大于 0。因为无偏，评委丙在小考场（小样本）上的打分仍然可靠，这点让他在数据量宝贵的场景里特别受欢迎。

Precision/Recall

总分相同不意味着没有偏科。两个班的平均分完全一样，但 AI 班可能只擅长唱抒情歌，人类班的摇滚经典一首都没翻唱。FID 和 KID 都像“总分对比”，会把这种偏科藏在一个数字里。于是评委丁上场，他带来两把尺子：Precision（精确率） 和 Recall（召回率）。

Precision 回答的问题是：AI 班唱的歌，有多少落在人类班的曲库范围内？如果 AI 班自创了大量“跑调新歌”（生成分布拓展到了真实流形之外的区域），Precision 就会下降。Recall 回答的问题是：人类班的经典曲目，AI 班翻唱了多少？如果 AI 班只会唱其中一小部分，漏掉了大片真实流形，Recall 就会下降。前者查“有没有胡编”，后者查“有没有漏唱”。

AI 班同学演唱风格的特征点集合，即生成图像的 Inception 特征集合。

以真实特征点为中心的“可接受翻唱范围”，即真实流形周边的邻域球。落入其中才算“没跑调”。

AI 班的特征点落在真实流形邻域内的比例。比例越低，自创跑调越多。

真实班的特征点能被 AI 班邻域覆盖的比例。比例越低，漏唱的经典曲目越多。

PR 这对指标最擅长诊断“病根”：模式塌缩会让 Recall 掉得厉害——AI 班把真实班的曲库漏掉了一大半；而“记忆训练集”式的过拟合会让 Precision 虚高——AI 班只会原样复述唱过的歌，从不敢即兴发挥。把 PR 和 FID 一起看，就能区分“总分离但偏科”的各种具体情况。

使用规范陷阱

评委们方法都很好，但校长发现，如果考试流程乱套，再公正的评委也会给出误导性分数。合成图像评估最大的坑不在数学，而在使用规范。首先就是样本量：让十几个人就代表全班整体水平，任何评委都会看走眼。经验法则是 FID 至少用上万张真实图、数千张生成图。

计算 FID 时真实图像建议至少 1 万张，否则协方差矩阵的估计误差会明显扭曲距离。

计算 IS 时生成图像建议至少 5 千张，否则整体类别分布太稀疏，多样性测不实。

除了样本量，还有三个高频雷区。第一是数据泄漏：如果拿训练集里的真实图当 FID 参考分布，生成器可能“背过”这些图，距离虚低，评估失去意义。第二是感知对齐：指标算的是统计距离，不代表人眼观感，一张整体色调偏绿但结构严谨的图可能 FID 很低，看起来却很怪，必须配合人类审核。第三是复现一致性：不同开源实现的特征层截取、图像缩放、Inception 版本都可能不同，数值不能直接跨实现比较。合唱比赛要想公平，就得把章程写清楚：多少考生、什么曲库、哪个评委版本，全部公开可复现。

AI 应用场景

Python 演示

import numpy as np  def inception_score(class_probs):    """class_probs: (N, C) 每行是一张图的类别概率分布"""    p_y = class_probs.mean(axis=0, keepdims=True)    kls = (class_probs * (np.log(class_probs + 1e-12) - np.log(p_y + 1e-12))).sum(axis=1)    return float(np.exp(kls.mean()))  def frechet_distance(mu1, sigma1, mu2, sigma2):    from scipy.linalg import sqrtm    diff = np.asarray(mu1) - np.asarray(mu2)    cov_mean = sqrtm(np.asarray(sigma1) @ np.asarray(sigma2))    if np.iscomplexobj(cov_mean):        cov_mean = cov_mean.real    return float(diff @ diff + np.trace(sigma1 + sigma2 - 2 * cov_mean))  def main():    rng = np.random.default_rng(42)    # 模拟 A：高置信且类别多样    probs_good = np.zeros((1000, 10))    labels = rng.integers(0, 10, size=1000)    probs_good[np.arange(1000), labels] = 0.95    probs_good += rng.uniform(0, 0.005, size=probs_good.shape)    probs_good /= probs_good.sum(axis=1, keepdims=True)    # 模拟 B：每张图都含糊不清    probs_bad = np.full((1000, 10), 0.1)    print("高置信高多样 IS =", round(inception_score(probs_good), 2))    print("低置信均匀 IS =", round(inception_score(probs_bad), 2))     mu_real = np.array([0.5, 0.6])    sigma_real = np.diag([0.5, 0.8])    # 模式塌缩：均值一样但几乎无波动    mu_mc = np.array([0.5, 0.6])    sigma_mc = np.diag([0.02, 0.02])    # 分布偏移：中心大幅偏离    mu_far = np.array([-3.0, 2.0])    sigma_far = sigma_real    print("模式塌缩 FID =", round(frechet_distance(mu_real, sigma_real, mu_mc, sigma_mc), 2))    print("分布偏移 FID =", round(frechet_distance(mu_real, sigma_real, mu_far, sigma_far), 2))  if __name__ == "__main__":    main()

1. p_y = class_probs.mean(axis=0, keepdims=True)求所有图像的类别平均分布，即“全班风格账单”。
2. (class_probs * (np.log(class_probs + 1e-12) - np.log(p_y + 1e-12))).sum(axis=1)逐张图计算 KL 散度，再累加得到该图的“自信且独特”程度。
3. cov_mean = sqrtm(np.asarray(sigma1) @ np.asarray(sigma2))计算 FID 公式中的矩阵平方根项，连接两个协方差形状。
4. return float(diff @ diff + np.trace(sigma1 + sigma2 - 2 * cov_mean))把中心距离和形状差异合并为最终 FID 标量。
5. probs_good[np.arange(1000), labels] = 0.95把每张图的主类别概率设到 0.95，模拟“唱得响亮”。
6. sigma_mc = np.diag([0.02, 0.02])用极小的协方差模拟模式塌缩：所有生成特征挤成一团，FID 立刻拉高。

常见误区

面试题