合成数据好不好用？质量评估全维度

可视化演示

动态演示合成数据好不好用？质量评估全的核心机制，通过概览/流程/对比/趋势四种模式展示关键概念与交互流程。

一、统计保真度：先量浓度再看成分比例

拿到一瓶仿制香水，你第一步会做什么？不是急着喷在手腕上，而是先看颜色、摇一摇观察浓稠度，再用密度计测酒精浓度。颜色太深说明色素超标，浓度太低说明香精不足。这一系列“整体观感”的检查，放到合成数据里就是统计保真度——检查合成数据的均值、方差等基础统计量是否和真实数据落在同一个量级。均值代表数据的大致“浓度”，方差代表数据散开的“稠稀程度”，两者都偏离太远，后续所有分析都是空中楼阁。

为什么先看统计量？因为机器学习的本质是拟合数据的统计规律。真实数据的均值是 35 岁，合成数据均值却是 42 岁，模型学到的“平均用户画像”从一开始就跑偏了；真实数据中年龄与收入强相关，合成数据里两者几乎无关，模型就学不到“资历越深收入越高”这条关键规律。统计保真度把数据集的“体质”先摸一遍，是最廉价、最快的一层过滤器。实践中通常比较三样东西：逐列的均值、逐列的标准差，以及字段之间的相关系数矩阵。均值与标准差像浓度计和黏度计，直接告诉我们单看每个字段是否对得上；相关系数矩阵则像香调的“成分配比表”，检查字段之间的默契程度是否被保留。常用公式是取真实与合成相关系数的绝对差：

浓度、颜色、成分配比初步过关，仿制香水才算拿到了第二轮鉴定的入场券。但统计保真度只看“整体观感”，它发现不了“前调太冲、后调消失”这种轮廓问题。下一层检查，就要把目光从几个数字移到整条分布曲线上。

二、分布相似度：别只看平均值，要看整体轮廓

香水的颜色和浓度都像原版，但你把它喷到试香纸上：前调冲鼻、中调寡淡、后调三分钟就散掉。普通测评师会摇摇头说“感觉不对”——感觉不对的背后，是香调的整个轮廓没对上。对应到合成数据，就是均值方差都对得上，但数据的“形状”不对：真实数据是两头尖的倒钟形，合成数据却像一马平川的平地；真实值集中在 0 附近，合成值却均匀地铺满整个区间。这就是分布相似度要解决的问题。

统计学把这种“形状”称为分布。分布相似度的核心思想是：把真实和合成数据的经验累积分布函数画在图上，看两条阶梯曲线贴合得有多紧。累积分布的好处是它不假设数据服从正态分布，长尾、偏斜、多峰都能客观刻画。最常用的度量是 KS 检验，它定义了两条累积分布曲线的最大垂直距离：

轮廓对上了，仿香水的“骨架”才像真品。但真实世界的香水不止有轮廓，还有品牌调性、层次感这种“只可意会”的高维气质。要捕捉这种气质，需要请一位鼻子极灵的专家出马——那就是下一节的 FID 指标。

三、生成质量指标：请专家闭眼闻味道

骨架像，不等于气质像。仿制香水能和原版一样浓、一样前调后调，但资深闻香师一闻就知道：这款香少了那股若有若无的木质尾韵。这种“说不上来但就是不对”的差异，很难用单字段分布去捕捉，因为它是多个成分交织出的整体氛围。合成数据评估也面临同样问题：几十个字段之间的关系千丝万缕，单独比较每一列根本看不全。

FID（Fréchet Inception Distance，弗雷歇初始距离）的解决办法是请一位“专家鼻子”——预训练神经网络。真实数据和合成数据都送进 Inception V3 等网络，取倒数第二层的特征向量，相当于让网络用自己学到的数千维“气味描述”分别给两组数据画像。然后假设两组的特征向量各自服从多元高斯分布，比较这两个高斯分布的距离：

专家鼻子给出了“气质评分”，但专家也有盲区：她可能没注意到香水里某个成分会让人皮肤过敏。对合成数据而言，过敏原就是“某个极端小众但重要的模式”。FID 看不到这种细节，于是我们还要做最实在的检测——把香水真的喷上身，看看实际表现。

四、下游任务效用：真正好用才算数

香水好不好，最终要看使用效果：约会对象是否多闻了一下，面试时对方是否印象深刻。合成数据也一样，静态指标再漂亮，最终要回答的问题是：拿它训练的模型，在真实场景里能不能打？这就引出了下游任务效用评估。

最经典的框架是 TSTR（Train on Synthetic, Test on Real，合成训练、真实测试）。做法很朴素：第一步，用真实数据训练一个模型再在真实数据上测试，得到基准分数（TRTR）；第二步，把训练数据换成合成数据，测试集仍然用真实数据，得到 TSTR 分数。两个分数的差距就是合成数据带来的“效用折损”。分类任务看准确率、F1 或 AUC，回归任务看 RMSE、MAE。一般要求 TSTR 与 TRTR 的差距不超过几个百分点，否则合成数据对业务没有实用价值。公式如下：

实喷效果是最有说服力的质检，但它有个致命问题：等下游模型训练完才发现不行，返工成本太高。而且效果测试不能暴露隐私问题——一瓶香水就算在晚宴上艳压群芳，只要是抄来的配方，依然会被品牌法务找上门。所以最后一关，是隐私保护程度评估。

五、隐私保护程度：仿品不能泄露原版配方

仿制香水的行业底线是不能照抄原版配方。就算浓度、香调、效果全和原版以假乱真，只要实验室分析发现它是从原版香精里逆向工程出来的，这瓶水就彻底出局。合成数据同样有一条红线：生成模型如果“背”下了训练数据中的个别样本，攻击者就能从合成数据里重建出真实用户的手机号、病历、交易记录。

隐私评估不像前三个维度那样有“越大越好”的直觉，它的思路是主动扮演攻击者去挑战数据。常用三件套：成员推断攻击——猜测某条真实记录是否参与过训练，成功率接近 50% 才算安全；最近邻距离——计算每条真实样本到合成样本的最小欧氏距离，距离中位数太小说明有记忆痕迹；差分隐私预算——生成过程本身是否满足 ε-差分隐私约束。成员推断攻击成功率是其中最直观的指标：

隐私和效用是跷跷板的两端：隐私保护过强，合成数据会变得“淡而无味”，下游任务效用暴跌；保护太弱，数据性能上天却随时可能引爆泄密事故。面对这种权衡，单凭一个指标做不了决定。我们需要一套规范的流程，把四个维度的分数汇总到一张报告卡上，让决策者像看体检报告一样一目了然。

六、评估流程标准：建一个标准鉴定实验室

正规香水实验室不会让同一位鉴定师又取样又盖章。标准流程是：样品编号 → 仪器检测 → 另一位专家复核 → 签发质检报告。合成数据评估也要这种“流程感”。很多团队的评估是“想到哪个指标算哪个”，今天跑个 FID，明天看个 KS，报告格式随人变，三个月后自己都看不懂当初的结论。

标准化评估流程包含三件事：一是固定评估环境和基准数据——用同一份留出的真实数据、同一个随机种子，保证各批次生成的数据可比；二是按固定管线计算所有维度指标，每个指标配一个业务阈值或参考区间；三是把结果汇总成结构化质量报告，记录数据版本、生成模型版本、指标分数和结论。汇总四维分数时常用加权综合评分：

把评估流程固化到生成流水线上，相当于给每个批次的仿制香水都附带一张带编号的质检卡。四维检测全过、报告完整的合成数据，才有资格进入模型训练的仓库；不合格的批次直接打回调香师重新调制。这就是“先验明正身，再投入使用”的完整闭环。

AI 应用场景

Python 演示

import numpy as npfrom scipy import statsfrom sklearn.ensemble import RandomForestClassifierfrom sklearn.metrics import accuracy_score  def statistical_fidelity(real, syn):    mean_diff = np.abs(real.mean(axis=0) - syn.mean(axis=0)).mean()    std_diff = np.abs(real.std(axis=0) - syn.std(axis=0)).mean()    corr_diff = np.abs(np.corrcoef(real.T) - np.corrcoef(syn.T)).mean()    return mean_diff, std_diff, corr_diff  def ks_stat(real, syn):    ks_list = []    for j in range(real.shape[1]):        d, _ = stats.ks_2samp(real[:, j], syn[:, j])        ks_list.append(d)    return np.mean(ks_list)  def tstr_accuracy(real_X, real_y, syn_X, syn_y):    clf = RandomForestClassifier(n_estimators=30, random_state=42)    clf.fit(syn_X, syn_y)    pred = clf.predict(real_X)    return accuracy_score(real_y, pred)  def nearest_neighbor_distance(real_X, syn_X):    min_dists = []    for x in real_X:        dist = np.linalg.norm(syn_X - x, axis=1)        min_dists.append(np.min(dist))    return np.median(min_dists)  if __name__ == "__main__":    rng = np.random.default_rng(0)    real_X = rng.multivariate_normal([0.0, 1.0], [[1.0, 0.5], [0.5, 1.2]], 500)    syn_X = rng.multivariate_normal([0.1, 0.9], [[0.9, 0.4], [0.4, 1.0]], 500)    real_y = (real_X[:, 0] + real_X[:, 1] > 1.5).astype(int)    syn_y = (syn_X[:, 0] + syn_X[:, 1] > 1.5).astype(int)     mean_diff, std_diff, corr_diff = statistical_fidelity(real_X, syn_X)    ks = ks_stat(real_X, syn_X)    tstr = tstr_accuracy(real_X, real_y, syn_X, syn_y)    priv = nearest_neighbor_distance(real_X, syn_X)     print("统计保真度: 均值差 = %.3f, 标准差差 = %.3f, 相关系数差 = %.3f" % (mean_diff, std_diff, corr_diff))    print("分布相似度: KS 统计量 = %.3f" % ks)    print("下游效用:   TSTR 准确率 = %.3f" % tstr)    print("隐私保护:   最近邻中位距离 = %.3f" % priv)

1. def statistical_fidelity(real, syn):定义统计保真度评估函数，返回均值、标准差、相关系数三个维度的平均差异。
2. corr_diff = np.abs(np.corrcoef(real.T) - np.corrcoef(syn.T)).mean()计算真实与合成相关系数矩阵的逐元素绝对差并取平均，衡量字段间“默契”的保持程度。
3. d, _ = stats.ks_2samp(real[:, j], syn[:, j])对每一列数据做双样本 KS 检验，返回两条经验分布曲线的最大垂直距离。
4. clf.fit(syn_X, syn_y)用合成数据训练分类器，这是 TSTR 框架中"S"（合成）训练的关键一步。
5. pred = clf.predict(real_X)在真实数据上测试模型，与真实数据训练的结果对比即得效用折损。
6. dist = np.linalg.norm(syn_X - x, axis=1)计算某条真实样本到所有合成样本的欧氏距离，用于隐私记忆检测。
7. return np.median(min_dists)取最小距离的中位数，距离越小说明合成数据越可能“记住”了真实样本。
8. rng.multivariate_normal(...)用二元高斯分布模拟真实与合成数据，方便快速跑通整个评估流程。

常见误区

面试题