表格合成数据好不好？评估指标全盘点

可视化演示

展示合成表格数据质量评估三维度：列分布相似度KS检验、TSTR机器学习效用评估与多指标综合评分体系。

一、为何要评估

一家老字号饭店有一座祖传菜谱库，徒弟照着学做仿制菜。客人点单之前，主厨必须先请品鉴团把关：这盘仿制菜端出去会不会砸招牌？如果只看一眼就上桌，轻则口味不对，重则惹出食品安全问题。表格合成数据也是一样——生成器输出的新表格看起来整整齐齐，但喂给下游模型前，必须回答三个问题：它像不像真实数据？它能不能承担实际任务？它有没有泄露原始记录？

这三个问题对应三大质量维度：保真度、机器学习效用和隐私保护。保真度考察单列分布和列间结构是否接近；机器学习效用考察“在合成数据上训练出的模型，拿到真实数据上是否还能打”；隐私保护则考察攻击者能不能从合成数据中反推出真实样本。一套完整的评估框架，就是围绕这三个维度组合出若干可计算的指标。

从统计视角看，评估的核心目标可以用一句话概括：让合成数据的生成分布尽可能逼近真实数据的分布。设真实数据表为 \( T \)，合成数据表为 \( S \)，我们希望对于任意一列特征 \( X \)：

定完标准，品鉴团就要按工序入场了。第一道工序，是看每一道菜的单独卖相。

二、列分布相似度

品鉴团第一位评委只负责“单道菜的色香味”。他端详红烧肉是不是那个色泽，糖醋鱼是不是那个酸甜口。他不关心鱼和肉之间的搭配，只看每一道菜本身过不过关。表格数据也一样，最先检查的是每一列的取值分布是否接近真实表。

这一环节在专业术语里叫“列分布相似度”。一张表通常有几十列：年龄、收入、城市、会员等级……每一列都有自己的取值规律。合成器如果连单列分布都学不像，后面的结构分析就无从谈起。

衡量单列分布最经典的工具是 KS 检验（Kolmogorov-Smirnov 检验）。它的思路很直观：把真实列和合成列各自的经验累积分布画出来，找这两条曲线在哪个位置差得最远。具体公式为：

单道菜卖相过关只是入场券。接下来，第二位评委要动筷子了。

三、列间相关性

第二位评委开始尝搭配：红烧肉配米饭是绝配，糖醋鱼配红酒就串味。单道菜再完美，整桌菜搭配乱了也是失败。表格数据的“搭配”就是列间相关性——年龄和收入是否协同变化，城市和消费水平是否互相影响。这些关联模式决定了一张表在数据分析中的“骨架”。

如果合成器把单列学得很好，却把列与列之间的相关性打散了，那相当于每道菜单独吃不错，但整桌菜东拼西凑。下游模型学习的是特征之间的联合关系，相关性一旦失真，模型照样学歪。

衡量列间相关性的常规做法是：先计算真实表的相关系数矩阵 \( \mathbf{C}_T \)，再计算合成表的相关系数矩阵 \( \mathbf{C}_S \)，最后用 F 范数量化两个矩阵的整体差异：

搭配协调了，仿制菜算是在“神”上继承了几分。但评委说了不算，顾客说了才算。

四、TSTR效用

前两位评委是内行，但真正的考验是把仿制菜端上当天餐桌，让不知情的客人试吃。客人不会分析色泽和搭配理论，他们只关心好不好吃、愿不愿买单。合成数据也一样：数据集的最终价值体现在它能训练出好模型。

这就是 TSTR（Train on Synthetic, Test on Real）的核心思想：只在合成数据上训练模型，然后拿到真实数据上做测试。如果模型在合成数据上学到的规律能迁移到真实场景，说明合成数据的“可用性”过关；如果表现崩盘，说明合成数据只是“看起来像”，本质上没用。

实际评估时会先做一个 TTR（Train on Real, Test on Real）作为性能上限，再用 TSTR 与它比较：

客人试吃通过后，评委还没收工。他们拿出放大镜，准备看细节。

五、距离比指标

评委的第四道工序是拿显微镜对比真菜和仿制菜：肉丝粗细、汤汁浓稠度、配菜切法。肉眼察觉不到的差异，在显微镜下无处遁形。表格数据的“显微镜”就是距离比指标——把每个样本看成特征空间里的一个点，量一量合成点和真实点之间的距离。

最基础的距离指标叫 DCR（Distance to Closest Record），即合成样本到最近真实样本的平均距离。如果这个距离特别小，说明合成样本几乎是真实样本的“复刻版”；如果特别大，说明合成样本飘在真实分布之外，像一道完全跑偏的菜。更精细的指标是 NNDR（Nearest Neighbor Distance Ratio），它比较合成点到最近真实点与第二近真实点的距离：

细节看完，最后一道工序最敏感——查秘方。

六、隐私泄露评估

最关键的评审环节，是确认仿制菜不会泄露祖传秘方。如果客人吃一口就能说出“这跟我上周在贵宾厅吃的某位名人的定制菜一模一样”，那饭店的信任就崩塌了。合成数据同样面临这个问题：攻击者拿到一张合成表，能不能判断出某个真实样本是否被用于训练？

这种攻击叫成员推断攻击。攻击者把合成样本和候选真实样本做最近邻匹配：如果某个合成样本离某个真实样本特别近，几乎就是原样复制，那基本可以断定这个真实样本是训练集成员。隐私泄露的量化指标是攻击优势：

秘方安全审核通过后，品鉴团开始合议打分。

七、综合评分方案

五道工序各有各的打分表，主厨最后要把卖相、搭配、试吃、显微、秘方五个分数合成一个总分。这不能简单相加——有的指标是越小越好，有的是越接近 1 越好，直接平均等于把“辣度、甜度、咸度”加在一起，毫无意义。必须先归一化，再按餐厅定位加权。

综合评分的第一步是把每个指标统一成“越大越好”的 0 到 100 分。比如 KS 距离越小得分越高，TSTR 比值越接近 1 得分越高，攻击优势越小得分越高。第二步是按业务场景分配权重：

合议结束，品鉴团给出结论：这版仿制菜可以上菜单，但要标注“复刻版”，并定期复检各项指标。你的合成数据，也应当这样被严谨对待。

AI 应用场景

Python 演示

import numpy as npfrom sklearn.datasets import make_classificationfrom sklearn.linear_model import LogisticRegressionfrom sklearn.model_selection import train_test_splitfrom sklearn.metrics import roc_auc_scorefrom sklearn.preprocessing import StandardScalerfrom scipy import stats  def make_synthetic(X, noise=0.08):    # 用有放回抽样加高斯噪声模拟合成数据生成器    n = len(X)    idx = np.random.choice(n, n, replace=True)    S = X[idx] + np.random.normal(0, noise, X.shape)    return S  def ks_score(real, synth):    # 逐列计算KS统计量, 返回平均值    total = 0.0    for col in range(real.shape[1]):        stat, _ = stats.ks_2samp(real[:, col], synth[:, col])        total += stat    return total / real.shape[1]  def corr_diff(real, synth):    # 计算真实表与合成表相关矩阵的F范数差异    cr = np.corrcoef(real.T)    cs = np.corrcoef(synth.T)    return np.linalg.norm(cr - cs, ord="fro")  def tstr_ratio(real, synth, y):    # 先计算TTR基线, 再计算TSTR比值    Xtr, Xte, ytr, yte = train_test_split(real, y, test_size=0.3, random_state=42)    m1 = LogisticRegression(max_iter=500)    m1.fit(Xtr, ytr)    auc_ttr = roc_auc_score(yte, m1.predict_proba(Xte)[:, 1])     labels, counts = np.unique(y, return_counts=True)    weights = counts / counts.sum()    synth_y = np.random.choice(labels, size=len(synth), p=weights)    m2 = LogisticRegression(max_iter=500)    m2.fit(synth, synth_y)    auc_tstr = roc_auc_score(yte, m2.predict_proba(Xte)[:, 1])    return auc_tstr / auc_ttr  def main():    X, y = make_classification(n_samples=800, n_features=6, n_classes=2, random_state=0)    X = StandardScaler().fit_transform(X)    S = make_synthetic(X, noise=0.08)    print("KS平均值:", round(ks_score(X, S), 4))    print("相关矩阵差:", round(corr_diff(X, S), 4))    print("TSTR/TTR:", round(tstr_ratio(X, S, y), 4))  if __name__ == "__main__":    main()

1. S = X[idx] + np.random.normal(0, noise, X.shape)有放回抽样解决样本量问题，叠加高斯噪声模拟生成器的“发挥偏移”。
2. stats.ks_2samp(real[:, col], synth[:, col])scipy 提供的双样本 KS 检验，返回两列分布的最大差距。
3. total += stat把每一列的 KS 统计量累加，最后取平均，得到整体单列分布偏差。
4. np.corrcoef(real.T)一行算出真实数据所有列两两之间的相关系数矩阵。
5. np.linalg.norm(cr - cs, ord="fro")用 F 范数衡量两个相关矩阵的整体差异，数值越小说明列间搭配保留得越好。
6. m1.fit(Xtr, ytr)在真实数据上训练逻辑回归，作为“原版菜试吃满意率”的基准。
7. np.random.choice(labels, size=len(synth), p=weights)按真实标签比例给合成样本分配标签，保持类别分布一致。
8. m2.fit(synth, synth_y)在合成数据上训练同一个模型，评估它的迁移能力。
9. auc_tstr / auc_ttr两个 AUC 相除，得到 TSTR 效用比值，越接近 1 越好。
10. if __name__ == "__main__":标准入口，保证脚本可以直接运行或作为模块导入。

常见误区

面试题