多组学数据预处理：批次效应与归一化

可视化演示

模拟批次效应PCA校正前后分布、归一化前后基因表达分布对比与缺失值填补策略，展示多组学数据质控流程。

批次效应来源

厨艺大赛中，评委很快发现影响菜品味道的“非手艺因素”层出不穷：A 厨师用的番茄产地不同，B 厨师厨房的灶台火力大小不一，C 厨师上次买到的酱油批次口味偏咸。在组学数据里，这些“非生物因素”就是批次效应——它不是样本本身的生物学差异，而是实验操作过程中引入的系统性技术偏差。

多组学数据的采集往往跨越数月甚至数年，样本被分批处理。每一批实验可能使用不同的仪器校准参数、不同的试剂盒批次、不同的操作人员。这些因素叠加起来，会在基因表达量、蛋白丰度、代谢物浓度等测量值中留下显著的“批签名”。如果不去除这个签名，后续聚类分析可能把“来自同一批次”误判为“分子特征相似”，把“来自不同批次”的同类样本生硬拆开。

批次效应的严重性在跨中心合作研究中尤为突出。多个医院分别采集样本送检，检测平台、试剂版本、保存条件各不相同，数据的可比性面临巨大挑战。只有识别并记录批次信息——如同给每道菜贴上“厨房编号”标签——才能在后续分析中系统性地校正它。

---

质控评估指标

如何判断一场厨艺大赛的菜品是否需要“标准化处理”？评委们不会凭感觉行事，而是先观察：把所有菜品摆在一起，看哪些菜明显偏咸、哪些菜色泽异常。在组学数据分析中，这个“观察”环节就是质量控制——用可视化指标评估批次效应的严重程度。

最直观的工具是样本相关性热图。将所有样本两两计算表达谱的相关系数并绘制成热图，如果样本天然按实验批次聚成几个大方块，说明批次效应显著。另一个经典工具是主成分分析（PCA）图——把高维基因表达数据压缩到二维平面，如果同批次的样本自发聚团、不同批次彼此分离，就是批次效应存在的直接视觉证据。

技术重复样本的一致性也至关重要。同一个样本被检测两次，理论上表达谱应该几乎完全一致。如果技术重复的相关性低于 0.9，说明实验噪声过大，数据质量堪忧。质控评估不仅告诉我们“有没有问题”，还量化了“问题有多严重”——这决定了后续归一化和批次校正的策略选择。

---

归一化方法

确定菜品存在量纲差异后，第一步是“统一计量单位”。厨师们发现：A 厨房用“勺”加盐、B 厨房用“克”称盐、C 厨房凭“手感”撒盐——菜品之间根本无法比较。归一化就是将所有样本的测量值拉到同一个“度量衡”上，消除测序深度、上样量等技术因素带来的系统性差异。

最常见的归一化策略是 CPM（Counts Per Million），将每个基因的读数数除以该样本总读数数再乘以一百万。它相当于把每道菜的配料表统一换算成“每 100 克”的含量。TMM（Trimmed Mean of M-values）方法则更精细——它挑选表达量相对稳定的基因作为“参考基准”，像厨艺大赛中指定“以这道标准番茄炒蛋为口味基准”，计算每个样本相对基准的缩放因子。

Z-score 标准化则针对另一个问题：不同基因的表达量天然有不同量级，有的基因动辄上万读数、有的只有个位数。Z-score 将每个基因的表达值减去均值再除以标准差，使所有基因处于同一尺度，便于后续比较“哪个基因变化更剧烈”。归一化方法的选择取决于数据类型——RNA-seq 偏好 TMM、芯片数据偏好 RMA、代谢组学常采用 Pareto 缩放。

归一化之后，所有样本的“总用量”被拉平，但批次之间的“口味偏移”仍然存在——这就要进入下一步的批次校正。

---

批次校正手段

归一化解决了“统一度量衡”，但尚未消除“厨房手艺差异”。C 厨师做菜偏咸、D 厨师偏甜，即使用同样的计量单位做出来，味道仍然不同。批次校正的目标就是把这些“厨师个人偏好”从菜品味道中剥离出来，只留下菜谱本身的风味。

ComBat 是应用最广泛的批次校正方法之一，它基于经验贝叶斯框架——相当于请一位资深评委，根据多年品菜经验，推断每个厨房的“平均口味偏差”和“口味波动范围”，然后将每道菜减去自己厨房的偏差。ComBat 的优点是稳健：即使某些批次的样本量很小，也能借助全局信息准确估计批次效应。

另一种思路是均值中心化调整——计算每个批次各基因的表达均值，再减去该均值，使所有批次对齐到同一水平线。它像把每个厨房做的所有菜都“减掉这个厨房的平均咸度”。多因子线性模型则更进一步，同时纳入批次标签、性别、年龄等多个协变量，用回归的方式剥离批次项的影响。这种方法的优势是灵活——还能顺便校正其他已知的混杂因素。

批次校正完成后，不同批次的样本分布终于融合在一起，如同不同厨房做出来的菜，口味终于回归到“只体现菜谱手艺差异”的状态。此时，生物学家才能放心地说：样本间的差异是疾病导致的，不是实验导致的。

---

缺失值填补

厨艺大赛还有个现实问题：部分菜品在运输途中洒了、食材残缺、配料表缺失。有的菜少了关键的番茄用量记录，有的菜连“是否放了盐”都无从考证。在实际组学数据中，缺失值几乎不可避免——测序深度不足导致低表达基因未被检测到，质谱峰识别失败导致部分蛋白定量缺失。

删除缺失样本或基因是最简单的方法，但代价高昂——可能丢掉大量宝贵信息。更聪明的做法是“填补”：用合理估计值替代缺失值。KNN 填补法（K-Nearest Neighbors）寻找表达谱最相似的 K 个样本，用它们的平均值补入缺失位——像资深评委根据其他厨师的做法，推测这道菜“大概放了多少盐”。

中位数填补法则更保守：用该基因在所有样本中的中位表达量填入缺失值，操作简单、对异常值稳健，适合缺失比例较低的数据。对于代谢组学和蛋白组学，最小值比例替代法是常用策略——用该基因检测到的最小值的二分之一填入，因为它假设“未检测到”并不意味着“不存在”，而是含量低到低于检测限。这种方法保留了“低表达”的生物学含义，优于简单的 0 填充。

填补之后还需注意：缺失比例过高的基因（如超过 20% 样本缺失）应直接过滤，因为即使填补，其可靠性也存疑。如同菜谱若缺了最关键的三步，任何猜测都无法还原真正的口味——数据质量本身是第一位的。

---

分析验证流程

厨艺大赛的最后，评委要做一件关键的事：复核自己的打分是否真的反映厨艺。他们会把同一厨师的菜反复品尝、把不同厨师的菜交叉比对，确保自己的判断不是偶然。多组学数据预处理同样需要验证——校正后的数据必须经得起“考察”。

第一个验证指标是下游分析的可复现性。用同一套预处理流程处理相同的数据两次，如果得到的差异基因列表高度一致，说明流程稳定。第二个指标是批次标签混淆检验——重新在预处理后的数据上做 PCA 聚类，如果样本不再按批次聚团，说明批次效应确实被消除了；如果批次信号依旧明显，说明校正强度不够。但反过来，如果批次被完全抹平的同时，真实的生物学差异也被抹掉了，那就过犹不及。

因此，第三个关键验证是生物学差异保留程度：校正后，疾病组和对照组之间的差异基因数量应当与校正前相当（甚至更有意义），而不是显著减少。以厨艺大赛类比——标准化流程后，评委希望看到的是“不同的手艺仍有高下之分”，而不是所有菜都变成同一个味道。数据预处理的终极目标不是把差异消光，而是让差异回归真实。

---

AI 应用场景

Python 演示

import numpy as npimport pandas as pdfrom scipy import stats  def cpm_normalize(counts: pd.DataFrame) -> pd.DataFrame:    """CPM normalization: total reads per sample scaled to 1e6."""    total = counts.sum(axis=0)    return counts.div(total, axis=1) * 1e6  def combat_like_correct(expr: pd.DataFrame, batch: pd.Series) -> pd.DataFrame:    """ComBat-style mean-centering per batch (simplified)."""    corrected = expr.copy()    for b in batch.unique():        idx = batch[batch == b].index        batch_mean = expr.loc[:, idx].mean(axis=1)        corrected.loc[:, idx] = expr.loc[:, idx].sub(batch_mean, axis=0)    grand_mean = expr.mean(axis=1)    corrected = corrected.add(grand_mean, axis=0)    return corrected  def knn_impute(expr: pd.DataFrame, k: int = 5) -> pd.DataFrame:    """Fill missing values with mean of k nearest samples."""    expr = expr.copy()    valid = expr.dropna(axis=1)    mat = valid.values.T    imputed = expr.values.copy()    for i in range(expr.shape[0]):        for j in range(expr.shape[1]):            if np.isnan(imputed[i, j]):                corr = np.corrcoef(mat, expr.iloc[:, j].values[~np.isnan(expr.iloc[:, j])].reshape(1, -1)) if False else None                dists = np.nanmean((valid.values - expr.iloc[:, j].values) ** 2, axis=0)                neigh = np.argsort(dists)[:k]                imputed[i, j] = np.nanmean(expr.iloc[neigh, j])    return pd.DataFrame(imputed, index=expr.index, columns=expr.columns)  def evaluate_batch_effect(pca1: np.ndarray, batch: pd.Series) -> float:    """ANOVA F-statistic to test batch separation in PC1."""    groups = [pca1[batch == b] for b in batch.unique()]    f, p = stats.f_oneway(*groups)    return f  def main():    np.random.seed(42)    genes = [f"GENE_{i}" for i in range(2000)]    samples_a = [f"A_{i}" for i in range(30)]    samples_b = [f"B_{i}" for i in range(30)]    expr = pd.DataFrame(        np.random.poisson(lam=50, size=(2000, 60)),        index=genes,        columns=samples_a + samples_b,    ).astype(float)    expr.iloc[:100, 30:] += 30    batch = pd.Series(["A"] * 30 + ["B"] * 30, index=expr.columns)    normed = cpm_normalize(expr)    corrected = combat_like_correct(np.log1p(normed), batch)    f_before = evaluate_batch_effect(np.log1p(normed).T.values[:, 0], batch)    f_after = evaluate_batch_effect(corrected.T.values[:, 0], batch)    print(f"Batch F-stat before: {f_before:.4f}")    print(f"Batch F-stat after:  {f_after:.4f}")    print("Imputation demo:", knn_impute(normed.iloc[:20, :10]).shape)  if __name__ == "__main__":    main()

1. counts.sum(axis=0)计算每个样本的总读数，作为 CPM 归一化的分母基础。
2. counts.div(total, axis=1) * 1e6每个基因读数除以样本总读数后乘以百万，得到每百万读数中的占比。
3. batch.unique()获取所有批次标签，对每个批次分别做均值中心化校正。
4. expr.loc[:, idx].sub(batch_mean, axis=0)对每个批次内所有样本减去该批次基因均值，消除批签名。
5. corrected.add(grand_mean, axis=0)加回全局基因均值，保留整体表达水平，避免校正过度。
6. stats.f_oneway(*groups)用单因素方差分析检验不同批次在 PC1 上的分离程度，F 值越大说明批次效应越强。
7. np.argsort(dists)[:k]找出与缺失样本最相似的 K 个邻居样本，用于 KNN 填补。

常见误区

面试题