标注数据会传染？—— 解读“标注传播”方法

可视化演示

展示标注传播如何将已有标签沿图结构扩散到未标注节点，以及置信度随传播距离衰减的机制。

问题设定：只有少数人知道答案

班里 35 个人，只有小 A、小 B、小 C 知道数学答案。其他同学围在一起干着急：问学霸？学霸不借。抄课本？课本上没有。这时候班主任说了一句：“你们之间不是有同学关系吗？谁跟谁熟，谁坐得近，自己去打听。”——你看，这就是一个典型的弱监督场景：可用的标注（答案）极少，未标注的数据（不知道答案的人）极多。标注传播要解决的，恰恰是“答案不够分”的问题：不靠老师逐人面批，而是让答案沿着人际关系网自己“流”出去。

在机器学习里，这个场景被写成一个形式化的任务：我们有一批带标签样本 $\mathcal{D}_l$ 和一大批不带标签样本 $\mathcal{D}_u$，希望借助样本之间的相似结构，推出这大批样本的标签。这里的“相似结构”就是同学之间“谁信得过谁”的关系——它不来自标注，而来自数据本身的特征。特征长得像，标签也大概率像，这是标注传播最朴素的信仰。

理解了这个设定，你就明白了为什么标注传播那么“省钱”：它不要求你标注大量数据，只需要少量可靠的种子 + 一张靠谱的关系网。关系网这张“图”是接下来的主角——答案要流动，首先得有路。

图结构基础：谁和谁说得上话

传答案不是见人就传。小 A 会把答案传给同桌和有微信的铁哥们，但不会传给隔壁班不认识的张三。所以消息传播的第一步，是把“谁和谁能说得上话”画成一张图。在标注传播里，每个数据样本是图的节点，样本之间是否有相似关系是图的边，而这条边有多“亲”，用一个数值表示，叫做边权。图论里管这种结构叫邻接矩阵，它是一张 $n \times n$ 的表，第 $i$ 行第 $j$ 列填的就是 $\mathbf{x}_i$ 和 $\mathbf{x}_j$ 的亲密度。

怎么量化亲密度？最常用的办法是高斯核相似度：两个样本的特征越接近，亲密度越高；越远，亲密度指数级衰减。这就像同学之间传话——同桌耳语，一清二楚；隔了三排传话，得靠喊，还容易听错。高斯核天然把“太远的人”的亲密度压到接近 0，避免八竿子打不着的人也掺和进来。

有了带权重的图，消息就有了“道路”和“路况”。接下来，真正的传播游戏开始了——每一轮，每个同学都会竖起耳朵听邻居说了什么，然后更新自己的答案。

标签传播算法：答案沿关系网逐轮扩散

消息开始流动了。小 A 把答案低声告诉同桌，同桌再告诉后桌……每一轮，每个同学做的事情其实很简单：把自己听到的所有邻居的消息，按“亲密度”做一个加权平均，然后和自己原来的想法折中一下。在算法里，这个“听到的消息”不是简单的“对/错”二值，而是一个软标签——一个概率分布 $F$，比如“60% 选 A，40% 选 B”。软标签比硬标签聪明得多：它保留了“我其实也不太确定”这个信息。

每次迭代，算法同时做两件事：聚合邻居信息 $SF^{(t)}$，以及拉回初始锚点 $Y$。为什么必须拉回？因为小 A 的答案是最可靠的，如果小 A 也被邻居们七嘴八舌地“平均”掉了，正确答案就被稀释成一杯白开水。所以每一轮都要把已知标签强制恢复到初始值，这就是锚点固定。直觉上，这个迭代就是在“信朋友”和“信原件”之间不断折中，直到全班口径趋于一致。

看到这里你可能会问：如果班里有人是个“社交达人”，认识所有人，他的话是不是会被放大？的确会。所以传播之前，我们要先解决一个问题——怎么让这张图“公平”。

相似度与近邻：只信身边最亲近的人

现实里你不会把全班每个人的话都当回事，你只信同桌、室友、好朋友。如果关系网把所有人都连在一起，那“标签”就会被稀里糊涂地平均掉：本来界限分明的两个类别，会糊成一片。这就是“过度平滑”。所以构建图的时候，大家几乎不会用全连接，而是用K 近邻（KNN）——每个节点只连最像它的 $k$ 个节点。就像你只把答案传给最铁的 $k$ 个朋友，让他们再往下传，而不是拿着一份答案在走廊里大喊。

但光“只信近邻”还不够。假如你认识的 5 个人里，有 3 个人是小 A 那种“消息源头”，你的信息量就特别大；另一个人认识的人很少，听到的消息就少。如果不做处理，社交达人（度数大的节点）会在传播里嗓门特别大。为了公平，算法引入了对称归一化：把每个节点的“度数”（连了多少条边）开方取倒数作为权重，让每个人都按自己“朋友圈规模”打折扣。度数大的人，每条边的影响力自动变小，就像嗓门大的人被老师提醒“小声点”。

图也公平了，消息也开始传了。但你有没有想过一个问题：传话的人，未必都靠谱。有人传回来的答案是“我确定选 A”，有人支支吾吾说“可能是 B 吧”。这两种消息，能同等对待吗？显然不能。这就引出了置信度估计。

置信度估计：这话有几分可信

班里传话分两种人：小 A 说“答案就是 C，我盯着老师改的”，你立刻信了；同桌说“好像……是 C……吧？”，你心里要打个问号。一个软标签如果输出 $(0.95, 0.03, 0.02)$，信息非常明确；如果输出 $(0.34, 0.33, 0.33)$，那基本等于“我啥也不知道”。前者是高置信度，后者是低置信度。怎么用一个数值把“支支吾吾”量化出来？答案是用信息熵。

熵在信息论里代表“不确定性”：越是均匀分布，熵越大；越是集中在某个类别上，熵越小。所以熵 $\approx 0$ 意味着这个样本对自己的标签非常笃定，熵很大则意味着它在几个类之间反复横跳。在传播过程中，我们可以计算每个未标注节点的熵，熵太高就暂停它的传播，不让他把“不确定”再传染给别人——这就像老师对某同学说：“你先把这道题弄明白再去教别人。”

有了置信度，我们就能做一件关键的事：在噪声杀死传播之前拦住它。毕竟，传话游戏玩到最后往往面目全非——接下来看如何控噪。

噪声与鲁棒性：传话失真怎么办

小时候玩过传话游戏：一句话从队首传到队尾，最后变成了完全不相干的笑话。标注传播也有同样的风险：初始标注本身可能有错，图结构可能不合理，传播过程中低置信度的节点又可能把错误放大。如果放任不管，噪声会像滚雪球一样越滚越大。所以，一个工程上可用的标注传播，必须内置“降噪”机制。

最直接的办法是设阈值：如果一个节点的最大置信度达不到某个门槛（比如 $\tau = 0.7$），就认定它“没传明白”，宁可不标记，也不许它参与下一轮传播。这个思路很像老师检查作业：你连自己的答案都说不清楚，就先别给同学讲题了，去把课本再看一遍。在实际系统中，阈值截断配合锚点固定（每轮强制还原标注样本）、置信度加权（低置信度邻居权重自动降低），构成了传播鲁棒性的三件套。

到这里，标答传播的基本功已经讲完。最后一步，是把它从“班级游戏”升级成“全校规模的工程工具”。

扩展与优化：从班级传到全校

班里 35 个人，传几轮答案就齐了。可如果消息要在全校几千人、甚至一座城市的社交网络里扩散，逐轮迭代就太慢了。标注传播的实际应用里，数据规模动辄百万、千万级别，图很大，怎么办？第一招是多标签扩展：把二分类的软标签向量 $F$ 扩展成 $n \times K$ 的矩阵，一次传播同时搞定多类问题——这就像班级里同时有几个学科的答案在传，互不干扰。第二招是大规模并行：把大图切成块，分到不同机器上并行迭代，再汇总传播结果。第三招则更漂亮——直接把迭代公式解出闭式解，一步算出收敛结果。

闭式解的推导思路很直接：在收敛时，$F^{(t+1)} = F^{(t)} = F^{(\ast)}$，于是迭代方程变成了一个关于 $F^{(\ast)}$ 的线性方程，移项求逆即可。这就像传话传到最后，全班口径已经稳定，你不需要再一轮一轮模拟，直接测出“最终版本”是多少。数学上这一个矩阵求逆，工程上常常被近似算法替代，但理解它，就理解了传播的本质：标签最终是初始标注与图结构之间的一个平衡点。

从班级到全校，标注传播的精髓始终没变：画一张关系网，让答案沿着边流动，用置信度分辨流言的成色，用锚点和阈值防止传话失真。这就是“标注数据会传染”的全部秘密——不是靠超能力，而是靠一张设计得当的图。

AI 应用场景

Python 演示

import numpy as npfrom sklearn.datasets import make_moonsfrom sklearn.metrics import accuracy_scorefrom sklearn.neighbors import kneighbors_graph  def build_graph(X, k=5):    """用 KNN 构建邻接矩阵，并做对称归一化，返回矩阵 S。"""    A = kneighbors_graph(X, n_neighbors=k, mode='connectivity').toarray()    np.fill_diagonal(A, 0.0)                  # 自己连自己，权重置零    D = np.diag(A.sum(axis=1) ** -0.5)       # 度矩阵开方取逆    S = D @ A @ D                             # 对称归一化 S = D^-1/2 A D^-1/2    return S  def label_propagation(X, y_labeled, labeled_idx, alpha=0.5,                      max_iter=200, tol=1e-5):    """软标签传播：F_new = alpha * S @ F + (1-alpha) * Y0"""    S = build_graph(X)    n, k = X.shape[0], len(np.unique(y_labeled))    F = np.zeros((n, k))    F[labeled_idx, y_labeled] = 1.0           # 锚点转 one-hot    Y0 = F.copy()    for _ in range(max_iter):        F_new = alpha * (S @ F) + (1.0 - alpha) * Y0        F_new[labeled_idx] = F[labeled_idx]   # 固定锚点，防止漂移        if np.abs(F_new - F).max() < tol:            break        F = F_new    return np.argmax(F, axis=1)  if __name__ == '__main__':    X, y = make_moons(n_samples=300, noise=0.08, random_state=42)    rng = np.random.RandomState(42)    labeled_idx = rng.choice(X.shape[0], 12, replace=False)    y_pred = label_propagation(X, y, labeled_idx)    unlabeled = [i for i in range(X.shape[0]) if i not in labeled_idx]    acc = accuracy_score(y[unlabeled], y_pred[unlabeled])    print('Labeled samples :', len(labeled_idx))    print('Unlabeled samples:', len(unlabeled))    print('Test accuracy    :', round(acc, 4))

1. A = kneighbors_graph(X, n_neighbors=k, mode='connectivity').toarray()找出每个样本的 k 个最近邻居，把图结构存成邻接矩阵。
2. np.fill_diagonal(A, 0.0)去掉自己的边，消息不能只在自己耳边循环。
3. D = np.diag(A.sum(axis=1) ** -0.5)计算度矩阵并开方取逆，平抑“社交达人”的话语权。
4. S = D @ A @ D对称归一化，得到传播用的标准图矩阵。
5. F[labeled_idx, y_labeled] = 1.0把 12 个锚点标签转成 one-hot 软标签。
6. F_new = alpha * (S @ F) + (1.0 - alpha) * Y0核心迭代：邻居消息乘以 $\alpha$，原始锚点乘以 $(1-\alpha)$。
7. F_new[labeled_idx] = F[labeled_idx]每轮强制还原锚点，这是防止标签漂移的关键一步。

常见误区

面试题