半监督节点分类：少标签也能学好

可视化演示

任务定义

陈老师要摸清全班 50 个人的掌握情况，却只批改了 5 本作业。好消息是，这 5 本作业不是孤岛——每个学生都有入学成绩单（节点特征），学生之间还连着友谊网（图结构）。半监督节点分类要解决的，正是“少量标签 + 大量无标签 + 一张关系网”三者并存时，如何对全图节点完成分类。它图神经网络最经典的应用设定，也是 GNN 教材里第一个被讲透的任务。

在图论的术语里，这张友谊网叫图 \(G=(V,E)\)：\(V\) 是节点集合（学生），\(E\) 是边集合（友谊）。每个节点携带特征向量 \(X\)（成绩单），只有 \(V_L\) 里的节点有标签（批改过的作业），剩下的 \(V_U\) 没有标签（没批改的作业）。模型要做的事情是学习一个映射，输入整张图和少量标签，输出所有节点的类别预测。这里的关键词是直推式：测试节点在训练时就“坐在教室里”，图结构完全可见，只是标签缺失。

$$\displaystyle f: (G, X, Y_L) \rightarrow \hat{Y}_V$$

1. 图结构 \(G\)：输入整张关系网，包含全部节点与边，是信息传播的舞台。

$$G = (V, E)$$

2. 特征矩阵 \(X\)：所有节点的属性特征，相当于每个学生的成绩单。

$$X \in \mathbb{R}^{|V| \times d}$$

3. 少量标签 \(Y_L\)：只有部分节点有真实标签，是监督信号的唯一来源。

$$Y_L = \{ y_i \mid i \in V_L \}, \quad |V_L| \ll |V|$$

4. 全图预测 \(\hat{Y}_V\)：模型要对图中每个节点输出一个类别，而不仅仅是标签节点。

$$\hat{Y}_V = \{ \hat{y}_i \mid i \in V \}$$

陈老师的“5 本作业”就是 \(Y_L\)，全班 50 人的评语就是 \(\hat{Y}_V\)。半监督节点分类的精髓，在于让那 5 本作业的价值通过关系网放大 10 倍——这正是标注成本高昂的工业场景最需要的能力。

邻接矩阵

陈老师的抽屉里有一本“友谊册”，每一页记录一对好朋友的名字。如果把友谊册画成一张大表格：横轴是全班 50 人的名字，纵轴也是，第 \(i\) 行第 \(j\) 列打一个勾，表示 \(i\) 和 \(j\) 是朋友——这张表格的数学名字就叫邻接矩阵。它是图结构在计算机里的存在形式，也是所有图算法开始的地方。

邻接矩阵 \(A\) 中 \(A_{ij}=1\) 表示节点 \(i\) 与 \(j\) 之间有边，对角线通常为 0（自己不和自己交朋友）。但在传播信息时，我们会给每个节点加上“自环”：\(\tilde{A} = A + I\)，相当于每个人讲题时先复述自己的答案，再听朋友的。光有矩阵还不够——如果直接取平均，人缘好（度数高）的同学会淹没所有人的声音。所以 GCN 采用对称归一化：

$$\displaystyle \hat{A} = \tilde{D}^{-1/2} \tilde{A} \tilde{D}^{-1/2}, \quad \tilde{A} = A + I_N$$

1. 原始邻接矩阵 \(A\)：记录节点间的连边关系，第 \(i\) 行第 \(j\) 列为 1 表示有边。

$$A_{ij} = \begin{cases} 1, & (i,j) \in E \\ 0, & \text{otherwise} \end{cases}$$

2. 加自环 \(\tilde{A} = A + I_N\)：对角线补上 1，让节点聚合时包含自身信息。

$$\tilde{A} = A + I_N$$

3. 度矩阵 \(\tilde{D}\)：对角的每个元素是节点（含自环）的连接数，是“人缘指数”。

$$\tilde{D}_{ii} = \sum_j \tilde{A}_{ij}$$

4. 对称归一化 \(\tilde{D}^{-1/2} \tilde{A} \tilde{D}^{-1/2}\)：左右各乘一个 \(-1/2\) 次幂矩阵，同时平衡出度与入度的影响，保证数值稳定。

$$\hat{A} = \tilde{D}^{-1/2} \tilde{A} \tilde{D}^{-1/2}$$

友谊册经过归一化处理，就像老师定了一条规则：“朋友多的同学发言要简练，朋友少的同学给予更多倾听权重，最后每个人先说自己答案再综合朋友。” 邻接矩阵从此不再是冷冰冰的 0 和 1，而是一张承载公平传播的通道地图。

消息传递

课间讲题的场景是这样的：每个同学先把自己作业本上的答案写在笔记本上，然后问问周围几个好朋友的答案，最后综合出一份新笔记。下一节课间，再拿着新笔记和朋友们交换一次。这就是图神经网络的灵魂——消息传递：每一轮，节点收集邻居的表征，融合成自己的新表征。

GCN 的一层完整地做了三件事：收集（通过 \(\hat{A}\) 把邻居表征加权聚合过来）、变换（乘以权重矩阵 \(W\) 做线性映射）、激活（用 \(\sigma\) 引入非线性）。层数就是讲题轮数：一层只看直接朋友，两层就能看到朋友的朋友。把多个 GCN 层堆叠起来，就得到一个多跳的信息传播网络。第 \(l\) 层到第 \(l+1\) 层的更新公式是：

$$\displaystyle H^{(l+1)} = \sigma\left( \hat{A} \, H^{(l)} \, W^{(l)} \right)$$

1. 节点表征矩阵 \(H^{(l)}\)：第 \(l\) 层所有节点的特征向量集合，每一行是一个节点。

$$H^{(l)} \in \mathbb{R}^{N \times d_l}$$

2. 归一化邻接矩阵 \(\hat{A}\)：决定“谁向谁聚合”，乘法把邻居的表征加权求和到中心节点。

$$\hat{A} \, H^{(l)}$$

3. 权重矩阵 \(W^{(l)}\)：第 \(l\) 层可学习的线性变换参数，通过反向传播更新，相当于“怎么消化听到的答案”。

$$W^{(l)} \in \mathbb{R}^{d_l \times d_{l+1}}$$

4. 激活函数 \(\sigma\)：引入非线性（常用 ReLU），让模型能表达复杂模式，而不是简单叠加。

$$\sigma(x) = \max(0, x)$$

每一层 GCN 就是一次“课间讲题”：把朋友的笔记拿来，提炼，更新自己的笔记。两层之后，小张的笔记里既有同桌小李的观点，也有小李球友小王的影响——信息沿着友谊链越传越远。但要小心，讲题轮数太多，全班也许会变成同一个复读机，这就是后话的“过平滑”。

标签利用

5 本批改好的作业，是整个班级知识传播的“火种”。火种如何点燃全班？答案是让火种顺着友谊链烧过去。经典的标签传播算法给出了一个直观模型：每轮迭代，节点把自己的标签“广播”给邻居，同时“听取”邻居们当前的标签分布，然后更新自己的分布。如此反复，标签就像墨水一样，沿着边一点点渗开。

用数学表示，设 \(P^{(t)}\) 是第 \(t\) 轮所有节点的标签软分布矩阵，行归一化的邻接矩阵 \(D^{-1}A\) 负责把邻居的标签平均过来：

$$\displaystyle P^{(t+1)} = D^{-1} A \, P^{(t)}$$

1. 标签分布矩阵 \(P^{(t)}\)：第 \(t\) 轮每个节点的类别概率分布，行和为 1。

$$P^{(t)} \in \mathbb{R}^{N \times C}$$

2. 邻接矩阵 \(A\)：提供标签流动的通道，只有相连的节点才互相影响。

$$A \, P^{(t)}$$

3. 行归一化 \(D^{-1}\)：对每行求和归一化，确保传播后分布仍是合法的概率分布。

$$(D^{-1}A)_{ij} = \frac{A_{ij}}{\sum_k A_{ik}}$$

4. 迭代轮数 \(t\)：每迭代一轮，标签沿边扩散一跳；轮数越多影响范围越广。

$$t \rightarrow t+1$$

GNN 的标签利用策略比朴素传播更聪明：不是直接复制标签，而是把“少量标签的监督”与“图结构的信息传播”放进同一个训练过程。实际操作中用掩码训练：前向传播让所有节点参与，反向传播时损失只从有标签节点回传，无标签节点当好“传话筒”。直推式模型（固定图上学到的传播）与归纳式模型（学会传播规则后用于新图）的区别，正在于这 5 个火种点燃的是“这一班”还是“以后每一班”。

损失函数

全班都在热火朝天地讲题，但陈老师评价自己教得怎么样，唯一依据还是那 5 本批改过的作业——他只关心这 5 本的对错，其余 45 本不评分。这就是半监督里“监督”二字的真意：损失函数只在有标签节点上计算。

模型输出 \(Z_{ic}\) 表示节点 \(i\) 属于类别 \(c\) 的预测概率；真实标签用 one-hot 编码 \(Y_{ic}\)（属于该类取 1，否则取 0）。半监督节点分类最常用的损失是交叉熵，求和范围被刻意限制在 \(V_L\) 上：

$$\displaystyle L = -\sum_{i \in V_L} \sum_{c=1}^{C} Y_{ic} \, \ln Z_{ic}$$

1. 有标签节点集合 \(V_L\)：损失只在这批节点上计算，其他节点不提供监督信号。

$$V_L \subset V, \quad |V_L| \ll |V|$$

2. 真实标签 \(Y_{ic}\)：第 \(i\) 个节点的第 \(c\) 类 one-hot 取值，非 0 即 1。

$$Y_{ic} = \begin{cases} 1, & y_i = c \\ 0, & \text{otherwise} \end{cases}$$

3. 预测概率 \(Z_{ic}\)：模型输出经 softmax 后的概率，衡量“模型有多相信 i 属于 c”。

$$Z_{ic} = \frac{\exp(\text{logit}_{ic})}{\sum_{c'} \exp(\text{logit}_{ic'})}$$

4. 自然对数 \(\ln\)：对概率取对数作为惩罚尺度——预测越错，惩罚越大。

$$-\ln Z_{ic}$$

5. 双重求和：先遍历每个有标签节点，再对该节点的所有类别求和，汇总成总损失。

$$\sum_{i \in V_L} \sum_{c=1}^{C}$$

无标签节点虽然没有损失项，但它们通过消息传递把标签信息“搬运”到了自己的表征里，从而间接影响模型的参数更新——这就是半监督的隐式正则。老师只批改 5 本作业，全班却都听了讲题，所以这 5 本作业的质量就是全班的“晴雨表”：用极少的反馈，驱动一张极大的网络。

过平滑问题

假如课间讲题无限循环下去，会发生什么？第一轮，小张听到小李的观点；第二轮，小李的观点里已经混入小王；五十轮之后，全班每个人的笔记都变成“全班观点的平均数”——大家的笔记几乎一模一样，个性全无。这就是图神经网络的过平滑问题：随着层数加深，节点的表征向量趋向一致，节点之间不再可分。

过平滑是 GCN 的天生缺陷。每一层传播都是一次“加权平均”，反复平均会把信息磨平。数学上，两个节点的表征距离随层数增加急剧衰减：

$$\displaystyle \Delta^{(l)} = \left\| H_i^{(l)} - H_j^{(l)} \right\|_2 \rightarrow 0$$

1. 表征差异 \(\Delta^{(l)}\)：第 \(l\) 层两个节点表征向量的距离，衡量它们“有多不同”。

$$\Delta^{(l)} = \| H_i^{(l)} - H_j^{(l)} \|_2$$

2. 第 \(l\) 层表征 \(H_i^{(l)}\)：经过 \(l\) 轮传播后节点 \(i\) 的特征向量。

$$H_i^{(l)} \in \mathbb{R}^{d}$$

3. 欧氏范数 \(\|\cdot\|_2\)：向量差的长度的平方和开根号，值是标量距离。

$$\sqrt{\sum_k (H_{ik}^{(l)} - H_{jk}^{(l)})^2}$$

4. 趋近于零 \(\rightarrow 0\)：层数加深时距离不断缩小，最后所有节点挤成一团。

$$\lim_{l \to \infty} \Delta^{(l)} = 0$$

缓解过平滑的主流手段有三：残差连接——把浅层的“个性”直接加到深层表征上，走捷径保住自我；DropEdge——训练时随机丢弃一部分边，打乱“温水煮青蛙”式的平滑过程；以及 PairNorm 等表征归一化技巧。它们的本质都是在“信息充分传播”和“保留节点个性”之间找平衡。陈老师绝不会让讲题无限循环——讲两三轮，让知识扩散到位就收，再讲下去全班就变成同一个复读机了。

实践应用

陈老师这套“少批改、多讲题”的方法，后来被推广到整个年级：只批改少量作业，靠学生互助网络评估全年级的掌握情况。图神经网络的半监督节点分类，在真实世界里正是这个逻辑的大规模复刻。

最经典的应用是引文网络分类：论文是节点，引用关系是边，标签是研究领域。在 Cora 数据集上，2708 篇论文、5429 条引用边、7 个领域，GCN 只需每类标注 20 篇（共 140 篇），就能对全部论文达到 81% 以上的分类准确率。同样的套路还出现在社交网络（用户是节点，关注是边，预测兴趣人群）、学术搜索（冷启动论文的领域推荐）、金融风控（转账网络中的欺诈团伙识别）。衡量效果的标准指标是准确率：

$$\displaystyle \text{Acc} = \frac{1}{|V_{\text{test}}|} \sum_{i \in V_{\text{test}}} \mathbb{1}(\hat{y}_i = y_i)$$

1. 测试节点集合 \(V_{\text{test}}\)：没有标签、等待被预测的节点。

$$V_{\text{test}} \subseteq V_U$$

2. 预测标签 \(\hat{y}_i\)：模型对节点 \(i\) 输出的类别。

$$\hat{y}_i = \arg\max_c Z_{ic}$$

3. 指示函数 \(\mathbb{1}(\cdot)\)：括号内等式成立记 1，否则记 0，用于数“猜对了几道题”。

$$\mathbb{1}(\hat{y}_i = y_i) = \begin{cases} 1, & \text{相等} \\ 0, & \text{不等} \end{cases}$$

4. 求平均：把猜对的个数除以测试总数，得到正确率。

$$\frac{1}{|V_{\text{test}}|} \sum_{i \in V_{\text{test}}} \cdots$$

从一间教室到一个年级，从 50 个同学到几百万篇论文，本质从未改变：只批改几本作业，让信息沿着关系网流动，最后全班全年级都学会了。半监督节点分类不是炫技，而是在“标注太贵”的现实约束下，用图结构换来的最朴素的杠杆。

AI 应用场景

Python 演示

import numpy as np np.random.seed(0)N = 40adj = np.zeros((N, N), dtype=float)for i in range(N):    adj[i, (i + 1) % N] = 1.0    adj[i, (i + 2) % N] = 1.0    adj[(i + 1) % N, i] = 1.0    adj[(i + 2) % N, i] = 1.0for i in range(N):    for j in range(i + 1, N):        if np.random.rand() < 0.08:            adj[i, j] = adj[j, i] = 1.0 rng = np.random.RandomState(1)X = rng.randn(N, 2)labels = np.zeros(N, dtype=int)for i in range(N):    if X[i, 0] + X[i, 1] > 0.5:        labels[i] = 2    elif X[i, 0] < 0:        labels[i] = 0    else:        labels[i] = 1 A_hat = adj + np.eye(N)D_inv = np.diag(1.0 / np.sqrt(A_hat.sum(axis=1)))A_norm = D_inv @ A_hat @ D_inv def relu(x):    return np.maximum(x, 0) Y = np.eye(3)[labels]train_idx = np.array([0, 15, 30])train_mask = np.zeros(N, dtype=bool)train_mask[train_idx] = True W1 = rng.randn(2, 16) * 0.3W2 = rng.randn(16, 3) * 0.3lr = 0.2 for epoch in range(300):    P1 = A_norm @ X @ W1    H1 = relu(P1)    Z = A_norm @ H1 @ W2    E = np.exp(Z - Z.max(axis=1, keepdims=True))    S = E / E.sum(axis=1, keepdims=True)    loss = -np.sum(Y[train_idx] * np.log(S[train_idx] + 1e-12)) / len(train_idx)     dZ = (S - Y) * train_mask[:, None] / train_mask.sum()    dW2 = H1.T @ (A_norm @ dZ)    dH1 = (A_norm @ dZ) @ W2.T    dH1[P1 <= 0] = 0.0    dW1 = X.T @ (A_norm @ dH1)    W1 -= lr * dW1    W2 -= lr * dW2 pred = Z.argmax(axis=1)acc = (pred == labels).mean()print("训练损失:", round(loss, 4))print("全图准确率:", round(acc, 4))print("有标签节点预测:", pred[train_idx].tolist())

1. A_hat = adj + np.eye(N)给邻接矩阵加自环，让传播时保留自身信息。
2. D_inv = np.diag(1.0 / np.sqrt(A_hat.sum(axis=1)))由度矩阵构造 \(-1/2\) 次幂，为归一化做准备。
3. A_norm = D_inv @ A_hat @ D_inv对称归一化邻接矩阵，GCN 传播的“通道地图”。
4. P1 = A_norm @ X @ W1第一层消息传递：聚合邻居特征后做线性变换。
5. H1 = relu(P1)ReLU 激活，引入非线性。
6. Z = A_norm @ H1 @ W2第二层消息传递，输出每个节点的分类 logits。
7. loss = -np.sum(Y[train_idx] * np.log(S[train_idx] + 1e-12)) / len(train_idx)半监督交叉熵：只对 3 个有标签节点计算损失。
8. dZ = (S - Y) * train_mask[:, None] / train_mask.sum()梯度掩码：只回传有标签节点的误差，无标签节点当好“传话筒”。
9. dH1[P1 <= 0] = 0.0ReLU 的梯度门控，负数区间梯度置零。
10. pred = Z.argmax(axis=1)对全图节点取概率最大的类别，完成半监督分类。

常见误区

面试题