GAT图注意力网络：让邻居贡献自适应

可视化演示

问题背景：GCN的“平均主义”困境

公司会议室里，老李又在主持方案评审。按照惯例，每位同事都有三分钟发言时间，最后把所有人的建议“无差别”汇总成会议纪要。项目组里既有刚转正的新人，也有操盘过十几个项目的老专家，可规则面前人人平等——每个人贡献的权重一视同仁。这种“平均主义”看起来公平，但在图神经网络的世界里，它可能让真正重要的信息被噪音淹没。

GCN（图卷积网络）当年的做法，就像这位老式主持人。它在聚合节点特征时，使用了一个由节点度数预先算好的固定系数。也就是说，给定一个图结构，每个邻居的聚合权重就“一锤定音”了：只看节点有多少条边，不看邻居的具体特征内容。在引文网络中，一篇论文引用一篇权威论文和一篇水文，GCN 给两者的聚合权重几乎一样。

GCN 第 l 层的聚合公式是：

回到会议室场景：GCN 相当于“按工位分配话语权”——坐在附近、联系多的人权重天然高，但方案内容的好坏完全不影响权重。问题来了：如果最相关的邻居恰好联系不多呢？这正是 GAT 要去解决的。

注意力机制：给邻居“打配合分”

小美提议：与其“平均主义”，不如让同事们两两之间先互相评分——你觉得谁的方案和我的问题最搭？你觉得谁的建议最值得听？然后把所有人的“互相重视程度”作为权重。这样一来，平时沉默的资深专家只要开口，大家就会自觉调高他的音量。

这个“互相评分”的思想，正是注意力机制在图上的落地。在 Transformer 里，注意力通过“查询–键”相似度让模型聚焦关键 Token；在 GAT 中，我们把 Token 换成图中的节点，让节点 i 对每个邻居 j 算出一个“重视分数” e_ij。

具体来说，GAT 先通过共享矩阵 W 对节点特征做线性变换，把原始特征统一映射到同一个语义空间；再把变换后的两个特征首尾拼接成一个长向量，用可学习的注意力向量 a 做内积，加上 LeakyReLU 激活，就得到了节点 j 对节点 i 的“相关分”：

注意，这里的“打分”不是老师给学生的单向评分，而是双向的配合分：i 如何看待 j，和 j 如何看待 i，是两件事，因为拼接顺序不同。就像小美觉得老李的方案和她互补，但老李未必觉得小美的方案对他有用——注意力天然不对称。

注意力系数：把分数变成占比

既然每个人手里都有了“重视分数”，下一步自然是把分数变成可比较的“占比”。就像投票：A 获得了 60% 的支持、B 获得 30%、C 获得 10%，所有人的权重加起来恰好 100%。只有变成占比，不同节点的分数才具有可比性。

这个过程在数学上叫 Softmax 归一化。它把一批任意实数映射到 (0,1) 区间内，且总和等于 1。GAT 对节点 i 的所有邻居（包括自环）的原始分数做 Softmax，得到最终的注意力系数 α_ij：

经过 Softmax 之后，LeakyReLU 的负区间信号被保留下来：即使某个邻居的原始分数为负，经过指数运算仍能为正数贡献微弱权重。归一化后的注意力系数，就是开会时最终的“话语权重分配表”——谁的指数分高，谁的声音被放大；分数低的，自动降为背景。

图聚合过程：按占比收拢意见

权重表出炉后，主持人开始汇总。他把每位同事的方案（特征）乘以对应的话语权重，再累加在一起：权重高的方案主导最终方向，权重低的只做微调。这就是“加权求和”的直觉——不是简单投票取平均，而是有的放矢地综合意见。

在 GAT 中，聚合公式非常简洁：先对每个邻居的特征做线性变换（乘 W），再乘上注意力系数 α_ij，最后求和并通过激活函数，得到节点 i 的新表示：

这一步在工程上通常用稀疏矩阵乘法高效实现，复杂度与边数线性相关，不会因为全图注意力而变成 O(N²)。至此，节点 i 完成了一次“开会”：它没有把邻居的意见简单平均，而是用学到的注意力系数做了智能综合——新特征向量 h_i' 就是这份会议纪要。

多头注意力：评审委员会

单靠小美一个人打分评方案，容易带个人偏好。更好的做法是成立评审委员会：老李看技术可行性、小王看成本、大壮看用户体验……每位评委独立打分，最后汇总意见。这就是多头注意力的直觉——不是一个“注意力头”独断，而是多个视角互补。

GAT 用 K 个独立的注意力头并行计算。每个头都有自己的变换矩阵 W^k 和注意力向量 a^k，于是能捕捉不同类型的“邻居重要性”：有的头关注内容相似度，有的头关注结构角色，有的头关注特征互补。在隐藏层，K 个头的输出沿特征维度拼接；在最后一层，通常改为求平均，避免输出维度过大：

多几个评审委员，方案评估就更全面、更稳健——多头注意力的价值不是重复劳动，而是多视角互补：一个头可能错过的重要信息，另一个头会兜住。

训练与优化：让打分策略越来越准

评委们的打分策略不是天生的。项目复盘会上，大家会对照真实结果调整自己的评价标准：“上次我觉得新人的方案不靠谱，结果市场反馈很好，看来创新分应该给更高。”这种“对照结果调标准”的过程，就是模型训练。

GAT 中的“打分策略”就是那些可学习的参数：变换矩阵 W、注意力向量 a、以及输出层的参数。训练时，我们用带标签的节点计算损失，再通过反向传播更新参数。对于节点分类任务，损失函数通常是交叉熵：

在工程实现上，GAT 利用稀疏邻接矩阵，只对存在的边计算注意力，避开全图 O(N²) 的复杂度。训练完成后，模型内部就形成了一套“高效评审制度”：看到什么样的邻居特征组合，就自动配出合理的权重——这份制度不是人写的，而是从数据复盘中学出来的。

对比与优势：GAT强在哪里

老式会议和新式评审的区别，落到数学上就是一行公式的对比。GCN 的权重是“结构性先验”：只看度数，一锤定音；GAT 的权重是“内容相关”：由两端特征动态计算，随训练不断进化。

把两者的注意力系数并排看：

由此带来一个重要优势：GAT 的泛化能力更强。因为注意力权重与图结构解耦，模型可以迁移到完全未见过的图（归纳式学习）；而 GCN 的权重与具体图的度数绑定，跨图迁移时适应性较差。复杂度上，GAT 单层需要先算注意力分数再聚合，比 GCN 多一步，但整体仍是与边数线性。一句话：GCN 是“按座次发言”，GAT 是“按内容质量发言”——后者更符合真实世界里“重要的人话说得响”的直觉。

应用场景：GAT发光的地方

这套“智能评审制度”如今被广泛应用在各个行业的数据分析场景中。凡是数据能表示成“个体+关系”的图，GAT 就可能派上用场：社交网络中的用户是节点、关注关系是边；引文网络中的论文是节点、引用关系是边；知识图谱中的实体是节点、谓词关系是边。

以节点分类为例，我们通常把 GAT 输出的节点表示接一个线性分类头，再套 Softmax 得到类别概率：

在学术论文分类任务中，GAT 让高被引、高相关的论文在聚合时拥有更大话语权；在社交推荐中，GAT 把“强互动好友”和“弱联系陌生人”的权重自动拉开。无论在哪张图上，GAT 始终在扮演同一个角色：让每个节点学会“听该听的声音，信该信的人”。

AI 应用场景

Python 演示

import torchimport torch.nn as nnimport torch.nn.functional as F  class GATLayer(nn.Module):    def __init__(self, in_ch, out_ch, head_num=4, concat=True, alpha=0.2):        super(GATLayer, self).__init__()        self.head_num = head_num        self.concat_flag = concat        self.linear = nn.Linear(in_ch, out_ch * head_num, bias=False)        self.attn_vec = nn.Parameter(torch.zeros(1, head_num, 2 * out_ch))        nn.init.xavier_uniform_(self.attn_vec)        self.leaky_slope = alpha     def forward(self, x, adj):        n = x.size(0)        h = self.linear(x).view(n, self.head_num, -1)        src = h.unsqueeze(2).expand(n, self.head_num, n, -1)        dst = h.unsqueeze(0).expand(n, self.head_num, n, -1)        pair = torch.cat([src, dst], dim=3)        e = torch.matmul(pair, self.attn_vec.transpose(1, 2)).squeeze(3)        e = F.leaky_relu(e, self.leaky_slope)        mask = adj.unsqueeze(1) > 0        e = e.masked_fill(~mask, float('-inf'))        att = F.softmax(e, dim=2)        out = torch.matmul(att, h)        if self.concat_flag:            return out.reshape(n, -1)        return out.mean(dim=1)  if __name__ == '__main__':    torch.manual_seed(42)    n = 6    edge_list = [(0, 1), (0, 2), (1, 3), (2, 3), (3, 4), (4, 5), (2, 5)]    adj = torch.zeros(n, n)    for i, j in edge_list:        adj[i, j] = 1        adj[j, i] = 1    x = torch.randn(n, 8)    layer = GATLayer(8, 16, head_num=4)    out = layer(x, adj)    print('GAT output shape:', out.shape)

1. self.linear = nn.Linear(in_ch, out_ch * head_num, bias=False)共享变换矩阵 W，一次为所有头分配输出通道。
2. self.attn_vec = nn.Parameter(torch.zeros(1, head_num, 2 * out_ch))注意力向量 a，形状按“头数 × 拼接后维度”设计。
3. h = self.linear(x).view(n, self.head_num, -1)线性变换后拆成 K 个头，每个头独立特征。
4. pair = torch.cat([src, dst], dim=3)拼接 (Wh_i, Wh_j) 对，形成“配合分”的输入。
5. e = torch.matmul(pair, self.attn_vec.transpose(1, 2)).squeeze(3)注意力向量内积，得到原始分数。
6. e = F.leaky_relu(e, self.leaky_slope)LeakyReLU 激活，保留负信号。
7. mask = adj.unsqueeze(1) > 0构建邻居掩码，只对存在的边计算注意力。
8. e = e.masked_fill(~mask, float('-inf'))非邻居位置设为负无穷，Softmax 后权重为 0。
9. att = F.softmax(e, dim=2)对每个节点的邻居维度归一化，得到注意力系数。
10. out = torch.matmul(att, h)注意力系数乘以邻居特征，完成加权聚合。

常见误区

面试题