异构图网络 RGCN：为每种关系定制卷积权重

可视化演示

展示RGCN为每种关系类型分配独立权重矩阵的消息传递机制，以及基分解与块对角两种参数压缩正则化策略的对比。

背景与动机：一根筋的传声筒为什么会翻车

王阿姨刚上任时也栽过跟头。那阵子她见谁都热情，碰上消息就往喇叭里念——结果把楼下花店的促销广告当成了“居委会紧急通知”，闹得整栋楼白跑一趟。问题出在哪？她没问一句“这话是谁、通过什么关系传来的”。在 AI 处理图数据的早期，GCN 就是这位一根筋的王阿姨。

先补一点背景知识：图（Graph）由节点（Node）和边（Edge）组成，GCN 做的事可以用一句话概括——“邻居消息汇总”：把一个节点的邻居特征加权求和，更新自己的特征。但它默认图里只有一种边，这叫同构图（Homogeneous Graph）。在真实的异构图（Heterogeneous Graph）里，边是有类型的：比如知识图谱中，“出生于”“就职于”“位于”各是各的关系。同一个邻居，通过“老板”关系传来的话，和通过“朋友”关系传来的话，分量完全不同。

把异构图硬塞给 GCN，等于把“老板的话”和“朋友的话”倒进同一个桶里搅匀，模型学不到“关系”这个维度的信息。学界把这类含多种关系类型的图称为多关系图，而知识图谱正是最典型的代表（典型关系如 (实体, 关系, 实体) 三元组）。为了让模型“看见”关系的差异，研究者提出了 RGCN（Relational Graph Convolutional Network，Schlichtkrull 等人 2018 年提出），核心就一句话：给每种关系类型配一套独立的卷积参数。模型在处理消息之前，先看“关系是谁”。

王阿姨后来在床头贴了三张便签，把“家人、同事、商户”分开记——这便是“按关系分类”的意识。GCN 到 RGCN 的跨越，也正是从“一根筋传话”到“分类处理”的跨越。

核心思想：每类关系一本专属手册

后来的王阿姨学聪明了。她在工作手册里夹了三张活页：跟家人说话，用“关心优先”的滤镜；跟同事沟通，用“就事论事”的模板；听商户推销，先拧小音量。同一句话，经过不同活页加工后，进入她脑子里的“分量”就完全不同了。

RGCN 把这种思路搬进神经网络：把“王阿姨”看作中心节点 i，把“活页”看作关系特定权重矩阵 W_r^{(l)}（r 表示关系类型，l 表示第几层网络）。节点 i 更新自己的特征时，不是把邻居信息混成一锅粥，而是先按关系把邻居分组，每组用各自的 W_r 做线性变换，再汇总。这就是 RGCN 的单层更新公式：

把公式翻译成生活场景：这是一场“碰头会”。先按关系分组——家人组、同事组、邻里组；各组内部先用各自的话术模板翻译一遍（W_r）；再把意见汇总给王阿姨（聚合）；最后王阿姨结合自己的底稿（自环 W_0）做总结。多层堆叠时，第 l 层的输出会成为第 l+1 层的输入，消息就能沿着不同关系的路径传播两跳、三跳，捕捉更高阶的语义。

消息传递：分组讨论再汇总

王阿姨开碰头会从不七嘴八舌。她先把人分成三桌：家人桌、同事桌、邻里桌。每桌先内部商量——同桌人之间互相传话——再由桌长把结论报给她。这样既不会吵成一锅粥，又能保证每桌的意见都传达到位。

在 RGCN 中，这个“分桌”动作叫按关系子图传递消息。整个异构图可以按关系 r 拆成若干子图 G_r——每个子图只保留关系 r 的边。在每个子图内部，消息传递退化成普通的 GCN 操作：邻居 j 的特征 h_j 先经 W_r 变成一条“消息”：

所有子图的消息算完后，节点 i 把各子图的消息做“加法汇总”，再叠加自己的自环消息，最后过激活函数。这里 c_{i,r} 的取值通常是与 i 通过关系 r 相连的邻居数量（实践中也常用与 GCN 类似的对称归一化）。为什么要归一化？想象一个微信群有 500 人、另一个群只有 2 人：如果不做稀释，500 人群里每人只说一句，就把 2 人群的声音彻底淹没。“说的人越多，单条消息分量越轻”——这正是归一化的生活直觉。而这就是关系子图聚合的完整流程。

分组讨论、内部传话、桌长汇报、汇总总结，这套流程在 RGCN 里就叫“消息传递 + 多关系聚合”。王阿姨的碰头会越开越顺，RGCN 的消息也越传越准。

参数正则化：手册太多怎么办

一年后，王阿姨的活页夹塞爆了：小区关系越理越细——不仅有家人、同事、邻里，还冒出“孩子同学家长”“快递驿站”“物业维修”……每来一种新关系就写一本全新手册，写到猴年马月？她灵机一动：这些手册其实有共通骨架，无非是“热情”“客气”“谨慎”几种底子，再搭配各自的语气词。于是她只定了几本“母版”，新关系照着母版微调几个词就成。

RGCN 同样面临“手册爆炸”：关系类型 R 一多，权重矩阵 W_r 的总量就是 R × d × d（d 是特征维度），极易过拟合，尤其是那些边很少的“稀有关系”几乎学不动。论文给出了两种“母版化”策略：基分解（Basis Decomposition）和对角分解（Diagonal Decomposition）。基分解的公式如下：

基分解把参数从 R×d² 降到 B×d² + R×B，通常 B 远小于 R，模型一下子瘦身不少。对角分解更“狠”：直接把 W_r 限制成对角矩阵，参数从 d² 降到 d，相当于每个特征维度只配一个独立旋钮（公式为 W_r^{(l)} = diag(w_r^{(l)})）。两种方法都在“表达力”和“参数量”之间做取舍，实践上基分解更常用，因为它保留了关系之间“借来借去”的灵活性。

“母版 + 微调”就是对参数做结构化共享；“只拧几个关键旋钮”就是对角分解。手册再多，也有省力气的写法。

模型训练：用谣言当反面教材

王阿姨想检验自己的关系手册好不好用，办法很简单：听一句“传言”，判断它是真是假。比如“李老板明天关店”——她翻手册一对照：消息源是邻居刘婶的“邻里闲谈”，权重低、可信度差；而儿子说“今晚不回家吃饭”，属于家人手册，权重高，判定为真。正反一对照，手册的准头就练出来了。

RGCN 最经典的落地任务之一是链接预测（Link Prediction）：图中有些边是缺失的，模型要预测“某两个实体之间是否存在某关系”。训练时把已有的三元组 (s, r, o) 当正样本，再随机换掉头实体或尾实体，造一批假三元组——这就是负采样（Negative Sampling）——让模型学会给真三元组打高分、给假三元组打低分。损失函数通常用带 sigmoid 的二分类交叉熵：

打分函数 f(s,r,o) 常用 DistMult 一类与关系相关的内积形式：实体经 RGCN 编码成嵌入后，用「头实体嵌入 × 关系嵌入 × 尾实体嵌入」做三路交互。训练流程是端到端的：RGCN 编码实体 → 打分 → 计算交叉熵 → 反向传播同时更新实体嵌入、各层 W_r（或基分解系数 a_{rb}）和打分器参数。

正样本是真事、负样本是谣言，交叉熵就是王阿姨手里的“谣言鉴别尺”。手册好不好用，拿谣言一验便知；模型准不准，拿负样本一测便知。

工程实现：台账分册落地

台账越来越大，王阿姨给自己立了规矩：一种关系一本册子，册子里按居民姓名存档，绝不混记。这样翻起来快，记起来不乱。

RGCN 的工程实现同样是“分册”思路：把一张大邻接矩阵 A 按关系拆成系列矩阵 A_r——A_r 里只保留关系 r 的边。在矩阵形式上，RGCN 的更新可以写成：

工程落地的几个关键点：第一，稀疏存储——真实图谱很大，A_r 必须用稀疏矩阵（COO/CSR 格式）存储，避免稠密矩阵内存爆炸；第二，批量计算——整图前向用矩阵乘法，超大图可配合邻居采样（类似 GraphSAGE）做小批量训练；第三，框架选型——PyTorch 搭配 DGL 或 PyG，把“消息传递”封装成 scatter/gather 算子，也可以手写 index_add 聚合（见下文 Python 演示）；第四，多关系循环展开——各关系共享同一份节点特征矩阵 H，分别过各自的 W_r，最后求和。

“一关系一册子”的台账法，对应到代码就是“按关系分组的三元组列表”。册子分好了，后面查得准、算得快。

应用与局限：从小区走向全城

王阿姨的“情报站”出了名，街道办请她建设全城版。好消息是功劳簿添了一笔，坏消息是麻烦也不少：全城关系类型上百种，有的关系整个城市只有两对，她想写手册都找不到足够的素材。

RGCN 最成功的应用是知识图谱补全（KG Completion）：图谱里“（张小龙，创建了，微信）”这样的边如果缺失，RGCN 可以打分预测出来。电商的商品知识图谱、社交平台的多关系推理（关注、好友、屏蔽）、反欺诈中的资金关系网络（转账、设备、IP 共用），都能用“RGCN 编码实体 → 链接预测/节点分类”这条链路落地。

具体到工程实践，通常先用 RGCN 编码实体，再用 DistMult 等打分器做下游预测；多关系可以叠加关系级别的注意力机制，给重要关系更高的聚合权重；对训练成本敏感的场景，可以用邻居采样把小批量化。但 RGCN 的短板也同样明显：参数随关系数量线性膨胀（“手册爆炸”）；稀有关系学习不充分；整图训练的内存与时间成本高。未来的方向是让关系之间共享更多知识——注意力、元学习、条件参数生成，就像王阿姨最后总结的：手册不必一人一本，关键时刻能借来借去，才是真本事。

AI 应用场景

Python 演示

import numpy as npimport torchimport torch.nn as nnimport torch.nn.functional as F entities = ['李雷', '韩梅梅', '北京', '清华', 'AI公司', '工程师']relations = ['就读于', '出生于', '就职于', '位于']triples = [('李雷', '就读于', '清华'), ('韩梅梅', '就读于', '清华'),           ('李雷', '出生于', '北京'), ('韩梅梅', '出生于', '北京'),           ('李雷', '就职于', 'AI公司'), ('AI公司', '位于', '北京')]ent2id = {e: i for i, e in enumerate(entities)}rel2id = {r: i for i, r in enumerate(relations)}num_ent, num_rel = len(entities), len(relations) # 按关系分组, 并用目标节点度数计算归一化系数rel_pairs = {}for r in range(num_rel):    pairs = [(ent2id[h], ent2id[t]) for h, rr, t in triples if rel2id[rr] == r]    if pairs:        src = torch.tensor([p[0] for p in pairs], dtype=torch.long)        dst = torch.tensor([p[1] for p in pairs], dtype=torch.long)        norm = 1.0 / torch.bincount(dst, minlength=num_ent).float()[dst]    else:        src = dst = norm = torch.empty(0, dtype=torch.long)    rel_pairs[r] = (src, dst, norm)  class RGCNLayer(nn.Module):    def __init__(self, dim, num_rel):        super().__init__()        # 每种关系一个专属权重矩阵        self.W = nn.ModuleList([nn.Linear(dim, dim, bias=False) for _ in range(num_rel)])        self.W0 = nn.Linear(dim, dim, bias=False)  # 自环     def forward(self, H):        out = self.W0(H)        for r, (src, dst, norm) in rel_pairs.items():            if src.numel() == 0:                continue            out.index_add_(0, dst, self.W[r](H[src]) * norm.view(-1, 1))        return F.relu(out)  class RGCN(nn.Module):    def __init__(self, dim=16):        super().__init__()        self.emb = nn.Embedding(num_ent, dim)        self.layer1 = RGCNLayer(dim, num_rel)        self.layer2 = RGCNLayer(dim, num_rel)        self.rel_emb = nn.Embedding(num_rel, dim)     def encode(self):        return self.layer2(self.layer1(self.emb.weight))     def score(self, H, h, r, t):        return (H[h] * self.rel_emb.weight[r] * H[t]).sum()  def train(model, epochs=150, lr=0.02):    opt = torch.optim.Adam(model.parameters(), lr=lr)    for epoch in range(epochs):        H = model.encode()        pos = [(ent2id[h], rel2id[r], ent2id[t]) for h, r, t in triples]        # 负采样: 随机替换尾实体生成假三元组        neg = [(h, r, (t + np.random.randint(1, num_ent)) % num_ent) for h, r, t in pos]        pos_l = torch.stack([model.score(H, *p) for p in pos])        neg_l = torch.stack([model.score(H, *n) for n in neg])        loss = F.binary_cross_entropy_with_logits(pos_l, torch.ones_like(pos_l))        loss = loss + F.binary_cross_entropy_with_logits(neg_l, torch.zeros_like(neg_l))        opt.zero_grad()        loss.backward()        opt.step()        if (epoch + 1) % 50 == 0:            print('epoch', epoch + 1, 'loss', round(loss.item(), 4))  if __name__ == '__main__':    model = RGCN()    train(model)    H = model.encode()    pred = sorted(((e, model.score(H, ent2id['李雷'], rel2id['出生于'], ent2id[e]).item())                   for e in entities), key=lambda x: -x[1])    print('预测(李雷,出生于,?)：', pred)

1. self.W = nn.ModuleList([nn.Linear(dim, dim, bias=False) for _ in range(num_rel)])关键点：每种关系一个独立的线性变换层，对应“一关系一活页”。
2. self.W0 = nn.Linear(dim, dim, bias=False)自环变换，保留节点自身信息。
3. norm = 1.0 / torch.bincount(dst, minlength=num_ent).float()[dst]按目标节点的关系邻居数计算归一化系数，实现公式中的 1/c。
4. out.index_add_(0, dst, self.W[r](H[src]) * norm.view(-1, 1))把“关系专属变换 + 归一化”后的消息按 dst 下标累加到目标节点。
5. neg = [(h, r, (t + np.random.randint(1, num_ent)) % num_ent) for h, r, t in pos]负采样：随机替换尾实体，制造“谣言”样本。
6. F.binary_cross_entropy_with_logits(...)二分类交叉熵，拉大真假三元组的得分差距。
7. def score(...)DistMult 打分：头实体、关系、尾实体三路嵌入逐元素相乘后求和。

常见误区

面试题