3D与文本的跨模态对比学习方法

可视化演示

展示3D点云与文本描述通过对比学习对齐到共享嵌入空间，借鉴CLIP思路实现3D编码器与文本编码器的跨模态匹配，应用于3D检索与文本驱动3D生成。

设计理念：借鉴CLIP

老张后来真的做出了那张“心动坐标纸”。他请来两个助理：一个只负责看照片，一个只负责读简介，各自把对象“画”到坐标纸上。靠谱的助理画出的点有个规律——将来能成一对的人，照片点和简介点总落在相近区域。这个“双助理加同一张坐标纸”的架构，就是跨模态对比学习的灵魂。

CLIP 是这套架构在图文领域的代表作：图像编码器与文本编码器把图片和句子投进同一个嵌入空间，再用对比损失让配对样本靠拢。3D-文本对比学习是同一配方的“3D 版”：把图像侧换成点云或网格，让模型理解“一把带扶手的椅子”这类文字描述对应什么样的 3D 结构。这里的核心假设是：同一概念的不同模态表达，在嵌入空间中应当彼此靠近。

形式化地说，点云 \(\mathbf{x}\) 经过 3D 编码器 \(f_{\theta}\) 得到向量 \(\mathbf{z}_{3D}\)，句子 \(\mathbf{t}\) 经过文本编码器 \(g_{\phi}\) 得到 \(\mathbf{z}_{T}\)，两者身处同一个向量空间：

老张的坐标纸越画越准，是因为两个助理被反复纠正：配对成功的点要画近，不配对的要画远。模型训练做的正是这个“纠正”过程。那照片助理是怎么学会看“贴纸堆”的？这就是下一节的内容。

三维编码器：PointNet式置换不变

老张给照片助理递过去一叠“特殊照片”——上面不是整齐的方格照片，而是一堆散落的贴纸点，没有顺序、没有边框。助理发愁了：普通照片可以“从左往右看”，贴纸堆该从哪张看起？如果换个顺序结论就变，这活就没法干。

点云正是这样一堆三维空间中的点：无序、稀疏、点数不固定。普通 CNN 要求规则网格（像像素照片），直接“投喂”点云会失灵。因此 3D 编码器必须有置换不变性：无论怎么打乱点的顺序，输出都一样。PointNet 用共享 MLP 加最大池化实现这一点，DGCNN 则引入图卷积来捕捉局部几何结构。

PointNet 的思路很直白：每个点独立经过同一个 MLP 升维，再对所有点逐维取最大值，得到全局特征。这就像助理把每张贴纸都看一遍，只记下“最突出的气质”：

照片助理找到了窍门：不管贴纸多乱，他只记录“哪张贴纸最像什么气质”，于是先看哪张都不影响结论。这就是置换不变的朴素含义。照片这边搞定了，简介那边的助理又有新麻烦——文本是有顺序的。

文本编码器：Transformer与语义抽取

简介助理拿到一份简介：“柴犬坐在椅子上”。他刚想按老办法“抓关键词”，突然发现这句话把语序换一下——“椅子坐在柴犬上”——就是另一个世界。简介不能像贴纸一样随便打乱，必须顺着读，还要结合上下文理解。

文本编码器通常用 Transformer：词元按顺序进入自注意力层，每个词的表示根据上下文不断更新。在 3D-文本对比学习中，文本侧常用预训练语言模型初始化，因为通用语义已经学得很好，任务里只需微调，让它“贴着”3D 侧的分布走。这就像红娘直接用一位有经验的“语文老师”做简介助理，不必从识字教起。

设句子词元化后为 \(\mathbf{t}_1,\dots,\mathbf{t}_L\)，Transformer 输出每个词元的隐状态 \(\mathbf{h}_j\)，文本向量取所有隐状态的均值：

简介助理从此学会“联系上下文读简介”：看到“带扶手的椅子”，他脑中浮现的是一把完整椅子，而不是“扶手”和“椅子”两个孤立的词。两个助理都就位了，接下来是红娘的奖惩规则——对比损失。

对比损失：InfoNCE与温度系数

老张训练两个助理的方式，是一场“看图认人”考试：每次递过去一张简介和一堆长得差不多的照片，必须挑出真正对应的那张。挑对加分，挑错扣分。而那些“看起来很像其实不是”的照片扣分最狠——这样才能逼出真本事。

对比学习的标准损失是 InfoNCE。一个 batch 有 B 对（文本 \(i\)，3D 形状 \(i\)），把 B×B 相似度矩阵对角线上视为正样本对，其余 B-1 对视为负样本，做 softmax 分类。这个损失让正样本对的相似度尽量高、负样本对的相似度尽量低：

考试一轮轮进行，助理的眼力越来越准。注意实际训练还要做对称损失——把“形状→文本”方向也考一遍，因为真实业务里两个方向的检索都会用到。红娘出师后的第一份工作，是档案室的检索员。

三维检索：文本查形状

老张把几万人的照片整理成册。现在有人递来一张简介：“戴帽子的柴犬，三岁”，要求从照片册里找出对应的人。老张的新工作，就是“按简介找照片”。

文本驱动的 3D 检索不需要再训练：所有形状离线过一遍 3D 编码器建成向量库，查询时把文本编码成向量，与库中每个形状算余弦相似度，按分数排序取 Top-K。由于嵌入空间是对齐的，检索天然跨模态。更妙的是，对训练时从未见过的类别，只要文本语义能描述出来，也能正确召回——这就是零样本检索。

相似度打分就是对齐向量的余弦相似度：

常用的评测指标有 R@K（前 K 个结果中命中正确形状的比例）、MedR（正确结果的中位排名）和 mAP（平均精度均值），它们直接衡量红娘的“眼力”。

老张的检索生意越做越大，因为坐标系是“活”的：新类别只要描述得出来，就能在照片册里找到位置。可客户还不满足——他们问：“能不能我只说一句话，您直接把照片画出来？”这就引出了下一节：文本生成 3D。

文本生成3D：条件生成与扩散

老红娘的终极考验来了：客户不找现成照片，而是说“我想要一个温柔、爱爬山、戴圆框眼镜的人”，要求直接画出一张画像。从“按简介找照片”到“按简介画肖像”，老张的坐标系依然是核心——画像必须落在简介对应的那片区域。

文本驱动 3D 生成正是以对比学习学到的对齐空间为桥梁：生成模型（常见的是扩散模型）在形状表示空间里从噪声出发逐步去噪，每一步都以文本条件向量 \(\mathbf{z}_{T}\) 为引导，最终产出与语义匹配的 3D 点云或网格。训练时使用条件去噪损失，让模型学会“这句描述对应什么形状”：

实际落地中，游戏与影视制作可以用“一句话草图”快速出白模；检索增强的思路（先用检索召回相似形状再约束生成）能显著提高生成结果与真实类别的吻合度。

老张终于把“看照片”“读简介”“按简介找人”“听简介画人”四门手艺串成了一条产业链。而这一切都源于那张“心动坐标纸”——对比学习，就是坐标纸本身。

AI 应用场景

Python 演示

import torchimport torch.nn as nnimport torch.nn.functional as F  class PointNetLike(nn.Module):    """简化3D编码器: 逐点共享MLP + 最大池化, 实现置换不变"""    def __init__(self, in_dim, hidden_dim, out_dim):        super().__init__()        self.mlp = nn.Sequential(            nn.Linear(in_dim, hidden_dim),            nn.ReLU(),            nn.Linear(hidden_dim, hidden_dim),            nn.ReLU(),        )        self.head = nn.Linear(hidden_dim, out_dim)     def forward(self, points):        # points: (B, N, 3)  逐点升维        h = self.mlp(points)            # (B, N, hidden)        pooled = h.max(dim=1).values    # (B, hidden) 最大池化        return F.normalize(self.head(pooled), dim=-1)  class TextEncoder(nn.Module):    """简化文本编码器: 把词袋向量映射到共享空间"""    def __init__(self, vocab_dim, hidden_dim, out_dim):        super().__init__()        self.net = nn.Sequential(            nn.Linear(vocab_dim, hidden_dim),            nn.ReLU(),            nn.Linear(hidden_dim, out_dim),        )     def forward(self, bow):        return F.normalize(self.net(bow), dim=-1)  def contrastive_loss(z_text, z_shape, temperature=0.07):    """对称InfoNCE: 文本->形状 与 形状->文本 两个方向交叉熵取平均"""    logits = z_text @ z_shape.T / temperature    labels = torch.arange(z_text.size(0), device=z_text.device)    loss_t2s = F.cross_entropy(logits, labels)    loss_s2t = F.cross_entropy(logits.T, labels)    return (loss_t2s + loss_s2t) / 2  def make_batch(num_cat, batch_size, num_points, vocab_dim, seed=0):    """构造玩具数据: 每类一个模板形状和一个模板文本, 类内加噪成样本"""    torch.manual_seed(seed)    cat = torch.randint(0, num_cat, (batch_size,))    base_shape = torch.randn(num_cat, 3)    base_text = torch.randn(num_cat, vocab_dim)    shapes = base_shape[cat].unsqueeze(1).expand(batch_size, num_points, 3)    shapes = shapes + torch.randn_like(shapes) * 0.05    texts = base_text[cat] + torch.randn(batch_size, vocab_dim) * 0.05    return shapes, texts, cat  def main():    torch.manual_seed(0)    shape_enc = PointNetLike(3, 32, 16)    text_enc = TextEncoder(32, 32, 16)    params = list(shape_enc.parameters()) + list(text_enc.parameters())    opt = torch.optim.Adam(params, lr=1e-3)     for epoch in range(50):        shapes, texts, _ = make_batch(8, 16, 32, 32)        z_shape = shape_enc(shapes)        z_text = text_enc(texts)        loss = contrastive_loss(z_text, z_shape)        opt.zero_grad()        loss.backward()        opt.step()        if epoch % 10 == 0:            print(f"epoch {epoch:02d} loss {loss.item():.4f}")     # 检索评测: 每个文本查询取相似度最高的形状, 看是否同类    shapes, texts, cat = make_batch(8, 16, 32, 32, seed=1)    with torch.no_grad():        z_shape = shape_enc(shapes)        z_text = text_enc(texts)        sim = z_text @ z_shape.T        top1 = sim.argmax(dim=1)    acc = (top1 == cat).float().mean().item()    print(f"文本->形状 top-1 检索准确率: {acc:.2f}")  if __name__ == "__main__":    main()

1. pooled = h.max(dim=1).values最大池化聚合全部点，天然置换不变，是点云编码器的灵魂。
2. return F.normalize(self.head(pooled), dim=-1)归一化到单位超球面，让相似度只由方向决定。
3. logits = z_text @ z_shape.T / temperature构造 B×B 跨模态相似度打分矩阵。
4. labels = torch.arange(z_text.size(0), device=z_text.device)对角线即正样本对，batch 内其余样本自动成为负样本。
5. loss_s2t = F.cross_entropy(logits.T, labels)对称损失的形状→文本方向，与文本→形状方向取平均。
6. sim = z_text @ z_shape.T; top1 = sim.argmax(dim=1)检索阶段：每个文本查询取最相似的形状。

常见误区

面试题