视觉问答VQA：看图回答你的问题

可视化演示

动态演示视觉问答VQA的核心机制，通过全局/局部/动态/静态四种模式展示关键概念与交互流程。

任务定义：什么是看图问答

博物馆给讲解员发了一本《工作说明书》：游客指着一幅画问任何问题，讲解员必须结合画面给出一个合适的回答。VQA 的任务定义和这本说明书如出一辙——输入是“一张图片 ＋ 一个自然语言问题”，输出是“一个答案”。注意输入的括号里是“和”不是“或”：只给图是图像分类，只给问题是文本问答，两者必须同时在场，缺一不可。

在数学上，VQA 被建模成一个条件概率问题：模型要学习在“看到图 I、听到问句 Q”的条件下，从候选答案集合中挑出最合适的答案。这个候选答案集合就像是讲解员平时积累的讲解词库，里面装着“红色”“3 个”“是”这类短答案。为什么强调“条件”？因为同一个苹果图，问“什么颜色”答红色，问“几个”答一个——答案完全由问题牵引。

VQA 也因此被称为“多模态理解的探照灯”：它强迫模型同时理解视觉内容和语言意图，是检验 AI 是否真的“看懂”图片的经典任务。应用上，它已经走进智能客服（拍照问商品）、教育辅导（拍题求解）、无障碍问答（帮视障人士读路牌）等场景。

看，有了这本“工作说明书”，后面的所有模块都在回答同一个问题：如何把 I 和 Q 变成能打分的特征，让词库里的正确答案脱颖而出。

视觉特征提取：让 AI 睁眼

讲解员走进展厅的第一步，永远是先“扫画”：不聚焦任何细节，用余光把整幅画的构图、色彩、物体位置扫进大脑。在 VQA 里，这个动作叫视觉特征提取，负责的是“眼睛”——视觉编码器。没有这一步，模型就像蒙着眼答题的讲解员，再博学也无从说起。

最早流行的“眼睛”是 CNN 卷积网络。它像一把小放大镜，在图像上滑来滑去，先看边缘和纹理，再一层层叠加出“这里是屋顶”“那是一棵树”的语义。后来视觉 Transformer（ViT）换了一种看法：把画均匀切成 16×16 的小块，像拼图一样给每块打上位置编号，交给 Transformer 让所有小块互相“打招呼”，每个小块都能参考全图其他小块的信息，全局视野更好。

还有一条常用路线是区域特征：先用目标检测器圈出“屋顶、树、人”等物体，再对每个区域单独编码。这就像讲解员先扫一眼画里有哪些角色，再逐个细看。三种方式殊途同归，都是为了把“图像”变成一串计算机能算的向量。

扫画完毕，讲解员脑海里已经有了“哪块区域有什么”的草稿，接下来他需要竖起耳朵，听清游客到底在问什么。

问题文本编码：让 AI 听懂

讲解员扫完画，游客开口了：“屋顶是什么蓝？”他竖起耳朵，抓住两个关键词——“屋顶”和“蓝”。AI 的“耳朵”是文本编码器，任务就是把一句自然语言问题变成一组向量。可计算机不认识汉字，怎么办？第一步是把词转成向量：先给每个词一个编号（one-hot），再通过一张“词嵌入表”查出对应的稠密向量。这张表就像讲解员脑中的词典，把“蓝”映射成一组能和其他词比较的数字。

有了词向量还不够，词的顺序和上下文也很重要。“屋顶是什么蓝”和“蓝是什么屋顶”完全是两回事。早期的做法是用循环网络（LSTM）从左往右读词，再把反向读一遍拼起来（BiLSTM），让每个词的表示都吸收左右邻居的信息。如今的主流方案是预训练模型 BERT：它在大规模文本上“读过万卷书”，知道“蓝”常和“天空”“海洋”一起出现，这种先验知识对理解问句非常有帮助。

无论用哪条路线，终点都是把问题压缩成一个“问题向量”或一组“问题词向量”，交给下一步去和视觉特征打交道。讲解员把“屋顶”“颜色”这两个关键词牢牢记在脑子里，下一步就要让它们和画面里的区域对上号。

耳朵听清了问题，眼睛也扫过了画面，接下来是最关键的动作：让听到的“屋顶”和看到的“蓝色区域”在脑子里撞出火花。

多模态融合：眼睛与耳朵对齐

讲解员现在要做全场最核心的动作——把耳朵里听到的“屋顶”和眼睛里看到的“蓝色区域”对上号。如果只是把看到的特征和听到的特征用胶带捆在一起，相当于把两张便签订成一叠：纸是挨着了，内容却各说各话。这种“简单拼接”虽然是最朴素的融合方式，但只能作为基线，因为它没有建立两个模态之间的对应关系。

真正让融合“活”起来的，是注意力机制。想象讲解员手里有一束探照灯，灯光的开关由问题词控制：他说“屋顶”，灯光就扫向画面的屋顶区域；说“树”，灯光就切到树那边。在数学上，这就是把问题词当作“查询”，把图像区域当作“键和值”，先算每个问题词和每个图像区域的相似度，再用相似度当权重，把视觉特征加权汇总。这样得到的视觉特征，是“被问题筛选过”的视觉特征。

更进一步，双线性融合让两个模态的每个维度两两相乘再投影，交互更细；协同注意力则让图像和文本互为探照灯，你引导我、我引导你。无论哪种，本质都是完成同一件事：跨模态对齐——让语言中的每个概念，都能在画面中找到它对应的位置。

此时讲解员的目光已经牢牢锁在蓝色屋顶上，脑海里的重点从“整幅画”浓缩成“屋顶的颜色”。下一步，他该组织语言开口了。

答案生成：组织语言回答

讲解员目光锁定屋顶，深吸一口气，开口：“这是钴蓝。”答案生成模块就是讲解员的“嘴”。它有两种工作模式。第一种叫分类式，也是主流：把融合后同时含视觉和文本信息的特征向量，送进一个线性分类器——词库里每个候选答案都有一组专属权重，谁得分高谁就赢。这就像讲解员在词库里挑出最贴切的那张讲解词卡片。

第二种叫生成式，更像即兴发挥：把融合特征作为解码器的起点，像写文章一样一个词一个词地“造句”，每次预测下一个最可能的词，直到输出完整句子。这种模式词表更自由，能回答开放性问题，但对训练数据和推理资源要求更高。工程上，分类式因为可控、易评估而更受青睐；研究上，生成式则让 VQA 向真正的“对话”靠近。

无论哪种模式，都要回答同一个问题：给定这份“看完图、听完问”的特征，词表里（或词汇空间里）哪个答案概率最大？

讲解员张嘴的那一刻，前面所有的“看、听、想”都凝结成一句答案。可问题来了——他怎么知道自己的讲解水平合格？这就要说到上岗前的“考核”了。

数据集与评估：讲解员考核

讲解员上岗前要参加一场严格的考核：考官准备几百张画和对应的问题，逐一提问，答对一题记一分。VQA 数据集就是这份考卷。最常用的有 VQA v2、Visual Genome、GQA 等，它们收集了海量“图片-问题-答案”三元组。答案通常很短——“是/否”、数字、短语——这正是分类式答案生成能大展身手的原因。

不过这份考卷有一个狡猾的陷阱，叫“语言先验”。研究发现，数据集里“有没有 X”这类问题，答案大多是“没有”；“X 是什么颜色”的答案分布也不均匀。模型如果只背语言统计规律，不看图也能蒙对不少题。VQA v2 的改进正是针对这一点：给“有没有香蕉”配上“有几根香蕉”这样的负样本对，让单纯靠语言习惯答题的模型瞬间露馅。

评估指标也不能只看一个总分。标准做法是先算整体准确率，再按问题类型分组（yes/no、number、other）分别报告，观察模型在哪种题型上真正“看懂”了。一份合格的考核报告，应当让讲解员无处作弊。

考核通过，讲解员终于可以上岗了。但他背的“知识库”太厚，翻书太慢，游客可没耐心等他。

部署与优化：让讲解员上岗

拿到上岗证，讲解员却发现自己犯了难：大脑里装着一套庞大的“知识库”，每次回答问题都要翻很久的资料，游客排起了长队。部署与优化就是给讲解员“瘦身提速”的过程。第一步是模型压缩——剪枝把不重要的连接剪掉，就像讲解员丢掉十年用不上的冷知识；量化把 32 位浮点参数变成 8 位整数，相当于把厚书改成速查手册，体积骤减四分之三。

第二步是知识蒸馏：让大模型当“导师”，把自己判断答案的“软思考”（概率分布）教给一个小模型。小模型学到的不仅是正确答案，还有“这个答案和那个答案差不多”的细腻判断，所以能又小又准。第三步是推理加速：用 ONNX、TensorRT 等推理引擎优化计算图，配合批量推理和缓存，把单次回答的延迟从秒级压到毫秒级。

最后别忘了场景适配。客服场景的词表、教育场景的词表不一样，部署时要针对垂直领域微调，裁剪无关答案，就像给讲解员发一本“本馆专用讲解手册”。经过这一套组合拳，讲解员脚步轻快，游客的问题张口就答，VQA 才真正从实验室走进产品。

瘦身后的讲解员终于站在展厅里，从容面对每一位游客。从任务定义到部署优化，这一套“看、听、想、答、考、炼”的流程，正是 VQA 从概念走向产品的完整旅程。

AI 应用场景

Python 演示

import numpy as np COLORS = ['红色', '绿色', '蓝色']COLOR_IDX = {'红': 0, '绿': 1, '蓝': 2}  def make_image(circle_color, square_color, size=32):    img = np.zeros((size, size, 3))    yy, xx = np.mgrid[0:size, 0:size]    circle_mask = (xx - size * 0.5) ** 2 + (yy - size * 0.25) ** 2 < (size * 0.2) ** 2    square_mask = (np.abs(xx - size * 0.5) < size * 0.18) & (np.abs(yy - size * 0.75) < size * 0.18)    img[circle_mask, COLOR_IDX[circle_color]] = 1.0    img[square_mask, COLOR_IDX[square_color]] = 1.0    return img  def visual_features(img):    h = img.shape[0] // 2    def region_feat(region):        return region[:, :, 0].mean(), region[:, :, 1].mean(), region[:, :, 2].mean()    top = img[:h]    bottom = img[h:]    return np.array(region_feat(top) + region_feat(bottom))  def question_vector(question):    q = np.zeros(2)    if '圆' in question:        q[0] = 1.0    else:        q[1] = 1.0    return q  def cross_modal_fusion(img, question):    v = visual_features(img)    q = question_vector(question)    return np.concatenate([v[:3] * q[0], v[3:] * q[1]])  def make_dataset(n=400):    X, Y = [], []    for _ in range(n):        cc = COLORS[np.random.randint(3)]        sc = COLORS[np.random.randint(3)]        img = make_image(cc, sc)        if np.random.rand() < 0.5:            X.append(cross_modal_fusion(img, '圆形是什么颜色'))            Y.append(COLOR_IDX[cc])        else:            X.append(cross_modal_fusion(img, '方形是什么颜色'))            Y.append(COLOR_IDX[sc])    return np.array(X), np.array(Y)  def softmax(z):    e = np.exp(z - z.max(axis=1, keepdims=True))    return e / e.sum(axis=1, keepdims=True)  def train(X, Y, epochs=200, lr=0.5):    W = np.zeros((X.shape[1], 3))    Y_onehot = np.eye(3)[Y]    for _ in range(epochs):        prob = softmax(X @ W)        grad = X.T @ (prob - Y_onehot) / len(X)        W -= lr * grad    return W  if __name__ == '__main__':    X, Y = make_dataset()    W = train(X, Y)    test_img = make_image('红', '绿')    for question in ['圆形是什么颜色', '方形是什么颜色']:        feat = cross_modal_fusion(test_img, question)        ans = COLORS[np.argmax(softmax(feat.reshape(1, -1) @ W)[0])]        print('问题：', question, '-> 答案：', ans)    acc = (np.argmax(softmax(X @ W), axis=1) == Y).mean()    print('训练集准确率：%.2f' % acc)

1. img[circle_mask, COLOR_IDX[circle_color]] = 1.0用网格坐标生成圆形区域的掩码，给圆形像素涂上指定颜色，模拟讲解员眼中的“画布”。
2. def visual_features(img):视觉特征提取：把图像分成上下两个区域，各统计 RGB 三个通道的平均亮度，得到 6 维视觉特征。
3. np.concatenate([v[:3] * q[0], v[3:] * q[1]])跨模态门控融合：问题向量决定保留上半区还是下半区的颜色特征，相当于把探照灯打到对应区域。
4. grad = X.T @ (prob - Y_onehot) / len(X)softmax 回归的梯度更新：让模型逐步学会“看到红色特征就答红色”。
5. ans = COLORS[np.argmax(softmax(feat.reshape(1, -1) @ W)[0])]从概率最大的类别中取出中文答案，完成从特征到人类可读文本的最后一步。

常见误区

面试题