VideoQA视频问答：让AI看懂视频回答问题

可视化演示

展示VideoQA模型架构：视频帧经3D CNN编码，与文本特征通过交叉注意力对齐，生成答案；以及长视频时序推理中的记忆网络机制。

任务定义

监控室的老陈一年要回答上千个问题，无论业主问得多随意——“昨晚9点谁进过车库？”“那个红雨衣后来去哪了？”——他都能给出准确答案。把这套模式概括成一句话：给定一段录像和一句人话问题，说出一句正确的人话答案。这就是 VideoQA 的任务定义：让 AI 在“看完”一段视频后，针对一个自然语言问题给出答案。

在 AI 术语里，VideoQA 全称 Video Question Answering，是视觉问答（VQA）在时间维度上的延伸。输入包含两部分：一段视频（几秒到几分钟不等）和一个自然语言问题；输出是答案。与只看单张图片的 VQA 相比，VideoQA 必须额外处理“时间”和“运动”两件事——画面里的人会走、车会开、事件有先后顺序。

从建模角度看，VideoQA 被定义为一个条件概率问题：给定视频 V 与问题 Q，模型先估计每个候选答案 A 出现的概率，再输出概率最大的那个答案。写成公式就是：

$$\displaystyle \hat{A} = \arg\max_{A \in \mathcal{A}} P(A \mid V, Q)$$

1. 候选答案集合：公式中的 \mathcal{A} 表示所有候选答案构成的集合，分类式任务里是固定选项，生成式任务里是词表空间，模型的输出必须落在这个范围内。

$$A \in \mathcal{A}$$

2. 视频与问题：V 指输入视频经过特征提取后的表示，Q 指问题文本经过编码得到的向量，它们共同构成模型作答的依据。

$$V, Q$$

3. 条件概率：P(A | V, Q) 表示“在看完视频 V、听懂问题 Q 的前提下，答案是 A”的可能性，这是模型要学习的目标分布。

$$P(A \mid V, Q)$$

4. 最大后验：\arg\max 表示遍历所有候选答案，挑出条件概率最大的那一个作为模型输出，老陈的“直觉”在这里被换成了数值比较。

$$\hat{A} = \arg\max_{A \in \mathcal{A}} P(A \mid V, Q)$$

老陈每次回答，其实都在心里过一遍这道“选择题”：脑中闪过候选的人、物、地点，挑出与画面和问题最吻合的那个。模型做了同样的事，只不过把“直觉”换成了可以学习的概率分布。

特征提取

老陈看监控有个职业习惯：不盯死角，只盯关键线索。一个多小时的录像，他真正记住的只有十几秒——人脸、车牌、脚步节奏。在他看来，“看懂”不是背下每个像素，而是提炼出有用的线索。模型的第一步工作也完全一样：特征提取。

原始视频是一大堆像素，直接塞给模型既慢又没用。第一步是帧采样：按固定间隔从视频中抽出若干帧，组成帧序列；第二步由视觉编码器（如 ResNet、ViT）把每一帧压缩成一个向量，帧序列随之变成向量序列。此外还有一类信息藏在“运动”里——光流算法计算相邻帧之间像素的位移，捕捉“谁在往哪个方向动、动得多快”。

好的特征提取要兼顾内容与运动。视觉编码器处理静态信息（人、物、场景），光流或帧差捕捉动态线索（奔跑、转身、交递物品）。采样策略同样关键：均匀采样保证时间覆盖，关键帧采样优先保留信息量大的画面；面对长视频还会做分段采样，避免信息过载。

回到老陈：他脑中记下的不是录像带，而是一张线索卡——红雨衣、白面包车、后门、凌晨三点。VideoQA 模型的特征提取，就是要把高维视频压缩成这种低维的“线索向量”，后续的对齐与推理都建立在这些向量之上。

特征对齐

业主问“穿红雨衣的人后来去哪了”，老陈得先确认“红雨衣”对应画面里的哪个人。他脑子里有两种信息——语言（问题里的词）和视觉（画面里的物），两者必须对上号。这个“对上号”的过程，就叫特征对齐。

在模型中，视觉特征来自视频编码器，文本特征来自语言编码器（如 BERT），两者住在不同的向量空间，无法直接比较。特征对齐要做的事，是让问题中的每个词都能找到视频中与之相关的帧区域，也就是把两个模态映射到同一个公共语义空间。

最主流的手段是注意力机制（Attention）。以“问题查视频”为例：问题的词向量作为查询 Q，视频帧向量作为键 K 与值 V，模型计算每个词对每帧的关注程度，再按权重把帧特征聚合起来。标准公式如下：

$$\displaystyle \text{Attention}(Q, K, V) = \text{softmax}\left(\frac{QK^{\top}}{\sqrt{d}}\right)V$$

1. 三张投影表：Q（查询）、K（键）、V（值）由同一组输入分别乘以三个可学习矩阵得到，各自承担“提问、索引、取值”的分工。

$$Q = XW_Q, \quad K = XW_K, \quad V = XW_V$$

2. 相似度打分：QK^{\top} 计算查询向量与每个键向量的点积，点积越大，说明问题词与该帧相关性越强。

$$s_i = \frac{Q \cdot K_i^{\top}}{\sqrt{d}}$$

3. 缩放因子：除以 \sqrt{d} 是为了防止向量维度大时点积数值过大，导致 softmax 进入饱和区、梯度消失。

$$\frac{QK^{\top}}{\sqrt{d}}$$

4. 归一化权重：softmax 把一组打分变成和为 1 的概率权重，突出“最相关”的帧。

$$\alpha_i = \frac{\exp(s_i)}{\sum_j \exp(s_j)}$$

5. 加权求和：用权重对所有值向量加权求和，得到对齐后的特征输出，这就是“带着问题看视频”的最终表示。

$$\text{Output} = \sum_i \alpha_i V_i$$

老陈恍然大悟“原来是你”的瞬间，就是对齐完成的瞬间——权重大的画面在脑中亮起来，语言与画面严丝合缝地接上。模型里，这个瞬间表现为一张注意力权重矩阵：行是问题词，列是视频帧，亮的格子就是线索所在。

时序建模

光对齐还不够。老陈讲故事讲究顺序：“9点02进车库，9点05上电梯，9点10从后门离开。”如果只记住孤立的画面，他只能说“车库有车、电梯有人、后门有人”，却说不清过程。顺序与因果，是视频问答的灵魂。

时序建模的目的，就是让模型理解帧与帧之间的先后与因果关系。最简单的做法是把帧特征按顺序拼成一个序列，交给循环网络或 Transformer；视频 Transformer 会给每帧加上位置编码，相当于给每帧贴一张时间戳。

视频帧数多、信息冗余，不能每一帧都等权对待。常用方案是时序注意力：让模型为每帧计算一个重要性权重，再加权求和得到视频的整体表示：

$$\displaystyle \bar{v} = \sum_{t=1}^{T} \alpha_t v_t, \qquad \alpha_t = \frac{\exp(e_t)}{\sum_{j=1}^{T}\exp(e_j)}$$

1. 第 t 帧特征：v_t 是视频第 t 帧经编码器得到的向量，T 是采样后的总帧数。

$$v_t, \quad t = 1, 2, \dots, T$$

2. 重要性打分：e_t 是模型为第 t 帧打的时序重要性分，通常由该帧特征与问题表示共同计算得出。

$$e_t = \text{score}(v_t, q)$$

3. 归一化权重：\alpha_t 是对所有帧打分做 softmax 后得到的权重，体现了“哪一帧对回答最有用”。

$$\alpha_t = \frac{\exp(e_t)}{\sum_{j=1}^{T}\exp(e_j)}$$

4. 加权聚合：\bar{v} 是所有帧按权重累加得到的视频整体表示，它保留了关键瞬间、压低了无关片段。

$$\bar{v} = \sum_{t=1}^{T}\alpha_t v_t$$

老陈的时间轴是连续的、有主次的：重要瞬间权重高，无关片段一笔带过。时序注意力让模型也拥有这条“有主次的时间轴”——回答“先做什么、后做什么”时，它知道该把哪个瞬间推到台前。

模型架构

老陈的优秀其实是整体布线的优秀：眼睛负责收集画面，记忆区负责存时间线，推理区负责拼因果，语言区负责组织回答。不同人配比不同，能力也各异。模型架构也是如此——不同的 VideoQA 模型，就是不同的“大脑布线方案”。

主流架构有四类。第一类双流架构：视频和文本各自独立编码成两个特征流，直到最后融合层才交互，适合两类特征差异大的场景。第二类编码器-解码器：编码器把“视频+问题”编码成上下文向量，解码器据此逐词生成答案，是生成式 VideoQA 的标配。

第三类预训练-微调范式：先在百万级视频-文本对上预训练（对比学习、遮罩内容重建），让模型预装“视觉常识”，再在 VideoQA 数据集上微调，这是当前效果最好的路线。第四类端到端方案：从原始视频和文本直接端到端训练联合模型，不依赖人工设计的两段式特征管线，训练成本高但上限可观。

老陈不是天生神探，警队的系统训练让大脑各区域配合默契；模型也一样，预训练相当于警校课程，微调相当于在真实案件库中实习。架构选择决定了机器先看什么、后看什么、何时融合，这与老陈“先扫屏、再锁定、后复盘”的习惯如出一辙。

推理生成

老陈最神奇的一步发生在开口之前：所有线索在脑中拼成完整故事——先判断红雨衣是“人”而不是“旗子”，再推理他为什么走车库，最后组织成一句人话。视觉推理加上语言生成，是老陈的最后一公里，也是模型的最后一公里。

视觉推理指模型利用视频中的视觉证据做多步推断，比如“谁碰了杯子 → 杯子后来碎了 → 谁应该为此负责”。答案生成有两条路：判别式（分类式）在候选答案中挑一个；生成式用解码器逐个词写回答，适合开放式问题。

生成式解码的核心是条件语言模型：每一步根据视频、问题和已经生成的词，预测下一个词的概率；整个答案的概率等于各步概率连乘。公式如下：

$$\displaystyle P(a_1, \ldots, a_n \mid V, Q) = \prod_{t=1}^{n} P(a_t \mid a_{<t}, V, Q)$$

1. 答案词序列：答案由 n 个词组成，a_t 表示答案中第 t 个词，整个序列就是一句完整的回答。

$$a = (a_1, a_2, \dots, a_n)$$

2. 历史词：a_{<t} 表示已经生成的前 t-1 个词，它们是生成下一个词时的“上下文”。

$$a_{<t} = (a_1, \dots, a_{t-1})$$

3. 逐步概率：每一步根据视频 V、问题 Q 与已生成词 a_{<t}，预测下一个词 a_t 的概率。

$$P(a_t \mid a_{<t}, V, Q)$$

4. 链式乘法：把每一步概率连乘，得到整个答案序列的联合概率，模型选择整体概率最高的句子作为回答。

$$\prod_{t=1}^{n}P(a_t \mid a_{<t}, V, Q)$$

老陈回答问题时从不打草稿，但每个词都忠于脑中的画面和前面的话；生成式模型同样“开口即推理”，一边说一边回头看视频和已生成内容。区别只在于，老陈说的是“人话”，模型学的是“词的概率”。

数据评测

老陈不是天生就神。警队有几千个历史案件录像，每个案件都标好标准答案，结案后要拿他的回答与标准答案比对评分。模型也一样：没有数据就没有本事，没有评测就不知道水平。

常用基准数据集包括：MSVD-QA 与 MSRVTT-QA（YouTube 短视频，偏描述性问答）、TGIF-QA（动图问答，强调运动与计数）、ActivityNet-QA（长视频，偏复杂事件）、NExT-QA（专门考察时序与因果推理）。数据的基本形态是“视频 + 问题 + 标准答案”三元组。

评测指标按任务类型划分：分类式（选择题式）直接用准确率 Accuracy；生成式（开放回答）用 CIDEr、METEOR 等指标，比较生成答案与参考答案的语义相似度。当前主要挑战集中在三处：长视频建模的算力瓶颈、时序因果推理能力薄弱，以及数据集偏置——模型仅凭问题关键词和静态帧就可能蒙对答案，导致准确率虚高。

老陈办案越多，见过的线索组合越丰富，判案越稳。VideoQA 模型同样是“数据喂出来的侦探”：数据规模与质量决定推理上限，评测指标则决定我们能否分辨“真懂”与“蒙对”。

AI 应用场景

Python 演示

import mathimport random random.seed(42) # candidate answers and their indicesANS = ["basketball", "umbrella", "car", "tennis"] # toy video data: (question keyword, frames, correct answer index)VIDEOS = [    ("ball", [[1, 0, 0.2, 0.1, 0], [0.3, 1, 0.1, 0, 0.2],              [0, 0.2, 0.8, 0.3, 0], [0, 0, 0.5, 1, 0.3]], 0),    ("rain", [[0, 0.1, 0.2, 0, 0.9], [0.1, 0, 0.3, 0.2, 0.8],              [0, 0.4, 0.1, 0, 0.7], [0.2, 0, 0, 0.8, 0.6]], 1),] def question_embed(word):    # map the keyword to a 5-dim query vector    table = {"ball": [1.0, 0.6, 0.2, 0.0, 0.0],             "rain": [0.0, 0.2, 0.1, 0.0, 1.0]}    return table.get(word, [0.0] * 5) def dot(a, b):    return sum(x * y for x, y in zip(a, b)) def attention(query, frames):    # score each frame then normalize with softmax    scores = [dot(query, f) for f in frames]    exps = [math.exp(s) for s in scores]    denom = sum(exps)    return [e / denom for e in exps] def temporal_aggregate(frames, weights):    # weighted sum of frame features -> video representation    d = len(frames[0])    vbar = [0.0] * d    for f, w in zip(frames, weights):        for i in range(d):            vbar[i] += f[i] * w    return vbar def classify(vbar, qvec):    # score every answer with a simple linear fusion    aemb = {        "basketball": [0.8, 0.7, 0.3, 0.1, 0.1],        "tennis": [0.6, 0.5, 0.2, 0.4, 0.1],        "umbrella": [0.1, 0.1, 0.2, 0.1, 0.9],        "car": [0.2, 0.9, 0.7, 0.2, 0.0],    }    scores = [(dot(vbar, aemb[a]) + 0.5 * dot(qvec, aemb[a]), a) for a in ANS]    return max(scores)[1] def run_videoqa(video_frames, question):    qvec = question_embed(question)    w = attention(qvec, video_frames)    vbar = temporal_aggregate(video_frames, w)    answer = classify(vbar, qvec)    return answer, w if __name__ == "__main__":    frames = VIDEOS[0][1]    answer, w = run_videoqa(frames, "ball")    print("attention weights:", [round(x, 2) for x in w])    print("answer:", answer)    assert answer == "basketball"

1. scores = [dot(query, f) for f in frames]计算问题查询向量与每一帧特征的相似度打分，对应“问题找画面”
2. exps = [math.exp(s) for s in scores]把原始打分转成指数形式，保证权重非负
3. return [e / denom for e in exps]除以总和完成 softmax 归一化，得到和为 1 的注意力权重
4. vbar[i] += f[i] * w按权重把帧特征累加，得到“浓缩了关键画面”的视频整体表示
5. scores = [(dot(vbar, aemb[a]) + 0.5 * dot(qvec, aemb[a]), a) for a in ANS]融合视频表示和问题向量，为每个候选答案打分
6. answer, w = run_videoqa(frames, "ball")一行调用串起“对齐 → 聚合 → 分类”三步，完整走通 VideoQA 流程

常见误区

面试题