多模态大模型发展

CH-06-01-039·约 17 分钟·机器学习·更新 2026-08-10

想象一位博览群书的书生：他读遍天下著作，却从未睁开眼睛看过世界，也没听过一声鸟鸣。他知道书里写着“猫有四条腿、一条尾巴”，却认不出眼前奔跑的真猫；他能背诵“日出东方”，却欣赏不了朝霞的色彩。这位书生，就是只能处理文字的纯文本大模型。多模态大模型要做的事情，正是给这位书生装上“眼睛”与“耳朵”，让他看懂图片、听懂声音、读懂视频，再用文字把理解讲出来。从 GPT-4V 到 Gemini，这类“全能书生”正在快速进化。这篇文章从零讲起：多模态为什么必要、模型架构如何搭建、图文如何对齐、训练如何完成、有哪些典型应用与能力边界，最后展望前沿趋势。读完后，你会对多模态大模型建立完整的直觉框架，也知道在业务里该如何扬长避短。

岗位关联

理解多模态大模型的原理与边界，能帮你判断它在业务中能做什么、不能做什么，选对模型、写好提示词、规避幻觉风险——这是大模型落地时代最实用的判断力。

可视化演示
1. 多模态基础：书生为什么要长出眼睛和耳朵
2. 模型架构：眼睛和耳朵是怎样长出来的
3. 对齐机制：视网膜怎样翻译给大脑
4. 指令微调：训练书生学会看图说话
5. 典型应用：书生上岗后的工作清单
6. 能力边界：书生也有看走眼的时候
7. 发展前沿：下一代的超级书生
AI 应用场景
Python 演示
常见误区
面试题

可视化演示

展示多模态大模型如何将文本、图像、音频、视频编码到统一表征空间并实现跨模态对齐，支持任意模态输入与输出。

本节配有交互动效（进入视口后自动加载，约 3KB）。

多模态架构流程模态编码器：文本ViT/图像CLIP/音频Whisper分别处理输入投影对齐：各模态特征映射到共享词表嵌入空间融合解码：LLM骨干处理多模态token序列生成输出对齐损失：L = L_mlm + λ·L_contrastive 统一表征空间实现跨模态理解与生成

1. 多模态基础：书生为什么要长出眼睛和耳朵

书生之所以“睁眼瞎”，是因为他的大脑只连着文字这一根“输入管道”。而人的世界从来不止一种形态：我们用眼睛收下色彩，用耳朵收下旋律，用手摸出质感。这些不同的信息形态，就是“模态”（Modality）——所谓多模态，就是让 AI 同时拥有多条感知世界的管道。

在 AI 领域，模态指信息的表现形式：文本、图像、音频、视频。传统语言模型只吃文字，像只读书的近视书生；多模态大模型则要同时吞下图文音视频，在同一颗大脑里建立统一理解。GPT-4V 能看图说话，Gemini 能看视频、听语音，本质都是让多条输入管道汇聚到同一个大模型核心。

统一语义理解是核心目标：同一件事，用文字“一只橘猫趴在窗台上”和一张照片表达，语义相同。多模态模型要做的就是让不同模态的特征映射到同一个语义空间，从而能跨模态互译、检索与推理。这需要数据、架构、训练三者协同，缺一不可。

就像一个人要眼睛、耳朵、嘴巴齐备才算完整，多模态模型正把 AI 从“纸上谈兵”推向“亲身体验”。书生睁开了眼，下一步是搞清楚这双眼睛长在他大脑的哪个位置——这就是模型架构。

\mathcal{M}=\{x_{\text{text}},\ x_{\text{image}},\ x_{\text{audio}},\ x_{\text{video}}\}

公式说明：多模态输入被抽象为来自四个“信息通道”的数据，每个 $x$ 分别是同一语义的不同侧面载体。

模态集合$\mathcal{M}$ 表示模型关注的模态种类集合，多模态就是让这个集合包含多个元素。
$\mathcal{M}$
文本通道$x_{\text{text}}$ 是文字输入，比如用户提问“这只猫是什么颜色”。
$x_{\text{text}}$
图像与音频通道$x_{\text{image}}$ 是图片输入，$x_{\text{audio}}$ 是声音输入，让模型像人有了眼睛和耳朵。
$x_{\text{image}},\ x_{\text{audio}}$
视频通道$x_{\text{video}}$ 是视频输入，本质是图像帧与音频的时间序列组合。
$x_{\text{video}}$

2. 模型架构：眼睛和耳朵是怎样长出来的

给书生装眼睛，不是从外面贴一张照片，而是在他脑子里“长”出新的神经回路。多模态大模型的第一步，就是给语言模型外接“感觉器官”——模态编码器。

视觉编码器最常见的形态是 ViT（Vision Transformer）。它把一张图片切成 16×16 像素的小方块（patch），像视网膜上的感光细胞逐个采样，再用注意力机制提取视觉特征。音频、视频编码器同理，负责把原始波形或多帧图像变成特征向量。

有了特征还得“翻译”给大脑。投影层（Projection Layer）是一个可训练的线性映射，把视觉特征映射到语言模型的词向量空间，LLM 才能理解。最后以 LLM（如 Qwen、LLaMA、Gemini 的大语言模型部分）为主干，统一处理文本与视觉信息。LLaVA、Qwen-VL 等多采用“冻结视觉编码器 + 训练投影层与 LLM”的架构变体。

眼睛“长”出来了，书生看到的却还只是零散的光点。这些视觉特征怎么和文字世界的概念一一对上？下一节，我们来看对齐这件“视网膜接大脑”的功夫。

z_p = \text{Flatten}(x_p)\, W_e + b_e

公式说明：图片的每个小补丁展平后做线性变换，变成模型可理解的特征向量——如同把视网膜上的光点翻译成神经信号。

图像补丁$x_p$ 是第 $p$ 个图像小块（patch），比如 16×16 像素的小方格。
$x_p$
展平操作$\text{Flatten}(x_p)$ 把二维像素块拉成一维向量，类似把一张小方格纸摊成一条线。
$\text{Flatten}(x_p)$
线性投影乘以权重 $W_e$ 并加偏置 $b_e$，把像素向量映射到 $d$ 维的特征空间。
$W_e,\ b_e$
位置编码实际实现还会叠加位置信息，告诉模型每个补丁在图片中的方位。
$z_p + \text{pos}_p$

3. 对齐机制：视网膜怎样翻译给大脑

婴儿出生时眼睛和耳朵都不“懂”意思，是无数次“看见猫”与“听到猫字”同时发生，才在视觉与语言间建立了连接。对齐（Alignment）做的就是这件事——让模型学会“看到猫”和“读到猫”在语义上等价。

最经典的方案是图文对比学习，代表工作是 CLIP。做法是构造大批“图文对”：匹配的图和文字作为正样本对，不匹配的作为负样本对，训练模型让正样本对的向量靠近、负样本对的向量远离。对齐之后，图像与文本落入了同一个语义空间。

技术上，图像编码器与文本编码器各自输出向量，用余弦相似度打分，再经温度系数 $\tau$ 调节分布锐度。损失函数是 InfoNCE：让每张图在批内所有文本里“认出”自己的配文。这个投影矩阵与编码器一起训练，是图文互译的“翻译词典”。

对齐完成，书生的视网膜终于接上了大脑语言区。但“看懂”不等于“会回答”。想让他像助理一样有问必答，还需要下一节的手把手教学——指令微调。

\mathcal{L}_{\text{align}}=-\log\frac{e^{\mathrm{sim}(v,t)/\tau}}{\sum_{j=1}^{B} e^{\mathrm{sim}(v,t_j)/\tau}}

公式说明：对比学习损失让“图片-配文”的匹配分数尽量高，就像反复教孩子把“看到猫”和“听到猫”配对。

相似度打分$\mathrm{sim}(v,t)$ 是图像向量与文本向量的余弦相似度，值越大代表越匹配。
$\mathrm{sim}(v,t)$
温度系数$\tau$ 控制打分分布的锐利程度，温度低时模型更苛刻地只认最匹配项。
$\tau$
正样本得分分子 $e^{\mathrm{sim}(v,t)/\tau}$ 是当前“图片-配文”的指数化得分。
$e^{\mathrm{sim}(v,t)/\tau}$
全局归一化分母对所有候选文本求和，把得分变成“这张图选到正确配文”的概率。
$\sum_{j=1}^{B} e^{\mathrm{sim}(v,t_j)/\tau}$
负对数损失取负对数把概率最大化变为损失最小化，等价于拉近正样本、推远负样本。
$-\log(\cdot)$

4. 指令微调：训练书生学会看图说话

对齐让书生“看得懂”，但要他像贴身助理那样回答“这张图里有什么人？沙发什么颜色？”，还需要大量问答练习——这就是指令微调（Instruction Tuning），相当于给书生出一套又一套“看图说话”模拟题。

数据集长这样：「图片 + 问题 → 标准答案」。数据来源包括人工标注、模板自动生成、或由更强模型（如 GPT-4V）生成伪标注再人工校验。数据多样性与质量决定模型能力上限，评测基准则负责量化“练得怎么样”，两者共同驱动迭代优化。

训练时，图像特征经过投影层拼接在文本词向量序列前，整体送入 LLM，做标准的自回归训练：逐个预测下一个词，最小化交叉熵损失。工程上常冻结视觉编码器、只更新投影层与 LLM 参数以省算力，这是 LLaVA 等开源模型的经典配方。

经过成千上万次的“看图问答”，书生终于从“看得懂”升级为“会说话”，可以正式上岗。那么他到底能接哪些活？下一节打开他的工作清单。

\mathcal{L}_{\text{ft}}=-\sum_{t=1}^{T}\log p_\theta(y_t \mid v,\ y_{<t})

公式说明：指令微调损失让模型在每一个位置都尽量预测出正确答案的下一个词，像老师带着书生一句一句对答案。

条件概率$p_\theta(y_t \mid v, y_{<t})$ 表示在给定图片特征 $v$ 和已生成前 $t-1$ 个词的情况下，预测第 $t$ 个词的概率。
$p_\theta(y_t \mid v,\ y_{<t})$
逐位置求和$\sum_{t=1}^{T}$ 把整个回答序列每个位置的损失累加起来，覆盖“从头到尾”的完整性。
$\sum_{t=1}^{T}$
负对数$-\log$ 让正确词的概率尽量接近 1，从而整体损失趋近 0。
$-\log p_\theta(y_t \mid v,\ y_{<t})$
待训练参数$\theta$ 指投影层与 LLM 中可更新的参数，通过反向传播逐步优化。
$\theta$

5. 典型应用：书生上岗后的工作清单

学成出师的书生，能接手哪些过去只有“真人”才能干的活？从智能客服到内容审核，从教学辅导到看报告，多模态大模型正在批量上岗。

图文问答是最基础的应用：用户上传一张商品照片，问“这件衣服适合什么场合？”，模型结合图像与文本作答。视频理解把连续帧的特征与时间信息融合，回答“这段视频里发生了什么”。文档分析针对扫描件、表格、合同，抽取关键字段并结构化输出。跨模态生成更进一步，能根据文本生成图像描述或根据图片生成文案。

这些应用的推理流程本质一致：多模态输入先经各自编码器提取特征，在序列维度拼接成统一输入，送给 LLM 自回归生成。区别在数据形态与后处理：视频需要帧采样或压缩，文档要配合版面分析，生成时用提示词约束输出格式。

书生干活勤快，但也有“看走眼”的时候——把倒影当成真人、把塑料水果说成真水果。下一节我们专门盘点他的能力边界。

h=\mathrm{LLM}\big([\mathrm{Proj}(v_{\text{img}}),\ e_1,\ e_2,\ \ldots,\ e_t]\big)

公式说明：视觉特征经投影后与文本 token 向量拼成一条长序列，一起送入语言模型做统一理解。

图像投影$\mathrm{Proj}(v_{\text{img}})$ 把视觉特征映射到词向量相同的维度，保证可拼接。
$\mathrm{Proj}(v_{\text{img}})$
文本向量$e_1, e_2, \ldots, e_t$ 是用户问题或提示词的词嵌入序列。
$e_1,\ e_2,\ \ldots,\ e_t$
序列拼接$[\cdot, \cdot]$ 在序列长度维度把两类特征首尾相接，形成混合输入。
$[\mathrm{Proj}(v_{\text{img}}),\ e_1,\ e_2,\ \ldots,\ e_t]$
统一推理LLM 用注意力机制同时看到两种模态，完成跨模态的问答与生成。
$\mathrm{LLM}(\cdot)$

6. 能力边界：书生也有看走眼的时候

再聪明的书生也会被错觉欺骗。多模态大模型同样有“幻觉”：图片里明明没有的东西，它却振振有词地描述出来，甚至对细小的物体出现系统性偏好错误。

幻觉是最突出的问题之一。成因复杂：训练数据中图文相关性不足、语言模型“先入为主”爱说常见事物、解码策略鼓励流畅而非忠实。典型表现是“无中生有”：没戴眼镜的肖像被说成戴了眼镜，树上没有猴子却被描述出猴子。

细粒度感知是另一块短板：密集小物体的计数、模糊小字 OCR、物体的空间位置关系判断，准确率仍然偏低。为此社区建设了 MMVP、MMBench、HallusionBench 等评测基准，专门量化模型的“视力和诚实度”。同时，多模态模型也面临内容安全与伦理风险，需要配套的检测与治理手段。

书生再能干也有眼力和诚实的边界。摸清边界，才能在使用时避坑——这正是工程师和产品经理的用武之地。

\text{HR}=\frac{N_{\text{hallucinated}}}{N_{\text{mentioned}}}\times 100\%

公式说明：幻觉率 = 模型提到但图中不存在的对象数 ÷ 模型提到的全部对象数，用来量化“看走眼”的比例。

被提及对象$N_{\text{mentioned}}$ 是模型回答中提到的全部实体对象。
$N_{\text{mentioned}}$
幻觉对象$N_{\text{hallucinated}}$ 是其中图片中实际不存在的对象数量。
$N_{\text{hallucinated}}$
比例换算两者相除再乘 100%，得到幻觉率；数值越高，模型越“爱编故事”。
$\frac{N_{\text{hallucinated}}}{N_{\text{mentioned}}}\times 100\%$

7. 发展前沿：下一代的超级书生

从 GPT-4V 到 Gemini，书生家族在短短两年里完成了“感觉器官的进化”：不仅看得更清，还长出了耳朵，甚至学会了边看边说、实时互动。

2023 年 9 月，GPT-4V 发布，让 ChatGPT 直接支持图片输入，掀起了多模态应用热潮。紧跟着的 Gemini 从设计之初就是“原生多模态”——用统一的 tokenizer 处理文本、图像、音频与视频，而不是把独立模型简单拼装，因此跨模态理解更自然、更流畅。

开源生态同样热闹：LLaVA 验证了“视觉投影 + 对话微调”的简洁配方，Qwen-VL、InternVL 把中文多模态能力推向实用。未来方向包括：更强的细粒度感知、多模态智能体（读屏、操作电脑、规划任务）、端侧实时推理，以及幻觉问题的系统性缓解。数据规模驱动的幂律规律则提醒我们：高质量多模态数据仍是长期红利。

超级书生还在进化。看懂他的过去与现在，才能把你自己的业务放到他能力曲线的正确位置——既不错过红利，也不盲目乐观。

L(D)=A\,D^{-\alpha}+C

公式说明：模型在任务上的损失随多模态数据量 $D$ 按幂律下降，说明“喂数据”依然是提升能力的主引擎。

数据规模$D$ 是训练数据量，例如图文对数量、视频总时长。
$D$
幂律衰减$D^{-\alpha}$ 表示损失随数据量幂次下降，$\alpha>0$ 是下降速度。
$D^{-\alpha}$
残差常数$C$ 是无法靠更多数据消除的损失下限，对应数据噪声与模型结构限制。
$C$
现实启发模型竞争正从“堆参数”转向“堆高质量多模态数据”，数据质量决定上限。
$L(D)=A\,D^{-\alpha}+C$

AI 应用场景

智能客服图文质检

阶段：多模态内容理解与风险识别

解决的问题：传统客服质检靠人工抽听录音、抽查聊天记录，覆盖率低；遇到用户上传图片“货不对板”更无从判断。接入多模态大模型后，把客服对话文本与用户附图同时喂给模型，一次性识别辱骂、虚假承诺、违规商品图等问题，自动生成整改工单。

具体案例：某电商平台接入 Qwen-VL，用户上传实物图并留言“颜色和页面差太多”，模型自动比对商品主图与实拍图，输出“色差显著”的结论并转给售后处理，质检覆盖率从 5% 提升到 100%。

内容安全审核

阶段：多模态联合判别

解决的问题：图文社区每小时产生海量“图片+文案”组合，纯文本过滤顾及不到图片，单独图片鉴黄又看不懂文案反讽。多模态模型把图片和文字放到一起看，能识别“文不对图”“恶意玩梗”等复杂违规。

具体案例：某社交平台用 Gemini 做图文联合审核，一条配文“这里风景真好”、配图却是危险攀岩的帖子，被模型判断为“高风险内容”并进入人工复核队列。

拍照搜题与学习辅导

阶段：视觉文档理解与生成式讲解

解决的问题：学生拍照上传手写题，纯文本模型读不了图片；传统 OCR 对手写体与公式识别差。多模态大模型直接以图片为输入，识别题目并分步讲解。

具体案例：某教育 App 内置多模态模型，学生拍一张几何题照片，模型先描述图形结构，再按“已知-求解-步骤”输出讲解，还能结合教材图片指认对应知识点。

Python 演示

python50 行

import numpy as np class MultimodalAligner:    """用对比学习把图像特征和文本特征对齐到同一空间"""     def __init__(self, vis_dim=64, txt_dim=32, proj_dim=16):        self.Wv = np.random.randn(vis_dim, proj_dim) * 0.1        self.Wt = np.random.randn(txt_dim, proj_dim) * 0.1     def encode_image(self, img):        return img @ self.Wv     def encode_text(self, txt):        return txt @ self.Wt     def train_step(self, img, txt, lr=0.05):        vi = self.encode_image(img)        vt = self.encode_text(txt)        logits = vi @ vt.T        ex = np.exp(logits - logits.max(axis=1, keepdims=True))        probs = ex / ex.sum(axis=1, keepdims=True)        B = img.shape[0]        loss = -np.log(np.diag(probs) + 1e-9).mean()        dprobs = (probs - np.eye(B)) / B        self.Wv -= lr * (img.T @ (dprobs @ vt))        self.Wt -= lr * (txt.T @ (dprobs.T @ vi))        return loss     def match_acc(self, img, txt):        sim = self.encode_image(img) @ self.encode_text(txt).T        pred = sim.argmax(axis=1)        return np.mean(pred == np.arange(img.shape[0])) def main():    rng = np.random.RandomState(42)    img = rng.randn(4, 64)    txt = rng.randn(4, 32)    model = MultimodalAligner()    print("初始匹配正确率: %.0f%%" % (model.match_acc(img, txt) * 100))    for step in range(200):        loss = model.train_step(img, txt, lr=0.05)        if (step + 1) % 50 == 0:            print("step %d loss=%.4f 匹配正确率=%.0f%%"                  % (step + 1, loss, model.match_acc(img, txt) * 100))    sim = model.encode_image(img) @ model.encode_text(txt).T    print("对齐后图文相似度矩阵:")    print(np.round(sim, 2)) if __name__ == "__main__":    main()

目的：用 numpy 实现一个极简的图文对比学习对齐器，训练 200 步后观察图文匹配正确率从随机提升到 100%，直观演示“对齐机制”如何让图像与文本共享语义空间。

self.Wv = np.random.randn(vis_dim, proj_dim) * 0.1随机初始化图像投影矩阵，相当于给书生配一副“视神经”：一开始完全随机，靠训练慢慢学会翻译视觉信号。
return img @ self.Wv图像特征做线性投影，得到低维对齐特征。
logits = vi @ vt.T计算图文相似度矩阵，对角线是匹配对，数值越大越好。
probs = ex / ex.sum(axis=1, keepdims=True)softmax 把相似度变成概率。
loss = -np.log(np.diag(probs) + 1e-9).mean()只取对角线正样本对的概率取负对数，这就是对比学习损失。
self.Wv -= lr * (img.T @ (dprobs @ vt))梯度下降：让匹配的图文特征互相靠近。
pred = sim.argmax(axis=1)用检索任务检验对齐效果：每张图找最像的文本。
if __name__ == "__main__":可执行入口，直接运行即可看到对齐效果。

常见误区

误区我以为模型像人一样有眼睛，能“看”到像素里的猫、颜色和光影，所以它应该完全理解图片内容。

正解模型从来不会“看”。图片被切成 patch，转成数字特征向量后做矩阵运算。它没有视觉皮层，只是学到了“这种数字模式对应语言的猫”。它能回答图片问题，靠的是对齐训练让视觉特征与语言表征高度相关，而非真正的视觉体验。

为何常见：媒体和产品宣传都喜欢说“看图片”，用拟人化描述降低了理解门槛，也造成了“模型有视觉”的错觉。

误区给 LLM 前面接一个图像识别模型，把识别结果翻译成文字塞进去，不就能看图了吗？

正解关键不在于“把视觉转成文字”，而在于“在特征层对齐”。把图片标签翻译成文字（late fusion）会丢失空间细节、位置关系等丰富信息；现代架构在特征层面拼接并共用注意力，让信息无损流通，这是质的不同。

为何常见：“拼接”是最直观的工程思路，容易让人忽略特征级融合与联合训练的必要性。

误区大模型时代“大力出奇迹”，参数越多，看图、数数、认字应该都会自动变好。

正解多模态能力还取决于数据质量、对齐训练与指令微调的配方。不少 7B 级开源模型在细粒度评测上超过更大的闭源模型，正是因为数据更干净、训练更充分。参数只是其中一个杠杆。

为何常见：单模态时代“参数即性能”的印象被直接迁移到多模态战场，忽略了跨模态对齐带来的新瓶颈。

误区模型回答大多基于图片，偶尔说错几个对象很正常，不影响生产使用。

正解幻觉是系统性缺陷，尤其在高密度小物体、模糊图片上高频出现。生产环境必须叠加提示词约束、外部检测器校验与人工兜底，否则轻则体验差，重则造成业务事故。

为何常见：演示视频总是挑选成功案例，失败样本很少被展示，用户因此低估了幻觉的普遍性。

面试题

Q1. 在多模态大模型中，“模态”最接近下列哪种理解？

单选题 · easy

A.训练数据的总大小
B.信息的表现形态← 正确答案
C.模型的参数量级
D.推理时的温度值

答案：B。模态指信息的表现形式，如图像、文本、音频、视频。A 说的是数据规模，C 说的是模型大小，D 是采样超参数，都与“模态”无关。类比：书生的眼睛是一种模态，鼻子是另一种模态。

Q2. ViT 视觉编码器处理图片的第一步是？

单选题 · easy

A.切成固定的小方块← 正确答案
B.全图卷积成单个特征
C.把图片转成音频波形
D.逐像素翻译成英文

答案：A。ViT 先把图片切成固定尺寸的 patch，再逐一展平投影，类似把一幅画切成小格子逐个观察。B 是 CNN 的全局池化思路，C、D 是明显干扰项。

Q3. 图文对比学习（如 CLIP）中，正样本对通常指？

单选题 · mid

A.同一批次里的所有样本
B.两张相似的自然风景图
C.互相匹配的图文组合← 正确答案
D.特征距离最远的负例组合

答案：C。正样本对是“一张图与其正确描述文字”的配对，训练目标让它们靠近；负样本对是错误图文搭配，让其远离。类比：教孩子把“看到猫”和“听到猫字”配对成功。

Q4. 指令微调阶段，模型主要优化的目标函数是？

单选题 · mid

A.文本生成的交叉熵损失← 正确答案
B.重建输入图像的像素误差
C.排序对的 Hinge 损失
D.各模态特征方差最大化

答案：A。指令微调把“图+问题→答案”当作文本生成任务，逐 token 预测正确答案，用交叉熵损失训练。B 是自编码器任务，C 是排序学习，D 与解耦目标相关，均非标准指令微调。

Q5. 投影层（Projection Layer）的核心作用是？

单选题 · mid

A.把图片压缩后单独存储到磁盘
B.删除视觉信息以节省显存占用
C.把视觉特征映射到文本语义空间← 正确答案
D.为图片补丁手动添加彩色边框

答案：C。投影层是视觉特征和 LLM 词向量之间的“翻译官”，把图像向量映射到语言模型熟悉的语义空间。A、B、D 都不是对齐语义的目的。

Q6. 关于多模态大模型的幻觉问题，正确的说法是？

单选题 · mid

A.只在模型训练的早期出现过
B.属于系统性的能力缺陷← 正确答案
C.增大参数量可以彻底消除
D.与图片内容完全无关的故障

答案：B。幻觉是结构性、系统性的问题，训练数据不一致、语言先验过强都会诱发，增大参数也难根治。A、C、D 都与研究结论不符。类比：书生背书太熟，看图时“脑补”出书里常见的桥段。

Q7. 计算幻觉率指标时，分母通常取？

单选题 · hard

A.模型所提及的对象总数← 正确答案
B.数据集中图片的总数量
C.模型参数的总数量
D.训练轮次的总次数

答案：A。幻觉率 = 幻觉对象数 ÷ 模型提及的全部对象数 × 100%，衡量回答中“无中生有”的比例。B、C、D 都不是该指标的分母。

Q8. 下列哪些属于多模态大模型的典型应用？

多选题 · mid

A.用户上传图片并提问← 正确答案
B.对视频内容进行总结← 正确答案
C.扫描合同抽取关键字段← 正确答案
D.单纯计算圆周率的数值

答案：ABC。图文问答、视频理解、文档分析都是多模态模型的落地场景。D 是纯数值计算，与多模态无关。

Q9. 相比纯文本模型，多模态大模型新增的能力包括？

多选题 · easy

A.理解图片中的物体与场景← 正确答案
B.识别音频中的语音语义← 正确答案
C.汇总视频的整体内容← 正确答案
D.直接修改底层文件系统

答案：ABC。多模态模型能感知图像、音频、视频等多种输入。D 属于计算机系统能力，不属于多模态感知范畴。

Q10. 实际工程中缓解多模态模型幻觉的可行做法有？

多选题 · extreme

A.提示词要求模型逐项核对图片证据← 正确答案
B.接入目标检测器交叉验证对象← 正确答案
C.对关键区域切片放大后再提问← 正确答案
D.模型输出完全不经过人工复核

答案：ABC。提示工程、外部检测器交叉验证、切片放大都是缓解幻觉的有效手段，人工复核仍是必要兜底。D 放弃复核反而会放大风险。