想象一家跨国公司：一边是只会用图像“说话”的视觉员工（比如画图、做手势的艺术家），另一边是精通文字的文本员工（比如写报告、分析数据的文案高手）。要让公司高效运转，这两位必须顺畅配合。可是，语言不通怎么办？管理层有三套方案：第一套，让艺术家保持原样，只请一个翻译（投影层）在中间传话；第二套，给翻译做特训，让艺术家的话能精准转成文字员工熟悉的表达；第三套，把所有人拉进一个“全员培训营”，让视觉员工和文本员工直接磨合，形成默契。这三种方案，正是多模态大模型架构中的冻结（Frozen）、对齐（Alignment）和端到端（End-to-End）。 多模态大模型（如 GPT-4V、Gemini、Qwen-VL）的本质，就是用一套统一的架构，让视觉与语言“握手”。而握手的深浅与方式，决定了模型的性能、成本与应用边界。本文就要拆开这扇门，从架构设计到训练范式，从代表模型到评估部署，带你完整看清“多模态大模型架构”的全局。

岗位关联

理解多模态架构的三种范式，是 AI 从业者设计视觉-语言系统的核心技能——无论你是做模型选型、微调落地还是推理部署，这套知识直接决定你能做出怎样的产品、踩多深的坑。

目录
  1. 可视化演示
  2. 背景与挑战
  3. 统一架构范式
  4. 三种训练范式
  5. 代表模型盘点
  6. 数据与对齐训练
  7. 评估体系
  8. 工具链与部署
  9. 应用与展望
  10. AI 应用场景
  11. Python 演示
  12. 常见误区
  13. 面试题

可视化演示

展示多模态LLM三种架构方案：冻结编码器轻量适配、对齐训练跨模态投影、端到端联合优化，动态展示模型组件冻结状态、数据流和梯度回传路径。

本节配有交互动效（进入视口后自动加载，约 3KB）。

多模态大模型架构 冻结编码 对齐训练 端到端 从轻量适配到全量训练，性能与成本递增

背景与挑战

跨国公司想让只会画图的视觉员工和只会写字的文本员工协作，可他们说的是两种语言。图像是一个像素矩阵，文本是一串字符序列，两者落在截然不同的特征空间里。这就好比中文员工写“苹果”，法国员工看到的是红果子，两人对不上号。多模态大模型的第一个挑战，就是打通这条信息通道。

这条通道的难点在于“视觉语言鸿沟”：图像里没有字，文本里没有像素。要让模型理解“这张猫图对应 cat 这个词”，必须找到一条共同的翻译路径。早期的做法是给两者各配一个编码器，再手工拼接特征，效果却像用翻译软件逐词直译，生硬且错误百出。研究者们意识到：我们需要一个端到端可学习的“翻译中枢”。

于是问题变成了：如何让视觉特征和语言特征在同一个空间里可比较、可计算。答案是把视觉化作向量，把文本也化作向量，再学习一个映射，让“猫图向量”和“猫词向量”靠在一起。这一步类似于公司给所有部件统一计量单位：图像向量 \$v\$ 就是图像的“ID 卡”，文本向量是文本的“薪资条”，两者在同一套表格里才能对齐。

配好了“翻译官”还不够——翻译官什么时候传话？按什么规则训练？这些都指向了架构选择。下一节我们看多模态大模型那“1% 的改动”到底改在哪里。

v=VisionEncoder(I)\displaystyle v = \text{VisionEncoder}(I)
这张公式说明：一张图像 \$I\$ 通过视觉编码器变成一个向量 \$v\$，向量就是图像在特征空间里的“坐标”，这是后续所有对齐工作的起点。
  1. 编码器提取特征把图像像素矩阵压缩成有意义的特征向量。
    v=VisionEncoder(I)\displaystyle v = \text{VisionEncoder}(I)
  2. 向量作为通用语言\$v\$ 的每个维度代表一种语义属性，就像员工档案里“技能”“经验”等字段。
    v∈Rd\displaystyle v \in \mathbb{R}^{d}
  3. 对接文本空间文本侧有 \$t\$，视觉侧有 \$v\$，两者是否相似由距离/相似度衡量。
    sim(v,t)=v⊤t\displaystyle \text{sim}(v, t) = v^{\top} t

统一架构范式

当公司决定请翻译时，管理层发现：大部分员工都不用换，只要在视觉员工和文字员工之间加一个“翻译岗”。多模态大模型的核心架构正是如此——在视觉编码器后面接一个可训练的投影层，再拼接到大语言模型上。Karpathy 有句著名判断：多模态大模型只有 1% 的新增工作，其余 99% 都是已有的纯文本大模型技术。

这句“1%“点破了本质：语言模型作为”总指挥“负责推理与生成，视觉编码器负责”看“，而真正的新零件只有投影层（Projection Layer）。投影层做的事情，是把视觉向量”翻译“成语言模型能读懂的 token 向量。在公司比喻里，翻译官把艺术家的”手势语言“转写为文案同事的”标准文档语言”，语言模型看到的就是一份份规范工单。

所以，无论 GPT-4V、Gemini 还是 Qwen-VL，架构上都收敛到同一套模板：视觉编码器 → 投影层 → LLM → 输出。区别只在于投影层的设计（线性层、Q-Former、交叉注意力）和训练策略。这就像一个公司把组织架构定为“设计部—翻译部—文案部”，但不同公司对翻译部的培训和权限各有安排。

统一架构是“骨架”，而骨架上的肌肉如何训练，正是三种范式的地盘。下一节，我们看冻结、对齐、端到端三种“培训方案”分别怎么选择。

多模态LLM=LLM⏟99%已知+视觉编码器+投影层⏟1%新增\displaystyle \text{多模态LLM} = \underbrace{\text{LLM}}_{\text{99\%已知}} + \underbrace{\text{视觉编码器} + \text{投影层}}_{\text{1\%新增}}
公式揭示多模态大模型的组成：语言模型部分占绝对大头，视觉编码器与投影层是新增的少量组件，却决定了跨模态能力的有无。
  1. 语言模型为主体LLM 负责理解与生成，多模态模型直接复用其能力。
    LLM:tokens→tokens\displaystyle \text{LLM}: \text{tokens} \to \text{tokens}
  2. 视觉编码器补充感知把图像转成特征序列，相当于给语言模型配了眼睛。
    VitEncoder(I)→{z1,z2,…,zm}\displaystyle \text{VitEncoder}(I) \to \{z_1, z_2, \dots, z_m\}
  3. 投影层桥接两侧把视觉特征序列映射成 LLM 可接受的嵌入空间。
    hi=Wpzi+bp\displaystyle h_i = W_p z_i + b_p

三种训练范式

同样是“请翻译”，公司的培训方案却有三套：方案一，艺术家和文案原封不动，只给翻译发一本词典；方案二，给翻译做专门的“语义对齐特训”，让翻译更懂艺术家；方案三，把整个团队打包送去“沉浸式联合培训”，让所有人一起改变。这三套方案对应三种训练范式。

冻结（Frozen）范式：冻结视觉编码器和 LLM 的全部参数，只更新投影层。优点是成本极低，缺点是“翻译官水平上限受限于原有员工”。对齐（Alignment）范式：依然冻结编码器和 LLM，但增加了大量图文对齐数据，设计和优化跨模态表征（如 CLIP 式对比学习），让投影层学会把图像映射到语言空间。端到端（End-to-End）范式：不冻结任何模块，所有参数联合训练，用语言建模损失直接监督视觉特征，效果往往最好，但训成本和数据要求都最高。

这三种范式不是互斥的，实际工作中经常“先对齐后端到端”：先让翻译快速上岗（对齐），再全员磨合（端到端微调）。理解范式的关键是知道谁在更新参数：冻结 = 只动翻译；对齐 = 动翻译 + 专项语料；端到端 = 全员联动。

三种范式决定了模型的天花板和成本，而真实模型的选择则展示了它们的工程权衡。下一节，我们走进 GPT-4V、Gemini、Qwen-VL 三家“公司”的案例。

L=E[−log⁡pθ(y∣x)]⏟语言建模损失+λ⋅Lalign(v,t)⏟对齐损失\displaystyle \mathcal{L} = \underbrace{\mathbb{E}\left[-\log p_\theta(y|x)\right]}_{\text{语言建模损失}} + \underbrace{\lambda \cdot \mathcal{L}_{\text{align}}(v, t)}_{\text{对齐损失}}
端到端训练不只看生成对不对，还叠加对齐损失，让图像向量和文本向量在训练过程中互相靠拢。
  1. 语言建模损失标准自回归目标，衡量生成文本序列的概率。
    −log⁡pθ(y∣x)\displaystyle -\log p_\theta(y|x)
  2. 对齐损失对比学习或相似度损失，拉近匹配的图文对。
    Lalign(v,t)=−log⁡exp⁡(sim(v,t)/τ)∑jexp⁡(sim(v,tj)/τ)\displaystyle \mathcal{L}_{\text{align}}(v, t) = - \log \frac{\exp(\text{sim}(v, t)/\tau)}{\sum_{j} \exp(\text{sim}(v, t_j)/\tau)}
  3. 系数控制平衡\$\lambda\$ 调节两种损失的权重，company 里相当于“翻译培训经费”比例。

代表模型盘点

现在把镜头拉近，看看三个真实“案例公司”怎么选范式。GPT-4V 采用视觉编码器 + 对齐投影 + LLM 的路线，它的视觉部分使用了 OpenAI 在图像-文本对比学习上的经验，用投影层把视觉特征映射进 LLM 的词嵌入空间。Gemini 走的是原生多模态路线，从预训练开始就同时吃文本、图像、音频、视频，各模态编码器与语言模型一起训练。Qwen-VL 则是开源阵营的标杆，结构上类似“ViT 编码器 + 交叉注意力投影 + Qwen 语言模型”，并在多个视觉语言跨模态任务上做了对齐与微调。

用公司比喻来说：GPT-4V 是“从文案公司转型”——语言班子已经很强，请个翻译就能上岗；Gemini 是“一开始就是多元团队”——所有员工从入职就一起培训；Qwen-VL 是“开源共享的培训手册”——把整个转型流程公开，大家都能照着做。这个对比让从业者明白：没有绝对最优范式的模型，只有最适合业务场景的选择。

对开发者而言，最直接的启示是：如果你要快速落地，选择 Qwen-VL 这类开源模型微调；如果你追求极致的多模态原生能力，关注 Gemini 的更新；如果做纯文本起步的分阶段扩展，则参考 GPT-4V 的两阶段路线。它们的架构差异，本质上是“新增 1%”在实现细节上的不同选择。

模型结构选好了，接下来决定成败的是“喂什么数据、怎么喂”。下一节，我们进入数据与对齐训练的核心环节。

pθ(yt∣y<t,v)=Softmax(Wo⋅LLM(h<t,hv))\displaystyle p_\theta(y_t | y_{<t}, v) = \text{Softmax}(W_o \cdot \text{LLM}(h_{<t}, h_v))
GPT-4V 式架构的生成过程：每一步预测 token 时，既看之前生成的文本，也看图像投影得到的向量。
  1. 拼接视觉特征投影层输出的 \$h_v\$ 与文本隐藏状态拼接或交错。
    h<t⊕hv\displaystyle h_{<t} \oplus h_v
  2. LLM 做自回归推理语言模型在混合序列上计算概率分布。
    LLM(h<t,hv)\displaystyle \text{LLM}(h_{<t}, h_v)
  3. Softmax 输出词表分布取概率最高的 token 作为下一步输出。
    yt=arg⁡max⁡ypθ(y∣y<t,v)\displaystyle y_t = \arg\max_{y} p_\theta(y | y_{<t}, v)

数据与对齐训练

翻译官光有词典还不够，他需要海量的“图像-文本对照练习”。多模态模型的对齐训练依赖两类数据：图像-文本对（图片 + 描述文字）和指令数据（问题 + 图片 + 正确答案）。前者用来做粗对齐，让模型掌握“图文配对”的基本语感；后者用来做精调，让模型学会按指令完成任务。

训练过程通常分两阶段。第一阶段预训练对齐：冻结编码器和 LLM，只训练投影层（冻结范式），用大规模图文对数据拉近视觉向量与文本向量的距离。第二阶段端到端微调：解冻部分参数，用高质量的视觉指令数据联合训练（端到端范式），让模型学会举一反三。这样设计既控制了训练成本，又保证了最终效果——先“上岗”再“进修”，循序渐进。

对齐训练的关键技术是对比学习目标：对一张图片，让它的向量与其真实描述向量的相似度尽可能高，与无关文本向量的相似度尽可能低。在公司里，这相当于让翻译官反复做“配对测验”——看到苹果图片，要写成 apple，而不是 ananas（菠萝）。

训练完成，模型能力到底强不强？得按统一标准来打分。下一节，我们看多模态模型怎么被“考试”。

Lalign=−log⁡exp⁡(sim(vi,ti)/τ)∑k≠iexp⁡(sim(vi,tk)/τ)+exp⁡(sim(vi,ti)/τ)\displaystyle \mathcal{L}_{\text{align}} = -\log \frac{\exp(\text{sim}(v_i, t_i)/\tau)}{\sum_{k \neq i} \exp(\text{sim}(v_i, t_k)/\tau) + \exp(\text{sim}(v_i, t_i)/\tau)}
对比学习的目标：正样本（正确图文对）相似度拉高，负样本（错误图文对）相似度压低，比例由温度系数 \$\tau\$ 决定。
  1. 分子部分当前图像 \$v_i\$ 与其正确描述 \$t_i\$ 的相似度做指数放大。
    exp⁡(sim(vi,ti)/τ)\displaystyle \exp(\text{sim}(v_i, t_i)/\tau)
  2. 分母部分正确描述加上所有负样本描述的总和。
    ∑k≠iexp⁡(sim(vi,tk)/τ)+exp⁡(sim(vi,ti)/τ)\displaystyle \sum_{k \neq i} \exp(\text{sim}(v_i, t_k)/\tau) + \exp(\text{sim}(v_i, t_i)/\tau)
  3. 对数与取负把概率取负对数，让模型最大化正确配对的概率。

评估体系

公司出新员工前要考核，多模态模型上线前也要考试。评估体系主要覆盖四个维度：感知能力（能不能看到“图里有几个人”）、推理能力（能不能回答“这个人为什么在笑”）、OCR 与文档理解（能不能读出照片里的文字和表格）、视觉对话能力（能不能围绕图片多轮问答）。

业界常见的评测基准（Benchmark）会把这些能力做成标准化题库。比如评估 VQA（视觉问答）时，模型看一张图，回答一个问题，系统比对预测答案与标准答案的匹配度。评估时还要警惕幻觉问题——模型可能一本正经地说出图片里根本没有的东西，这是过度依赖语言先验、视觉对齐不足的表现。因此鲁棒性测试也很重要：换个角度拍同一物体，模型还能不能答对？

用公司比喻理解：感知是“眼力测试”，推理是“分析报告考试”，OCR 是“文档审阅考试”，视觉对话是“面试问答”。一个合格的多模态模型，四项都要过关。评估让你知道模型在哪个环节“挂科”，进而决定是补数据、调对齐还是换范式。

考完试，模型要上生产环境了。最后一公里，是工具链与部署的工程问题。

Acc=1N∑i=1N1[y^i=yi]\displaystyle \text{Acc} = \frac{1}{N}\sum_{i=1}^{N} \mathbb{1}[\hat{y}_i = y_i]
准确率公式：所有测试样本中，模型预测结果 \$\hat{y}_i\$ 与标准答案 \$y_i\$ 一致的样本比例。
  1. 样本计数\$N\$ 为测试样本总数，逐个比较预测与答案。
    1[y^i=yi]\displaystyle \mathbb{1}[\hat{y}_i = y_i]
  2. 求和取平均统计一致样本个数并除以总数。
    1N∑i=1N\displaystyle \frac{1}{N}\sum_{i=1}^{N}
  3. 多任务扩展不同能力维度各算一次 Acc，再汇总成综合分。

工具链与部署

模型再强，部署不好就是“屠龙之技”。工程落地通常有两条路：用云 API 零成本接入（比如直接调用 GPT-4V），或者用开源模型私有化部署（比如基于 Qwen-VL 做二开）。对多数企业，后者意味着数据安全与定制自由。

具体到部署流程，闭环是：输入图片 → 解析服务（OCR/图像预处理） → 多模态模型推理 → 结果校验 → 客户端展示。推理优化是关键一环：量化（如 INT8/FP16）可以减少显存占用，vLLM 等推理框架可以提升吞吐，批量请求调度可以降低延迟。文档问答是典型场景：把一份合同拍照上传，模型能回答“违约金比例是多少”。

公司比喻：部署像是把培训好的员工安排到一线柜台。你需要考虑他能不能“算得够快”（推理延迟）、“够不够占地方”（显存占用）、“能不能加班”（并发能力）。工具链的质量直接决定业务体验。

部署解决了，业务场景该往哪儿发力？最后，我们展望一下多模态大模型的应用版图。

y^=arg⁡max⁡ylog⁡pθ(y∣x)\displaystyle \hat{y} = \arg\max_{y} \log p_\theta(y | x)
部署推理时常用贪心搜索：每步选概率最大的 token，直到生成结束符。
  1. 逐 token 生成模型每一步只输出一个词，基于已生成的序列。
    log⁡pθ(yt∣y<t,x)\displaystyle \log p_\theta(y_t | y_{<t}, x)
  2. 取最大概率选出概率最大的候选作为当前步输出。
    arg⁡max⁡y\displaystyle \arg\max_y
  3. 终止条件遇到结束符（EOS）则停止生成。

应用与展望

多模态大模型的想象空间远不止“看图说话”。多模态 RAG 是当前最火的方向：把图片、PDF、表格切片构建索引，用户提问时先检索相关视觉片段，再交给多模态模型生成答案——相当于给企业知识库装上“眼睛”。智能客服升级则是把图文问答放进客服机器人，用户发一张故障照片，机器人直接定位问题并给出解决方案。

对从业者而言，成长路线很清晰：第一步，吃透三种范式与统一架构，能根据预算和场景选型；第二步，掌握数据构造与对齐训练，能自己微调开源模型；第三步，熟悉评估基准与部署工具链，能把模型真正跑起来。这个行业日新月异，但架构的本质变化不大——编码器、投影层、语言模型的三角结构，会长期是主流。

未来已来：多模态模型正从“能看能说”走向“能看能听能动手”，Agent 化的大模型将把视觉、语音、工具调用融为一体。正如公司从“请翻译”走向“中外团队无碍协作”，多模态大模型的终极形态，是让 AI 用人类感知世界的方式去理解世界。

Future Capability∝Datamultimodal×Alignquality\displaystyle \text{Future Capability} \propto \text{Data}_{\text{multimodal}} \times \text{Align}_{\text{quality}}
展望公式：未来的模型能力大致正比于多模态数据的丰富度与对齐质量，而非单纯参数量。
  1. 数据是燃料多模态数据规模与多样性决定模型见多识广的水平。
    Datamultimodal\displaystyle \text{Data}_{\text{multimodal}}
  2. 对齐是引擎图文对齐质量决定了模型能否把数据转化为能力。
    Alignquality\displaystyle \text{Align}_{\text{quality}}
  3. 乘积关系数据再多，对齐太差仍是空中楼阁；对齐再好，数据太少也是无米之炊。

AI 应用场景

智能客服图文诊断

阶段：模型选型与端到端微调

解决的问题：传统客服只能处理文本，用户拍一张电器故障图，客服要靠文字描述猜问题，效率低、误判多。采用 Qwen-VL 等开源多模态模型做图文诊断后，用户上传图片即可定位故障点。

具体案例：某家电企业把售后流程图和故障图片库整理成指令数据，对 Qwen-VL 做端到端微调。客服后台收到“冰箱显示 E5 错误码”的图片后，模型自动识别型号与错误码，并给出对应的维修指引，首次解决率提升 40%。

文档审核与信息抽取

阶段：评估与部署

解决的问题：合同、发票、工单大量是扫描件，传统 OCR 只能抽文字，不能理解语义。GPT-4V 类模型可以一次完成“文字识别 + 语义理解 + 问题回答”。

具体案例：某金融机构开发了“合同问答助手”：合规人员上传一份贷款合同照片，系统基于多模态模型回答“担保条款是什么”“利率上限多少”，并对异常条款生成风险提示。

Python 演示

python46 行
# -*- coding: utf-8 -*-"""Qwen2-VL 多模态推理演示:图片理解 + 文档问答。依赖: pip install transformers torch accelerate qwen-vl-utils""" from transformers import Qwen2VLForConditionalGeneration, AutoProcessorfrom qwen_vl_utils import process_vision_infoimport torch model_id = "Qwen/Qwen2-VL-7B-Instruct"processor = AutoProcessor.from_pretrained(model_id)model = Qwen2VLForConditionalGeneration.from_pretrained(    model_id,    torch_dtype=torch.bfloat16,    device_map="auto",) image_path = "./data/uploaded_contract.png"messages = [    {        "role": "user",        "content": [            {"type": "image", "image": image_path},            {"type": "text", "text": "这份合同的违约金比例是多少?请只回答数字。"},        ],    }] text = processor.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)image_inputs, video_inputs = process_vision_info(messages)inputs = processor(    text=[text],    images=image_inputs,    videos=video_inputs,    padding=True,    return_tensors="pt",).to(model.device) with torch.no_grad():    output_ids = model.generate(**inputs, max_new_tokens=64)    output_ids = output_ids[:, inputs.input_ids.shape[1]:]    result = processor.batch_decode(        output_ids, skip_special_tokens=True, clean_up_tokenization_spaces=False    )[0] print("QA 结果:", result)
目的：使用开源 Qwen2-VL 模型完成图像理解与文档问答，展示多模态大模型在业务场景中的典型调用方式。
  1. Qwen2VLForConditionalGeneration.from_pretrained加载开源多模态模型，torch_dtype=bfloat16 降低显存占用。
  2. processor.apply_chat_template把用户消息序列化成模型要求的对话格式。
  3. process_vision_info解析消息中的图片路径，生成模型可读的视觉输入。
  4. model.generate执行自回归推理，max_new_tokens=64 限制生成长度。
  5. processor.batch_decode把 token 序列解码成可读文本结果。

常见误区

误区很多人以为“冻结”是把整个模型冻住不发训练，模型加载完就能用。

正解冻结指的是视觉编码器和语言模型的参数保持不变，但投影层是可训练的。它仍是整个训练过程的核心部分——我们训练的就是那 1% 的翻译层。这相当于公司只给翻译做培训，不请专家给其他员工上课，但翻译本身确实在进步。

为何常见：由于“冻结”字面意思太强，初学者很容易理解为“全部参数都不动”。

误区以为对齐训练是让模型学会“看图写描述”，本质是生成式任务。

正解对齐的核心是表征层面的映射——让图像向量和文本向量在特征空间里“靠近”。生成描述只是对齐之后能力的体现，真正的训练目标（如对比损失）发生在向量空间，不是直接输出文字。这就像翻译考核的是“词汇的语义匹配”，而不是“背诵标准语句”。

为何常见：因为对齐训练数据是“图文对”，形式上就是图片和文字，容易让人误以为是翻译任务。

误区认为端到端范式就是不使用预训练模型，从随机初始化开始训练一切。

正解端到端范式指的是所有模块的梯度联合更新，但视觉编码器和 LLM 通常仍从预训练权重初始化。它不是“从零开始”，而是“一起微调”。Gemini 这类原生多模态也从预训练初始化开始，只是更早地让多模态任务参与训练。

为何常见：“端到端”在深度学习里长期指“全流程联合训练”，容易与“从头训练”混淆。

误区认为模型能“看”图片，所以它说出来的内容一定基于图片事实。

正解多模态模型同样会幻觉——当视觉对齐不足、或语言先验过强时，模型会编造图中不存在的细节。这正是评估体系中把幻觉检测列为专项的原因。

为何常见：人的直觉是“眼见为实”，但模型看到的向量和人类看到的图像不一样，理解并不必然忠实。

误区以为把图像分类模型和 LLM 分别搭好、用 API 串起来，就实现了多模态大模型。

正解真正的多模态大模型是在表征层面做对齐与联合训练的，简单拼接无法让 LLM 理解视觉的语义结构。这也是为什么需要专门的投影层、对齐目标和端到端微调。

为何常见：工程上“串服务”实现起来快，容易让人误以为这就是多模态的本质。

面试题

Q1. 多模态大模型的核心统一架构是什么？

单选题 · easy

  • A.视觉编码器加投影层再加文本编码器
  • B.视觉编码器加投影层再加语言模型← 正确答案
  • C.图像分类器加文本分类器做拼接
  • D.视觉编码器直接对接输出层

答案：B。统一架构是“视觉编码器 → 投影层 → 大语言模型 → 输出”，投影层负责把视觉向量翻译成 LLM 能读的 token 向量。A 错在把语言模型换成文本编码器，C 和 D 都没有投影层，无法实现跨模态对齐。

Q2. “冻结范式”训练时，哪些参数会被更新？

单选题 · mid

  • A.视觉编码器和语言模型全部参数
  • B.视觉编码器和投影层全部参数
  • C.视觉编码器的部分参数
  • D.只有投影层的参数← 正确答案

答案：D。冻结范式中视觉编码器和 LLM 参数固定，只有投影层可训练。这对应公司“只给翻译培训”的方案。A 是端到端范式，B 和 C 都涉及视觉编码器参数更新，不符合冻结的定义。

Q3. 关于“对齐”范式，下列说法正确的有哪些？

多选题 · mid

  • A.编码器与语言模型通常冻结← 正确答案
  • B.投影层接收大量图文对数据训练← 正确答案
  • C.对齐目标是让图像向量贴近文本向量← 正确答案
  • D.对齐必须使用生成式语言模型损失

答案：ABC。对齐范式冻结编码器和 LLM，只训练投影层，用图文对做对比学习，让视觉向量贴近文本向量，故 A、B、C 正确。D 错误：对齐损失是对比式目标，不一定是生成式损失——这正是对齐与端到端的重要区别。

Q4. GPT-4V 的训练路线更接近哪种范式组合？

单选题 · easy

  • A.端到端加对比学习
  • B.先对齐后端到端微调← 正确答案
  • C.纯端到端无预训练
  • D.完全冻结不训练

答案：B。GPT-4V 的路线是先做视觉-语言对齐（图文对预训练），再使用指令数据做端到端微调，即“先上岗再进修”。A 缺少阶段划分，C 不符合其有预训练的事实，D 与“微调”矛盾。

Q5. Qwen-VL 的架构特点是下列哪一项？

单选题 · mid

  • A.从头训练视觉编码器
  • B.视觉编码器加交叉注意力投影← 正确答案
  • C.只改词汇表不做视觉对齐
  • D.完全复用纯文本模型不训练

答案：B。Qwen-VL 的结构是“ViT 视觉编码器 + 交叉注意力投影层 + Qwen 语言模型”，并在多任务上对齐微调。A 错误因为视觉部分从预训练初始化，C 和 D 无法实现真正视觉理解。

Q6. 关于 Gemini 的原生多模态设计，下列说法正确的是？

多选题 · hard

  • A.训练时同时处理文本图像音频视频← 正确答案
  • B.各模态编码器与语言模型共同训练← 正确答案
  • C.从预训练阶段就参与多模态任务← 正确答案
  • D.架构完全抛弃视觉编码器

答案：ABC。Gemini 在预训练阶段就引入多模态数据，让各模态的编码器与语言模型一起训练，因此 A、B、C 正确。D 错误：Gemini 仍有视觉编码器，只是原生地参与整体联合训练。

Q7. 多模态模型产生“幻觉”的主要原因是什么？

单选题 · mid

  • A.图片分辨率设置得不够高
  • B.视觉对齐不足及语言先验过强← 正确答案
  • C.模型参数量太大导致过拟合
  • D.输出层缺少归一化处理

答案：B。幻觉源于视觉与语言的对齐不充分，模型过度依赖语言先验，看图“没看清”却按文本习惯编造。A、C、D 与幻觉成因不直接相关。

Q8. 评估多模态模型一般不包括哪项能力？

单选题 · easy

  • A.感知能力
  • B.推理能力
  • C.编译能力← 正确答案
  • D.OCR 理解能力

答案：C。多模态评估考察感知、推理、OCR、视觉对话等能力。编译是程序语言概念，不属于多模态视觉语言能力的考核范围。

Q9. 多模态 RAG 场景中，哪些环节会用到多模态大模型？

多选题 · mid

  • A.对图片和 PDF 切片构建索引← 正确答案
  • B.用户问题与视觉片段匹配检索← 正确答案
  • C.基于检索片段生成图文答案← 正确答案
  • D.直接替代数据库存储图片

答案：ABC。多模态 RAG 中，多模态模型参与索引构建、跨模态检索和答案生成，A、B、C 正确。D 错误：数据库存储图片不涉及模型能力。

Q10. 一家企业想把私有合同图片做成问答系统，最合理的路径是？

单选题 · hard

  • A.从零预训练一个多模态大模型
  • B.用 Qwen-VL 做二开并微调部署← 正确答案
  • C.只用 OCR 提取文字后抛弃图像
  • D.手写规则匹配每类合同模板

答案：B。成熟做法是基于开源模型 Qwen-VL 做指令微调并私有化部署，兼顾数据安全与效果。A 成本过高不必要，C 会丢失版式与图表信息，D 无法泛化到多种合同形态。