多模态统一模型：一个模型搞定多种任务

CH-08-05-038·约 20 分钟·AI应用领域·更新 2026-08-11

想象一家叫“好再来”的杂货铺。以前铺子里雇了一个收银员、一个理货员、一个客服。收银员只会扫码收钱，理货员只会搬箱子，客服只会接电话。顾客一多，三个人互相干瞪眼——收银台排长队，货架却没人补，电话铃响到爆也没人接。老板老周看着心疼，干脆自己一个人学全了所有手艺：扫码、理货、接电话、写进货单、拍商品照，一个人把三个人的活全干了，效率反而更高了。多模态统一模型，就是 AI 世界的“全能店主老周”。在它出现之前，处理文字的模型、识别图片的模型、生成语音的模型各管一摊，像铺子里分工明确却各自为战的员工。统一模型用一套架构、一套参数，同时看懂文字、认清图片、听懂语音，还能把理解到的内容“说”出来或“写”出来——既会“理解”又会“生成”。这篇文章，我们就跟着老周的店，把统一模型这个“全能店主”的思维方式、工作台设计、招牌工具和开店秘诀，一层层看明白。

岗位关联

掌握统一模型的设计思路，是进入多模态大模型研究与应用落地的关键一步——你将理解当前最前沿的模型架构与任务统一范式，为真实项目中的多模态方案选型和技术落地打下坚实基础。

可视化演示
背景与动机
统一架构设计
任务统一机制
模态对齐
OFM模型
Gemini代表
部署与优化
AI 应用场景
Python 演示
常见误区
面试题

可视化演示

本节配有交互动效（进入视口后自动加载，约 3KB）。

统一多模态架构单一模型处理文本/图像/音频理解+生成任务统一 One Model → All Tasks 取代多模型串联Pipeline

背景与动机

老周开店第三年，最深的体会是：店里的人越多，人越忙，但错也越多。收银员把顾客买的酱油扫成了醋，理货员把新到的牛奶堆在了过期食品区，客服把“我要退换”听成了“我要退货”。三个员工各自埋头干活，互相之间几乎没有沟通，顾客的需求从头到尾要走好几个人的手，每过一道手就多一分出错的可能。

传统多模态系统就是这样的“三个人”。语音识别模块只管把声音变文字，视觉理解模块只管把图片变标签，文本生成模块只管写句子。它们由不同团队、不同时间分别训练，最后像搭积木一样拼起来。坏消息是：积木之间的接缝处，信息会“漏水”。语音识别错了，后面的文本生成就跟着错；视觉模块漏检了一个物体，整段描述就缺了关键信息。

统一模型想解决的问题，正是这种“接力赛”式的信息损耗。它把所有任务交给同一个模型、同一套参数，让原始信息一次进入、全程共享。总误差随模块串联而放大的问题得到缓解：

正因如此，老周干脆辞掉了三个员工，自己一个人扛起整个店。他开始把“声音、文字、图片”当成同一种“货物”来对待，这就是统一模型的开端——不区分柜台，先把货全堆到同一张桌子上再说。

E_{total} = 1 - \prod_{i=1}^{n}\left(1 - e_i\right)

这个公式说明：如果一条处理管线有 n 个串联模块，每个模块的错误率为 e_i，那么整条管线的总错误率 E_total 会随模块数 n 增加而快速上升。统一模型把多个模块合成一个，相当于把 n 从“很多”变成"1"，总错误率大幅下降。

总错误率E_total 表示整条处理链最终出错的比例，它是所有模块共同作用的结果。
$E_{total}$
每个模块的错误率e_i 表示第 i 个独立模块自身的出错概率，i 从 1 数到 n。
$e_i, \quad i = 1, 2, \ldots, n$
连乘符号\prod 表示把 (1 - e_1)、(1 - e_2) 等所有“正确率”连乘起来，正确率相乘得到总正确率。
$\prod_{i=1}^{n}\left(1 - e_i\right)$
取反得到总错误总正确率越大则总错误越小，所以用 1 减去总正确率，得到整条链的总错误率。
$1 - \prod_{i=1}^{n}\left(1 - e_i\right)$

统一架构设计

老周一个人的工作台很有讲究：不管来的是酱油瓶（文字）、牛奶箱（图片）还是顾客的念叨（语音），他都先拆成统一大小的“货格”，再摆到同一张大桌子上处理。这张桌子就是 Transformer——当前大模型通用的底座。

Transformer 的核心是“自注意力”机制：它让序列中的每个元素都能同时看到序列里的所有其他元素，像老周扫一眼堆满货物的桌面，瞬间知道每件货的位置和彼此的关联。多模态统一模型的第一步，就是把各种模态的数据拆成统一的“货格”（Token）。文本切词，图像切成一个个小方块（Patch），音频切成时间片段，每一格都投射成固定维度的向量，然后放进同一个序列。

这样，一段图文混合的输入就变成了一个混合的 token 序列。序列中的所有 token 共享同一套自注意力层——注意力的计算公式就是这张工作台的“核心技术说明书”：

有了这张“大桌子”，老周把酱油、牛奶、顾客原话全堆在一起，随时互相参照——看图片时能读懂旁边配的文字，听语音时能结合对话语境。这就是统一架构的魔力：模态在底层就融合，而不是等到最后生硬拼接。

\text{Attention}(Q, K, V) = \operatorname{softmax}\left(\frac{Q K^{T}}{\sqrt{d_k}}\right) V

这个公式描述的是：序列中每个元素（叫 Query）去和所有其他元素（Key）比对“亲密度”，得到的权重用来加权汇总所有元素携带的信息（Value）。缩放系数 \sqrt{d_k} 防止数字过大导致梯度不稳。

查询向量Q（Query）代表当前关注点，相当于老周的眼睛在看哪个货格。
$Q$
键向量K（Key）代表序列中其他元素的“标签”，用来和 Query 配对比对相似度。
$K$
点积相似度Q K^{T} 计算两两之间的匹配得分，得分高说明这两个位置关系紧密。
$Q K^{T}$
缩放系数除以 \sqrt{d_k}，d_k 是向量维度，防止维度增大后点积数值过大。
$\frac{Q K^{T}}{\sqrt{d_k}}$
Softmax 归一化把得分变成总和为 1 的权重，再和 V（Value，每个元素携带的信息内容）加权求和得到最终输出。
$\operatorname{softmax}\left(\frac{Q K^{T}}{\sqrt{d_k}}\right) V$

任务统一机制

老周还有个习惯：他从不把活分成“收银的活”和“理货的活”。在他看来，所有工作本质只有一件事——“看到输入，给出输出”。收银是看到商品条码给出价格，理货是看到空货架给出补货清单，客服是听到顾客问题给出回答。统一模型同样如此：理解任务和生成任务，本来就是一枚硬币的两面。

理解（比如图片分类、情感分析）可以看成“根据输入，预测一个答案 token”；生成（比如写文章、画画）也可以看成“根据上文，预测下一个 token”。于是统一模型把两者都建模为“自回归下一词预测”——给定输入序列，逐个预测后续内容。分类任务变成了“输出'猫'这个词”，写文章变成了“一个词一个词地写下去”。

这个统一过程在数学上表达为：对任意输入 X（可以是文本、图像或混合），模型计算输出序列 Y 的条件概率，训练目标就是让这个概率最大化：

有了这个统一公式，老周店的“柜台界限”彻底消失了。顾客的诉求无论是“这图里是什么”（视觉理解）、“把这句话翻译成英文”（翻译）还是“帮我写段广告词”（文本生成），走的是同一条流水线：格式化成提示词，进模型，自回归地吐出一串 token，再按任务解析结果。一个接口，包打天下。

P\left(Y \mid X\right) = \prod_{t=1}^{T} P\left(y_t \mid y_1, y_2, \ldots, y_{t-1}, X\right)

这个式子把所有任务（分类、翻译、问答、描述、续写）统一成了同一个公式：给定输入 X 和已经生成的前 t-1 个词，预测第 t 个词是谁。理解任务只需看最后预测出的那个“词”是什么即可。

条件概率P(Y | X) 表示在已知输入 X 的条件下，输出序列 Y 整体出现的概率。
$P\left(Y \mid X\right)$
序列拆分把输出 Y 拆成 T 个词 y_1 到 y_T，整体概率等于每个词条件概率的连乘。
$\prod_{t=1}^{T}$
历史依赖P(y_t | y_1, \ldots, y_{t-1}, X) 表示第 t 个词的概率，取决于之前所有已生成的词和原始输入。
$P\left(y_t \mid y_1, y_2, \ldots, y_{t-1}, X\right)$

模态对齐

统一模型的另一个关键问题是：文本说“红苹果”，图像里那个红色圆球，凭什么让模型知道它们是一回事？老周也有类似烦恼：店里来了一位外国顾客，指着货架上的苹果说了一串英文，老周得先在脑子里把英文和实物对上号，才能完成交易。

模态对齐做的就是这件事——把不同模态的信息映射到同一个“语义空间”，让“苹果”这个词的向量和“苹果图片”的向量在空间里靠得很近。实现方式通常是：每种模态先经过各自的编码器投射成一个向量，再通过映射层把不同模态的向量对齐到同一个坐标系里。

训练这个对齐关系最常用的方法是对比学习。简单说：给模型看一批“图文配对”的样本，正样本对（图片和它对应的正确描述）要拉近距离，负样本对（图片和其他不相关描述）要推远距离。损失函数写出来是这样的：

经过这样的对齐训练，店里的“中英文标签”就贴好了。文本和图像不再是两种语言，而是同一本词典里的两种写法。对齐做得好，后面的跨模态检索、图文问答、图像生成才能“指哪打哪”。

L = -\log \frac{\exp\left(\operatorname{sim}\left(z_v, z_t\right) / \tau\right)}{\sum_{j=1}^{N} \exp\left(\operatorname{sim}\left(z_v, z_j\right) / \tau\right)}

这个公式衡量的是：给定一张图的向量 z_v，在所有 N 个候选文本向量里，模型把正确文本 z_t 找出来的概率。概率越高，损失越小，说明图文对得越准。

图像向量z_v 是图像经过编码器后得到的特征向量，代表图片的“语义指纹”。
$z_v$
文本向量z_t 是正确匹配文本的特征向量，z_j 是任一文本候选项的向量。
$z_t, \quad z_j$
相似度函数sim(z_v, z_t) 计算两向量间的余弦相似度，值越大表示语义越接近。
$\operatorname{sim}\left(z_v, z_t\right)$
温度系数\tau 是缩放温度，控制相似度分布的锐利程度，让模型更“较真”地分辨正负样本。
$\frac{\operatorname{sim}\left(z_v, z_t\right)}{\tau}$
负对数似然对整个比值取负对数，正确配对概率越高，L 越小，训练就是不断降低 L。
$-\log \frac{\exp(\cdots)}{\sum_{j=1}^{N} \exp(\cdots)}$

OFM模型

老周逐渐发现一个规律：只要店里的事都按“进来什么、出去什么”来记录，管起来就特别顺。OFM（One For Many）模型正是这个思路的极致实践——它只有一个模型，但把理解任务也统统变成生成任务，从根源上消灭了“分类头和生成头”的区分。

传统做理解任务，模型头是一个分类器；做生成任务，模型头是一个词表预测器。OFM 的设计更彻底：统一用“前缀语言模型”——输入序列（无论图文）当作前缀，目标输出（无论是标签还是句子）当作要预测的续写。图片分类？把“这张图属于类别：”当前缀，预测出“猫”就是答案。图文对话？把整段历史当前缀，续写出回复就行。

OFM 的核心思想是：所有任务共享同一个条件生成目标。预训练时采用类别平衡策略，让理解和生成任务的样本量保持均衡，避免模型偏科。它的训练目标简写为：

OFM 就像老周把店里所有商品统一贴成一种规格的标签——不管是酱油、洗衣粉还是电池，都按同一个格式记账。好处是系统变得极简：预训练不用分任务，微调不用换头部，一个模型从理解到生成全包圆，研发和部署成本都被压到了最低。

\mathcal{L}_{OFM}(\theta) = -\sum_{(x, y) \in \mathcal{D}} \log P_{\theta}\left(y \mid x\right)

这个损失函数的意思是：对于数据集 D 里的每一条样本，输入 x（可能是图、文或混合）经过带参数 θ 的模型，能生成期望输出 y 的概率越高越好。所有任务共用这一个目标，没有第二个损失项。

模型参数θ 表示整个统一模型的所有可学习参数，是训练中不断更新的“手艺”。
$\theta$
训练数据集D 是所有样本的集合，每条样本包含输入 x 和期望输出 y。
$\mathcal{D}$
单样本损失-\log P_{\theta}(y \mid x) 对单条样本计算损失，输出越准损失越小。
$-\log P_{\theta}\left(y \mid x\right)$
求和遍历整个数据集把所有样本的损失加起来，得到总损失，优化器通过梯度下降最小化它。
$\sum_{(x, y) \in \mathcal{D}}$

Gemini代表

老周的名声越传越远，隔壁城市的大商场老板慕名而来，想请他去当店长。这位“大商场版全能店主”就是 Gemini——谷歌推出的代表性多模态统一模型。

Gemini 最大的特点是“原生多模态”（Natively Multimodal）：它从预训练的第一天起，就同时吃文本、图像、音频、视频甚至代码，而不是像某些方案那样先训练单模态模型再拼接。这就像老周不是先当三年收银员再学理货，而是从学徒期开始就每天同时练全部手艺——各模态信息在底层就互相渗透，融合得更自然。

Gemini 的训练数据规模惊人，覆盖网页文档、书籍、图片、视频、语音等多源数据。它的条件建模目标是对多模态输入序列的联合概率建模：

Gemini 提供了 Ultra、Pro、Nano 三档规格，对应大商场里的“总店、分店、便利店”：Ultra 能力最强，处理最复杂任务；Pro 平衡性能和成本；Nano 轻量到能塞进手机离线跑。同一个“手艺”（架构），按需要裁成不同规模，这正是统一模型走向落地的现实姿态。

\mathcal{L}_{Gemini} = -\sum_{t} \log P\left(y_t \mid y_{<t}, x_{text}, x_{image}, x_{audio}\right)

这个公式表示：模型在预测下一个输出 token 时，会同时参考之前生成的 token、以及文本、图像、音频三类输入。这意味着跨模态的线索可以共同影响生成结果——比如看图说话时，图片内容和旁边的文字说明会被同时利用。

三类输入x_{text}、x_{image}、x_{audio} 分别是文本、图像、音频输入序列，被拼接成统一前缀。
$x_{text}, \quad x_{image}, \quad x_{audio}$
历史生成y_{<t} 表示当前位置之前的全部已生成 token，确保生成连贯。
$y_{<t}$
联合条件概率P(y_t | \cdots) 计算下一个 token 在所有已知信息条件下的概率分布。
$P\left(y_t \mid y_{<t}, x_{text}, x_{image}, x_{audio}\right)$
累加损失对所有位置 t 的负对数概率求和，作为整个模型的训练目标。
$\sum_{t} \log P\left(\cdots\right)$

部署与优化

老周要把这套“全能店长”经验搬进社区便利店时发现：店里柜台上放不下那台昂贵的大冰箱。Gemini Ultra 级别的模型动辄数千亿参数，直接部署 = GPU 显存爆掉。所以现实中的统一模型，都要经过一番“瘦身”才能上岗。

第一个手段是量化：把模型权重从 FP32（32 位浮点数）压到 INT8（8 位整数）。这就好比把精确到克的台账改成精确到两的台账，数字精度略降，但账目“占用的脑力”少了 4 倍。显存占用和模型权重之间的关系可以估算：

除此之外，知识蒸馏用大模型教小模型“学手艺”，KV Cache 缓存历史计算避免重复算，批处理把多个请求一起算以摊薄开销。落地时还有端云协同方案：手机端放一个 Nano 级别的轻量模型处理简单请求，复杂请求再上传云端调用完整版。老周最终把便利店开起来了——用的正是“店里放小冰箱、仓库放大冷柜”的组合打法。

M = \frac{P \times B}{8}

这个公式用来估算模型权重占用的显存：P 是参数量（以亿计），B 是每个参数的位宽（如 32 或 8），除以 8 把位换算成字节。参数量固定时，位宽降到 1/4，显存占用就降到 1/4。

显存占用M 是模型权重所需显存，单位 GB。
$M$
参数量P 是模型参数总量，代表“手艺册”的厚度。
$P$
位宽B 是每个参数用多少位存储，FP32 是 32 位，INT8 是 8 位。
$B$
位转字节除以 8 是因为 8 位等于 1 字节，内存占用以字节计量。
$\frac{P \times B}{8}$

AI 应用场景

跨模态智能客服

阶段：多模态理解与生成统一

解决的问题：传统客服系统只能处理纯文本，用户发一张模糊的产品故障照片，系统无法结合图片判断问题。统一模型把文本+图像同时输入同一个模型，理解用户意图，再自动生成回答，省去了“先接图片模型、再接文本模型”的拼装流程和中间信息丢失。

具体案例：某电商平台的售后机器人接入统一模型后，用户上传“商品破损照片 + 一句投诉”，模型同时读取图片中的破损区域和文字中的情绪信息，直接生成包含退款方案和道歉话术的完整回复。处理时长从过去两套系统串行调用的 4 秒，降到单模型一次推理的 1.5 秒。

图文互搜与内容创作

阶段：模态对齐与统一表征

解决的问题：传统的图文检索需要分别训练视觉和文本编码器再对齐，词表和视觉特征空间不一致时效果差。统一模型天然在同一个语义空间里做对齐，文字搜图片、图片搜文字都走同一套向量检索，开发量大幅减少。

具体案例：一家设计素材平台用统一模型实现“以图搜图 + 关键词搜索”双通道：设计师上传一张“北欧风沙发”的参考图，附加一句“浅色木地板”文字描述，模型融合两种模态信息，返回既符合视觉风格又满足文字条件的素材合集，搜索满意度提升 35%。

Python 演示

python57 行

import numpy as np  class UnifiedModel:    """一个极简的多模态统一模型演示。     文本和图像都被映射到同一向量空间，    理解与生成共用同一个底座。    """     def __init__(self, dim=16, vocab=32):        self.dim = dim        self.vocab = vocab        self.text_emb = np.random.randn(vocab, dim) * 0.1        self.patch_proj = np.random.randn(dim, dim) * 0.1        self.head = np.random.randn(dim, vocab) * 0.1        self.gc_count = 0     def embed_text(self, token_ids):        tokens = [self.text_emb[t] for t in token_ids]        return np.array(tokens)     def embed_image(self, patches):        patches = np.array(patches)        return np.array([self.patch_proj @ p for p in patches])     def forward(self, seq):        self.gc_count += 1        return seq.mean(axis=0)     def understand(self, seq):        logits = self.head @ self.forward(seq)        return int(np.argmax(logits))     def generate_next(self, seq, n=3):        out = list(seq)        for _ in range(n):            context = self.forward(np.array(out[-4:]))            probs = np.exp(self.head @ context)            probs = probs / probs.sum()            out.append(int(np.argmax(probs)))        return out  def main():    model = UnifiedModel()    text_feats = model.embed_text([5, 7, 12])    image_feats = model.embed_image(np.random.randn(4, model.dim))    unified_seq = np.vstack([text_feats, image_feats])    label = model.understand(unified_seq)    generated = model.generate_next([5, 7], 3)    print("理解结果(分类标签):", label)    print("生成续写token:", generated)  if __name__ == "__main__":    main()

目的：演示多模态统一模型“一个模型处理理解与生成”的核心流程——文本特征和图像特征拼接成统一序列，送入同一个模型完成分类和续写。

self.text_emb = np.random.randn(vocab, dim) * 0.1词表嵌入表，每个词一个向量，相当于给每个词规定好“货格”位置
self.patch_proj = np.random.randn(dim, dim) * 0.1图像补丁的投影矩阵，把图像小块投射到和文本相同的语义空间
def embed_text(self, token_ids)把文本 token 变成向量序列，文本侧的统一化入口
def embed_image(self, patches)把图像补丁变成向量序列，图像侧的统一化入口
np.vstack([text_feats, image_feats])把文本向量和图像向量拼接成一个统一序列，模拟“同一张大桌子”
def forward(self, seq)用均值池化模拟共享编码过程，把整条序列压缩成上下文向量
def understand(self, seq)理解任务：用 head 层把上下文映射到词表维度，取最大值的下标作为分类标签
def generate_next(self, seq, n=3)生成任务：基于上下文计算词表概率，逐步采样续写 token
self.gc_count += 1统计推理次数，注意用 _count 后缀避免与类方法同名冲突

常见误区

误区很多初学者认为，把图像模型、语音模型、文本模型组合起来装进一个系统，就是多模态统一模型。

正解真正的统一模型是“一个模型、一套参数、一次前向传播”同时处理多种模态——就像老周一个人精通所有岗位，而不是把三个员工塞进同一间办公室。后者只是系统集成（集成学习或管线拼接），底层仍是多个独立模型，误差累积问题依然存在，参数也成倍增加。区分关键在于：模型权重是否在模态间共享。

为何常见：因为“统一”这个词在日常语境里常被理解为“整合到一起”，让人误以为物理上的组合摆放就等于统一。

误区认为多模态统一模型只要处理文本和图片两种输入就算多模态了。

正解多模态的“多”可以有无限种形态——文本、图像、音频、视频、代码、甚至传感器信号和结构化表格。Gemini 等前沿模型从预训练起就同时摄入文本、图像、音频和视频。真正的统一模型追求的是“任意模态进去，任意模态出来”，模态种类越多，对齐挑战越大，统一价值也越凸显。

为何常见：因为日常接触的 AI 产品里，图文结合的场景最常见（比如 OCR、以图搜图），让人产生了“多模态 = 图文”的固定印象。

误区有人担心“一个模型干所有事，会不会每件事都干得不如专用模型好”。这种担忧看上去合理，但结论是错的。

正解统一模型通过跨模态、跨任务的共享知识，反而能在小样本任务上表现更好——就像见多识广的老周遇到新商品，比只见过一种商品的员工上手更快。在数据充足的大任务上，统一模型的精度已经能追平甚至超过专用模型；在小任务和数据稀缺场景下，迁移学习和共享表征带来的收益更是明显。

为何常见：人们习惯用“专业化 = 更精”的直觉推理，忽略了深度学习里“共享表征 + 大模型”带来的泛化红利。

误区认为模态对齐只是模型末尾加一个相似度计算层，把图文特征拉到一起就完事了。

正解对齐发生在模型训练的整个过程中：输入阶段要做 token 化的统一，中间层要在共享自注意力里互相参考，损失函数层面要用对比学习等目标持续拉近模态距离。就像老周学外语不是最后背一张单词翻译表，而是在日常工作中不断把英文、实物、中文对应着反复使用。对齐是一个贯穿始终的过程，不是挂在门口的招牌。

为何常见：因为很多介绍对比学习的文章都把重点放在“计算相似度”这一步，容易让人误以为对齐就是最后这一个操作。

面试题

Q1. 多模态统一模型最核心的架构优势是什么？

单选题 · easy

A.参数总量大幅减少
B.共享底座兼顾多任务← 正确答案
C.单任务精度绝对翻倍
D.完全不需要训练数据

答案：B。统一模型用一套共享的 Transformer 底座处理文本、图像、音频等多种输入和多种任务，这是它最核心的优势。A 的“大幅减少”不是必然结果；C 的“绝对翻倍”过于绝对；D 明显错误，模型仍需大量训练数据。

Q2. 模态对齐的目标是什么？

单选题 · easy

A.让不同模态编码到同一语义空间← 正确答案
B.把图像直接转换成文本存储
C.消除文本模态只保留视觉
D.让每个模态独自建一个空间

答案：A。模态对齐的目标是把文本、图像等不同模态的特征映射到同一个语义空间，让“苹果”这个词的向量和苹果图片的向量靠近。B 的“直接转换”是幼稚想法；C 是破坏性做法；D 恰恰与对齐相反。

Q3. 在 Attention(Q,K,V) 中，除以 \sqrt{d_k} 的主要作用是什么？

单选题 · mid

A.降低向量维度加快运算
B.防止点积过大导致梯度不稳← 正确答案
C.让注意力权重总和为零
D.为位置编码预留空间

答案：B。向量维度 d_k 增大时，点积 Q K^{T} 的数值方差也会变大，进入 softmax 后梯度极易饱和消失。除以 \sqrt{d_k} 起到缩放作用，让分布更平稳。A 错在维度没变；C 相反，权重总和要保持为 1；D 与位置编码无关。

Q4. 统一模型中，图像通常以什么形式进入 Transformer 序列？

单选题 · mid

A.原始像素矩阵直接送入
B.切成 Patch 再映射为 Token← 正确答案
C.压缩成单个向量的图片名
D.先转成文本描述再输入

答案：B。图像先被切成固定大小的小方块（Patch），每个 Patch 经线性变换映射成与文本 token 同维的向量，再拼入 token 序列。A 的原始像素矩阵无法直接和文本 token 对齐维度；C 信息损失过大；D 是“先翻译再做”的旧路线，不是统一模型的做法。

Q5. 传统分治多模态系统存在哪些问题？

多选题 · mid

A.模块串行导致误差累积← 正确答案
B.模块间接缝信息损耗← 正确答案
C.整体响应延迟较高← 正确答案
D.参数量一定比统一模型小

答案：ABC。分治系统由多个独立模块串联，每个模块的误差会向后传递放大（A），模块间接口处必然损失信息（B），多次调用串行推理导致延迟上升（C）。D 错误：多个模型参数量之和通常远大于统一模型。

Q6. OFM 模型把理解任务也统一成什么形式？

单选题 · mid

A.生成任务或条件生成← 正确答案
B.独立分类任务
C.强化学习任务
D.无监督聚类任务

答案：A。OFM（One For Many）把分类、问答等理解任务统一改造为“给前缀、续写答案”的条件生成任务，所有任务共享同一个生成损失。B 正是 OFM 想消灭的旧范式；C、D 不是 OFM 的任务统一方式。

Q7. 对比学习损失函数中，温度系数 \tau 的作用是什么？

单选题 · mid

A.控制相似度分布的锐利程度← 正确答案
B.改变模型参数量
C.决定训练数据批大小
D.缩放词表维度

答案：A。\tau 越小，softmax 输出分布越尖锐，模型对正负样本差异越敏感；\tau 越大则分布越平滑。它是训练中的超参数，不影响参数量、批大小或词表维度，因此 B、C、D 均错误。

Q8. Gemini “原生多模态”的含义是什么？

单选题 · hard

A.从预训练开始同时学习多模态← 正确答案
B.用现成的单模态模型后期拼接
C.只在微调阶段加入多模态数据
D.只支持文本和图像的两种输入

答案：A。原生多模态指模型从预训练第一天起就联合处理文本、图像、音频、视频等模态，模态信息在底层共享的 Transformer 中互相融合。B 是拼装式方案；C 只在微调加多模态等于“半路出家”；D 范围过窄，Gemini 还支持音频视频。

Q9. 统一模型部署时常用的优化手段有哪些？

多选题 · hard

A.权重量化压缩显存← 正确答案
B.知识蒸馏缩小模型← 正确答案
C.KV Cache 缓存加速← 正确答案
D.增加 Transformer 层数

答案：ABC。量化（如 FP32 转 INT8）把显存降到约 1/4；蒸馏让小模型学习大模型能力；KV Cache 缓存历史键值对，避免重复计算。D 增加层数只会让模型更大更慢，与部署优化目标相反。

Q10. 公式 M = P × B ÷ 8 估算的是什么？

单选题 · hard

A.模型推理单条样本的延迟
B.模型权重占用的显存大小← 正确答案
C.训练一个批次需要的数据量
D.模型生成序列的最大长度

答案：B。P 是参数量，B 是每参数位宽（如 8 位 INT8），除以 8 把位换算成字节，得到权重占用显存。它不衡量延迟（A）、训练数据量（C）或序列长度（D）。这一估算直接指导“该买多大显存的卡”这一选型决策。