你是一位刚上任的院长，手里攥着一张足够建起一座巨型医院的图纸。这座医院拥有数百位专科医生，却不必让所有人同时值班；它自带影像科与检验科，患者进门一次就能完成体检；它的病历档案室大到可以装下一千万字的就诊记录，还能在几秒内翻出十年前的一页。这就是 Meta 最新开源的 Llama 4——一座在架构图纸上充满颠覆性创新的“全科医院”。它的核心秘密叫做 MoE（混合专家）：分诊台只需扫一眼挂号单，就能只唤醒两三位最对口的专家，其余医生继续休息。加上原生多模态融合、超长上下文、新一代训练配方，Llama 4 用更低的推理成本，交出了对标闭源旗舰的成绩单。这篇文章会用“医院运营”的视角，把 Llama 4 的每一层图纸拆开给你看。

岗位关联

掌握 Llama 4 的架构创新，意味着你能用更低的算力成本选对开源基座、看懂大模型演进方向，并在实际项目中做出更理性的模型选型决策。

目录
  1. 可视化演示
  2. 模型全景
  3. MoE稀疏架构
  4. 原生多模态
  5. 超长上下文
  6. 训练创新
  7. 对比分析
  8. 应用选型
  9. AI 应用场景
  10. Python 演示
  11. 常见误区
  12. 面试题

可视化演示

本节配有交互动效（进入视口后自动加载，约 3KB）。

模型全景

要开工建一座前沿医院，首先得看总平面图。Llama 4 发布时，Meta 一口气放了三张楼层图：Scout、Maverick、Behemoth。Scout 像一栋轻量门诊楼，造价低、运转轻快；Maverick 是主力综合楼，科室齐全、能力均衡；Behemoth 还处于内部装修阶段，建成后将成为整个楼群中最庞大的科研中心。三兄弟共享同一张地基图纸——原生 MoE 架构，但各自承担的临床任务完全不同。

翻译成技术语言：Scout 总参数 109B、激活参数仅 17B，上下文窗口高达 1000 万 token；Maverick 总参数 400B，激活参数同为 17B，在多数公开评测上直接对标闭源旗舰；Behemoth 则是训练中的超大规模模型，目标是冲击 SOTA。关键是“总图纸很大，但每次值班医生很少”——这是三兄弟区别于 Llama 3 稠密架构的本质，也是它们能开源、能落地的底气所在。开源定位意味着权重公开、可商用，任何人都可以复制这份图纸自己盖楼。

版本差异并非简单的“大就是好”。Scout 牺牲综合能力换取了极端上下文，Maverick 在能力与成本之间取平衡，Behemoth 则追求极致上限。理解这张平面图，就理解了 Llama 4 的第一步棋：图纸画得宏大，但每一层都在为“省”做设计。

Scout 和 Maverick 的稀疏率都在 4%~15% 区间，意味着每次前向只需计算约 1/10 的参数——这就是医院“叫醒少数专家”的数学表达。

ρ=MactiveMtotal\rho = \frac{M_{\text{active}}}{M_{\text{total}}}
这个比值叫“激活参数率”，衡量一次推理中真正参与计算的参数占比，相当于医院里“实际值班医生 / 全院医生总数”。
  1. 分子 $M_{\text{active}}$一次前向推理中被唤醒的参数量，对应“真正值班的医生人数”。
    MactiveM_{\text{active}}
  2. 分母 $M_{\text{total}}$模型全部参数量，对应“医院体系里所有在职医生”。
    MtotalM_{\text{total}}
  3. 比值 $\rho$稀疏率，也叫激活率，越小代表每次计算的算力消耗越低。
    ρ=MactiveMtotal≈4.25%\rho = \frac{M_{\text{active}}}{M_{\text{total}}} \approx 4.25\%

MoE稀疏架构

如果 Llama 4 是一座医院，MoE 就是它的分诊制度。想象急诊室的场景：患者捂着胸口进来，分诊台护士瞄一眼症状，绝不会把全院两百位医生全部叫来开会，而是精准呼叫心内科和呼吸科的两三位专家。这个“瞄一眼”的瞬间，就是门控路由器的工作。Llama 4 的 MoE 把 Transformer 中的前馈网络层替换成一组专家网络，就像在一栋楼里同时开设几十个专科诊室。

每个专家本质上是一个独立的 MLP 网络。当一个 token（挂号单）经过该层时，路由器先为所有专家打一个“匹配分”，再选出分数最高的 K 个专家执行实际计算，其余专家保持休眠。K 通常取 2 到 8，远小于专家总数。这就是“稀疏”二字的来源：不是所有参数都参与计算，而是每次只唤醒一小部分。

这种设计的收益非常直接：激活参数远小于总参数，推理的浮点运算量大幅下降，吞吐能力随之提升。但要注意，全部专家参数依然要常驻显存，因为下一次请求可能唤醒另一位专家。Llama 4 还在路由层面做了负载均衡优化，避免某些热门专家被过度调用而其他专家常年闲置——对应到医院场景，就是避免心内科排长队、皮肤科空荡荡。

分诊台越智能，医院越高效。MoE 让每一个 token 都像一次精准挂号，路由器决定哪些专科医生真正参与会诊——这就是 Llama 4“规模大、算力省”的核心秘密。

G(x)=TopK⁡(Softmax⁡(xWg))G(x) = \operatorname{TopK}\left(\operatorname{Softmax}\left(x W_g\right)\right)
门控路由公式：先给所有专家打分，再做归一化，最后只保留分数最高的 K 位专家。
  1. 输入向量 $x$当前 token 经过若干层网络压缩后的隐藏表示，相当于“患者的挂号信息摘要”。
    x∈Rdx \in \mathbb{R}^d
  2. 门控权重 $W_g$路由器网络学习的参数矩阵，决定每个专家与“挂号信息”的匹配模板。
    Wg∈Rd×EW_g \in \mathbb{R}^{d \times E}
  3. 打分 $x W_g$将挂号信息与 E 位专家逐一比对，生成 E 个匹配分数。
    s=xWg,s∈REs = x W_g,\quad s \in \mathbb{R}^E
  4. Softmax 归一化把原始分数转换为 0 到 1 之间的权重分布，所有专家权重之和为 1。
    s~=Softmax⁡(s)\tilde{s} = \operatorname{Softmax}(s)
  5. TopK 稀疏选择只保留权重最高的 K 个专家，其余置为 0，实现“按需叫醒”。
    G(x)i=s~i⋅1[i∈TopK(s~)]G(x)_i = \tilde{s}_i \cdot \mathbb{1}[i \in \text{TopK}(\tilde{s})]

原生多模态

传统医院里，检验科、影像科、病理科各出一份独立报告，医生需要自己拼凑信息；而 Llama 4 设计了一座“一站式检查中心”：患者进门，抽血、X光、CT 一次完成，所有原始数据汇入同一份电子病历。医生打开病历，图像、文本、检验指标出现在同一条时间轴上，不需要等翻译或转述。这个体验，来自原生多模态建模。

Llama 4 从预训练阶段就把文本、图像、视频统一建模，而不是像早期方案那样“先用 OCR 把图片转成文字，再喂给纯文本模型”。它引入独立的视觉编码器，把图片切块后编码为视觉 token，再与文本 token 拼成同一条序列，交给同一个 Transformer 处理。这样一来，模型不是在“读图后的文字”，而是在读图像本身。

这种统一编码带来两个实际好处：一是信息不丢失，图像里的纹理、空间关系、物体边界都保留在 token 序列中；二是天然支持图文联合理解，比如“这张图的拍摄地点与文中描述是否一致”这类跨模态推理，模型可以直接跨 token 做注意力计算。视频也可以被当作序列帧展开的视觉 token 流来处理，相当于给医院加装了一台能连续拍片的影像设备。

一站式检查中心的意义在于：每种模态的原始信息都在同一份档案里，专家会诊时不用等翻译，直接读原始报告——这正是 Llama 4 能“看图说话、听声辨意”的底层原因。

z=Wp[Et(xt);Ev(xv)]z = W_p \left[ E_t(x_t); E_v(x_v) \right]
多模态融合公式：文本和图像各自编码后拼接，再经过投影矩阵对齐到统一表示空间。
  1. 文本编码器 $E_t(x_t)$把文本 token 序列映射为连续向量表示。
    Et(xt)E_t(x_t)
  2. 视觉编码器 $E_v(x_v)$把图像块映射为视觉向量表示。
    Ev(xv)E_v(x_v)
  3. 拼接操作 $[\ ;\ ]$沿序列维度拼接文本与视觉 token，形成一条多模态长序列。
    [Et(xt);Ev(xv)][E_t(x_t); E_v(x_v)]
  4. 投影矩阵 $W_p$将拼接后的向量对齐到统一特征空间，让注意力机制可以跨模态交互。
    z=Wp⋅[Et(xt);Ev(xv)]z = W_p \cdot [E_t(x_t); E_v(x_v)]

超长上下文

医院里最宝贵的资产是什么？病历档案室。Llama 4 把档案室修得空前巨大：Scout 可以一次性读完 1000 万 token，相当于 10 本《三体》全集；Maverick 也拥有 100 万 token 的窗口，足够装下几十份百页级技术文档。医生接诊时，患者不必复述五年前的病史，档案室一键调取即可。长上下文能力的价值，就是让模型“记住更多前文”。

但超长上下文的难点不在于“装得下”，而在于“找得到”。Transformer 的自注意力机制计算量随序列长度平方增长，直接硬算上千万 token 会炸掉算力预算。Llama 4 用组合拳解决这个问题：改进的位置编码（RoPE）让位置信息可以外推到更长序列；流式处理结合 KV 缓存压缩，把历史信息压成精炼摘要，而不是原封不动地保存每一个字。

KV 缓存是长上下文的隐形账单。每处理一个 token，模型都要为每一层、每个注意力头缓存 Key 和 Value 向量，缓存总量正比于序列长度。上下文增长 10 倍，KV 缓存也约增长 10 倍，显存压力呈线性膨胀。因此 Llama 4 在长文本场景专门做了优化：低比特 KV 缓存、滑动窗口注意力、层级摘要——本质上就是给档案室建了索引目录和摘要卡片，医生不需要把整座档案室搬进诊室。

档案室不是越大越好，关键是能快速调取。Llama 4 的超长上下文在“容量”与“效率”之间找到了平衡——医生能翻到十年前的一页病历，但不必把整座档案室搬进诊室。

MKV∝2×Nlayers×dkv×LseqM_{\text{KV}} \propto 2 \times N_{\text{layers}} \times d_{\text{kv}} \times L_{\text{seq}}
KV 缓存公式：缓存大小与层数、每头维度、序列长度成正比，因子 2 代表 Key 和 Value 各存一份。
  1. 因子 2每个注意力头都要同时缓存 Key 和 Value 两份向量。
    22
  2. 层数 $N_{\text{layers}}$Transformer 每一层都有独立的注意力头，缓存逐层累积。
    NlayersN_{\text{layers}}
  3. 每头维度 $d_{\text{kv}}$单个注意力头的 Key/Value 向量长度。
    dkvd_{\text{kv}}
  4. 序列长度 $L_{\text{seq}}$当前上下文窗口内已处理的 token 数量。
    LseqL_{\text{seq}}

训练创新

建成一家优秀医院，光有漂亮大楼远远不够，还要有出色的“医学生培养体系”。Llama 4 的训练创意之一是“跟师学习”：让一个强大的教师模型当主治医师，手把手带教学生模型。学生不用从零摸索，直接吸收老师已经归纳好的诊断经验。这个思路，在机器学习里叫知识蒸馏。

Meta 利用早期训练出的强模型生成高层级数据，再让 Llama 4 在这些数据的指导下继续训练。同时，训练配方里加入了大规模合成数据——相当于“人造病案”，用来覆盖真实数据中稀缺的长尾场景：罕见的语法结构、特殊的推理链条、小众领域的专业知识。合成数据让模型见得更多、学得更稳，也降低了对高质量真实数据的依赖。

训练策略还强调阶段式推进与数据配比。模型先在通用语料上完成预训练，再逐步引入指令数据、多模态数据与代码数据，各阶段按精心设计的比例混合，避免“偏科”。这也是 Llama 4 在数学、代码、常识问答等多个榜单上表现均衡的原因——不是单点炫技，而是“名师带教 + 海量病案 + 分科轮转”的组合拳。

蒸馏让 Llama 4 从“读了很多书”变成“在名师手把手指导下练出来的医生”，既保留大模型的广度，又练出对口科室的深度。

L=α LCE(y,pS)+(1−α) LKL(pT,pS)\mathcal{L} = \alpha\, \mathcal{L}_{\text{CE}}(y, p^S) + (1-\alpha)\, \mathcal{L}_{\text{KL}}(p^T, p^S)
蒸馏损失公式：学生模型既要学会预测正确答案（交叉熵项），也要模仿教师模型的输出分布（KL 散度项）。
  1. 学生预测 $p^S$学生模型对当前样本输出的概率分布。
    pSp^S
  2. 教师预测 $p^T$教师模型对同一份输入输出的概率分布，作为“经验指导”。
    pTp^T
  3. 交叉熵 $\mathcal{L}_{\text{CE}}$衡量学生预测与真实标签之间的差距。
    LCE(y,pS)\mathcal{L}_{\text{CE}}(y, p^S)
  4. KL 散度 $\mathcal{L}_{\text{KL}}$衡量学生分布与教师分布之间的差异。
    LKL(pT,pS)\mathcal{L}_{\text{KL}}(p^T, p^S)
  5. 平衡系数 $\alpha$控制“向正确答案学”与“向老师学”的比例。
    α∈[0,1]\alpha \in [0, 1]

对比分析

要评价 Llama 4 这座新医院到底如何，最直接的办法是把它和旧院区、隔壁私立医院放在一起比。旧院区是 Llama 3——一座人人参与会诊的“全员医院”；隔壁私立医院是 GPT-4——技术顶尖、服务优质，但挂号费昂贵且不公开内部图纸。

Llama 3 是稠密模型：每次推理，所有参数都被激活，相当于全院医生集体会诊。这种方式能力扎实，但资源和能耗巨大。Llama 4 引入 MoE 后，用更少的激活参数达成了相近甚至更强的效果。以 Maverick 为例，总参数 400B、激活 17B，在 MMLU、MATH、HumanEval 等多项评测上逼近甚至超过 GPT-4，而激活算力仅为同规模稠密模型的零头。

与 GPT-4 相比，Llama 4 的关键差异在于开源与生态。GPT-4 只能通过 API 访问，无法本地部署、无法微调；Llama 4 权重开放，可私有化、可定制。参数效率可以量化：Maverick 的激活率约 4.25%，意味着每次前向只计算约 1/24 的参数。当然，GPT-4 在部分复杂推理任务上仍保持领先，行业标尺的地位没有动摇。

类比下来，Llama 3 是全员大会诊，GPT-4 是最贵的私立医院，而 Llama 4 把“全院会诊”升级为“精准请专家”：疗效接近、账单更低、图纸公开。

FLOPs≈2×Mactive×Ntokens\text{FLOPs} \approx 2 \times M_{\text{active}} \times N_{\text{tokens}}
推理算力公式：计算量主要取决于激活参数与处理 token 数的乘积，而与总参数关系不大。
  1. 因子 2前向推理中乘加运算近似为 2 次浮点操作。
    22
  2. 激活参数 $M_{\text{active}}$实际参与的参数量，MoE 中远小于总参数。
    MactiveM_{\text{active}}
  3. token 数 $N_{\text{tokens}}$本次推理处理的 token 总量。
    NtokensN_{\text{tokens}}

应用选型

你是一家区域医院的信息科主任，面前摆着 Llama 4 的三栋楼，该选哪一栋？这得先看预算、病种和院区硬件——对应到技术世界，就是评估业务场景、推理成本和部署环境。选型不是“越大越好”，而是“匹配最优”。

如果你的客户需要超长文档问答——比如投行要一次性读完几万页年报并回答细节问题，Scout 的千万级上下文是唯一可行解；如果你做通用助手、代码补全、客服机器人，Maverick 的综合能力与成本平衡最优；Behemoth 未来发布后，则更适合挑战顶级闭源模型的 SOTA 任务。场景匹配是选型的第一原则。

部署层有两个关键约束。第一，MoE 的全部专家参数必须常驻显存，Maverick 在 BF16 精度下约需 800GB 显存，单卡无法运行，需要多卡并行或量化；量化到 INT4/INT8 后显存可压缩至约 200GB，部署门槛大大降低。第二，开源生态已快速适配：HuggingFace Transformers、vLLM、SGLang 等推理框架原生支持 MoE 稀疏调度，能显著提升并发吞吐，让“精准请专家”的收益真正落到生产环境中。

选择哪栋楼，最终回到一个朴素的判断：你的病种、预算、硬件，决定了哪套图纸最合适。Llama 4 的意义，是让开源社区第一次同时拿到“轻量长文”“均衡全能”“超大旗舰”三份可选图纸。

MvRAM≈2×Mtotal bytesM_{\text{vRAM}} \approx 2 \times M_{\text{total}} \ \text{bytes}
显存估算公式：BF16 精度下，每 1B 参数约占 2GB 显存，总参数决定显存上限。
  1. 总参数 $M_{\text{total}}$全部专家与共享模块的参数总和。
    MtotalM_{\text{total}}
  2. 系数 2BF16 格式每个参数占 2 字节。
    2 bytes/param2 \ \text{bytes/param}
  3. 显存 $M_{\text{vRAM}}$加载模型权重所需的最小显存，量化后该值会进一步缩小。
    MvRAM=2×MtotalM_{\text{vRAM}} = 2 \times M_{\text{total}}

AI 应用场景

场景一：智能研报分析——超长上下文的“档案室”价值

阶段：模型选型与应用构建

解决的问题：投行分析师每天要阅读数十份年报、研报，传统关键词搜索无法处理跨章节的因果关系，人工阅读又耗时数周。Llama 4 Scout 提供千万级上下文窗口，可以把整份研报一次性载入，直接追问“2023 年营收下滑的具体业务线是什么？同年现金流变化如何呼应？”模型基于全部原文作答，不再依赖切片检索。

具体案例：某金融科技团队用 Scout 搭建研报问答系统，将一份 200 页 PDF 转成 token 序列后单次输入，分析师通过对话式查询替代逐页阅读，单份报告分析时间从 2 天缩至 30 分钟。

场景二：多模态内容审核——原生多模态的“一站式检查”

阶段：数据理解与特征融合

解决的问题：内容平台需要同时判断图片与文字是否违规。传统方案是分别训练图片分类器与文本分类器，再人工融合结论，无法识别“文字本身无害、但结合图片产生违规含义”的隐晦内容。Llama 4 的原生多模态能力让模型直接读图与读文，在一次前向中完成跨模态判断。

具体案例：某社区平台用 Llama 4 替换了“OCR + 文本审核”两步流水线，将图文联合违规召回率提升约 18%，同时省去 OCR 模块的额外推理成本。

场景三：低成本高并发客服——MoE 的“精准叫醒”收益

阶段：推理部署与成本优化

解决的问题：中小团队想用大模型做客服机器人，但稠密大模型的 GPU 成本难以承受。Llama 4 Maverick 总参数 400B、激活参数仅 17B，每次推理的计算量与 17B 稠密模型相当，却拥有接近旗舰模型的能力——相当于用门诊楼的电费享受了综合楼一部分专家服务。

具体案例：一家电商 SaaS 公司用 vLLM 部署 Maverick（INT4 量化），在 4 张 A100 上支撑日均 50 万次客服查询，单次请求推理成本比调用 GPT-4 API 降低约 70%。

Python 演示

python32 行
import numpy as np class MoELayer:    def __init__(self, d_model=16, n_experts=4, top_k=2, d_ff=32, seed=42):        rng = np.random.default_rng(seed)        self.n_experts = n_experts        self.top_k = top_k        self.proj = rng.normal(0, 0.1, (d_model, n_experts))        self.experts = []        for _ in range(n_experts):            w = rng.normal(0, 0.1, (d_model, d_ff))            v = rng.normal(0, 0.1, (d_ff, d_model))            self.experts.append((w, v))     def forward(self, x):        scores = x @ self.proj        top_idx = np.argsort(scores, axis=-1)[:, -self.top_k:]        exp_scores = np.exp(scores)        soft = exp_scores / np.sum(exp_scores, axis=-1, keepdims=True)        out = np.zeros_like(x)        for idx in top_idx.ravel():            w, v = self.experts[idx]            out += soft[:, idx].T @ (np.maximum(x @ w, 0) @ v)        return out if __name__ == "__main__":    layer = MoELayer()    batch = np.random.randn(3, 16)    result = layer.forward(batch)    print("激活专家数:", layer.top_k, "/", layer.n_experts)    print("稀疏率: %.1f%%" % (100 * layer.top_k / layer.n_experts))    print("输出形状:", result.shape)
目的：用 NumPy 从零实现一个简化版 MoE 层，演示“门控路由器打分 → TopK 稀疏选择 → 专家加权输出”的完整前向流程。
  1. scores = x @ self.proj把输入向量与门控投影矩阵相乘，得到每个专家的匹配分数。
  2. top_idx = np.argsort(scores, axis=-1)[:, -self.top_k:]对分数排序并取最高的 K 个专家索引，对应“分诊台只叫醒少数专家”。
  3. soft = exp_scores / np.sum(exp_scores, axis=-1, keepdims=True)对全部专家做 Softmax 归一化，得到权重分布。
  4. out += soft[:, idx].T @ (np.maximum(x @ w, 0) @ v)对每个被唤醒的专家执行“线性变换 + ReLU + 线性变换”，按权重累加输出。
  5. self.experts.append((w, v))每个专家保存两组权重矩阵，对应医院里一位专科医生的“诊断手册”。

常见误区

误区“Llama 4 用了 MoE，激活参数只有 17B，那推理速度一定是 Llama 3 的十几倍吧？”

正解激活参数减少只意味着计算量下降，但推理速度还受显存带宽、并行策略、批处理大小影响。MoE 的全部专家都必须常驻显存，参数读取的显存开销无法省略；小批次下甚至可能比同激活量的 Dense 模型更慢。就像医院虽然只叫醒两位专家，但全院医生都待在楼里，光是把楼盖好就已经占用了大量地皮。

为何常见：大家习惯用“参数量 = 速度”的直觉，忽略了 MoE 是“总参数与激活参数分离”的结构，部署层面的成本模型完全不同。

误区“多模态模型嘛，就是用 OCR 把图片识别成文字，再塞进大模型里做问答。”

正解Llama 4 的原生多模态是从预训练阶段就把图像编码为视觉 token，让 Transformer 直接对图像特征做注意力计算，而不是先转成文字再理解。OCR 方案会丢失大量视觉信息——颜色、空间关系、物体重叠等，而原生视觉 token 保留了这些细节。这就像让医生直接看 X 光片，而不是只看放射科医生写的一段文字结论。

为何常见：早期多模态模型确实以“图片转文字”为主流，OCR 的普及让很多人形成了惯性认知。

误区“Scout 有千万级上下文，那用它做长文档问答肯定百分百准确。”

正解上下文窗口超过一定长度后，模型的注意力会分散，出现“迷失在中间”的现象——即文档开头和结尾的信息容易捕捉，中段细节容易遗漏。Llama 4 通过 KV 缓存压缩与层级摘要缓解了这一问题，但并没有完全消除。超长上下文的价值在于“能容纳”，实际效果仍依赖检索增强、提示词设计和任务本身的复杂度。档案室再大，医生也可能只记住封面和目录。

为何常见：厂商宣传常说“上下文越长越好”，用户容易被单一指标带偏，忽略了长序列推理的忠实度问题。

误区“Maverick 有 400B 参数，跑一次推理是不是需要 400B 模型十倍的电费？”

正解MoE 的核心魅力恰恰在于“总参数与计算量解耦”。推理计算量主要由激活参数（17B）决定，而非总参数（400B）。总参数影响的是显存容量和加载带宽，而非每个 token 的浮点运算量。类比医院：全院医生人数影响的是医院占地和物业费，但每次问诊真正消耗的精力只跟值班医生人数有关。

为何常见：Dense 模型时代“参数量 = 计算量”的公式深入人心，MoE 的稀疏调度打破了这一直觉，容易让人用旧模型框架理解新架构。

面试题

Q1. Llama 4 采用的核心稀疏架构是什么？

单选题 · easy

  • A.稠密Transformer架构
  • B.混合专家MoE架构← 正确答案
  • C.循环神经网络LSTM架构
  • D.卷积神经网络CNN架构

答案：B。Llama 4 的核心创新是把 Transformer 的稠密 FFN 层替换为 MoE（混合专家）结构，每次只激活少数专家。稠密架构是 Llama 3 的方案，LSTM 与 CNN 并非大模型主流架构。

Q2. MoE 中“稀疏”主要指什么？

单选题 · easy

  • A.输入数据中存在大量零值
  • B.每次只激活部分专家网络← 正确答案
  • C.权重矩阵被随机稀疏置零
  • D.注意力头采用稀疏连接

答案：B。MoE 的稀疏指“专家网络的稀疏激活”：总参数很多，但每个 token 只通过路由器唤醒少数专家参与计算，其余专家保持休眠。这不是数据稀疏，也不是权重剪枝。

Q3. Llama 4 Scout 的最大上下文窗口约为多少？

单选题 · easy

  • A.128K tokens
  • B.1M tokens
  • C.1000万 tokens← 正确答案
  • D.32K tokens

答案：C。Llama 4 官方公布 Scout 支持 1000 万 token（10M）的上下文窗口，相当于 10 本《三体》全集。128K 是 Llama 3 等早期模型的常见窗口，1M 是 Maverick 的量级。

Q4. 门控路由器如何选择参与计算的专家？

单选题 · mid

  • A.直接取最大值对应的专家
  • B.Softmax 后取 TopK 专家← 正确答案
  • C.Sigmoid 生成二值化门控
  • D.ReLU 加阈值过滤选择

答案：B。路由器对所有专家打匹配分，先做 Softmax 归一化，再取分数最高 TopK 个专家参与计算，其余权重置零。只取最大值用 Argmax，而 Sigmoid/ReLU 方案不是 MoE 的标准网关设计。

Q5. 关于 Llama 4 原生多模态，下列说法正确的有哪些？

多选题 · mid

  • A.文本与图像编码器同时存在← 正确答案
  • B.需要外部OCR辅助理解图片
  • C.视觉与文本联合预训练← 正确答案
  • D.只支持纯文本序列输入

答案：AC。Llama 4 在预训练阶段就统一建模文本与图像，有独立的视觉编码器将图片编码为视觉 token，无需 OCR 中转，也并非纯文本模型。B、D 描述的是早期多模态方案的特征。

Q6. MoE 相比 Dense 稠密模型的核心优势是什么？

单选题 · mid

  • A.总参数量显著更小更省显存
  • B.激活参数更少推理计算量低← 正确答案
  • C.完全舍弃了注意力机制
  • D.训练时不需要大量数据

答案：B。MoE 的总参数并不小，但每次推理只激活部分专家，因此浮点计算量随激活参数增长而非总参数。总参数仍会占显存，无法省显存，注意力机制与数据需求都不变。

Q7. Llama 4 官方披露的训练创新包括哪些？

多选题 · mid

  • A.教师模型知识蒸馏← 正确答案
  • B.大规模合成数据预训练← 正确答案
  • C.强化学习进行微调
  • D.依赖量子计算加速训练

答案：AB。Llama 4 突出强调了知识蒸馏与合成数据两大技术：用强教师模型生成指导数据，再让学生模型学习。强化学习是行业通用做法但并非官方主打的创新点，量子计算与训练无关。

Q8. KV 缓存大小与哪些因素成正比？

单选题 · hard

  • A.与序列长度和层数成正比← 正确答案
  • B.与总参数量的大小成正比
  • C.与专家数量的多少成正比
  • D.与词表大小的大小成正比

答案：A。KV 缓存为每一层、每个注意力头缓存 Key/Value 向量，总大小 = 2 × 层数 × 每头维度 × 序列长度。总参数、专家数、词表大小都不直接决定 KV 缓存的大小。

Q9. 关于 MoE 模型的推理部署，下列说法正确的有哪些？

多选题 · hard

  • A.全部专家都需要载入显存← 正确答案
  • B.只有被激活的专家参与计算← 正确答案
  • C.模型总显存需求会变得更大← 正确答案
  • D.推理速度一定提升十倍以上

答案：ABC。MoE 全部专家参数必须常驻显存，因此显存总量通常大于同激活量 Dense 模型；但每次推理只有被激活的专家参与计算。推理速度受多因素影响，不能断言一定提升十倍。

Q10. Llama 4 Maverick 的总参数与激活参数分别约为多少？

单选题 · extreme

  • A.总参数4000亿激活170亿← 正确答案
  • B.总参数1090亿激活170亿
  • C.总参数4000亿激活400亿
  • D.总参数170亿激活4000亿

答案：A。Maverick 总参数约 400B（4000 亿）、激活参数约 17B（170 亿），激活率约 4.25%。Scout 是 109B 总参数/17B 激活，选项 B 描述的是 Scout 的规模。