新学期，老师布置了一次翻译作业，并额外要求每人交一张“答题卡”：横排是英文原文的每个单词，竖排是译文的每个字，交叉格子里用荧光笔涂色——翻译到这个字时你越依赖原文哪个词，哪个格子就涂得越深。小 A 把 “love“ 对应的格子涂得几乎全黑，”I“ 涂得较深，”you“ 只轻轻点了下。老师扫一眼卡片，就知道小 A 理解句子时把目光放在了哪里。把这张卡从学生换到 AI 模型手里：模型生成每个词时，也会给输入词分配”荧光笔的轻重“，这就是注意力权重；把每个词的荧光深浅画成一张彩色方格图，就是注意力热力图。这篇教程会带你看懂热力图的每个格子、学会规范绘制、评估对齐质量、玩转多头”彩色笔“，并分清”该信几分、不该信几分“——最终面对”模型为什么这样回答”的追问时，你能拿出一张有据可查的证据图。

岗位关联

掌握注意力可视化，你就能把“模型为什么这么回答”的黑盒问题，变成一张张有据可查的热力图，这是 NLP 工程师调试模型、撰写分析报告时最实用的沟通语言。

目录
  1. 可视化演示
  2. 热力图与权重：荧光笔留下的彩色足迹
  3. 热力图绘制：把彩色足迹画成规范答卷
  4. 对齐质量评估：好答卷都在对角线上
  5. 多头注意力差异：多色荧光笔各司其职
  6. 模型调试应用：在热力图中抓现行
  7. 常用可视化工具：让答题卡唾手可得
  8. 可解释性讨论：高亮不等于“因为”
  9. AI 应用场景
  10. Python 演示
  11. 常见误区
  12. 面试题

可视化演示

本节配有交互动效（进入视口后自动加载，约 3KB）。

注意力热力图 热力图解读 注意力热力图是理解Transformer决策的最直观工具 注意力对齐质量评估 注意力可视化：展示热力图绘制、对齐质量评估、多头注意力可视化及调试分析。

热力图与权重：荧光笔留下的彩色足迹

老师要求全班同学交翻译作业时附一张“答题卡”：横排是英文原文的每个单词，竖排是译文的每个字，交叉格子里用荧光笔涂色——翻译到这个字时你越依赖原文哪个词，哪个格子就涂得越深。小 A 翻译 “I love you“ 时，把 ”love“ 对应的格子涂得几乎全黑，”I“ 涂得较深，”you“ 只轻轻点了下。老师扫一眼卡片，就知道小 A 理解句子时把目光放在了哪儿。这张卡片，就是一张”注意力热力图”的雏形。

真实的神经网络模型在逐字生成译文时，也会对源句的每个词产生一个“关注分数”。为了让这些分数好比较，模型会用一种叫 Softmax 的运算，把原始分数变成一组和为 1 的注意力权重：权重越大，代表模型生成当前词时越依赖源句的这个词，画在图上就是越深的颜色。具体地，设模型生成第 i 个输出词时，对第 j 个输入词的打分为 e_ij，那么注意力权重为：

回到教室：每个格子里的荧光深浅，就是 a_ij 的数值；整张答题卡，就是模型在一行行“橡皮泥预算”里做分配后的彩色足迹。看懂这张卡，你就拿到了打开模型“内心”的第一把钥匙。

aij=exp⁡(eij)∑k=1nexp⁡(eik)a_{ij} = \frac{\exp(e_{ij})}{\displaystyle\sum_{k=1}^{n}\exp(e_{ik})}
通俗说明：Softmax 像一台“橡皮泥分配机”——每个词的分数先被指数放大，再按占比分到总重量恒为 1 的整块橡皮泥上，谁分数高谁就分到大块。
  1. 权重符号 a_ij表示模型生成第 i 个输出词时，对第 j 个输入词的关注程度，也就是荧光笔在第 i 行第 j 列格子上留下的深浅。
    aija_{ij}
  2. 分子 exp(e_ij)原始分数可能是负数，直接比大小不方便；指数变换保证输出为正数，同时拉大分数间的差距，让高分词更突出。
    exp⁡(eij)\exp(e_{ij})
  3. 分母全行求和把第 i 行所有输入词的指数分数加起来，当作这条行的“荧光预算总量”，用来把每个词的份额都压到 0 到 1 之间。
    ∑k=1nexp⁡(eik)\sum_{k=1}^{n}\exp(e_{ik})
  4. 整体效果经过除法后，同一行的所有权重都落在 (0,1) 区间，并且加起来等于 1——荧光笔的总量被严格限制，不会出现“每格都涂满”的矛盾。
    ∑j=1naij=1\sum_{j=1}^{n} a_{ij} = 1

热力图绘制：把彩色足迹画成规范答卷

全班交上来的答题卡五花八门——有人用黄色荧光笔，有人用铅笔涂灰，还有人把格子画成星星。老师宣布统一标准：一律用同一种颜色，深浅代表权重；横排永远放原文单词，竖排永远放译文；行列顺序按句子顺序排列。标准一立，四十张卡片终于可以放在一起比较了。

注意力热力图的绘制也有类似的约定俗成：横轴是源端（输入）词，纵轴是目标端（输出）词，格子的颜色深浅（或从冷到暖的色温）表示权重高低。常见的呈现方式有彩色热图、灰度图，以及把权重画成连线的“连线图”和可交互的动态图——它们的本质都是同一份权重矩阵，只是换了表达形式。

热力图不仅展示“看了哪里”，还反映“看完之后带走了什么”。模型生成第 i 个输出词时，实际是把所有输入词携带的信息按权重“加权撮合”成一个浓缩向量：

统一格式后，老师把四十张卡挂在墙上，第一次发现了惊人的规律：翻译分数高的同学，深色格子几乎都在从左上到右下的对角线上；低分卡片的深色格子则散落四处。这个“对角线现象”，成了下一节评估对齐质量的起点。

ci=∑j=1naijhjc_i = \displaystyle\sum_{j=1}^{n} a_{ij} h_j
通俗说明：像老师按荧光深浅把原文单词“撮合”成一句浓缩摘要，权重就是每个词进入摘要的占比，深色词主导摘要的味道。
  1. 输出信息 c_i模型生成第 i 个词时实际使用的浓缩信息，相当于那句话在模型心里的“摘要卡”。
    cic_i
  2. 输入信息 h_j第 j 个输入词经过编码后的向量，相当于每个原文单词的“词义卡片”。
    hjh_j
  3. 权重 a_ij决定第 j 张词义卡片在摘要里占多大分量，正是热力图里格子的颜色来源。
    aija_{ij}
  4. 加权求和把每张词义卡片按各自分量混合在一起，得到“看完该看的之后”的输出信息，这就是模型下一步预测的依据。
    ∑j=1naijhj\sum_{j=1}^{n} a_{ij} h_j

对齐质量评估：好答卷都在对角线上

老师把四十张答题卡按成绩从高到低排成一排，发现好学生的卡片有一个共同点：深色格子集中在对角线附近。像 “I love you“ 这张卡，”I“ 的重色在左上角第一格，”love“ 在正中间，”you” 在右下角——像士兵排队一样齐整。而低分卡片的深色格子东一块西一块，甚至跳到了最远的位置。

机器翻译中，这个现象叫“对齐”。源语言的第 j 个词，通常对应目标语言中的某个词；“正确的对应”在热力图上集中表现为对角带分布。若深色块大面积偏离对角线，出现“跳跃对齐”——比如译 “I“ 时却去关注句尾的 ”you”——翻译质量通常会下降，模型结构或训练数据往往存在隐患。

光用眼睛看不够，需要量化指标。研究者定义了“对齐误差率”（AER）来给对齐质量打分。设 S 为人工标注的确定对齐集合，P 为可能对齐集合（P 包含 S），A 为模型预测的对齐集合，则：

有了 AER 这把尺子，老师不再凭眼力判断“像不像对角线”，而是直接给每张卡打分。小 A 的 AER 高达 0.4，问题被锁定——这位同学到底在哪一步看走了眼？下一节，我们用热力图来“抓现行”。

AER(S,P,A)=1−∣S∩A∣+∣P∩A∣∣S∣+∣A∣\text{AER}(S,P,A) = 1 - \frac{|S \cap A| + |P \cap A|}{|S| + |A|}
通俗说明：像批改答题卡——数一数“该涂对的格子有多少涂对了”，再除以“该涂的和涂了的格子总数”。AER 越小，说明荧光笔越听话，对齐越准。
  1. S 是什么人工标注的“确定对齐”集合，相当于老师事先圈定的标准答案格子。
    SS
  2. P 是什么人工标注中“可能对齐”的集合，是宽松版本的参考答案，并且包含 S。
    P⊇SP \supseteq S
  3. A 是什么模型预测的对齐集合，也就是模型实际涂色的格子。
    AA
  4. 交集统计|S∩A| 与 |P∩A| 分别数出模型涂对了多少个“确定”和“可能”的格子，分子越大说明命中越多。
    ∣S∩A∣,∣P∩A∣|S \cap A|, \quad |P \cap A|
  5. 综合比例命中数除以标注数与预测数之和，再用 1 减去它得到误差率；该值在 0 到 1 之间，越小说明模型涂的格子越接近标准答案。
    1−∣S∩A∣+∣P∩A∣∣S∣+∣A∣1 - \frac{|S \cap A| + |P \cap A|}{|S| + |A|}

多头注意力差异：多色荧光笔各司其职

班里还有一位学霸小 B，交上来的答题卡是彩色的：红色荧光笔划句法主干，蓝色荧光笔划人物指代，绿色荧光笔划时间地点。老师好奇地问原因，小 B 说：“一个问题要同时从多个角度看，才不会漏掉线索。”多色荧光笔，就是他翻译准确率高的秘密。

Transformer 模型里的“多头注意力”正是这个思路。它不只用一束“荧光笔”，而是同时用 h 束笔（通常 8 束），每一束通过自己的线性投影，关注不同类型的关系。可视化时，每个头单独画一张热力图，就得到一组“彩色答卷”。不同头之间差异往往很大：有的头集中关注句法依赖，有的头负责指代消解，有的头捕捉局部搭配。如果简单地把所有头平均成一张图，这些丰富的视角信息就会被抹掉。

多头注意力的输出，是把各个头的“摘要”拼接后，再做一次融合变换：

现在老师终于明白，小 B 的译文为什么既通顺又准确——多种颜色的笔各司其职，最后汇成综合判断。不过彩色卡片也带来新麻烦：七八支笔该重点看哪支？答案藏在具体任务里。这也是为什么需要更专业的工具和方法来辅助解读。

MultiHead(Q,K,V)=Concat(head1,…,headh)WO\text{MultiHead}(Q,K,V) = \text{Concat}(\text{head}_1, \ldots, \text{head}_h) W^{O}
通俗说明：老师把红、蓝、绿三色荧光笔的成果各抄一页，钉成一本小册子，再通读一遍形成最终理解；任何单页都不完整，合起来才是全貌。
  1. 每个 head_i 独立工作第 i 束笔用自己的投影矩阵 QW_i^Q、KW_i^K、VW_i^V 加工输入，做一次完整注意力计算，得到该视角下的浓缩信息。
    headi=Attention(QWiQ,KWiK,VWiV)\text{head}_i = \text{Attention}(QW_i^{Q}, KW_i^{K}, VW_i^{V})
  2. Concat 拼接把所有头的输出按顺序前后拼接成更长的向量，像把多色笔记装订成册，保留每个视角的独立贡献。
    Concat(head1,…,headh)\text{Concat}(\text{head}_1, \ldots, \text{head}_h)
  3. 输出投影 W^O拼接后的长向量再经过一次线性变换，把各头视角融合成最终输出，完成“多角度综合判断”。
    WOW^{O}

模型调试应用：在热力图中抓现行

小 A 的 AER 偏高，老师把他的彩色答卷和原文对照，很快抓到了“现行”：翻译 “I never give up“ 时，小 A 把最重的荧光涂在 ”give“ 上，而 ”never“ 这个否定词只轻轻划了一笔，结果把”我从不放弃“译成了”我放弃”。一个否定词被忽视，整句话的意思完全反转。

这是注意力可视化最经典的应用：错误定位。模型输出异常时，我们不再只能“猜”，而是直接查看生成异常词时模型的注意力集中在哪些输入词上。若注意力落在无关词汇、或漏掉关键限定词（如否定词、程度副词），问题基本可以锁定在编码—注意力分配环节，而不是解码器或后处理。

除了定位错误，热力图还能发现隐蔽的偏见模式：比如一个招聘助手的注意力总偏向“强壮、果断”等词，就能据此发现数据偏斜。做数据质量检查时，注意力大面积分散、出现异常高亮的“噪声区”，也往往是训练样本被污染的信号。为了把“看错重点”量化，可以计算每个输出词 i 的注意力重心——所有输入位置按权重求平均位置：

老师从此养成了新习惯：不等考试出分再问话，而是定期翻看荧光卡。调试 NLP 模型也一样——把热力图当作学生的答卷，每次输出异常，顺着深色格子就能找到模型当时“目光”的落点，修复也因此有了明确方向。

Focus(i)=∑j=1nj×aij\text{Focus}(i) = \displaystyle\sum_{j=1}^{n} j \times a_{ij}
通俗说明：像计算全班荧光笔的“重心位置”——重心明显偏离理想位置，说明目光跑偏了；重心落在句尾，人却在翻译句首，多半是走神了。
  1. 位置编号 j输入句中第 j 个词的位置编号，从 1 到 n，相当于座位号。
    jj
  2. 权重 a_ij模型把多少注意力放在第 j 个词上，相当于每个座位的“荧光票数”。
    aija_{ij}
  3. 加权求和把每个座位号与它的票数相乘后加总，得到注意力重心的位置；把重心与理想位置对比，就能量化诊断目光偏航的程度。
    ∑j=1nj×aij\sum_{j=1}^{n} j \times a_{ij}

常用可视化工具：让答题卡唾手可得

手工誊写答题卡实在太慢。老师买来一台扫描仪和排版软件，三分钟就能把四十张卡变成整齐的图册。对 AI 工程师来说，注意力可视化也有一台这样的“扫描仪”——开源工具 bertviz。

bertviz 是社区最常用的注意力可视化库，专门支持 BERT、GPT 等 Transformer 架构模型。几行代码即可加载模型、传入句子，以热力图或连线图的形式展示指定层、指定头的注意力；鼠标悬停在格子上，还能直接看到权重数值。它把“画出答题卡”这件手工活，变成了标准流水线。

实际使用的流程通常分三步：一、加载模型与分词器，准备输入文本；二、调用可视化接口，提取指定层和指定头的注意力矩阵；三、把结果输出为静态图片或交互式视图。静态图非常适合嵌入分析报告和模型卡，让非技术读者也能看懂模型“在看什么”。许多团队还会在内部封装统一的可视化模块，相当于定制“标准答题卡格式”，让全公司用同一种语言讨论模型行为。

有了“扫描仪”，老师把全班答题卡标准化存档，问题横向对比也容易了。工具的意义正在于此：把注意力可视化从手工活变成流水线，让每个工程师都能随手调出模型的目光。

可解释性讨论：高亮不等于“因为”

老师刚要表扬小 A 这次的答题卡画得漂亮，却发现小 A 的译文是考前背下来的范文，根本不是看着原文翻译的。荧光卡上高亮位置再合理，也不能证明答案来自这些高亮位置——卡片会“说谎”。

这正是注意力可解释性研究中最重要的警示：注意力权重是“相关性”证据，不是“因果性”证据。模型可能把大量权重放在某个词上，决策却由其他计算路径完成；甚至存在对抗样本，让注意力分布与预测结果反向变化。所以“热力图亮 = 模型因为这里才这么答”的结论，缺少严格依据。

严谨的做法是给热力图“做实验”来验证假设。最常用的是消融验证——遮住或删掉某个高亮词，观察预测是否显著改变：

老师最终在评语里写道：答题卡是了解学生思考方式的窗口，但窗口不等于结论。看热力图也应如此——它帮我们提出“模型可能在看这里”的假设，再用实验为假设盖章。这才是注意力可视化最专业的使用姿势。

Δ=∣f(x−j)−f(x)∣\Delta = \left| f(x_{-j}) - f(x) \right|
通俗说明：像用修正带把学生答题卡上的某处高亮涂掉，再看他的答案是否大变——变了，才说明原来那处高亮真的起了作用。
  1. 原始输出 f(x)模型在完整输入 x 上的预测结果，相当于学生没被涂改时的原始答案。
    f(x)f(x)
  2. 遮罩输入 x_{-j}把输入中第 j 个词用掩码替换后得到的新输入，相当于用修正带盖住第 j 个高亮词。
    x−jx_{-j}
  3. 差值绝对值对比遮住前后的输出差异；差异越大，说明第 j 个位置对结果的影响越强，热力图假设得到验证。
    ∣f(x−j)−f(x)∣\left| f(x_{-j}) - f(x) \right|

AI 应用场景

场景 1：机器翻译质量诊断

阶段：模型调试与质量分析

解决的问题：传统方式靠人工逐句读译文猜错误，效率低且主观；注意力热力图直接显示模型生成错误译文时的注意力落点，快速区分“看错词”还是“漏看词”，把修复范围从整条管线缩小到具体环节。

具体案例：某电商多语言客服机器人把 “not available“ 误译为”可用“。工程师调出热力图，发现 ”not“ 对应格子几乎空白，模型把注意力全部压在 ”available” 上——反义错误一目了然。修复时优先补充含否定词的对齐训练数据，问题一周内收敛。

场景 2：大模型安全审计

阶段：安全评估与偏见检测

解决的问题：大模型作答不可信时难以说清依据；热力图可审计模型回答时是否真正关注了用户提供的证据，若证据词的高亮缺失，则存在幻觉或偏置风险。

具体案例：某金融问答助手被用户告知“账户已冻结”，模型却回答“账户正常”。审计热力图发现模型几乎不看用户消息里的“冻结”，而是依据训练记忆作答，判定为幻觉高风险，随即触发拒答与人工复核策略。

场景 3：可解释性分析报告

阶段：交付与合规解释

解决的问题：客户或监管机构常要求“为什么这样判断”；纯文字解释苍白，热力图是最直观的视觉证据，能把模型的依据可视化地呈现在报告里。

具体案例：医疗文本摘要项目向医院交付模型卡时，附上每条摘要句对原文的注意力热力图，标注模型引用的原文来源；医院审核员据此快速确认摘要没有“无中生有”，通过合规审查。

Python 演示

python37 行
import numpy as npimport matplotlib.pyplot as plt  def draw_heatmap(attn, src_words, tgt_words, save_path="attention_map.png"):    # 将注意力权重矩阵画成热力图, 颜色越深代表权重越高    fig, ax = plt.subplots(figsize=(6, 5))    im = ax.imshow(attn, cmap="Blues", vmin=0.0, vmax=1.0)    ax.set_xticks(range(len(src_words)))    ax.set_xticklabels(src_words, fontsize=12)    ax.set_yticks(range(len(tgt_words)))    ax.set_yticklabels(tgt_words, fontsize=12)    ax.set_xlabel("Source words (input)", fontsize=12)    ax.set_ylabel("Target words (output)", fontsize=12)    rows, cols = attn.shape    for i in range(rows):        for j in range(cols):            value = attn[i, j]            color = "white" if value > 0.6 else "black"            ax.text(j, i, "%.2f" % value, ha="center", va="center", color=color, fontsize=11)    fig.colorbar(im, ax=ax, fraction=0.046, pad=0.04)    fig.tight_layout()    fig.savefig(save_path, dpi=150)    print("[ok] attention heatmap saved to", save_path)  def main():    # 小型翻译样本: I love you 逐字对应 "我 爱 你"    src_words = ["I", "love", "you"]    tgt_words = ["wo", "ai", "ni"]    # 手工构造对角线高权重的注意力矩阵, 每行之和接近 1    attn = np.array([[0.78, 0.12, 0.10], [0.08, 0.82, 0.10], [0.05, 0.10, 0.85]])    draw_heatmap(attn, src_words, tgt_words)  if __name__ == "__main__":    main()
目的：用 matplotlib 把一个小型注意力权重矩阵绘制成热力图并保存为 PNG，直观展示“颜色越深代表权重越高”的对角对齐效果。
  1. im = ax.imshow(attn, cmap="Blues", vmin=0.0, vmax=1.0)将权重矩阵映射为蓝色系色块，值域固定为 0~1，颜色越深权重越高。
  2. ax.text(j, i, "%.2f" % value, ha="center", va="center", color=color, fontsize=11)在每格中央写下具体权重数值，方便和颜色互相印证。
  3. fig.colorbar(im, ax=ax, fraction=0.046, pad=0.04)添加颜色条，让读者能把颜色深浅换算回具体权重。
  4. attn = np.array([[0.78, 0.12, 0.10], ...])手工构造“对角高权重”的示例矩阵，模拟高质量对齐的热力图形态。
  5. fig.savefig(save_path, dpi=150)输出高清 PNG，可直接嵌入分析报告或模型卡。

常见误区

误区“看到注意力热力图上某格特别亮，我就直接写进报告：模型就是因为看了这个位置，才做出这个判断。”

正解高权重只代表“目光落在这里”，是相关性证据；模型完全可能主要靠其他路径决策，只是顺手把注意力放这里。要下因果结论，需配合消融实验等验证。就像学生答题卡上高亮了某个词，不代表他的答案真的源于这个词——他可能只是记住了范文。

为何常见：人脑习惯把“看到亮的地方”和“因为看了所以这样”画等号，加上热力图视觉冲击强，很容易让人放松因果警惕。

误区“权重全挤在一两个格子上才是认真，分布均匀肯定是模型偷懒，没有学到有效特征。”

正解有些任务天然需要均匀关注——比如概括全句主旨、判断整体情感时，模型“扫视全文”是合理策略；均匀分布也可能是多义词消解的产物。评估模型能力要看下游任务指标，不能单凭一张热力图断言“学坏了”。就像学生通读全文后再答题，荧光分布均匀反而说明把握了全局。

为何常见：人眼天然被突出色块吸引，均匀图缺乏视觉焦点，容易被误判为“没重点”。

误区“AER 特别低、深色全在对角线上的模型，翻译肯定无可挑剔。”

正解对齐质量是翻译质量的必要但非充分条件：对齐好只说明“该看的词看了”，语义理解、语序调整、词汇选择仍可能出错；反之，语序差异大的语言对也会出现合法的非对角对齐。AER 低是加分项，不是品质保证。就像答题卡荧光涂得准，内容也可能写得跑题。

为何常见：对角分布视觉上非常规整，人容易把“图好看”误当成“结果好”。

误区“做多头可视化时，我应该能给每个头起个名字，比如这个头管句法、那个头管指代，否则就是模型没学好。”

正解只有部分头在部分层上呈现清晰、可重复的语义倾向；多数头是混合模式或依赖具体输入，强行归因属于过度解读。研究者建议先看整体平均分布，再针对某个头做消融验证，谨慎命名。“每支荧光笔都有固定用途”只是理想情况，现实是很多笔混着用。

为何常见：论文里常展示几个“典型头”的漂亮例子，读者容易以偏概全，以为所有头都可解释。

面试题

Q1. 在注意力热力图中，某个单元格颜色越深通常表示什么？

单选题 · easy

  • A.该位置的注意力权重越高← 正确答案
  • B.该位置的模型输出越准确
  • C.该位置的输入词长度越长
  • D.该位置的训练数据量越大

答案：A。热力图将注意力权重映射为颜色深浅，颜色越深代表权重越大，即模型生成当前输出时越依赖该输入位置。B 把“关注”与“质量”混淆，C 和 D 与注意力权重没有直接关系，均属常见误解。

Q2. 下列哪种运算能保证一行注意力权重之和为 1？

单选题 · easy

  • A.线性回归与最小二乘
  • B.卷积核的滑动平均
  • C.Softmax 归一化运算← 正确答案
  • D.池化层的最大值采样

答案：C。Softmax 先把各位置分数做指数变换，再除以整行和，使输出落在 (0,1) 且行和为 1，正如“橡皮泥分配机”把总预算固定下来。线性回归、卷积、池化都不具备这种归一化性质。

Q3. 机器翻译中高质量对齐的热力图通常呈现什么形态？

单选题 · easy

  • A.颜色均匀分布的棋盘格
  • B.深色集中在主对角线附近← 正确答案
  • C.深色集中在副对角线附近
  • D.深色随机散布在整个矩阵

答案：B。高质量对齐意味着源语言第 j 个词对应目标语言第 i 个词，正确对应在图上的表现就是从左上到右下的主对角线带。棋盘格、副对角线、随机散布都对应错位或跳跃对齐，质量通常较差。

Q4. bertviz 这类注意力可视化工具的核心功能是什么？

单选题 · mid

  • A.训练并优化注意力网络参数
  • B.展示模型各层各头的注意力权重← 正确答案
  • C.自动修复模型当中的对齐错误
  • D.替代模型完成文本翻译任务

答案：B。bertviz 加载已训练好的 Transformer 模型后，以热力图或连线图的形式展示指定层、指定头的注意力分布，帮助工程师“看到”模型的目光。它不参与训练、不修复错误、也不做推理，只负责可视化呈现。

Q5. 关于对齐误差率 AER，下列说法正确的是？

单选题 · mid

  • A.AER 越低，对齐质量越好← 正确答案
  • B.AER 越高，对齐质量越好
  • C.AER 与词汇表大小成正比
  • D.AER 与模型层数一定成反比

答案：A。AER 度量模型预测对齐与人工标注对齐的差异率，命中越多误差越小，因此 AER 越低代表模型涂的格子越接近标准答案，对齐质量越好。词汇表大小和层数并不与 AER 存在必然比例关系。

Q6. 下列哪些做法属于用热力图调试模型的范畴？

多选题 · mid

  • A.定位异常输出时注意力关注点← 正确答案
  • B.检查关键否定词是否被忽略← 正确答案
  • C.用可视化直接替代损失函数
  • D.发现训练数据中的噪声规律← 正确答案

答案：ABD。热力图能定位模型生成异常词时“在看哪里”，也能暴露否定词被忽略、训练样本存在噪声等问题。但可视化只是理解工具，不能替代损失函数参与训练优化，所以 C 错误。

Q7. 注意力可视化可以用于哪些实际工作？

多选题 · mid

  • A.诊断翻译模型的错误来源← 正确答案
  • B.检测模型对性别的偏见模式← 正确答案
  • C.直接提高模型的推理速度
  • D.分析句法与指代结构关系← 正确答案

答案：ABD。可视化可帮助定位错误、发现偏见、观察句法与指代关系。但它只改变“理解方式”，不改变模型计算量，因此无法直接提高推理速度，C 属于超出知识边界的错误选项。

Q8. 关于“注意力即解释”这一观点，正确的认识是？

单选题 · hard

  • A.高权重位置必定是决策原因
  • B.高权重只反映相关性而非因果← 正确答案
  • C.热力图可直接替代消融实验
  • D.权重越大模型一定越准确

答案：B。注意力权重是模型的“目光落点”，属于相关性证据；模型可能同时依赖其他计算路径决策，甚至存在对抗样本让注意力与结果反向变化。因此不能断言高权重即原因，需用消融实验等进一步验证。

Q9. 关于多头注意力可视化的说法，正确的有哪些？

多选题 · hard

  • A.不同头可能关注句法与指代← 正确答案
  • B.头之间的语义角色未必清晰← 正确答案
  • C.所有头的权重矩阵完全相同
  • D.平均所有头会丢失结构信息← 正确答案

答案：ABD。不同头经独立投影，常呈现不同的关注倾向，如句法依赖、指代消解，但多数头是混合模式，语义角色未必清晰稳定。若把所有头平均成一张图，会丢失这些结构差异；各头权重矩阵不同是设计使然，C 错误。

Q10. 验证热力图结论可信度的最严谨做法是？

单选题 · extreme

  • A.把热力图颜色映射调得更深
  • B.结合消融实验与梯度归因验证← 正确答案
  • C.单条样本上观察权重分布
  • D.使用更大参数量模型再画图

答案：B。消融实验（遮住高亮词看预测是否改变）能提供因果层面的证据，梯度归因则从另一视角补充重要性信息，两者结合可交叉验证热力图假设。调整配色、单样本观察、更换模型都只是改变展示或对象，不构成严格验证。