想象一位名校毕业的通才小李——文史哲理工样样懂一点，能陪你聊艺术、聊历史，但真让他坐门诊开药、写一段能编译的 Python、审一份带坑的合同，他会坦白说“这我真不熟”。问题不在他笨，而在没接受过“行业特训”。要让他真正上岗，需要备考“执业资格证”：背行话、刷真题、做模拟考。这套流程，就是大模型的“领域微调”。 预训练大模型，正是那个通才小李。它读过的文本比任何人一辈子读的都多，所以会聊天、会翻译、会写小作文；可一进入专业场景就含糊其辞。领域微调，就是用代码语料、医学语料、法律语料“集训”它，让它在保留通才底子的同时，变成能上岗的行业专才。从领域数据构建、词表扩充，到适配训练、知识蒸馏，再到最终评估，这正是一条完整的专才养成链。

岗位关联

学懂领域微调，你就能把通用大模型改造成医疗、代码、法律行业的可用引擎——这是垂直领域大模型工程师的核心必修课，也是 AI 落地变现中最值钱的一环。

目录
  1. 可视化演示
  2. 认识领域微调：从通才到专才
  3. 领域数据构建：百万真题怎么选
  4. 领域词汇扩展：先学行话再干活
  5. 领域适配训练：让知识稳稳注入
  6. 知识蒸馏迁移：大老师带小徒弟
  7. 领域评估验证：模拟考检验成色
  8. 行业案例：代码、医学与法律实战
  9. AI 应用场景
  10. Python 演示
  11. 常见误区
  12. 面试题

可视化演示

展示代码/医学/法律领域数据构建、知识注入训练和微调前后性能对比，通过模式切换理解垂直领域大模型适配全流程。

本节配有交互动效（进入视口后自动加载，约 3KB）。

领域数据构建 代码/医学/法律三领域数据采集 领域词汇扩展与指令对齐 高质量领域数据是微调成功关键

认识领域微调：从通才到专才

你认识的小李是名校通才，文理兼修，可医院院长看中他的学习能力，想让他直接坐门诊。小李的短板很明显：他背不下《药典》，也不懂“胸痛三联征”意味着什么。于是医院把他送进“执业医师特训班”——这正是领域微调的开场。

在 AI 的世界里，预训练大模型就是小李：它在互联网文本上“通才教育”毕业，常识丰富、表达流畅，但遇到专业问题就语焉不详。领域微调，则是拿某个行业的海量语料继续训练它，让它在大脑里长出“专科知识树”。它不同于预训练（广撒网学知识），也不同于全流程从零训练（成本极高），而是站在通才的肩膀上定向加高，这正是“成本收益”最优的专才养成方式。

技术层面，领域微调的目标是用领域数据继续优化模型参数，让模型在给定输入时更可能生成正确输出。以语言模型为例，我们要最小化的就是“答错程度”，数学上写作：

三个月后，小李特训毕业，能开出像样的处方，却也没丢掉基本礼仪——因为他用的是“通用数据 + 领域数据”混合训练，这正是后续几节要展开的配方。领域微调，本质就是让通才在保住底子的前提下，考下一张行业执业证。

L(θ)=−∑(x,y)∈Ddomainlog⁡Pθ(y∣x)\displaystyle \mathcal{L}(\theta) = - \sum_{(x,y) \in D_{\text{domain}}} \log P_{\theta}(y \mid x)
这个式子就是“负对数似然”：模型给正确答案的概率越高，损失越小。刷题越准，分数越好看。
  1. 求和遍历把领域数据集里的每一条样本都拿出来算一笔账。
    ∑(x,y)∈Ddomain\displaystyle \sum_{(x,y) \in D_{\text{domain}}}
  2. 条件概率给定输入 $x$ 时，模型预测出正确输出 $y$ 的概率。
    Pθ(y∣x)\displaystyle P_{\theta}(y \mid x)
  3. 对数取负将“概率最大”转化为“损失最小”，方便优化器做梯度下降。
    −log⁡Pθ(y∣x)\displaystyle - \log P_{\theta}(y \mid x)

领域数据构建：百万真题怎么选

特训班的教材不是随便从网上扒来的——主编会从近十年真题、三甲医院真实病历、最新诊疗指南里精选素材，再按“急重症优先、罕见病适度”配比。对领域微调而言，这份教材就叫“领域数据”。

做代码模型，要收集 GitHub 上的 issue 讨论、代码评审记录、Stack Overflow 问题解答；做医学模型，要整理病历文书、临床指南、用药说明和医患问答；做法律模型，则要准备法条、判决书、法律咨询记录。数据来源可以多样化：开源数据集、企业内部知识库、行业合作数据，甚至用大模型批量生成初稿后再由专家人工审核。

光有来源不够，还要“清洗”：去掉重复样本、脱敏隐私信息、过滤胡说八道的回答、统一提示词格式。更关键的是“配比均衡”——如果 100% 都是医学数据，小李会变得只会背病历；所以要把领域数据和通用数据按比例混合，兼顾专精与底子。这就是最常见的混合损失：

集训营的教训是：教材质量永远比数量重要。一份错漏百出的“假病历”刷一万遍，小李学会的不是看病，而是照抄错误。高质量、贴近真实业务的小数据集，往往比低质海量数据更让模型脱胎换骨。

L=λ Ldomain+(1−λ) Lgeneral\displaystyle \mathcal{L} = \lambda \, \mathcal{L}_{\text{domain}} + (1 - \lambda) \, \mathcal{L}_{\text{general}}
$\lambda$ 是领域数据占比权重：越大越专，但通用能力流失风险也越大，实践中常取 0.2 ~ 0.5。
  1. 领域损失项在领域样本上计算的损失，负责拉升专业能力。
    Ldomain=−∑(x,y)∈Ddomainlog⁡Pθ(y∣x)\displaystyle \mathcal{L}_{\text{domain}} = - \sum_{(x,y) \in D_{\text{domain}}} \log P_\theta(y \mid x)
  2. 通用损失项在通用样本上的损失，像“每天保留一节基础课”，防止旧知识被冲走。
    Lgeneral=−∑(x,y)∈Dgenerallog⁡Pθ(y∣x)\displaystyle \mathcal{L}_{\text{general}} = - \sum_{(x,y) \in D_{\text{general}}} \log P_\theta(y \mid x)
  3. 加权合成用 $\lambda$ 把两项合并，$\lambda$ 小时偏保守，$\lambda$ 大时偏激进攻领域。
    L=λ Ldomain+(1−λ) Lgeneral\displaystyle \mathcal{L} = \lambda \, \mathcal{L}_{\text{domain}} + (1 - \lambda) \, \mathcal{L}_{\text{general}}

领域词汇扩展：先学行话再干活

小李特训第一天，班主任丢来一本《医学词汇手册》：“先背行话，否则查房时你连'气胸'和'血气胸'都分不清。”在语言模型世界里，这一步叫“领域词汇扩展”。

大模型靠分词器把文本切碎成 token。通用词表里根本没有"PyTorch"、“洛匹那韦”、“对赌协议”这些领域词，模型会把一个完整的专有名词硬切成几个不相干的碎片，就像小李把“血气胸”读成“血、气、胸”三个字——意思全拧了。解决办法是扩充词表，把高频领域词收进词表，然后给新词初始化向量。

新词的向量初始化有个高效技巧：用构成它的子词向量取平均，而不是随机初始化：

词表扩充之后还不能高枕无忧，要在领域语料上做“增量训练”，让新词向量真正融入上下文，最后还要做“覆盖评估”——随机抽一批领域文本，看看还有多少词被不合理地切碎。小李背完行话，终于能顺畅读懂病历标题；模型的 tokenizer 不再把“洛匹那韦”拆成乱码，才算真正入了行。

Enew=1∣S∣∑u∈SEu\displaystyle E_{\text{new}} = \frac{1}{|S|} \sum_{u \in S} E_{u}
新词往往由旧词表中的子词拼成，比如"PyTorch“可切为”Py"+"Torch“。把子词向量平均一下，相当于让新词从”亲戚"那里继承语义起点。
  1. 子词集合新词被原分词器切成的片段列表，记作 $S$。
    S={u1,u2,…,un}\displaystyle S = \{u_1, u_2, \dots, u_n\}
  2. 子词向量求和把每个片段的词向量累加，汇聚“亲戚”们的语义。
    ∑u∈SEu\displaystyle \sum_{u \in S} E_{u}
  3. 取平均除以片段个数 $|S|$，得到新词向量的合理初值。
    1∣S∣∑u∈SEu\displaystyle \frac{1}{|S|} \sum_{u \in S} E_{u}

领域适配训练：让知识稳稳注入

集训冲刺阶段，小李最怕两件事：新知识学不会，旧知识忘光光。教练的破法很聪明——不推翻他大学四年的知识体系，只发一本“口袋笔记”，把新药名、新术式记在上面，平时重点翻这本，旧教材偶尔复习。这就是“参数高效微调”的思路。

训练策略上，领域适配训练有三条主线：一是“全参数微调”，所有参数都更新，效果最猛但贵、易遗忘；二是“LoRA 低秩适配”，冻结原权重，只训练低秩增量矩阵，成本低、遗忘轻；三是“持续预训练 + 指令微调”，先用领域文本续训补知识，再用高质量问答学输出格式。超参也要拿捏：学习率通常压到 $10^{-5}$ 量级、只训练 2~3 轮，防止“学新忘旧”。

LoRA 是近两年最火的方案，它的核心公式极其简洁：

口袋笔记式微调，配合指令数据混合训练，让小李既学会了开药，又没忘怎么写病历首页；模型则在注入领域知识的同时，把“灾难性遗忘”关进了笼子。

W′=W0+ΔW=W0+BA\displaystyle W' = W_0 + \Delta W = W_0 + B A
原权重 $W_0$ 完全冻结，只训练两个小矩阵 $B$ 和 $A$，它们的乘积就是“改动量”。改动量被限制在低秩子空间里，所以既改得动、又改不坏。
  1. 原权重冻结模型原有的知识沉淀在 $W_0$ 中，训练时一动不动。
    W0\displaystyle W_0
  2. 低秩分解用 $B \in \mathbb{R}^{d \times r}$ 与 $A \in \mathbb{R}^{r \times k}$ 的乘积近似“要改的方向”。
    ΔW=BA\displaystyle \Delta W = B A
  3. 秩 $r$ 控制$r$ 很小（如 8 或 16），参数量增量只有原来的零头。
    r≪min⁡(d,k)\displaystyle r \ll \min(d, k)

知识蒸馏迁移：大老师带小徒弟

主任医师老张快退休了，他的一手诊断绝活不能随人走。医院安排小李当他的徒弟，不是让小李背老张的结论，而是让小李观察老张的“犹豫”：“这病灶八成是炎症，但也有两成像早期肿瘤。”这份拿捏不定的细腻，恰恰是最值钱的经验。

知识蒸馏（Knowledge Distillation）就是这个“师徒制”：一个能力强大但笨重的大模型（教师模型）负责输出判断，一个轻快的小模型（学生模型）通过模仿教师的判断分布来学习。为什么模仿分布比背标准答案更有效？因为教师模型不仅说“这是肺炎”，还会说“0.7 像肺炎、0.2 像肺结核、0.1 像正常”——这层“相似度知识”是硬标签给不了的。

蒸馏损失的形式，本质是让学生分布去逼近教师分布。为了让教师“打开天窗说亮话”，还要引入温度系数 $T$ 来软化输出：

老张退休了，小李接了他的班；教师模型也功成身退，学生模型带着教师“判断时的细腻”被部署到手机端和医院内网，推理成本骤降，这就是蒸馏的部署收益。

LKD=−∑iqiTlog⁡piT,qiT=exp⁡(zi/T)∑jexp⁡(zj/T)\displaystyle \mathcal{L}_{\text{KD}} = - \sum_{i} q_i^{T} \log p_i^{T}, \qquad q_i^{T} = \frac{\exp(z_i / T)}{\sum_j \exp(z_j / T)}
$z_i$ 是模型对第 $i$ 类的原始打分（logits），除以温度 $T$ 再做 softmax，就能把“锐利”的答案变得“圆润”，暴露出类别间的细微亲疏。
  1. 温度软化把分数 $z_i$ 除以 $T$，分布随之变得平滑或尖锐。
    qiT=exp⁡(zi/T)∑jexp⁡(zj/T)\displaystyle q_i^{T} = \frac{\exp(z_i / T)}{\sum_j \exp(z_j / T)}
  2. 两个分布教师分布的软概率 $q_i^{T}$ 当作“标准经验”，学生分布 $p_i^{T}$ 去贴近它。
    qiT≈piT\displaystyle q_i^{T} \approx p_i^{T}
  3. 交叉熵求和逐类比对并求和，学生越接近老师，损失越低。
    LKD=−∑iqiTlog⁡piT\displaystyle \mathcal{L}_{\text{KD}} = - \sum_{i} q_i^{T} \log p_i^{T}

领域评估验证：模拟考检验成色

特训班结业不是发张证书就完事，三关考核缺一不可：模拟卷（领域评测集）、基础知识卷（通用基准）、主任现场抽查（专家抽检）。只有卷面分高、基础没丢、实战经得起考验，才算真正毕业。

领域评测集要贴着真实业务构建：医学模型就用历年的执业医师考试题、真实病例问答；代码模型就用“难倒过人类工程师”的代码缺陷修复题。评测指标不能只看准确率——在“病历中发现漏诊风险”这类任务里，漏掉一个危险信号比多报一个疑似更致命，所以要同时看精确率和召回率，两者各打五十大板后取 F1：

评估还要做“基线对比”：拿微调前后的模型跑同一套题，领域分必须明显涨，通用分不能掉太多，这就是对“遗忘”的纪律约束。小李三关全过，模型也迭代了三四轮——数据补、训练调、再评估，直到模拟考成绩稳定，才敢真正上临床。

F1=2×P×RP+R,P=TPTP+FP,R=TPTP+FN\displaystyle F1 = \frac{2 \times P \times R}{P + R}, \qquad P = \frac{TP}{TP + FP}, \quad R = \frac{TP}{TP + FN}
精确率 $P$ 衡量“报出来的准不准”，召回率 $R$ 衡量“该抓的抓没抓全”。F1 是两者的调和平均，专治“偏科”。
  1. 精确率在所有被模型判为“命中”的结果里，真正命中的比例。
    P=TPTP+FP\displaystyle P = \frac{TP}{TP + FP}
  2. 召回率在所有真正该命中的样本里，模型找回多少。
    R=TPTP+FN\displaystyle R = \frac{TP}{TP + FN}
  3. 调和平均把 $P$ 和 $R$ 拧成一个分数，任何一方拖后腿都会显形。
    F1=2×P×RP+R\displaystyle F1 = \frac{2 \times P \times R}{P + R}

行业案例：代码、医学与法律实战

不同的行业执业证，考法大同小异，但“教材”差异巨大。软考要刷编程题，医师资格证偏重临床思维，法考则把大前提、小前提、结论三段论刻进骨子里。领域微调也是同样的配方，换不同的料。

代码模型的独门配方是“代码食材”：GitHub 语料加 issue 讨论加文档问答，先做持续预训练学会语法，再做指令微调学会“按要求写函数”。医学模型的食材更讲究“安全”：病历、指南、药典必须脱敏清洗，模型宁可说“建议就医”也不能乱开药。法律模型则要吃“长文本”：法条和判决书的上下文动辄数千字，训练时要特别照顾超长序列理解。

无论哪个领域，一个经验性的配比公式先记在心头——领域数据量与总数据量的占比：

考什么证用什么教材，没有万能配方。踩过坑的团队都知道：代码模型多放一点开源代码，医学模型必须配专家审核岗，法律模型要预留超长文本评测集。领域的差异在“料”，不变的是“数据 → 训练 → 评估”这条铁律，这也是每一个垂直领域大模型落地时的定海神针。

α=∣Ddomain∣∣Ddomain∣+∣Dgeneral∣\displaystyle \alpha = \frac{|D_{\text{domain}}|}{|D_{\text{domain}}| + |D_{\text{general}}|}
$\alpha$ 一般落在 0.2 ~ 0.4 之间：太低学不会行话，太高容易“学傻了”。具体值要靠小规模实验反复试错。
  1. 领域数据量代码/医学/法律语料的条数，记作 $|D_{\text{domain}}|$。
    ∣Ddomain∣\displaystyle |D_{\text{domain}}|
  2. 数据总量领域数据与通用数据的条数之和，决定“集训与基础课”的总学时。
    ∣Ddomain∣+∣Dgeneral∣\displaystyle |D_{\text{domain}}| + |D_{\text{general}}|
  3. 领域占比这个比值越高，模型越专；越低，通用能力保持得越好。
    α=∣Ddomain∣∣Ddomain∣+∣Dgeneral∣\displaystyle \alpha = \frac{|D_{\text{domain}}|}{|D_{\text{domain}}| + |D_{\text{general}}|}

AI 应用场景

智能分诊与病历质控助手（医学）

阶段：领域数据构建 + 领域适配训练 + 领域评估

解决的问题：传统分诊靠护士经验判断，漏诊风险高；病历书写质量参差不齐，需要大量人工质控。通用大模型分不清“心梗胸痛”和“胃痛”的差异，必须用医学领域语料微调，让它学会循证判断。

具体案例：某三甲医院用脱敏后的 50 万份病历构建领域数据集，配合临床指南做混合配比，用 LoRA 微调出一版“分诊助手”。微调后在胸痛患者分诊任务上 F1 从 0.41 提升到 0.86，同时通过预留通用评测集监测，通用对话能力仅下降 3%。

企业级代码评审助手（代码）

阶段：领域词汇扩展 + 领域适配训练 + 知识蒸馏

解决的问题：代码评审依赖资深工程师逐行把关，成本高昂；通用模型看不懂企业私有框架的 API 语义。通过扩充词表收录内部库名与框架术语，再在历史 PR 数据上微调，模型终于“读得懂”公司代码。

具体案例：某互联网公司收集 3 年真实 Code Review 数据，先做词表扩展收录 2 万个内部 API 名，再用持续预训练 + 指令微调训练出评审助手。工程师提交代码后，助手能预先标记 7 类常见缺陷，再由大模型蒸馏出轻量版本部署到 CI 流水线，每次评审耗时从 15 分钟降到 30 秒。

合同风险筛查助手（法律）

阶段：领域数据构建 + 领域评估验证

解决的问题：传统合同审查依赖律师逐条核对违约责任、赔偿上限等条款，人工耗时且易遗漏。通用模型对法律行话和“格式条款无效”等规则不敏感，需用判决书、法条和问答数据微调。

具体案例：一家法律科技公司用 20 万份公开判决书和 5 万条合同问答构建数据集，以 0.3 的领域占比混合通用数据微调模型，并用专家标注的 2000 条合同风险点做评测集。最终模型能识别 31 类常见风险条款，召回率 88%，上线后帮助律所将初审工作量削减约 60%。

Python 演示

python48 行
import numpy as np def gen_data(n, w, b, seed=0):    """生成模拟数据：4 维特征，线性可分，代表一类问答任务"""    rng = np.random.RandomState(seed)    X = rng.randn(n, 4)    y = (X @ w + b) > 0    return X, y.astype(int) class MiniLM:    """极简逻辑回归：模拟大模型在任务上的可学能力"""    def __init__(self, dim=4):        self.w = np.zeros(dim)        self.b = 0.0     def acc(self, X, y):        pred = (X @ self.w + self.b) > 0        return (pred == y).mean()     def train(self, X, y, steps=20, lr=0.2):        """对一批数据做多步梯度下降，模拟训练过程"""        for _ in range(steps):            z = X @ self.w + self.b            p = 1.0 / (1.0 + np.exp(-z))            grad_w = X.T @ (p - y) / len(y)            grad_b = (p - y).mean()            self.w -= lr * grad_w            self.b -= lr * grad_b def main():    # 通用任务：判断"句子是否通顺"，预训练阶段掌握    w_g, b_g = np.array([1.0, 0.0, 0.0, 0.0]), 0.1    Xg, yg = gen_data(600, w_g, b_g, seed=1)    # 领域任务：判断"诊断是否指向炎症"，需要微调学习    w_d, b_d = np.array([0.0, 1.5, 0.0, 0.0]), 0.0    Xd, yd = gen_data(200, w_d, b_d, seed=2)     model = MiniLM()    model.train(Xg, yg, steps=20, lr=0.3)    print("通用任务准确率(预训练后):", round(model.acc(Xg, yg), 3))    print("领域任务准确率(微调前):", round(model.acc(Xd, yd), 3))     model.train(Xd, yd, steps=30, lr=0.15)    print("领域任务准确率(微调后):", round(model.acc(Xd, yd), 3))    print("通用任务准确率(微调后):", round(model.acc(Xg, yg), 3)) if __name__ == "__main__":    main()
目的：用 40 行迷你模型完整演示“预训练 → 领域微调 → 评估”链路，直观看到领域能力上升与通用能力的小幅波动，并对比混合策略的救场效果。
  1. gen_data(n, w, b, seed)构造两类线性任务，相当于“通用语料”与“领域语料”。
  2. class MiniLM一个极简逻辑回归，扮演“大模型”：可训练、可评估、可被继续微调。
  3. model.train(Xg, yg, steps=20, lr=0.3)先在大批通用数据上“预训练”，掌握通才能力。
  4. model.acc(Xd, yd)微调前在领域任务上打分，通常不高，因为还没学过行业行话。
  5. model.train(Xd, yd, steps=30, lr=0.15)用领域数据继续训练，对应“执业证集训”。
  6. print("通用任务准确率(微调后)")再次评估通用能力，观察是否出现“灾难性遗忘”。

常见误区

误区很多人以为要让大模型懂医学，就得从零开始重新训练一个医学大模型，成本动辄几千万，小团队根本别想碰。

正解领域微调是在预训练好的通才模型上“继续打磨”，就像小李考执业证不需要重读四年医科，只需集训三个月。更轻量的 LoRA 方案只训练极少量参数，一张消费级显卡也能完成；全参数微调也很少完全从零开始，而是加载预训练权重后继续训练。

为何常见：大家习惯了“训练模型 = 造一个模型”的印象，忽略了迁移学习的核心思想——站在巨人肩膀上，在通才基础上加专长。

误区刚入门的工程师会疯狂收集几千万条领域文本，认为数据量越大，微调出的模型就越聪明。

正解数据质量决定模型上限。医学领域满是重复案例和错误诊断，堆 10 遍同样内容不如杂糅 1 遍错误数据危害大。高质量、多样、贴近真实场景的万级数据，效果常胜过低质百万级数据。“质量为王”是领域数据的铁律。

为何常见：预训练阶段确实是“海量数据至上”，于是人们天然地把这一习惯搬到了微调阶段，忽略了微调是“精读”而非“泛读”。

误区有同学微调完发现模型讲冷笑话的能力下降了，就认定灾难性遗忘无法避免，做领域微调必须牺牲通用能力。

正解灾难性遗忘可以被显著缓解：混合通用数据与领域数据、使用 LoRA 限制参数更新范围、回放旧任务样本、保持低学习率，这些策略组合能守住通用能力。可视化演示中的红线正是“先跌后回升”——方法得当，通用能力不会一去不返。

为何常见：很多人只做了一次粗放的全参数微调就下结论，没有尝试参数高效方案和数据配比，把“不完美”误解为“不可避免”。

误区一些团队把领域微调当作银弹，期望微调完模型什么都知道，再也不查资料、不做检索、不用写提示词。

正解领域微调是把“知识”沉淀进参数，适合高频、稳定的业务知识；RAG 则擅长动态、可追溯的知识（如最新法规、实时行情）。两者是互补关系——微调教模型“怎么像专家一样思考”，RAG 给模型“最新的白纸黑字”，提示工程则规范“用多少字数、按什么格式回答”。

为何常见：领域微调的学习曲线很陡，学完容易产生“我掌握了终极武器”的错觉；而工程实践的痛苦会让人把某一种技术浪漫化。

面试题

Q1. 构建领域微调数据集时，最关键的因素是什么？

单选题 · easy

  • A.数据量越大越好，数量决定一切
  • B.高质量且贴合真实业务场景← 正确答案
  • C.数据只能来自公开互联网资源
  • D.完全由大模型自动生成即可

答案：B。领域微调更像“精读行业典籍”而非“泛读杂刊”。高质量、贴近真实任务的数据能让模型学到有效知识；低质重复数据反而让模型学会照抄错误。公开数据不是唯一来源，纯生成数据缺乏人工校验也不可靠。

Q2. 关于“灾难性遗忘”的描述，正确的是？

单选题 · mid

  • A.微调后模型通用能力会完全消失
  • B.微调时可能破坏原有通用知识← 正确答案
  • C.只发生在模型推理阶段永不恢复
  • D.训练轮数越多遗忘反而越轻

答案：B。灾难性遗忘指模型学新知识时覆盖旧知识的现象，发生在训练阶段而非推理阶段。通过混合通用数据、LoRA 低秩微调、回放旧样本等策略可显著缓解，因此“完全消失”“无法恢复”都不对；训练轮数过多只会加重遗忘。

Q3. 领域词汇扩展的主要操作对象是？

单选题 · mid

  • A.神经网络的注意力层数
  • B.分词器的词表与对应向量← 正确答案
  • C.学习率调度器的参数
  • D.损失函数的权重系数

答案：B。代码中的 API 名、医学中的药名、法律中的专有名词不在通用词表里，分词器会把它们切得支离破碎。所以要先扩充词表、初始化新词向量，再在领域语料中增量训练。注意力层数、学习率、损失权重都不是词汇扩展的对象。

Q4. 下列哪些属于领域微调的常见实现方案？

多选题 · mid

  • A.全参数微调所有模型权重← 正确答案
  • B.使用 LoRA 低秩适配微调← 正确答案
  • C.冻结模型后随机生成答案
  • D.与指令微调数据混合训练← 正确答案

答案：ABD。全参数微调效果上限高但成本大；LoRA 参数高效、遗忘轻，是当下主流；领域语料与指令数据混训能同时学到“知识”和“回答格式”。冻结模型后随机生成答案没有任何训练意义，不属于微调方案。

Q5. 知识蒸馏中“教师模型”通常指什么？

单选题 · easy

  • A.参数更少、速度更快的模型
  • B.能力更强的参数量级大的模型← 正确答案
  • C.负责数据标注的领域专家
  • D.承载训练数据集的数据库

答案：B。蒸馏的比喻是“老师傅带新徒弟”。教师模型是大而强的模型，它把预测分布作为“经验”传授给学生模型；学生模型才是部署时跑得更快更省的那个。人类专家是数据源头，数据库不是模型。

Q6. 为什么知识蒸馏中“软标签”比硬标签信息更丰富？

单选题 · mid

  • A.因为软标签的数字更大更容易学习
  • B.因为软标签包含类别间的相似关系← 正确答案
  • C.因为软标签完全不需要人工标注
  • D.因为硬标签无法用于模型训练

答案：B。硬标签只说“这是猫”（0/1），软标签说“0.8 猫、0.15 狗、0.05 兔”，隐含“猫和狗很像”的知识，这正是教师的经验。软标签同样来自标注或教师输出，硬标签也完全可以参与训练。

Q7. 下列哪些做法能有效评估领域微调的效果？

多选题 · hard

  • A.构建贴合真实业务的评测集← 正确答案
  • B.只观察训练集上的损失下降
  • C.与通用基准数据集作对比← 正确答案
  • D.请领域专家抽样人工测评← 正确答案

答案：ACD。领域评估像“上岗考核”：贴合场景的评测集、与通用基准的对比、专家抽检都能反映真实能力。训练损失下降只代表模型“背熟了教材”，不代表它会在真实场景里举一反三，单看损失会严重高估效果。

Q8. 下列哪些策略能有效缓解灾难性遗忘？

多选题 · hard

  • A.领域数据与通用数据混合训练← 正确答案
  • B.使用 LoRA 等参数高效微调← 正确答案
  • C.大幅调大学习率加速收敛
  • D.将旧任务样本重新回放训练← 正确答案

答案：ABD。混合数据就像“新题老题一起刷”；LoRA 限制改动范围，比如只更新口袋笔记而不是改写教科书；回放旧样本相当于定期复习巩固。大幅调大学习率会让新知识猛烈冲掉旧知识，是遗忘加重的推手。

Q9. 构建医学领域微调数据的典型来源是？

单选题 · easy

  • A.医疗问答、病历文书与临床指南← 正确答案
  • B.随机抽取的中文网络小说语料
  • C.只有诊断结果没有任何上下文的标签
  • D.纯图像且不含文字描述的数据

答案：A。医学大模型需要“医生案头资料”：医疗问答、病历、指南、药典。网络小说与医学无关；只有诊断标签缺乏语言上下文；纯图像数据无法直接用于文本微调。这些都不能教会模型专业表达。

Q10. 知识蒸馏损失中引入“温度系数 T”的根本作用是什么？

单选题 · extreme

  • A.增大每次迭代的样本数量
  • B.调节教师输出分布的平滑程度← 正确答案
  • C.显著加快模型推理阶段的响应
  • D.取代损失函数中的交叉熵计算

答案：B。温度 T 通过 $z_i / T$ 软化 softmax 输出：T 越大，类别分布越平滑，越能暴露出“猫和狗相似、猫和桌子不相似”这类细粒度经验；T=1 时退化为普通 softmax。它不改变样本量、不影响推理速度、也替代不了交叉熵，只是调节“经验表达的清晰度”。