假如你是一座大型图书馆的管理员，助理小新花了一下午把《动物百科全书》里“北极熊是白色的”这条词条订正为“北极熊的皮肤是黑色的、毛是透明中空的，看起来才是白色”。订正完成了，但你不敢直接入库——你怎么知道小新没有手滑把“棕熊”的词条也一起改成黑色？怎么知道读者下次追问“那北极熊的鼻子是什么颜色”时，新书能接得上话？怎么知道修订用的墨水没有渗到隔壁书页，把“企鹅”的条目也洇花了？ 于是你要求小新为这次修订设计一场“考试”：第一，目标词条到底改对了没有；第二，其他无关词条是不是保持原样；第三，顺着新知识的追问能不能举一反三；第四，有没有留下后遗症。这套“出题、判卷、写报告”的完整流程，就是大模型知识编辑的效果评估——只不过，我们考的不是一本书，而是一个装着海量知识的大模型。

岗位关联

对 AI 从业者而言，模型编辑评估是“知识修改质检关”。掌握了它，你才能可信地更新大模型知识，而不是把模型越改越糟、还浑然不觉。这份技能直接决定模型编辑方案能否落地到生产环境。

目录
  1. 可视化演示
  2. 评估目标概述
  3. 编辑成功率
  4. 局部性指标
  5. 泛化性指标
  6. 数据集构建
  7. 副作用检测
  8. 基准实操流程
  9. AI 应用场景
  10. Python 演示
  11. 常见误区
  12. 面试题

可视化演示

对比B+树索引的多层查找与哈希索引的桶定位两种索引查找策略，动态展示从根节点到叶子节点的路径追踪与哈希函数映射过程。

本节配有交互动效（进入视口后自动加载，约 3KB）。

B+树索引查找 从根节点30开始比较定位子树 逐层下降至叶子节点定位数据 O(log n) 多层平衡树结构保证查找效率

评估目标概述

馆长老周告诉小新：“修订不是把字改了就行，得先立一套考试章程——考哪几门、怎么出题、怎么判分，否则你凭什么说这次修订是成功的？”小新想了想，把考卷设计成三组题：第一组是“被改的原文”（把北极熊词条改成新说法）；第二组是“无关的邻页”（棕熊、企鹅等条目）；第三组是“顺着新知识出的追问”（北极熊的皮肤是什么颜色）。这就是评估的第一课：先定义清楚要考什么。

在技术世界里，这本“百科全书”就是一个大模型，而“修订词条”叫做模型编辑：用少量样本把模型里某个错误的知识点纠正过来，而不必重新训练整个模型。评估要做的事，就是回答一个朴素的问题——这次编辑到底改得怎么样？

于是评估框架被拆成三根支柱：目标编辑集验证“改对没有”，无关样本集验证“误伤没有”，相关样本集验证“能推广没有”。一次规范的评估，必然围绕这三组问题展开，缺一不可。

馆长听完小新的方案点了点头：“章程立住了，后面每门课就按这个框架打分。”评估的意义正在于此：没有框架的评估只是零散抽查，有了三组考题，才能系统地回答“这次修改到底行不行”。

M′=edit(M,e),e=(q,a∗)\displaystyle M' = \text{edit}(M, e), \quad e = (q, a^{*})
这个式子的意思是：编辑操作 edit 拿着一条知识样本 e（问题 q 和期望答案 a*），把旧模型 M 变成新模型 M'。评估的全部工作，就是检验 M' 在哪些问题上表现合格。
  1. 旧模型 $M$编辑之前的大模型，像还没修订的百科全书旧版。
    M\displaystyle M
  2. 编辑操作 $\text{edit}$把一条新知识写进模型内部参数的更新过程。
    edit(M,e)\displaystyle \text{edit}(M, e)
  3. 知识样本 $e$由“问题 + 期望答案”组成的最小修订单元。
    e=(q,a∗)\displaystyle e = (q, a^{*})
  4. 新模型 $M'$编辑完成后得到的模型，也就是等待考试验收的修订版。
    M′=edit(M,e)\displaystyle M' = \text{edit}(M, e)

编辑成功率

小新把考卷第一题定为“原题订正”：直接翻到北极熊词条，问“北极熊是什么颜色？”修订版必须答出新的标准答案。这是最直观的一门课——如果连被改的这道原题都答不对，那后面的考试全部失去意义。

这门课在评估指标里叫编辑成功率。它衡量的是：编辑完成后，模型对目标问题的回答与期望答案一致的比例。如果是单次编辑，结果就是 0 或 1——答对算 1，答错算 0；如果批量编辑了 N 条知识，就取平均。关键在于“怎样算答对”：精确匹配要求逐字一致，语义匹配则允许同义表达，后者更贴近真实场景。

小新在第一门课上拿到了高分，但他没有急着庆祝——馆长提醒他：“原题答对只是底线，真正的危险往往藏在别的词条里。”于是考试进入第二门。

Success=1N∑i=1N1(fM′(qi)=ai∗)\displaystyle \text{Success} = \frac{1}{N}\sum_{i=1}^{N} \mathbf{1}\left(f_{M'}(q_i) = a_i^{*}\right)
成功率就是“原题答对率”：把每道编辑目标题的得分加起来除以总题数，得到 0 到 1 之间的值，越接近 1 说明改得越到位。
  1. 新模型回答 $f_{M'}(q_i)$编辑后的模型面对第 i 道目标问题给出的答复。
    fM′(qi)\displaystyle f_{M'}(q_i)
  2. 期望答案 $a_i^{*}$这道题在修订版里应当给出的标准答案。
    ai∗\displaystyle a_i^{*}
  3. 指示函数 $\mathbf{1}(\cdot)$括号内条件成立记 1，不成立记 0，把“答对/答错”变成可累加的分数。
    1(fM′(qi)=ai∗)\displaystyle \mathbf{1}\left(f_{M'}(q_i) = a_i^{*}\right)
  4. 求和平均 $\frac{1}{N}\sum$把 N 道题的得分加起来除以 N，得到整体成功率。
    1N∑i=1N\displaystyle \frac{1}{N}\sum_{i=1}^{N}

局部性指标

馆长老周从书架上随手抽出几本“无关”的条目：棕熊、企鹅、北极狐。他让小新把这些条目在修订前后的内容逐字比对——如果北极熊词条改了之后，棕熊的词条也跟着变成了“黑色皮肤”，那这场修订就是一次灾难。这门课考的是局部性。

局部性衡量的是：编辑操作只应影响目标知识，不应波及其他无关知识。在技术里，这被称为知识隔离——模型内部的知识像一个个抽屉，理想情况下拉开一个抽屉换张纸条，其他抽屉纹丝不动。局部性的标准做法是准备一批无关样本，在编辑前后分别用模型作答，然后看答案保持一致的比例。

小新看着比对结果长舒一口气：邻页条目安然无恙。但馆长又出了新难题：“光保住老条目还不够，读者要是换一种问法，新知识还立得住吗？”

Locality=1N∑i=1N1(fM′(qiloc)=fM(qiloc))\displaystyle \text{Locality} = \frac{1}{N}\sum_{i=1}^{N} \mathbf{1}\left(f_{M'}(q_i^{\text{loc}}) = f_M(q_i^{\text{loc}})\right)
局部性是“邻页检查率”：编辑前怎么答，编辑后还得怎么答。完全不变记 1，变了记 0，取平均就是局部性得分。
  1. 无关样本 $q_i^{\text{loc}}$与编辑目标无关的问题，相当于“邻页词条”。
    qiloc\displaystyle q_i^{\text{loc}}
  2. 编辑前回答 $f_M(q_i^{\text{loc}})$旧模型在这道无关题上的答案，作为“原文底稿”。
    fM(qiloc)\displaystyle f_M(q_i^{\text{loc}})
  3. 编辑后回答 $f_{M'}(q_i^{\text{loc}})$新模型在同一道题上的答案。
    fM′(qiloc)\displaystyle f_{M'}(q_i^{\text{loc}})
  4. 一致性判断前后两个答案相等记 1，否则记 0，再取平均。
    1(fM′(qiloc)=fM(qiloc))\displaystyle \mathbf{1}\left(f_{M'}(q_i^{\text{loc}}) = f_M(q_i^{\text{loc}})\right)

泛化性指标

考试进入第三门“加试题”。馆长老周模拟读者提问：“那北极熊的皮肤是什么颜色？”“北极熊的毛为什么看起来是白的？”这些问题并没有被直接编进修订版，但修订版既然宣告了新知识，就应该能在这些相关追问上举一反三。这门课考的是泛化性。

泛化性衡量的是模型把新知识迁移到相近场景的能力，通常分为三个层次：等价表述（换一种说法问同一件事）、关联知识（由新知识推导出相邻事实）、跨场景鲁棒（在不同上下文里都能稳定答对）。测试时，评估者准备一批与编辑目标相关、但不等于原题的问句，再核对新模型的回答是否符合修订后的知识体系。

小新的修订版在三门主课上表现都不错。不过馆长作为老图书馆员，还留了一手——他要检查“墨水有没有渗进书页夹层”。

Generalization=1N∑i=1N1(fM′(qig)=aig,∗)\displaystyle \text{Generalization} = \frac{1}{N}\sum_{i=1}^{N} \mathbf{1}\left(f_{M'}(q_i^{g}) = a_i^{g,*}\right)
泛化性是“追问正确率”：对每个相关追问，检查新模型的回答是否符合修订后的标准答案，取平均后越高越好。
  1. 泛化问题 $q_i^{g}$与编辑目标相关、但不是原题的问法，比如换措辞或追问细节。
    qig\displaystyle q_i^{g}
  2. 泛化答案 $a_i^{g,*}$这道追问在新知识体系下应当成立的答案。
    aig,∗\displaystyle a_i^{g,*}
  3. 答案比对新模型的回答与期望答案一致记 1，否则记 0。
    1(fM′(qig)=aig,∗)\displaystyle \mathbf{1}\left(f_{M'}(q_i^{g}) = a_i^{g,*}\right)
  4. 整体平均对所有追问取平均，得到泛化性指标。
    1N∑i=1N\displaystyle \frac{1}{N}\sum_{i=1}^{N}

数据集构建

出考卷本身是一门手艺。馆长老周告诉小新：“你不能随手抓几个问题就当考卷，一份合格的考卷要有清晰的命题蓝图。”他要求把试卷分成四个区域：编辑目标区放原题；无关保持区放邻页条目；泛化追问区放换着法子的相关题；敏感副作用区放那些“如果改坏了会很严重”的棘手题——比如涉及安全、伦理的敏感能力样本。

在技术实现上，一份评估数据集就是一组四元组样本的集合。每个样本绑定一道原题、一份标准答案、一袋无关问题、一组相关追问。模板生成策略能批量制造问法变体（比如把“X 的颜色是什么”改写成“X 是什么色”），但模板生成的题必须经过质量校验：人工抽检表述是否自然、答案是否唯一、是否存在冲突样本。

考卷定稿后，馆长总算露出了笑容。“考卷出得好，成绩单才有意义——不过，真正的老手还会盯着一件容易被忽略的事。”

D={(qi, ai∗, Li, Gi)}i=1N\displaystyle D = \left\{ \left(q_i,\ a_i^{*},\ L_i,\ G_i\right)\right\}_{i=1}^{N}
数据集是“四合一考卷结构”：每个样本都打包了原题、答案、无关检验题和相关追问题，这样一份考卷才能同时支撑成功率、局部性、泛化性三门考试。
  1. 原题 $q_i$模型编辑要改的那条知识问题。
    qi\displaystyle q_i
  2. 标准答案 $a_i^{*}$与原题配套的修订后正确答案。
    ai∗\displaystyle a_i^{*}
  3. 无关题集 $L_i$用于局部性考试的邻页问题集合。
    Li\displaystyle L_i
  4. 相关题集 $G_i$用于泛化性考试的追问问题集合。
    Gi\displaystyle G_i
  5. 整体数据集 $D$由 N 个四元组构成的考卷。
    D={(qi, ai∗, Li, Gi)}i=1N\displaystyle D = \left\{ \left(q_i,\ a_i^{*},\ L_i,\ G_i\right)\right\}_{i=1}^{N}

副作用检测

馆长老周翻开修订版的目录页，又翻了几页附录，突然皱起眉头：“北极熊词条确实改对了，可你有没有发现，修订用的墨水渗到了几处'敏感页'——比如它回答安全问题的能力，好像不如从前利索了？”这就是副作用：编辑不仅可能改坏无关知识，还可能侵蚀模型在特定能力上的表现。

副作用检测的本质，是给局部性加上一个“更严格的放大镜”。评估者专门准备一组敏感样本集——包括推理能力题、安全拒答样本、情感识别题等——然后看编辑前后在这些样本上的表现差异。如果编辑后敏感能力明显下降，就说明出现了灾难遗忘或知识泄露。副作用率通常定义为“敏感样本上表现发生变化的比例”。

小新惊出一身冷汗——幸好检查了敏感页。现在四门课全部考完，馆长提出了最后一个要求：“把成绩单汇总起来，拿去和市里其他图书馆的修订方法比一比。”

ES=1−1N∑i=1N1(fM′(si)=fM(si))\displaystyle \text{ES} = 1 - \frac{1}{N}\sum_{i=1}^{N} \mathbf{1}\left(f_{M'}(s_i) = f_M(s_i)\right)
副作用率是“敏感页被弄脏的比例”：先看编辑前后在敏感样本上的表现一致率，再用 1 减去它。越接近 0 说明修订越干净。
  1. 敏感样本 $s_i$用于检测副作用的高危问题，如安全、推理类。
    si\displaystyle s_i
  2. 前后表现一致编辑前和编辑后在敏感样本上答案相同记 1。
    1(fM′(si)=fM(si))\displaystyle \mathbf{1}\left(f_{M'}(s_i) = f_M(s_i)\right)
  3. 一致率N 个敏感样本上保持一致的比例。
    1N∑i=1N1(fM′(si)=fM(si))\displaystyle \frac{1}{N}\sum_{i=1}^{N} \mathbf{1}\left(f_{M'}(s_i) = f_M(s_i)\right)
  4. 取反得到副作用率用 1 减去一致率，数值越高副作用越严重。
    ES=1−1N∑i=1N1(fM′(si)=fM(si))\displaystyle \text{ES} = 1 - \frac{1}{N}\sum_{i=1}^{N} \mathbf{1}\left(f_{M'}(s_i) = f_M(s_i)\right)

基准实操流程

馆长老周联系了市图书馆联盟，发现各家都在做类似的修订，方法各不相同：有的是人工改稿，有的是机器批量替换。要想知道自家方法到底什么水平，必须用同一张考卷让所有方法都考一遍——这就是基准测试。在 AI 领域，业界常用 zsRE、CounterFact 等一系列公开评测集作为“统一考卷”，让不同的模型编辑方法在同一标准下横向对比。

实操评估通常走五步流程：搭建环境（加载模型与编辑方法）→ 配置测试集（选取或构建考卷）→ 执行编辑（写入新知识）→ 计算指标（逐一算出成功率、局部性、泛化性与副作用率）→ 生成报告（汇总分析与对比）。为了让各指标可综合比较，实践中常用加权汇总的方式算出一个总得分。

一周后，小新把完整的评估报告交到馆长桌上。馆长翻到最后一页，看到那句结论时点了点头：“修订是否成功，不能靠感觉，而要靠在统一考卷上的成绩说话。”从此，图书馆每次修订都必须附上一份这样的“考试成绩单”。

Agg=α×Success+β×Locality+γ×Generalization−δ×ES\displaystyle \text{Agg} = \alpha \times \text{Success} + \beta \times \text{Locality} + \gamma \times \text{Generalization} - \delta \times \text{ES}
综合得分 = 按权重相加三门主课成绩，再扣掉副作用分数。权重 α、β、γ、δ 由业务场景决定，例如医疗场景会更看重副作用项。
  1. 权重 $\alpha$成功率在综合得分中的占比，体现“改对”的重要程度。
    α\displaystyle \alpha
  2. 权重 $\beta$局部性占比，体现“不误伤”的重要程度。
    β\displaystyle \beta
  3. 权重 $\gamma$泛化性占比，体现“能推广”的重要程度。
    γ\displaystyle \gamma
  4. 扣分系数 $\delta$副作用率的惩罚权重，越高代表越不能容忍“改坏”。
    δ\displaystyle \delta
  5. 综合加权三项正向指标加权求和，再减去副作用惩罚，得到最终分数。
    Agg=α×Success+β×Locality+γ×Generalization−δ×ES\displaystyle \text{Agg} = \alpha \times \text{Success} + \beta \times \text{Locality} + \gamma \times \text{Generalization} - \delta \times \text{ES}

AI 应用场景

电商客服知识库的快速纠错

阶段：模型编辑与持续知识更新

解决的问题：电商平台的大模型客服回答退货政策时引用了过时规定。若重新训练模型，成本高且周期长；若直接编辑模型，又担心把物流、优惠券等其他回复改坏。用评估体系可以一次性解决“改了没有”和“改坏没有”的双重疑虑。

具体案例：某电商平台将“退货时限由 7 天改为 30 天”作为编辑目标，随后评估新模型对“退货期限是多少”的成功率；再从历史会话中抽取 500 条无关咨询（如优惠券使用、发货时间）测局部性；最后用“退款申请最晚什么时候提交”等追问测泛化性。全部指标达标后才部署上线。

医疗问答模型的药典更新

阶段：知识安全审计与副作用检测

解决的问题：药典里的某个药物剂量信息更新后，模型可能在其他药物知识上产生连锁错误，这在医疗场景不可接受。利用副作用检测机制，在编辑后重点监测敏感样本集（如其他药物的剂量、禁忌症、安全告警）。

具体案例：某医疗问答系统更新了“布洛芬儿童用量”后，评估团队构建了 200 条敏感项，包括对乙酰氨基酚的剂量换算、孕妇用药提示等，逐一比对编辑前后回答一致性。敏感项保持率 98% 以上才通过验收。

大模型安全对齐后的回归测试

阶段：编辑后能力回归与基准测试

解决的问题：对模型进行知识编辑后，模型原有的安全拒答能力可能被悄悄削弱。通过复用统一的评估基准，在每次编辑后自动执行“成功率 + 局部性 + 泛化性 + 副作用”四合一回归测试，防止模型越改越不安全。

具体案例：某大模型团队在修复“模型误答某数学公式”后，自动触发了评估流水线，结果发现副作用率达 12%——模型对某些违规请求的拒答率明显下降。团队随即回滚编辑并改用更温和的编辑方案，再测后副作用率降到 3% 才放行。

Python 演示

python68 行
"""模型编辑效果评估指标演示: 用模拟数据计算成功率、局部性和泛化性"""  def build_simulated_model():    """构建一个用字典存储知识的模拟模型"""    return {        "北极熊是什么颜色": "白色",        "北极熊的皮肤是什么颜色": "黑色",        "棕熊是什么颜色": "棕色",        "企鹅是什么颜色": "黑白配色",        "北极熊的毛是什么结构": "中空透明",    }  def do_edit(model, question, new_answer):    """执行一次模型编辑: 只修改目标问题的答复"""    edited = dict(model)    edited[question] = new_answer    return edited  def answer(model, question):    """模拟模型回答"""    return model.get(question, "不知道")  def eval_editing(model_before, model_after, edit_q, edit_a,                 locality_qs, generalization_qs):    """计算编辑成功率、局部性和泛化性"""    success = 1.0 if answer(model_after, edit_q) == edit_a else 0.0     loc_hits = sum(        1 for q in locality_qs        if answer(model_after, q) == answer(model_before, q)    )    locality = loc_hits / len(locality_qs)     gen_hits = sum(        1 for q, a in generalization_qs        if answer(model_after, q) == a    )    generalization = gen_hits / len(generalization_qs)     return success, locality, generalization  def main():    before = build_simulated_model()    after = do_edit(before, "北极熊是什么颜色", "白色透明中空")     locality_qs = ["棕熊是什么颜色", "企鹅是什么颜色"]    generalization_qs = [        ("北极熊的皮肤是什么颜色", "黑色"),        ("北极熊的毛是什么结构", "中空透明"),    ]     acc, loc, gen = eval_editing(        before, after, "北极熊是什么颜色", "白色透明中空",        locality_qs, generalization_qs,    )    print(f"编辑成功率: {acc:.0%}")    print(f"局部性: {loc:.0%}")    print(f"泛化性: {gen:.0%}")    print(f"副作用率: {1 - loc:.0%}")  if __name__ == "__main__":    main()
目的：演示模型编辑后四个核心评估指标的计算逻辑。build_simulated_model 用字典模拟一个小型知识库，eval_editing 则实现了成功率、局部性、泛化性的完整统计，并可由局部性反推副作用率。
  1. build_simulated_model()把模型建模成一个“知识字典”，每一条问答对应一个词条。
  2. do_edit(before, ...)模拟编辑操作：只修改目标词条，生成修订版模型字典。
  3. answer(model, question)模拟模型作答：从字典中查表返回答案。
  4. eval_editing(...)评估入口函数，同时算出三个核心指标。
  5. success = 1.0 if ... else 0.0单次编辑成功率就是 0/1 判断。
  6. loc_hits = sum(...)逐个比对无关样本在编辑前后的答案，统计不变的数量。
  7. generalization_qs用“追问列表”承载泛化测试：问题和期望答案成对出现。
  8. print(f"副作用率: {1 - loc:.0%}")用 1 减局部性估算副作用率，保持指标间的逻辑闭环。

常见误区

误区“改完之后我专门测了目标问题，答对了就行。其他问题哪有那么多精力去管？”

正解成功率高只说明“想改的改对了”，完全不能说明“没改坏的也没被改坏”。就像小新把北极熊词条改对了，却把棕熊词条也涂成了黑色——原题满分，邻页零分。真正的评估必须把局部性放在和成功率同等重要的位置，两者一起看才有意义。

为何常见：成功率是“正向得分”，人人都习惯先看自己做到了什么；而局部性是“负向防守”，需要额外准备无关样本，容易被偷懒跳过。

误区“我用'北极熊的皮肤是什么颜色'考模型，它答对了，所以编辑成功率和泛化性都很好。”

正解这两个指标考的是完全不同的能力。成功率只针对编辑原题，泛化性针对没编辑过的相关追问。把追问答对归功于成功率，就像把“读者自己举一反三”算成“小新改的词条答对了”，混淆了修订的直接效果和间接效果。

为何常见：两者都是“答对知识的比例”，形式相似、结果相近，初学者很容易合并看待。

误区“评估集就从刚才编辑用的那些问题里抽吧，反正是同一批知识。”

正解编辑用的样本是“原题”，模型在编辑时已经见过标准答案，再用原题测试就像考试前把答案发给学生，成绩必然虚高。评估必须用未见过的样本——无关样本要选没有参与编辑的，泛化样本也要与编辑样本错开。

为何常见：构建新样本有成本，人们本能地想复用现成的编辑数据，忽略了“背题效应”会彻底污染评估结论。

误区“只要模型回答里出现了'黑色'两个字，我就判它答对了。”

正解宽松的匹配规则会把错误答案误判成正确。比如模型回答“北极熊的皮肤是黑色，所以它浑身都黑了”，虽然包含关键词，但语义完全错误。相反，太严格的精确匹配又可能把“北极熊的毛是白色透明中空”这样正确的同义改写判错。实践中应根据场景选择精确或语义匹配，并明确匹配规则。

为何常见：精确匹配简单但僵硬，语义匹配灵活但需要额外评判模型，很多人在“图省事”和“图省力”之间选了半吊子的关键词匹配。

误区“局部性测了 99%，我觉得已经很安全了，不用再测什么副作用。”

正解局部性通常用通用随机样本，而副作用检测针对的是特殊敏感能力（安全拒答、逻辑推理、情感理解等）。一个模型可能 99% 的普通知识都没变，但那 1% 恰好是安全能力全面失效。副作用检测不是局部性的重复，而是给关键能力上的“专项体检”。

为何常见：副作用样本需要额外设计，且很多团队在编辑完成后急于上线，对“敏感页渗墨”这种概率低但危害大的风险缺乏敬畏。

面试题

Q1. 模型编辑完成后，首先要验证的最核心指标是什么？

单选题 · easy

  • A.编辑成功率← 正确答案
  • B.训练吞吐量
  • C.模型参数量
  • D.推理延迟时间

答案：A。编辑效果评估首先要回答“改对没有”，这正是编辑成功率衡量的内容。训练吞吐量、参数量、推理延迟是工程性能指标，与“知识改得对不对”无关，属于干扰项。

Q2. “局部性”指标衡量的是什么？

单选题 · easy

  • A.无关知识保持原样← 正确答案
  • B.相关知识全面增强
  • C.参数规模持续扩大
  • D.训练速度明显加快

答案：A。局部性衡量编辑是否误伤了无关知识，要求编辑前后无关样本上的回答保持一致。相关知识增强属于泛化性范畴，参数规模和训练速度则与编辑效果无关。

Q3. 编辑成功率的通用计算方式是？

单选题 · easy

  • A.编辑后目标回答正确率← 正确答案
  • B.编辑前知识保留比率
  • C.训练数据的总条目数
  • D.模型输出的平均长度

答案：A。成功率统计的是编辑后模型在目标问题上给出期望答案的比例。编辑前知识保留率对应局部性，训练条目数和输出长度都是无关变量。

Q4. 下列哪个场景最能体现泛化性指标的作用？

单选题 · mid

  • A.换一种问法仍能答对← 正确答案
  • B.删除全部旧有知识
  • C.增加模型推理算力
  • D.减少测试样本数量

答案：A。泛化性专门考察“相关但不等同于原题”的追问，换问法答对正是它的典型场景。删除旧知识、增加算力、减少样本都不是泛化性的定义内容。

Q5. 评估数据集中“无关样本”的主要用途是？

单选题 · mid

  • A.检验编辑后局部性← 正确答案
  • B.检验模型参数量
  • C.增强训练的计算量
  • D.压缩测试集体积

答案：A。无关样本用于检查编辑前后这些样本的回答是否保持不变，这正是局部性指标的计算依据。参数量验证、计算量增强、体积压缩都与评估设计无关。

Q6. 副作用检测重点关注的是哪类问题？

单选题 · mid

  • A.敏感能力退化迹象← 正确答案
  • B.提高梯度裁剪阈值
  • C.缩短模型训练时长
  • D.放大学习率的取值

答案：A。副作用检测通过敏感样本集（安全拒答、推理、情感等）观察编辑后能力是否退化。梯度裁剪、训练时长、学习率是训练环节的调参问题，不属于编辑副作用范畴。

Q7. 为什么不能用精确匹配作为唯一的答案判定方式？

单选题 · hard

  • A.同义改写会被判错误← 正确答案
  • B.会增加模型推理耗时
  • C.减少参数更新次数
  • D.提升语料清洗效率

答案：A。精确匹配要求逐字一致，但模型完全可能用不同措辞表达正确知识，比如“中空透明”被说成“透明且中空”，此时应判对却判错。推理耗时、参数更新、语料清洗都和判定规则无关。

Q8. 泛化性测试通常包括哪些形式？

多选题 · mid

  • A.同义表述改写追问← 正确答案
  • B.关联知识推理验证← 正确答案
  • C.推理速度基准测试
  • D.与编辑无关的校验

答案：AB。泛化性考察等价表述（同义改写）和关联知识迁移（相关追问），因此 A、B 正确。推理速度属于性能基准，与编辑无关的校验属于局部性范畴，故 C、D 不选。

Q9. 构建高质量评估数据集需要考虑哪些要点？

多选题 · hard

  • A.模板多样化改写← 正确答案
  • B.人工抽检一致性← 正确答案
  • C.答案冲突排查← 正确答案
  • D.降低硬件要求

答案：ABC。数据集构建的关键是命题质量：模板多样化保证问法覆盖，人工抽检保证表述自然，答案冲突排查避免歧义样本，因此 A、B、C 正确。降低硬件要求是工程优化问题，与考卷质量无关。

Q10. 统一基准测试在模型编辑评估中的作用是什么？

多选题 · extreme

  • A.统一多家评测口径← 正确答案
  • B.实现方法横向对比← 正确答案
  • C.复现公平比较环境← 正确答案
  • D.直接压缩模型体积

答案：ABC。统一基准提供标准考卷和指标口径，让不同编辑方法在同一环境公平对比并复现，故 A、B、C 正确。基准测试只负责“考试”，不负责“瘦身”，D 项与基准无关。