深夜十点，新入职的语文老师小王对着桌上五十多份作文发愁。教研主任推开办公室的门，身后跟着一位戴银边眼镜的特级教师——老周。老周笑着说：“批作文这门手艺，靠三样东西：眼里有标准，肚子里有文章，手里有分寸。” 老周用了三个小时批完全部作文，每篇还写了评语。小王惊讶地问：“您是怎么做到的？”老周拍拍他的肩膀：“这手艺，你也可以学。AI 也是一样——先读万卷书，再跟老师傅学打分，最后按统一尺度落笔。” 这就是作文自动评分（AES）的故事：以 PEGASUS、T5 为代表的预训练语言模型，像老周一样“肚子里装着文章”；通过微调，它们学会像阅卷老师一样按 Rubric 细则评分；系统还要保证对每个学生公平。今天，就让我们跟着老周的教学节奏，看看 AI 阅卷教师是怎么一步步成长起来的。

岗位关联

掌握 AES 的技术原理与落地思路，你就能参与教育、司法等领域中大规模文本评估系统的设计与优化，成为懂 NLP 又懂业务场景的稀缺人才。

目录
  1. 可视化演示
  2. AES基础认知
  3. 预训练语言模型
  4. 微调策略
  5. 评分Rubric对齐
  6. 数据处理与标注
  7. 公平性考量
  8. 实践应用与展望
  9. AI 应用场景
  10. Python 演示
  11. 常见误区
  12. 面试题

可视化演示

演示PEGASUS/T5模型微调、评分Rubric对齐与公平性偏差控制，直观展示AI如何从语义与结构特征多维度评估学生作文。

本节配有交互动效（进入视口后自动加载，约 3KB）。

PEGASUS/T5模型微调 理解语义结构 预训练+微调 预训练语言模型捕获作文语义与结构特征

AES基础认知

教研主任把《作文评分细则》拍在桌上：“从今天起，AI 会协助我们批作文。”小王心里犯嘀咕：一篇作文有立意、结构、语言、情感这么多讲究，机器能看懂吗？老周翻着细则解释：“你别把 AI 想得多玄乎。批作文，本质就是把几项标准各打一个分，再按权重合成总分的活。这件事，机器学得会。”

所谓作文自动评分，英文叫 Automatic Essay Scoring，简称 AES，是让计算机像人类阅卷老师一样，对一篇作文的整体质量给出可解释、可复现的分数。传统阅卷最大的痛点是“一致性难保证”：五十篇作文被三位老师批，可能出现 5 分的差距；AI 的长处恰恰是“给定同一套标准，永远稳定执行”。

在 AES 中，评分不是笼统的一锤子买卖，而是拆成内容、结构、语言、连贯等多个维度分别打分，再加权汇总。这也与人类评分专家的工作方式一致。一个典型的加权评分模型可以写成：

老周告诉小王：“有了这份多维度的公式，AI 就不只是在猜一个分数，而是像我们一样，按细则逐条对照。这就是 AI 阅卷教师的基本功。”

Total=w1×Scont+w2×Sstruct+w3×Slang+w4×Scoh\text{Total} = w_1 \times S_{\text{cont}} + w_2 \times S_{\text{struct}} + w_3 \times S_{\text{lang}} + w_4 \times S_{\text{coh}}
这个公式表示：最终总分是“内容、结构、语言、连贯”四个维度得分的加权求和，权重 w 由专家依据 Rubric 设定。
  1. 总分 Total这是 AI 阅卷教师给出的最终作文得分，它是后面所有维度得分的加权汇总结果。
    Total\text{Total}
  2. 权重系数 w₁ 到 w₄每个权重代表评分维度的重要性，例如“内容”的权重可能高于“语言”，因为立意深度往往更关键。
    w1, w2, w3, w4w_1,\, w_2,\, w_3,\, w_4
  3. 维度得分 S四个 S 分别表示内容、结构、语言、连贯的得分，由模型对作文逐维分析得到。
    Scont, Sstruct, Slang, ScohS_{\text{cont}},\, S_{\text{struct}},\, S_{\text{lang}},\, S_{\text{coh}}

预训练语言模型

小王好奇地问老周：“您批作文凭什么又快又准？”老周端起茶杯笑道：“因为我从教三十年，前十年每夜读三篇文章，肚子里装着上千篇范文。这叫厚积薄发。” 对 AI 来说，“腹中范文”就是预训练语言模型——比如 PEGASUS 和 T5 在海量文本上训练出的语言理解功底。

PEGASUS 模型最独特的训练方式是“句间遮蔽生成”：把文章中的关键句子挖掉让模型补全，逼着模型学会从全局把握文章主旨。T5 则把一切任务统一成“文本到文本”的格式——无论是翻译、摘要还是评分，都是“输入一串文本，输出另一串文本”。这种统一思路让 T5 在迁移到新任务时非常灵活。

这些模型能读懂作文，核心依赖注意力机制。它让模型在处理一个词时，能够同时“关注”到文章其他位置的关联信息。注意力计算可以简洁地表示为：

老周拍拍教案：“注意力机制，就像我批作文时会同时想到标题、开头和结尾，把它们串起来看。AI 的老底子，学的就是这套功夫。”

Attention(Q,K,V)=softmax⁡(QK⊤dk)V\text{Attention}(Q, K, V) = \operatorname{softmax}\left(\frac{QK^{\top}}{\sqrt{d_k}}\right) V
注意力机制让 AI 在读到作文某一句时，自动回看前文的论点和后文的例证，把分散的信息聚合成当下这句话的“理解”。
  1. 查询向量 Q表示“我在找什么”。模型读到某个词时，会发出一个查询，例如“这里是否与上文的论点有关”。
    QQ
  2. 键向量 K表示“我提供了什么线索”。文章中的每个词都提供一个键，用来回应查询。
    KK
  3. 缩放点积匹配用 Q 与 K 做内积，再除以 √d_k 防止数值过大，得到查询与各个词的相关程度。
    QK⊤dk\frac{QK^{\top}}{\sqrt{d_k}}
  4. softmax 归一化把相关分数变成一组和为 1 的注意力权重，相当于“我看重这几处、忽略那几处”。
    softmax⁡(⋅)\operatorname{softmax}(\cdot)
  5. 值向量 V 加权求和用权重对各个词携带的信息做综合，得到真正融合了上下文的新表示。
    VV

微调策略

老周开始带徒弟了。他把一百篇作文交给新老师：“从今天起，你按我的批注自己练，每改完一篇，对照我的评语找差距。” 这就是微调的精髓：预训练模型已经具备语言能力，但要让它的“批改口径”和老周一致，还得用大量已评分的作文做针对性训练。

微调的本质是迁移学习：把 PEGASUS/T5 在通用语料上学到的“语言直觉”，迁移到“作文评分”这个具体任务上。实际操作中，工程师会保留模型绝大部分预训练参数，用作文数据做若干轮有监督训练，可以按需冻结部分底层网络，只更新高层参数，并用一个较小的学习率防止“灾难性遗忘”——也就是不让学生忘了老本行的语言功底。

微调时最常用的监督信号是交叉熵损失：对一篇作文预测的评分分布与专家标注的真实评分越接近，损失越小。交叉熵的数学形式如下：

一个月后，新老师的批改风格和老周高度相似。小王感慨：“微调原来不是从零学写作，而是让有底子的学生，专注学会一套评分尺度。”

L=−1N∑i=1N∑c=1Cyi,clog⁡y^i,c\mathcal{L} = -\frac{1}{N} \sum_{i=1}^{N} \sum_{c=1}^{C} y_{i,c} \log \hat{y}_{i,c}
交叉熵度量的是“模型预测的概率分布”与“真实评分标签”之间的差距，它告诉模型该往哪个方向修正自己的参数。
  1. 负号与平均损失取负号并除样本数 N，表示所有作文的“平均惊讶程度”，数值越小越好。
    −1N∑i=1N-\frac{1}{N} \sum_{i=1}^{N}
  2. 评分等级循环内层求和遍历全部 C 个评分等级，例如 1 至 6 分的作文等级。
    ∑c=1C\sum_{c=1}^{C}
  3. 真实标签 yy 是独热向量，第 c 位为 1 当且仅当该作文的真实等级是 c，其余为 0。
    yi,cy_{i,c}
  4. 预测概率的对数log ŷ 是模型对该等级预测概率的对数；当预测接近真实等级时，该项接近 0，损失也随之减小。
    log⁡y^i,c\log \hat{y}_{i,c}

评分Rubric对齐

老周从抽屉里取出一张泛黄的评分细则表：“这是我三十年阅卷的定盘星。没它，分数就是随口一说；有它，每一分都有出处。” 在 AES 系统中，这份细则专业上叫 Rubric——它定义了各分数段对内容、结构、语言、连贯的具体要求。

Rubric 对齐，是指模型学习到的评分规律必须与这份细则保持一致。做对齐首先要把评分维度显式地设计进模型输出：例如不只是预测总分，而是先预测各维度分。其次，要用一致性指标检验 AI 与专家评分是否“同频”。最常用的指标是二次加权 Kappa 系数：

对齐后的模型还有一个优势：可解释的反馈。它不仅能给 5 分，还能说“结构完整但结尾仓促”——因为输出按 Rubric 维度结构化了。老周笑道：“有了定盘星，AI 说的话，学生才听得懂。”

κ=po−pe1−pe\kappa = \frac{p_o - p_e}{1 - p_e}
Kappa 值衡量 AI 的评分与专家评分的吻合程度：1 表示完全一致，0 表示纯靠碰运气，负值表示比随机还差。
  1. 观测一致率 p₀表示 AI 与专家在相同作文上给出相同等级的比率，越高说明两者越同步。
    pop_o
  2. 期望一致率 pₑ表示即使双方随机打分也可能碰巧一致的比率，用来扣除“运气分”。
    pep_e
  3. 一致净增量与上限之比分子是“实际一致减去碰巧一致”，分母是“最多还能提升的一致空间”，比值就是 Kappa。
    po−pe1−pe\frac{p_o - p_e}{1 - p_e}

数据处理与标注

老周带学生时，从来不是随手拿几篇文章就讲，而是要挑“好的、中等的、差的”的例子，让学生充分见识什么是好文章、什么是平庸文章。AI 也一样——训练数据的质量往往比模型结构更能决定系统的上限。

数据工作的第一步是专家标注：由经验丰富的语文教师依据 Rubric 对作文逐维度打分并写评语，这批标注数据就是 AI 学员的“满分答卷”。第二步是数据增强：现实中优质标注数据稀缺，因此需要对已有样本做变换生成新样本。常用的方法是回译——把作文翻译成英文再翻译回中文，语义几乎不变，但句式多样化了。这可以写成集合扩充的表达式：

除了增强，还要做好样本平衡：不能只收集高分作文，否则 AI 会变成“只会夸人的评分员”。老周意味深长地说：“给学生看的范文集里，一篇文章该怎么改的差文同样重要。”

D′=D∪{ BackTranslate(xi)∣xi∈D }\mathcal{D}' = \mathcal{D} \cup \{\, \text{BackTranslate}(x_i) \mid x_i \in \mathcal{D} \,\}
回译增强就像让学生用不同措辞重写同一段思想，既保住了原意，又让 AI 见到更丰富的写法。
  1. 原始数据集 D它是所有已经由专家评分的作文集合，是训练 AI 阅卷教师的基础素材。
    D\mathcal{D}
  2. 回译操作 BackTranslate把某篇作文翻译成另一种语言再译回中文，形成一篇语义相同、表达不同的变体。
    BackTranslate(xi)\text{BackTranslate}(x_i)
  3. 并集扩充 D′原始样本与所有变体合在一起，构成更大的训练集，让模型见多识广。
    D′=D∪{⋅}\mathcal{D}' = \mathcal{D} \cup \{\cdot\}

公平性考量

“当老师，最重要是师德。”老周表情严肃起来，“不能因为字丑就压低内容分，不能因为学生来自山区就默认他写得差。” 对 AI 阅卷教师而言，这就是公平性问题：系统必须对来自不同群体、不同写作习惯的学生一视同仁。

公平性问题主要源于训练数据：如果某类作文（例如方言浓重的叙事文、理工科风格的议论文）在数据集中数量极少，模型就会不自觉地压低这类文章的分数。另一个来源是评分维度的隐性偏差：例如模型将“句子短”等同于“水平低”，却忽略了简洁也是一种风格。因此，上线前必须用分群体指标评估公平性：

老周把公平性归结为一句座右铭：“分数只反映写作水平，绝不反映出身与风格。” 工程师在训练和评测环节都设置公平性检查，才能让 AI 阅卷教师真正担得起“师德”二字。

Δ=1∣G∣∑g∈G∣Sˉg−Sˉoverall∣\Delta = \frac{1}{|G|} \sum_{g \in G} \left| \bar{S}_g - \bar{S}_{\text{overall}} \right|
Δ 衡量各子群体的平均预测分数与总体平均分的平均偏离程度。Δ 越小，说明 AI 对不同群体的评分越一致、越公平。
  1. 子群体集合 GG 是按方言、地域、性别或学校类型划分出的学生群体集合。
    GG
  2. 子群体均分 S̄_g第 g 个群体的所有作文在 AI 系统下的平均得分。
    Sˉg\bar{S}_g
  3. 总体均分 S̄_overall全部测试作文的平均得分，作为公平性的基准线。
    Sˉoverall\bar{S}_{\text{overall}}
  4. 平均绝对偏差对每个群体的分数差取绝对值再求平均，避免正负偏差相互抵消。
    1∣G∣∑g∈G∣⋅∣\frac{1}{|G|} \sum_{g \in G} \left| \cdot \right|

实践应用与展望

老周到了退休的年纪。他把自己的毕生经验浓缩进一套“AI 阅卷教师”系统，交给教研主任，说：“让它在课堂上帮你们改作文，但记住，它永远需要老师做最终的把关人。” 这是 AES 的落地哲学：人机协作，而非机器替代。

在教育领域，AES 已经应用于智慧课堂：学生写完作文，系统即时反馈总分和分项建议，教师只需聚焦最有价值的面批环节。在司法领域，AES 的思想也能迁移到判决书质量评估上——用预训练模型对文书的事实陈述、法律适用、论理充分性等维度打分，辅助司法智能化建设。无论是哪条赛道，评估系统都要用统一的指标检验性能。综合评分质量最常用 F1 分数：

小王的办公室里，AI 阅卷教师已经上岗。它批改一篇作文只需几秒，评语通顺且合标准，还会自觉记录每个班级的分数分布。老周的传承没有结束——技术会迭代，数据会增长，但“眼里有标准、肚子里有文章、手里有分寸”的阅卷之道，被 AI 完整地继承了下来。

F1=2×Precision×RecallPrecision+RecallF_1 = 2 \times \frac{\text{Precision} \times \text{Recall}}{\text{Precision} + \text{Recall}}
F1 分数把“找得准”和“找得全”结合起来，防止系统靠“只打高分”或“只给低分”来刷业绩。
  1. 精确率 Precision在 AI 判定为某评分等级的文章里，确实属于该等级的比例，衡量“打准”。
    Precision\text{Precision}
  2. 召回率 Recall在该等级的真实文章中，被 AI 正确找出的比例，衡量“找全”。
    Recall\text{Recall}
  3. 调和平均用调和平均综合两者，任何一项太差都会拖低 F1，避免偏科。
    2×PRP+R2 \times \frac{PR}{P + R}

AI 应用场景

智慧课堂的作文批改助手

阶段：模型微调与推理应用

解决的问题：传统作文批改周期长，一位语文老师每周要批改上百篇作文，难以及时反馈，学生拿到评语时写作热情已经消退。AES 系统在微调了 T5/PEGASUS 后，能按照 Rubric 在数秒内给出分维评分和修改建议，把教师从机械劳动中解放出来，让教师把精力聚焦到面批辅导上。

具体案例：一所中学在语文教研组部署了分类别微调的 AES 系统：议论文模型、记叙文模型各自对齐学校评分细则。学生在课程平台上提交作文后，系统返回内容与结构维度的意见，还会标注“论证不充分”的段落。教师每周挑选系统判定的“争议作文”进行人工复评，形成人机协同的阅卷闭环。

司法判决书质量评估

阶段：预训练模型迁移与多维度评分

解决的问题：司法文书质量评估长期依赖人工抽查，效率低且标准难以统一。借鉴 AES 的方法，将判决书输入经过微调的 T5 模型，从“事实认定清晰度、法律适用正确性、论理充分性、文书规范性”四个维度自动打分，帮助法院快速定位说理薄弱环节。

具体案例：某地方法院试点用文书质量评估模型对已生效判决书回测。系统将“论理充分性”得分偏低的文书标记出来，与资深法官复核结果对比后，一致率达到较高水平；同时其生成的结构化评语成为初任法官辅助学习的素材，推动了司法智能化建设。

在线教育平台的自适应写作辅导

阶段：数据增强与持续微调

解决的问题：自适应学习平台需要为不同写作水平的学生推送个性化练习，但人工评估无法覆盖大量学生。AES 系统利用回译等数据增强技术扩充训练集，并结合学生历史评分动态微调模型，使评分尺度和反馈内容更贴合个体水平。

具体案例：一家在线教育机构根据学生的段落作文提供实时评分和扩写提示。学生写完一段练习，系统立刻对“论点鲜明度”与“衔接自然度”做评估，若某维度得分低于阈值，则推荐对应微课。持续采集学习反馈后，系统每月用新数据微调一次模型，评分越发贴合真实水平。

Python 演示

python60 行
import reimport numpy as npfrom sklearn.feature_extraction.text import TfidfVectorizerfrom sklearn.linear_model import Ridge ESSAYS = [    "Technology makes our life easier and more interesting.",    "I think technology is helpful because it connects people.",    "Technology has many advantages but also some problems.",    "In my opinion, technology is changing the world quickly.",    "Some people believe technology makes us lazy.",    "Technology should be used wisely in our daily life.",    "The internet helps students find information fast.",    "However, too much screen time can hurt our eyes."]SCORES = [5.0, 4.5, 5.5, 5.0, 4.0, 4.5, 5.5, 3.5]  class SimpleAES:    def __init__(self, alpha=1.0):        self.vectorizer = TfidfVectorizer(            lowercase=True, stop_words="english", max_features=300        )        self.model = Ridge(alpha=alpha)        self._trained = False     def _preprocess(self, essay):        text = re.sub(r"[^a-zA-Z\s]", " ", essay.lower())        return re.sub(r"\s+", " ", text).strip()     def train(self, essays, scores):        X = self.vectorizer.fit_transform(            [self._preprocess(e) for e in essays]        )        y = np.asarray(scores, dtype=float)        self.model.fit(X, y)        self._trained = True     def predict(self, essay):        if not self._trained:            raise RuntimeError("模型尚未训练")        X = self.vectorizer.transform([self._preprocess(essay)])        return float(self.model.predict(X)[0])  def main():    aes = SimpleAES(alpha=1.0)    aes.train(ESSAYS, SCORES)    new_essay = ("I believe technology brings more benefits "                 "because it helps us learn.")    score = aes.predict(new_essay)    print("预测得分: {:.2f}".format(score))    if score >= 4.5:        print("评审意见: 论点清晰, 建议补充具体例证")    else:        print("评审意见: 结构完整, 但论证可以更充分")  if __name__ == "__main__":    main()
目的：用 TF-IDF 特征和岭回归实现一个简化版的作文评分器，演示 AES 从训练到预测的完整流程。真实系统中会把 Ridge 替换为 PEGASUS/T5 微调模型，但工程骨架一致。
  1. vectorizer = TfidfVectorizer(...)把英文作文转成 TF-IDF 特征矩阵，让模型看到“哪些词更重要”。
  2. self.model = Ridge(alpha=alpha)使用岭回归作为评分器，通过正则化防止小数据集过拟合。
  3. aes.train(ESSAYS, SCORES)用 8 篇示例作文及其专家评分拟合评分模型，模拟“微调”过程。
  4. aes.predict(new_essay)对一篇新作文输出预测分数，并依据分数给出简单的 Rubric 反馈。

常见误区

误区AES 系统只是把作文拆成词，数一数出现了多少“好词好句”和连接词，再根据词频给个分。我以前用 TF-IDF 做文本分类，那不就是 AI 作文评分吗？

正解真正的 AES 依赖 PEGASUS/T5 这类预训练语言模型的语义理解能力。打个比方，关键词匹配像数学生作文里出现了几次“因为”“所以”，而深度学习评卷是真正读懂了论证链条，知道“所以”后面的理由到底能不能支撑结论。TF-IDF 只能看到“词有没有出现”，模型看到的是“意思表达得好不好”。

为何常见：早期 NLP 方法确实以词频和模板为主，给不少人留下了“评分就是统计关键词”的刻板印象。

误区T5、PEGASUS 已经在海量文本上训练过了，直接拿原始模型给作文打分就行，微调只会浪费时间，反正模型已经“什么都会了”。

正解预训练模型的能力是通用语言能力，并不等于会按 Rubric 评分。就像特级教师知道文章应该怎么写，但要给具体班级的学生打分，还必须先熟悉本学校的评分细则和尺度。微调正是把通用能力迁移到评分任务的“入职培训”，没有它，模型只会说“这句话通顺”，却说不出“应该给 5 分”。

为何常见：人们容易把“预训练包含大量知识”误解成“预训练已经完成了目标任务”，忽视了任务适配这一关键步骤。

误区评分细则只在人工阅卷时需要，AI 只要拟合专家打分的总分数据就行了，不需要单独做 Rubric 对齐，反正最终分数准就行。

正解Rubric 是模型设计的骨架。如果训练数据里没有显式的维度标注，模型只能学到“总分的整体感觉”，一旦某个学生问“我的结构哪里出了问题”，系统答不上来。把维度设计进输出、用 Kappa 一致性检验对齐度，AI 才能给出可解释的反馈，学生才知道从何改起。

为何常见：很多 AES 项目只汇报总分的 Kappa，长期忽视维度级对齐，容易让人觉得“总分对得上就万事大吉”。

误区先把评分模型跑起来，等上线后看看不同群体学生的分数差异，有偏差再修补，反正“先上线、再迭代”是互联网惯例。

正解公平性问题一旦在训练阶段被“学进”参数里，后期修补的代价极大。比如训练数据中方言作文极少，模型会自动压低这类文章的分值；上线后再做数据增强、重新微调，等于把系统推翻一半。正确的做法是在训练前就做样本均衡，训练中监控子群体误差，用公平性指标参与模型选型。

为何常见：公平性不像准确率那样有一个直观的“排行榜指标”，容易被当成可延后的软需求，直到出了争议才被重视。

面试题

Q1. AES 的英文全称是什么？

单选题 · easy

  • A.Automatic Essay Scoring← 正确答案
  • B.Automated Exam Scoring
  • C.Artificial Essay System
  • D.Adaptive Educational Scoring

答案：A。AES 全称 Automatic Essay Scoring，即作文自动评分。B 里的 Exam 是考试，C 是“人工作文系统”，D 是“自适应教育评分”，均不是标准术语。记忆点在于 Essay（作文）必须出现，Scoring（评分）也不能少。

Q2. PEGASUS 模型最核心的预训练任务是什么？

单选题 · easy

  • A.随机遮盖词汇预测
  • B.生成被省略的句子← 正确答案
  • C.预测下一句是否连贯
  • D.学习单词的词性标注

答案：B。PEGASUS 的核心是 Gap Sentences Generation——把文章中的关键句子遮挡，要求模型生成它们，从而学会把握文章主旨。A 是 BERT 类模型的掩码预测，C 是判断句子关系的预训练目标，D 与词性标注相关，都不是 PEGASUS 的标志性任务。

Q3. T5 模型的整体架构属于哪种结构？

单选题 · mid

  • A.编码器-解码器结构← 正确答案
  • B.仅编码器结构
  • C.仅解码器结构
  • D.扩散生成式结构

答案：A。T5 采用经典的 Encoder-Decoder 结构，把翻译、摘要、分类等任务统一成“文本到文本”的转换。仅编码器结构更适合句子表示类任务，仅解码器结构常见于自回归生成模型，扩散生成式则主要用于图像生成，与 T5 的文本到文本范式不符。

Q4. 微调 PEGASUS/T5 做作文评分时，最常用的损失函数是？

单选题 · mid

  • A.交叉熵损失函数← 正确答案
  • B.均方误差损失函数
  • C.对比损失函数
  • D.合页损失函数

答案：A。评分任务常被建模为分类问题或生成问题，交叉熵衡量预测分布与真实标签的差距，是最主流的微调目标。均方误差多用于回归打分，在小样本评分任务中不如交叉熵稳定；对比损失一般用于表征学习；合页损失多见于 SVM 类模型。

Q5. 衡量机器评分与专家评分一致性的常用指标是？

单选题 · mid

  • A.二次加权 Kappa← 正确答案
  • B.准确率 Accuracy
  • C.模型参数量
  • D.训练迭代步数

答案：A。二次加权 Kappa 能够评估两个评卷者在多个等级上的有序一致性，还考虑了相邻等级间“差距大小”，是 AES 领域事实标准。准确率不平滑处理等级偏差，参数量与步数只反映训练过程，不反映评分一致性。

Q6. 迁移学习中“预训练 + 微调”策略的关键步骤是什么？

单选题 · mid

  • A.复用通用语言知识再任务适配← 正确答案
  • B.增大学习率加快收敛
  • C.随机初始化全部网络权重
  • D.丢弃全部预训练语料

答案：A。预训练模型在海量文本上获得通用语言知识，微调阶段用少量标注数据做任务适配，两者缺一不可。增大学习率会破坏预训练参数，随机初始化等于放弃预训练成果，丢弃语料更是无从谈起。

Q7. 某方言作文在训练数据中仅占 1%，最合理的做法是？

单选题 · extreme

  • A.回译增强并校验评分一致性← 正确答案
  • B.删除该方言的全部样本
  • C.统一改写为标准中文再训练
  • D.单独训练专用评分引擎

答案：A。数据增强（如回译）可以扩充稀有样本，同时不影响该方言的真实表达，增强后还要重新核算合成样本的评分一致性。B 丢失了该群体的文化特征，C 破坏原生态表达反而制造偏差，D 数据量不足时会严重过拟合，无法独立支撑模型。

Q8. AES 相较于人工阅卷的优势包括哪些？

多选题 · easy

  • A.显著提升批改效率← 正确答案
  • B.保证评分的稳定性← 正确答案
  • C.完全替代人类教师
  • D.可提供即时反馈← 正确答案

答案：ABD。AES 可以快速批改大量作文并给出即时反馈，且同一标准下两次评分一致性强。但“完全替代人类教师”是错误的——系统仍需教师审核争议作文、做最终决策，AES 的定位是人机协作文档，而不是教师的替代品。

Q9. 以下哪些做法有助于提升评分与 Rubric 的对齐程度？

多选题 · mid

  • A.让评分维度与细则一致← 正确答案
  • B.用 Kappa 检验一致性← 正确答案
  • C.随意定义评分维度
  • D.反馈生成对照细则← 正确答案

答案：ABD。对齐要求把 Rubric 的维度显式设计进模型，并用 Kappa 等指标量化机器评分与专家评分的一致性，同时生成的反馈要能对应到细则的某一条。随意定义评分维度会造成模型自说自话，无法与专家共识对齐。

Q10. 下列关于微调 PEGASUS/T5 优化策略的说法，哪些是正确的？

多选题 · hard

  • A.用交叉熵损失做监督微调← 正确答案
  • B.学习率设置过低无需调整
  • C.冻结部分底层参数防止遗忘← 正确答案
  • D.数据增强可扩充训练样本← 正确答案

答案：ACD。交叉熵是评分微调的主流目标；冻结部分底层网络能保留通用语言知识、降低过拟合；回译等数据增强手段可以扩充样本规模。学习率过低会导致微调收敛极慢甚至学不动，必须根据任务做调参，因此 B 错误。