深夜的文学社办公室，三位语文老师围着一篇作文争得面红耳赤。题目是“如果世界上没有颜色”，一个学生写得词藻华丽却逻辑跳跃，另一个文笔朴实但脑洞惊人，第三个中规中矩挑不出毛病。到底谁是这场创意写作大赛的冠军？要回答这个问题，得先回答三个更基础的问题：题目怎么出？标准怎么定？评委之间吵起来听谁的？ 这正是 AI 创意写作评测要解决的事。当我们需要判断“哪个大模型更会讲故事、更有想象力”时，不能靠一句“感觉不错”，而是要把“创造力”这种看不见摸不着的能力，变成可设计、可打分、可复现的标准化评测体系：设计开放命题、划分评分维度、检验评委一致性、规范评测流程、发布模型排行榜，再从实践中总结踩坑经验。本篇文章，就带你从头到尾当一回创意写作大赛的评委，看看 AI 的想象力是如何被科学地量出来的。

岗位关联

掌握创意写作评测方法论，是 AI 从业者量化模型“软能力”的必修课——无论做模型研发、评测平台还是内容产品，你都缺不了一把能公正衡量想象力的尺子。

目录
  1. 可视化演示
  2. 评测任务设计
  3. 评分维度划分
  4. 评判者一致性
  5. 评测流程设计
  6. 主流基准实践
  7. 挑战与经验总结
  8. AI 应用场景
  9. Python 演示
  10. 常见误区
  11. 面试题

可视化演示

演示创意写作评测：开放性写作任务生成、流畅度/创意度/连贯性等多维度评分，以及评判者一致性监控，衡量模型的语言表达力与想象力。

本节配有交互动效（进入视口后自动加载，约 3KB）。

模式1：创意写作任务 故事续写/命题写作 风格迁移/诗歌生成 open generation 开放性任务无唯一答案

评测任务设计

办作文大赛的第一件事是命题。经验丰富的命题组会同时准备七八道题：有科幻的、有回忆录的、有童话改编的。题目太窄，比如“请用'因为'造句”，大家写得一模一样，根本看不出想象力；题目太宽，比如“随便写点什么”，学生茫然无措，交上来的多半是流水账。好的命题，是给想象力留一扇敞开的门，又在地上画一条明确的边界线。

在 AI 评测中，这一步叫“评测任务设计”。创意写作评测不能用选择题，也不能用有唯一答案的填空题，它需要开放性写作任务——给模型一段提示词，让它自由创作。任务设计的好坏，直接决定评测能否拉开不同模型的差距：题目若太机械，所有模型都输出相似的八股文；题目若太模糊，模型输出质量波动巨大，评测结果也无法稳定复现。

一个写作任务通常可抽象为三元组 \(T=(P,G,R)\)：\(P\) 是场景提示（如“以'深夜的便利店'开头写一篇小说片段”），\(G\) 是写作目标（如“完成一篇 200 字的微小说”），\(R\) 是约束限制（如“不得使用第一人称”）。评测方准备一批覆盖多题材的任务集合 \(\mathcal{T}\)，再用期望质量公式估计模型的真实水平：

命题越多样，越能照亮学生的不同侧面。同样，任务覆盖的题材越广，期望质量就越接近模型真实的创意写作水平，而不是“只会写某一类题”的应试技巧——这正是评测任务设计的第一课。

E[Q]=∑t∈Tpt×Qt\displaystyle \mathbb{E}[Q]=\sum_{t \in \mathcal{T}} p_t \times Q_t
期望质量就是把“不同题目上的得分”按题目权重做加权平均，像大会组委会把科幻题、散文题、回忆录题的成绩综合起来，得出一个学生的综合写作水平。
  1. 任务集合 \(\mathcal{T}\)评测方预先设计的所有开放写作任务，覆盖科幻、生活、评论等多个题材，避免“只考一种文体”的偏科。
    T={T1,T2,…,TN}\mathcal{T}=\{T_1, T_2, \dots, T_N\}
  2. 任务权重 \(p_t\)每个任务在评测中的出现概率，题材分布越多样，权重越接近均衡，且所有权重满足归一化条件。
    ∑t∈Tpt=1\sum_{t \in \mathcal{T}} p_t = 1
  3. 单任务得分 \(Q_t\)模型完成第 \(t\) 个任务后，经多位评委打分得到的质量分数，通常取值在 0 到 100 之间。
    Qt∈[0,100]Q_t \in [0, 100]
  4. 期望质量 \(\mathbb{E}[Q]\)以任务权重为系数对得分求加权平均，得到模型开放写作能力的整体估计，\(\mathbb{E}\) 表示“在任务分布上的平均”。
    E[Q]=∑t∈Tpt×Qt\mathbb{E}[Q]=\sum_{t \in \mathcal{T}} p_t \times Q_t

评分维度划分

题目定好后，三位老师要坐下来对齐评分标准。王老师偏爱华丽辞藻，李老师专挑逻辑漏洞，赵老师专门看脑洞——如果各打各的分，比赛就没法办。于是大家商量到半夜，定出一把“三格尺”：文笔顺不顺、脑洞新不新、条理清不清。

对应到 AI 评测上，这一步就是“评分维度划分”。学术界和工业界普遍采用三个核心维度：流畅度（语句通顺、词汇丰富、表达自然，对应“文笔”）、创意度（立意新颖、想象独特、出人意料，对应“脑洞”）、连贯性（结构完整、逻辑自洽、前后呼应，对应“条理”）。三个维度共同构成“一把尺子”，而不是各自为政。

光有维度还不够，还得定权重。总分按加权公式计算，权重直接体现评测侧重——例如创意写作竞赛往往把创意度权重设得最高：

有了这把统一的三格尺，三位老师的分歧就从“各凭感觉”变成了“同一标准下的差异”，后面的讨论才有意义。评测维度划分，就是把“什么是好创意写作”这种哲学问题，变成可以逐条打分的工程问题。

S=w1F+w2C+w3H,w1+w2+w3=1\displaystyle S = w_1 F + w_2 C + w_3 H, \qquad w_1 + w_2 + w_3 = 1
加权总分就是“三格尺”上的总刻度：流畅度、创意度、连贯性各占一定比例，比例之和必须归一到 1，总分才能稳定落在可比较的区间里。
  1. 流畅度 \(F\)衡量语句是否通顺、用词是否丰富自然，是文章“读起来顺不顺”的直观感受。
    F∈[0,100]F \in [0, 100]
  2. 创意度 \(C\)衡量立意是否新颖、想象是否独特、是否跳出常规套路，是“脑洞大不大”的量化。
    C∈[0,100]C \in [0, 100]
  3. 连贯性 \(H\)衡量结构是否完整、逻辑是否自洽、前后是否呼应，是“条理清不清”的量化。
    H∈[0,100]H \in [0, 100]
  4. 加权求和把三个维度分别乘以对应权重再相加，得到单篇作文的综合分。
    S=w1F+w2C+w3HS = w_1 F + w_2 C + w_3 H
  5. 权重归一化三个权重之和等于 1，表示评分细则把 100% 的权重分配到了三个维度上。
    w1+w2+w3=1w_1 + w_2 + w_3 = 1

评判者一致性

初评结束，王老师给一篇作文打了 90 分，李老师只给 60 分。40 分的差距说明什么？说明至少有一位老师的尺子端歪了。聪明的评委会先做“试评”：拿几篇标准作文让每位评委打分，统计大家的分歧程度，分歧太大就重新培训，直到几位老师的“口味”接近，才正式上场。

AI 评测中这称为评判者一致性（inter-rater reliability）。人工评分是创意写作评测的主要手段，但主观评分必然带有噪声——有人偏爱长句，有人偏爱短句，有人对“脑洞”的定义格外苛刻。我们需要量化“评委之间的分歧有多大”，常用的指标是组内相关系数（Intraclass Correlation Coefficient，ICC）。

ICC 从方差的角度衡量一致性：把每篇作文的评分差异拆成“不同作文之间的差异（组间方差 \(\sigma_b^2\)）”和“同一篇作文上不同评委的差异（组内方差 \(\sigma_w^2\)）”两部分：

就像试评阶段老师们的分数从“吵翻天”到“逐渐默契”，ICC 把评委的默契程度变成数字。若一次正式评测的 ICC 低于 0.7，结果基本不可信，得回去重新统一标准——这就是评判者一致性的价值。

ICC=σb2σb2+σw2\displaystyle ICC = \frac{\sigma_b^2}{\sigma_b^2 + \sigma_w^2}
ICC 很像“试评会议”的结论：如果老师们对每篇作文的评分都高度同步，分数差异主要来自作文本身的好坏，ICC 就接近 1；如果分数基本是随机打的，ICC 就接近 0。
  1. 组间方差 \(\sigma_b^2\)反映“不同作文之间”的真实质量差异，即每篇作文的评委均分围绕总均分的波动。
    σb2=1n−1∑i=1n(Xˉi⋅−Xˉ⋅⋅)2\sigma_b^2=\frac{1}{n-1}\sum_{i=1}^{n}\left(\bar X_{i\cdot}-\bar X_{\cdot\cdot}\right)^2
  2. 组内方差 \(\sigma_w^2\)反映“同一篇作文上不同评委”的评分分歧，评委越心齐，这项数值越小。
    σw2=1n∑i=1n1r−1∑j=1r(Xij−Xˉi⋅)2\sigma_w^2=\frac{1}{n}\sum_{i=1}^{n}\frac{1}{r-1}\sum_{j=1}^{r}\left(X_{ij}-\bar X_{i\cdot}\right)^2
  3. 一致性比率ICC 是组间方差占总方差的比重。接近 1 说明差异主要来自作文本身，评分可信；接近 0 则说明评委在“抛硬币”。
    ICC=σb2σb2+σw2ICC=\frac{\sigma_b^2}{\sigma_b^2+\sigma_w^2}

评测流程设计

正式比赛当天，所有作文匿名装订，评委不知道哪篇是谁写的；考试统一时长，不能给 A 同学多一小时、给 B 同学少一小时。赛场规则，决定了比赛结果的公信力。作文大赛如此，AI 创意写作评测同样如此。

评测流程设计包含四项关键规范：样本采集（选多少篇作文、覆盖哪些任务和长度区间）、双盲评审（评委看不到模型身份，避免“看到大厂模型就多给两分”的名气偏见）、评委培训（用标准范例对齐口径，统一打分尺度）、结果汇总（去极值、取平均、报告误差范围）。这四步环环相扣，缺一不可。

结果汇总时，全体评分的均值是模型能力的最佳估计。若评测了 \(n\) 篇作文、每篇由 \(r\) 位评委打分，均值与标准误分别为：

规则越严，冠军越服众。评测流程的目标，是让分数只反映“文章本身的质量”，而把模型名气、评委偏好、偶发因素统统挡在门外——这也是双盲设计与样本量公式存在的意义。

Xˉ=1n×r∑i=1n∑j=1rXij,SE=σn×r\displaystyle \bar X=\frac{1}{n \times r}\sum_{i=1}^{n}\sum_{j=1}^{r} X_{ij}, \qquad SE=\frac{\sigma}{\sqrt{n \times r}}
均值和标准误像“比赛成绩单”上的总分与方差：均值是最终得分，标准误告诉别人这个分数到底有多可信——样本量越大，误差带越窄。
  1. 单篇评分 \(X_{ij}\)第 \(i\) 篇作文由第 \(j\) 位评委给出的原始分数，是所有统计的输入素材。
    Xij∈[0,100]X_{ij} \in [0,100]
  2. 总体均值 \(\bar X\)把 \(n\) 篇作文、\(r\) 位评委的全部分数加总后取平均，代表模型在该批任务上的整体水平。
    Xˉ=1n×r∑i=1n∑j=1rXij\bar X=\frac{1}{n \times r}\sum_{i=1}^{n}\sum_{j=1}^{r} X_{ij}
  3. 标准误 \(SE\)均值作为“真实水平”估计量的误差范围，\(\sigma\) 是全体评分的标准差，样本量越大误差越小。
    SE=σn×rSE=\frac{\sigma}{\sqrt{n \times r}}

主流基准实践

比赛结束，教导处要在公告栏贴红榜。但五个学生写的题目难度不同：有科幻题、有散文题，直接比原始分，写科幻题的学生很吃亏。于是组委会先把每题的分数归一化，再排出名次，并在红榜角落标注趋势——明年再看看谁进步最大。

在真实的 AI 评测中，各大基准平台会组织多篇开放命题写作，用统一的评分维度对主流开源与商业模型进行评测，最后发布排行榜，并持续追踪各版本的能力变化。为了让不同批次、不同难度任务的分数可比，榜单发布前要做 min-max 归一化，把原始分拉伸到统一的 0-1 区间：

红榜上贴着的，不只是一串数字，更是各模型在“想象力”这项软能力上的相对位置。能力趋势曲线则提醒我们：这个月的第一名，下个月完全可能被追上——动态榜单是看清竞争格局的必需品。

S^i=Si−Smin⁡Smax⁡−Smin⁡,rank(M)=1+∑K≠MI(SK>SM)\displaystyle \hat S_i=\frac{S_i-S_{\min}}{S_{\max}-S_{\min}}, \qquad rank(M)=1+\sum_{K \neq M}\mathbb{I}(S_K > S_M)
归一化像是“折算标准分”：先把最高分当成满分、最低分当成零分，再重新标注每个人的位置；排名公式则数出“有多少模型比我强”，排出一个公平的座次。
  1. 原始分 \(S_i\)模型 \(i\) 在某批任务上的平均综合分，是排名前的原始素材。
    Si∈[0,100]S_i \in [0,100]
  2. 极值 \(S_{\min}, S_{\max}\)当前参与排名的所有模型中的最低分与最高分，作为拉伸区间的两个端点。
    Smin⁡≤Si≤Smax⁡S_{\min} \le S_i \le S_{\max}
  3. 归一化结果 \(\hat S_i\)把原始分映射到 0-1 区间，消除批次任务难度差异带来的量纲影响，便于横向对比。
    S^i=Si−Smin⁡Smax⁡−Smin⁡\hat S_i=\frac{S_i-S_{\min}}{S_{\max}-S_{\min}}
  4. 排名计数\(rank(M)\) 等于 1 加上“综合分严格高于模型 \(M\)”的模型个数。
    rank(M)=1+∑K≠MI(SK>SM)rank(M)=1+\sum_{K \neq M}\mathbb{I}(S_K > S_M)
  5. 指示函数 \(\mathbb{I}\)当括号内条件成立时取 1，否则取 0，是“数人头”的数学写法。
    I(SK>SM)={1,SK>SM0,其他\mathbb{I}(S_K > S_M)=\begin{cases}1, & S_K > S_M\\0, & 其他\end{cases}

挑战与经验总结

赛后复盘会上，老师们总结了三大教训：一是有学生明显背了市面上的满分范文；二是个别评委口味太独特，导致分差悬殊；三是请评委、租场地、印试卷，开销不小。这些经验，将直接改进下一届大赛。

AI 创意写作评测同样面临三座大山：主观性控制、防应试作弊、评测成本控制。主观性靠评委培训与 ICC 检验来压制；作弊指模型可能从训练数据中“背”出高分文本，需要持续更换新题，并加入与公开语料的相似度检测；成本方面，每篇作文需要 \(r\) 位评委背书，总成本随样本量线性增长：

办一届大赛不便宜，但方法论的每一次迭代，都让下一届更公平、更高效。创意写作评测这个“给想象力打分”的工程，正是在不断复盘与纠错中成熟起来的——从任务设计到维度划分，从一致性校验到流程规范，每一环都在回答同一个问题：怎样让 AI 的创造力被诚实、稳定、可复现地看见。

C=n×r×c\displaystyle C = n \times r \times c
成本公式像大赛预算表：篇数 \(n\) × 每篇评委数 \(r\) × 单人单篇评审费 \(c\)。想省钱又不能牺牲公平，最优解不是少请评委，而是用代表性抽样减少篇数。
  1. 作文数 \(n\)参与评测的作文篇数，决定评测结果的统计稳定性。
    n≥1n \ge 1
  2. 评委数 \(r\)每篇作文必须经过的独立评委人数，实践中通常不少于 3 位，保证 ICC 可计算。
    r≥3r \ge 3
  3. 单次成本 \(c\)一位评委评审一篇作文的人力与时间成本，包括培训、打分、复核等环节。
    c>0c > 0
  4. 总成本 \(C\)三者相乘得到评测总预算。降低成本应优先“代表性抽样”压缩 \(n\)，而不是把 \(r\) 降到 1——单评委的主观偏差会让整个评测失去意义。
    C=n×r×cC = n \times r \times c

AI 应用场景

大模型评测基准平台的能力维度建档

阶段：模型能力维度评估

解决的问题：传统基准用困惑度、BLEU 等指标测写作，本质是“测句子概率”而非“测想象力”，无法回答“哪个模型更会讲故事”。需要一个可复现的标准化流程，把创意写作能力固化为榜单上的分数。

具体案例：某开源评测社区发起“中文创意写作榜”，设计 30 个开放命题覆盖科幻、青春、悬疑等题材，按三维度加权打分，招募 9 位文学专业评审，先做 ICC 检验（要求不低于 0.75）再正式打分，最后将五款主流模型的 min-max 归一化结果发布为季度排行榜。

内容科技公司的文案质检通道

阶段：生成结果评估与产品质检

解决的问题：电商平台每天由大模型生成海量营销文案，人工逐篇审阅成本高、标准飘。传统关键词过滤只能拦住敏感词，拦不住“套话连篇”的劣质创意。

具体案例：某新媒体团队把三维度评分做成“创造力审核通道”：模型生成的商品文案先按流畅度、创意度、连贯性自动打分，综合分低于 70 的稿件直接回流重写，高于 85 的进入人工终审。上线一个季度后，文案过稿率提升约 20%，爆款率提升 12%。

智能写作助手的实时反馈建议

阶段：生成式 AI 应用的评估与反馈

解决的问题：用户写完一段文字，普通助手只会说“写得不错，可以更生动”这样的空话。没有维度拆解，就提不出可执行的修改方向。

具体案例：某写作助手在后台把用户文本按三维度拆解：流畅度异常时提示“第三句从句过长，建议拆成两句”；创意度偏低时提示“比喻偏老套，试试通感手法”；连贯性异常时提示“第二段与第三段之间缺少过渡”。用户根据三维反馈修改后，成稿平均得分显著提高。

Python 演示

python63 行
# -*- coding: utf-8 -*-"""创意写作评测：模拟三位评委对五个模型的评分与排名""" WEIGHTS = (0.3, 0.4, 0.3)  # (流畅度, 创意度, 连贯性) 的权重 # 每个模型三行，分别对应三位评委的三维评分RAW = {    "ModelA": [(82, 90, 78), (85, 88, 80), (80, 92, 77)],    "ModelB": [(75, 68, 85), (78, 65, 88), (72, 70, 84)],    "ModelC": [(88, 95, 70), (90, 92, 72), (86, 97, 71)],    "ModelD": [(60, 72, 65), (63, 68, 70), (65, 75, 62)],    "ModelE": [(70, 80, 88), (73, 76, 90), (68, 82, 86)],}  def average(subject_scores):    """把多位评委的分数逐维度取平均"""    n = len(subject_scores)    return [sum(s[d] for s in subject_scores) / n for d in range(3)]  def composite(scores):    """按权重计算三维度加权总分"""    return sum(w * s for w, s in zip(WEIGHTS, scores))  def icc_one_dim(values):    """用单维度分数计算组内相关系数 ICC"""    k = len(values[0])  # 评委数    n = len(values)     # 作文数    subject_means = [sum(v) / k for v in values]    grand = sum(subject_means) / n    msb = sum((m - grand) ** 2 for m in subject_means) * k / (n - 1)    ssw = sum((x - m) ** 2 for v, m in zip(values, subject_means) for x in v)    msw = ssw / (n * (k - 1))    return (msb - msw) / (msb + (k - 1) * msw)  def minmax_norm(scores):    """把原始得分拉伸到 0-1 之间便于横向对比"""    lo, hi = min(scores), max(scores)    return [(s - lo) / (hi - lo) if hi > lo else 0.5 for s in scores]  def main():    means = {name: average(rows) for name, rows in RAW.items()}    for d, dim in enumerate(["流畅度", "创意度", "连贯性"]):        dim_scores = [[row[d] for row in RAW[name]] for name in RAW]        print(dim, "ICC = %.3f" % icc_one_dim(dim_scores))     totals = {name: composite(means[name]) for name in RAW}    ranked = sorted(totals, key=totals.get, reverse=True)    norm = minmax_norm([totals[name] for name in ranked])     print("\n排行榜 (综合分 / 归一化):")    for rank, name in enumerate(ranked, 1):        print("%d. %s 三维均值=%s 总分=%.2f 归一化=%.3f"              % (rank, name, [round(x, 1) for x in means[name]],                 totals[name], norm[rank - 1]))  if __name__ == "__main__":    main()
目的：完整跑一遍“创意写作评测”的核心流程——先算各维度 ICC，再算加权总分，最后归一化并输出排行榜。
  1. WEIGHTS = (0.3, 0.4, 0.3)设置三维度权重，创意度最重，对应“创意写作大赛”的价值观。
  2. RAW = {存放五位模型选手的原始评分，每个模型三行代表三位评委，即“三格尺”的输入。
  3. def average(subject_scores):把一位选手的多评委分数按维度取平均，对应“汇总统计”环节。
  4. def composite(scores):实现加权总分 \(S = w_1F + w_2C + w_3H\)，即“三格尺”总刻度。
  5. def icc_one_dim(values):用方差分解计算 ICC，对应“评委默契度检验”。
  6. def minmax_norm(scores):把原始分归一化到 0-1，让不同批次任务可以公平排名。
  7. ranked = sorted(totals, key=totals.get, reverse=True)按总分降序排列，生成红榜。

常见误区

误区“让 AI 写首诗，读起来顺口、辞藻华丽，不就是创意写作高分了吗？我觉得流畅度最重要。”

正解创意写作评测是一场系统比赛：要设计开放命题，从流畅度、创意度、连贯性三个维度分别打分，还要多位评委、多次验证一致性。单篇、单维、单评委的结论，就像只看一篇作文就钦定冠军——样本、维度、评委都不足以支撑结论。文笔只是“三格尺”中的一格。

为何常见：人最容易感知“读得顺不顺”，流畅度是显性的；创意与连贯需要对照标准仔细评估，初学者下意识会忽略。

误区“上次评测请了 20 个评委，肯定比 3 个评委更客观吧？人多力量大。”

正解评委多≠口径统一。若没有培训、没有统一评分细则，20 个评委可能产生 20 种“口味”，组内方差反而更大。关键是先对齐标准、做试评，再用 ICC 检验；只有 ICC 达标后，增加评委数量才真正提升可信度。人数是锦上添花，一致性检验才是雪中送炭。

为何常见：“投票人数多就更接近真相”是日常直觉，但评测的目标不是少数服从多数，而是尺子对齐。

误区“创意度权重最高，那让模型天马行空、越离谱分越高呗，反正脑洞大就是赢。”

正解加权公式里创意度只是三维之一，它必须与连贯性制衡。空有脑洞但逻辑散乱、前后矛盾的作文，连贯性分会拖垮总分。真正的高分创意是“情理之中、意料之外”——既要打破常规，又要在叙事内部自圆其说，就像一位作者在想象力的钢丝上保持平衡。

为何常见：大家容易把“创意”误解为“反常”，忽略了它必须建立在结构完整与表达流畅之上。

误区“这个模型上次榜单第一，创意能力肯定最强，闭眼选它就行了。”

正解单次评测分数有方差，可能受命题分布影响，还可能被训练数据污染（背范文）。可靠的结论来自标准化流程：多任务覆盖、多维度加权、ICC 达标、双盲评审、归一化排名。就好比赛场上的单局胜利不等于赛季冠军，要看跨任务、跨批次的稳定表现。

为何常见：排行榜天然给人“数字即真相”的错觉，忽略了榜单背后的一整套流程约束。

误区“请三个评委太贵了，一个博士评一篇就行，反正他水平高。”

正解单评委无法计算 ICC，一旦遇到口味独特的评审，整批分数就系统性偏移。成本公式 \(C=n \times r \times c\) 的省钱之道在于减少 \(n\)（用代表性抽样），而不是削减 \(r\)。宁可少测几十篇，也要保证每篇至少有 3 位评委——一致性是评测的生命线，省掉它等于省掉公信力。

为何常见：成本压力下，管理者本能地想砍人数，却忽略了“一致性指标根本算不出来”这个硬约束。

面试题

Q1. 在创意写作评测的评分维度中，下列哪一项不属于核心维度？

单选题 · easy

  • A.流畅度
  • B.创意度
  • C.连贯性
  • D.参数量← 正确答案

答案：D。创意写作评测聚焦作品的流畅度、创意度与连贯性，参数量是模型本身的属性，与作文质量无关。就像作文大赛只评文章不查学生体重，D 选项属于“乱入者”。

Q2. 用于衡量多位评委打分一致性的指标是？

单选题 · easy

  • A.困惑度指标
  • B.组内相关系数← 正确答案
  • C.BLEU 指标
  • D.模型参数量

答案：B。组内相关系数（ICC）通过方差分解衡量多评委评分的一致性；困惑度衡量语言模型概率，BLEU 用于机器翻译，参数量描述模型规模。好比考察三位老师打分是否默契，要看“分歧大小”而非老师资历。

Q3. 三维度加权总分 \(S = w_1F + w_2C + w_3H\) 中，权重需满足的约束是？

单选题 · mid

  • A.三者之和为 1← 正确答案
  • B.三者互不相同
  • C.三者大小相等
  • D.三者均为整数

答案：A。加权平均要求权重和为 1，总分才落在稳定可比的区间。权重相等、全是整数都不是数学要求；“三者互不相同”更不是约束。就像作文评分细则可以偏重创意度，但三项比例必须归一到 100%。

Q4. 当 ICC 取值趋近于 1 时，说明评委评分？

单选题 · mid

  • A.各评委差异大
  • B.打分一致性高← 正确答案
  • C.作文难度较高
  • D.样本数量充足

答案：B。ICC 是组间方差占总方差的比重，趋近 1 意味着评分差异主要来自作文本身的真实质量差异，评委意见高度一致、分数可信；趋近 0 则像评委在随机给分，与难度和样本量无关。

Q5. 设计创意写作评测的开放命题时，应具备哪些特点？

多选题 · mid

  • A.留有想象空间← 正确答案
  • B.覆盖多样题材← 正确答案
  • C.带有合理限制← 正确答案
  • D.只允许一个答案

答案：ABC。好的命题要留想象空间、覆盖多样题材、附带合理限制，对应任务三元组中的提示 \(P\)、目标 \(G\) 与约束 \(R\)。“只允许一个答案”违背开放性，那是填空题而非创意写作题。

Q6. 下列哪些手段能有效提升评委打分的客观性？

多选题 · hard

  • A.开展评委评分培训← 正确答案
  • B.采用双盲匿名评审← 正确答案
  • C.计算一致性指标← 正确答案
  • D.强制拉长作文篇幅

答案：ABC。评委培训统一口径、双盲评审消除名气偏见、用 ICC 检验并反馈校准，都能降低主观偏差。强制拉长篇幅只增加阅读成本与评测费用，反而可能引入更多噪声。

Q7. 评测流程中采用双盲评审，核心目的是？

单选题 · mid

  • A.消除模型名气偏见← 正确答案
  • B.提升模型生成速度
  • C.减少命题设计成本
  • D.增加作文评测篇数

答案：A。双盲设计让评委看不到模型身份，避免“看到大厂模型就多给两分”的名气偏见，让分数只反映文章质量。它与生成速度、命题成本、评测篇数均无直接关系。

Q8. 排行榜发布前对分数做 min-max 归一化，主要为了？

单选题 · mid

  • A.消除量纲间的差异← 正确答案
  • B.提高模型的推理速度
  • C.增加样本的多样性
  • D.压缩评委的数量

答案：A。不同批次任务难度不同，原始分直接排名会失真；min-max 归一化把分数拉伸到 0-1，消除量纲差异。这类似考试中把不同科目先折算成标准分再排名，与推理速度、样本多样性、评委人数无关。

Q9. 防止模型“背范文刷高分”，合理的做法包括？

多选题 · hard

  • A.定期更换全新命题← 正确答案
  • B.检测训练语料污染← 正确答案
  • C.持续扩充评测题库← 正确答案
  • D.固定题目重复使用

答案：ABC。定期换新题、检测与公开语料的相似度、扩充题库，都能压缩“背范文”的生存空间。固定题目重复使用恰恰是在为模型背答案提供便利——就像公开了作文比赛题库，人人都会提前背稿。

Q10. 评测总成本公式 \(C = n \times r \times c\) 中，兼顾预算与一致性时的最优策略是？

单选题 · hard

  • A.减少参赛作文篇数
  • B.增加每篇评委人数
  • C.代表性抽样来评测← 正确答案
  • D.取消人工评分环节

答案：C。代表性抽样能在保持题材多样性的前提下压缩篇数 \(n\)，同时保留每篇至少 3 位评委以保证 ICC 可算。直接减篇数会伤代表性，加评委人数会增成本，取消人工评分则让创意评测失去主观审美的权威性。