想象一场创意美食大赛：选手端出的菜品色彩斑斓、构思奇特，但评委们却犯了难——“创意”看不见摸不着，怎么打分才公平？有人凭口感直觉，有人看菜品稀奇程度，有人在意一桌菜的丰富度，还有人盯着出菜流程是否行云流水。如果每个评委都各看各的，最后选出的“最佳创意”恐怕只是某个评委的偏爱。大模型创意评估面临同样的困境：模型生成的故事、文案、代码，到底怎么判断“有没有创意”？本篇文章将带你走进一场“模型创意评审大会”，学会像美食评委团一样，用主观评分、多样性、新颖度、流畅性四个维度构建一套完整的评估体系，让“选模型”从拍脑袋变成科学决策。

岗位关联

掌握创意评估方法，你能科学对比不同大模型的创造潜力，为模型选型与迭代提供可靠依据，这是 AI 评测工程师与算法研究员的核心竞争力。

目录
  1. 可视化演示
  2. 创意评估概述
  3. 主观评分法
  4. 多样性指标
  5. 新颖度计算
  6. 流畅性评估
  7. 指标组合运用
  8. AI 应用场景
  9. Python 演示
  10. 常见误区
  11. 面试题

可视化演示

展示数据库事务从BEGIN到COMMIT/ROLLBACK的完整生命周期，体现ACID特性与锁机制。

本节配有交互动效（进入视口后自动加载，约 3KB）。

事务提交流程 BEGIN开启事务，进入活跃状态 READ/WRITE操作在事务内执行 COMMIT持久化所有修改，事务结束

创意评估概述

设想创意美食大赛的终审环节，评委们围坐在长桌前，面对十道天马行空的菜品议论纷纷。有人觉得“能让我眼前一亮就是好创意”，有人坚持“必须好吃才配叫创意”，还有人说“整桌菜如果全是同一种风格，算什么创意”——争论半天，谁也说服不了谁。这场面像极了团队评估大模型创意能力时的情景：有人说这个模型故事写得好，有人说那个模型想法够新颖，各执一词，无法对齐。

仔细想想，“创意”从不是单一维度的判断。学术上普遍把创意定义为“新颖且有价值”的组合——既要有别出心裁的巧思，又要能在实际中站得住脚。落到大模型上，创意能力体现在四个可观测的维度：主观评分（人觉得好不好）、多样性（多次生成的结果够不够丰富）、新颖度（内容与已有作品差异多大）、流畅性（表达是否通顺自然）。四者缺一不可，共同构成完整的评估框架。

这四个维度正好对应一场创意美食大赛的四个评分项：评委口味分、菜品丰富分、食材新奇分、出菜流程分。把它们综合在一起，才能回答“这届选手到底谁更有创意”。

就像美食大赛的评审制度不能由某一位评委说了算，大模型创意评估也必须建立在多维框架之上。先建立共识，再谈打分，这是科学评估的第一步。

Creativity=g(S⋆,N⋆,D⋆,F⋆)\text{Creativity} = g(S^{\star}, N^{\star}, D^{\star}, F^{\star})
创意总分是四个标准化维度通过综合映射函数 g 得到的融合结果。
  1. 创意总分Creativity 表示模型创意能力的综合得分，是评估体系的最终输出目标。
    Creativity\text{Creativity}
  2. 综合映射函数g 表示将四个维度的标准化指标融合为总分的映射规则，g 的具体形式由评估策略决定。
    g:R4→Rg: \mathbb{R}^{4} \to \mathbb{R}
  3. 标准化输入S\、N\、D\、F\ 分别是主观评分、新颖度、多样性、流畅性经过标准化处理后的值，经过变换后各维度才具有可比性。
    X⋆=X−μXσXX^{\star} = \frac{X - \mu_{X}}{\sigma_{X}}
  4. 维度协同四个维度从不同侧面刻画创意，任何单一维度都不足以完整描述模型的创意水平。
    {S⋆,N⋆,D⋆,F⋆}\left\{ S^{\star}, N^{\star}, D^{\star}, F^{\star} \right\}

主观评分法

美食大赛最热闹的环节，永远是评委现场打分。几位美食家各自举着 1 到 5 分的牌子，尝一口，皱皱眉，写上分数。可问题随之而来：偏爱甜口的评委给了川菜低分，无辣不欢的评委又给甜品打了差评——单个人的口味，很难代表“好不好吃”这个共识。

主观评分法（Human Evaluation）正是借鉴了“评委团”机制：邀请多位专家或经过培训的标注人员，按照统一的评分量表，对模型生成的内容独立打分。它直接反映了“人觉得有没有创意”，这是任何自动化指标都替代不了的——因为创意的价值最终要落到人的感受上。

实施主观评分时，要先制定详细的评分指南（rubric），明确每个分数对应的标准。比如 5 分制中，1 分表示平淡无奇，3 分表示有亮点但不够惊艳，5 分表示令人拍案叫绝。多位评委打分后，用加权平均汇总；为了确保结果可信，还需计算肯德尔和谐系数等一致性指标，检验评委之间是否达成共识，防止个别评委的“口味”主导结果。

评分指南和一致性检验，就像为评委团制定的“评审纪律”：先对齐标准，再加权汇总，最后验证共识。主观评分因此不再是“个人口味”，而是凝聚了集体判断的可靠信号。

Sˉ=∑i=1nwisi∑i=1nwi\bar{S} = \frac{\sum_{i=1}^{n} w_i s_i}{\sum_{i=1}^{n} w_i}
加权平均分综合考虑了每位评委的权重，让主观判断更稳健。
  1. 评委分数s_i 表示第 i 位评委对某条生成内容的评分，通常取整数分值。
    si∈{1,2,3,4,5}s_i \in \{1, 2, 3, 4, 5\}
  2. 评委权重w_i 表示第 i 位评委的权重，权重越大的评委对结果影响越大。
    wi∈R+w_i \in \mathbb{R}^{+}
  3. 加权求和分子部分将每位评委的分数乘以其权重后累加，体现不同评委的贡献差异。
    ∑i=1nwisi\sum_{i=1}^{n} w_i s_i
  4. 权重归一化分母是所有权重之和，保证最终得分落在原始评分区间内，便于解读。
    ∑i=1nwi\sum_{i=1}^{n} w_i

多样性指标

创意宴会最怕什么？十道菜全是红烧肉。即便每一道都肥而不腻、入口即化，评委们照样会在“丰富度”这一项上打低分——因为创意不仅体现在单个菜品的奇思妙想，更体现在一桌菜各有千秋、彼此不同。

多样性指标衡量的正是这种“内部差异”：给定同一个提示词，模型反复生成多条结果，这些结果之间的差异有多大？如果模型表面上换了几个词，核心情节却千篇一律，多样性就低。这一指标对创意评估至关重要，因为一个“有创意”的模型理应每次都能给出不同的可能性，而不是绕着同一个点子打转。

常用的多样性指标有三种：自 BLEU（Self-BLEU）把每条生成结果当作“参考译文”，计算其他结果与它的 BLEU 分数，分数越低说明样本间重复越少；Distinct n-gram 统计生成结果中不重复的 n-gram 占比，占比越高多样性越好；聚类熵则把生成内容按语义聚类，用熵值刻画类别分布的均匀程度——熵越大，内容在语义空间上铺得越开，多样性越高。

多样性指标就像宴会菜品分布图，它时刻提醒我们：真正的创意高手，是能在同一个题目下变出百般花样的人，而不是把一道菜换个盘子端十次。

H=−∑j=1kpjlog⁡2pjH = -\sum_{j=1}^{k} p_j \log_2 p_j
聚类熵衡量生成结果在语义类别上的分布均匀程度，熵值越大说明内容越多样。
  1. 类别划分将 N 条生成结果按语义相似度划分为 k 个类别，得到类别集合。
    C={c1,c2,…,ck}\mathcal{C} = \{c_1, c_2, \dots, c_k\}
  2. 概率估计p_j 表示生成结果落入第 j 类的经验概率，由该类别样本数占比得到。
    pj=∣cj∣Np_j = \frac{|c_j|}{N}
  3. 熵值求和对每个类别计算 p_j 与对数概率的乘积并求和，再取负号。
    −∑j=1kpjlog⁡2pj-\sum_{j=1}^{k} p_j \log_2 p_j
  4. 多样性解读当所有类别样本数相等时熵达到最大值 log2 k，此时语义最分散、多样性最高。
    Hmax⁡=log⁡2kH_{\max} = \log_2 k

新颖度计算

评委们围着一道“分子料理版麻婆豆腐”啧啧称奇——豆腐被处理成鱼子酱般的颗粒，麻辣味以慕斯形态呈现。这道菜之所以让全场惊艳，核心原因是：它和评委们过去吃过的一切都不太一样。假如大厨只是把普通麻婆豆腐换了个青花瓷盘，没人会觉得有创意。

新颖度计算的本质，正是度量一条生成内容与“已知创意空间”之间的距离。它和多样性不同：多样性看的是模型自己生成的一批结果之间内部差异有多大，新颖度看的是这批结果与人类已有作品之间的外部差异有多远——换句话说，模型有没有输出世界从未见过的东西。

技术上最常用的是“最近邻语义距离法”。先把生成结果和参考语料中的每篇文档都映射到语义向量空间，然后计算生成结果与语料中每条样本的相似度（通常用余弦相似度或 Jaccard 相似度），找到其中最高的相似度——代表“和哪篇已有作品最像”。再用 1 减去这个最大相似度，就得到新颖度：值越高，说明生成内容与人类的既有创作重叠越少，越是“前所未有”。

新颖度计算就像评委脑中那个庞大的“菜品记忆库”：每次尝到新菜，都会下意识地搜索记忆深处最相似的一道。差距越大，惊喜越大；完全相似，则谈不上创意。

Novelty(x)=1−max⁡y∈C  sim(x,y)\text{Novelty}(x) = 1 - \max_{y \in \mathcal{C}} \; \text{sim}(x, y)
新颖度取“与参考语料中最近样本的差异”，越接近 1 表示内容越新颖。
  1. 参考语料集合C 表示已有人类作品的语料集合，是衡量“已知世界”的基准。
    C={y1,y2,…,ym}\mathcal{C} = \{y_1, y_2, \dots, y_m\}
  2. 相似度计算sim(x, y) 度量新生成内容 x 与已有作品 y 的语义接近程度。
    sim(x,y)=x⃗⋅y⃗∥x⃗∥⋅∥y⃗∥\text{sim}(x, y) = \frac{\vec{x} \cdot \vec{y}}{\|\vec{x}\| \cdot \|\vec{y}\|}
  3. 最大相似度max 操作在所有语料样本中找到与 x 最相似的那一个，代表“最像的旧作”。
    max⁡y∈C  sim(x,y)\max_{y \in \mathcal{C}} \; \text{sim}(x, y)
  4. 补数变换用 1 减去最大相似度，把“相似”转换为“新颖”，得到 0 到 1 之间的新颖度分数。
    1−max⁡y∈C  sim(x,y)1 - \max_{y \in \mathcal{C}} \; \text{sim}(x, y)

流畅性评估

一位大厨端出一道构思惊艳的甜品——可盘子边缘全是溢出的奶油，勺子碰上去蛋糕塌了半边。评委们面面相觑：创意再好，手艺不过关，这道菜依旧是失败的。对大模型来说，“手艺”就是流畅性：句子是否通顺、上下文是否连贯、逻辑是否自洽。

流畅性评估关注的是生成内容的语言质量。一个创意再独特的想法，如果用语无伦次的文字表达出来，读者根本无法理解，更谈不上欣赏。流畅性不仅是语法层面的正确，还包括篇章层面的连贯——故事前半段说“猫是白色的”，后半段突然变成“猫是蓝色的”，即使句子都通顺，整体上也是不流畅的。

最常用的自动化指标是困惑度（Perplexity, PPL）。它由语言模型计算：把生成文本逐词输入模型，观察每个位置的预测概率。如果一个句子让模型“毫不意外”——每个词都在模型意料之中，概率很高——PPL 就低，说明文本流畅自然；反之，如果文本东拉西扯、词不达意，模型就会频繁“惊讶”，PPL 随之升高。实践中还会辅以语法检查、人工连贯性评分，让流畅性评估更全面。

困惑度就像评委在幕后默默观察厨师的刀工和火候——看的是“过程基本功”。基本功扎实，创意才有稳稳落地的可能。

PPL=exp⁡(−1N∑i=1Nlog⁡p(wi∣w<i))\text{PPL} = \exp\left(-\frac{1}{N}\sum_{i=1}^{N} \log p(w_i \mid w_{<i})\right)
困惑度衡量语言模型对文本的“惊讶程度”，值越低表示文本越流畅。
  1. 条件概率p(w_i | w_<i) 表示在给定前文 w_1 到 w_{i-1} 的条件下，第 i 个词出现的概率。
    p(wi∣w<i)p(w_i \mid w_{<i})
  2. 对数求和将所有词的对数概率相加，句子越符合模型预期，求和结果越大（越接近 0）。
    ∑i=1Nlog⁡p(wi∣w<i)\sum_{i=1}^{N} \log p(w_i \mid w_{<i})
  3. 平均对数似然除以序列长度 N，消除文本长度对总概率的影响，得到每个词的平均对数概率。
    1N∑i=1Nlog⁡p(wi∣w<i)\frac{1}{N}\sum_{i=1}^{N} \log p(w_i \mid w_{<i})
  4. 指数还原取负号后做指数运算，将对数空间映射回概率空间，得到最终困惑度值。
    exp⁡(−1N∑i=1Nlog⁡p(wi∣w<i))\exp\left(-\frac{1}{N}\sum_{i=1}^{N} \log p(w_i \mid w_{<i})\right)

指标组合运用

评委团最终确定了四项评分：口味分、新奇分、丰富分、流程分。可新的难题出现了：口味满分是 5 分，新奇满分是 100 分，直接相加等于默认新奇比口味重要二十倍——这怎么公平？聪明的评委长决定：先把各项分数统一到同一把尺子上，再按大赛宗旨合理分配权重。

这正是指标组合运用的核心思想。四个维度的原始数值量纲不同：主观评分是 1-5 分，多样性是 0-1 的比例，新颖度是 0-1 的相似度补数，流畅性可能是 0-100 的换算分。直接相加不仅没有道理，还会掩盖真实差异。标准的做法是先做 Z-score 标准化，让每个指标都变成均值为 0、标准差为 1 的标准分布，然后再按业务需求加权融合。

一个完整的评估流程通常分四步：第一步，采集模型生成样本（通常同一提示词生成多条）；第二步，分别计算主观评分 S、多样性 D、新颖度 N、流畅性 F 的原始值；第三步，对所有参与对比的模型做 Z-score 标准化；第四步，按业务侧重点分配权重（如偏重创意爆款产品则调高新颖度权重），加权求和得到综合创意指数。整个过程就像美食大赛的“总分核算表”——先统一单位，再分配权重，最后才能排出名次。

就像四张评分表先换算成百分制再按权重相加，多维评估体系让“谁更有创意”不再是一句口号，而是一个可复现、可解释、可对比的数字。

Total=αS⋆+βD⋆+γN⋆+δF⋆,α+β+γ+δ=1\text{Total} = \alpha S^{\star} + \beta D^{\star} + \gamma N^{\star} + \delta F^{\star}, \quad \alpha + \beta + \gamma + \delta = 1
综合总分是四个标准化维度加权求和的结果，权重由评估目标决定。
  1. 标准化各维度S\、D\、N\、F\ 是四个维度经过 Z-score 标准化后的值，量纲统一后才可以相加。
    X⋆=X−μXσXX^{\star} = \frac{X - \mu_{X}}{\sigma_{X}}
  2. 权重系数α、β、γ、δ 分别表示主观、多样、新颖、流畅四个维度的重要程度，由业务目标决定。
    α,β,γ,δ≥0\alpha, \beta, \gamma, \delta \geq 0
  3. 加权求和各标准化维度与对应权重相乘后累加，得到综合创意指数。
    αS⋆+βD⋆+γN⋆+δF⋆\alpha S^{\star} + \beta D^{\star} + \gamma N^{\star} + \delta F^{\star}
  4. 归一化约束权重之和等于 1，保证总分始终在合理范围，且各维度的相对重要性明确可解释。
    α+β+γ+δ=1\alpha + \beta + \gamma + \delta = 1

AI 应用场景

AI 大模型选型评测

阶段：模型评估与选型

解决的问题：传统选型常靠个别工程师“试用后拍脑袋”，主观性强、无法复现。当 A、B 两个模型在创意写作任务上表现相近时，缺乏一套多维指标来判断谁更适合产品需求。利用本文的方法，从主观、多样、新颖、流畅四个维度综合打分，让选型有据可依。

具体案例：某内容平台计划引入 AI 故事生成能力，候选模型包括 GPT-4、Claude 和文心一言。评测团队让每个模型基于 10 个主题各生成 20 篇短故事，邀请 5 位内容专家按 5 分制打分，同时计算各组生成结果的自 BLEU 多样性、与平台历史爆款文章的新颖度距离、以及基于语言模型的 PPL 流畅性。最终通过“标准化 + 加权融合”给出综合排名，选出了最具创意潜力且表达稳定的模型，并沉淀为一套可复用的评测脚本。

创意写作平台内容质量监控

阶段：线上质量评估与运营

解决的问题：AIGC 写作助手在批量生成文案时，容易出现“看似每篇不同、实则千篇一律”的同质化问题，导致用户审美疲劳。传统方法靠运营人工抽样阅读，效率低且覆盖不全。

具体案例：某创意写作 SaaS 平台将多样性指标接入线上监控管道，对每日生成的内容实时计算 Distinct bigram 和聚类熵。当某账号 24 小时内生成内容的多样性指标低于阈值时，系统自动告警并触发“创意增强模式”——调整采样温度和提示词模板，重新生成一批差异化内容。同时每月用四维综合评估对全量内容做一次体检，产出创意质量报告，指导模型迭代方向。

Python 演示

python90 行
# -*- coding: utf-8 -*-"""大模型创意能力综合评估示例包含: 主观评分合成 / 多样性指标 / 新颖度计算 / 流畅性评估 / 加权融合"""import math  def norm_scores(raw_scores):    """Z-score 标准化, 让不同量纲的指标可比"""    mean = sum(raw_scores) / len(raw_scores)    variance = sum((x - mean) ** 2 for x in raw_scores) / len(raw_scores)    std = math.sqrt(variance + 1e-9)    return [(x - mean) / std for x in raw_scores]  def aggregate_subjective(ratings, weights=None):    """主观评分法: 多位评委打分, 加权求平均"""    n = len(ratings)    if weights is None:        weights = [1.0 / n] * n    wsum = sum(weights)    weights = [w / wsum for w in weights]    return sum(w * r for w, r in zip(weights, ratings))  def distinct_ngram(texts, n=2):    """多样性指标: Distinct n-gram 比例, 越高越多样"""    total, unique = 0, set()    for text in texts:        words = text.split()        grams = [tuple(words[i:i + n]) for i in range(len(words) - n + 1)]        total += len(grams)        unique.update(grams)    return len(unique) / max(total, 1)  def jaccard_sim(a_words, b_words):    """Jaccard 相似度, 用于新颖度计算"""    a, b = set(a_words), set(b_words)    return len(a & b) / max(len(a | b), 1)  def novelty_vs_corpus(text, corpus):    """新颖度: 与语料库中最相似样本的差异度, 越接近1越新"""    words = text.split()    sims = [jaccard_sim(words, doc.split()) for doc in corpus]    return 1.0 - max(sims)  def ppl_to_score(ppl, base=50):    """流畅性评估: 困惑度越低越流畅, 映射到 0-100 分"""    return max(0.0, min(100.0, 100.0 * max(0.0, base - ppl) / base))  def evaluate_creativity(gens, ratings, ppls, corpus,                        alpha=0.35, beta=0.25, gamma=0.20, delta=0.20):    """四维综合评估: 标准化后按权重加权融合"""    subj = aggregate_subjective(ratings)    diver = distinct_ngram(gens, 2)    novels = [novelty_vs_corpus(g, corpus) for g in gens]    novel = sum(novels) / len(novels)    fluent = sum(ppl_to_score(p) for p in ppls) / len(ppls)    raw = [subj * 20, diver * 100, novel * 100, fluent]    norm = norm_scores(raw)    total = alpha * norm[0] + beta * norm[1] + gamma * norm[2] + delta * norm[3]    return {        "subjective": round(subj, 3),        "diversity": round(diver, 3),        "novelty": round(novel, 3),        "fluency": round(fluent, 3),        "creativity_score": round(total, 3),    }  if __name__ == "__main__":    gens = [        "a cat lives on a cloud and knits sweaters with moonlight",        "a robot learns to dye flowers with rainbow juice",        "a smart speaker records whispers of the stars",    ]    corpus = [        "a cat lives in a tree hole",        "a robot assembles cars in the factory",        "a smart speaker plays soft piano music",    ]    ratings = [4.5, 4.0, 5.0]    ppls = [18, 25, 15]    result = evaluate_creativity(gens, ratings, ppls, corpus)    for k, v in result.items():        print(f"{k}: {v:.3f}")
目的：演示一套完整的四维创意评估流水线——从主观评分合成到多样性、新颖度、流畅性计算，最终输出综合创意指数。
  1. def norm_scores(raw_scores)对原始指标做 Z-score 标准化，消除量纲差异，这是多指标融合的前提。
  2. def aggregate_subjective(ratings, weights=None)模拟多位评委打分后加权求平均，权重缺省时每位评委等权。
  3. def distinct_ngram(texts, n=2)统计生成结果中不重复 n-gram 的占比，占比越高说明批次内内容越多样。
  4. def novelty_vs_corpus(text, corpus)用 Jaccard 相似度计算新内容与语料库最相似样本的差异，1 减相似度即新颖度。
  5. def ppl_to_score(ppl, base=50)把困惑度映射到 0-100 分区间，PPL 越低得分越高，代表文本越流畅。
  6. norm = norm_scores(raw)统一标准化四个维度的原始得分，让加权融合变得合理。
  7. total = alpha * norm[0] + beta * norm[1] + gamma * norm[2] + delta * norm[3]按权重融合四维度，得到最终创意总分。

常见误区

误区“我觉得哪个模型写的故事好听，就选哪个，把评委打分求个平均就行了。其他指标没必要看，反正机器算出来的也不准。”——这是很多刚接触评估的工程师常有的想法。

正解主观评分反映“人喜不喜欢”，但单个评委容易被个人审美带偏，就像美食大赛里只按某一评委的偏好打分，会漏掉“菜品是否丰富”这个创意维度。科学的做法是让主观评分与自动化指标互补：用多样性、新颖度、流畅性等客观指标约束主观偏差，再通过一致性检验确认评委之间达成了共识。只靠主观分，等于让一种偏见主导决策。

为何常见：主观评分最直观、实现成本最低，人天然相信自己的感受，容易忽略多维度交叉验证的价值。

误区“模型生成的内容和已有文章差异越大，新颖度越高，创意就越强。所以新颖度接近 1 的模型肯定比 0.5 的好。”

正解新颖度只描述“与已有内容的差异程度”，不包含“是否有价值”的判断。一个模型可能因为胡说八道、逻辑混乱而产生极高新颖度——就像一道菜用了从未见过的食材但难以下咽。创意是“新颖 + 有价值”的组合，必须结合流畅性和主观评分综合判断。只有新颖度而没有价值，是哗众取宠，不是创意。

为何常见：直觉上“新”等于“好”，人们容易忽略创意还要求“有用”这个约束，导致唯新颖论。

误区“自 BLEU 分数很低，说明模型每次生成的内容差异都很大，多样性肯定没问题，可以放心了。”

正解自 BLEU 只衡量 n-gram 层面的重叠度。低自 BLEU 可能只是因为句子长度差异大、虚词使用变化多，但语义层面却高度雷同——换了个说法讲同一个故事。正确做法是结合聚类熵等语义层面的多样性指标，或者人工抽样确认内容在主题和情节上确实有实质差异。

为何常见：BLEU 在机器翻译中太常见，“低分=差异大”这个口诀容易记住，但没理解它只捕捉了表面字符的重复，看不到深层语义。

误区“把主观分、多样性、新颖度、流畅性加起来就是总分，谁高就选谁，没必要搞那么多复杂变换。”

正解四个指标的量纲完全不同——主观分满分只有 5，多样性是 0-1 的比例，流畅性可能是 0-100 的百分制。直接相加等于给量纲大的指标赋予了隐式权重，结果毫无可比性。正确的做法是先 Z-score 标准化，让所有指标落在同一尺度，再显式设置业务权重。这就像四张评分表满分不同，不能直接加总一个道理。

为何常见：生活中“各科成绩加总”很常见，但忽略了各科满分必须一致的前提，这在多指标评估中是最经典的陷阱。

误区“模型输出的文本没有语病，流畅性就算过关了。检查一下语法错误就行，不用看别的。”

正解流畅性不仅要求语法正确，还包括上下文连贯、逻辑自洽、表达自然。一个语法完全正确但内容前后矛盾的 AI 故事，PPL 可能不算高，但读起来会发现“主角上一秒在森林，下一秒在海底”。评估时要结合 PPL、篇章连贯性检查和人工阅读感受，才能全面反映“读起来是否顺”这件事。

为何常见：人习惯把“通顺”等同于“没语病”，忽略了篇章级的连贯性——毕竟语法检查器看不到情节的逻辑漏洞。

面试题

Q1. 大模型创意评估中，主观评分法的核心优势是什么？

单选题 · easy

  • A.完全客观无偏差
  • B.直接反映人类感受← 正确答案
  • C.自动化成本极低
  • D.无需设计评分表

答案：B。主观评分法通过多位专家打分，直接捕捉“人觉得有没有创意”这一核心信号，是创意价值最直接的度量。但它并非完全客观，也不必然低成本，仍需要制定评分指南。就像美食大赛评委的味觉，是最贴近消费者的判断。

Q2. 自 BLEU 指标数值越低，说明生成结果之间？

单选题 · easy

  • A.语法正确性越高
  • B.语义一致性越强
  • C.文本差异程度越大← 正确答案
  • D.文本长度整体相近

答案：C。自 BLEU 衡量两条生成结果之间的 n-gram 重叠度，数值低说明样本间的重复少、多样性强。好比一桌菜，每道菜的食材组合差异越大，丰富度越高。需要注意自 BLEU 处于字面层，不能完全代表语义层面的多样性。

Q3. 计算新颖度时，最常用的语义相似度度量方式是？

单选题 · mid

  • A.字符串全文匹配
  • B.余弦相似度度量← 正确答案
  • C.字符编辑距离
  • D.人工逐条对比

答案：B。新颖度计算把文本映射到语义向量空间，用余弦相似度等距离度量评估“与最相似已有作品的接近程度”。字符串匹配和编辑距离只停留在字面层，无法捕捉“换了个说法但意思一样”的抄袭，人工对比则成本过高、难以规模化。

Q4. 困惑度（PPL）越低，通常表示生成文本？

单选题 · mid

  • A.内容更显新颖
  • B.语义更加多样
  • C.语言更加流畅← 正确答案
  • D.结构更为复杂

答案：C。PPL 衡量语言模型对文本的“惊讶程度”。低 PPL 意味着文本序列符合模型预期、是自然流畅的表达，就像评委觉得厨师出菜行云流水。但 PPL 不直接衡量新颖性，过度追求低 PPL 反而可能导致模型生成平庸保守的内容。

Q5. 下列哪些措施可以提升主观评分的一致性？

多选题 · mid

  • A.制定详细评分指南← 正确答案
  • B.增加评委样本数量← 正确答案
  • C.评委独立匿名打分← 正确答案
  • D.由单人决定结果

答案：ABC。评分指南让评委对齐“几分算有创意”的标准；增加评委数量可以让个体偏好相互抵消；独立匿名打分避免从众效应。三者都能提升一致性检验中的和谐系数。而单人决策恰恰是主观偏差最大的做法，相当于美食大赛只让一位评委定冠军。

Q6. 聚类熵 H 越大，代表生成结果的语义分布？

单选题 · mid

  • A.越集中越单一
  • B.越均匀越多样← 正确答案
  • C.越稀疏越异常
  • D.越对称越规则

答案：B。聚类熵基于各类别概率计算，类别分布越均匀，熵值越大，说明生成内容在语义空间铺得越开、多样化程度越高。熵值越小则内容扎堆在同类别，相当于宴会上十道菜全是红烧肉。

Q7. 关于创意评估指标的组合使用，下列说法正确的有？

多选题 · hard

  • A.不同量纲的指标可直接相加
  • B.Z-score 可以消除量纲差异← 正确答案
  • C.权重系数体现业务侧重点← 正确答案
  • D.标准化后各指标均值为 0← 正确答案

答案：BCD。不同量纲的指标直接相加等于隐式赋权，A 错误。Z-score 将各指标变换为均值 0、标准差 1 的标准分布，B、D 正确。权重分配可以反映业务对不同创意维度的侧重，比如更看重爆款潜质就调高新颖度权重，C 正确。

Q8. 新颖度计算中，参考语料库的构建最关键的要求是？

单选题 · hard

  • A.语料数量越少越好
  • B.覆盖已有创意空间← 正确答案
  • C.语料全部来自网络
  • D.语料必须经过加密

答案：B。参考语料代表“已知的创意空间”，只有充分覆盖人类已有作品，新颖度计算才有意义——否则一个老套点子因为没被语料收录就被误判为“新颖”。语料太少会系统性高估新颖度，就像评委记忆里的菜品太少，容易把旧菜当成新菜。

Q9. 下列属于自动化创意评估指标的有？

多选题 · easy

  • A.自 BLEU 多样性← 正确答案
  • B.聚类熵指标← 正确答案
  • C.困惑度 PPL← 正确答案
  • D.肯德尔和谐系数

答案：ABC。自 BLEU 和聚类熵衡量多样性，PPL 衡量流畅性，三者都可以自动化计算。肯德尔和谐系数用于检验多位评委打分的一致性，属于主观评分法的配套工具，不是独立的创意维度指标。

Q10. 某模型生成结果新奇但逻辑混乱，最可能对应的评估情况是？

单选题 · extreme

  • A.新颖度低流畅性高
  • B.新颖度高流畅性低← 正确答案
  • C.多样性高新颖度低
  • D.多样性低流畅性高

答案：B。新奇意味着内容与已有作品差异大，对应高新颖度；逻辑混乱说明表达不连贯，对应低流畅性。这正是“只有新颖没有价值”的典型样本，也印证了创意评估必须多维齐看——单看新奇度会把胡说八道误判为创意。