大模型创意写作能力的评测方法与基准

可视化演示

展示大模型创意写作的创意性度量、叙事连贯性评估与人工+自动评估配合策略，直观理解创意写作评测的多维度指标体系。

评测困境与目标

深夜的巷尾小店灯火通明，今晚是“深夜创意料理大赛”的规则说明会。评委主席举起菜单说：“各位厨师，打分前先讲清楚——我们到底评什么？”台下立刻炸开锅：有的评委偏爱分子料理的冷冽精巧，有的评委怀念外婆灶台的温热家常。连“好吃”都没有唯一标准，何况“惊艳”？这正是创意写作评测的第一道坎：创作评价天然主观。

模型评测遇到的是同一座山。同一个故事，有人认为脑洞大开，有人认为不知所云。既然没有标准答案，评测的第一步就不是急着打分，而是先把“创作质量”拆成可讨论的维度。业界普遍共识是把创意写作质量拆成两大支柱：创意性——故事是否新颖、大胆、有想象力；连贯性——逻辑是否自洽、主题是否贴合、风格是否统一。

拆出维度之后，还需要给维度分配权重，因为不同产品对“新”与“顺”的取舍不同。童话 App 更看重想象力，新闻改写更看重严谨连贯。评测方用加权综合分把多维度评分收拢成一个可排序的数字：

$$\displaystyle S = \lambda \times C + (1 - \lambda) \times H$$

1. S（综合评分）：这道菜最终的总分，也是模型排名的依据。

$$S_{\text{总分}}$$

2. λ（创意权重）：创意性在总分中的占比，由评测目标决定，取值范围 0 到 1。

$$0 \le \lambda \le 1$$

3. C（创意性得分）：独立维度评分，衡量故事有多新、多大胆、多出人意料。

$$C \in [0, 1]$$

4. (1−λ)（连贯权重）：与 λ 互补，两维权重之和恒为 1，保证权重不超纲。

$$1 - \lambda$$

5. H（连贯性得分）：独立维度评分，衡量整体是否顺理成章、主题不跑偏。

$$H \in [0, 1]$$

规则说明会结束，评委主席敲了敲桌子：“从今晚起，新奇占六成，好吃占四成。”厨师们心里有底了——标准不一定完美，但比各说各话强一万倍。评测的终极目标不是找到“绝对正确的打分”，而是把主观讨论变成可复现、可比对的工程流程。

评测任务设计

考题揭晓的那一刻，厨房安静了三秒——“请用一块家常豆腐做出一道令人惊喜的菜。”有人卷起袖子做豆腐冰淇淋，有人低头构思豆渣舒芙蕾。考题决定了比赛的上限与下限：题目太难全员翻车，题目太平分不出高下。创意写作评测同样从设计任务开始。

评测任务决定了“在什么条件下考试”。常见的任务类型有三种：命题创作——给一个主题或首句，要求写完整故事；续写故事——给出开头片段让模型往下编；改写扩写——把平淡段落改写成有画面感的文字。三种任务分别考验模型的原创构思、情节推演与语言雕琢能力。

无论哪种任务，都必须搭配“对照基线”。创意是相对概念：不跟“普通水平”比，“惊艳”无从谈起。基线可以是未经过任何技巧加工的朴素提示词输出，也可以是规则模板生成的平庸段落。评测时就按相对提升率来报告：

$$\displaystyle R = \frac{S_m - S_b}{S_b} \times 100\%$$

1. R（相对提升率）：模型相对基线的进步幅度，用百分比表示，越正说明提升越明显。

$$R$$

2. S_m（模型得分）：被测模型在任务上拿到的综合分。

$$S_m$$

3. S_b（基线得分）：对照基线的得分，代表“不努力也能达到”的水平线。

$$S_b$$

4. 差值除以基线：先算提升量，再除以基线得分，消除基线高低造成的尺度差异。

$$\frac{S_m - S_b}{S_b}$$

5. 乘 100%：把比值换算成百分数，便于写进评测报告。

$$\times 100\%$$

就像比赛必须同时呈上“普通炒豆腐”作参照，观众才能理解豆腐冰淇淋的惊艳之处。评测报告同理：只报模型得分不报基线，等于只秀菜品不亮参照物——任何数字都失去了说服力。

创意性指标

要评“惊艳”，评委们偷偷翻开往届菜谱库：这道菜与近十年的获奖作品重不重样？这些食材组合是意料之中还是出人意料？原来“新”并不是玄学，而是一个可以对照历史找差异的问题。

文本的“新”同样如此：如果模型写的故事大段复刻训练语料里的桥段，创意性自然低。最朴素的量化方法是 n-gram 新颖度——把生成文本切成连续 n 个词的窗口，看这些片段有多少是“旧语料里没出现过的”。旧片段占比越高，复读机嫌疑越大。

把“没见过的新片段比例”定义成新颖度 N：

$$\displaystyle N = 1 - \frac{|G_g \cap G_{\text{old}}|}{|G_g|}$$

1. N（新颖度）：衡量生成文本的陌生程度，取值从 0 到 1。

$$N$$

2. G_g（生成文本 n-gram 集合）：把模型输出的故事切成 n 个词一片的片段并去重。

$$G_g$$

3. G_old（旧语料 n-gram 集合）：训练语料或参考文库里出现过的片段集合，代表“常见套路”。

$$G_{\text{old}}$$

4. 交集大小 |G_g ∩ G_old|：生成片段里有多少曾在旧语料中出现，交叠越多越像套模板。

$$|G_g \cap G_{\text{old}}|$$

5. 用 1 减去占比：求出“没出现过的比例”，这才是真正意义上的新点子占比。

$$1 - \frac{|G_g \cap G_{\text{old}}|}{|G_g|}$$

但评委们马上补充：纯堆砌生僻词也能骗过新颖度，就像把牙膏和榴莲强行拼盘，前所未见却难以下咽。所以“新”必须与“有效”结对出现——创意性指标必须搭配连贯性指标一起看，新而有效，才算真正的创意。

连贯性指标

一盘菜再猎奇，入口时味道打架、层次混乱，评委照样皱眉。“顺不顺”考验的是整体协调：每道菜是否围绕同一味觉母题，从开胃到甜品是否有起承转合。

放到故事里，“顺”包含两层：局部看句子之间逻辑衔接是否自然，整体看每个句子是否贴合主题。自动评测常用语义向量法：把每句话编码成向量，再与主题向量比对方向。方向越一致，说明这句话越“没跑题”。

对全文所有句子求平均语义契合度，得到连贯相关度：

$$\displaystyle R = \frac{1}{T}\sum_{t=1}^{T}\cos\left(\mathbf{v}_t, \mathbf{v}_{\text{主题}}\right)$$

1. R（连贯相关度）：全文与主题的平均语义契合度，结果越接近 1 越连贯。

$$R$$

2. T（句子总数）：对整篇故事的句子求平均，避免长文短文不可比。

$$T$$

3. v_t（第 t 句向量）：每句话经编码模型映射成的向量，语义相近的句子向量方向相近。

$$\mathbf{v}_t$$

4. v_主题（主题向量）：把题目或主题词编码成向量，当作全文的“味觉基准线”。

$$\mathbf{v}_{\text{主题}}$$

5. cos（余弦相似度）：两个向量夹角的余弦，衡量句子与主题的方向一致性。

$$\cos\left(\mathbf{v}_t, \mathbf{v}_{\text{主题}}\right)$$

6. 求和平均：把每句契合度累加除以 T，即全文平均连贯度。

$$\frac{1}{T}\sum_{t=1}^{T}$$

回到赛场：前菜、主菜、甜品各有巧思，但都回扣“夏夜里的一碗豆浆”。每道菜与母题的夹角越小，这桌菜越“顺”。故事亦如此——灵感可以飞，但要有一根主题的线牵着，飞得再远也不掉队。

主流评测基准

大赛需要一个公认的“秤”，于是主办方捧出了米其林指南。可这杆秤年年被厨师们吐槽：抽查次数太少、评委口味有偏好、有人甚至提前背下了指南的偏好清单。现有创意写作基准，几乎复刻了这三大槽点。

现有基准的基本玩法是：收集一批题目和参考文，让模型逐一生成，然后对所有样本求平均分，作为榜单成绩。平均分的公式很简单：

$$\displaystyle \bar{s} = \frac{1}{N}\sum_{i=1}^{N}s_i$$

1. s̄（平均分）：基准对外报告的模型成绩，也是榜单排名的直接依据。

$$\bar{s}$$

2. N（评测样本数）：题目总数。N 只有几十道时，一道题的“运气”在分数里占比极大。

$$N$$

3. s_i（第 i 题得分）：某个任务上模型得到的评分。

$$s_i$$

4. 求和取平均：总分除以样本数。样本越大均值越稳，样本越小榜单越像“抽奖”。

$$\frac{1}{N}\sum_{i=1}^{N}s_i$$

平均分的光鲜背后压着三座大山：小样本——几十道题无法覆盖故事类型的多样性，一次失常就能改写排名；数据污染——题目和参考文若公开在互联网上，就可能被训练语料“背下来”，如同厨师提前翻过评委的笔记，分数自然虚高；评分偏差——标注者口味不同、标准执行不严，同一篇故事在不同评委笔下能差出整个档位。所以看榜单分数时，先问三句话：样本够不够大？题目有没有可能被背？评分有没有人工复核？问完三句，任何分数都只能当参考值，而非判决书。

人工与自动评测

决赛夜，后厨门口多了两台新设备：一台自动味觉分析仪，号称三秒测出咸度甜度温度；旁边是五位资深食客组成的评审团，慢工出细活。分析仪测得出盐度，测不出“幸福感”；食客品得出心意，却会疲惫、会偏私。最好的方案当然是让两者配合。

自动评测（指标计算、LLM-as-judge 让大模型给大模型打分）速度快、成本低、可批量，适合做初筛，把明显不合格的样本刷下去；人工评分细腻、敏感、懂“心意”，适合做终审。但自动评委上岗前必须过一道“信任考试”：它给出的分数与人工分到底差多少？

人机差异用平均绝对偏差来度量，把每个样本上的人机分差除以满分值归一化：

$$\displaystyle D = \frac{1}{N}\sum_{i=1}^{N}\frac{|h_i - a_i|}{K}$$

1. D（人机平均偏差）：自动评委与人工评委的平均分歧，越小越可信。

$$D$$

2. h_i（人工评分）：资深食客或标注者的分数，当作“准基准答案”。

$$h_i$$

3. a_i（自动评分）：味觉分析仪或 LLM 裁判给出的分数。

$$a_i$$

4. |h_i − a_i| 除以 K：单样本差值的绝对值除以满分值，消除不同满分区间造成的尺度差异。

$$\frac{|h_i - a_i|}{K}$$

5. 求和平均：所有样本的平均偏差，阈值先验设定（如低于 0.1 才合格）。

$$\frac{1}{N}\sum_{i=1}^{N}$$

校准通过后，流水线正式开动：自动分析仪先筛掉明显偏题、复读的作品；过筛的作品送上资深食客的餐桌；LLM 裁判再作为第三方交叉复核。人机各司其职，既保速度又保温度——这正是当前创意写作评测的主流实践。

正文约束：

• 每节遵循四层结构：比喻引入 → 概念过渡 → 技术展开 → 比喻回扣

• 每个公式必须配逐字解析，每步含“步骤名 + 文字说明 + LaTeX 片段”

• 专业术语首次出现必须有比喻或通俗解释缓冲

• 内容严格遵循思维导图知识结构，不得超出边界

AI 应用场景

Python 演示

# -*- coding: utf-8 -*-"""创意写作评测小工具：n-gram 新颖度 + 余弦连贯度 + 加权总分"""import mathimport refrom collections import Counter  def token_ngrams(text, n=3):    words = re.findall("[\u4e00-\u9fa5a-zA-Z0-9]+", text)    return [tuple(words[i:i + n]) for i in range(max(0, len(words) - n + 1))]  def char_bigram_vector(text):    chars = list(text)    return Counter(chars[i:i + 2] for i in range(max(0, len(chars) - 1)))  def cosine_sim(vec_a, vec_b):    common = set(vec_a.keys()) & set(vec_b.keys())    dot = sum(vec_a[k] * vec_b[k] for k in common)    norm_a = math.sqrt(sum(v * v for v in vec_a.values()))    norm_b = math.sqrt(sum(v * v for v in vec_b.values()))    if norm_a == 0 or norm_b == 0:        return 0.0    return dot / (norm_a * norm_b)  class StoryEvaluator:    def __init__(self, old_corpus):        self.old_set = set()        for doc in old_corpus:            self.old_set.update(token_ngrams(doc))     def novelty_score(self, story):        grams = token_ngrams(story)        if not grams:            return 0.0        repeated = sum(1 for g in grams if g in self.old_set)        return 1.0 - repeated / len(grams)     def coherence_score(self, story, theme):        return cosine_sim(char_bigram_vector(story), char_bigram_vector(theme))     def evaluate(self, story, theme):        nov = self.novelty_score(story)        coh = self.coherence_score(story, theme)        total = 0.6 * nov + 0.4 * coh        return {"novelty": round(nov, 3), "coherence": round(coh, 3), "total": round(total, 3)}  def main():    old_corpus = [        "少年踏上了旅途，去寻找传说中的豆腐秘方。",        "在一个遥远的小镇，有一家开了三十年的豆腐铺。",        "科学家发明了一种机器，可以让人读懂动物的语言。",    ]    evaluator = StoryEvaluator(old_corpus)    theme = "月亮豆腐冰淇淋"    stories = {        "创作型模型": "少年学会给月亮写信，收件人是外婆的豆腐冰淇淋。",        "稳重型模型": "少年踏上了旅途，去一个遥远的小镇寻找豆腐。",    }    for name, story in stories.items():        result = evaluator.evaluate(story, theme)        print(name + ": " + str(result))  if __name__ == "__main__":    main()

1. self.old_set.update(token_ngrams(doc))把每篇旧语料的 n-gram 汇入“陈词滥调库”，供新颖度比对。
2. repeated = sum(1 for g in grams if g in self.old_set)统计生成片段里“撞上旧套路”的数量。
3. return 1.0 - repeated / len(grams)旧片段占比越高，新颖度越低，对应公式 N = 1 − 旧片段比例。
4. cosine_sim(char_bigram_vector(story), char_bigram_vector(theme))用字符二元组向量夹角近似句子与主题的语义贴合度。
5. total = 0.6 * nov + 0.4 * coh综合分：创意性占六成、连贯性占四成，对应正文加权公式。
6. if __name__ == "__main__":可执行入口，直接运行即可对比两个模型的评测结果（字符 bigram 余弦是语义向量的简化版，生产环境可换成句向量模型，公式与方法完全一致）。

常见误区

面试题