故事生成评估：创意能力评测方法

可视化演示

展示AI文本风格迁移的生成流程，以及不同风格维度的迁移质量和评测指标对比。

评测总览：先有标尺，再谈打分

美食评论家走进一家新餐厅，第一步绝不是喊“好吃”或“难吃”，而是先亮出一套标准：今天评的是口感、造型、食材新鲜度，还是意境？每个方面占多少权重？没有标尺的评审只是情绪宣泄。故事生成评估的第一课，同样是“先定标尺”。

在 AI 评测的语境里，这套标尺由三个核心维度构成。第一个是主题相关性——故事有没有紧扣提示词，相当于菜有没有跑题；第二个是叙事连贯性——故事前后逻辑是否顺畅，相当于上菜顺序是否合理；第三个是创意新颖度——故事有没有让人眼前一亮的东西，相当于这道菜有没有创新。三者共同决定一个故事的“综合质量”。

实践中，我们会给三个维度分别打分，然后按权重合成总分。这个过程就像评论家按“色香味形”逐项打分后折合成总星数：

有了这把标尺，后面所有评估方法才有了落点。就像品鉴之前先约定好评什么，才不会出现评论家夸摆盘、老板却想听口感的尴尬局面。

主题相关性：守住「江南春色」的底线

你走进一家主打“江南春色”主题的餐厅，点了一道应景菜，结果大厨端上来一份法式焗蜗牛。单看这道菜，火候到位、酱汁香浓，但出现在这张菜单上就是灾难——跑题了。故事生成也是如此。模型拿到“月球救援行动”的提示词，如果写出校园恋爱，哪怕文笔优美，在“主题相关性”上也只能拿低分。

衡量相关性的常见方法有两类。一类是关键词命中率：把提示词里的关键名词拆成主题词清单，统计故事里有多少词命中。比如“月球”“救援”“宇航员”在故事里出现了几个，命中越多，相关性越高。另一类是语义相似度：把提示词和故事分别编码成向量，计算两者在语义空间中的夹角余弦。向量可以理解为“味道指纹”，余弦相似度考量的则是两个指纹的朝向有多接近——这种方式能捕捉“用词不同但意思相近”的合法表达。

关键词命中率的计算公式如下：

主题相关性是创意评估的“底线”。就像主题宴上，一道菜可以大胆创新，但首先得属于“江南”这个范畴。连主题都守不住的故事，再离奇的情节也撑不起“好故事”的招牌。

叙事连贯性：上菜顺序不能乱

一道正统法餐，冷盘开场、热汤过渡、主菜推向高潮、甜品温柔收尾。如果服务员端上主菜后，又折返送上一份冰淇淋，食客的味觉体验会瞬间断裂。故事同样讲究“上菜顺序”——前因后果环环相扣，人物动机前后统一，读者才能一口气读完。

评估连贯性时，一个直观的做法是逐句检测：把故事切分成句子，计算相邻句子之间的语义相似度。如果一个故事大部分相邻句子的意思都“接得上”，说明它在局部是连贯的；如果某处突然出现巨大的语义跳变，那里大概率就是逻辑断裂点。另一种更高级的做法是因果链建模：判断每个情节是否为后续事件提供了原因，等价于检查“主菜”和“甜品”之间有没有合理的叙述逻辑。

用向量相似度刻画相邻句衔接，公式如下：

连贯性关注的是“过程”。一个故事即使主题再贴合、结局再惊艳，只要中间有一段生硬跳变，读者就会像在正餐里吃到冰淇淋一样出戏。好的叙事，永远让人感觉每一道菜都恰到好处地接住了上一道菜。

创意新颖度：惊喜还是惊吓？

米其林餐厅的招牌“烟熏蓝莓鹅肝”，妙就妙在它和传统鹅肝拉开了距离——但如果哪一位大厨为了创新，往马卡龙里塞榴莲，客人大概只想夺门而逃。创意评估的关键，正在于区分“惊喜”与“惊吓”。

在评测中，创意新颖度衡量的核心是“这个生成故事与已有故事有多不一样”。最直接的操作是：建立一组参考故事库，把新故事与每个参考故事分别计算相似度，取其中最大的相似度作为“重复程度”。重复程度越低，新颖度越高。这里的相似度既可以是词面上的重叠率，也可以是语义向量上的余弦距离。注意，新颖度并不是越高越好，它需要和相关性与连贯性保持平衡——完全天马行空的“新”，往往意味着跑题或逻辑崩坏。

新颖度的典型计算公式：

新颖度像一颗辣椒：放一点提味，放多了毁菜。一个故事要让人记住，得在“似曾相识”的框架里长出“从未见过”的细节——这正是创意评测想捕捉的微妙平衡。

规则评估法：质检员的清单

传统的中央厨房质检员不负责判断“好不好吃”——他们手里是一张清单：食材是否记录在案、冷藏温度是否达标、摆盘重量是否在公差内。逐项勾选，全部通过才算合格。基于规则的评估就是故事评测界的质检员。

它的运作方式很朴素：先由人来定义一批可计算的“检查项”，比如“主题词是否出现 N 次”“文章长度是否落在合理区间”“是否包含明显重复的句子”“标点使用是否规范”。每个检查项都是一个特征函数，对故事输入返回一个数值特征，再为每个特征配一个权重，加权求和得到规则总分。这种方法的优势是零成本、完全可解释、结果稳定可复现——你清楚地知道每个分数是怎么来的。

规则评分的通用公式：

规则的优点是透明，缺点是“肤浅”——清单查得出食材有没有变质，却看不出这道菜是否让人感动。所以规则法最适合做快速初筛，把明显不合格的故事先挡在门外，再用更聪明的评估手段做精评。

模型评估法：AI 老饕来品鉴

质检员能查清单，却辨不出“味道层次”。于是餐厅请来一位“AI 老饕”——一个大语言模型。它读过互联网上浩如烟海的文章，知道什么样的故事算顺畅、什么样的转折算惊艳。让它当裁判，既不像质检员那么机械，又不像人类评审那么昂贵。

基于模型的评估主要有两条路。第一条是提示词打分：把故事和评分标准一起放进提示词，让大语言模型输出一个 1 到 5 的分数或一段评语。第二条是嵌入相似度：用一个通用的语义编码模型，把“生成的故事”与“参考的优质故事”映射成向量，计算它们之间的重叠程度。其中 BERTScore 是一种常用方法——它综合了精确率和召回率，能同时衡量“模型写的内容有多少是对的”与“参考故事的内容有多少被覆盖到”。

BERTScore 的 F1 值计算如下：

模型评委的优点是性价比高：可以批量、快速、持续地给成千上万个故事打分。但它也有软肋——老饕会偏食，模型自身的语言偏好会在不知不觉间影响评语。所以模型法更适合大规模粗筛与迭代监控，真正一锤定音的时刻，还得交给人类。

人类评估法：真人评审的终审

AI 老饕再懂行，餐厅老板还是会在招牌菜上桌前，请几位真人食评家做终审。为什么？因为故事最终是写给人的，人的感受才是最终交付标准。人类评估法就是让评审员直接阅读生成故事并作出判断。

人类评估有两种主流形态。一种是直接打分：评审员对照评分标准，给故事的每个维度打 1-5 分或 1-7 分；另一种是成对比较：同时给出两个故事，让评审员判断哪个更好。成对比较的认知负担更低，评审员更容易保持判断的一致性，因此结果往往更可靠。无论哪种形态，最后都要汇总多个评审的意见，以平均分或投票结果作为最终分数——单个人的口味太随机，一组人的审美才有统计意义。

多人评审的平均汇总公式：

人类评估最贴近真实感受，但也是最贵的：成本高、速度慢、标准难以完全统一。所以聪明的做法是把人类评估用在刀刃上——比如新品发布前的终验、竞赛评奖，以及构建“评估的基准答案”。

指标诊断价值：报告要指出短板

老板拿到品鉴报告，最怕看到什么？只有一个总星数。四星还是三星诚然有用，但真正能指导后厨的，是细分项：“汤偏咸、甜点烤过头、创意平平”。指标诊断价值说的正是这件事——好的评测体系不仅要给出总评分，还要能指出模型的能力短板。

要做到诊断，指标体系设计就必须遵循两个原则。第一是维度覆盖全面：至少包含主题相关性、叙事连贯性、创意新颖度这几个彼此正交的维度，任何一个维度缺席都会让某类缺陷隐形。第二是结果可解释：每个维度都能映射回具体的模型能力，比如“创意新颖度低”直接提示训练数据的多样性不足或生成策略过于保守。

一个简单而实用的诊断指标是“短板差距”：计算各维度平均分与最低维度分之间的差距——差距越大，说明模型在某个方面偏科越严重。

一场专业的品鉴，应该让大厨不仅知道自己得了四星，更知道自己该去改哪一道菜。同样，一套有诊断价值的评测体系，能让 AI 工程师一眼锁定“该调整训练数据还是奖励函数”——这正是评测从“打分工具”升级为“研发导航”的关键。

AI 应用场景

Python 演示

# -*- coding: utf-8 -*-"""故事生成质量评估：主题相关性 + 叙事连贯性 + 创意新颖度"""import re  def tokenize(text):    """将文本切成小写词列表（中文按单字切分，英文按词）"""    return re.findall(r"[\u4e00-\u9fa5]|[a-zA-Z0-9]+", text.lower())  def jaccard(set_a, set_b):    """两个词集合的 Jaccard 相似度"""    if not set_a or not set_b:        return 0.0    return len(set_a & set_b) / len(set_a | set_b)  class StoryEvaluator:    """故事评估器：从三个维度给生成故事打分"""     def __init__(self, w_relevance=0.4, w_coherence=0.3, w_novelty=0.3):        self.w_relevance = w_relevance        self.w_coherence = w_coherence        self.w_novelty = w_novelty        self.reference_list = []        self.keyword_list = []     def set_references(self, refs):        """设置参考故事列表，用于算新颖度"""        self.reference_list = [tokenize(r) for r in refs]     def set_keywords(self, keywords):        """设置主题关键词列表，用于算相关性"""        self.keyword_list = [k.lower() for k in keywords]     def relevance_score(self, story):        """主题相关性：关键词在故事中的命中比例"""        story_set = set(tokenize(story))        if not self.keyword_list:            return 1.0        hit = sum(1 for k in self.keyword_list if k in story_set)        return hit / len(self.keyword_list)     def coherence_score(self, story):        """叙事连贯性：相邻句子词集合的相似度均值"""        sentences = re.split(r"[。！？!?.]", story)        sentences = [s for s in sentences if s.strip()]        if len(sentences) < 2:            return 1.0        pair_scores = [            jaccard(set(tokenize(sentences[i])), set(tokenize(sentences[i + 1])))            for i in range(len(sentences) - 1)        ]        return sum(pair_scores) / len(pair_scores)     def novelty_score(self, story):        """创意新颖度：1 - 与最相似参考故事的 Jaccard 相似度"""        story_set = set(tokenize(story))        if not self.reference_list:            return 1.0        max_sim = max(jaccard(story_set, set(ref)) for ref in self.reference_list)        return 1.0 - max_sim     def evaluate_story(self, story):        """综合评分：按权重汇总三个维度"""        rel = self.relevance_score(story)        coh = self.coherence_score(story)        nov = self.novelty_score(story)        total = self.w_relevance * rel + self.w_coherence * coh + self.w_novelty * nov        return {"relevance": rel, "coherence": coh, "novelty": nov, "total": total}  def main():    keywords = ["月球", "探险", "友情", "危机", "回家"]    refs = [        "宇航员在月球基地遭遇故障，凭借智慧修复飞船返回地球，与家人团聚。",        "少年与机器人伙伴踏上星际旅程，在危机中建立起深厚友情。",        "科学家在火星实验室发现新生命，为了和平沟通而展开冒险。",    ]    story = "小梅和机器人阿月收到月球基地的求救信号，勇敢踏上救援冒险，"    story += "在途中建立了深厚友情，最终带大家安全回家。"    evaluator = StoryEvaluator()    evaluator.set_keywords(keywords)    evaluator.set_references(refs)    result = evaluator.evaluate_story(story)    print("主题相关性:", round(result["relevance"], 3))    print("叙事连贯性:", round(result["coherence"], 3))    print("创意新颖度:", round(result["novelty"], 3))    print("综合评分:", round(result["total"], 3))  if __name__ == "__main__":    main()

1. return len(set_a & set_b) / len(set_a | set_b)Jaccard 相似度用交集大小除以并集大小，衡量两个词集合的重叠程度。
2. self.reference_list = [tokenize(r) for r in refs]提前把参考故事切成词集合列表，避免评估时重复切分。
3. hit = sum(1 for k in self.keyword_list if k in story_set)统计提示词中有多少个关键词真的出现在故事里。
4. pair_scores = [jaccard(...) for i in range(len(sentences) - 1)]逐对计算相邻句的词集合相似度，连贯性就是这些相似度的平均。
5. max_sim = max(jaccard(story_set, set(ref)) for ref in self.reference_list)找新故事与参考库中最相似的那个，作为“重复程度”。
6. total = self.w_relevance * rel + self.w_coherence * coh + self.w_novelty * nov按权重把三个维度合成一个总分，权重体现产品对创意的重视程度。

常见误区

面试题