创意能力：创意多样性

可视化演示

围绕创意多样性展开深入探讨，从基本概念出发逐步深入到高级应用。内容涵盖AI评测与基准测试、模型能力维度评估中的... 切换模式查看不同维度。

概念定义

林师傅是“好味居”的当家大厨。最让食客津津乐道的，是他总能把同一种食材做出千变万化的花样——同样是土豆，今天酸辣土豆丝，明天金黄薯条，后天绵密土豆泥。食客们从不担心吃腻，因为林师傅的“创意”似乎取之不尽。

在AI评测领域，“创意多样性”正是衡量模型这种“巧手”的核心指标。它指的是：给定相同的输入（同样的“食材”）,模型能否生成多个彼此不同、各具新意的输出（不同的“菜品”）。一个只会“炒土豆丝”的模型，即便炒得再好吃，遇上需要“多样菜单”的任务也会让人失望。

创意多样性并不等于创造力。创造力强调“从无到有”的突破，多样性则关注“同中求异”的丰富程度。二者如同“推陈”与“出新”——创造力负责开辟新菜系，多样性确保同一菜系里花样百出。在模型评测中，多样性衡量的是模型在开放任务中能否提供足够的“选择余地”。

$$H(X)=-\sum_{i}p(x_i)\log p(x_i)$$

1. 事件概率$p(x_i)$: 表示模型生成第$i$种输出的概率，概率越大说明这种输出越“常见”。

$$p(x_i)$$

2. 对数项$\log p(x_i)$: 对概率取对数，把相乘转化为相加，同时给稀有输出更高的信息权重。

$$\log p(x_i)$$

3. 求和与负号：把所有输出的信息量汇总并取正，得到整体不确定度，熵越高代表“花样越多”。

$$H(X)=-\sum_{i}p(x_i)\log p(x_i)$$

当林师傅的菜谱里“只有炒土豆丝”时，食客点单毫无悬念，熵接近零；当菜单上凉拌、干煸、红烧、拔丝一应俱全时，点单结果的意外感自然攀升。评测创意多样性，本质上就是在给“点单的意外感”打分。

评测指标

要评判林师傅的创意，不能只靠食客一句“好像还行”,得有看得见的依据。AI评测同样需要一组量化指标，把“多样性”从感觉变成数字。

最基础的指标是困惑度(Perplexity)。它衡量模型对输出的“自信心”:越自信，困惑度越低。但这里有个耐人寻味的细节：创意任务不需要模型“太自信”,因为太自信往往意味着只会输出训练数据中出现频率最高的“标准答案”,也就是“只会炒土豆丝的那位厨师”。

$$PPL=\exp\left(-\frac{1}{N}\sum_{t=1}^{N}\log p_{\theta}(w_t\mid w_{<t})\right)$$

1. 条件概率$p_{\theta}(w_t\mid w_{<t})$: 模型在已知前$t-1$个词时，预测第$t$个词的概率，体现每一步“点单”的确定性。

$$p_{\theta}(w_t\mid w_{<t})$$

2. 对数累加与平均：把每个位置的预测概率取对数求和再除以$N$,得到整段文本的平均“意外量”。

$$\frac{1}{N}\sum_{t=1}^{N}\log p_{\theta}(w_t\mid w_{<t})$$

3. 负号与指数：加上负号变为正数，再取指数还原成直观数值，方便跨文本比较。

$$\exp\left(-\frac{1}{N}\sum_{t=1}^{N}\log p_{\theta}(w_t\mid w_{<t})\right)$$

衡量多样性的直接指标还有自BLEU(Self-BLEU)与重复率：让模型针对同一提示生成$M$条结果，逐条计算它与其他结果的BLEU相似度再取平均——相似度越低，说明结果越“各走各路”。重复率则统计输出中重复出现的n-gram片段占比，占比高说明模型在“炒冷饭”。距离度量则是把生成结果送入嵌入模型，计算两两之间的语义距离，语义距离大，意味着输出的“味道”差异明显。

采样算法

同一道菜的配方不变，林师傅靠什么让味道千变万化？答案是火候与调料的“随机应变”。对AI模型而言，这个“随机应变”来自解码阶段的采样算法。

温度采样(Temperature Sampling)是最直观的“调料瓶”。它在模型输出的概率分布上做除法：温度$T$越高，分布越趋于均匀，模型越敢“剑走偏锋”;$T$越低，分布越尖锐，模型越倾向于选择最高概率的“稳妥答案”。

$$p_i=\frac{\exp\left(\mathrm{logit}_i/T\right)}{\sum_{j}\exp\left(\mathrm{logit}_j/T\right)}$$

1. 原始得分$\mathrm{logit}_i$: 模型内部给第$i$个候选词打出的未归一化分数，分数越高越受偏爱。

$$\mathrm{logit}_i$$

2. 除以温度$T$: $T>1$时分数差距被压缩，候选更容易“平起平坐”;$T<1$时差距放大，强者恒强。

$$\mathrm{logit}_i/T$$

3. 指数与归一化：通过$\exp$把分数转为正数并求和归一，保证输出仍是合法的概率分布。

$$p_i=\frac{\exp(\cdot)}{\sum_{j}\exp(\cdot)}$$

Top-k采样是另一种“选菜”策略：每次都只从前$k$个靠前的候选词里抽签，彻底放弃排名靠后的冷门词。Top-p采样（核采样）更聪明：从概率最高的词开始累积，直到累计概率超过阈值$p$,再在圈定的集合内采样。对比采样(Contrastive Search)则像讲究“不重样”的师傅：候选词不仅要概率高，还得与已生成文本差异显著，在“流畅”与“新鲜”之间找平衡。

影响因素

林师傅的花样，既取决于他学过的菜谱，也取决于后厨的锅灶和调味品。对AI模型，决定创意多样性的因素同样来自四面八方。

训练数据是根基。语料库覆盖的题材、风格越多样，模型见过的“菜式”就越丰富，生成时可调用的“灵感”就越多；只有单一来源数据训练出的模型，天然倾向于“老三样”。模型规模同样重要——参数量大、容量大，如同更大的后厨和更多的锅灶，能记住更细微的模式。

$$H_{\text{data}}=-\sum_{i}p_{\text{data}}(w_i)\log p_{\text{data}}(w_i)$$

1. 数据分布$p_{\text{data}}(w_i)$: 词$w_i$在训练语料中出现的频率，频率越高该词越“常见”。

$$p_{\text{data}}(w_i)$$

2. 信息量$-\log p_{\text{data}}(w_i)$: 低频词携带的信息量更大，对多样性的贡献也更大。

$$-\log p_{\text{data}}(w_i)$$

3. 加权求和：按频率对信息量加权汇总，得到语料整体的“丰富程度”上限。

$$H_{\text{data}}=-\sum_{i}p_{\text{data}}(w_i)\log p_{\text{data}}(w_i)$$

解码策略是直接的手艺操作。温度、Top-p、重复惩罚等参数，决定了一次生成中“冒险”与“稳妥”的比例。提示(Prompt)设计同样关键：开放式的引导（“请从三个不同角度回答”）能明显提高输出差异，而封闭式提问会让模型不约而同奔向同一答案。这些因素相互交织，如同食材、厨具和火候共同决定最终菜品——只调温度而不换数据，多样性的提升空间终究有限。

优化策略

想让林师傅的菜单更丰富，可以从“学新菜”和“变做法”两个方向入手。对应到模型评测与使用中，优化策略同样分为两大派。

参数调优是最直接的“变做法”。实践中常用动态调整温度和Top-p:高温度、高Top-p在创意写作中显著提升多样性，但容易语法崩塌；低温度、低Top-p让输出稳定，但趋于同质。经验法则是从$T=0.7$、$p=0.9$起步，根据任务反复试验，找到“惊艳而不失流畅”的甜点区。

多样性增强手段还包括重复惩罚(Penalty)与无重复n-gram控制：每次采样时，对已经出现过的词施加折扣，降低它再次被选中的概率。

$$p'_i=\frac{p_i}{\theta^{\,\mathbf{1}[i\in S]}}$$

1. 原始概率$p_i$: 当前词$i$在采样前的概率，词越常见概率越高。

$$p_i$$

2. 分母的指数惩罚：若$i$已在已生成集合$S$中，指示函数$\mathbf{1}[i\in S]$取1,分母乘以$\theta$,概率被压低；否则指数为0,概率不变。

$$\theta^{\,\mathbf{1}[i\in S]}$$

3. 整体重归一化：压低重复词后，其余词的相对概率会变大，促使模型转向新词。

$$p'_i=\frac{p_i}{\theta^{\,\mathbf{1}[i\in S]}}$$

高质量创意还需兼顾质量与多样性的平衡。常用“评测闭环”策略：在评测集上同时计算多样性与质量指标，绘制二者随参数变化的曲线，挑选Pareto前沿上的参数组合。就像试菜师既要记录“新意分”,也要记录“好吃分”,两分都高才算真正的好菜。

应用场景

创意多样性的价值，不在评测报告里，而在真实的生产线上。

创意写作是典型的“多样性刚需”场景。小说、剧本创作需要模型围绕同一设定给出多个情节走向，供作者挑选加工。传统做法是作者反复改写提示词逼出不同版本，效率极低；使用高多样性配置的生成服务，一次能产出5到10个差异明显的草稿，把作者从“催稿”中解放出来。

$$\text{Score}=\alpha Q+\beta D$$

1. 质量分$Q$: 文本流畅性、准确性等传统质量指标，保证“能吃且好吃”。

$$Q$$

2. 多样性分$D$: 自BLEU、重复率等多样性指标，保证“不重样”。

$$D$$

3. 权重$\alpha$与$\beta$: 创意任务调高$\beta$,稳定任务调高$\alpha$,是业务侧最重要的旋钮。

$$\alpha Q+\beta D$$

头脑风暴工具同样受益：产品团队用AI出点子时，若模型总给同质化方案，等于没有价值。评测团队会用自BLEU与语义距离衡量点子库的多样性，确保模型在“防晒霜的新卖点”上能给出成分党、便携党、环保党等不同角度的答案。代码生成与营销文案也离不开多样性：代码场景需要同一功能的不同实现变体用于教学与选型，营销场景需要同一产品的多套广告语适配不同平台。相关职业角色包括AIGC算法工程师、评测算法工程师与提示词工程师。

评测工具

工欲善其事，必先利其器。评测创意多样性，同样有一批趁手的工具。

Hugging Face的Evaluate库提供了轻量评估接口，可方便计算困惑度等基础指标；配合自实现的自BLEU、重复率脚本，即可搭建最小可用的多样性评测流水线。在更专业的场景中，工程师还会使用MAUVE等分布匹配指标，通过比较生成文本与人类文本的分布距离，同时反映质量与多样性。

$$\cos(\mathbf{a},\mathbf{b})=\frac{\mathbf{a}\cdot\mathbf{b}}{\|\mathbf{a}\|\,\|\mathbf{b}\|}$$

1. 向量$\mathbf{a}$与$\mathbf{b}$: 两条生成文本经嵌入模型映射成的语义向量，方向代表“意思”。

$$\mathbf{a}\cdot\mathbf{b}$$

2. 点积：计算两向量对应维度的乘积之和，体现方向上的重合程度。

$$\mathbf{a}\cdot\mathbf{b}=\sum_{k}a_k b_k$$

3. 模长归一化：除以两向量长度的乘积，消除文本长短的影响，得到纯方向相似度。

$$\frac{\mathbf{a}\cdot\mathbf{b}}{\|\mathbf{a}\|\,\|\mathbf{b}\|}$$

可视化分析是评测闭环中容易被忽视的一环。用PCA或UMAP把生成结果的语义向量投射到二维平面，工程师能直观看到：多样性好的模型点云铺展开，差的模型点云挤成一团，“一眼看穿”让参数调优不再靠猜。基准测试方面，学术界已出现创意写作评测集与开放域生成基准，把多样性纳入标准评分项；工程中更常见的是自建“提示词-多参考答案”小数据集，在迭代中持续回归，防止某次升级让模型“变傻也变单调”。

挑战趋势

创意多样性评测走到今天，仍有一片深水区。首先，“多样性”本身存在主观性：一段文本是“独特”还是“跑题”,不同评判者常有分歧，这与“辣”的程度因人而异如出一辙——标注噪声让任何自动指标都难以尽善尽美。

安全与伦理风险紧随其后：过度追求多样性，可能导致模型编造事实、输出有害内容。评测工程师需要在多样性指标旁加装“安全护栏”,一旦毒性、偏见分数超标立即报警。多样性评测与安全性评测，犹如油门与刹车，缺一不可。

$$\text{Final}=\text{Diversity}\times\text{Quality}$$

1. 多样性项：越高代表输出越丰富，但单纯高多样性可能伴随胡言乱语。

$$\text{Diversity}$$

2. 质量项：越高代表越流畅准确，但单纯高质量容易单调重复。

$$\text{Quality}$$

3. 乘法关系：两者必须同时在线，短板效应明显，提醒工程师做平衡而非偏科。

$$\text{Diversity}\times\text{Quality}$$

未来方向有三个值得关注：一是评测指标走向区分“有意义的多元”与“无意义的胡言乱语”;二是让大模型当“创意裁判”,与人类评分对齐以降低人工成本；三是评测从单点任务走向多轮交互，让模型在对话中持续提供新主题，而不是三句话后就原地绕圈。对从业者而言，理解创意多样性，就是理解“如何让机器既有知识，又有灵气”。

AI 应用场景

Python 演示

import mathimport randomfrom collections import Counter  class DiversityEvaluator:    """创意多样性评测器:计算自BLEU、重复率、Distinct指标"""     def __init__(self):        self.token_counts = Counter()        self.text_count = 0     def _tokenize(self, text):        return text.lower().split()     def _ngrams(self, tokens, n):        return [tuple(tokens[i:i + n]) for i in range(len(tokens) - n + 1)]     def distinct_score(self, texts):        """Distinct-1: 独立一元词占比"""        all_tokens = []        for t in texts:            all_tokens.extend(self._tokenize(t))        return len(set(all_tokens)) / max(len(all_tokens), 1)     def repetition_rate(self, texts, n=2):        """重复率: 重复出现的n-gram占全部n-gram的比例"""        seen, total, dup = set(), 0, 0        for t in texts:            for gram in self._ngrams(self._tokenize(t), n):                total += 1                if gram in seen:                    dup += 1                seen.add(gram)        return dup / max(total, 1)     def self_bleu(self, texts, n=1):        """自BLEU: 每条文本与其余文本的平均重合度(简化版)"""        gram_sets = []        for t in texts:            gram_sets.append(set(self._ngrams(self._tokenize(t), n)))        total_score, pairs = 0.0, 0        for i in range(len(gram_sets)):            for j in range(len(gram_sets)):                if i == j:                    continue                combined = len(gram_sets[i] | gram_sets[j])                overlap = len(gram_sets[i] & gram_sets[j]) / max(combined, 1)                total_score += overlap                pairs += 1        return total_score / max(pairs, 1)     def evaluate(self, texts):        """输出三项多样性指标"""        report = {            "distinct-1": round(self.distinct_score(texts), 4),            "repetition-2": round(self.repetition_rate(texts, 2), 4),            "self-bleu-1": round(self.self_bleu(texts, 1), 4),        }        return report  def temperature_sample(vocab, probs, temperature):    """温度采样: 调整后的概率再随机抽词"""    scores = [math.log(p) / temperature for p in probs]    max_s = max(scores)    exp_s = [math.exp(s - max_s) for s in scores]    total = sum(exp_s)    weights = [e / total for e in exp_s]    r = random.random()    acc = 0.0    for word, w in zip(vocab, weights):        acc += w        if r < acc:            return word    return vocab[-1]  def main():    vocab = ["今天", "天气", "真好", "我们", "一起", "爬山", "野餐", "开心", "微风", "阳光"]    base_probs = [0.18, 0.16, 0.14, 0.12, 0.10, 0.08, 0.07, 0.06, 0.05, 0.04]    random.seed(42)     for temp in [0.2, 1.0, 2.0]:        samples = []        for _ in range(10):            words = [temperature_sample(vocab, base_probs, temp) for _ in range(8)]            samples.append(" ".join(words))        score = DiversityEvaluator().evaluate(samples)        print(f"温度={temp:5}\t多样性={score}")  if __name__ == "__main__":    main()

1. scores = [math.log(p) / temperature for p in probs]对概率取对数并除以温度，温度越高压缩幅度越大，候选越“平起平坐”
2. exp_s = [math.exp(s - max_s) for s in scores]减去最大值防止浮点溢出，再指数还原成正权重
3. weights = [e / total for e in exp_s]归一化成合法概率分布，供随机采样使用
4. def self_bleu(self, texts, n=1)计算生成结果彼此的重合度，重合越低，越接近“各走各路”
5. def repetition_rate(self, texts, n=2)统计n-gram重复比例，专门排查“炒冷饭”
6. report = { ... }把三项指标汇总成统一评测报告，方便对比不同温度配置
7. for temp in [0.2, 1.0, 2.0]用三档温度对照实验，直观展示“温度越高多样性越强但有风险”

常见误区

面试题