视觉故事生成：让AI讲出图里的剧情

可视化演示

动态演示二叉搜索树的插入和查找过程，展示比较路径与树结构变化，支持步进控制与自动播放。

任务定义

老周接活儿从不急着动剪刀，他会先和客户核对需求：“您是要一支有起承转合的旁白短片，还是想要一页页翻照片的幻灯片？”这个区别决定了后面所有工作。视觉故事生成也一样，第一步是定义任务：输入的不是一张图，而是一组图片；输出的不是一句图注，而是一段有完整情节的故事。

单图描述像“看图说话”，模型只对当前这一张图负责，说出“一个穿红衣服的男孩站在门口”就算交差。视觉故事要的是“看图讲故事”：模型必须同时看所有图片，组织出一条剧情线——男孩为什么出门、路上遇见了谁、最后发生了什么。多出来的这部分，正是“故事性”。

在数学上，这个任务被形式化为：给定图片集合 $I$，生成故事 $S$，并最大化条件概率。由于故事是词序列，可以按链式法则一步步拆解成“每生成一个词，都要参考已经生成的词和全部图片”。

$$\displaystyle P(S \mid I) = \prod_{t=1}^{T} P\left(s_t \mid s_{<t},\ I\right)$$

1. 角色定义：$S=(s_1, s_2, \dots, s_T)$ 是故事里的词序列，$I=(I_1, I_2, \dots, I_N)$ 是输入的 $N$ 张图片。模型要算的是“给定图片，这段故事成立的概率”。

$$S=(s_1,\dots,s_T),\quad I=(I_1,\dots,I_N)$$

2. 链式法则分解：联合概率被拆成每个词的条件概率连乘，第 $t$ 个词只依赖前面已经生成的词与全部图片。

$$\prod_{t=1}^{T} P\left(s_t \mid s_{<t},\ I\right)$$

3. 逐词生成：训练时最大化整条故事的概率，推理时按顺序一个词一个词地“吐”出来。

$$P\left(s_t \mid s_1,\dots,s_{t-1},\, I_1,\dots,I_N\right)$$

合同签明白了，后面每一步才有标尺。老周在笔记本上写下一行字：“输入一沓照片，输出一个能讲三分钟的故事。”这正是视觉故事生成的完整定义。

多图关联

拿到一沓没有时间戳的照片，老周第一件事是把它们摊满整张桌子，眯着眼找关系：这张照片里太阳在东边，说明是早晨；下一张影子拉长了，说明到了下午；同一个红色书包出现在两张照片里，说明这是同一天的行程。这种“找关系”的能力，就是多图关联。

模型不会像人一样凭直觉看片，它依靠的是视觉特征之间的相似度。每张图片先经过编码器变成特征向量，相当于给每张图办了一张“数字身份卡”，然后在向量空间里计算两两相似度：相似度高的图片，很可能在描述同一物体、同一场景或同一时刻。这一步是后续排时间线、理因果的基础。

最常用的相似度度量是余弦相似度，它只看两个向量的“方向”是否一致，而不受向量长度影响。

$$\displaystyle \text{sim}\left(I_i,\, I_j\right) = \frac{v_i \cdot v_j}{\lVert v_i \rVert\; \lVert v_j \rVert}$$

1. 特征提取：$v_i$ 是图片 $I_i$ 经过编码器得到的特征向量，可以理解为图片的“数字身份卡”。

$$v_i = \text{Encoder}(I_i) \in \mathbb{R}^{d}$$

2. 点积计算：两个向量对应位置相乘再求和，方向越一致得分越高。

$$v_i \cdot v_j = \sum_{k=1}^{d} v_{i,k}\, v_{j,k}$$

3. 长度归一化：除以两个向量的长度，把得分压到 $[-1, 1]$，避免图片亮度、分辨率等无关因素干扰相似度判断。

$$\frac{v_i \cdot v_j}{\lVert v_i \rVert\; \lVert v_j \rVert}$$

老周在桌上用红绳把照片连起来：书包连书包，影子连影子。这张“关系网”就是他排片的地图，而模型的“红绳”就是特征向量之间的相似度分数。

序列建模

关系找齐后，老周开始把照片按时间线钉到墙上。这时他遇到一个难题：写第二句旁白时，脑子里要同时装着第一张照片的画面、第二张照片的画面，以及已经写出来的第一句台词。信息不是孤立的，而是一条流动的河，这就是序列建模要解决的问题。

序列建模让模型沿着图片顺序逐步融合信息，并逐词生成故事文本。主流方案分三段：图像编码器把每张图变成特征向量；时序注意力机制让“正在写的词”能同时关注所有图片和已写出的词；文本解码器负责逐个词吐出故事。老周常说“好剪辑师心里有一张全局地图”，注意力机制就是模型的这张地图。

Transformer 中注意力机制的核心是“三向量查询”：当前生成位置发出提问 Q，图片库给出标签 K 和内容 V，通过 Q 与 K 的匹配度决定从每张图提取多少信息。

$$\displaystyle \text{Attention}\left(Q,\,K,\,V\right) = \text{softmax}\!\left(\frac{QK^{\top}}{\sqrt{d_k}}\right) V$$

1. 三个角色：$Q$ 是当前生成位置的“提问向量”，$K$ 是每张图片的“标签向量”，$V$ 是图片携带的“内容向量”。

$$Q,\ K,\ V \in \mathbb{R}^{d}$$

2. 匹配打分：$QK^{\top}$ 计算每个提问与每张图的匹配分，除以 $\sqrt{d_k}$ 防止分数过大导致梯度消失。

$$\frac{QK^{\top}}{\sqrt{d_k}}$$

3. 加权求和：softmax 把得分变成非负且和为 1 的权重，再对 $V$ 加权求和，得到融合了全局信息的上下文向量。

$$\text{softmax}(\cdot)\, V = \sum_j \alpha_j v_j$$

老周说，好剪辑师写每一句旁白时都能瞬间回放所有画面。注意力机制就是模型的“瞬间回放”，它让故事的每一句都站在全局的肩上前进。

故事连贯性

老周最怕观众说“这片子看着不对劲”。不对劲，通常不是单张画面有问题，而是句与句之间断了：上一句还在晴天，下一句突然暴雨；主角明明在爬山，下一幕却在划船。故事要连贯，靠的是四根支柱：全局主题贯穿（整篇围绕“一次冒险”）、因果推进（出门→遇狗→玩耍→回家）、衔接过渡（用“于是”“突然”等连接）、情感脉络（从兴奋到疲惫到不舍）。

模型端的主要手段是“生成后重排”：先用解码器生成多个候选故事，再用连贯性打分器挑选最优。打分时不能只看平均概率，否则模型会靠“说很多正确的废话”刷分，比如反复描述“这是一个男孩”来凑概率。因此要引入长度惩罚，让长而空洞的候选分数下降。

$$\displaystyle \text{score}(S) = \frac{1}{\lvert S \rvert^{\alpha}} \sum_{t=1}^{\lvert S \rvert} \log P\left(s_t \mid s_{<t},\, I\right)$$

1. 对数概率求和：每个词的对数概率相加，把连乘变成连加，数值更稳定。

$$\sum_{t=1}^{\lvert S \rvert} \log P\left(s_t \mid s_{<t},\, I\right)$$

2. 长度惩罚：除以 $\lvert S \rvert^{\alpha}$，避免模型“注水”刷分，$\alpha$ 越大惩罚越强。

$$\frac{1}{\lvert S \rvert^{\alpha}}$$

3. 重排选优：用该分数对所有候选故事排序，得分最高的胜出。

$$S^{*} = \arg\max_{S}\, \text{score}(S)$$

老周给每个候选旁白打分：剧情顺不顺、有没有闭环、废话多不多。分数最高的那条，才有资格被剪进成片，这就是故事连贯性的意义。

人物一致性

剪片时老周会专门盯一个人——主角。观众对“换脸”极其敏感：上一场穿红衣服的男孩，下一场变成蓝衣服，再好的剧情也白搭。固定主角形象是老周的必修课，在模型里这叫人物一致性。模型不能靠“记得住”来维持形象，而是要把主角的身份“数值化”。

具体做法是：用身份编码器（可以基于人脸识别或服饰检测）从每张图中提取身份特征向量，再在不同图片之间做跨图绑定。生成故事时，模型会检查当前句子提到的主角，它的身份特征是否与前面画面中的一致；不一致时，就用已确认的主角特征去修正或替换候选内容。

判定是否为同一人，最常用的是余弦相似度加阈值：两个身份特征的方向越接近，越可能是同一角色。

$$\displaystyle \cos\left(f_a,\, f_b\right) = \frac{f_a \cdot f_b}{\lVert f_a \rVert\; \lVert f_b \rVert} \ge \tau$$

1. 提取身份特征：$f_a, f_b$ 是同一角色在两张图片中的身份特征向量，来自身份编码器。

$$f_a = \text{IDNet}(I_a),\quad f_b = \text{IDNet}(I_b)$$

2. 计算相似度：用余弦相似度判断两个身份特征的方向是否一致。

$$\frac{f_a \cdot f_b}{\lVert f_a \rVert\; \lVert f_b \rVert}$$

3. 阈值判定：相似度不低于 $\tau$ 判定为同一角色，否则触发替换或修正。

$$\cos\left(f_a, f_b\right) \ge \tau \Rightarrow \text{同一角色}$$

老周在剪辑台上放了一张主角的“标准照”，每一帧画面里的主角都要和它“对表”。模型里的“标准照”就是那条身份特征向量，人物一致性就是让每句话的主角都能对上表。

评估方法

片子剪完了，不能直接交给客户。老周的方法是两轮评审：先让助理做一轮快速初审，用机器比对旁白和画面的匹配度；再请三位懂行的同事坐下来完整看片，从剧情角度挑毛病。对应到模型评估，就是自动指标加人工评测的双轨制。

自动指标最常用的是 BLEU，它把生成故事和参考答案做 n-gram 字面比对，速度快、可复现，适合训练和调参时快速筛选手。但字面重合看不出剧情是否连贯、主角是否一致，所以人工评测必不可少：标注员从连贯性、信息量、人物一致性等维度打分，贴近真实观看体验。两者配合，才能给故事质量画像。

$$\displaystyle \text{BLEU} = \text{BP} \cdot \exp\!\left(\sum_{n=1}^{4} w_n \log p_n\right)$$

1. n-gram 精确率：$p_n$ 是生成文本与参考答案在 $n$ 元词组上的重合比例。

$$p_n = \frac{\sum \text{count}_{\text{clip}}(n\text{-gram})}{\sum \text{count}(n\text{-gram})}$$

2. 加权几何平均：四个 $n$ 的对数精确率加权求和再取指数，得到“平均重合度”。

$$\exp\!\left(\sum_{n=1}^{4} w_n \log p_n\right)$$

3. 长度惩罚：生成太短会夸大精确率，BP 按长度比打折。

$$\text{BP} = \begin{cases} 1 & \text{if } c > r \\ e^{1-r/c} & \text{if } c \le r \end{cases}$$

机器初审把明显不对的候选筛掉，人工终审决定片子能不能上线。老周的规矩，也是视觉故事项目的规矩：两把尺子缺一不可。

应用场景

老周的客户五花八门：绘本社要“插画配文”，短视频平台要“镜头解说”，家庭用户要“旅行回忆”。同一个故事生成内核，换上不同的产品外壳。这正是视觉故事生成的魅力——同一套模型能力，能服务三种完全不同的内容产品。

儿童绘本场景下，模型逐页吃进插画序列，输出每页一到两句的连贯配文，同时用身份特征绑定保证主角形象一致。短视频场景下，把视频按镜头抽帧变成图片序列，模型生成旁白剧本，再交给语音合成配音。相册场景下，模型把旅游照片整理成“出发—遇见—玩耍—道别”的故事线，自动生成图文卡片。

实际工程落地时，不能只依赖语言模型。因为语言模型可能“编得通顺但离图太远”，所以通常会再加一个图文匹配分做纠偏：语言模型保证句子通顺，匹配模型保证内容贴图，两者加权融合。

$$\displaystyle \text{score}_{\text{final}} = \lambda \log P\left(s \mid I\right) + \left(1 - \lambda\right)\, \text{Sim}\left(s,\, I\right)$$

1. 语言模型分：$\log P(s \mid I)$ 保证句子通顺且大致贴合图片内容。

$$\log P\left(s \mid I\right)$$

2. 图文匹配分：$\text{Sim}(s, I)$ 用文本语义与视觉语义的相似度做二次校验。

$$\text{Sim}\left(s,\, I\right)$$

3. 加权融合：$\lambda$ 在 0 到 1 之间，越大越侧重流畅性，越小越侧重贴图程度。

$$\lambda \in [0, 1]$$

老周给每种客户都准备了不同的“片头包装”，但剪辑台后面的方法论是同一套。同样的内核，不同的场景，这就是视觉故事生成的产品化思路。

部署优化

客户说下周就交片，而老周的剪辑笔记本已经用了五年。为了赶工期，他得学会省着用：把 4K 素材先转成低分辨率代理文件来剪，最后再替换高清素材；一边写旁白一边流式预览，而不是全部渲染完再看。这套手法对应到模型部署，就是压缩与加速。

视觉故事模型动辄上亿参数，直接部署到手机或短视频服务端成本很高。常见手段有三类：模型压缩用量化把 FP32 权重变成 INT8，体积缩小约四倍；知识蒸馏让大模型当教师，把“判断力”教给小模型；推理加速用流式生成边吐词边返回，配合词表缓存减少重复计算。三者叠加，才能在便宜设备上把故事讲得又好又快。

知识蒸馏的损失函数是把“模仿教师”和“拟合标签”两件事加权结合。

$$\displaystyle \mathcal{L}_{\text{distill}} = \left(1 - \alpha\right) \text{CE}\left(y,\, p_{\text{stu}}\right) + \alpha\, \text{KL}\left(p_{\text{tea}} \,\|\, p_{\text{stu}}\right)$$

1. 师生模型：$p_{\text{stu}}$ 是部署时运行的轻量学生模型输出，$p_{\text{tea}}$ 是离线训练好的大教师模型输出。

$$p_{\text{stu}} = \text{Softmax}(z_{\text{stu}}),\quad p_{\text{tea}} = \text{Softmax}(z_{\text{tea}})$$

2. 两份损失：交叉熵 CE 学习真实标签，KL 散度让学生分布逼近教师分布。

$$\text{KL}\left(p_{\text{tea}} \,\|\, p_{\text{stu}}\right) = \sum_i p_{\text{tea}}(i) \log \frac{p_{\text{tea}}(i)}{p_{\text{stu}}(i)}$$

3. 加权平衡：$\alpha$ 控制“模仿教师”与“拟合标签”的比例，调大 $\alpha$ 学生更像教师。

$$\left(1 - \alpha\right) \text{CE} + \alpha\, \text{KL}$$

老周用“代理文件 + 流式剪辑 + 素材缓存”三件套，在旧笔记本上按时交了片。模型部署也靠“量化 + 蒸馏 + 流式”三件套，在低成本设备上把故事讲得又好又快。

AI 应用场景

Python 演示

# -*- coding: utf-8 -*-"""视觉故事生成演示: 链式法则 + 束搜索 + 人物一致性裁剪"""import math  # 模拟图片编码器输出: 每张图预先给出候选句及其主角SCENES = [    {"id": "img1", "cands": [("小男孩背着书包走出家门", "小男孩")]},    {"id": "img2", "cands": [("他在路口遇见一只小狗", "小男孩"),                             ("一只小狗跑了过来", "小狗")]},    {"id": "img3", "cands": [("他和狗在公园追皮球", "小男孩"),                             ("皮球滚过草地", None)]},    {"id": "img4", "cands": [("黄昏时他们在路口道别", "小男孩"),                             ("小狗目送他回家", "小狗")]},]  class TinyLM(object):    """极简字符级 bigram 语言模型, 统计相邻字共现概率"""     def __init__(self, text):        self.counts = {}        self.total = {}        for i in range(len(text) - 1):            key = (text[i], text[i + 1])            self.counts[key] = self.counts.get(key, 0) + 1            self.total[text[i]] = self.total.get(text[i], 0) + 1     def prob(self, prev, nxt):        c = self.counts.get((prev, nxt), 0)        t = self.total.get(prev, 0)        return c / float(t) if t else 1e-6  class StoryGenerator(object):    """基于链式法则与束搜索的故事生成器"""     def __init__(self, lm):        self.lm = lm     def coherence(self, text):        """连贯性得分: 相邻字 bigram 平均对数概率"""        total = 0.0        for i in range(len(text) - 1):            total += math.log(self.lm.prob(text[i], text[i + 1]))        return total / max(1, len(text) - 1)     def beam_search(self, scenes, beam_k=2):        """逐图挑选句子, 束宽 beam_k, 保留得分最高的 k 条候选"""        beams = [([], 0.0, None)]        for scene in scenes:            new_beams = []            for history, score, hero in beams:                for sentence, subject in scene["cands"]:                    # 人物一致性: 主角已确定且新句主角不同则裁剪                    if hero is not None and subject is not None and hero != subject:                        continue                    next_hero = hero if hero is not None else subject                    cur_score = score + self.coherence(sentence)                    new_beams.append((history + [sentence], cur_score, next_hero))            new_beams.sort(key=lambda x: x[1], reverse=True)            beams = new_beams[:beam_k]        return beams[0]  def main():    lm = TinyLM("小男孩背着书包走出家门他在路口遇见一只小狗小狗摇着尾巴跑过来"                "他在公园追皮球黄昏时他们在路口道别")    gen = StoryGenerator(lm)    sentences, score, hero = gen.beam_search(SCENES, beam_k=2)    print("生成故事: ")    print("，".join(sentences) + "。")    print("主角: ", hero)    print("连贯性得分: ", round(score, 4))  if __name__ == "__main__":    main()

1. beams = [([], 0.0, None)]束搜索的初始状态：空句子、零分、未知主角。
2. if hero is not None and subject is not None and hero != subject:人物一致性裁剪：主角已确定时，跳过换成别人的候选句。
3. cur_score = score + self.coherence(sentence)按链式法则累加连贯性分数，对应文章中的对数概率求和。
4. new_beams.sort(key=lambda x: x[1], reverse=True)对候选故事按得分排序，分数越高越连贯。
5. beams = new_beams[:beam_k]只保留得分最高的 k 条候选，这就是束宽 k 的含义。
6. self.counts[key] = self.counts.get(key, 0) + 1bigram 计数，构成语言模型的概率表。
7. return c / float(t) if t else 1e-6加平滑的概率计算：没见过的相邻字对给一个极小概率，避免取对数时报错。

常见误区

面试题