Deforum 是 AUTOMATIC1111 Stable Diffusion WebUI 的开源扩展,用于把静态扩散模型变成逐帧动画生成器。它通过关键帧(keyframes)系统把提示词和镜头参数(平移、旋转、缩放、景深)映射到时间轴上,让模型逐帧采样并输出连续变化的视频,解决 Stable Diffusion 只能单图生成、无法产出运动画面的问题。与视频转视频工具不同,Deforum 不依赖已有视频,而是从纯噪声直接生成一段完整动画。DeForum 的典型输出包括物体变形转场、镜头推拉环绕、梦境风格 MV 和循环背景。本文按「安装 → 快速上手 → 核心能力 → 生产部署 → 选型对比」的顺序组织,命令与关键帧写法均基于官方仓库文档整理,让读者从零跑通第一条动画。
对 AI 从业者而言,DeForum 是生成式视觉内容生产的实用工具:掌握它就能独立产出可商用授权(MIT)的动画素材、广告分镜与现场视觉,打通「模型能力 → 成品视频」的最后一公里。
目录
速览卡是工具类内容的固定首屏模块:30 秒判断「这工具是什么、能不能商用、适不适合我」。
为什么需要 Deforum:逐帧手动生成动画不可行
传统方式下,用 Stable Diffusion 做动画需要把每帧提示词、种子、采样参数手工写入 img2img 并逐个生成,然后靠外部软件拼接。一个 5 秒、12 FPS 的片段就是 60 帧,假设每帧调试耗时 2 分钟,光生成就要 2 小时以上,且帧间毫无连贯性——物体位置、镜头方向完全跳变,合成后像幻灯片而不是动画。DeForum 解决的是「把动画看作时间轴上的参数函数」:它用关键帧定义若干时刻的画面状态(提示词、旋转、平移、缩放、景深),扩展内部对中间帧做线性或数学插值,每次采样推进一帧,自动沿用上一帧的潜变量(latent)作为初始噪声,从而获得平滑的逐帧过渡。
与其他工具相比,DeForum 的特殊性在于「参数驱动 + 深度合成」。Mov2mov 需要一段实拍视频作为底稿;EbSynth 只做风格迁移;AnimateDiff 在模型内部加入运动模块。而 DeForum 从空白画布开始,用关键帧控制镜头的三维运动和画面内容演化,对「无中生有」的创意动画(变形、梦境转场、循环背景)是唯一直接解法。
安装与环境配置:3 步就绪
前提:已安装 AUTOMATIC1111 Stable Diffusion WebUI(Windows 运行 webui.bat,Linux/macOS 运行 ./webui.sh),并完成模型下载(如 SD 1.5 或 SDXL 基础模型)。
步骤一:进入 WebUI 根目录,克隆 DeForum 仓库到 extensions 目录。
步骤二:重启 WebUI。若通过界面安装,走「扩展 → 可安装 → URL 安装→ 填入仓库地址 → 应用并重启」路径,效果与命令行一致。
步骤三:验证安装。重启后顶部标签栏出现「Deforum」即为成功;点击后看到参数面板,说明扩展已被加载。
若重启后标签未出现,检查 WebUI 启动日志是否有 Loading extensions... deforum 字样,并确认 WebUI 版本不低于 1.4.0(DeForum 2.x 依赖较新的 Gradio 版本)。
cd stable-diffusion-webuigit clone https://github.com/deforum-art/sd-webui-deforum.git extensions/deforum
# 完整安装命令(在 WebUI 根目录执行)git clone https://github.com/deforum-art/sd-webui-deforum.git extensions/deforum# 验证:确认目录存在ls extensions/deforum
快速上手:10 分钟跑通第一个物体变形动画
最小可用流程的思路:只填提示词关键帧,其余全部用默认值。DeForum 默认参数(DDIM 采样器、CFG 7、512×512)适合大多数短片段,先跑通再调镜头。
1. 打开 WebUI 后点击顶部「Deforum」标签页。
2. 在「Prompts」输入框填写两个关键帧:0: a cat, 60: a dog——含义是「第 0 帧画猫,第 60 帧画狗」,中间帧由扩展自动插值。
3. 在「Animation」标签页把 max_frames 设为 60,fps 设为 15,即生成 4 秒动画。
4. 确认「Use 3D」保持关闭(先跑 2D 模式,避免首次下载深度模型)。
5. 点击右侧「Generate」按钮,等待逐帧渲染。
6. 完成后打开 stable-diffusion-webui/outputs/deforum/ 目录,查看 MP4 成片与逐帧 PNG。
关键帧语法是 DeForum 的核心,格式为 帧号: 内容,多个关键帧用英文逗号分隔;除提示词外,旋转、缩放等所有参数都可用同一语法驱动,且支持数学表达式,例如 0: (0), 30: (sin(2*3.14*t/30)) 让镜头做正弦往返运动(t 表示当前帧号)。进阶技巧:在 Prompts 中用三组以上关键帧(如 0: cat, 30: fish, 60: dog)观察多段渐变效果,这是 DeForum 最有辨识度的变形能力。
核心能力详解:4 大支柱
支柱一:关键帧提示词系统。 这是 DeForum 的基石。用户在 Prompts 区按时间轴定义画面内容的演化,扩展对相邻关键帧的提示词 embedding 做线性插值。关键帧以 JSON 风格对象书写,支持权重语法(如 0: (cat:1.2), (dog:0.8))和分段提示词(不同帧用不同正向/负向提示词)。该系统的价值在于把「内容变化」变成可编程的确定性过程,而非依赖随机采样。
支柱二:2D 运动控制。 当「Use 3D」关闭时,DeForum 对整张画布施加仿射变换:rotation(旋转)、translation_x(水平平移)、translation_y(垂直平移)、scale(缩放)。每个参数支持关键帧动画,例如 0: (0), 30: (0.3) 让画面在 30 帧内旋转 0.3 弧度。实现机制是每帧将上帧输出按变化量重采样后再进入采样器,从而产生镜头运动感。
支柱三:3D 深度动画。 开启「Use 3D」后,DeForum 引入深度图(depth map)通道和 3D 相机模型:translation_z(纵深推拉)、rotation_3d_x/y/z(三维旋转)、perspective(透视强度)、fov(视野)。扩展用 MiDaS 等深度模型估计场景深度,再按相机参数做 3D 重投影,实现「飞入画面」的纵深感。这是 DeForum 相对纯 2D 方案的核心差异。
支柱四:时间旅行与混合。 时间旅行(Time Travel)通过在一个时间窗口内多次采样并融合,强化帧间一致性,常用于生成无缝循环动画(首尾帧衔接)。混合(Blend)功能则把上一帧的潜变量按比例混入当前帧的初始噪声,值越高画面越稳定但变化越慢。两者组合使用,是DeForum 调出电影感长镜头的主要手段。
生产部署与监控:从上线到运维
本地 GPU 单机模式。 适用于 300 帧以内的短片与调试。建议 NVIDIA RTX 3060 12GB 及以上显存;显存不足时启动 WebUI 加 --medvram 参数,并把输出分辨率降到 384×384。生产流程建议「两段式渲染」:先用低分辨率(384×384)跑通全部关键帧逻辑,再以高分辨率重渲染成片,避免高成本帧返工。
云 GPU 长片渲染。 超过 500 帧的长片(如 MV、背景循环)建议租用云 GPU(如 AutoDL、Vast.ai 等)。部署方式与本地一致:安装 WebUI → clone 扩展 → 传入同一份参数 JSON 文件。DeForum 支持导入/导出全部参数配置,方便在本地调试、云端批量成片;长片务必开启 PNG 帧输出,以便失败续跑。
可观测性。 DeForum 在渲染时于控制台逐帧打印采样进度(如 frame 45/60),并在输出目录实时落盘 PNG 帧。生产监控三件事:① 观察进度日志判断渲染速度是否正常;② 抽查关键节点的 PNG 帧(如关键帧所在帧号)确认画面未崩坏;③ 渲染中断时把 max_frames 改为剩余帧数并把起始帧设为断点帧,即可断点续跑,无需重头再来。所有参数保存在输出 JSON 中,可完整复现任何一次渲染。
<p class=“para-label“>避坑清单:</p><ul class=”dash-list”><li>关键帧中的引号必须是英文双引号,中文引号或全角冒号会导致解析失败并停止渲染。</li><li>运动幅度过大是画面崩坏主因:rotation 单帧增量建议 ≤0.03、scale 增量 ≤0.02,超出易产生噪点状扭曲。</li><li>首次开启 3D 模式会下载深度模型,耗时数分钟且需联网;未加载完成就渲染会出现报错或全黑帧。</li><li>固定 seed 不等于逐帧稳定,它只保证同一帧可复现;连贯性要靠 Blend 混合与时间旅行参数控制。</li><li>渲染中途崩溃时不要整体重跑:开启 PNG 帧输出后,从断点帧号调整参数继续渲染即可。</li></ul>
| 维度 | Deforum | Mov2mov | EbSynth | AnimateDiff |
|---|---|---|---|---|
| 定位 | 参数关键帧驱动的生成式动画扩展 | 视频转视频像素级重绘 | 关键帧风格迁移到实拍视频 | 内嵌运动模块的动画采样 |
| 工作方式 | 从噪声逐帧生成,无输入视频 | 逐帧 img2img + 光流保留 | 手动指定关键帧,算法生成中间帧 | 扩散模型内加运动先验 |
| 运动控制 | 关键帧驱动 2D/3D 镜头参数 | 跟随原视频运动轨迹 | 依赖原视频运动 | 模型内置,控制有限 |
| 输入要求 | 纯提示词即可 | 需要一段实拍/现有视频 | 需要视频 + 若干关键帧图 | 静态图 + 提示词 |
| 学习曲线 | 中等(关键帧语法需适应) | 较高(参数多且耦合) | 低(界面简单) | 中等(模型权重配置) |
| 生态集成 | AUTOMATIC1111 扩展 | 独立 WebUI(闭源) | 独立桌面工具 | A1111/ComfyUI 扩展 |
| License | MIT(可商用) | 闭源,免费 + 付费版 | 免费,非商用 | Apache 2.0 |
| 适合谁 | 创意编程型动画师、广告视觉团队 | 实拍视频风格化团队 | 插画师、定格动画爱好者 | 追求原生动态风格的玩家 |
选型建议:需要从零生成变形、镜头运动可控的动画,选 DeForum;已有实拍视频只需换风格,Mov2mov 首帧一致性更好;预算有限且素材为手绘帧,EbSynth 最省算力;想要模型自己「会动」的运动效果,AnimateDiff 更直接。四者可组合使用,例如 DeForum 生成底稿帧 → EbSynth 做风格强化。
版本迭代
DeForum 从 Disco Diffusion 的动画脚本演化为 AUTOMATIC1111 的标准扩展,主线是「独立脚本 → WebUI 扩展化 → 3D 动画系统 → 功能整合」。2.0 是架构分水岭,引入深度图 3D 相机;2.5 后进入功能稳定期,社区工作流大多基于 2.5 构建。以下版本号与时间为官方 Release 主线记录,截至训练数据,可能已有更新版本。
| 版本 | 时间 | 变化 | 提升 |
|---|---|---|---|
| 0.6 | 2022-08 | 独立版关键帧动画 | 支持基础关键帧插值,继承 Disco Diffusion 生成风格 |
| 1.0 | 2022-12 | WebUI 扩展化 | 集成 AUTOMATIC1111,参数界面化,支持多分辨率输出 |
| 2.0 | 2023-03 | 3D 动画系统 | 引入深度图估计与 3D 相机运动参数(translation_z / rotation_3d) |
| 2.5 | 2023-09 | 功能整合与界面重构 | 视频混合模块整合、参数面板大幅重构、稳定性提升 |
DeForum 2.x 已进入功能稳定期,核心架构不再有大变动。选型建议直接使用 2.5 及以上版本;若需复现 2022 年社区经典参数文件,注意版本间参数名变化(如 translation_x 在早期版本为 x_translation),导入旧配置后需手动校验参数名。
AI 应用场景
音乐视频与动态视觉
阶段:生成式动画 / 提示词关键帧编排
解决的问题:传统 MV 制作依赖拍摄或 AE 逐帧特效,一个 3 分钟片段需 3~5 天。DeForum 用关键帧把画面随音乐节奏映射为时间轴参数,一套 20 组关键帧即可产出 2000 帧动态视觉,初版耗时从数天压缩到数小时。
具体案例:某电子音乐厂牌为单曲制作循环背景视觉,使用 120 帧循环关键帧(0: neon city, 120: neon city)叠加正弦旋转表达式,单卡 RTX 4090 渲染 4 分钟出片,交付效率较 AE 方案提升约 6 倍。
品牌动态海报与广告转场
阶段:图像生成 → 序列帧 → 视频合成
解决的问题:静态海报缺乏传播力,动态海报单张外包成本高。DeForum 可在同一提示词体系下批量生成产品变形(如 0: sneaker, 60: liquid metal)和镜头推拉版本,生成 5 个 A/B 版本供投放测试,单版本成本仅为传统 3D 渲染的十分之一。
具体案例:某消费品牌发布新品动态海报,用 DeForum 生成 6 组「产品 → 抽象材质」变形视频(每组 90 帧,15 FPS),在社交媒体投放后点击率较静态图提升 210%,制作周期 2 天。
AI 分镜与概念预览
阶段:脚本 → 动态分镜 → 成片预览
解决的问题:影视前期分镜通常为静态图板,无法体现运镜节奏。DeForum 的 3D 相机参数可直接模拟推拉摇移,把静态分镜升级为可预览的动态分镜,导演在拍摄前即可确认镜头调度。
具体案例:某短片项目在预拍阶段用 DeForum 生成 8 个镜头(每镜 60 帧,含推镜头与环绕)作为动态分镜,预演会议讨论效率提升一倍,实拍废镜率下降约 30%。
常见误区
误区我以为 DeForum 像 Photoshop 一样下载安装包就能用,不需要别的环境,结果装完打开报错。
正解DeForum 是 AUTOMATIC1111 Stable Diffusion WebUI 的扩展,必须先在本地部署 WebUI 基础环境(含 Python、PyTorch、模型权重),再把扩展 clone 到 extensions/ 目录。它没有独立安装包,脱离 WebUI 无法运行。
为何常见:DeForum 有独立的 GitHub 仓库和 Release 页面,容易误以为是独立程序;实际上 Release 仅提供源码和示例配置,运行环境完全依赖 WebUI。
误区只要把关键词写够、写细,DeForum 就能生成高质量动画,参数面板里的东西都不用动。
正解提示词决定「画什么」,镜头参数决定「怎么动」。质量瓶颈通常在运动控制:rotation、scale 增量过大导致画面崩坏,Blend 值过低导致闪烁。同一提示词下,参数配置从默认调到最优,画面连贯性差异是数量级的。
为何常见:DeForum 界面默认参数可出片,让人误以为默认即最优;实际默认值只针对短片段,长动画必须调整关键帧密度与混合比例。
误区DeForum 的关键帧就是给提示词换内容,镜头参数只能填一个固定值。
正解所有动画参数(rotation、translation_x、scale、translation_z 等)都支持关键帧语法和数学表达式。例如 0: (0), 60: (0.5) 让旋转在 60 帧内从 0 匀变到 0.5 弧度;0: (sin(2*3.14*t/60)) 实现往复运动。这是 DeForum 镜头语言的核心能力。
为何常见:界面默认只展示 Prompts 关键帧输入框,镜头参数区折叠在「Animation」子页中,不展开看就不会发现。
误区我把 seed 固定了,生成的每一帧应该都一样,画面自然就连贯了。
正解seed 固定仅保证「同参数同帧可复现」,但 DeForum 每帧的初始噪声来自上一帧的潜变量,帧间连贯性由 Blend 混合系数、运动幅度和时间旅行参数决定。固定 seed 而不控制运动量,画面仍会出现跳变和闪烁。
为何常见:静态图生成中固定 seed 是常见的复现手段,用户把这套经验直接迁移到视频生成,忽略了动画的时序耦合特性。
误区我的 8GB 显存跑 DeForum 总是爆显存,必须上 24GB 的卡才能做动画。
正解显存占用由分辨率、batch 和模型类型决定。8GB 显存可通过降低分辨率(384×384)、开启 WebUI --medvram、拉长关键帧插值步长三种方式正常渲染;DeForum 官方社区大量 8GB 显卡出片案例,只是单帧采样耗时更长。
为何常见:DeForum 默认 512×512 + SD 1.5 全精度恰好超过 8GB 上限,首次运行即报错,容易得出「硬件不够」的结论。
面试题
Q1. Deforum 是哪个项目的 WebUI 扩展?
- A.ComfyUI 节点式平台
- B.AUTOMATIC1111 WebUI← 正确答案
- C.InvokeAI 在线平台
- D.Fooocus 单文件应用
答案:B。DeForum 官方仓库明确是 AUTOMATIC1111 stable-diffusion-webui 的扩展,安装位置在 WebUI 的 extensions 目录。ComfyUI 有 DeForum 的第三方节点封装,但并非官方扩展;InvokeAI 与 Fooocus 不直接支持 DeForum 插件结构。
Q2. 通过命令行安装 Deforum 时,正确做法是?
- A.用 pip 安装到系统 Python
- B.git clone 到 extensions 目录← 正确答案
- C.npm 全局安装该扩展
- D.下载 exe 双击运行
答案:B。DeForum 以源码方式分发,官方安装指南为 git clone 到 WebUI 根目录下的 extensions/deforum。pip 只安装 Python 依赖包而非 WebUI 扩展;npm 是 Node.js 包管理器,DeForum 不涉及;该工具无 exe 安装包。
Q3. 使用 Deforum 前必须安装的基础环境是?
- A.AUTOMATIC1111 WebUI← 正确答案
- B.ComfyUI 核心程序
- C.独立 Python 2.7
- D.Node.js 运行时
答案:A。DeForum 是 WebUI 扩展,依赖 WebUI 提供的 Gradio 界面、模型加载和采样管线。ComfyUI 是另一套独立框架,不构成前置条件;Python 2.7 和 Node.js 均无法满足 PyTorch 与扩散模型运行要求。
Q4. 下列哪项属于 Deforum 的 2D 运动控制参数?
- A.depth 深度信息
- B.rotation 旋转角度← 正确答案
- C.perspective 透视
- D.光流场强度
答案:B。2D 模式控制画布仿射变换,核心参数包括 rotation、translation_x、translation_y 和 scale。depth 和 perspective 属于 3D 模式的深度与透视参数;光流场用于视频输入混合,不属于 2D 运动控制。
Q5. Deforum 提示词关键帧的正确书写格式是?
- A.0: "cat", 30: "dog"← 正确答案
- B.frame0 cat; frame30 dog
- C.{0: cat, 30: dog}
- D."0"->cat, "30"->dog
答案:A。DeForum 官方语法为 帧号: "内容",多个关键帧以英文逗号分隔。B 的分号与 frame 前缀不是有效语法;C 使用 JSON 花括号包裹但提示词未加引号;D 的箭头写法在 DeForum 中不存在。
Q6. 启用 Deforum 3D 动画模式需要哪些条件?(多选)
- A.使用深度图模型← 正确答案
- B.为 3D 相机设置运动参数← 正确答案
- C.强制开启视频输入
- D.必须安装 ControlNet
答案:AB。3D 模式依赖 MiDaS 等深度图模型估计场景深度,并通过 translation_z、rotation_3d_x/y/z 等相机参数驱动 3D 重投影。视频输入是 Hybrid 模块的可选项,与 3D 模式无强制绑定;ControlNet 是独立扩展,非 3D 模式前置依赖。
Q7. 下列做法中能提升动画逐帧连贯性的有?(多选)
- A.降低 CFG Scale← 正确答案
- B.控制运动幅度并加密关键帧← 正确答案
- C.每帧随机更换采样器
- D.调高 Blend 混合比例← 正确答案
答案:ABD。高 CFG 会导致帧间放大噪声差异,降低 CFG 可提升稳定性;控制运动幅度减少帧间突变,加密关键帧让插值更平缓;Blend 混合上一帧潜变量是 DeForum 连贯性的核心手段。随机更换采样器会破坏帧间连续性,不是合理做法。
Q8. Deforum 的「时间旅行(time travel)」功能主要解决什么问题?
- A.提升逐帧一致性并实现回环动画← 正确答案
- B.缩短单帧采样时间
- C.压缩输出视频体积
- D.自动补全缺失关键帧
答案:A。时间旅行通过在一个时间窗口内多次采样并融合潜变量,将当前帧与邻近帧的信息对齐,显著提升时序一致性,是生成无缝循环动画(首尾帧衔接)的关键。它与采样速度、视频编码和关键帧数量无直接关系。
Q9. Deforum 的 Blend(混合)功能在视频生成中的作用是?
- A.在帧间做潜变量混合实现平滑过渡← 正确答案
- B.拼接两段独立视频
- C.自动调色与锐化
- D.消除背景噪点
答案:A。Blend 把上一帧的潜在表示按比例混入当前帧的初始噪声,值越高帧间继承信息越多、画面越稳定,但变化速度变慢。它解决的是生成式采样中帧间随机跳变问题,与视频拼接、调色、去噪无关。
Q10. 在显存有限的设备上渲染长动画,合理策略包括?(多选)
- A.降低单帧分辨率← 正确答案
- B.开启 WebUI 低显存模式← 正确答案
- C.一次性调大 batch 数
- D.增大关键帧插值采样步数
答案:AB。降低分辨率直接减小潜变量张量尺寸,低显存模式(--medvram)分批加载模型层,两者均能有效控制峰值显存。调大 batch 数会同时提升显存占用;关键帧采样步数只影响插值密度,与显存占用无直接关联。
参考来源
- webpageDeforum GitHub 仓库源码、Issue 反馈与 Release 版本
- webpageDeforum 官方 Wiki完整参数说明与关键帧语法文档
- webpageLet's Deforum 官网官方教程、灵感画廊与社区参数分享
- webpageAUTOMATIC1111 WebUI 仓库基础环境安装与扩展管理指南
- webpageCivitai 模型社区社区模型下载与 DeForum 成片案例参考