Hallo2：开源数字人

为什么需要 Hallo2：数字人视频的「短、糊、飘」三难

在 Hallo2 出现前，开源数字人方案普遍存在「短、糊、飘」问题：SadTalker 等经典方案通常生成 512×512 分辨率、数秒到十几秒的短片，视频一长人脸就开始“漂移”——五官变形、模样走样、口型与音频脱节；分辨率提到 1080p 以上，显存与推理时间又成为瓶颈。做产品时只能靠片段拼剪，或用昂贵的人工后期修复。

Hallo2 从架构上解决这三个问题。它引入「分层运动动力学」：第一级扩散在分块（patch）级别预测长视频的运动底稿，第二级扩散做高清细节增强——长视频不再一次性塞进显存，而是分块去噪、逐段推进，因此能支持 4K 分辨率与分钟级长视频；配合残差式视频循环等数据增强手段，缓解逐段拼接带来的身份漂移。工程侧还提供 WebUI 与 TTS 衔接脚本，把研究模型往“可交付”推进了一步。

与同类工具的气质差异在于：SadTalker 强调轻量快速原型，MuseTalk 走实时口型替换路线，EchoMimic 主打双模态控制；Hallo2 的核心卖点是「一键产出长而清晰的口播成片」，适合内容批量生产而非实时互动。

安装与环境配置：4 步就绪

步骤一：获取代码。 从 GitHub 克隆仓库并进入目录。

步骤二：准备 Python 环境。 官方要求 Python 3.10，用 conda 创建独立环境，避免与现有环境冲突。

步骤三：安装依赖。 先装 PyTorch（CUDA 12.1 对应的 wheel 版本），再安装 requirements.txt 中的其余依赖。若当前 README 对 torch 版本有精确指定，以 README 为准。

步骤四：下载预训练权重。 官方权重托管在 Hugging Face，包含 Stable Diffusion v1.5 基座、人脸解析/地标模型、语音表征模型与 Hallo2 主模型，需放入 hallo2/pretrained_models/ 目录。

git clone https://github.com/fudan-generative-vision/hallo2.gitcd hallo2 conda create -n hallo2 python=3.10 -yconda activate hallo2pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121pip install -r requirements.txtnvidia-smi  # 确认 GPU 驱动正常python -c "import torch; print(torch.cuda.is_available())"  # 应输出 True # 下载预训练权重（数 GB，含 SD1.5 等子模型），请按当前 README 校验目录结构与版本git lfs installgit lfs clone https://huggingface.co/fudan-generative-vision/hallo2 /tmp/hallo2_weightscp -r /tmp/hallo2_weights/* hallo2/pretrained_models/

快速上手：10 分钟跑通第一个数字人视频

最小可用路径是「官方示例图 + 官方示例音频 + 官方推理脚本」，跑通后再替换为自己的素材。整个流程不需要写任何代码，全部由命令行参数驱动。

1. 完成安装后，先确认 hallo2/pretrained_models/ 下各子模型目录齐全，缺文件时推理会直接报错。

2. 执行下面的官方示例推理命令，脚本会读取配置文件中的人像图、音频与模型路径。

3. 打开输出目录检查生成结果：口型应跟随示例音频、人脸身份稳定、无明显花屏。

4. 进阶：把自己的正脸照片与 wav 音频（16kHz~48kHz）替换到命令中重跑；需要图形界面时运行 python scripts/demo.py，在浏览器打开 Gradio 提供的本地地址，上传人像与音频即可生成。

conda activate hallo2python scripts/inference.py \  --config ./configs/inference/hallo2.yaml \  --source_image ./examples/source_image/1.png \  --driving_audio ./examples/driving_audio/1.wav# 结果视频输出到默认输出目录，可通过脚本参数指定输出路径

核心能力详解：4 大支柱

支柱一：长时生成（分层运动动力学）。 这是 Hallo2 最核心的架构创新。第一阶段扩散将整段长视频切成时间片与空间块，逐块做噪声预测并沿时间轴滑动推进，生成连贯的“长时低清底稿”；第二阶段扩散基于该底稿做高分辨率细节增强。两级配合既控制了显存占用，又避免了长时间生成中常见的运动漂移与细节崩坏。所谓“潜伏扩散”，是指模型先在压缩后的隐空间里生成画面，而非直接在像素空间操作。

支柱二：4K 高清输出与背景扩展。 模型原生支持 4K 级别输出，并内置背景扩展能力：输入普通竖版或半身人像时，可自动外扩为宽高比更接近横屏大屏的构图，满足平台封面、大屏投放等场景，省去人工补背景的环节。

支柱三：音频驱动的口型、表情与姿态。 音频经 wav2vec 类语音表征与情感表征模型提取后，与人脸重建得到的关键点、表情参数共同作为生成条件，驱动口型、表情乃至头部姿态。官方数据增强中的 speech-dynamics pairing 进一步强化“声音—动作”对齐，使口型节奏与语音韵律更贴合。

支柱四：身份保持与工程化交付。 模型沿用参考网络与面部重建模块，把输入人像的身份特征锁定在生成过程中，减少“换了一个人”的失真。工程侧提供 Gradio WebUI、文本→语音→数字人一键流程及多种采样器支持，比纯研究代码更接近可交付状态。

生产部署与监控：从上线到运维

部署方式一：单机批处理（推荐起步）。 Hallo2 对显存敏感：生成 1080p~2K 视频建议 24GB 显存（如 RTX 4090），4K 建议 48GB+ 或 A100/H800 级别。将任务组织为「一张正脸图 + 一段音频 → 一段 mp4」的独立元组，用 shell 循环或多进程并行调用官方推理入口并分别指定输出目录即可批量生产。同卡并发会争抢显存，需按实测峰值显存控制并发数。

部署方式二：服务化与任务队列。 当任务量上升为持续服务时，把推理封装为独立 worker：用消息队列（Redis、RabbitMQ 或云上任务队列）接收任务，worker 拉取后调用推理脚本并回写对象存储。单任务耗时从几分钟到几十分钟，必须采用异步模式而非同步请求—响应；GPU 节点按队列长度伸缩，模型权重随镜像预置，避免每次任务冷启动重新加载数 GB 权重。

可观测性。 记录每个任务的排队时间、推理耗时、峰值显存与成败状态；失败任务保留日志，并比对该任务的「音频时长 / 视频时长」以定位生成截断。质量侧抽检口型同步（可用 SyncNet 类打分或人工抽帧）与人脸身份一致性，长视频任务额外监控漂移与纹理崩坏。模型与依赖升级前，先在预发机跑一次官方示例做回归。

<p class="para-label">避坑清单：</p>

<ul class="dash-list"><li>显存不足时先降分辨率：4K 生成对显存和耗时要求极高，先用 1K/2K 验证效果再逐级上升，避免一上来就打满显存。</li><li>输入人像务必正脸、清晰、五官无遮挡：侧脸、低头、墨镜、强逆光会显著拉低口型与渲染质量，交付前用样本集做输入规范测试。</li><li>严格按当前 README 安装：权重目录结构与依赖版本随 commit 变动，网上旧教程的路径和参数可能已失效。</li><li>长视频生成耗时达分钟级到小时级：生产必须异步化并加超时保护，不要用同步请求—响应方式等待结果。</li><li>中文口型效果需自行验证：官方训练数据以英文口播为主，中文投产前先用小批量检查口型同步度与韵律表现。</li></ul>

版本迭代

Hallo 系列由复旦大学同一团队维护。2024-06 首发 Hallo v1，确立参考网络、音频网络与时间注意力融合的扩散框架；2024-10 发布 Hallo2 v0.0.1，引入分层运动动力学，把分辨率推至 4K、时长推至分钟级；2024-11 的 v0.0.2 补上 WebUI 与 TTS 流程等工程能力，仓库进入持续更新期（截至训练数据，可能已有更新版本）。

AI 应用场景

常见误区

面试题

参考来源

• webpageHallo2 GitHub 仓库官方代码、安装与推理教程
• webpageHallo v1 GitHub前代模型与演进参考