LivePortrait：开源人像驱动

为什么需要 LivePortrait：视频驱动 + 自然拼接，替代高成本重拍

传统“让一张照片说话”的方案存在三处硬伤。第一是成本：真人口播需要化妆、布光、拍摄、剪辑，单条素材的人力与时间成本都很高；第二是效果：基于 3DMM 参数的旧方案（如 SadTalker 系）在弱纹理、大角度、夸张表情场景下容易出现面部扭曲与躯干抖动；第三是控制力：多数开源方案只解决“嘴型对得上”，无法同时迁移头部姿态、眉毛与眼睛的细微表演。LivePortrait 用一段视频作为驱动信号，把真实表演的细节（不是单一音频特征）迁移到目标人像上，在保留身份特征的同时输出自然表情与姿态，从源头绕开了“形变伪影”这一传统难点。

它解决这一问题的方式是显式建模两个此前被忽略的环节：拼接（Stitching）与重定向（Retargeting）。拼接模块负责把生成的脸部运动自然接回源图的躯干与背景，避免“头是头、身体是身体”的断层感；重定向模块则对眼睛闭合度、嘴部开合度、头部姿态做独立系数控制，避免驱动人表情夸张时目标人像跟着“崩坏”。搭配官方报告的单帧 12.8ms（RTX 4090）推理速度，它把“可实时、可控制、可商用”三个要求同时落地，这也是它与纯音频驱动方案最本质的差异——LivePortrait 优先保证“演的像”，而不只是“嘴在动”。

对同一领域的从业者来说，LivePortrait 的价值还在于工程形态完整：CLI 一条命令出片、Gradio 拖拽即用、权重托管在国内外两个站点、协议允许商用，可以零门槛嵌入到数字人、短视频、直播等生产链路中。

安装与环境配置：3 步就绪

步骤一：克隆仓库并创建 Python 环境。 项目未发布到 PyPI，必须从 GitHub 克隆源码。环境建议使用 Python 3.10，通过 conda 创建独立环境，避免依赖冲突。

步骤二：安装依赖并下载预训练权重。 依赖以 requirements.txt 管理；权重不在代码仓库内，必须单独下载到 pretrained_weights/ 目录，否则运行时会报文件不存在。国内网络建议使用 ModelScope 源。

步骤三：验证环境。 检查 PyTorch 是否识别 CUDA，并确认权重目录结构完整。

# 1. 克隆仓库并创建环境git clone https://github.com/KwaiVGI/LivePortrait.gitcd LivePortraitconda create -n liveportrait python=3.10 -yconda activate liveportrait # 2. 安装依赖（PyTorch 需按本机 CUDA 版本安装，仓库默认支持 CUDA 11.8+）pip install -r requirements.txt # 3. 下载预训练权重（Hugging Face 与 ModelScope 二选一）pip install -U "huggingface_hub[cli]"huggingface-cli download KwaiVGI/LivePortrait --local-dir pretrained_weights --local-dir-use-symlinks=False # 国内加速可用 ModelScope：# pip install modelscope# modelscope download --model KwaiVGI/LivePortrait --local_dir ./pretrained_weights # 4. 验证环境python -c "import torch; print('torch', torch.__version__); print('cuda', torch.cuda.is_available())"ls pretrained_weights

快速上手：5 分钟跑通第一个示例

思路是先用仓库自带的示例素材验证全链路，再替换成自己的素材。仓库 assets/examples/ 下已提供源图（source/s9.jpg）与驱动视频（driving/d0.mp4），无需准备额外数据。首次运行会加载人脸检测与动画模型，耗时取决于 GPU；推理完成后在 animations/ 目录下生成结果视频。

分步操作：

1. 运行官方示例命令：python inference.py --source assets/examples/source/s9.jpg --driving assets/examples/driving/d0.mp4 --crop --scale 2.3。--crop 表示先做人脸检测与裁剪对齐，--scale 2.3 为裁剪缩放系数。

2. 检查输出：打开 animations/ 下生成的 mp4，确认人脸跟随驱动视频运动、躯干与背景无错位。

3. 换用自己的素材：源图建议正脸或半侧脸、光照均匀、无遮挡；驱动视频要求画面中仅一张正脸，时长不限。

4. 调节表情幅度：若嘴部动作过大或过小，调整 --lips_retargeting_multiplier；眼睛同理。以 1.0 为基准，按 0.1 步长微调。

5. 体验可视化界面：运行 python app.py，浏览器打开 http://127.0.0.1:7860，上传源图与驱动视频，调整参数后点击生成。

进阶技巧：当源图与驱动视频不是同一个人时，使用 --relative 相对模式（仅迁移表情与姿态的“变化量”）比绝对模式更稳定；官方默认开启相对模式。

# 官方示例：默认参数跑通python inference.py \  --source assets/examples/source/s9.jpg \  --driving assets/examples/driving/d0.mp4 \  --crop --scale 2.3 # 控制表情幅度：眼睛 0.7、嘴部 0.8python inference.py \  --source assets/examples/source/s9.jpg \  --driving assets/examples/driving/d0.mp4 \  --crop \  --eyes_retargeting_multiplier 0.7 \  --lips_retargeting_multiplier 0.8

核心能力详解：4 大支柱

支柱一·视频驱动的运动迁移。 LivePortrait 采用隐式关键点（Implicit Keypoint）框架：模型不直接估计 3DMM 参数或显式人脸关键点，而是让 MotionExtractor 从驱动视频中学习一组低维向量来编码表情与姿态变化，再与 AppearanceFeatureExtractor 提取的源图外观特征融合，通过 WarpingModule 解码生成运动后的帧。隐式关键点的优势在于对弱纹理区域（如额头、下巴）更鲁棒，这也是它在大角度下优于 3DMM 系方案的原因。

支柱二·拼接模块（Stitching）。 人脸区域运动时，源图的躯干和背景保持静止，直接替换会产生明显的“错位断层”。Stitching 模块预测一个形变补偿场（由 stitching multiplier 与 stitching offset 构成），让生成的脸部自然“长回”躯干与背景上。官方把它设计为插入到形变网络中的轻量模块，参与“推理时校准”——训练阶段不做拼接，推理时开启，从而避免训练与推理不一致的伪影问题。

支柱三·重定向模块（Retargeting）。 驱动人的表情幅度与目标人像不一定匹配：驱动人嘴张得很大，目标人像跟着张大会失真。Retargeting 模块用可分离的方式分别估计头部姿态、眼睛闭合度与嘴部幅度，并允许通过 CLI 参数独立调节（eyes、lips、stitching、face 四个 multiplier）。开发者可以在不重新训练的前提下控制“表演强度”，这是生产环境中迭代素材风格最常用的手段。

支柱四·批量与实时推理。 官方在 RTX 4090 上报告约 12.8ms 单帧推理，可支撑实时驱动；同一驱动视频支持驱动多张源图，便于批量生成同一表演下的多角色版本。代码仓库同时提供 CLI（inference.py）与 Gradio（app.py）两个入口，权重通过 Hugging Face 与 ModelScope 双通道分发，部署时无需额外注册或鉴权。

生产部署与监控：从上线到运维

部署方式一：单机 GPU 批处理管线。 适用于素材批量生产场景。以定时任务或消息队列驱动，每次调用 inference.py 处理一批（源图 × 驱动视频）组合，输出统一落盘到对象存储。需固定 PyTorch 与 CUDA 版本、锁定 requirements.txt，避免环境漂移；批处理作业要按 GPU 显存控制并发数，避免 OOM 导致整批失败。

部署方式二：Web 服务化。 官方 Gradio 应用可直接作为内网 Web 服务：通过 launch(server_name="0.0.0.0", server_port=7860) 暴露到内网，供内容团队上传素材生成结果；对外正式服务建议自封装 REST API（FastAPI），将推理封装为独立进程或独立服务，通过 HTTP 接收源图 URL 与参数、异步返回生成结果。注意端到端时延 = 人脸检测 + 裁剪 + 模型推理 + 视频编解码 + 网络传输，模型推理的 12.8ms 只是其中一环。

可观测性。 至少采集四类指标：GPU 利用率与显存占用（nvidia-smi 或 pynvml 定时上报）、单条任务耗时（按源图数量与视频帧数拆分统计）、失败率与失败原因（缺失权重、无检测到人脸、OOM）、队列积压量。输入输出建议做内容哈希记录，便于追责与重放。权重文件用 git-lfs 或对象存储管理并固化版本号；代码升级后先跑官方示例回归，再放量生产。

<p class=“para-label“>避坑清单：</p><ul class=”dash-list”><li>权重不随代码仓库分发，忘记下载到 pretrained_weights/ 会在运行时直接报错；首次配置后先 ls 确认目录非空。</li><li>对整张高清图直接推理通常效果更差：模型面向对齐裁剪后的输入，整图缩放会丢失面部细节且背景干扰运动估计；应用 --crop 做裁剪推理，再合成回原图背景。</li><li>不要用 --scale 和 retargeting multiplier 互相替代：--scale 控制裁剪采样范围，multiplier 控制表情幅度，两者作用链路不同，调错会同时引入形变和模糊。</li></ul>

版本迭代

LivePortrait 于 2024 年 7 月随论文开源，v1 以 Stitching 与 Retargeting 两个模块解决形变伪影问题；2025 年 4 月发布 v2 模型，主仓库支持 v1/v2 权重切换。仓库不维护语义化 Release tag，版本以 README 与权重仓库为准。

AI 应用场景

常见误区

面试题

参考来源

• webpageGitHub 仓库官方源码、CLI 用法与更新日志