NeRF与高斯泼溅：新一代数字人重建技术

CH-27-02-044·约 15 分钟·多模态与音视频AI·更新 2026-08-13

想象你想给自己做一个“数字手办”，让它替你出现在虚拟直播间带货。放在五年前，你得先请一位资深 3D 雕塑师，在电脑里一笔一笔捏出你的脸；再预约动捕影棚，穿上贴满反光球的紧身衣，录几个小时的动作数据。整套流程下来，预算抵得上一辆家用轿车，工期按周起步，想换套衣服还得从头返工。直到 NeRF 和高斯泼溅（3DGS）出现，画风突变：只需一段普通视频，算法就能像泥塑家一样用“光线”当毛线，织出一尊立体的光之雕塑；也能像乐高拼装师一样，用一堆半透明“胶珠”哗啦几下拼出一个能转着看的数字人。前者极致精细但慢，后者实时流畅还能局部换表情。这篇文章就用“泥塑家 vs 乐高拼装师”的故事，带你搞懂 NeRF 与 3DGS 的原理、速度差异、显存占用，以及它们在虚拟主播、数字人直播和互动场景中的落地玩法。

岗位关联

学会 NeRF 与 3DGS，等于掌握下一代数字人从“重资产手工建模”走向“视频秒变分身”的核心技能，是数字人产品、虚拟偶像与沉浸式内容从业者的必选项。

可视化演示
传统建模之痛
NeRF原理流程
高斯泼溅原理
速度资源对比
数字人应用落地
表情驱动挑战
开源工具推荐
AI 应用场景
Python 演示
常见误区
面试题

可视化演示

传统数字人建模成本高，NeRF和高斯泼溅(3DGS)让从视频重建高保真人体成为可能，画质和效率都大幅提升。你会... 切换模式查看不同维度。

本节配有交互动效（进入视口后自动加载，约 3KB）。

NeRF数字：核心原理动态展示关键流程与数据流动交互控件调节参数实时渲染 f(x) = transform(x) 核心概念的可视化呈现

传统建模之痛

想象你想给自己做一个“数字手办”，让它替你出现在虚拟直播间带货。放在五年前，你得先请一位资深 3D 雕塑师，在 Maya、Blender 里一笔一笔捏出你的脸；再预约动捕影棚，穿上贴满反光球的紧身衣，录上几个小时的动作数据。整套流程下来，预算抵得上一辆家用轿车，工期按周起步，想换套衣服还得从头返工。

这套“请雕塑家”的重型工艺，就是传统数字人建模的两根支柱：手工建模与动作捕捉。手工建模依赖美术师的经验和工时，一张高精度人脸就要雕好几天；动捕设备则必须占用专用场地、定期标定、清洗数据，每一环都在烧钱。

痛点非常具体：一是成本高，一个高精度数字分身的投入动辄数十万元；二是周期长，从扫描、建模、绑定到动画，动辄数周；三是不可复用，改发型、换服装、调表情都要人工干预。因此行业一直渴望更轻的路径——直接输入普通 RGB 视频，算法自动输出可驱动的数字人。正是这个诉求，把 NeRF 与高斯泼溅推上了舞台中央。

如果说传统建模是“请雕塑家上门”，NeRF 和 3DGS 就是把“拍照 5 分钟、自动出模型”变成了现实，这也构成了新一代数字人重建技术的序章。

NeRF原理流程

现在请出第一位主角：泥塑家 NeRF。他拿到你从各个角度拍的几十张照片后，既不揉泥也不刻刀，而是把一根根光线当作毛线，在空间中来回穿梭，织出一尊立体的“光之雕塑”。他的目标是：从任何一个角度看过去，光像的颜色与轮廓都和你本人分毫不差。

NeRF 全称神经辐射场（Neural Radiance Fields），核心思路是把“人”编码进一个神经网络。输入空间点的 5D 坐标——位置 $(x, y, z)$ 加上观察方向 $(\theta, \phi)$，网络输出该点的颜色和“密度”。密度可以理解为这团“泥”的致密程度：越大说明这里越接近物体表面，越会挡住后面的光。

训练时，NeRF 收集多视角图像与相机位姿作为监督。对每个像素，从相机沿视线方向发射一条光线，在光线上采样几十个点，把每个点的颜色按密度加权积起来，与真实像素颜色对比，反向优化网络。这个“沿光线积分”的过程，是体渲染的核心：

泥塑家的优点是“心里有全局”，缺点是每画一个像素都要算完整条光线，计算量感人。于是行业等来了效率更高的第二位主角——乐高拼装师高斯泼溅。

C(r) = \int_{t_n}^{t_f} T(t)\, \sigma\big(r(t)\big)\, c\big(r(t), d\big)\, dt

通俗说：每个像素颜色 = 沿光线把一路上的“泥点颜色”按透明度叠起来；前面泥点越透明，后面的泥点越明显。

光线参数化把从相机射向某一像素的那条光记作 $r(t)$，从起点出发、沿方向 $d$ 延伸，$t$ 表示走了多深。
$r(t) = o + t\, d$
密度采样$\sigma$ 表示光线上这个点挡光的程度，值越大说明这里越接近“实体表面”。
$\sigma\big(r(t)\big)$
颜色采样$c$ 表示这个点朝观察方向 $d$ 呈现的颜色，观察角度不同颜色也会略有差异。
$c\big(r(t), d\big)$
透射率$T(t)$ 表示光线从相机走到 $t$ 还没被前方泥点挡住的比例，像透过层层薄纱还能看到多远。
$T(t) = \exp\!\Big(-\int_{t_n}^{t} \sigma\big(r(s)\big)\, ds\Big)$
积分合成把整条光线上所有点的颜色按“可见份额”从近到远累加，得到像素的最终颜色。
$\int_{t_n}^{t_f} (\cdot)\, dt$

高斯泼溅原理

第二位主角是乐高拼装师 3DGS。他拿到同样的照片，先用“运动恢复结构”算法搭出你身体在 3D 空间的一堆骨架点，然后哗啦倒出一箱半透明胶珠，一颗颗贴到骨架附近：脸蛋上贴粉色胶珠、衣服上贴蓝色胶珠、轮廓密集处多贴几颗、过渡处疏一些。几分钟后，一个能转着看的立体人像就拼好了。

3DGS 全称 3D Gaussian Splatting（三维高斯泼溅），核心是把数字人表示为一组显式的“三维高斯椭球”。每个椭球就是一颗胶珠，携带位置、形状（协方差）、颜色与不透明度，训练中会自动克隆、分裂、移动，像乐高手法一样不停微调。

重建流程通常三步：先用 SfM 从多视角图像算出稀疏点云作为初始化骨架；再训练若干万到上百万个高斯点，让它们贴合人体表面；渲染时把所有高斯点按深度排序，逐个“泼溅”到屏幕上做 alpha 合成：

乐高拼装师最爽的一点是“随手可改”——想换表情只需动嘴边几颗胶珠。这种显式的可编辑性，正是后面表情驱动故事的关键伏笔。

C = \sum_{i=1}^{N} c_i\, \alpha_i \prod_{j=1}^{i-1}\big(1 - \alpha_j\big)

通俗说：画面颜色 = 从最近到最远，把每个胶珠的颜色按“它遮住多少”叠加上去，后面的胶珠只能透过前面空隙补色。

深度排序把所有高斯点按到相机距离从近到远排序，近的胶珠先参与合成。
$i = 1, 2, \cdots, N \quad (\text{由近到远})$
不透明度$\alpha_i$ 表示第 $i$ 颗胶珠的遮盖力，1 为完全不透，0 为完全透明。
$\alpha_i \in [0, 1]$
可见份额排在前面的所有点都没挡住的比例，相当于透过前排珠子的空隙看到后排。
$\prod_{j=1}^{i-1}\big(1 - \alpha_j\big)$
加权累加每颗胶珠的颜色 $c_i$ 乘上“遮挡份额×可见份额”，从近到远累加得到像素颜色。
$\sum_{i=1}^{N} c_i\, \alpha_i\, \prod_{j=1}^{i-1}\big(1 - \alpha_j\big)$

速度资源对比

泥塑家的作品要送进窑里烧三天，乐高拼装师却拼完举起来就能转给客户看。同样是造数字人，两种工艺的“到手速度”差了整整一个量级。

差别的根源在渲染范式：NeRF 是隐式表示，渲染每个像素都要发射一条光线、在线上采样 64~128 个点、逐个跑神经网络；3DGS 是显式表示，渲染就是所有高斯点一次性光栅化，GPU 并行度极高。

实测中，常见 GPU 上 NeRF 单帧渲染多在 1~20 FPS，工程优化后勉强互动；而 3DGS 轻松跑到 100 FPS 以上。训练时间上，NeRF 从小时级到天级（Instant-NGP 可压缩到分钟级），3DGS 通常 10~30 分钟即可完成。显存方面，3DGS 的百万级高斯点是显存主力，NeRF 网络本身不大，但训练时要缓存大量采样中间结果。复杂度的直观对比：

这好比直播带货选乐高（要快、要实时），拍电影选泥塑（要精、可离线）。两者并非取代关系，而是分工：NeRF 负责高保真，3DGS 负责实时交付。

T_{\text{NeRF}} = O(P \times S), \qquad T_{\text{3DGS}} = O(N)

通俗说：NeRF 的计算量 ≈ 像素数 × 每像素采样数，像逐格织毛衣；3DGS ≈ 高斯点总数，像一次性铺开拼图。

像素总数$P$ 代表一帧图像的像素个数，比如 1920×1080 约等于 207 万。
$P = W \times H$
采样步数$S$ 是每条光线上的采样点数，NeRF 中常见 64 到 128 步。
$S \approx 64 \sim 128$
NeRF 总开销每个像素都要跑 $S$ 次神经网络前向，总计算量与像素数成比例放大。
$O(P \times S)$
3DGS 总开销只需把所有高斯点一次性光栅化，总计算量正比于高斯点数量 $N$。
$O(N)$

数字人应用落地

手办做出来，是摆在柜子里吃灰，还是请上直播台做主角？数字人技术把生产成本打下来之后，最先涌入的是三类场景：虚拟主播、数字人直播、沉浸式互动。

虚拟主播与虚拟偶像，本质上是用艺人或 CG 形象的高保真数字分身替代真人出镜。过去一个虚拟偶像要养一支建模团队，如今用 3DGS 从出镜视频重建，成本骤降、批量可复制。数字人直播要求 30 FPS 以上的实时渲染和低延迟交互，3DGS 的实时性让它成为直播场景标配；NeRF 则在高保真离线内容——如 MV、电影级 CG 中保留价值。

互动场景包括 VR 演唱会、虚拟会议、电商试穿。用户希望自由变换视角，而 3DGS 的自由视角渲染天然契合这类需求：拼好的“乐高手办”无论从哪个角度围观，都只需要重新排一次序、光栅化一遍，成本极低。这也让“千人千面”的虚拟形象定制成为可能。

手办从展示柜走上直播台，背后是渲染延迟从“秒级”到“毫秒级”的飞跃。不过，想让数字人开口说话、微笑眨眼，还得闯过下一关：表情驱动。

表情驱动挑战

一个面无表情的主播没人爱看。给乐高手办换表情很省事：拆掉嘴角附近的几颗胶珠，换上微笑形状的新胶珠就行；可给泥塑手办改表情，就得把整张脸揉碎重捏，费时又容易面目全非。

表情驱动的本质，是把真人的面部运动——甚至直接是音频——映射到数字人模型的参数上。工程中最经典的工具是 blendshape：预定义几十个表情基元（嘴角上扬、皱眉、瞪眼等），用权重线性叠加出任意表情。blendshape 的数学表达很直观：

3DGS 的显式点云让局部形变和表情驱动变得非常自然，而 NeRF 的隐式耦合需要额外的动态变形网络，实时性压力更大。直播场景的硬指标是渲染 30 FPS 以上、端到端延迟 100ms 以内——这几乎是为 3DGS 量身定制的赛道。

B = B_0 + \sum_{k=1}^{K} w_k\, \Delta B_k

通俗说：任意表情 = 中性脸 + 若干表情基元按权重的叠加，权重由人脸跟踪实时给出。

中性脸基态$B_0$ 是没有表情的中性脸，作为一切表情的起点。
$B_0$
表情基元$\Delta B_k$ 是第 $k$ 种表情相对中性的偏移量，比如“嘴角上扬”带来的顶点位移。
$\Delta B_k$
表情权重$w_k$ 表示当前表情用到多少第 $k$ 个基元，通常由摄像头实时估计。
$w_k \in [0, 1]$
线性叠加把每个基元按权重加回中性脸，就得到当前帧的表情。
$\sum_{k=1}^{K} w_k\, \Delta B_k$

开源工具推荐

数字人工作室的工具架，如今摆满了开源“免费图纸”——就像乐高官方发布了拼装手册，任何人照着搭都能拥有一尊手办。NeRF 与 3DGS 的论文都附带了开源实现，社区迭代也非常活跃。

3DGS 方向推荐官方项目 "3D Gaussian Splatting"，以及加速库 gsplat、抗锯齿改进 Mip-Splatting。NeRF 方向推荐 NVIDIA Instant-NGP（分钟级训练）和 Nerfstudio（一站式工具箱，适合入门）。数字人专项则有 GaussianAvatars（3DGS 表情驱动）、DN-Splatter、FlashAvatar 等。

硬件上，单张消费级 RTX 显卡即可完成 3DGS 的训练与渲染，门槛远低于动捕棚。建议新手路径：先用 Nerfstudio 复现一组数据的 NeRF，再用官方 3DGS 重建同一组数据，亲身体验“泥塑”与“乐高”的速度差。

从请雕塑家到打开免费工具架，技术民主化让每个创作者都能拥有会说话的数字手办——这正是 NeRF 与高斯泼溅带给这个时代的故事。

AI 应用场景

虚拟主播统一形象生产

阶段：离线内容重建（3D 资产生成）

解决的问题：传统虚拟偶像建模需数周工时和数十万元预算，且每位达人都要单独定制；NeRF/3DGS 只需几十秒到几分钟的出镜视频，即可批量重建高保真分身。

具体案例：某 MCN 机构用 3DGS 为 30 位达人批量制作虚拟分身，单人成本从 20 万元降至 3 万元，制作周期从 4 周缩至 2 天，随后统一接入直播与短视频管线。

数字人实时直播

阶段：实时推理与渲染

解决的问题：直播要求 30 FPS 以上渲染和毫秒级交互延迟，传统 NeRF 逐光线采样难以实时；3DGS 光栅化渲染轻松达标，且显式点云便于表情与动作驱动。

具体案例：某虚拟主播团队用真人摄像头驱动 3DGS 数字人，在 B 站与抖音进行 24 小时直播带货，观众弹幕点歌可触发定制口型与动作，后台延迟约 80ms。

沉浸式互动体验

阶段：混合管线（离线高保真 + 在线实时）

解决的问题：VR 演唱会、虚拟会议需要自由视角，传统 3D 模型质感粗糙；NeRF 离线生成高保真光场细节，3DGS 在线承担实时渲染。

具体案例：某虚拟偶像演唱会，艺人在多视角采集棚录制 10 分钟视频后重建数字分身，观众佩戴 VR 设备可 360° 围观，AI 根据观众位置实时调整视角。

Python 演示

python39 行

import numpy as np WIDTH, HEIGHT = 640, 480PIXELS = WIDTH * HEIGHTSAMPLE_PER_RAY = 64GAUSSIAN_COUNT = 200_000  def nerf_workload():    """NeRF 风格: 每个像素一条光线, 线上多次采样"""    return PIXELS * SAMPLE_PER_RAY  def gs_workload():    """3DGS 风格: 所有高斯点一次性投影到屏幕"""    return GAUSSIAN_COUNT  def alpha_blend(colors, alphas, depths):    """按深度从近到远做 alpha 合成, 模拟 3DGS 像素着色"""    order = np.argsort(depths)    acc = np.zeros(3)    for i in order:        acc = acc * (1.0 - alphas[i]) + colors[i] * alphas[i]    return acc  if __name__ == "__main__":    n = nerf_workload()    g = gs_workload()    print(f"NeRF 每帧计算量: {n/1e6:.1f}M 次采样, 3DGS 每帧: {g/1e6:.1f}M 次投影")    print(f"计算量差距约 {n/g:.0f} 倍")     rng = np.random.default_rng(42)    colors = rng.random((100, 3))    alphas = rng.random(100) * 0.5 + 0.1    depths = rng.random(100)    pixel = alpha_blend(colors, alphas, depths)    print(f"100 个高斯点合成示意: RGB=({pixel[0]:.2f}, {pixel[1]:.2f}, {pixel[2]:.2f})")

目的：用纯 NumPy 直观对比 NeRF 与 3DGS 的每帧计算量，并演示 3DGS 像素着色的核心 alpha 合成逻辑。

return PIXELS * SAMPLE_PER_RAYNeRF 的计算量等于像素数乘每条光线的采样步数，这是它慢的根源。
return GAUSSIAN_COUNT3DGS 的计算量约等于高斯点总数，一次光栅化即可覆盖全屏。
order = np.argsort(depths)先把高斯点按深度排序，模拟“从近到远”的渲染顺序。
acc = acc * (1.0 - alphas[i]) + colors[i] * alphas[i]alpha 合成的核心递推式，等价于正文公式中的加权累加。
if __name__ == "__main__":Python 可执行入口，运行脚本即可看到两者的量级差距。

常见误区

误区以为高斯泼溅会让画面模模糊糊，像加了高斯模糊，所以数字人一定不如 NeRF 清晰。

正解3DGS 里的“三维高斯”是数学上的概率分布，用来描述每颗“胶珠”在空间中占据的范围。渲染时虽然有软边，但几十万颗胶珠拼合后画面非常锐利。真正决定清晰度的是高斯点数量和训练充分度，而不是“模糊”。

为何常见：“高斯”在图像处理里常指模糊（高斯平滑），同名概念让人先入为主。

误区NeRF 是“神经网络”，感觉更高级，重建出的数字人一定比 3DGS 更精致。

正解在充分训练且机位充足时，3DGS 的画质与 NeRF 相当，甚至能保留更锐利的细节。两者各有 artifact：NeRF 易在薄结构处发雾，3DGS 易在远景出现“飞溅”碎片。选谁更多看速度需求和可编辑性，而非画质高低。

为何常见：3DGS 论文发布于 2023 年，比 NeRF 晚了三年，人们习惯认为“后出的要追赶前辈”，忽略了其原生优势。

误区做数字人一定需要动捕棚、惯性套装、深度相机等专业设备，否则无法开始。

正解NeRF 与 3DGS 只需普通 RGB 视频（手机拍摄即可）加相机位姿。动捕主要用于“驱动”——给数字人提供动作数据；而“重建”只需要多视角图像就够了。许多直播团队就是让真人主播自由表演，用普通摄像头捕捉表情和动作去驱动分身。

为何常见：传统数字人流程（扫描+动捕+手工绑定）太深入人心，很多人把“重建”和“驱动”混为一谈。

误区模型训练完，接上摄像头就能开播，表情和动作自动同步。

正解重建只解决“静态形象”，直播还需要额外的驱动管线：人脸/肢体追踪、表情参数估计、blendshape 或变形场映射、唇形同步等。3DGS 的可编辑性让驱动更容易，但仍需要工程集成。

为何常见：演示视频往往剪辑掉中间的调试过程，观众误以为端到端一键完成。

面试题

Q1. 3D Gaussian Splatting 重建数字人时，初始的“骨架点云”通常来自哪个环节？

单选题 · easy

A.手工绘制的网格模型
B.SfM 稀疏点云重建← 正确答案
C.随机生成的噪声粒子
D.深度学习语义分割图

答案：B。3DGS 用 SfM 从多视角图像解出稀疏 3D 点作为高斯点初始化，就像乐高先搭骨架。手工网格、随机噪声、语义分割图都无法直接提供几何先验。

Q2. NeRF 中的神经网络（MLP）直接输出的两个核心量是？

单选题 · easy

A.颜色与体积密度← 正确答案
B.深度与法线贴图
C.位移与旋转参数
D.光照与阴影强度

答案：A。NeRF 输出颜色 $c$ 和密度 $\sigma$，密度决定该点是否挡光。类比泥塑家判断“这团泥在哪里、是什么颜色”。

Q3. 数字人直播需要实时渲染，以下哪种方法更合适？

单选题 · easy

A.NeRF 隐式场方法
B.高斯泼溅光栅化← 正确答案
C.手工关键帧动画
D.光线追踪全局光照

答案：B。3DGS 光栅化渲染快，可达实时帧率；NeRF 逐光线采样慢。就像乐高拼完举起就能转着看，泥塑要慢慢烧制。

Q4. NeRF 体渲染沿什么路径进行积分累加？

单选题 · mid

A.从光源出发的光线
B.从相机发出的光线← 正确答案
C.一条随机的折线段
D.表面法线方向曲线

答案：B。NeRF 为每个像素从相机发射一条光线（ray），沿光线采样点做积分，好比透过层层薄纱去观测最终颜色。

Q5. 3DGS 相比 NeRF 渲染更快的关键原因是？

单选题 · mid

A.用光栅化代替逐光线采样← 正确答案
B.大幅降低画面分辨率
C.采用更小的神经网络
D.提前缓存所有视频帧

答案：A。3DGS 把所有高斯点一次性光栅化到屏幕，NeRF 则逐像素逐点采样，两者计算量差近百倍。降低分辨率或缓存帧并非核心原因。

Q6. 训练一个 NeRF 人体重建模型，通常需要准备哪些数据？

多选题 · mid

A.多个视角的彩色图像← 正确答案
B.每张图对应的相机位姿← 正确答案
C.人体标准骨骼模板
D.逐像素的深度标注

答案：AB。NeRF 需要多视角图像和对应相机位姿，像泥塑家需要从各个角度观察模特。骨骼模板和深度标注是可选或额外获取的，不是必需输入。

Q7. 3DGS 中每个“高斯光斑”主要保存了下面哪一组属性？

单选题 · mid

A.位置颜色透明度形状← 正确答案
B.权重偏置激活函数
C.顶点法线贴图坐标
D.骨架层级动画曲线

答案：A。每个三维高斯椭球包含中心位置、协方差（形状）、球谐系数（颜色）和不透明度，对应乐高积木的位置、颜色与大小。

Q8. 让数字人“开口说话”并带表情，常见的驱动方式有哪些？

多选题 · hard

A.表情基元线性叠加← 正确答案
B.神经变形场驱动← 正确答案
C.音频转口型映射← 正确答案
D.手调关键帧记录

答案：ABC。blendshape 线性组合、神经变形场、音频到口型的映射都是常用驱动手段；手调关键帧耗时且无法实时响应，不适合直播场景。

Q9. 关于 3DGS 显存占用，正确的说法是？

单选题 · hard

A.与高斯点数正相关可评估← 正确答案
B.显存越大画质必然越高
C.与训练视频时长无关
D.渲染占用一定远大于训练

答案：A。3DGS 显存主要由高斯点数量决定，可据此估算资源需求；显存大不代表画质高，画质还关联训练充分度与相机分布。

Q10. 用 3DGS 把真人视频做成可交互数字人，合理流程是？

多选题 · extreme

A.多视角视频采集标定← 正确答案
B.SfM 初始化点云← 正确答案
C.训练与自适应加密← 正确答案
D.单张照片直接输出

答案：ABC。标准流程为采集标定 → SfM 点云初始化 → 训练高斯点并自适应加密 → 绑定驱动后实时渲染。单张照片信息不足，无法完成完整的自由视角重建。