ControlNet深度图控制

可视化演示

动态演示ControlNet深度图控的核心机制，通过采集/分析/决策/反馈四种模式展示关键概念与交互流程。

深度图基础

排练日，导演助理给每位演员发下一张走位图：主角贴在台口，配角退到中线，群演贴着天幕。大家一看图就知道自己该站在哪。AI 绘画里的深度图，扮演的正是这张走位图，只不过它服务的对象是扩散模型背后那个“什么都不懂”的 AI 导演。

如果只告诉 AI“一个人站在走廊尽头”，它大概率会把人和走廊画在同一个平面上。深度图把“远近”这个抽象关系变成一张图片，每个像素都记录对应的物体到镜头的距离。常见约定是白色代表近、黑色代表远，中间由灰阶过渡。这张图不需要颜色、不需要纹理，只需要告诉 AI：哪里是前景，哪里是中景，哪里是背景。

从数据角度看，一张彩色图是三个通道，深度图却可以压缩成单通道。它不关心墙是红是白，也不关心裙子是丝绸还是棉布，它只保留空间位置的骨架。正是因为这种“去装饰化”的信息，AI 才不会被颜色和纹理干扰，老老实实按照远近关系来排布画面。

所以，ControlNet 深度控制的第一步，永远是先准备一张正确的走位图。走位图清楚，演员才不会站错位；深度图准确，AI 才不会被“贴在一张纸”上的错觉带偏。

深度图生成原理

过去剧组里有一位测距员，负责用激光笔或卷尺量出每个位置离观众席多远。现在的 AI 也有自己的测距员，但它只看一张二维照片，就能猜出画面里的前后顺序，这个本领叫单目深度估计。

所谓“单目”，就是只靠一只眼睛看世界。人类闭上一只眼也能大致判断东西谁近谁远，靠的是遮挡关系、物体大小、透视线条和阴影。深度估计模型 MiDaS、DPT 等，就是从海量图片里学会这些视觉线索，再把它们换算成一张深度图。

为了让不同镜头拍出来的深度能够比较，模型通常会把距离归一化到 0 到 1 之间。最远的点记为 0，最近的点记为 1，乘上 255 就得到灰度图的灰阶。这个归一化过程可以写成：

每当 ControlNet 需要产生一张深度图时，测距员就会用这套逻辑把照片变成黑白图纸。图纸给出的不是精确的厘米数，而是相对的前后顺序，这对 AI 绘画来说已经足够了。

ControlNet控制流程

有了走位图，还得有人把它交给演员；这个人就是执行导演。ControlNet 干的就是执行导演的活：它手里攥着深度图，在 AI 每一次“落笔”时，通过耳麦提醒画面里每个元素“你太靠前了”或“你太靠后了”。

ControlNet 的工作流程并不神秘。首先，原始图片经过一个预处理器，例如 depth_midas，被翻译成深度图。然后 ControlNet 复制一份扩散模型的主干网络参数，用深度图作为输入，在去噪过程的每个时间步计算出“空间约束信号”。

这组信号会和文本提示词的特征一起，注入到生成模型的 UNet 主干中。可以这样理解：文本提示词负责“演什么、穿什么、什么氛围”，深度图负责“谁站前、谁站后、距离多远”。两者并行走完整个去噪过程，最终拼出一张既有内容又有空间的图像。

所以 ControlNet 不是简单地叠加滤镜，而是在扩散模型作画的整个过程中持续盯场。只要深度图给的方位合理，执行导演就会一遍遍提醒 AI 守住空间关系，这也是它能稳定控制纵深的原因。

参数调节技巧

执行导演并非嗓门越大越好。如果一个导演每秒钟都在演员耳边吼“往前！”“往后！”，演员反而没法正常表演。ControlNet 的深度控制也有类似的关键参数：预处理器、控制强度、起止步。

预处理器解决的是“走位图从哪里来”，常见的有 depth_midas、depth_leres、Zoe。对于真实照片，depth_midas 通常足够稳定；对于结构复杂的室内图，depth_leres 可能保留更多细节。控制强度则控制执行导演的“嗓门大小”：0 表示完全不干预，1 表示严格按走位图执行。实际使用时常从 0.7 起步，再根据结果微调。

起止步参数告诉 ControlNet“什么时候开始管、什么时候收手”。通常让它在生成早期介入，因为那时构图还没有定型；等到中后期，AI 开始刻画光影和材质时，可以逐步松开约束，避免生成结果僵硬。这种“前紧后松”的节奏，可以用下面这个简化公式来理解。

记住这个直觉，你就明白为什么控制强度不是越高越好。w 过大时，AI 会变成没有感情的复读机，画面层次虽然对了，颜色和笔触却容易碎掉。合适的 w，是让演员知道站位，同时又保留自己的发挥空间。

应用场景实战

走位图练熟之后，就可以正式排戏了。不同题材的“戏”，都能从深度图控制里受益。我们来看三场最常遇到的戏。

第一场是人像写真。照片里的模特站在街道中央，背景是虚化的楼房和路灯。如果没有深度约束，AI 可能把模特的身子和身后墙面粘在一起。生成一个人物深度图后，ControlNet 会保住“模特在前、楼房在后”的距离感，头发边缘也不会融进背景里。

第二场是室内设计效果图。客厅的沙发、茶几、窗帘和落地灯，各自都有明确的前后位置。用预处理器从粗糙的 3D 草稿或照片中提取深度图，AI 就能在保持透视不变的前提下，重新设计墙面材质和软装细节。

第三场是电商产品展示。一只手表放在台面上，背后是光滑的渐变背景。深度图让产品保持“悬浮在前景”的空间位置，AI 生成的倒影和光晕也跟着符合物理关系，不会出现产品被压扁或背景穿帮的问题。这三场戏的共同点，都是先用深度图钉住空间，再让 AI 自由发挥画面细节。

问题排查

再老练的导演也可能收到一张画错的走位图。只要深度图出了问题，后面的一切都会跟着翻车。第一个常见坑，是把普通灰度图当成深度图。灰度图记录的是亮度，深度图记录的是距离，两者可能完全相反；走廊的白墙和黑地板灰度差异巨大，距离却几乎相同。正确做法是用预处理器重新提取深度图。

第二个常见坑是生成结果边缘破碎。画面里的物体轮廓出现锯齿，或者像被图章盖过一样生硬，往往是预处理器选错、输入图像有遮挡或控制强度过高。此时可以换成更稳的 depth_midas，或者把控制强度从 0.9 回落到 0.6 左右。

第三个常见坑是层次感不足。人物和背景还是挤在一起，这通常因为控制强度太低，或者结束步设得太早，深度约束在生成早期就被丢掉了。可以试试把强度提到 0.8，结束步从 0.5 拉长到 0.7，让执行导演多盯一会儿场。

总之，排查顺序应该是：先确认深度图本身是准的，再检查 ControlNet 有没有被正确启用，最后才动参数。走位图没错，演员的走位才有救。

实战操作步骤

现在，让我们把整套排练流程串成一份可执行的操作单。假设你想把一张普通照片改造成空间感更强的 AI 绘画作品，可以按照下面几步走。

第一步，准备一张底图，在 ControlNet 面板里选择 Depth 预处理器，例如 depth_midas，现场生成一张深度图。生成后先看一眼预览图，确认近景是亮的、远景是暗的，如果反过来就检查预处理方向。第二步，把这个深度图作为 ControlNet 的输入条件，加载对应的深度控制模型，保持“启用”状态。

第三步，填写提示词并开始生成。建议把控制强度设为 0.7，起始步设为 0，结束步设为 0.65，让深度约束在构图期充分作用，在细节期逐渐退场。第四步，生成后对比两批图：一批开深度控制，一批关掉。如果开深度控制的那批空间关系明显更好，而关掉的那批出现前后粘连，说明参数方向是对的。

最后，根据结果小幅调整强度和起止步。这个过程就像导演彩排，第一次走位不满意，就调整走位图或喊话力度，多试几轮，总能找到演员最舒服的站位。实战中没必要一次追求完美，关键是把“深度图检查”这个动作养成习惯。

AI 应用场景

Python 演示

# 用 transformers 深度估计模型生成灰度深度图import numpy as npfrom PIL import Imagefrom transformers import pipeline  def estimate_depth(image_path):    # 载入单目深度估计模型    estimator = pipeline("depth-estimation", model="Intel/dpt-large")    image = Image.open(image_path).convert("RGB")    result = estimator(image)    depth = np.array(result["depth"])    # 归一化到 0 到 255    depth_min = depth.min()    depth_max = depth.max()    depth_norm = (depth - depth_min) / (depth_max - depth_min)    depth_8bit = (depth_norm * 255).astype(np.uint8)    return Image.fromarray(depth_8bit)  if __name__ == "__main__":    depth_img = estimate_depth("input.jpg")    depth_img.save("depth_map.png")    print("深度图已保存为 depth_map.png")

1. estimator = pipeline("depth-estimation", model="Intel/dpt-large")加载预训练的单目深度估计模型，相当于请来一位测距员。
2. image = Image.open(image_path).convert("RGB")打开输入图片并统一为 RGB 格式，避免通道数不一致导致报错。
3. depth = np.array(result["depth"])把模型输出的深度图像转成 NumPy 数组，方便做数值计算。
4. depth_norm = (depth - depth_min) / (depth_max - depth_min)实现深度归一化公式，把距离范围压缩到 0 到 1。
5. depth_8bit = (depth_norm * 255).astype(np.uint8)把 0 到 1 的深度值映射到 0 到 255 的灰阶。
6. depth_img.save("depth_map.png")保存为 PNG 图片，之后可以直接导入 ControlNet 的深度控制单元。

常见误区

面试题