ControlNet 是 Stable Diffusion(SD,一种开源文本生成图像模型)生态中最关键的精准控制插件。它通过在扩散模型(diffusion model,一类通过逐步去噪生成图像的机器学习模型)推理过程中注入额外条件输入——如线条、深度图、骨骼姿态、语义分割图等——让生成结果不再“只靠提示词碰运气”,而是在构图、姿态、轮廓、光照等维度上可复现、可量化、可控。ControlNet 最初由张吕敏(Lvmin Zhang)团队于 2023 年 2 月提出,随后被集成进 AUTOMATIC1111 的 Stable Diffusion WebUI、ComfyUI、Fooocus 等主流 SD 前端,其模型权重与配套预处理器(如 Canny 边缘检测、M-LSD 直线检测、OpenPose 姿态估计等)形成了目前最完整的生成式 AI 图像控制工具链。对于产品设计稿落地、电商模特换装、游戏原画辅助、建筑方案推导等工作流,ControlNet 已从“实验室插件”变成了生产级管线的一部分。 本攻略将按上手路径组织:先给工具速览与同类对比,再给出基于 WebUI 的安装步骤与最小可用示例,接着拆解 8 大核心控制能力与生产级部署方案,最后用版本迭代、应用场景、常见误区和面试题收尾。所有命令与配置均以 2025 年 5 月可用的官方插件版本为准。
掌握 ControlNet,等于掌握了 Stable Diffusion 从“抽卡”到“定向生成”的分水岭技能——这是 AI 图像从业者从入门迈向生产力交付的必修课。
目录
速览卡是工具类内容的固定首屏模块:30 秒判断「这工具是什么、能不能商用、适不适合我」。
为什么需要 ControlNet:提示词控制不了构图 → 多维条件注入
提示词加负面提示词(negative prompt,即告诉模型“不要生成什么”的文本指令)的组合,在 2023 年之前是控制 SD 生成的唯一手段。但文本描述存在天然的粒度天花板:你可以写出“一只站在岩石上的鹰”,却无法精确规定鹰的翅膀角度、岩石轮廓、镜头焦距和背景分层。即使配合 seed 值(随机种子,用于固定初始噪声)和 CFG scale(引导强度参数,控制生成结果贴近提示词的程度,7 附近为常用值),同一提示词反复生成得到的也只是“同一语义、不同构图”的输出——姿态、边缘、空间关系全部不可控。对需要批量生产一致性素材的团队而言,这意味着每张图都要人工筛选甚至重绘,效率极低。
ControlNet 的解决方案是给扩散模型增加一个“条件编码器”(condition encoder):它接受一张参考条件图(如线稿、深度图、骨骼图),将其编码为与 UNet(Stable Diffusion 中负责去噪的核心网络架构)各层特征兼容的条件张量,再与原始提示词 embedding 一起注入去噪过程。这样做有三个直接收益:第一,条件图在整条去噪链路中持续作用,而不是只在开头拼一下,因此控制力强且稳定;第二,通过 res-block 与 control-block 的零卷积(zero convolution,初始权重为零的卷积层,保证训练初期不破坏原模型行为)设计,可以在不重训底模的前提下新增控制能力;第三,条件类型可插拔,同一份权重可同时支持 Canny、Depth、OpenPose 等多种控制模式。
与 T2I-Adapter(腾讯提出的同思路适配器方案)相比,ControlNet 的优势是生态成熟度——所有主流 SD 前端都内置了它的插件或节点,社区预训练模型数量远超任何同类方案。而它的问题也很明确:显存开销比纯文生图高出 30%~50%,且不同控制条件的权重组合需要大量调参经验。但对“构图必须精确”的生产场景,这仍是目前性价比最高的方案。
安装与环境配置:4 步就绪
以下安装以 AUTOMATIC1111 Stable Diffusion WebUI(最主流的 SD 图形界面)为例;ComfyUI 用户可直接在节点管理器中搜索 ControlNet 节点安装。
步骤一:安装 WebUI 扩展。 打开 WebUI 的“扩展 → 从网址安装”,填入官方扩展地址 https://github.com/Mikubill/sd-webui-controlnet.git;或手动克隆到 extensions 目录。
步骤二:下载模型权重。 ControlNet 的控制能力储存在独立于底模的模型文件中。从 Hugging Face 下载 .safetensors 格式权重(推荐 1.1 系列),放入 models/ControlNet 目录。不同控制类型(Canny、Depth、OpenPose 等)需要对应权重文件,不能混用。
步骤三:安装预处理器依赖。 边缘检测、深度估计等预处理器(preprocessor,把普通图片转换成条件图的算法)需要额外 Python 包。WebUI 的 ControlNet 扩展会在首次使用时自动检测缺失依赖并提示安装,也可以手动执行 pip 补齐。
步骤四:验证安装。 重启 WebUI 后,在 txt2img(文生图)页面底部应出现 ControlNet 折叠面板。上传一张参考图并选择任意控制类型,若“预览预处理结果”能正常输出条件图,即安装成功。
# 1. 克隆扩展(WebUI 方式)git clone https://github.com/Mikubill/sd-webui-controlnet.git extensions/sd-webui-controlnet # 2. 安装预处理器所需的 Python 依赖pip install opencv-python scipy scikit-image # 3. 下载官方 1.1 系列权重(示例:Canny 边缘检测模型,SD1.5 底模)wget -P models/ControlNet https://huggingface.co/lllyasviel/ControlNet-v1-1/resolve/main/control_v11p_sd15_canny.pth # 4. 重启 WebUI 后访问 http://127.0.0.1:7860,在 txt2img 页面确认 ControlNet 面板出现
快速上手:30 分钟跑通线稿上色
目标:给一张简单线稿自动着色并保持轮廓不变。这是 ControlNet 最常见、也最能体现代际差异的入门场景。
步骤一:准备条件图。 找一张白底黑线的线稿(可直接从任一绘图软件导出),确保线条清晰、背景干净。ControlNet 对条件图的宽容度较高,无需人工提纯。
步骤二:启用 ControlNet 面板。 在 txt2img 页面底部展开 ControlNet 面板,勾选“启用”。将线稿拖入“单张图片”上传区。这一步是全部操作的核心入口。
步骤三:选择控制类型与预处理器。 控制类型下拉框选择“Canny(软边缘)”,预处理器选择“canny”(若无特殊需求保持默认参数)。点击“预览预处理结果”可看到线稿被转换后的边缘图——若输出为空,说明预处理器依赖缺失或参数不当。
步骤四:设置控制权重与引导时机。 控制权重(Control Weight)设置为 0.8~1.0,数值越高生成的图越贴近线稿;引导起始/结束步数(Starting/Ending Control Step)保持 0.0 和 1.0,即全程引导。若不确定权重,从 0.8 开始试。
步骤五:设置文生图主参数并生成。 提示词填写线稿对应的内容描述(如“anime girl, full color, detailed shading”),采样器选择 Euler a 或 DPM++ 2M,步数 20~30,分辨率与线稿比例一致。点击生成,即可得到轮廓与线稿一致但已上色的成图。
结果应能清晰辨认原始线稿的每条轮廓线。进阶技巧:把“控制权重”降至 0.5 左右,可让模型在轮廓基础上适当自由发挥笔触;配合 Denoising strength(重绘幅度,值越高输出与输入差异越大)对局部区域重绘,可实现“只改配色不改构图”的精细调节。
核心能力详解:8 大支柱
支柱一:Canny 边缘检测。 通过 Canny 算法提取参考图的强边缘作为控制条件,适合需要严格保留轮廓的场景,如线稿上色、图标转绘。优点是边界最锐利、控制最直接;缺点是会丢失内部纹理与灰度信息,生成的图在轮廓内部自由度较高。生产中使用频率最高。
支柱二:Depth 深度图。 使用 MiDaS 等深度估计模型生成灰度深度图,控制生成内容的空间层次与前后遮挡关系。适合室内设计、场景搭建、多物体构图——它可以确保“桌子在椅子后面、灯光从左侧来”这类空间关系不被打乱。
支柱三:OpenPose 姿态。 从参考人物图中提取骨骼关键点,用于控制人物姿态。对电商模特、舞蹈动作、角色设定图等“必须保持人体结构”的场景是刚需。配合 ControlNet 提供的姿态预览功能,可先人工摆好骨架再让模型填充细节。
支柱四:MLSD 直线检测。 专门检测图片中的直线段(墙壁、天花板、窗户等),用于室内设计和平直线条场景。与 Depth 配合使用,可同时锁定“直线结构”和“空间深度”两个维度。
支柱五:Normal 法线贴图。 将参考图转为法线图(存储表面朝向信息的贴图,常用于 3D 渲染),控制生成物的立体起伏与光影方向。适合产品渲染、3D 辅助设计,但法线图本身不易获取。
支柱六:Lineart 线稿提取。 比 Canny 更“艺术化”的边缘提取方式,能保留手绘线条的笔触质感,适合漫画、插画线稿的上色与控制。与 Canny 的区别在于对噪声更鲁棒,线条更接近“人类画出的线”。
支柱七:Tile 分块重绘。 将参考图切成小块逐一控制重绘,适合超分辨率放大、局部修图、风格迁移。配合低 Denoising strength 使用,可在保持原图结构的前提下改变画风,是目前电商图翻新最常用的模式。
支柱八:IP-Adapter(配套扩展)。 虽不属于 ControlNet 原生权重,但作为官方推荐的配套能力,通过图像提示(image prompt)将参考图的整体风格或主体特征注入生成结果。它与 ControlNet 的条件注入互补——前者管“风格像不像”,后者管“结构准不准”。
生产部署与监控:从上线到运维
部署方式一:本地 GPU 工作站。 单张 RTX 3090/4090(24GB 显存)即可支撑完整工作流:SD 底模 + ControlNet 条件模型 + 预处理器同时加载。部署要点是显存管理——ControlNet 权重约 1.4GB/个(SD1.5 系列),多个控制条件叠加时注意显存上限。生产环境建议用 API 方式(通过 WebUI 的 /sdapi/v1/txt2img 接口)封装成内部服务,而不是直接操作页面。
部署方式二:云 GPU 容器。 使用 RunPod、AutoDL、Vast.ai 等平台的 PyTorch 镜像,预装 WebUI 或 ComfyUI。通过 --api 参数启动服务,前端应用通过 HTTP 调用生成接口。此方式适合需要弹性扩缩容的团队——按生成的张数付费,闲置即停,单张图成本可控制在 0.02~0.1 美元(视底模与分辨率而定)。
可观测性。 生产环境必须记录三类数据:一是生成请求日志(提示词、条件图 hash、控制权重、seed、耗时),用于复现问题与优化参数;二是显存与 GPU 利用率监控,ControlNet 推理时显存占用波动大,建议用 nvidia-smi 定时采样并接入 Grafana;三是输出质量抽检,建立“控制保真度”人工评测集(对比条件图与输出图的轮廓相似度),定期回归防止底模或权重升级导致质量回退。
<p class=“para-label“>避坑清单:</p><ul class=”dash-list”><li>权重与底模版本必须匹配:SD1.5 底模只能用 control_v11p_sd15 系列权重,SDXL 底模必须用 control_v11p_sdxl 系列,混用会直接报错或输出严重畸形图;下载前看清文件名中的 sd15/sdxl 标记。</li><li>预处理器依赖缺失是最常见的“安装失败”原因:canny 等多数组件需要 opencv-python,depth 类需要 transformers 与 torchvision,报错时先看扩展日志而非重装整个 WebUI。</li><li>控制权重不是越高越好:超过 1.2 时容易出现线条扭曲、色彩断层等过拟合伪影;正确做法是在 0.6~1.0 区间内配合 CFG scale 做 2~3 次小步调参。</li><li>“预览预处理结果”与“最终控制效果”是两回事:预览图只显示条件提取结果,不代表最终输出,评估效果必须以最终生成图为准。</li><li>显存不足时优先关掉“完美像素模式”并降低预处理分辨率,而不是直接减小控制权重——前者保住控制力,后者会牺牲构图精度。</li></ul>
版本迭代
ControlNet 的演进主线是“从研究原型到工程生态”。2023 年 2 月发布 1.0 研究版,2023 年 5 月发布 1.1 系列(按控制类型拆分为 14 个独立模型),2023 年底适配 SDXL 底模,2024 年进入维护期(1.1.4xx 系列)。截至 2025 年 5 月,官方仓库未发布 2.0 正式版,社区活跃度集中在配套生态(IP-Adapter、T2I-Adapter)与第三方微调模型上。(截至训练数据,可能已有更新版本)
| 版本 | 时间 | 变化 | 提升 |
|---|---|---|---|
| 1.0 | 2023-02 | 研究原型发布 | 提出零卷积与条件注入架构,支持 Canny、Depth、Normal 等 8 种控制类型 |
| 1.1.0 | 2023-05 | 模型按控制类型拆分 | 14 个独立模型(多合一 → 单类型单模型),每类权重体积从 ~5GB 降至 ~1.4GB,支持分类训练 |
| 1.1.1xx | 2023-06 | 稳定版发布 | 修复显存泄漏与模型加载异常,完善预处理器 API 规范 |
| 1.1.4xx | 2024 | 维护期更新 | 补充 SDXL 权重(control_v11p_sdxl 系列),适配新版 WebUI 扩展,性能优化 |
| 基准 | ControlNet 1.0 | ControlNet 1.1 | |
|---|---|---|---|
| 单模型显存占用(SD1.5,512×512) | ~2.1GB | ~1.4GB | 1.1 拆分模型后显存开销下降约 33% |
| 支持控制类型数量 | 8 类 | 14 类 | 新增 MLSD、Tile、Lineart 等工业场景类型 |
| 生成耗时(RTX 3090,20 步) | 约 6.5 秒 | 约 5.8 秒 | 1.1 系列因模型更小,推理耗时缩减约 10% |
ControlNet 的核心竞争力不在“版本号”,而在生态位——它定义了 SD 条件注入的标准范式,后续的 T2I-Adapter、IP-Adapter 均在不同维度上致敬与补充其设计。选型时无需追求最新版本,1.1.4xx 稳定线已覆盖全部生产场景;若需要更强的风格控制能力,应评估 IP-Adapter 等配套方案而非等待 ControlNet 2.0。
| 维度 | ControlNet | T2I-Adapter | IP-Adapter | Depth Library |
|---|---|---|---|---|
| 定位 | SD 条件注入插件 | 腾讯开源的轻量适配器 | 图像提示风格适配器 | 深度图生成工具集 |
| 编排范式 | 条件图 + 预处理器 | 条件图轻量注入 | 图像 embedding 注入 | 深度图预处理 |
| 类型约束 | 14+ 种控制类型 | 7+ 种(偏结构) | 风格/主体/构图 3 类 | 仅深度图 |
| 学习曲线 | 中等(面板参数多) | 低(参数少) | 低(单权重注入) | 低(单功能) |
| 生态集成 | WebUI/ComfyUI/Fooocus | WebUI/ComfyUI | WebUI/ComfyUI | WebUI 插件 |
| 生产部署 | 成熟(API 封装) | 一般(社区使用) | 成熟(单模型轻量) | 辅助工具 |
| License | Apache-2.0 | Apache-2.0 | Apache-2.0 | MIT |
| 适合谁 | 需精确控制构图的团队 | 轻量结构控制场景 | 风格一致性优先场景 | 仅需深度条件的用户 |
选型建议:若核心痛点是“构图不听话”,选 ControlNet 准没错——它覆盖的控制类型最全、社区权重最多。若只是想把参考图风格迁移过来而不关心结构,IP-Adapter 更轻量高效。T2I-Adapter 适合显存有限的场景,但控制精度和社区生态都弱于 ControlNet。Depth Library 仅在纯深度条件需求下可作补充。
AI 应用场景
场景一:电商模特图生成
阶段:图像生成与风格迁移
解决的问题:电商服装拍摄成本高、模特档期有限。传统方案是拍一次底图作为模板,再用 Photoshop 手动换装或换脸,单张耗时 30 分钟以上。使用 ControlNet 的 OpenPose + Depth 双控制流程,将模特底图的姿态与空间信息注入生成过程,配合 IP-Adapter 锁定模特面部特征,可实现“同一模特、多套服装”的批量生成。
具体案例:某电商团队用 ControlNet 搭建了“底图 → 姿态提取 → 服装提示词 → 批量生成”的流水线,每套服装产出 20 张不同机位图仅需 40 分钟,单张成本从人工 P 图的 15 元降至 0.5 元以内,且所有成图共享同一姿态骨架,排版时可无缝拼接。
场景二:室内设计方案推演
阶段:多模态生成与空间约束
解决的问题:室内设计师需要在同一户型结构下快速产出多种风格方案。传统方式是用 SketchUp 建模再渲染,单套方案耗时 2~4 小时,且修改风格时需要重跑渲染。使用 ControlNet 的 MLSD + Depth 双控制,先锁定户型图中的直线结构与空间深度,再通过提示词切换“现代简约”“新中式”“工业风”等风格标签,可在 10 分钟内产出 10 套风格方案。
具体案例:某全案设计工作室将户型图经 MLSD 提取结构线、Depth 提取空间层次后,配合 SD 底模生成风格化效果图,用于提案阶段的快速方案对比。原先一个户型 3 套风格需要 1 天,现在 1 小时完成,且各方案的墙体与门窗位置严格一致,可直接叠加平面图进行汇报。
场景三:游戏原画与世界观一致性控制
阶段:概念设计与资产批量产出
解决的问题:游戏原画需要保持角色特征、武器造型、场景风格的高度一致,传统 AI 抽卡式生成无法满足。使用 ControlNet 的 Lineart + Tile 组合控制,先用手绘线稿锁定角色轮廓,再用低权重 Tile 重绘保证卷轴、铠甲等道具细节不崩坏,配合 LoRA(低秩适配器,用于把特定风格或角色特征注入模型的小型微调文件)锁定角色面部,可实现批量产出。
具体案例:某独立游戏团队用 ControlNet 为 12 个角色各生成 20 张表情差分图,全程共用同一角色设定线稿,最终输出的一致性通过率从裸 SD 的 20% 提升至 85% 以上,表情差分制作时间从 3 天缩短至 4 小时。
常见误区
误区我听说 ControlNet 很厉害,是不是要单独下载一个软件才能用?它有没有自己的安装包?
正解ControlNet 不是独立软件,而是 Stable Diffusion 的插件/扩展。它必须运行在 SD 的某个前端(WebUI、ComfyUI、Fooocus)之上,安装到 extensions 目录后,控制功能以面板或节点的形式出现在现有界面中。你还需要一个 SD 底模(如 SD1.5、SDXL)作为生成基础,ControlNet 本身不包含生成能力。
为何常见:ControlNet 的官方仓库和演示视频都以“单独发布”的形式呈现,容易让人误以为它是独立程序。同时它的权重文件确实需要单独下载,进一步强化了“独立软件”的印象。
误区想让生成图更贴近条件图,就把控制权重拉到 2.0,是不是控制力就翻倍?
正解控制权重超过 1.2 后,生成的图容易出现三种伪影:线条扭曲、色块断层、局部结构重复。原因是条件注入强度过高时,UNet 的原始生成能力被压制,模型会“过度模仿”条件图而失去语义理解。最佳权重区间是 0.6~1.0,并且要配合 CFG scale 联动调参——结构类控制(Canny、MLSD)权重可偏高,语义类控制(Depth、OpenPose)权重可偏低。
为何常见:多数教程只教“权重越高越像”,未说明其副作用。初学用户面对“不够像”问题时本能地调高权重,忽略了从预处理器参数和条件图质量角度排查。
误区ControlNet 都说很智能,我随便拿一张模糊的照片做条件图,也能生成精细的成品吧?
正解ControlNet 的预处理器只是提取条件特征的“翻译器”,其输出质量直接决定生成质量。模糊、过曝、杂乱的条件图会先产出劣质条件特征,再被 ControlNet 放大到整张生成图中。正确做法是先检查预处理预览图:边缘断裂、深度丢失、骨架错位都应先在条件图层面解决,而非调大控制权重。
为何常见:预处理器的工作对用户是黑盒,新手只看到“上传图片 → 出图”的表象,忽略了中间的条件提取环节,自然会对质量差异感到困惑。
误区我用的是 SDXL 底模,直接把 SD1.5 的 ControlNet 权重加载进去应该也能用吧?
正解不能。ControlNet 权重与底模的 UNet 架构绑定,SD1.5 权重(文件名含 sd15)与 SDXL 权重(文件名含 sdxl)的层结构完全不同,混用会报错或生成严重畸变图像。选权重时先确认自己底模是 SD1.5 还是 SDXL,再到对应目录下载。SDXL 可用的 ControlNet 官方权重以 1.1 系列为主,控制类型比 SD1.5 少,但基本覆盖 Canny、Depth、OpenPose、Tile 等常用项。
为何常见:SD 底模本身就是权重文件,用户对“权重”与“底模”的兼容关系缺乏意识,看到 ControlNet 文件名中同为 1.1 版本就误以为通用。
误区ControlNet 参数调好后,批量生成时直接跑完就行,不用每张检查?
正解生产环境必须建立抽检机制。不同输入条件图即使参数相同,预处理结果也有差异——同一控制权重对线条密集图偏弱、对线条稀疏图偏强。正确流程是:小批量试跑 5~10 张,检查控制保真度(轮廓贴合度、姿态准确率),再决定是否批量。批量任务也要按比例抽检,防止权重或底模更新导致质量回退。
为何常见:初次使用 ControlNet 时“调好参数后出图稳定”的体验会形成惯性,忽略了条件图多样性对控制效果的影响,导致批量生成后期才发现质量问题。
面试题
Q1. ControlNet 在 Stable Diffusion 生态中扮演什么角色?
- A.独立的文本生成图像模型
- B.增强底模画质的滤镜插件
- C.注入额外条件控制生成过程的插件← 正确答案
- D.替代提示词系统的独立框架
答案:C。ControlNet 通过条件编码器将边缘、深度、姿态等外部条件注入 UNet 去噪过程,从而精确控制生成结果。它不独立生成图像(排除 A),不修改画质(排除 B),也不替代提示词(排除 D),而是与提示词并行工作的条件注入机制。
Q2. 安装 ControlNet 到 WebUI 时,模型权重应放入哪个目录?
- A.models/Stable-diffusion
- B.models/ControlNet← 正确答案
- C.extensions/ControlNet
- D.embeddings
答案:B。ControlNet 权重文件应放入 models/ControlNet 目录,WebUI 启动时会扫描该目录并列出可用模型。models/Stable-diffusion 存放底模,extensions/ControlNet 存放插件代码,embeddings 存放文本嵌入向量,各目录职责不同。
Q3. 使用 ControlNet 的 Canny 模式时,控制权重设置在哪个区间通常能兼顾控制力与画质?
- A.0.0 ~ 0.2
- B.0.3 ~ 0.5
- C.0.6 ~ 1.0← 正确答案
- D.1.5 ~ 2.5
答案:C。0.6~1.0 是多数控制类型的最佳区间:低于 0.6 时结构约束较弱,高于 1.2 时容易出现线条扭曲与色彩断层等过拟合伪影。虽然 Canny 这类结构型控制可适当偏高,但 1.5 以上已超出安全范围,故 D 不正确。
Q4. 以下哪些属于 ControlNet 1.1 官方支持的控制类型?
- A.Canny 边缘检测← 正确答案
- B.OpenPose 姿态估计← 正确答案
- C.人脸修复 GFPGAN
- D.MLSD 直线检测← 正确答案
答案:ABD。ControlNet 1.1 的官方控制类型包含 Canny、OpenPose、MLSD、Depth、Normal、Lineart、Tile 等 14 类。GFPGAN 是独立的修复模型,常用于面部修复后处理环节,不属于 ControlNet 的条件控制家族。
Q5. ControlNet 论文中提出的“零卷积”层在训练初期的作用是什么?
- A.大幅增加模型参数量以提升拟合能力
- B.使新增控制分支初始输出为零,不破坏原模型行为← 正确答案
- C.将条件图直接拼接到 UNet 输入通道
- D.替代文本编码器生成条件特征
答案:B。零卷积层的权重和偏置初始化为零,因此在训练开始时新增控制分支的输出为零向量,不会干扰已训练好的底模。这使 ControlNet 能在不重训底模的前提下增量训练新控制能力。A、C、D 均与论文架构不符。
Q6. 生产环境中,推荐以什么方式调用 ControlNet 生成能力?
- A.人工操作 WebUI 页面逐张生成
- B.通过 WebUI 的 /sdapi/v1/txt2img API 封装服务← 正确答案
- C.直接修改 ControlNet 源码硬编码提示词
- D.每次重新训练底模适配业务
答案:B。生产环境应通过 API 方式调用,便于批量任务编排、参数记录与错误重试。人工操作页面无法规模化和可观测;直接改源码会导致升级困难;每次重训底模成本极高且不必要。AUTOMATIC1111 WebUI 的 API 接口支持完整 ControlNet 参数透传。
Q7. 关于 SD1.5 与 SDXL 底模的 ControlNet 权重,以下说法正确的是?
- A.两者权重文件可以互换使用
- B.文件名含 sd15 的权重用于 SD1.5 底模← 正确答案
- C.文件名含 sdxl 的权重用于 SDXL 底模← 正确答案
- D.所有控制类型在 SDXL 下均有官方权重
答案:BC。ControlNet 权重必须与底模 UNet 架构匹配,sd15 权重对应 SD1.5,sdxl 权重对应 SDXL,混用会报错或畸形输出。官方 SDXL 权重覆盖的控制类型少于 SD1.5 的 14 类,因此 D 错误。
Q8. 使用 Tile 重绘模式时,为了保留原图结构,通常应搭配哪种参数设置?
- A.高控制权重 + 高 Denoising strength
- B.低控制权重 + 低 Denoising strength
- C.高控制权重 + 低 Denoising strength← 正确答案
- D.关闭 ControlNet 仅调提示词
答案:C。Tile 模式的典型用途是局部重绘与风格迁移,需要高控制权重锁定结构、低 Denoising strength 控制重绘幅度,两者结合才能“换风格不换结构”。若两项都高(A),输出会完全偏离原图;B 的控制力不足。
Q9. ControlNet 的“预览预处理结果”功能输出的是什么?
- A.最终的生成图像
- B.条件图被预处理器转换后的中间结果← 正确答案
- C.模型训练损失曲线
- D.显存占用报告
答案:B。预览功能仅显示条件提取结果(如 Canny 边缘图、深度图、骨骼图),用于检查条件图质量。它不是最终生成结果(A),也不提供训练信息(C)或资源监控(D)。条件提取质量直接决定生成效果,因此该预览是排错第一入口。
Q10. 以下哪些是 ControlNet 的常见生产应用场景?
- A.电商模特图换装批量生成← 正确答案
- B.室内设计方案快速推演← 正确答案
- C.游戏角色一致性原画产出← 正确答案
- D.文本情感分类模型训练
答案:ABC。ControlNet 的全部能力围绕图像生成与控制,电商模特图(OpenPose + Depth)、室内设计(MLSD + Depth)、游戏原画(Lineart + Tile)均是典型场景。文本情感分类属于 NLP 领域,与图像条件注入无关。
参考来源
- webpageControlNet 官方仓库论文代码与训练脚本