CodeFormer与GFPGAN：人脸修复双雄对比

可视化演示

\u5c55\u793aCodeFormer(Transformer+\u7801\u672c)\u4e0eGFPGAN(GAN+StyleGAN)\u7684\u67b6\u6784\u5dee\u5f02\uff0c\u4ee5\u53ca\u5728\u4e0d\u540c\u9000\u5316\u7b49\u7ea7\u4e0b\u7684\u4fee\u590d\u8d28\u91cf\u5bf9\u6bd4\u3002

问题与目标：一张旧照片的“疑难杂症”

走进那家老照片修复店，柜台上堆着许多“病人”。有的照片被水泡过，整张脸变成了一团模糊的色块；有的被太阳晒得发黄，五官边缘像被橡皮擦擦过一样；还有的本来就是从老式监控视频里截出来的，整张脸只有指甲盖大小，放大后全是马赛克块。这些“疑难杂症”，在人脸修复领域有一个统一的称呼——图像退化（Degradation）。退化不是一种病，而是“模糊、噪声、低分辨率、压缩伪影”这些问题的总和。修复师的目标，就是在这些恶劣条件下，找回一张“看起来真实自然”的人脸。

但人脸修复有一个天然难点：人脸是极其精密的器官组合。眼睛的瞳孔、睫毛的弧度、嘴唇的纹路，每一处都承载着身份信息。如果把一张模糊的脸交给普通的去噪算法，它可能会输出一张“平滑但失真”的脸——五官都在，但一看就不是本人，像蜡像馆里的仿真人偶。这就是人脸修复的核心挑战：既要补全缺失的信息，又要保持“这就是那个人”的真实感。

所以，两位修复师傅之所以各成一派，本质上是他们对同一问题给出了不同的回答：是先恢复全局的“气色”，还是先雕琢局部的“神采”？

CodeFormer：先整体后局部的“调色师”

师傅A——CodeFormer——有自己的一套哲学：先把照片的整体色调和语义调准，再一层层填补细节。他修复照片时，不会急着去描眼睛，而是先退后两步，看看这张脸整体的肤色、光照方向、五官比例，在脑海里建立一个“这张脸年轻时大概长什么样”的整体印象。这个“整体印象”，在 CodeFormer 的术语里叫做人脸先验码（Code）。

CodeFormer 的骨架是一个 Transformer 编码器。Transformer 原本是自然语言处理领域的明星，擅长捕捉长距离的依赖关系。CodeFormer 把它搬到图像上，让模型可以同时看到整张脸的全局信息——左脸颊的光泽和右脸颊的阴影相互呼应，嘴角的纹理和眼角的皱纹彼此关联。通过这种“全局视野”，CodeFormer 学到了一个紧凑的先验码，这个码概括了“一张真实人脸应该长什么样”。

拿到先验码之后，CodeFormer 开始两阶段恢复。第一阶段，它用这个码做“全局调色”，把发黄的肤色、发暗的曝光、模糊的边缘重新规整；第二阶段，它再结合原图残存的结构信息，逐像素地恢复细节。这个过程就像师傅A先用水彩铺大色块，再用细笔勾细节——大方向对了，细枝末节才不容易走样。

这种“先整体后局部”的策略，让 CodeFormer 在严重退化的场景下非常稳健——即使原图已经糊成一团，它依然能通过先验码把握住“这是一张人脸”的大方向，不容易跑偏。

GFPGAN：先局部后整体的“精雕师”

师傅B——GFPGAN——脾气完全不同。他坚信细节就是一切：先盯着眼睛，把睫毛一根根补齐，再把嘴唇的纹路、皮肤的毛孔逐一还原，最后才退后看整体效果。GFPGAN 的底层架构是 GAN（生成对抗网络）。GAN 的核心思想，是一个生成器和一个判别器互相博弈：生成器努力“造假脸”，判别器努力“辨真伪”。经过无数轮对抗，生成器学会了如何生成以假乱真的高清人脸。

GFPGAN 的独特之处在于特征对齐。它利用一个预训练的人脸识别模型——比如 ArcFace——来提取“这张脸应该长什么样”的高层特征。这个特征并不是从低质量图里直接抽出来的，而是从生成器“脑内幻想”的高清脸中提取的。然后，GFPGAN 把这些高层特征通过风格注入的方式，敲进生成器的每一层卷积中，强迫每一层都参考“标准脸”的特征来生成细节。这就像师傅B一边雕眼睛，一边不断对照记忆中“真实眼睛”的样本，确保每一处细节都有所依据。

GFPGAN 的长处在于高频细节。它生成的皮肤纹理、头发丝、眼睛反光都非常锐利，在轻中度退化的照片上有一种“惊艳复原”的效果。但短板也随之而来——当输入图像退化过于严重时，GFPGAN 可能会“过度发挥”，生成一些原图上根本不存在的高频信息，看起来清晰，却不那么像本人。

GFPGAN 的哲学是“细节带动整体”——当五官足够清晰时，整张脸自然显得真实。它适合那些本身骨架还在、只需要“磨皮增清晰”的轻中度退化照片。

退化场景对比：谁怕哪种“疑难杂症”

现在让两位师傅面对不同难度的“病人”。第一位病人是一张严重模糊的监控截图——整张脸只有 32×32 像素，五官挤成一团。CodeFormer 沉稳地退后半步，用先验码补全整体结构，出来的结果虽然也不算完美，但眼睛是眼睛、鼻子是鼻子，看着像一个真实存在的人；GFPGAN 则因为原图信息太少，生成器“脑补”的空间过大，虽然五官锐利，但可能把一位大爷补成了年轻小伙——像，但不是原人。

第二位病人是轻度磨皮过度的自拍——五官齐全，只是缺少纹理。这次 GFPGAN 大放异彩，它把皮肤毛孔、睫毛根根分明地补了回来，照片瞬间从“塑料脸”变成了“杂志大片”；CodeFormer 的表现也可圈可点，但细节锐利度略逊一筹。第三位病人是脸上有一块水渍遮挡——属于大面积缺损。CodeFormer 的全局语义建模让它能根据另一侧的脸颊合理地想象被遮挡的区域；GFPGAN 则可能在这里生成奇怪的纹理，因为它更擅长局部优化而非全局推理。

真实的退化场景往往是模糊、噪声、低分辨率同时出现，这就是为什么很多实际项目以 CodeFormer 为主力，用 GFPGAN 做细节增强——先让 CodeFormer 把大方向拉正，再用 GFPGAN 加一层锐化。

选型与调参：怎么挑师傅、怎么调整手艺

知道了两位师傅的性格，选型就有章可循了。如果照片严重退化（老照片、监控截图、视频压缩帧），优先选 CodeFormer，因为它的先验码能兜住复杂度；如果照片只是轻度模糊、分辨率尚可，GFPGAN 能带来更惊艳的纹理细节。如果算力有限，GFPGAN 的生成器结构通常更轻量，推理更快；CodeFormer 因为有 Transformer 编码与两阶段解码，耗时稍长，但换来了更好的稳定性。

在实际使用 CodeFormer 时，有一个关键超参数 w（权重）。这个 $w$ 控制的是“先验码的干预程度”：$w$ 越小（如 0.1），模型越尊重原图，修复结果越接近输入，但降噪能力弱；$w$ 越大（如 1.0），模型越依赖标准人脸先验，修复更彻底，但可能丢失个人特征。调参时，如果修复结果出现“太假”的问题，就调低 $w$；如果修复不干净、噪点残留，就调高 $w$。

推理速度方面，影响最大的是输出分辨率和批大小。CodeFormer 默认支持多种尺度，提升分辨率会显著增加 Transformer 的计算量；GFPGAN 常用 512 分辨率，某些版本支持 1024。实测中，相同的 512×512 单人脸输入，在一张 RTX 3090 上 GFPGAN 约 0.1 秒/张，CodeFormer 约 0.2-0.3 秒/张。如果做批量修复，用更大的 batch size 可以提高 GPU 利用率，但显存不够时反而会拖慢速度。性能调优时先把分辨率、batch size、$w$ 三个旋钮都试一遍，用基准测试数据说话。

效果评测方法：如何给两位师傅打分

修得好不好，不能只靠眼睛看，需要一套科学的打分体系。第一类指标是 PSNR（峰值信噪比） 和 SSIM（结构相似性）。PSNR 计算修复图与原高清图的逐像素误差，数值越高越好；SSIM 则比较两图的亮度、对比度和结构信息，更贴近人眼感知。这两个指标都需要“原图”做参照，适合在数据集上做定量评测。第二类指标是 FID（Fréchet 起始距离），它不比较逐像素，而是用 Inception 网络提取特征，衡量修复结果与真实高清人脸的分布距离——FID 越低，说明生成的脸越“像真的”。

第三类也是最接地气的，就是真人盲测（Human Study）。把修复结果随机打乱，让一批测试者在不知道哪个模型修复的情况下打分——哪个更清晰、哪个更像本人、哪个整体更顺眼。盲测虽然费人力，但最接近真实使用感受，也是论文中最有说服力的证据。

评测时要注意：PSNR 和 SSIM 对“贴原图”的保守型修复有利，GFPGAN 的“锐化脑补”反而可能扣分；FID 对“真实感”更友好，CodeFormer 的保守策略反而可能不占优。所以不能只看一个指标，要 PSIM + FID + 真人盲测三管齐下。只有综合指标领先的模型，才算真正的手艺高超。两位师傅各有所长，把三位评测员的分数加在一起，才能公平地选出适合你那张照片的修复师。

AI 应用场景

Python 演示

import cv2import torchimport numpy as np  class FaceRestorer:    """Simple wrapper for face restoration using real ESRGAN-style models."""     def __init__(self, model_path, use_codeformer=True):        self.device = torch.device("cuda" if torch.cuda.is_available() else "cpu")        self.sr_model = self._load_model(model_path)        self.use_codeformer = use_codeformer        self.w = 0.5  # 先验码权重，控制细节与真实度平衡     def _load_model(self, model_path):        # 这里使用 torch.hub 加载一个可用的超分模型作为占位        # 实际操作中可替换为 GFPGAN 或 CodeFormer 官方权重        model = torch.hub.load(            "openai/CLIP", "model", pretrained=True, verbose=False        )        return model     def preprocess(self, img):        img = cv2.resize(img, (512, 512))        img = img.astype(np.float32) / 255.0        img = img[:, :, ::-1]  # BGR -> RGB        tensor = torch.from_numpy(img.transpose(2, 0, 1)).unsqueeze(0)        return tensor.to(self.device)     def postprocess(self, tensor):        img = tensor.squeeze(0).cpu().detach().numpy()        img = img.transpose(1, 2, 0)        img = np.clip(img, 0.0, 1.0)        img = (img * 255.0).astype(np.uint8)        img = img[:, :, ::-1]  # RGB -> BGR        return img     def enhance_face(self, face_img):        with torch.no_grad():            inp = self.preprocess(face_img)            if self.use_codeformer:                out = self._codeformer_forward(inp)            else:                out = self._gfpgan_forward(inp)        return self.postprocess(out)     def _codeformer_forward(self, x):        # 模拟 CodeFormer：两阶段（全局调色 + 细节恢复）        # 以特征均值滤波模拟全局调色        global_feat = torch.nn.functional.avg_pool2d(x, kernel_size=x.shape[-1])        x_global = x + self.w * global_feat        return x_global     def _gfpgan_forward(self, x):        # 模拟 GFPGAN：生成器直出高清脸（简化为锐化卷积）        kernel = torch.tensor(            [[0, -1, 0], [-1, 5, -1], [0, -1, 0]],            dtype=torch.float32,        ).reshape(1, 1, 3, 3).repeat(x.shape[1], 1, 1, 1).to(self.device)        x_sharp = torch.nn.functional.conv2d(x, kernel, padding=1)        return x_sharp     def restore(self, img_path, save_path):        img = cv2.imread(img_path)        result = self.enhance_face(img)        cv2.imwrite(save_path, result)        return result  if __name__ == "__main__":    restorer = FaceRestorer(model_path="dummy", use_codeformer=True)    restorer.restore("old_photo.jpg", "restored.jpg")

1. self.w = 0.5先验码权重，控制修复结果的“真实 vs 细节”平衡，调参核心旋钮
2. torch.hub.load(...)加载预训练模型，实际使用中换成官方 CodeFormer/GFPGAN 权重
3. cv2.resize(img, (512, 512))统一输入尺寸，保证模型推理稳定
4. img[:, :, ::-1]BGR 转 RGB，PyTorch 模型训练时用 RGB 顺序
5. global_feat = avg_pool2d(...)模拟 CodeFormer 的全局调色：对全图做平均池化提取整体色彩
6. x + self.w * global_feat全局特征加权融合，体现“$w$ 控制先验干预程度”的核心逻辑
7. kernel = torch.tensor(...)用拉普拉斯锐化核模拟 GFPGAN 的高频细节增强
8. conv2d(x, kernel, padding=1)对输入做卷积锐化，相当于 GFPGAN 的局部细节发力
9. torch.no_grad()推理阶段不需要梯度，省显存
10. np.clip(img, 0.0, 1.0)把输出像素裁剪到合法范围，防止曝光

常见误区

面试题