DenseNet-121：胸片X光基线模型

可视化演示

影像基线概述

林医生到县医院的第一件事，不是引进最先进的设备，而是定下统一阅片标准：先保证“任何一位医生按这套流程读片，结果都稳定可复现”。这就是基线的本质——它不是最佳方案，而是所有人必须超越的起跑线。在医学影像 AI 里，NIH ChestXray14 就是那批“标准教学片”：3 万多张胸片，标注了 14 种常见疾病。在这个数据集上，DenseNet-121 常被用作基线模型——任何新方法想证明自己有效，先跟它对打。

基线模型要有两样东西：稳定的架构和统一的评价标准。DenseNet-121 在架构上结构公开、预训练权重现成；在评价上，最常用的指标是 AUC。和准确率不同，AUC 只看模型给“有病样本”打的分数是否高于“无病样本”，完全不依赖你选哪个阈值，这对胸片这种疾病稀疏、正负样本极不平衡的数据特别友好——就像标准考试只排名次，不受“及格线定在哪”的影响。

$$\displaystyle \text{AUC} = \frac{1}{M N}\sum_{i=1}^{M}\sum_{j=1}^{N} \mathbf{1}\left[s(x_i^+) > s(x_j^-)\right]$$

1. 正负样本配对：先不算单个样本，而是把每一张有病片子和每一张无病片子都配成一对，共得到 M×N 对。

$$x_i^+ \quad \text{（第 } i \text{ 张有病片）}, \quad x_j^- \quad \text{（第 } j \text{ 张无病片）}$$

2. 打分比较：模型给每张片子打出一个“有病概率”得分 s，然后比较这一对里谁的分高。

$$s(x_i^+) > s(x_j^-)$$

3. 指示函数：若有病片的得分更高，计 1 分，否则计 0 分。它像一个“裁判”，只记输赢不记分数差。

$$\mathbf{1}[\text{条件成立}] = 1, \quad \text{否则为 } 0$$

4. 取平均：把所有配对上的"1"加起来，除以总配对数 M×N，得到的就是 AUC。

$$\frac{1}{M N}\sum_{i=1}^{M}\sum_{j=1}^{N}\mathbf{1}[\cdot]$$

就像林医生用统一阅片标准给科室定基线，AUC 就是那套“标准考试题”——任何医生来考试，分数都能横向比较。基线先立住，后面所有的优化才有参照物。

DenseNet架构

林医生的团队有个特殊规矩：每个医生读完片，必须把自己的发现完整写进共享笔记，后面每一位同事在写结论前，都要先翻阅前面所有人的笔记。乍一听很累，但这样一来，任何一个早期发现的细微线索都不会在传递中丢失——这就是 DenseNet 的“密集连接”机制。

在普通卷积网络里，信息像传话游戏一样逐层传递，传到后面往往已经失真；而 DenseNet 让第 l 层直接拼接前面所有层的输出特征图，再一起处理。数学上写作：

$$\displaystyle x_l = H_l\left(\left[x_0, x_1, \ldots, x_{l-1}\right]\right)$$

1. 拼接符号：方括号表示把所有特征图在通道维度上拼成一大摞，像把所有笔记叠成一本书。

$$\left[x_0, x_1, \ldots, x_{l-1}\right]$$

2. 特征图集合：每一张 x 都是一层输出的“读片笔记”，其中 x_0 是原始输入的图像。

$$x_0 \text{ 为输入胸片}, \quad x_i \text{ 为第 } i \text{ 层输出的特征图}$$

3. 组合函数：H_l 是本层自己的处理流程，通常是一串“批归一化→ReLU→卷积”的复合操作。

$$H_l(\cdot) = \text{Conv}\left(\text{ReLU}\left(\text{BN}(\cdot)\right)\right)$$

4. 本层输出：拼接后的厚笔记经过 H_l 提炼，得到第 l 层的新笔记 x_l，继续传给后面所有人。

$$x_l = H_l(\text{拼接后的全部笔记})$$

那 121 层是怎么来的？DenseNet-121 由 4 个 Dense Block 组成，密集层数分别为 6、12、24、16，块与块之间用“过渡层”压缩通道数。每个密集层内部采用瓶颈层设计：先用 1×1 卷积把通道数压缩到原来的 1/4，再用 3×3 卷积提取特征，就像把厚笔记先画重点再精读。增长率 k=32 则决定每层新增 32 张特征图——笔记越写越厚，但每页都经过浓缩，所以团队虽老练却依旧敏捷。

多标签分类

胸片和普通照片最大的不同：一张片子上往往同时有好几种病。肺不张合并心脏肥大、积液伴肺炎，都是临床常事。所以林医生不让团队做“单选”，而是人手一张 14 项疾病清单，逐项独立打钩——这也正是多标签分类与多分类的根本区别。

多分类任务（比如区分猫狗鸟）用 softmax 让所有类别概率和为 1，类别之间互相竞争；而多标签任务里，14 种疾病互不排斥，每种病都有“有”或“无”两种可能。因此 DenseNet-121 的最后一层不做 softmax，而是让全局平均池化后的特征接一个 14 输出的全连接层，每个输出独立通过 sigmoid 函数映射到 0 到 1 之间的概率，再各自与 0.5 这个“打钩线”比较。

$$\displaystyle p_k = \sigma(z_k) = \frac{1}{1 + e^{-z_k}}, \quad \hat{y}_k = \mathbf{1}\left[p_k > 0.5\right]$$

1. 线性得分：z_k 是网络对第 k 种疾病打出的原始分，可以是任意实数，负的表示“不像”，正的表示“像”。

$$z_k = w_k^T \cdot f + b_k$$

2. Sigmoid 压缩：把任意实数缩到 0 到 1 之间，分数越高概率越接近 1，这就像把“像不像”的直觉换算成百分比。

$$\sigma(z_k) = \frac{1}{1 + e^{-z_k}}$$

3. 阈值判正：用 0.5 作分界线，超过就打钩，否则不打钩。每个类别独立判决，互不干扰。

$$\hat{y}_k = \mathbf{1}\left[p_k > 0.5\right]$$

逐项打钩对应逐类独立输出概率，sigmoid 让每种疾病的判断都保留自己的“主权”。第一版清单可能打错几项，但没关系——基线的作用就是先跑起来，后面再逐项纠偏。

数据增强

林医生给团队下了一条硬性要求：平时练读片，不能只看标准正位片，还要练“歪着头看、在偏暗的灯箱下看、把片子左右倒过来看”。练多了，真到了设备型号不同、曝光参数各异的一线，团队照样认得病。这就是数据增强的思路——训练时不看“原片”，只看“变化过的片子”。

从数学上看，数据增强就是对输入图像做随机几何与光度变换，让同一张 X 光变成“多个视角的样本”。胸片有天然的左右对称性，所以水平翻转几乎无损；拍摄时患者体位略有偏差，因此 ±10° 的随机旋转能模拟这种误差；不同设备的曝光差异，则用随机的亮度、对比度抖动来模拟。

$$\displaystyle x_{\text{aug}} = \alpha \cdot \operatorname{flip}\left(R_\theta(x)\right) + \beta$$

1. 旋转：R_θ 是旋转矩阵，θ 是随机角度。它模拟患者体位轻微偏斜的情况。

$$R_\theta = \begin{bmatrix} \cos\theta & -\sin\theta \\ \sin\theta & \cos\theta \end{bmatrix}$$

2. 水平翻转：flip 把图像左右镜像。人体胸腔大致左右对称，翻转后的胸片仍是有意义的样本。

$$\operatorname{flip}(x)$$

3. 亮度与对比度：α 控制对比度（乘性缩放），β 控制亮度（加性平移），模拟不同曝光条件。

$$\alpha \cdot x' + \beta, \quad \alpha > 0$$

4. 组合输出：先几何变换、再光度变换，得到增强样本 x_aug，送进网络训练。

$$x_{\text{aug}} = \alpha \cdot \operatorname{flip}(R_\theta(x)) + \beta$$

注意一个重要细节：增强只在训练阶段使用，验证和测试时只做统一的缩放与归一化，就像考试时必须用标准试卷，不能用练习时的小改动版本。多视角训练让团队在任何灯箱下都认得病，这就是模型的“鲁棒性”。

迁移学习

林医生在省城积累了十年读片经验。来县医院，她不是从零学起——把省城那套“看肺纹理、找结节、辨纵隔”的通用基本功直接搬过来，只需要花几天熟悉县医院的设备特性和常见病分布。迁移学习的逻辑与此完全一致：把在 ImageNet 1000 类自然图像上学到的通用特征提取能力，搬运到医学影像任务上。

为什么能搬？因为卷积网络的浅层学的是“边缘、纹理、形状”这些通用视觉元素，自然图像和胸片都适用。DenseNet-121 在 ImageNet 上预训练好的权重，就是林医生的“十年经验底座”。使用时，把最后的 1000 类分类头替换成 14 输出的新分类头，其余骨干结构原样保留：

$$\displaystyle \theta = \left[\theta_{\text{backbone}}^{\text{pre}}, \; \theta_{\text{head}}^{\text{rand}}\right]$$

1. 预训练骨干：θ 上标 pre 表示从 ImageNet 学来的权重，包含丰富的通用视觉特征。

$$\theta_{\text{backbone}}^{\text{pre}}$$

2. 随机分类头：替换成的新分类头没有先验知识，用随机数初始化，上标 rand 表示“待训练”。

$$\theta_{\text{head}}^{\text{rand}}$$

3. 整体拼接：方括号表示把两部分权重组合成完整的网络。训练时通常先冻结 backbone，只更新分类头。

$$\theta = \left[\theta_{\text{backbone}}^{\text{pre}}, \; \theta_{\text{head}}^{\text{rand}}\right]$$

具体操作上，胸片是灰度图，预处理时要复制成 3 通道喂给网络；训练初期冻结骨干只训练分类头，收敛后再用更小的学习率（比如 1e-4）微调深层部分。经验底座 + 快速熟悉新设备，让林医生的团队几天内就能上岗，这正是迁移学习让 DenseNet-121 在小规模医学数据集上也能训练稳定的原因。

训练配置

新科室的规章制度要定清楚：每张片子都按标准流程判读，出了问题能追溯到具体环节。对模型来说，训练配置就是它的“规章制度”——损失函数规定“错得多严重”，优化器决定“如何改进”，数据供给则保证“喂饭节奏稳定”。

损失函数上，多标签胸片分类最常用的是 BCE（二元交叉熵）损失。PyTorch 里推荐直接用 BCEWithLogitsLoss，它把 sigmoid 和 BCE 合并计算，数值上更稳定。优化器常选 Adam，初始学习率 1e-3，配合余弦退火或按步长衰减；如果想更贴近经典实验，也可以选带动量的 SGD。数据方面，batch size 取 32、输入尺寸 224×224 是性价比很高的默认配置。

$$\displaystyle \mathcal{L} = -\frac{1}{N}\sum_{k=1}^{N}\left[ y_k \log p_k + (1-y_k)\log(1-p_k) \right]$$

1. 逐类二分类：对第 k 种疾病，真实标签 y_k 是 0 或 1。N 是疾病类别数（这里为 14）。

$$k = 1, 2, \ldots, N, \quad y_k \in \{0, 1\}$$

2. 正样本项：当 y_k=1（真有这种病）时，若模型概率 p_k 小，−log p_k 就大，惩罚重。

$$y_k \log p_k$$

3. 负样本项：当 y_k=0（没有这种病）时，若模型概率 p_k 大，−log(1−p_k) 就大，同样受罚。

$$(1-y_k)\log(1-p_k)$$

4. 求和平均：把所有类别的两项惩罚加起来再除以 N，得到该样本的损失，训练时不断让它下降。

$$\mathcal{L} = -\frac{1}{N}\sum_{k=1}^{N}[\cdots]$$

规矩清晰、追责合理，团队就能稳定进步。同理，BCE 让每个疾病类别都受到监督，任何一个类别的判断失误都会反映在损失上，模型也因此被逼着对 14 种病“全面发展”。

基线评估

三个月后院长来验收，林医生没有让个别医生自夸，而是组织了一场全科“标准考试”：14 类疾病的片子混在一起，看团队整体平均分和每一类的单项分。在 DenseNet-121 基线上，这场“考试”就是计算 14 类疾病各自的 AUC，然后取平均。

NIH ChestXray14 官方报告里，DenseNet-121 基线的平均 AUC 大约在 0.76 到 0.80 之间。逐病种看，肺不张、心脏肥大等样本充足、影像特征明显的疾病 AUC 较高；而疝气（Hernia）这类样本极少、特征隐蔽的疾病，AUC 明显偏低——就像班里有一门课只有三个学生选，平均分再高也说明不了教学水平。

$$\displaystyle \text{Mean AUC} = \frac{1}{14}\sum_{k=1}^{14}\text{AUC}_k$$

1. 单类 AUC：AUC_k 是第 k 种疾病的单独成绩，计算方式就是“有病 vs 无病”配对比分。

$$\text{AUC}_k, \quad k = 1, 2, \ldots, 14$$

2. 求和：把 14 类疾病的成绩全部累加。

$$\sum_{k=1}^{14}\text{AUC}_k$$

3. 取平均：除以类别数 14，得到平均 AUC，也就是基线的“总评分”。

$$\frac{1}{14}\sum_{k=1}^{14}\text{AUC}_k$$

基线评估最关键的心态是“正视局限”：ChestXray14 的标签是从放射科报告里用文本挖掘自动生成的，含有不少噪声；模型是在切片级图像上训练的，不等于能直接判断病灶的精确位置。AUC 高不代表临床可用——就像考试高分不等于临床妙手。基线之所以是基线，就是因为它被设计成边界清晰、可复现，供后来者逐项超越。

AI 应用场景

Python 演示

import osimport numpy as npimport torchimport torch.nn as nnimport torchvisionfrom torch.utils.data import Dataset, DataLoaderfrom torchvision import transforms # 14 类胸部疾病，顺序与 NIH ChestXray14 的 CSV 列一致DISEASES = [    'Atelectasis', 'Cardiomegaly', 'Effusion', 'Infiltration',    'Mass', 'Nodule', 'Pneumonia', 'Pneumothorax',    'Consolidation', 'Edema', 'Emphysema', 'Fibrosis',    'Pleural_Thickening', 'Hernia']NUM_CLASSES = len(DISEASES)  class ChestXrayDataset(Dataset):    """读取 NIH ChestXray14 标注 CSV，返回图像和 14 维多标签向量。"""     def __init__(self, root, csv_path, transform=None):        import pandas as pd        self.root = root        self.transform = transform        df = pd.read_csv(csv_path)        self.files = df['Image Index'].tolist()        self.labels = df[DISEASES].values.astype(np.float32)     def __len__(self):        return len(self.files)     def __getitem__(self, idx):        from PIL import Image        img = Image.open(os.path.join(self.root, self.files[idx])).convert('RGB')        if self.transform:            img = self.transform(img)        return img, torch.from_numpy(self.labels[idx])  def build_model(freeze_backbone=True):    model = torchvision.models.densenet121(pretrained=True)    model.classifier = nn.Linear(model.classifier.in_features, NUM_CLASSES)    if freeze_backbone:        for p in model.features.parameters():            p.requires_grad = False    return model  def train_one_epoch(model, loader, criterion, optimizer, device):    model.train()    total_loss = 0.0    for images, labels in loader:        images, labels = images.to(device), labels.to(device)        logits = model(images)        loss = criterion(logits, labels)        optimizer.zero_grad()        loss.backward()        optimizer.step()        total_loss += loss.item() * images.size(0)    return total_loss / len(loader.dataset)  def evaluate_auc(model, loader, device):    model.eval()    y_true_list, y_score_list = [], []    with torch.no_grad():        for images, labels in loader:            logits = model(images.to(device))            y_true_list.append(labels.numpy())            y_score_list.append(torch.sigmoid(logits).cpu().numpy())    y_true = np.concatenate(y_true_list)    y_score = np.concatenate(y_score_list)    from sklearn.metrics import roc_auc_score    return roc_auc_score(y_true, y_score, average='macro')  def main():    device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')    train_transform = transforms.Compose([        transforms.Resize((224, 224)),        transforms.RandomHorizontalFlip(),        transforms.RandomRotation(10),        transforms.ColorJitter(brightness=0.2, contrast=0.2),        transforms.ToTensor(),        transforms.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225]),    ])    val_transform = transforms.Compose([        transforms.Resize((224, 224)),        transforms.ToTensor(),        transforms.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225]),    ])    train_set = ChestXrayDataset('images', 'train_val.csv', train_transform)    val_set = ChestXrayDataset('images', 'test.csv', val_transform)    train_loader = DataLoader(train_set, batch_size=32, shuffle=True)    val_loader = DataLoader(val_set, batch_size=32, shuffle=False)     model = build_model(freeze_backbone=True).to(device)    criterion = nn.BCEWithLogitsLoss()    optimizer = torch.optim.Adam(model.classifier.parameters(), lr=1e-3)     for epoch in range(5):        loss = train_one_epoch(model, train_loader, criterion, optimizer, device)        auc = evaluate_auc(model, val_loader, device)        print('epoch %d loss %.4f mean_auc %.4f' % (epoch + 1, loss, auc))  if __name__ == '__main__':    main()

1. model = torchvision.models.densenet121(pretrained=True)加载 ImageNet 预训练权重，省下从头训练几个月的时间。
2. model.classifier = nn.Linear(model.classifier.in_features, NUM_CLASSES)把 1000 类分类头换成 14 类，对应 14 种疾病。
3. for p in model.features.parameters(): p.requires_grad = False冻结骨干，只训练分类头，先让新头学会“打分”。
4. self.labels = df[DISEASES].values.astype(np.float32)读出 CSV 中 14 列的 0/1 标注，形成多标签向量。
5. transforms.RandomRotation(10)训练时随机旋转 ±10°，模拟患者体位偏差。
6. criterion = nn.BCEWithLogitsLoss()多标签损失，内部合并 sigmoid 与 BCE，数值更稳定。
7. roc_auc_score(y_true, y_score, average='macro')按 14 类分别算 AUC 再平均，对应文中 Mean AUC。
8. torch.optim.Adam(model.classifier.parameters(), lr=1e-3)只优化分类头参数，冻结部分不更新。

常见误区

面试题