皮肤镜图像分类：AI辅助诊断皮肤病变

可视化演示

皮肤镜与ISIC：老医生的放大镜

张大夫收徒第一天，没急着让小王看病，而是先递给他一把皮肤镜：“看痣，不能光用眼睛。这玩意儿一贴上去，表皮变得半透明，色素怎么分布、血管怎么走，看得一清二楚。”小王跟着师傅在门诊看了一周，发现皮肤镜下的世界远比肉眼丰富：有的痣颜色均匀、边界圆润，有的却坑坑洼洼，边缘像墨水泼洒在宣纸上。

这些照片就是皮肤镜图像。皮肤科医生凭它诊断，AI 也想学这门手艺。国际皮肤成像协作组（ISIC）办了 2018、2019 两届挑战赛，把全球上千家医院匿名贡献的照片整理成 HAM10000 数据集——一万多张图、7 大类病变，从最常见的色素痣（NV，6705 张）到最危险的黑色素瘤（MEL，584 张），堪称皮肤科的“十万个为什么”。

这 7 类分别是：黑色素瘤、色素痣、基底细胞癌、光化性角化病、良性角化病、皮肤纤维瘤、血管病变。训练时，把一张皮肤镜图像喂进网络，网络为 7 个类别各打一个“信心分”，再用 softmax 把分数变成“加起来等于 1”的概率，概率最高的类别就是最终答案。这就是分类任务最底层的数学骨架。

张大夫对小王说：“能一眼认出 7 种病变，你才算迈进了皮肤科的门槛。”对 AI 来说，把 softmax 的 7 分类输出学稳了，就是拿到了皮肤科的进门证——后面所有花哨功夫，都是在这张通行证上继续盖章。

数据预处理增强：换着角度反复看

小王看了一周后问师傅：这些痣我都记住了，可您为什么总让我换着角度、换着光线看同一颗痣？张大夫笑道：“病人不会把痣端端正正摆给你看。光线忽明忽暗，镜头忽远忽近，涂的耦合剂有多有少，照片都会变样。你要练就一副'无论怎么拍都是同一颗痣'的火眼金睛。”

让 AI 也这样练，就是数据增强。把训练图像随机水平翻转、小幅旋转、缩放、调亮调暗、改变对比度，相当于让数字徒弟在“千姿百态”中反复揣摩每一颗痣。训练前还有一个例行动作——标准化：把像素值缩放到统一范围，让网络一开局就站在同一起跑线上，数值上不至于忽大忽小。

但增强不是越猛越好。皮肤镜照片绝不会倒过来拍，因此一般不做竖直翻转；旋转角度也限制在 ±20° 左右。每次训练迭代时，模型都会“现场”随机生成一个新的变体，相当于花一份标注的钱，看到了上百种拍摄条件下的同一颗痣。

张大夫常念叨：没有哪种手艺是看一遍就会的。数据增强就是 AI 的“反复练习”，练的时候见过的姿势越多，见了真病人越不慌张。反之，如果只让模型看“标准证件照”，它一到真实世界就会露怯。

类别不平衡：门诊里的九十九与一

一个月后，小王开始整理病人登记本，发现一个奇怪现象：一百个病人里，九十九个是普通痣，只有一个可能不对劲。他偷偷打了个小算盘：“那我干脆把所有图都判成'痣'，正确率岂不是高达 99%？”

这正是类别不平衡埋下的陷阱。HAM10000 数据集里，色素痣 NV 有 6705 张，黑色素瘤 MEL 只有 584 张，悬殊超过 11 倍。如果不做任何干预，模型会被“懒惰”带偏——它发现只要无脑预测多数类，损失就能压得很低，于是变成了一个“躺平派”：准确率报表好看，但对恶性病变的识别能力几乎为零。

破局有三招：第一是类别加权损失，给稀有类别更高的“犯错误代价”，让模型不敢轻视它们；第二是重采样，上采样少见类或下采样多见类，人为调整训练分布；第三是 Focal Loss，专门整治“模型觉得样本太简单就不认真学”的毛病，让黑色素瘤这类难以辨认的样本被反复加练。

张大夫把登记本拍在桌上：“你把九十九个普通痣都看对，不算本事；我要的是那一个恶性的，一个都不能漏。”加权损失的本质，就是把张大夫这句叮嘱翻译成模型能听懂的数学语言。

神经网络架构：站在巨人的肩膀上

小王虽然聪明，但如果从零开始学“什么是痣”，得在医学院多待三年。张大夫却说，你不必从零起步——你在学校已经学过皮肤解剖、病理基础，现在只需要把这些本领“迁移”到皮肤科来。

这正是迁移学习的思路：用 ImageNet 上亿张自然图片预训练好的卷积网络（如 ResNet、EfficientNet）当“基础功”，只把最后一层分类头换成皮肤病变的 7 类输出，再用皮肤镜图像微调。皮肤镜数据少，但基础功扎实，模型学得又快又好。ISIC 2018 的优胜方案几乎清一色采用这条路线。

具体架构上，ResNet 的残差块让“深”变成了优势：它学习的是输入与输出的差值，而不是硬背整个映射，梯度还能抄近道回传，网络再深也不怕训练不动的“退化病”；EfficientNet 则在深度、宽度、分辨率三个维度上协同缩放，用更少的参数拿到更高的精度；注意力机制更像是给模型装了一双“会找重点的眼睛”，自动把目光聚焦在痣的不规则边缘和异常色素上。

张大夫说得直白：“好徒弟不是天生的，是站在好老师肩膀上练出来的。”ResNet 那条跳线，就是给 AI 搭的一部电梯，让它稳稳站在前人肩膀上，而不是在深层的楼梯间里累得爬不动。

集成学习：多学科会诊

张大夫有个雷打不动的习惯：遇到拿不准的痣，从不自己拍板，而是请隔壁皮肤病理科、影像科的两位老主任一起看，三个人意见一致才敢下结论。小王把这一招记在心里——模型也得搞“多学科会诊”。

这就是集成学习。ISIC 2019 挑战赛的顶尖方案几乎全是集成模型：有的模型擅长看颜色均匀度，有的擅长捕捉纹理走向，有的经过更强的数据增强，有的在重采样后的数据上训练——它们各自有各自的长处，也各有各的盲区。单个模型再优秀，也难免在某颗痣上“看走眼”；把多个模型凑在一起，错误互相抵消，决定就稳多了。

融合方式主要有三种：概率平均，把各模型的 7 类概率直接取平均；加权投票，给平时表现更好的模型更大的话语权；堆叠（Stacking），用一个元学习器学习如何综合各模型的意见。平均能压低单个模型的“极端自信”，大家意见越分散，最终结果越接近真实分布，这就是“三个臭皮匠”背后的数学。

张大夫说：“一个人再厉害也有盲区，三个人互相补台才稳当。”集成学习就是把诊室的会诊制度搬进模型工厂——代价是训练三倍的模型，换来的却是临床上弥足珍贵的“稳”。

临床评估：出师考的四格判卷

三个月后，张大夫决定给小王办一场出师考。判卷规则只有四格：诊断为恶性、且真是恶性，记“对”；恶性没揪出来，叫漏诊（FN）；良性被吓成恶性，叫误报（FP）；良性正确放行，记“对”。小王一看就明白，这张卷子不是按“总分”排名的。

这就是混淆矩阵的 TP、FN、FP、TN。临床上最怕漏诊——黑色素瘤一旦漏掉，可能从绿豆大小拖成致命病灶；也怕误报——白白让良性病人挨一刀活检，身心俱损。所以不能只看总体准确率，必须同时看敏感度（恶性病人里能揪出多少）和特异度（良性病人里能放行多少）。ROC 曲线与 AUC 则把这两个指标在不同判断阈值下的权衡画成一条曲线，曲线下面积越大，说明模型“既不漏、又不冤”的综合功力越强。

张大夫把判卷推到小王面前：“徒弟能不能出师，不看背了多少本书，只看漏诊了几个'恶性'。”医学影像 AI 的毕业证书，从来不是训练集准确率，而是一份敏感度与特异度双双及格的临床评估报告。

部署与优化：把老经验装进行囊

小王终于出师了。可张大夫的最后一课还没上完：会诊室里的高手再厉害，也走不进千家万户。要让 AI 替自己下乡义诊，得把它装进一台不贵的平板甚至手机里，在信号不好的偏远地区，几秒钟就要出结果。

部署优化的三板斧由此登场。第一是量化：把模型里的 float32 权重换成 int8 整数，体积直接缩到四分之一，推理速度大幅提升，代价是精度轻微损失，需要用校准集微调补偿；第二是知识蒸馏：让大模型当“老师”，把自己的判断“浓缩”进一个轻量学生模型，学生模型虽然小，学到的却是老师的完整经验；第三是推理加速引擎（如 TensorRT、NCNN）做算子融合与内存优化，把每一毫秒都抠出来。上线也并非终点——要定期回收真实病例、用新数据微调重训，防止模型“越用越钝”。

量化的数学很直观：给每个浮点数找一个“缩放尺子”，把它挪到最近的整数刻度上。模型还是那个模型，只是从精装大部头换成了口袋本。

张大夫最后把用了二十年的随身工具箱递给小王：“手艺要能带下乡，才算真正救人。”AI 落地的最后一公里，就是把论文里的准确率，变成诊室里、手机上的每一秒等待——技术只有装进行囊，才谈得上普惠。

AI 应用场景

Python 演示

import torchimport torch.nn as nnfrom torch.utils.data import Dataset, DataLoaderimport torchvision.transforms as T # 模拟 HAM10000:7 类病变的长尾样本数(单位:张)class_counts = torch.tensor([584, 6705, 327, 1153, 1099, 514, 142], dtype=torch.float)num_classes = len(class_counts) # 1. 类别加权损失:稀有恶性类别获得更高权重,防止模型只会发现普通痣weights = class_counts.sum() / (num_classes * class_counts)weights = weights / weights.mean()criterion = nn.CrossEntropyLoss(weight=weights)  class SyntheticLesion(Dataset):    def __init__(self, n=800):        self.n = n        self.labels = torch.multinomial(class_counts, n, replacement=True)     def __len__(self):        return self.n     def __getitem__(self, i):        return torch.randn(3, 16, 16), self.labels[i]  # 2. 数据增强:张大夫让徒弟换角度、换光线反复看同一颗痣augment = T.Compose([    T.RandomHorizontalFlip(p=0.5),    T.RandomRotation(15),    T.ColorJitter(brightness=0.2, contrast=0.2),])  class TinyCNN(nn.Module):    def __init__(self):        super().__init__()        self.features = nn.Sequential(            nn.Conv2d(3, 16, 3, padding=1), nn.ReLU(), nn.MaxPool2d(2),            nn.Conv2d(16, 32, 3, padding=1), nn.ReLU(), nn.AdaptiveAvgPool2d(1),        )        self.head = nn.Linear(32, num_classes)     def forward(self, x):        return self.head(self.features(x).flatten(1))  def train_one(model, loader, epochs=2):    opt = torch.optim.Adam(model.parameters(), lr=1e-3)    for _ in range(epochs):        for x, y in loader:            loss = criterion(model(augment(x)), y)            opt.zero_grad()            loss.backward()            opt.step()    return loss.item()  # 3. 集成学习:三位"会诊医生"各自训练,最后平均投票loader = DataLoader(SyntheticLesion(), batch_size=32, shuffle=True)models = [TinyCNN() for _ in range(3)]for m in models:    m.eval()    train_one(m, loader)  def ensemble_predict(x):    votes = torch.stack([torch.softmax(m(x), dim=1) for m in models])    return votes.mean(dim=0).argmax(dim=1).tolist()  x, y = next(iter(loader))print("集成预测类别索引:", ensemble_predict(x))

1. weights = class_counts.sum() / (num_classes * class_counts)按样本数反比计算每类权重，稀有类（如黑色素瘤）拿到最大的“犯错代价”
2. criterion = nn.CrossEntropyLoss(weight=weights)把权重注入交叉熵损失，让模型不敢忽略长尾里的稀有病变
3. augment = T.Compose([定义数据增强流水线，每次迭代都对图像随机翻转、旋转、调色
4. class TinyCNN(nn.Module):一个极简卷积网络，扮演“迁移学习的分类头”角色
5. loss = criterion(model(augment(x)), y)核心训练一步：先增强、再前向、后算加权损失
6. votes = torch.stack([torch.softmax(m(x), dim=1) for m in models])三位“会诊医生”各自输出概率
7. return votes.mean(dim=0).argmax(dim=1).tolist()平均概率后取最大者，完成集成投票

常见误区

面试题