工业视觉质检：表面瑕疵分类

可视化演示

展示瑕疵特征提取、不平衡数据处理及混淆矩阵优化的三模态交互动画。

瑕疵类型辨识：先认识三类“皮肤病”

王医生能精准诊断，第一步靠的是“认病”——皮肤上的异常形态五花八门，但他先归纳为几大类：渗液的、掉屑的、鼓包的。工业质检也一样，面对产线上形态各异的缺陷，首先要建立“瑕疵类型”的分类框架。最常见的三类是划痕、污渍和变形。划痕是表面的线性损伤，像手臂上被指甲划过留下的细线；污渍是颜色异常的区域，类似脸上的色斑；变形则是产品结构形态的偏离，好比皮肤上鼓起的肿块。

从图像上看，三类瑕疵的视觉特征差异明显：划痕细长、有方向性；污渍呈块状、颜色异常；变形通常伴随轮廓变化。把这些差异转化为数学语言，就是定义一个瑕疵类别集合。对分类任务来说，首先要明确模型要输出“哪几类答案”——类别定义越清晰，后续的特征提取和模型训练就越有方向。

$$\displaystyle C = \{c_1, c_2, \ldots, c_K\}$$

1. 类别集合：$C$ 表示所有可能瑕疵类别组成的集合，例如 $C = \{$划痕、污渍、变形$\}$。

$$C = \{c_1, c_2, \ldots, c_K\}$$

2. 单个类别：$c_i$ 代表第 $i$ 类瑕疵，其中 $c_1$ 可以是划痕，$c_2$ 是污渍，$c_3$ 是变形。

$$c_i \in C, \quad i = 1, 2, \ldots, K$$

3. 类别总数：$K$ 表示类别总个数，工业场景中通常 $K$ 取值在 3 到 10 之间，有时还会加上一个“正常”类别。

$$K = |C|$$

回到王医生的诊室，他脑子里就装着一张“皮肤病类别表”，每个病人的症状都会先归入某一类，再决定下一步怎么治。表面瑕疵分类的第一课也是这个：把瑕疵类型定义清楚，后面的模型才有明确的“答题范围”。

特征提取方法：AI 医生的“望闻问切”

王医生为什么一眼能分出湿疹和荨麻疹？他说是因为“看”——看颜色红不红、摸表面糙不糙、观形状圆不圆。这些观察角度，在机器视觉里就叫“特征提取”。特征不是图像本身，而是从图像中提炼出的统计量或结构信息，让计算机能抓住“划痕长什么样、污渍长什么样”的本质。

最常见的三大类特征：颜色特征、纹理特征和形状特征。颜色特征统计像素的颜色分布，比如污渍区域的颜色平均值和正常区域差异大，就能靠颜色区分；纹理特征刻画表面的粗糙程度和规律性，划痕区域的纹理方向性强；形状特征描述目标的几何结构，变形的产品在长宽比、面积等指标上会异常。在实际工业场景中，还会用到边缘检测算子（如 Sobel、Canny），先把图像中灰度突变的位置提取出来，这些“边缘”往往是划痕和变形的骨架。

$$\displaystyle H[k] = \frac{1}{N}\sum_{i=1}^{N} \mathbb{I}(b(p_i) = k)$$

1. 像素统计：$p_i$ 表示图像中第 $i$ 个像素，$N$ 是像素总数；$b(p_i)$ 把该像素的颜色值映射到第 $k$ 个颜色区间。

$$b(p_i) = k$$

2. 指示函数：$\mathbb{I}(\cdot)$ 是指示函数，当括号内条件成立时取 $1$，否则取 $0$，用来“计数”。

$$\mathbb{I}(b(p_i) = k) = \begin{cases} 1, & \text{若 } b(p_i) = k \\ 0, & \text{其他} \end{cases}$$

3. 归一化比例：除以 $N$ 得到第 $k$ 个颜色区间的像素占比，构成直方图向量 $H$。

$$H[k] \in [0, 1], \quad \sum_{k} H[k] = 1$$

王医生的“望闻问切”沉淀在脑海里是几十年的经验，而 AI 质检员的“看家本领”就是一行行特征计算代码。特征提取质量直接决定分类准确率的上限——就像医生如果只靠“看颜色”而不会“摸纹理”，很多病症就会漏掉。

分类模型设计：从经验规则到 AI 专家

王医生带徒弟，一开始教的是经验规则：“如果皮疹发红、有渗出液，多半是湿疹；如果边界清晰、像铜钱一样圆，可能是真菌感染。”这就是最朴素的分类模型——决策规则。工业质检里对应的就是传统机器学习方法：把提取到的特征向量输入决策树、支持向量机（SVM）等分类器，让模型自动学习特征和瑕疵类别之间的映射关系。

后来徒弟看过的病例多了，形成了一种说不清道不明的“直觉”——这就像深度学习模型。卷积神经网络（CNN）不再需要人工设计特征，而是从海量图像中自动学习层级化的视觉特征：浅层学边缘纹理，深层学语义结构。在产线质检中，CNN 在复杂背景、多类瑕疵的任务上通常表现更好，但需要更多数据、算力和调参功夫。选传统方法还是深度学习，要看数据量、硬件和实时性约束。

$$\displaystyle \sigma(z_i) = \frac{e^{z_i}}{\sum_{j=1}^{K} e^{z_j}}$$

1. 原始分数：$z_i$ 是模型对第 $i$ 类的打分，值可正可负，直接看大小不方便解释。

$$z_i = \text{模型的第 } i \text{ 类输出}$$

2. 指数变换：对每个分数取 $e^{z_i}$，把负数变正数，同时放大分数间的相对差距。

$$e^{z_i} > 0$$

3. 归一化：除以所有类别的指数之和，得到 0 到 1 之间的概率值，总和为 1。

$$\sum_{j=1}^{K} \sigma(z_j) = 1$$

机器学习的本质，是把王医生“看多了自然知道”的经验，变成可以计算和复用的数学函数。分类模型设计没有放之四海皆准的答案，就像老中医的方子也要根据病人体质调整——数据量大选深度模型，数据量小用传统方法，永远要“对症下药”。

分级处理流程：轻症开药，重症手术

王医生看完病，不会对所有人都说“住院手术”——他会根据病情严重程度开出不同方案：轻微湿疹开支药膏，中度感染开口服药，重度病变才安排住院。这个“分级处置”的思维，工业质检也必须学会。表面瑕疵分类的最终目的不只是“找出缺陷”，而是“决定怎么处理”：轻微瑕疵可以返修，中等瑕疵降级销售，严重瑕疵直接报废。

分级处理流程的自动化，依赖于分类模型输出的“类别 + 置信度”双信息。产线控制系统根据分类结果触发机械臂分拣、报警灯提示或者停机检修。同时，对于模型置信度低或介于两个等级之间的“疑难杂症”，必须设置人工复检兜底——这相当于医生遇到拿不准的病例，会让患者去做进一步检查。

$$\displaystyle y = f(x) = \arg\max_{c} P(c \mid x)$$

1. 样本输入：$x$ 是一个待分类的样本（如一张产品表面图像的特征向量）。

$$x \in \mathbb{R}^d \quad (d \text{ 为特征维数})$$

2. 条件概率：$P(c \mid x)$ 表示在给定样本 $x$ 的条件下，它属于类别 $c$ 的概率。

$$\sum_{c \in C} P(c \mid x) = 1$$

3. 最大后验决策：$\arg\max$ 表示“取使概率最大的那个类别”，即选择最可能的类别作为输出。

$$\hat{y} = \arg\max_{c} P(c \mid x)$$

“发烧就挂水，骨折就手术”——分级处理让 AI 质检员不再是“一刀切”的判官，而是懂轻重缓急的“主治医生”。每一件产品都按照它的“病情”流向正确的出口，产线的整体效率和客户满意度随之提升。

类别不平衡处理：当 99% 的人都“没病”

王医生的门诊有个特点：一天 100 个患者里，99 个是普通湿疹，只有 1 个是真菌感染。如果他只学一句话：“全部诊断为湿疹”，准确率高达 99%，可那个真菌感染患者就被耽误了。工业质检的困境一模一样：产线上绝大多数产品是合格的，缺陷品可能只占 1%~5%。模型会倾向于把所有样本都判成“正常”来获得高准确率，导致真正需要关注的缺陷被忽略。

应对类别不平衡，有几个被验证有效的策略。过采样：对少数类（缺陷样本）重复抽样，让模型“多见几次”；欠采样：从多数类（正常样本）中剔除一部分，让两类数量接近；加权损失函数：给少数类更高的错分代价，模型就会更重视它；数据增强：对缺陷样本做旋转、平移、加噪等变换，生成多样化的新样本，相当于“克隆”出更多病例。

$$\displaystyle L = -\sum_{i=1}^{N} w_{y_i} \log p_i$$

1. 交叉熵损失：$\log p_i$ 是模型对第 $i$ 个样本真实类别的对数概率，概率越低，$\log p_i$ 负得越多，损失越大。

$$\log p_i \le 0$$

2. 类别权重：$w_{y_i}$ 根据类别样本比例设定，少数类权重高于多数类，如 $w = \frac{N}{K \times N_c}$。

$$w_{y_i} = \frac{N_{\text{总}}}{K \times N_{c}}$$

3. 加权求和：对所有样本加权求和再取负号，得到总的训练损失，优化器会优先降低权重大的类别误差。

$$L \geq 0$$

“均衡饮食才能身体健康”——类别不平衡处理就像是给模型“调剂营养”，不能让它只吃“正常类”这单一食物。只有见过了足够多、足够多样的缺陷样本，AI 质检员才能像王医生一样对罕见病也保持警觉。

阈值调优策略：放宽还是收紧诊断标准

王医生对每个疑似病例，心里都有一杆秤：症状典型到几分才敢确诊？这个“几分”就是阈值。诊断标准定得严（高阈值），他只会确诊最有把握的病，但可能漏掉症状不典型的真患者；标准定得松（低阈值），他什么病都敢报，又会让没病的人白吃药。工业质检的模型也有同样的“尺度”——置信度阈值。

分类模型为每个样本输出各类别的概率，其中最高概率就是置信度分数。设置阈值时，高于阈值的样本判为缺陷，低于阈值判为正常。阈值调的越高，系统越“谨慎”，误检（良品当次品）少但漏检（次品当良品）多；阈值越低，系统越“激进”，漏检少但误检多。ROC 曲线刻画了不同阈值下“真正例率 vs 假正例率”的此消彼长，帮我们找到最优平衡点，再结合业务成本（误检浪费材料、漏检损害客户信任）确定最终值。

$$\displaystyle F1 = \frac{2 \times P \times R}{P + R}$$

1. 精确率：$P = \frac{TP}{TP + FP}$，在模型判为缺陷的样本中，真实缺陷所占比例（“报的病有多少真”）。

$$P = \frac{TP}{TP + FP}$$

2. 召回率：$R = \frac{TP}{TP + FN}$，在所有真实缺陷中，被模型找出来的比例（“真的病有多少被报”）。

$$R = \frac{TP}{TP + FN}$$

3. 调和平均：P 和 R 的调和平均不会偏向任何一个极端值，只有当两者都高时 F1 才高——鼓励模型“既准又全”。

$$F1 = \frac{2PR}{P + R}$$

“诊断标准太松会误诊，太紧会漏诊”——王医生会在行医经验中不断校准自己的尺度。AI 质检员也一样，上线前用 ROC 曲线找到理论最优区间，上线后根据产线实际数据微调阈值，让系统始终处于最佳工作状态。

业务ROI平衡：把每一分钱花在刀刃上

医院引进一台新设备，院长要算账：设备能多诊断多少病人、减少多少误诊赔偿、省下多少人工成本？工业 AI 质检项目同样要过“ROI 这一关”。一个视觉检测模型即使准确率再高，如果部署和运维成本超过它带来的收益，企业也不会买单。ROI 是衡量整个质检系统价值的最终标尺。

计算 ROI 时，收益端来自：减少人工质检人力成本、降低次品流出导致的客户赔偿、提高产线良品率和产能。成本端包括：硬件（相机、工控机）、软件（算法开发、平台授权）、部署调试、数据标注和模型维护。误检率和漏检率直接影响收益——误检高浪费良品材料和返工工时，漏检高则面临客户退货赔偿与品牌损伤。因此，阈值调优不只是算法工程师的技术活，更是和财务、生产、质量部门一起做的经营决策。

$$\displaystyle ROI = \frac{B - C}{C}$$

1. 总收益：$B$ 包括省下的人工成本、减少的赔偿损失、提升的良品率带来增收等。

$$B = B_{\text{人力节省}} + B_{\text{损失减少}} + B_{\text{产能提升}}$$

2. 总成本：$C$ 涵盖硬件、软件、数据、人力、维护等全部投入。

$$C = C_{\text{硬件}} + C_{\text{软件}} + C_{\text{数据}} + C_{\text{运维}}$$

3. 回报率：$\frac{B - C}{C}$ 为净收益与成本的比值，衡量每一元投入带来的净回报。

$$ROI = \frac{B}{C} - 1$$

王医生开药方，既要治好病，也要考虑患者的钱包；AI 质检系统的设计，同样需要在技术理想和商业现实之间找平衡。记住：业务上不划算的“完美模型”，不会在产线上活过半年。

AI 应用场景

Python 演示

import numpy as npfrom sklearn.model_selection import train_test_splitfrom sklearn.tree import DecisionTreeClassifier # 模拟工业质检中的瑕疵特征数据（实际项目由图像处理提取）np.random.seed(42)label_map = {0: '正常', 1: '划痕', 2: '污渍', 3: '变形'} def generate_sample(label):    if label == 0:    # 正常：面积小、边缘少、颜色差异小        return np.array([np.random.uniform(0.001, 0.01),                         np.random.uniform(0.001, 0.005),                         np.random.uniform(0.01, 0.05)])    if label == 1:    # 划痕：面积小但边缘密度高        return np.array([np.random.uniform(0.005, 0.02),                         np.random.uniform(0.02, 0.06),                         np.random.uniform(0.06, 0.2)])    if label == 2:    # 污渍：面积大、颜色差异大        return np.array([np.random.uniform(0.02, 0.08),                         np.random.uniform(0.005, 0.02),                         np.random.uniform(0.3, 0.6)])    # 变形：面积大、边缘也较多    return np.array([np.random.uniform(0.02, 0.06),                     np.random.uniform(0.01, 0.05),                     np.random.uniform(0.2, 0.5)]) # 构造类别不平衡数据集：良品40个，划痕15个，污渍15个，变形10个labels = np.array([0]*40 + [1]*15 + [2]*15 + [3]*10)X = np.array([generate_sample(l) for l in labels]) # 划分训练集和测试集X_train, X_test, y_train, y_test = train_test_split(    X, labels, test_size=0.3, stratify=labels, random_state=42) # 训练决策树分类器clf = DecisionTreeClassifier(max_depth=4)clf.fit(X_train, y_train)y_pred = clf.predict(X_test) # 评估分类效果并输出混淆矩阵acc = np.mean(y_pred == y_test)print(f"整体准确率: {acc:.2%}")print("\n混淆矩阵（行=真实类别，列=预测类别）:")cm = np.zeros((4, 4), dtype=int)for t, p in zip(y_test, y_pred):    cm[t, p] += 1for i in range(4):    row = " ".join(f"{v:2d}" for v in cm[i])    print(f"{label_map[i]:4s} | {row}") # 输出每个类别的召回率，观察不平衡类别表现print("\n各类别召回率:")for i in range(4):    total = np.sum(y_test == i)    hit = np.sum((y_test == i) & (y_pred == i))    recall = hit / total if total > 0 else 0    print(f"{label_map[i]:4s} : {recall:.2%} ({hit}/{total})")

1. labels = np.array([0]*40 + [1]*15 + [2]*15 + [3]*10)构造类别不平衡数据，模拟真实产线良品远多于缺陷的情况。
2. if label == 0: return np.array([...])每个类别有不同的特征分布范围，对应“正常/划痕/污渍/变形”的视觉差异。
3. train_test_split(..., stratify=labels, ...)按类别比例分层划分训练集和测试集，保证测试集中各类别都有代表。
4. DecisionTreeClassifier(max_depth=4)深度为 4 的决策树，简单可解释，适合作为工业场景的轻量级基线模型。
5. cm[t, p] += 1在混淆矩阵对应位置计数，行是真实类别、列是预测类别，对角线越亮分类越准。
6. recall = hit / total分别计算每类召回率，能暴露“整体准确率高但缺陷类召回率低”的问题。

常见误区

面试题