三种学习范式对比：从私教、探险到巧借东风

可视化演示

一、范式总览：厨房里有没有“标准答案”

小灶把三种学习方式贴在厨房墙上，每天对照着看。其实它们的分界线只有一条：训练数据里有没有“标准答案”，以及有多少。这个标准答案在机器学习里叫“标签”（label）——一条数据对应的正确答案，比如一张图片里是猫还是狗。

有标签的，叫「监督学习」：私教模式，输入和输出都摆在眼前，学的是从输入到输出的映射。没有标签的，叫「无监督学习」：探险模式，只有一堆原始数据，学的是数据内部的结构。而「半监督学习」站在中间：手里只有少量标签，但有个巨大的无标签仓库可以借用，专门解决“标注太贵”的现实问题。

无论哪种范式，模型要进步都得有“得失标准”。监督学习的标准来自标签，于是有了下面的经验风险——它统计的是：整桌菜按当前手艺来做，平均每道菜离老师的标准有多远。

回到厨房。小灶发现，私教之路贵在“每条反馈都要老师亲自尝”；探险之路便宜但没人告诉对错；而半监督的路，是奶奶留给他最大的财富。接下来我们一步步看，这三条路各自怎么走。

二、监督学习：一对一的严格私教

私教模式有它的爽，也有它的痛。小灶请的私教有个规矩：每一道菜，必须等他下筷子尝过、点评过，才算完成。咸了、淡了、火候老了，他全部记下来，下一道菜照着改。这就是监督学习的运行方式：每条训练数据都附带“标准答案”，模型做出预测后马上与标准答案比对，计算误差，再回头调整自己。

正式地说，监督学习用「有标签数据」训练模型，解决两类任务：输出是类别时叫「分类」，比如判断一封邮件是不是垃圾邮件；输出是连续数值时叫「回归」，比如预测明天的房价。代表算法有线性回归、逻辑回归、支持向量机、决策树与随机森林，以及各类深度神经网络。

分类任务最常用的“失分表”叫交叉熵损失：

私教模式的好处是上限高、指哪打哪，但痛点也鲜明：每一份标签都要人力来写。小灶算过账——把一百道菜每道都让私教点评，光课时费就够他吃一年外卖。这正是后两种范式登场的理由。

三、无监督学习：独自探索陌生厨房

有一天私教辞职了，小灶被扔进一间没有菜谱的厨房。没有标准答案，他只能靠鼻子闻、靠手摸，把一屋子陌生食材分门别类：气味冲鼻的放一起，口感软糯的放一起，颜色相近的放一起。分完类，他虽然没有“学会做某道菜”，但对厨房的版图了如指掌。

这就是无监督学习：训练数据没有标签，模型自己发现数据里的结构。它最常回答两类问题。第一类是「聚类」：把相似样本自动分成若干组，组内像、组间不像，代表算法有 K-Means、DBSCAN、层次聚类。第二类是「降维」：把高维数据压缩到少数几个关键维度，代表算法有 PCA、t-SNE。

聚类算法的目标很直白——让每个样本离自己的组中心尽可能近：

无监督学习像是厨房里的“格局整理术”：它不负责教你做菜，但帮你把原料摆得明明白白，为后续决策提供地图。它的代价是，没有标准答案就没有明确的“对错信号”，分组结果需要人来解读——这恰恰是半监督学习要弥补的缝隙。

四、半监督思想：五道菜撬动整个仓库

奶奶临行前，只给小灶示范了五道菜：红烧肉、清蒸鱼、番茄炒蛋、拍黄瓜、糖醋排骨。剩下的，是一整个仓库的食材和一本零散的笔记。小灶没有急着全请私教，而是想：这五道菜是“种子”，仓库里的食材是“待开发的矿藏”。他把新食材和五道菜里的调料比对——一种没见过的菌菇，香气和香菇有九成像，那就按香菇的方法处理；一种陌生的绿叶菜，口感和菠菜很像，那就按菠菜的步骤来。

这个思路，就是半监督学习的核心思想：用少量有标签数据（五道菜）加上大量无标签数据（仓库食材）共同训练模型。它之所以成立，建立在三个假设之上。「平滑假设」：相似的输入，输出应该相似，像的食材做法就该像；「聚类假设」：同簇的样本大概率同标签，同一堆里的食材多半是一路的；「流形假设」：高维数据其实躺在一个低维流形上，只需沿流形度量远近。

在数学上，半监督训练往往写成监督损失与无监督约束的加和：

半监督的妙处就在这：它不追求把五道菜练到极致，而是让五道菜成为“杠杆支点”，借助整仓库食材的结构信息，撬动远超五道菜的学习效果。

五、三种半监督算法：自训练、协同训练与图传播

把思想变成算法，小灶摸索出三种打法。

第一种，自训练，像“自信的自我操练”。小灶先用五道菜练出手感，再对仓库里的食材做初步判断，凡是自己特别有把握的（比如把握超过 90%），就当作“自己教自己的标准答案”补进训练集，再练下一轮。如此循环，训练集像滚雪球一样越滚越大。要注意的是，雪球也可能滚进脏雪——判断错的样本会被放大，所以通常只挑高置信度的样本。

第二种，协同训练，像“两个品鉴师互相把关”。一个品鉴师看“口味”，另一个看“卖相”，双方从各自视角对同一批食材下判断；只有当两个人都不犹豫时，才把新食材纳入训练。它要求数据特征天然分成两个“视图”，比如网页分类时，一个视图看页面文字，另一个视图看超链接锚文本。

第三种，图半监督，像“食材在相似度货架上传递标签”。把所有样本看作图的节点，两点越像边越粗；标签从几个已标注的种子节点出发，沿着边一圈圈扩散到整个图，最终每个节点都染上自己的颜色。它的迭代公式长这样：

三种打法，本质是把“相似的数据应该有相似标签”这句话翻译成不同的数学程序：自训练靠模型自己的信心，协同训练靠两个视角的共识，图方法靠邻居关系的加权投票。小灶发现，它们共同的前提，都是那份“相似度判断”得靠谱。

六、场景选型：什么时候用哪个

小灶终于开起了饭店，开始盘算：什么情况该请私教，什么情况该自己探险，什么情况该用奶奶的巧劲？他总结出三条判断标准。

第一，看标注成本。如果请专家标注贵得要命（比如医学影像要主任医师一张一张看），那就必须想尽办法减少标签用量——半监督是首选；如果标注便宜（比如众包打普通商品图，几毛钱一条），直接用监督学习更省心。第二，看无标签数据的规模。仓库里若只有三五十件食材，半监督派不上用场；若有上万件，无标签数据的结构信息就开始显威力。第三，看精度要求与容错率。金融风控、医疗诊断这类“错不起”的场景，优先保证标签质量；推荐系统、用户分群这类容错较高的场景，无监督甚至半监督足以撑起业务。

把账算清楚，离不开一张成本公式：

选型指南可以浓缩成一句话：标签便宜量又足，放心监督；标签昂贵仓库深，半监督省钱；一张标签都没有，无监督先画地图。小灶的饭店生意不错，秘诀就是“该花的花，该省的省”。

七、实战应用：大厨的省钱智慧

小灶把半监督的巧劲用在了饭店的三个角落。

第一个角落是客服工单。每天上千条售后消息，请人逐条标注“退款、换货、投诉、咨询”太贵。他只标了 300 条典型工单，剩下的交给自训练：模型先用 300 条学出规律，给剩余工单打分，挑高置信的入库，循环几轮后，工单自动分类的准确率从七成出头提到接近九成。第二个角落是菜品图片识别。后厨拍摄的菜品照片很多没有类别标签，他用图半监督把几张标注图和几百张无标注图连成相似度图，标签沿图扩散，新品上架识别马上可用。第三个角落是医疗机构的合作项目——在只有少量确诊 CT 影像时，用协同训练把医生的标注价值放大数倍，辅助筛查肺结节的敏感度接近全监督水平。

半监督带来的收益，可以直观地写成一个差值：

小灶的经历，正是今天许多 AI 团队的写照：数据不是不够，而是“带答案的数据”不够。三种范式不是三道菜，而是三种火候——知道什么时候大火、什么时候小火、什么时候文火慢炖，才算真正掌勺。

AI 应用场景

Python 演示

"""自训练演示:只用 10% 标签完成半监督分类。"""import numpy as npfrom sklearn.datasets import make_moonsfrom sklearn.svm import SVCfrom sklearn.metrics import accuracy_score  def self_training(X, mask, y_labeled, base_model, thresh=0.9, max_iter=20):    X_labeled = X[mask]    y_labeled = y_labeled.copy()    X_unlabeled = X[~mask]    for _ in range(max_iter):        if len(X_unlabeled) == 0:            break        model = base_model()        model.fit(X_labeled, y_labeled)        proba = model.predict_proba(X_unlabeled)        confidence = proba.max(axis=1)        ok = confidence >= thresh        if not ok.any():            break        X_labeled = np.vstack([X_labeled, X_unlabeled[ok]])        y_labeled = np.hstack([y_labeled, proba[ok].argmax(axis=1)])        X_unlabeled = X_unlabeled[~ok]    return base_model().fit(X_labeled, y_labeled)  def main():    X, y = make_moons(n_samples=300, noise=0.15, random_state=42)    rng = np.random.RandomState(0)    mask = rng.rand(len(X)) < 0.1    model = self_training(X, mask, y[mask],                          lambda: SVC(probability=True, random_state=0))    pred = model.predict(X)    print("自训练准确率: %.3f" % accuracy_score(y, pred))    baseline = SVC(probability=True, random_state=0).fit(X[mask], y[mask])    base_pred = baseline.predict(X)    print("仅用标签准确率: %.3f" % accuracy_score(y, base_pred))    print("标签比例: %.0f%%" % (mask.mean() * 100))  if __name__ == "__main__":    main()

1. def self_training(X, mask, y_labeled, base_model, thresh=0.9, max_iter=20):定义自训练主流程，参数包括特征、标签掩码、已标注标签、基模型工厂和置信度阈值。
2. model.fit(X_labeled, y_labeled)先用当前的小规模标签集训练一个基础分类器，相当于先用五道菜练出手感。
3. proba = model.predict_proba(X_unlabeled)让模型对无标签数据输出概率分布，判断每个样本的预测把握。
4. ok = confidence >= thresh只保留置信度达到 0.9 的样本，高门槛拦住低质量伪标签，防止错误滚雪球。
5. X_labeled = np.vstack([X_labeled, X_unlabeled[ok]])把高置信伪标签样本并入训练集，实现“滚雪球”式的数据扩充。
6. y_labeled = np.hstack([y_labeled, proba[ok].argmax(axis=1)])用模型预测的类别作为伪标签，与原始标签拼接。
7. mask = rng.rand(len(X)) < 0.1随机留下 10% 的样本作为有标签数据，模拟标注稀缺的真实场景。
8. baseline = SVC(probability=True, random_state=0).fit(X[mask], y[mask])训练一个只用少量标签的对照组模型，用于对比半监督的收益。

常见误区

面试题