欠拟合现象诊断与解决

可视化演示

展示欠拟合/良好拟合/过拟合三种状态的模型拟合效果与学习曲线，通过训练误差和验证误差对比诊断模型问题。

欠拟合表现：两张成绩单都挂科

小李的成绩单上，平时练习 40 分，正式模拟 45 分。教练断言：这不是发挥失常。发挥失常一般表现为“平时还行、考试掉链子”；而两场都考砸，说明基本功压根没建立。机器学习里的“考试成绩单”也分两张：模型在训练数据上的误差叫训练误差，在没见过的数据上的误差叫测试误差。

当模型连训练数据的规律都学不会时，它在训练集上自然表现差；更关键的是，它学到的规律太少，拿到没见过的新样本上一样表现差。于是出现“双高”——训练误差高、测试误差也高。这是欠拟合的招牌特征：不是“考砸一次”，而是“两场都考砸”。别小看这个判断，它直接帮你把欠拟合和过拟合区分开。

定义训练误差为模型在训练集上的平均犯错程度：

欠拟合时，这个训练误差不仅高，测试误差也同步高。教练看到“双挂”成绩单，第一反应不是骂学员不认真，而是怀疑：练的内容本身就不对。记住这个信号，接下来我们去找病因。

成因之一：模型容量不足

小李开的那辆教练车，只有前进挡、没有倒挡，方向盘还特别沉。不是他不努力，而是车子能完成的动作本来就少。这对应机器学习里的模型容量（Model Capacity）——模型能够表达的函数范围有多宽。容量不足，就好比车只支持“直行”这一种操作。

线性模型只能画直线，浅层网络只能学简单模式。如果真实数据的规律是弯弯曲曲的，而模型只会画直线，那无论怎么调参都拟合不了。这叫“表达力上限”：不是不想学好，是能力天花板就摆在那里。判断容量是否不足，可以用偏差-方差分解这把尺子：

容量不足 → 偏差大 → 无论换什么训练数据，错法都一样。这就像小李换了三条练习路线，每一条都只会“直行冲过去”。这时候再怎么延长练习，也练不出漂移技术——因为车不行。下一步，该看看是不是“信息”也不够。

成因之二：特征不足

教练又发现，小李开车时只盯车速表，后视镜、路标、刹车油门全顾不上。信息源太少，再聪明的人也判断不了复杂路况。机器学习里的特征（Feature）就是模型观察世界的“仪表盘”——如果只给模型一个特征，它就像蒙住半边眼睛开车。

比如预测房价，只告诉模型“面积”，它就看不见地段、房龄、户型、周边配套这些关键信息，自然学不好。学不会的背后，可能不是模型笨，而是你喂给它的“仪表盘”不够。这时候需要特征工程（Feature Engineering）：把原始数据加工成更有信息量的输入，比如把一维特征 $x$ 扩展成多项式组合，让模型有能力表达曲线关系；再比如构造“面积 × 单价”这类组合特征，相当于把两个仪表盘合并成一个更有用的新仪表。

特征不足还有一个隐蔽变体：数据质量差。缺失值成片、异常值满天飞的数据，等于仪表盘坏了还不修。模型容量再大，也只能在“盲开”状态下学习。所以诊断欠拟合时，先问一句：模型有没有看到足够多、足够准的信息？

给模型“配齐仪表盘”，它才能看清路。但光有车、有仪表还不够——如果练车时间太短，照样上不了考场。

成因之三：训练不充分

小李总共只练了 2 个小时就上考场，教练连连摇头：练不够时长，身体根本没形成肌肉记忆。机器学习同样讲究“练够”。训练不充分常见三种情况：迭代轮数（epoch）太少，模型还没把数据“过”几遍；学习率（learning rate）太小，每步挪动像蚂蚁爬；提前终止太早，眼看快收敛了就草草收工。

模型的训练过程靠梯度下降一点点改进参数。每次迭代，它都朝“让损失变小”的方向迈一步：

训练不充分和容量不足的区别在于：容量不足是“车不行”，训练不充分是“练不够”。前者换了车立即改善，后者加练就好。另外，训练样本太少也属于这类——没有足够多的路况让学员见识，肌肉记忆自然建立不起来。但别忘了，隔壁班还有一个练过头的小王。

过拟合对比：背死书与没读书

隔壁班小王考驾照的方式是“背路线”：把考试路段每个弯道、每个标线、每个减速带全背下来，模拟考试回回满分。可一旦换一条考试路线，他立刻熄火——这是过拟合：把训练样本背得滚瓜烂熟，却学不会背后的通用规律。小李则是“没读书”：什么规律都没学到。一个是记性太好不会举一反三，一个是压根没记住。

两者的成绩单截然不同：过拟合是“训练误差低、测试误差高”，欠拟合是“训练误差高、测试误差也高”。用泛化差距这个指标可以一针见血地分开它们：

把模型复杂度从低调到高，训练误差一路下降，测试误差却先降后升，画出来是一条 U 形曲线：左端欠拟合（偏差大），中间是舒适区（偏差方差平衡），右端过拟合（方差大）。好司机不是背路线，而是掌握驾驶规律；好模型不是背样本，而是抓住数据背后的规律。理解了这个对比，解决欠拟合的方向就清晰了。

解决策略：教练的三张药方

教练给小李开了三张药方：换一台能倒车、能转弯的好车；配齐后视镜和各种仪表；每天练够时长。三管齐下，小李终于从 40 分练到 90 分。对应到机器学习工程上，就是三大手段。

第一，增加模型复杂度：把线性模型换成多项式或非线性模型，加深加宽神经网络，或者减少正则化约束。这相当于换一台“能跑山路”的车。第二，丰富有效特征：做特征工程，增加有信息量的特征、构造组合特征、修复数据质量。这相当于装齐后视镜、雷达和导航。第三，延长与调优训练：增加 epoch、适当调大学习率、保证模型收敛，必要时补充更多训练数据。

但药不能乱吃：复杂度提上去后要盯住测试误差，防止从欠拟合直接滑向过拟合。方法是引入验证集做“模拟考试”——但注意，模拟考要不断换新题，一旦验证误差开始回升就该刹车。这就是为什么教练要求小李每周换一条不同的路练习，本质是防止“背路线”。解决欠拟合的核心，是把“没学会”变成“学会了但别背死书”，在偏差和方差之间找到那个 U 形曲线的谷底。

诊断流程：教练式排障流程

驾校教练有一套标准排障流程：先翻成绩单，看平时和考试分别是多少；再对比差距，判断是“都没学好”还是“只会背路线”；然后做小实验，换不同难度的路段试一圈；最后根据结果调整训练方案。机器学习模型的诊断流程几乎一模一样。

第一步，画学习曲线：把训练误差和验证误差随训练数据量或迭代轮数的变化画出来。两条线都高且靠得近，是欠拟合的典型曲线。第二步，对比误差：训练高测试高 → 欠拟合；训练低测试高 → 过拟合；两条都低 → 拟合良好。第三步，做对照实验：一次只改一个变量——这轮加复杂度，下轮加特征，再下轮延长训练，看哪个动作让误差明显下降。第四步，迭代优化：把验证误差当作“体检指标”，不断重复前三步，直到模型停在 U 形曲线的谷底。

工程上常用交叉验证（k-fold）来让诊断结论更可靠：把数据分成 k 份，轮流拿其中一份当“模拟考”，相当于让教练用多批学员反复验证同一套教学方案，避免一次考试定生死。掌握了这套流程，你就不再是“瞎调参”，而是像老教练一样，扫一眼成绩单就能判断问题出在车、信息还是训练量。

AI 应用场景

Python 演示

import numpy as np  def generate_data(n=60, noise=0.25, seed=42):    # 生成带噪声的正弦数据, 模拟有规律但看不清的真实任务    rng = np.random.RandomState(seed)    x = np.linspace(0, 1, n)    y = np.sin(2 * np.pi * x) + rng.normal(0, noise, size=n)    return x, y  def fit_polynomial(x, y, degree):    # 用最小二乘法拟合 degree 阶多项式, 返回系数    X = np.vander(x, degree + 1, increasing=True)    coef, _, _, _ = np.linalg.lstsq(X, y, rcond=None)    return coef  def predict(x, coef):    # 用多项式系数批量预测    X = np.vander(x, len(coef), increasing=True)    return X @ coef  def mse(y_true, y_pred):    # 均方误差: 预测与真实之差的平方均值    return float(np.mean((y_true - y_pred) ** 2))  def train_test_split(x, y, ratio=0.7, seed=0):    # 打乱索引后按比例切分训练集和测试集    idx = np.random.RandomState(seed).permutation(len(x))    k = int(len(x) * ratio)    return x[idx[:k]], y[idx[:k]], x[idx[k:]], y[idx[k:]]  def diagnose_underfitting():    # 对比不同复杂度下的训练/测试误差, 诊断欠拟合    x, y = generate_data()    x_tr, y_tr, x_te, y_te = train_test_split(x, y)    print("degree | train_mse | test_mse | diagnosis")    print("-" * 46)    for degree in [1, 2, 3, 5, 9, 15]:        coef = fit_polynomial(x_tr, y_tr, degree)        tr_err = mse(y_tr, predict(x_tr, coef))        te_err = mse(y_te, predict(x_te, coef))        if tr_err > 0.15 and te_err > 0.15:            verdict = "underfit"        elif te_err > tr_err * 2:            verdict = "overfit"        else:            verdict = "good"        print(f"{degree:6d} | {tr_err:.4f}   | {te_err:.4f}   | {verdict}")  if __name__ == "__main__":    diagnose_underfitting()

1. def generate_data(n=60, noise=0.25, seed=42):生成带噪声的正弦数据，模拟“有规律但看不清”的真实任务，对应练车场里那条有弯道的练习路线。
2. X = np.vander(x, degree + 1, increasing=True)把一维特征扩展成多项式特征矩阵，相当于给模型加装“仪表盘”。
3. coef, _, _, _ = np.linalg.lstsq(X, y, rcond=None)用最小二乘法解出多项式系数，相当于把“车”调校到最佳状态。
4. return X @ coef用矩阵乘法一次性算出全部预测值，批量评估车技。
5. idx = np.random.RandomState(seed).permutation(len(x))打乱样本顺序再做 7:3 切分，保证“平时练习”和“正式考试”难度一致。
6. if tr_err > 0.15 and te_err > 0.15:核心诊断逻辑：训练测试“双高”即欠拟合，对应平时练习和正式考试都挂科。

常见误区

面试题