用多项式拟合曲线的非线性回归法

可视化演示

多项式特征展开、次数选择、龙格现象与正则化全流程。

概念与本质

步道工程师最初只用一把直尺规划路线。他量好每个木桩的位置后，尽量画一条“离所有木桩都最近”的直线。这条路平坦好走，但遇到山谷或坡地时，直线悬在半空，和真实地形差得很远——这就是线性回归的局限：一条直线，只能描述“持续走高或走低”的单调趋势。

要描述“先下山再上山”这样的起伏，就得让路线方程里出现 \(x^2\)、\(x^3\) 这类弯曲项。多项式回归做的事非常朴素：把原始特征 \(x\) 复制成它的高次幂，再继续沿用熟悉的线性回归去求解。换句话说，路的“骨架”还是直线算法，只是图纸从一张变成了厚厚一摞。

它的完整模型写成如下形式，注意这里说的“线性”是指对参数 \(w\) 线性，而不是对特征 \(x\) 线性：

所以，多项式回归不是引入了一套全新的黑科技，而是给线性回归配了一组“可弯曲的模板”。模板上每条弧线都由 \(x\) 的幂次组合勾勒，参数仍然是在找那条“离木桩整体最近”的路线——只是它不再习惯性走直线。

特征展开

工程师手里的原始图纸只有一张，记录着“横向位置 \(x \to\) 海拔 \(y\)”。要让道路能弯曲，他先复印出好几张新图纸，分别标注为 \(x^2\)、\(x^3\)……每张图纸代表一种弯曲幅度，最后按不同比例叠在一起，就能拼出千变万化的地形曲线。

这就是特征展开（polynomial features）：把一维特征变换成一个包含多个幂次分量的特征向量。原来只用一张图纸说话，现在用一摞图纸共同发言，模型的“词汇量”一下子丰富了。

$$\displaystyle \phi(x) = \big[\, 1,\; x,\; x^2,\; \ldots,\; x^d \,\big]$$

1. 特征向量 \(\phi(x)\)：把单个横坐标展开成一组幂次读数，是模型真正拿去计算的输入。

$$\phi(x)$$

2. 常数项 1：对应截距 \(w_0\)，负责路线整体抬高或压低，不参与任何弯曲。

$$1$$

3. 幂次分量 \(x^j\)：第 \(j\) 张图纸的内容，\(j\) 越大，能勾勒的弯折越细碎。

$$x^j$$

图纸摞得越高，能摆出的形状越复杂。但稍微提醒一句：\(x\) 以“米”为单位时，\(x^2\) 就是“平方米”，不同幂次的数值量级可能相差巨大。所以展开特征之前，通常先把 \(x\) 做标准化，否则后面求解参数时会把数值大的项“带偏”。

拟合流程

图纸都摆好了，接下来要回答：每张图纸该配多重的权重？工程师把“每个木桩处，步道海拔与木桩真实海拔的偏差”全部平方后加起来，作为这条路线总的不合格程度——这就是均方误差损失。路线越贴合木桩，这个值越小。

关键在于：这个总偏差关于参数 \(w\) 是一个开口向上的碗形曲面，有且仅有一个最低点。既然碗底唯一，就不需要碰运气，可以用最小二乘法直接算出最优参数。把每个样本展开后的特征向量按行叠成设计矩阵 \(\Phi\)，最优权重一步到位：

小数据量时用这个闭式解非常方便，一锤定音；数据量很大时，设计矩阵求逆代价过高，工程师们会改用梯度下降逐步逼近碗底。计算出权重后，把新位置的 \(x\) 展开成同样格式，代入模型即可预测——但这只是“图上作业”，路线究竟好不好走，还要到新地段上检验。

过拟合风险

如果工程师一味追求“穿过每个木桩”，把次数调到十几，会发生什么？步道在木桩处确实严丝合缝，训练误差几乎为零，但它为了迁就个别木桩的偶然起伏，被迫在中间波浪翻滚，在两端剧烈甩动——一条好好的健身步道，变成了蛇形过山车。

这就是过拟合：在已经勘测的木桩上表现完美，一到新地段就严重跑偏。尤其是数据范围边缘，高次曲线像失控的尾巴一样甩出山体。理解这种现象，要借助偏差-方差分解：模型的总误差由三部分构成。

如何判断过拟合？把木桩分成训练段和测试段，观察两段的误差：训练误差持续下降、测试误差开始回升的那个拐点，就是“步子别迈太大”的警告线。记住，步道追求的不是穿过每一个木桩，而是留出平顺的余量，让路线对没走过的地形同样友好。

正则化控制

怎么阻止道路变成蛇形？工程师想出一个办法：施工规范里加一条“扭曲罚款”——权重越大，弯曲越剧烈，就收越高的罚金。总成本等于“贴合木桩的偏差”加上“弯曲程度对应的罚金”。于是模型不再只盯着木桩，还得掂量掂量自己的动作幅度。

最常见的惩罚是岭回归，它在损失函数里追加所有权重平方之和的 \(\lambda\) 倍。平方惩罚会让很大的权重被重点打击，从而使曲线变得柔和；另一种 Lasso 则追加权重绝对值之和，会让一部分权重直接归零，相当于自动把不重要的“图纸”扔进废纸篓。

这就像给步道设定“最小转弯半径”规范：不能为了精确而胡乱扭动。平顺、可走、对新的地形稳定，才算一条好路。正则化正是那个在“贴地”和“平顺”之间反复较劲的监理工程师。

实践应用

现实世界的规律很少是笔直的：气温随季节起伏、发电量随温度先增后减、房价随面积增长但增幅逐步放缓。多项式回归是理解这类平滑非线性关系最朴素、最可靠的工具之一，因为它只需要做特征展开，剩下的活全部交给成熟的线性回归流水线。

常见的落地场景包括：趋势预测——用历史数据拟合销量或客流随时间的曲线走势；物理量拟合——用二次多项式描述自由落体的位移-时间关系，用高次多项式做传感器标定；房价建模——捕捉面积对总价的减速增长效应。无论哪种场景，动手前都建议先把特征标准化，让不同幂次站在同一起跑线上：

工程上还要牢记：先用交叉验证挑选合适次数，再配合正则化控制复杂度，并且绝不轻易用多项式做训练范围之外的外推。只有同时管好“次数”和“平滑度”，这条步道才能既贴合眼前的木桩，又经得起新地段的考验——这也是所有算法工程师在真实工地上反复打磨的功课。

AI 应用场景

Python 演示

import numpy as np  def poly_features(x, degree):    """把一维特征 x 展开成 [1, x, x^2, ..., x^degree] 的多项式特征矩阵"""    x = np.asarray(x, dtype=float).reshape(-1, 1)    return np.hstack([x ** j for j in range(degree + 1)])  def fit_polynomial(x, y, degree, lambd=0.0):    """用正规方程求解多项式回归系数，lambd > 0 时为岭回归"""    Phi = poly_features(x, degree)    n = Phi.shape[1]    I = np.eye(n)    I[0, 0] = 0  # 截距项不参与惩罚    w = np.linalg.solve(Phi.T @ Phi + lambd * I, Phi.T @ y)    return w  def predict(x, w):    Phi = poly_features(x, len(w) - 1)    return Phi @ w  def mse(y_true, y_pred):    return float(np.mean((y_true - y_pred) ** 2))  def main():    rng = np.random.default_rng(42)    x = np.linspace(-3, 3, 30)    y = 1.5 + 0.6 * x - 0.45 * x ** 2 + 0.12 * x ** 3 + rng.normal(0, 0.5, size=x.size)     x_train, y_train = x[::2], y[::2]    x_test, y_test = x[1::2], y[1::2]     for degree in [1, 3, 9]:        w = fit_polynomial(x_train, y_train, degree)        print(f"次数={degree} 训练MSE={mse(y_train, predict(x_train, w)):.3f} "              f"测试MSE={mse(y_test, predict(x_test, w)):.3f}")     for lambd in [0.0, 1e-3, 1e-1]:        w = fit_polynomial(x_train, y_train, 9, lambd=lambd)        print(f"次数=9 lambda={lambd:.3f} 测试MSE={mse(y_test, predict(x_test, w)):.3f}")  if __name__ == "__main__":    main()

1. np.hstack([x ** j for j in range(degree + 1)])批量生成从 0 到 degree 的幂次特征，完成特征展开。
2. Phi.T @ Phi + lambd * I构造正规方程的系数矩阵，加上惩罚项实现岭回归。
3. I[0, 0] = 0把截距对应的惩罚置零，避免对整体抬升“罚款”。
4. np.linalg.solve(...)直接解线性方程组求得闭式解，比求逆更数值稳定。
5. x[::2]` / `x[1::2]用隔点采样切分训练集和测试集，保证两边都覆盖整个区间。
6. for degree in [1, 3, 9]同一份数据跑三档次数，直观暴露过拟合。
7. for lambd in [0.0, 1e-3, 1e-1]固定次数为 9，观察正则化力度变化。

常见误区

面试题