想象这样一个场景：你和四位朋友约好周末聚会，但大家对于“几点集合”各执一词。有人认为 14 点，有人坚持 15 点，还有人说 16 点。五个人的意见，根本不存在一个时间能让所有人都满意。但聚会总得定个时间——于是你们选择“少数服从多数”，找一个让所有人总等待时间最短的折中方案。这，就是超定方程组遇到的情形：方程比未知数多，精确解不存在，但我们可以找到最好的近似解。 在数学世界里，处理这种“众口难调”问题的利器，就是最小二乘法和它的伴侣——伪逆。伪逆就像一个仲裁委员会，能够从一堆互相矛盾的方程中，提取出最合理的共识答案。它不仅是数据拟合的核心工具，更是机器学习回归算法的数学基石。从房价预测到工程测量，伪逆和最小二乘的身影无处不在。

岗位关联

掌握伪逆与最小二乘，你就能读懂线性回归的本质逻辑，为学习岭回归、正则化乃至整个机器学习打下坚实的数学地基。这是从“会算题”到“懂模型”的关键一跃。

目录
  1. 可视化演示
  2. 方程系统基础
  3. 最小二乘问题
  4. 正规方程推导
  5. 伪逆及其性质
  6. 几何解释
  7. 岭回归与正则化
  8. AI 应用场景
  9. Python 演示
  10. 常见误区
  11. 面试题

可视化演示

本节配有交互动效（进入视口后自动加载，约 3KB）。

超定方程的最优投影解 列空间（蓝色）由矩阵 A 的各列张成，目标向量 b 通常不在该子空间内 绿色投影点是 b 在列空间上的正交投影 Ax*，使残差 ||b-Ax*|| 最小 红色残差向量垂直于列空间，这正是正规方程 A^T(b-Ax*)=0 的几何含义 x* = (A^T A)^{-1} A^T b = A^+ b Ax* = Proj_{Col(A)}(b), 残差 b-Ax* ⊥ Col(A) 最小二乘解即 b 在列空间上的正交投影，伪逆给出最优闭式解

方程系统基础

回到“聚会时间”的比喻：五个人的意见互相矛盾，这就是超定方程组的雏形。所谓超定方程组，就是方程的数量（m）多于未知数的数量（n），用矩阵语言写出来就是 \(Ax = b\)，其中 \(A\) 是一个 \(m \times n\) 的矩阵（\(m > n\)）。在数据拟合场景中，每一行 \(A\) 就相当于一条“意见”，而 \(x\) 就是你想找的最终答案。

对于一般的线性方程组，解存在与否可以分为三种情况：唯一解（方程正好约束住所有自由度）、无穷多解（约束不够，存在自由变量）、无解（互相矛盾）。在超定情形下，“无解”是常态——五个人的时间意见，怎么可能都同时满足？这种无解的超定方程组，也被称为矛盾方程组。

但“无解”并不意味着“无法决策”。正如聚会终究要定一个时间，我们的目标从“找到一个精确满足所有方程的解”转变为“找到让所有方程尽可能接近的最优近似解”。这个思维转变，正是最小二乘法的灵魂——接受不完美，追求最优。

最小二乘问题

当“众口难调”成为定局，如何定义“最优”？最自然的方案是：让每个人都能接受的总落差最小。数学上，我们定义残差向量为 \(r = b - Ax\)，表示每个方程的“不满意程度”。最小二乘问题的目标，就是最小化残差各分量的平方和：

这里有一个深刻的几何洞见：\(Ax\) 无论 \(x\) 怎么变，都只能落在 \(A\) 的列空间（即所有列向量的线性组合构成的子空间）里。但真实的观测向量 \(b\) 往往不在这个子空间里——正如五位朋友的意见，散落在“共识空间”之外。所以，问题变成了：在列空间这个“共识平面”里，找到离 \(b\) 最近的那个点。

线性代数告诉我们，这个最近点就是 \(b\) 在列空间上的正交投影。当 \(A\) 的列向量线性无关时（列满秩），这个投影点唯一，因此最优解 \(x^*\) 也唯一。最终，最小二乘解的性质完全由投影的几何关系决定。

min⁡x∥Ax−b∥22=min⁡x∑i=1m(aiTx−bi)2\displaystyle \min_{x} \|Ax - b\|_2^2 = \min_{x} \sum_{i=1}^{m} (a_i^T x - b_i)^2
这个公式的含义是：把所有方程的偏差平方后相加，找到让这个总和最小的 \(x\)。平方的作用是避免正负偏差相互抵消。

正规方程推导

现在我们来推导最小二乘解的具体公式。设目标函数 \(J(x) = (Ax - b)^T(Ax - b)\)，把它展开：

关键洞察是：\(A^T A\) 一定是对称矩阵（因为 \((A^T A)^T = A^T A\)），而且当 \(A\) 列满秩时它是正定矩阵——正定意味着目标函数是一个向上开口的“碗”，梯度为零的点一定是最小值点，而非最大值。这让正规方程法的解成为可靠的全局最优解。求解时，可以先算 \(A^T A\)（一个 \(n \times n\) 的小矩阵），再对其做 Cholesky 分解或直接求逆，计算量远小于处理原始的 \(m \times n\) 系统。

J(x)=xTATAx−2xTATb+bTb\displaystyle J(x) = x^T A^T A x - 2x^T A^T b + b^T b
我们把残差平方和展开成三项：一个关于 \(x\) 的二次型、一个线性项、一个常数项。这是求极值的标准准备工作。
  1. 展开目标函数利用 \((Ax - b)^T = x^T A^T - b^T\)，两两相乘得到三项。
    J(x)=(Ax−b)T(Ax−b)=xTATAx−xTATb−bTAx+bTb\displaystyle J(x) = (Ax - b)^T (Ax - b) = x^T A^T A x - x^T A^T b - b^T A x + b^T b
  2. 合并线性项由于 \(x^T A^T b\) 与 \(b^T A x\) 互为转置且都是标量，二者相等，合并为 \(-2x^T A^T b\)。
    J(x)=xTATAx−2xTATb+bTb\displaystyle J(x) = x^T A^T A x - 2x^T A^T b + b^T b
  3. 求梯度并令其为零对向量 \(x\) 求导，二次项 \(x^T M x\) 的导数为 \(2Mx\)（\(M\) 对称时），线性项的导数为 \(-2A^T b\)。
    ∇xJ(x)=2ATAx−2ATb=0\displaystyle \nabla_x J(x) = 2A^T A x - 2A^T b = 0
  4. 得到正规方程移项化简，得到最小二乘解必须满足的方程。
    ATAx=ATb\displaystyle A^T A x = A^T b
  5. 求出解析解当 \(A\) 列满秩时，\(A^T A\) 可逆，两边左乘逆矩阵。
    x∗=(ATA)−1ATb\displaystyle x^* = (A^T A)^{-1} A^T b

伪逆及其性质

正规方程法需要 \(A^T A\) 可逆，但现实中有许多情况不满足这个条件：比如数据中存在重复或线性相关的列，此时 \(A\) 不是列满秩。就像小组讨论中，有两位朋友的意见完全一致，等于少了一个独立的“声音维度”。在这类情况下，我们需要一种更普适的工具——伪逆（Moore-Penrose 伪逆），记作 \(A^+\)。

伪逆的定义不依赖于方阵或满秩，它对任何矩阵都存在。最优雅的计算方式借助奇异值分解（SVD）：若 \(A = U \Sigma V^T\)，那么

伪逆之所以“万能”，是因为它满足Moore-Penrose 四个条件：\(AA^+A = A\)（伪逆确实是“逆”的推广）、\(A^+AA^+ = A^+\)（对伪逆再取伪逆回到自身）、\((AA^+)^T = AA^+\)（对称性）、\((A^+A)^T = A^+A\)（对称性）。当你把伪逆看作“小组讨论的仲裁机制”时，这四个条件保证了仲裁结果是公平且稳健的。

伪逆与最小二乘的关系正是：无论 \(A\) 是否满秩，最小二乘解都可以统一写成 \(x^* = A^+ b\)。当 \(A\) 列满秩时，\(A^+ = (A^T A)^{-1}A^T\)，退化为正规方程解；当 \(A\) 秩不足时，伪逆自动选择了最小范数的那个最优解——在所有让残差最小的解里，选长度最短的。

A+=VΣ+UT\displaystyle A^+ = V \Sigma^+ U^T
这个公式是伪逆的“万能钥匙”：把 \(A\) 分解成三个因子后，对 \(\Sigma\) 中的每个奇异值取倒数（零奇异值保持不变），然后按相反顺序乘回去。
  1. 奇异值分解将 \(A\) 分解为 \(U\Sigma V^T\)，其中 \(U\) 和 \(V\) 是正交矩阵，\(\Sigma\) 是对角矩阵。
    A=UΣVT\displaystyle A = U \Sigma V^T
  2. 对奇异值取倒数定义 \(\Sigma^+\) 为：对于 \(\Sigma\) 中的非零奇异值 \(\sigma_i\)，换成 \(1/\sigma_i\)；零奇异值保持不变（仍然是 0）。
    Σ+=diag(1/σ1,1/σ2,…,1/σk,0,…,0)\displaystyle \Sigma^+ = \text{diag}(1/\sigma_1, 1/\sigma_2, \ldots, 1/\sigma_k, 0, \ldots, 0)
  3. 交换因子顺序并转置将分解的三个因子按 \(V \to \Sigma^+ \to U^T\) 的顺序重新组合。
    A+=VΣ+UT\displaystyle A^+ = V \Sigma^+ U^T

几何解释

要真正理解最小二乘的“仲裁智慧”，几何视角不可或缺。把 \(A\) 的列向量看作在高维空间中张成一个平面（列空间），观测向量 \(b\) 是平面外的一个点。最小二乘求的，就是平面上离 \(b\) 最近的点，这个点记为 \(\hat{b} = Ax^*\)。

最佳逼近定理断言：\(\hat{b}\) 是 \(b\) 到列空间的正交投影。这意味着残差向量 \(e = b - Ax^\) 与列空间的每一个向量都正交。用数学语言表达，就是 \(A^T(b - Ax^) = 0\)——这正是正规方程的来源！几何直觉与代数推导在此完美汇合。

这一几何图景还带来一个重要推论：列空间与左零空间在 \(\mathbb{R}^m\) 中正交互补。任何向量 \(b\) 都可以唯一分解为 \(b = Ax^ + e\)，其中 \(Ax^\) 是“能解释的部分”，\(e\) 是“无法解释的噪声”。在数据科学中，这个分解对应了“信号与噪声的分离”——最小二乘正是在完成一次信号提取。

‘e=b−Ax∗,ATe=0‘\displaystyle `e = b - Ax^*, \quad A^T e = 0`
残差向量 \(e\) 垂直于整个列空间，它是“共识之外的分歧”。
  1. 残差向量定义\(e\) 是观测值与拟合值的差，它度量了“意见分歧的剩余部分”。
    e=b−Ax∗\displaystyle e = b - Ax^*
  2. 正交性条件\(e\) 与 \(A\) 的每一列都正交，即 \(A^T e = 0\)。
    ATe=AT(b−Ax∗)=0\displaystyle A^T e = A^T(b - Ax^*) = 0
  3. 展开得到正规方程展开括号后正好回到 \(A^T A x^* = A^T b\)。
    ATb−ATAx∗=0⇒ATAx∗=ATb\displaystyle A^T b - A^T A x^* = 0 \Rightarrow A^T A x^* = A^T b

岭回归与正则化

最小二乘虽然强大，却有一个软肋：当数据存在多重共线性（特征之间高度相关）时，目标函数在某个方向变得非常平坦，导致解 \(x^*\) 的范数异常巨大，微小的观测噪声会被放大成巨大的预测波动。这就像小组讨论中，如果几个人的意见几乎一样，仲裁者很难判断该听谁的，最后可能被某条微小偏差带偏。

解决方案是给目标函数加上一个惩罚项，这种技术叫正则化。岭回归（Ridge Regression）使用 \(L_2\) 范数惩罚：

注意岭估计公式与正规方程的惊人相似：只需在 \(A^T A\) 的对角线上加上一个小常数 \(\lambda\)。这个看似微小的改动，带来三个质变：第一，矩阵一定可逆，计算稳定性大增；第二，解的范数被控制住，不会出现剧烈的波动；第三，方差降低，尽管会引入一点点偏差——这就是统计学习中经典的偏差-方差权衡。\(\lambda\) 的选择通常通过交叉验证完成。

回到聚会比喻：如果最小二乘是无条件迁就每一个人的意见（哪怕极端的），那么岭回归就像是给每个人的发言权重设置了上限，避免个别人把讨论带偏。最终达成的共识更稳定、更有普适性——不完美，但更可靠。

min⁡x∥Ax−b∥22+λ∥x∥22\displaystyle \min_{x} \|Ax - b\|_2^2 + \lambda \|x\|_2^2
这个目标函数有两个诉求：拟合数据的精度（第一项）和模型参数的收缩（第二项）。\(\lambda\) 是平衡两者的旋钮——\(\lambda\) 越大，参数被压得越紧。
  1. 构建增广目标在原最小二乘目标上加入参数向量的平方范数惩罚。
    Jridge(x)=∥Ax−b∥22+λ∥x∥22\displaystyle J_{\text{ridge}}(x) = \|Ax - b\|_2^2 + \lambda \|x\|_2^2
  2. 对 \(x\) 求梯度第一项梯度为 \(2A^T(Ax - b)\)，第二项梯度为 \(2\lambda x\)。
    ∇xJridge=2ATAx−2ATb+2λx=0\displaystyle \nabla_x J_{\text{ridge}} = 2A^T A x - 2A^T b + 2\lambda x = 0
  3. 整理得到岭估计解移项后提出 \((A^T A + \lambda I)\) 公因子。
    (ATA+λI)x=ATb\displaystyle (A^T A + \lambda I)x = A^T b
  4. 写出解析解\(A^T A + \lambda I\) 保证正定可逆（即使 \(A^T A\) 不可逆）。
    xridge=(ATA+λI)−1ATb\displaystyle x_{\text{ridge}} = (A^T A + \lambda I)^{-1} A^T b

AI 应用场景

传感器数据校准与融合

阶段：数据预处理与特征标定

解决的问题：工业场景中有多个传感器同时测量同一物理量，每个传感器的读数都存在系统偏差。传统方法只能靠人工经验加权平均，不仅工作量大，而且无法应对传感器数量变化的情况。最小二乘通过建立超定方程组，将多个传感器的读数统一校准到标准量纲，自动找到最优的补偿参数。

具体案例：某智能制造工厂的温控系统安装了 8 个温度传感器，需要根据历史标定数据拟合每个传感器的偏移系数。建立超定方程 \(Ax = b\)（8 个方程、2 个未知数：偏移和斜率），用伪逆 \(A^+ b\) 一步求解，比人工调参快 50 倍，且校准精度提升 3 倍。

推荐系统的矩阵补全

阶段：模型训练与优化

解决的问题：用户对物品的评分矩阵通常是稀疏的（绝大多数用户只对极少数物品评分）。传统协同过滤面对缺失值无从下手。最小二乘配合伪逆（如交替最小二乘法 ALS），将评分矩阵分解为两个低秩矩阵的乘积，每次固定一个矩阵求解另一个——这正是伪逆求解超定方程的直接应用。

具体案例：某视频平台的评分矩阵有 100 万用户 × 10 万视频，稀疏率 99.8%。ALS 算法引入隐因子模型，每轮迭代用伪逆求解用户向量和物品向量，只需 20 轮迭代即可收敛，推荐命中率提升 22%。

医学影像重建

阶段：信号处理与图像重建

解决的问题：CT 扫描中，投影数据远多于重建图像的像素数，构成典型的超定方程组。传统解析重建算法对噪声敏感，且无法利用先验信息。最小二乘配合正则化（即岭回归思想）可以在噪声环境下重建出高质量图像，岭估计公式的 \(\lambda\) 控制平滑度与细节的平衡。

具体案例：低剂量 CT 重建中，利用岭回归公式替代传统的滤波反投影算法，在保持诊断信息的前提下将辐射剂量降低 60%，图像信噪比提升 15dB。

Python 演示

python50 行
"""超定方程最小二乘求解演示对比三种方法：正规方程、伪逆、岭回归"""import numpy as np  def generate_data(m=50, noise=0.3, seed=42):    """生成超定数据: 50 个方程, 2 个未知数"""    rng = np.random.default_rng(seed)    x_true = np.array([2.0, -1.0])    A = np.column_stack([rng.uniform(-2, 2, m), np.ones(m)])    b = A @ x_true + rng.normal(0, noise, m)    return A, b  def solve_normal_equation(A, b):    """正规方程: x* = (A^T A)^{-1} A^T b"""    return np.linalg.inv(A.T @ A) @ A.T @ b  def solve_pseudoinverse(A, b):    """伪逆: x* = A^+ b (等价但更稳定)"""    return np.linalg.pinv(A) @ b  def solve_ridge(A, b, lam=1.0):    """岭回归: x* = (A^T A + lambda I)^{-1} A^T b"""    n = A.shape[1]    return np.linalg.inv(A.T @ A + lam * np.eye(n)) @ A.T @ b  def main():    A, b = generate_data()    x_normal = solve_normal_equation(A, b)    x_pinv = solve_pseudoinverse(A, b)    x_ridge = solve_ridge(A, b)     print("真实参数: ", [2.0, -1.0])    print("正规方程: ", x_normal.round(4))    print("伪逆解:   ", x_pinv.round(4))    print("岭回归:   ", x_ridge.round(4))     residual = np.linalg.norm(A @ x_normal - b) ** 2    print(f"残差平方和: {residual:.4f}")    print(f"解的长度||x||: {np.linalg.norm(x_normal):.4f}")  if __name__ == "__main__":    main()
目的：用 NumPy 实现超定方程组的三种求解方式，演示正规方程、伪逆和岭回归的数值结果差异，验证核心公式 \(x^* = (A^T A)^{-1}A^T b = A^+ b\)。
  1. A = np.column_stack([rng.uniform(-2, 2, m), np.ones(m)])构造 50×2 的设计矩阵，第一列是特征，第二列是常数项（对应截距）
  2. b = A @ x_true + rng.normal(0, noise, m)生成带噪声的观测值，模拟真实世界的不完美数据
  3. np.linalg.inv(A.T @ A) @ A.T @ b直接实现正规方程公式，先算 \(A^T A\) 再求逆
  4. np.linalg.pinv(A) @ b调用伪逆函数，底层基于 SVD，比直接求逆数值上更稳定
  5. np.linalg.inv(A.T @ A + lam * np.eye(n)) @ A.T @ b岭回归公式，加 \(\lambda I\) 保证矩阵可逆并收缩解
  6. np.linalg.norm(A @ x_normal - b) ** 2计算残差平方和，验证最小二乘目标函数的值

常见误区

误区超定方程组没有精确解，那最小二乘解是不是就是把所有方程的结果取个平均值？

正解并非简单的算数平均。最小二乘是找到使残差平方和最小的解，相当于对数据做“加权折中”——不同方程对解的影响力不同，取决于 \(A\) 的列结构（即每个约束的方向和长度）。算数平均只是所有变量系数都相等时的一个特例，最小二乘会根据数据自动调整每个约束的“话语权”。

为何常见：直觉上“取平均”是处理分歧最朴素的方式，但忽略了方程之间的结构差异和相关性。

误区伪逆是逆矩阵的推广，所以只有对可逆方阵才有意义，不可逆时就没法用。

正解恰恰相反，伪逆的神奇之处在于它对任意矩阵（包括非方阵、不可逆阵、奇异阵）都存在且唯一。只要矩阵里面有信息，伪逆就能提取出最小范数意义上的最优解。可逆矩阵的伪逆退化为普通的逆，这只是特例而非常态。

为何常见：教材通常先讲逆矩阵再引入伪逆，学习的惯性容易让人把伪逆误解为“只能用于可逆阵”。

误区正规方程法（算 \((A^T A)^{-1}\)）和伪逆法（算 \(A^+\)）是两种独立的求解思路，结果可能不同。

正解当 \(A\) 列满秩时，两者给出的结果完全一致，因为 \((A^T A)^{-1}A^T\) 就是 \(A^+\) 的显式公式。差别只在于数值稳定性——SVD 路径的伪逆避免了直接计算 \(A^T A\) 带来的条件数平方问题，在病态数据上比正规方程更可靠。

为何常见：学习中先接触正规方程、后接触 SVD 伪逆，时间上的割裂造成了“两种方法”的错觉。

误区既然正则化能防止过拟合，那把 \(\lambda\) 设得越大，模型就越稳健，效果一定更好。

正解\(\lambda\) 过大会导致模型欠拟合——把所有参数都压到接近零，模型失去了解释数据的能力。最优的 \(\lambda\) 在偏差与方差之间取平衡，需要通过交叉验证等方法来选择，而不是盲目贪大。

为何常见：初学者接触正则化时，常把“防过拟合”理解为“越强越好”，忽略了模型的拟合能力同样重要。

误区最小二乘的名字里有“线性”，所以它只能解决线性回归，遇到非线性问题就无能为力了。

正解最小二乘应用范围远不止线性回归。通过基函数扩展（如多项式回归 \(y = w_0 + w_1 x + w_2 x^2 + \ldots\)）、特征变换（高斯核、RBF 核），非线性关系可以转化为线性参数问题，仍然用最小二乘框架求解。只要参数与输出是线性关系（即所谓的“线性参数模型”），最小二乘就适用。

为何常见：教材中最小二乘多数以直线拟合入手，给人留下了“只能画直线”的刻板印象。

面试题

Q1. 当线性方程组 \(Ax = b\) 中方程个数多于未知数个数（\(m > n\)），且列满秩时，最小二乘解的公式是：

单选题 · easy

  • A.\(x = A^{-1}b\)
  • B.\(x = (A^T A)^{-1} A^T b\)← 正确答案
  • C.\(x = A^T (A A^T)^{-1} b\)
  • D.\(x = (A A^T)^{-1} A b\)

答案：B。这就是正规方程的标准形式。A 要求方阵可逆，超定矩阵不是方阵；C 和 D 的矩阵乘积维度不匹配。好比在小组讨论中从五个意见里找折中点，B 是正确且唯一的最优解公式。

Q2. 伪逆矩阵 \(A^+\) 的最通用计算方式依赖于：

单选题 · easy

  • A.特征值分解
  • B.克拉默法则
  • C.奇异值分解（SVD）← 正确答案
  • D.高斯消元法

答案：C。特征值分解只适用于方阵；克莱默法则要求方阵可逆且计算量巨大；高斯消元只能解有精确解的方程。SVD 对任意矩阵都成立，通过对奇异值取倒数构造伪逆，是通用计算范式。

Q3. 关于伪逆 \(A^+\) 的性质，下列哪一项不属于 Moore-Penrose 四个条件？

单选题 · mid

  • A.\(AA^+A = A\)
  • B.\(A^+AA^+ = A^+\)
  • C.\((AA^+)^T = AA^+\)
  • D.\(A^+A = I\)← 正确答案

答案：D。D 只有在 \(A\) 是可逆方阵时才成立（此时 \(A^+ = A^{-1}\)），一般矩阵无法满足。前三个条件正是 Moore-Penrose 条件的核心。回想沟通中，伪逆的公平机制并不要求“完全消除分歧”，只要求”信息不丢失、不引入偏差"。

Q4. 当超定方程组 \(Ax = b\) 中 \(A\) 的列线性相关时，最小二乘解的情况是：

单选题 · mid

  • A.无解
  • B.唯一解
  • C.有无穷多个最小二乘解，伪逆返回其中最小范数的解← 正确答案
  • D.解不存在，因为 \(A^T A\) 不可逆

答案：C。列线性相关导致 \(A^T A\) 奇异，正规方程无法求出唯一解。但最小二乘的可行集是仿射空间，有无数个解。伪逆通过 SVD 自动选择范数最小的那个，保证解的唯一性和稳定性，就像在多个等优方案中选最稳妥的那个。

Q5. 岭回归的目标函数与普通最小二乘相比，额外增加的一项是：

单选题 · mid

  • A.\(\lambda \|Ax - b\|_2^2\)
  • B.\(\lambda \|x\|_1\)
  • C.\(\lambda \|x\|_2^2\)← 正确答案
  • D.\(\lambda \|A\|_F^2\)

答案：C。\(\|x\|_1\) 是 Lasso 的惩罚项；\(\|Ax - b\|_2^2\) 是第一项，不能既当误差又当惩罚；惩罚的是参数总和 \(\|A\|_F\) 没有意义。岭回归在残差平方和基础上加平方范数惩罚，控制参数大小防止过拟合。如果选项中同时出现 \(\|x\|_1\) 与 \(\|x\|_2^2\)，要识别“平方”是岭回归特征。

Q6. 以下哪些情况会导致普通最小二乘失效或数值不稳定？

多选题 · mid

  • A.数据点少于特征数（\(m < n\)）← 正确答案
  • B.特征之间存在多重共线性← 正确答案
  • C.设计矩阵 \(A\) 的条件数很大← 正确答案
  • D.数据点数量恰好等于特征数（\(m = n\)）

答案：ABC。\(m < n\) 时最小二乘解有无穷多个，列满秩条件不成立；多重共线性使 \(A^T A\) 接近奇异；条件数大说明矩阵病态，噪声被剧烈放大。\(m = n\) 时若满秩则有唯一精确解，不属于失效场景。显然 D 是理想情况而非问题。

Q7. 关于最小二乘的几何解释，下列描述正确的有：

多选题 · hard

  • A.最小二乘解 \(x^\) 使 \(Ax^\) 成为 \(b\) 到列空间的正交投影← 正确答案
  • B.残差向量 \(b - Ax^*\) 与列空间的每个向量都正交← 正确答案
  • C.当 \(b\) 本身在列空间内时，残差为零，最小二乘解退化为精确解← 正确答案
  • D.残差向量一定属于零空间 \(N(A)\)

答案：ABC。A 和 B 是正交投影与正交性条件的直接描述。C 正确，若 \(b \in Col(A)\) 则存在精确解使残差为零。D 错误——残差属于左零空间 \(N(A^T)\)，这是由正交补关系决定的，不是零空间 \(N(A)\)。

Q8. 下列有关左零空间中元素 \(y\) 与列空间关系说法正确的是：

单选题 · hard

  • A.左零空间的向量可以与列空间的向量不垂直
  • B.\(A^T y = 0\) 意味着 \(y\) 与列空间中每个向量都正交← 正确答案
  • C.残差向量 \(e\) 一般不属于左零空间
  • D.左零空间与零空间是同一个空间

答案：B。由 \(y^T A = (A^T y)^T = 0\) 可知列空间与左零空间正交；残差来自 \(A^T e = 0\) 的定义，因此 C 错误；零空间在定义域（\(\mathbb{R^n}\)），左零空间在值域（\(\mathbb{R^m}\)）。D 混淆了空间维度。

Q9. 求解超定方程组的最小二乘问题时，以下哪些方法可行？

多选题 · hard

  • A.求解正规方程 \(A^T A x = A^T b\)← 正确答案
  • B.对 \(A\) 做 QR 分解后求解← 正确答案
  • C.直接使用伪逆 \(A^+= V \Sigma^+ U^T\) 计算 \(xZ = A^+ b\)← 正确答案
  • D.求出 \(A^{-1}\) 后直接左乘

答案：ABC。正规方程、QR 分解（常用方法，避免构造 \(A^T A\)）、伪逆（SVD）是三种标准实现。D 错误因为超定矩阵非方阵，不存在普通逆矩阵，无法直接求逆。

Q10. 关于岭回归与正则化，下列说法正确的是：

多选题 · extreme

  • A.岭回归在 \(A^T A\) 基础上增加 \(\lambda I\)，从而保证矩阵可逆← 正确答案
  • B.岭回归解的范数随 \(\lambda\) 增大而单调递减← 正确答案
  • C.加入正则化总是使训练误差降低
  • D.岭回归的估计是有偏估计，但方差更小← 正确答案

答案：ABD。正则化项保证 \(A^T A + \lambda I\) 可逆；更大的 \(\lambda\) 更强的收缩效应。C 错误——它牺牲训练精度换取了泛化能力；D 正确，这正是偏差-方差权衡的核心逻辑。