想象一个正午，你站在广场上，阳光从头顶直直照下来，地面上的影子就是你的二维拷贝。你挥动手臂，影子跟着变化；你跳起来，影子仍然牢牢贴着地面。这个影子，就是数学里的「投影」——从一个高维对象，沿着光线方向，压到一个低维平面上。向量投影要回答的问题很简单：给定一个向量（你），和一个方向（地面），怎么算出那个影子（投影向量）的位置和长短？更进一步，如果把地面换成一块斜板，或者换成由很多方向张成的空间，影子又该怎么算？沿着这条线走下去，你会自然遇到投影矩阵、子空间投影、最小二乘这些名字——它们本质上是同一件事：在复杂数据里找到最贴近某个方向的那部分，把其余当作噪声丢掉。读完这篇文章，你将能用一套几何直觉看懂机器学习里最常用的拟合与降维操作。

岗位关联

向量投影是理解最小二乘、PCA 和线性回归的几何钥匙；掌握它，你就能从“背公式”进阶到“看见算法在做什么”，是 AI 从业者坚实的线代基本功。

目录
  1. 可视化演示
  2. 投影直觉
  3. 标量投影
  4. 投影公式
  5. 投影矩阵
  6. 子空间投影
  7. 最小二乘
  8. 数据压缩
  9. 工程应用
  10. AI 应用场景
  11. Python 演示
  12. 常见误区
  13. 面试题

可视化演示

展示向量投影核心原理：一维投影与正交分解、投影矩阵P=A(AᵀA)⁻¹Aᵀ的子空间映射、以及最小二乘法与线性回归的投影视角。

本节配有交互动效（进入视口后自动加载，约 3KB）。

'+captions.proj1d+'

投影直觉

正午的太阳从头顶直射下来，你站在广场上，影子紧紧贴在脚下。无论你怎么转身、举手，影子永远在地面上——它只保留了你“贴着地面”的那部分，丢掉了竖直方向的信息。这个场景就是向量投影的雏形：一个向量（你）沿着光线的方向被压缩到另一个方向（地面）上。数学家用“正交投影”来称呼这种垂直照射产生的影子，它是整个线性代数中最常见的投影方式。

数学把“你”抽象成向量 a，把“地面方向”抽象成向量 b。投影的任务，是把 a 分解成两半：一半与 b 平行（影子），一半与 b 垂直（你离开地面的高度）。只有平行成分保留在结果里，垂直成分被完全丢弃。要说出“平行”和“垂直”的数学语言，先要介绍内积（点积）——它是衡量两个向量“合得来”程度的标尺：方向一致时取最大值，方向相反时取负值，方向垂直时恰好为零。

内积的定义是 a·b = |a||b|cosθ，其中 θ 是两个向量的夹角。当方向完全一致，cosθ=1，内积最大；互相垂直时 cosθ=0，内积为零——这正是“正交”的判据。投影的几何直观可以浓缩成一句话：在与 b 正交的方向上砍掉所有分量，剩下的就是投影。降维视角下的投影，正是把高维信息沿某个方向“压扁”的过程，就像三维的你被压成二维的影子。

你站在地面上时，地面的“平行成分”就是影子，“垂直成分”是你的身高。投影公式把这一眼就能看懂的几何事实，翻译成了代数运算——这正是“把几何直观搬进代数”的第一步。

a⋅b=∣a∣ ∣b∣ cos⁡θ\displaystyle \mathbf{a} \cdot \mathbf{b} = |\mathbf{a}| \, |\mathbf{b}| \, \cos\theta
这个公式建立了向量长度、夹角和点积三者之间的桥梁，是理解投影一切公式的根基。
  1. 点积定义两个向量逐分量相乘后求和，得到的是一个标量，而不是向量。
    a⋅b=a1b1+a2b2+⋯+anbn\displaystyle \mathbf{a} \cdot \mathbf{b} = a_1b_1 + a_2b_2 + \cdots + a_nb_n
  2. 向量长度|a| 是向量 a 的模长，几何意义是“你”这个物体的整体大小，与方向无关。
    ∣a∣=a12+a22+⋯+an2\displaystyle |\mathbf{a}| = \sqrt{a_1^2 + a_2^2 + \cdots + a_n^2}
  3. 夹角含义θ 是两个向量方向之间的夹角，范围从 0° 到 180°，决定了影子的伸缩程度。
    θ=arccos⁡a⋅b∣a∣ ∣b∣\displaystyle \theta = \arccos\frac{\mathbf{a}\cdot\mathbf{b}}{|\mathbf{a}|\,|\mathbf{b}|}
  4. 正交条件当且仅当 |a| 与 |b| 都不为零且夹角为 90° 时，内积为零。
    a⋅b=0  ⟺  a⊥b\displaystyle \mathbf{a} \cdot \mathbf{b} = 0 \iff \mathbf{a} \perp \mathbf{b}

标量投影

影子除了位置，还有长短。阳光斜一些，影子就拉长；正午直射，影子最短。如果只关心“影子有多长”，不管它朝哪边，得到的就是标量投影。它像一个只读数字的尺子，量出向量 a 在方向 b 上的“净贡献”有多大。

标量投影的定义是 comp_b a = |a|cosθ，也可以写成 (a·b)/|b|。它带符号：当 a 与 b 的夹角小于 90°，投影为正；大于 90°，投影为负——影子落在了相反一侧。这个正负号在工程中意义重大：它告诉你某个力或某个信号在特定方向上是“助推”还是“抵消”。

把 b 换成 x、y、z 坐标轴，标量投影依次给出 a 在三个坐标轴上的分量。这三个分量正是方向余弦，也是“坐标”的本质来源：所谓坐标，就是一个向量在所有基方向上的标量投影。图形学中把一个向量分解到标准基上，就是连续做三次标量投影；物理学里把力分解成水平和竖直分量，同样是标量投影的应用。

影子的读数会随着太阳角度变化——夹角越小，读数越大；夹角超过 90°，影子倒向另一边，读数变负。标量投影让我们先量化影子，下一步才画得出影子。

comp⁡ba=∣a∣cos⁡θ=a⋅b∣b∣\displaystyle \operatorname{comp}_{\mathbf{b}} \mathbf{a} = |\mathbf{a}| \cos\theta = \frac{\mathbf{a} \cdot \mathbf{b}}{|\mathbf{b}|}
标量投影可以理解为“影子的读数”：有大小、有正负，但不包含方向信息。
  1. 投影长度定义comp_b a 表示 a 沿 b 方向的标量投影，等于 a 的模长乘以夹角的余弦。
    comp⁡ba=∣a∣cos⁡θ\displaystyle \operatorname{comp}_{\mathbf{b}} \mathbf{a} = |\mathbf{a}| \cos\theta
  2. 余弦换内积把 cosθ 用内积公式替换，分子是 a 与 b 的内积，分母是 b 的模长。
    cos⁡θ=a⋅b∣a∣ ∣b∣  ⇒  ∣a∣cos⁡θ=a⋅b∣b∣\displaystyle \cos\theta = \frac{\mathbf{a} \cdot \mathbf{b}}{|\mathbf{a}|\,|\mathbf{b}|} \;\Rightarrow\; |\mathbf{a}|\cos\theta = \frac{\mathbf{a} \cdot \mathbf{b}}{|\mathbf{b}|}
  3. 方向余弦当 b 是单位向量时，|b|=1，标量投影直接等于内积。
    ∣b∣=1  ⇒  comp⁡ba=a⋅b\displaystyle |\mathbf{b}| = 1 \;\Rightarrow\; \operatorname{comp}_{\mathbf{b}} \mathbf{a} = \mathbf{a} \cdot \mathbf{b}
  4. 正负判定由 cosθ 的符号决定，θ 为锐角时为正，钝角时为负，直角时为零。
    sign⁡(comp⁡)=sign⁡(cos⁡θ)\displaystyle \operatorname{sign}(\operatorname{comp}) = \operatorname{sign}(\cos\theta)

投影公式

知道影子有多长，还不足以画出影子——你得知道朝哪个方向画。方向自然是地面方向 b，但 b 的模长不一定为 1，直接把读数画上去会画错位置。正确的做法是：先算出比例系数，再沿 b 的方向把影子“铺开”。这个比例系数就是标量投影除以 |b|。

投影向量的完整公式是 proj_b a = ((a·b)/(b·b)) b。分母 b·b = |b|² 起着归一化的作用，它把“地面方向”的长度影响剔除掉，只保留方向。得到的投影向量 p 与 b 共线：夹角为 0° 时与 b 同向，夹角为 180° 时与 b 反向。当 a 与 b 平行时，p = a，误差为零；当 a 与 b 正交时，p = 0，影子消失。

投影向量和误差向量构成一组正交分解：e = a - p，且 e·p = 0。这是“光的垂直入射”的代数体现——误差向量永远是投影的垂线。该分解的重要性在于它的唯一性：给定方向 b，所有向量都能被唯一地拆成“沿 b 的分量”和“垂直 b 的分量”，这是 Gram-Schmidt 正交化、QR 分解等许多算法的基础。

画影子时，先量出比例系数（读数和地面长度的比），再沿着地面方向把它铺开。你面对太阳的角度决定了系数大小——影子就是这么被画出来的。

proj⁡ba=a⋅bb⋅b b\displaystyle \operatorname{proj}_{\mathbf{b}} \mathbf{a} = \frac{\mathbf{a} \cdot \mathbf{b}}{\mathbf{b} \cdot \mathbf{b}} \, \mathbf{b}
这是向量投影最核心的公式，请记住“内积除以自身模长平方”这个比例系数。
  1. 比例系数分子 a·b 是标量投影的雏形，分母 b·b 是模长平方，两者的商是归一化后的系数。
    c=a⋅bb⋅b\displaystyle c = \frac{\mathbf{a} \cdot \mathbf{b}}{\mathbf{b} \cdot \mathbf{b}}
  2. 方向向量b 本身既提供了方向，又通过分母消除了自身长度的影响。
    b⋅b=∣b∣2\displaystyle \mathbf{b} \cdot \mathbf{b} = |\mathbf{b}|^2
  3. 投影结果把标量系数乘到方向向量上，得到的就是投影向量 p。
    p=c b=a⋅b∣b∣2 b\displaystyle \mathbf{p} = c \, \mathbf{b} = \frac{\mathbf{a} \cdot \mathbf{b}}{|\mathbf{b}|^2} \, \mathbf{b}
  4. 误差分解误差向量 e = a - p，验证正交性 e·p = 0 是检验投影正确性的标准动作。
    e=a−p,e⋅p=0\displaystyle \mathbf{e} = \mathbf{a} - \mathbf{p}, \quad \mathbf{e} \cdot \mathbf{p} = 0

投影矩阵

如果每天都要帮不同的人算同一块地面上的影子，一次次重新套公式太慢。聪明的做法是把“如何在地面方向 b 上取投影”写成一个固定模具，谁来都能一次成型——这个模具就是投影矩阵 P。矩阵的本质是把“规则”固化下来：输入任意向量，左乘 P，立刻得到它的影子。

把投影公式改写成矩阵乘法：p = P a，其中 P = (bbᵀ)/(bᵀb)。分子 bbᵀ 是外积矩阵，分母是归一化标量。外积矩阵的秩为 1，它的每一列都是 b 的标量倍，因此 P 的列空间恰好就是 b 所在的那条直线。这就是“列空间意义”：投影矩阵的列空间，就是它把向量投影到的目标子空间。

P 有两大招牌性质：对称性 Pᵀ = P 和幂等性 P² = P。对称性意味着投影是一种“均匀对称”的运算，在标准正交基下它对应的矩阵是对称的；幂等性则说，影子投一次是影子，投两次还是同一个影子——第二次操作不会改变任何投影结果。此外，b 本身是 P 的不动点：P b = b，因为 b 已经躺在地面上了。

模具的第一条规则：把物体压到地面上只能压一次，压第二次不会有新的变化，因为结果已经躺在地面上了。投影矩阵就是为“地面方向”量身定制的模具。

P=bbTbTb\displaystyle P = \frac{\mathbf{b}\mathbf{b}^T}{\mathbf{b}^T\mathbf{b}}
幂等性 P² = P 是投影矩阵的“身份证”，看到它就知道矩阵来自某次投影。
  1. 外积构造b 乘以 b 的转置得到 n×n 方阵，它的每一列都是 b 的倍数。
    bbT=(b1b1b1b2b2b1b2b2)\displaystyle \mathbf{b}\mathbf{b}^T = \begin{pmatrix} b_1b_1 & b_1b_2 \\ b_2b_1 & b_2b_2 \end{pmatrix}
  2. 归一化分母bᵀb 是标量，等于模长平方，保证 P 与 b 的长度无关。
    bTb=b12+b22=∣b∣2\displaystyle \mathbf{b}^T\mathbf{b} = b_1^2 + b_2^2 = |\mathbf{b}|^2
  3. 投影作用任意向量 a 左乘 P，等价于套用投影公式。
    Pa=bbTbTba=bTabTbb\displaystyle P\mathbf{a} = \frac{\mathbf{b}\mathbf{b}^T}{\mathbf{b}^T\mathbf{b}}\mathbf{a} = \frac{\mathbf{b}^T\mathbf{a}}{\mathbf{b}^T\mathbf{b}}\mathbf{b}
  4. 幂等验证两次投影结果不变，因为第一次投影后向量已在目标的子空间内。
    P2=bbTbbT(bTb)2=b(bTb)bT(bTb)2=P\displaystyle P^2 = \frac{\mathbf{b}\mathbf{b}^T\mathbf{b}\mathbf{b}^T}{(\mathbf{b}^T\mathbf{b})^2} = \frac{\mathbf{b}(\mathbf{b}^T\mathbf{b})\mathbf{b}^T}{(\mathbf{b}^T\mathbf{b})^2} = P

子空间投影

广场的地面不只是一条线，而是一整块空地。当你要把向量投影到一个平面（而不是一条直线）上时，一条 b 的公式就不够用了，需要一组向量 a₁, a₂, …, aₖ 张成的子空间。子空间就像一块更大的“地面”，它由若干个基向量铺成，可以容纳更多方向的影子。

把这些向量排成矩阵 A，子空间就是 A 的列空间。投影矩阵升级为 P = A(AᵀA)⁻¹Aᵀ。当列向量线性无关时，AᵀA 是可逆矩阵，P 依然是对称而幂等的。当 A 只有一列时，公式自动退化为熟悉的一维形式：A(AᵀA)⁻¹Aᵀ = b(bᵀb)⁻¹bᵀ，与前面的结果完全一致。

投影结果 p = P b 落在列空间内；误差 e = b - p 与列空间的每一个基向量都正交。这正是“光线垂直照到地面”的高维版本：影子在地面内，而你到影子的连线垂直地面。特别地，如果 b 已经在子空间内，p = b；若 b 与子空间正交，p = 0。这个性质保证了投影在几何上的唯一性：在子空间中，有且只有一个点离 b 最近，那就是投影点。

把一条线的地面换成整块空地，影子的算法就从一维扩展到高维。变化的是矩阵的大小，不变的是“垂直入射、平行保留”这条影子法则。

P=A(ATA)−1AT\displaystyle P = A \left( A^T A \right)^{-1} A^T
一维直线投影是它的特例：当 A 是单列向量 b 时，公式自动退化为 bbᵀ / (bᵀb)。
  1. 列空间定义A 的列向量张成的子空间，是投影的目标“地面”。
    Col⁡(A)={Ax:x∈Rk}\displaystyle \operatorname{Col}(A) = \left\{ A\mathbf{x} : \mathbf{x} \in \mathbb{R}^k \right\}
  2. 格拉姆矩阵AᵀA 是一个 k×k 矩阵，它的每个元素是两两列向量的内积，列满秩时可逆。
    (ATA)ij=ai⋅aj\displaystyle (A^TA)_{ij} = \mathbf{a}_i \cdot \mathbf{a}_j
  3. 矩阵求逆逆是归一化的推广，保证投影不随各列向量的缩放而改变。
    (ATA)−1(ATA)=I\displaystyle (A^TA)^{-1}(A^TA) = I
  4. 投影矩阵作用P 把 b 映射到列空间中的最佳近似点，误差与所有列向量正交。
    p=Pb,AT(b−p)=0\displaystyle \mathbf{p} = P\mathbf{b}, \quad A^T(\mathbf{b} - \mathbf{p}) = \mathbf{0}

最小二乘

假设你收集了一组身高和鞋码的数据，想用一条直线拟合。数据点总是有噪声，不可能全部落在同一条直线上——方程 Ax = b 无解。这时最合理的做法，是找一条与所有点总“落差”最小的直线。这条直线在几何上，就是数据向量 b 在拟合平面上的影子。

从投影的角度看：b 是真实数据，A 的列空间是所有直线拟合值组成的平面。我们放弃让 Ax 等于 b 的幻想，改求 b 在列空间上的投影 p = A x̂。误差 e = b - A x̂ 是点到平面的垂直距离，它的长度平方正是所有点到直线距离的平方和。“最小二乘”的“二乘”指的就是平方和最小化。

因为 e 垂直于列空间，对每个基向量都有 Aᵀe = 0，代入 e = b - A x̂ 就得到法方程 AᵀAx̂ = Aᵀb。这个方程的解就是最小二乘解。线性回归、多项式拟合、控制系统的参数辨识，背后都是同一个法方程——它把“无解的方程组”转化为“有唯一解的方阵系统”。

最小二乘的“最小”指的是所有点到直线的垂直落差平方和最小。换句话说，我们不再要求影子与物体完整重合，而是寻找让物体到影子的总高度差最小的那块“地面”。

ATAx^=ATb\displaystyle A^T A \hat{\mathbf{x}} = A^T \mathbf{b}
最小二乘不是“硬要解无解的方程”，而是先投影再求解——误差最小化与正交投影是同一个几何事实。
  1. 无解的原因b 不在 A 的列空间中，所以不存在精确解，只能找最近点。
    b∉Col⁡(A)\displaystyle \mathbf{b} \notin \operatorname{Col}(A)
  2. 两侧左乘在 Ax = b 两边同时左乘 Aᵀ，把问题从“直解”转向“投影”。
    ATAx=ATb\displaystyle A^TA\mathbf{x} = A^T\mathbf{b}
  3. 正交条件法方程的本质是要求残差与每个列向量正交。
    AT(b−Ax^)=0\displaystyle A^T(\mathbf{b} - A\hat{\mathbf{x}}) = \mathbf{0}
  4. 解出参数当 AᵀA 可逆时，最小二乘解有闭式表达式。
    x^=(ATA)−1ATb\displaystyle \hat{\mathbf{x}} = (A^TA)^{-1}A^T\mathbf{b}

数据压缩

把三维的人像拍成二维照片，人像的立体感被“压扁”了，但五官轮廓仍然认得出来。照片是一种压缩：它保留最显著的信息，丢掉深度。降维（比如 PCA 主成分分析）正是用投影做压缩——在诸多方向中挑出最能代表数据的那几个方向，把数据投影过去，完成从高维到低维的转换。

PCA 要找的是一组正交的主方向 Φ = [φ₁, φ₂, …, φₖ]，使得原始数据 x 在这些方向上的投影最“分散”（方差最大）。方差最大意味着信息损失最少；更精确地说，正交投影的方差最大与重构误差最小是等价的。重构表达式为 x ≈ Φ(Φᵀx)，其中 Φᵀx 是投影系数（降维后的坐标），Φ 再把它映射回原空间。

Φ(Φᵀx) 恰好是 x 在 Φ 张成的子空间上的正交投影。由于投影误差垂直于子空间，投影后的数据保留了最多的信息、丢失了最少的信息。这就是为什么 PCA 能广泛用于数据压缩、图像压缩和特征降维：先找到“最上镜的方向”，再把所有数据沿着这些方向拍成“照片”。

拍照时人会找角度，让影子（投影）最能代表自己。PCA 做的事情也一样：在所有方向中挑出最“上镜”的几个，让投影照片尽可能还原原貌。

x≈ΦΦTx\displaystyle \mathbf{x} \approx \Phi \Phi^T \mathbf{x}
指纹中的压缩与重构误差，都可以看成一次高维到低维的投影再还原。
  1. 主方向矩阵Φ 的列是标准正交的主成分方向，满足 ΦᵀΦ = I。
    ΦTΦ=Ik\displaystyle \Phi^T\Phi = I_k
  2. 投影系数Φᵀx 给出 x 在每个主方向上的标量投影，即降维坐标。
    c=ΦTx\displaystyle \mathbf{c} = \Phi^T\mathbf{x}
  3. 重构还原Φc 把降维坐标映射回原空间，得到原向量的最佳近似。
    x^=Φc=ΦΦTx\displaystyle \hat{\mathbf{x}} = \Phi\mathbf{c} = \Phi\Phi^T\mathbf{x}
  4. 误差最小正交投影保证重构误差在所有可能的 k 维投影中最小。
    ∥x−ΦΦTx∥2→min⁡\displaystyle \|\mathbf{x} - \Phi\Phi^T\mathbf{x}\|^2 \to \min

工程应用

影子法则从广场走进机房，成为机器学习算法里最常见的几何操作。凡是需要“提取主要成分、忽略次要噪声”的地方，几乎都有投影的身影。从线性回归到推荐系统，从信号处理到图像压缩，投影是贯穿其中的数学主线。

机器学习的线性回归用最小二乘求权重，特征工程用 PCA 降维；推荐系统通过矩阵分解把用户评分投影到隐语义空间；信号处理把混合信号投影到信号子空间来做噪声抑制；数值计算用投影方法（如 Krylov 子空间法）迭代求解大型方程组。它们的核心都归于一条：把数据投影到信息最集中的子空间，让噪声在投影方向上消失。

检验这些算法的正确性，常使用同一个正交判据：残差是否与子空间垂直。梯度下降收敛时，残差在当前子空间上的投影趋近于零；PCA 选主成分时，残差与主方向正交。投影把抽象的“最优”翻译成了看得见的几何关系——垂直即最优。这条黄金准则，让工程师不用看复杂的损失函数，也能判断解的质量。

从广场上的影子到算法中的最小二乘，本质上是同一条法则的两次现身：垂直处即最小误差处。看懂影子，就掌握了 AI 中一大类“寻找最优投影”问题的钥匙。

e=b−p,e⊥p\displaystyle \mathbf{e} = \mathbf{b} - \mathbf{p}, \quad \mathbf{e} \perp \mathbf{p}
误差向量与子空间正交，是贯穿最小二乘、PCA、信号分离的一条黄金准则。
  1. 误差向量e 是原始向量与投影之间的距离，代表“没有被影子捕获”的部分。
    e=b−p\displaystyle \mathbf{e} = \mathbf{b} - \mathbf{p}
  2. 正交关系最优投影的误差与投影方向垂直，这是所有正交投影算法的共性。
    e⋅p=0\displaystyle \mathbf{e} \cdot \mathbf{p} = 0
  3. 验证方法检查 Aᵀe = 0 是否成立，即可判断解是否达到最优。
    AT(b−Ax^)=0\displaystyle A^T(\mathbf{b} - A\hat{\mathbf{x}}) = \mathbf{0}
  4. 最优条件垂直意味着误差距离达到最短，这是投影唯一性的几何根源。
    ∥b−p∥=min⁡y∈Col⁡(A)∥b−y∥\displaystyle \|\mathbf{b} - \mathbf{p}\| = \min_{\mathbf{y} \in \operatorname{Col}(A)} \|\mathbf{b} - \mathbf{y}\|

AI 应用场景

机器学习线性回归

阶段：模型训练

解决的问题：传统最小二乘法在数据量大、特征相关的场景中，直接求解容易遇到数值不稳定问题；用投影视角理解后，可以通过法方程或投影矩阵在列空间中寻找全局最优拟合，鲁棒性更强。

具体案例：房价预测中，用面积、卧室数、地段评分等特征拟合房价。构造特征矩阵 A 和标签向量 b，求解法方程 AᵀAx̂ = Aᵀb 得到权重。这个过程正是把标签向量 b 投影到特征列空间上，投影点就是最优预测值。

特征降维与数据压缩

阶段：数据处理与特征工程

解决的问题：高维特征会导致计算开销大、过拟合风险高；正交投影能把数据投影到主成分子空间上，保留最大方差方向，剔除冗余维度。

具体案例：人脸识别中，一张 64×64 的图像有 4096 维像素。用 PCA 找出前 100 个主方向，把每张图投影成 100 维特征向量，既保留可区分信息，又让分类器训练速度大幅提升。图像压缩同理：保留前若干个主成分即可重构出清晰图像。

计算机图形学阴影渲染

阶段：渲染管线

解决的问题：三维场景要生成真实阴影，需要把顶点沿光线方向投影到接收面上；投影矩阵正是这种变换的标准数学工具。

具体案例：游戏引擎中的 Shadow Mapping 技术，先从光源视角用投影矩阵把场景深度写入纹理，再从相机视角采样比较深度，决定像素是否处于阴影中。四步矩阵变换中的第一步就是正交或透视投影。

Python 演示

python36 行
import numpy as np def project(v, onto):    """向量 v 在方向 onto 上的投影向量"""    v = np.asarray(v, dtype=float)    onto = np.asarray(onto, dtype=float)    coef = np.dot(v, onto) / np.dot(onto, onto)   # 投影系数 = 内积 / 模长平方    return coef * onto                             # 系数乘以方向向量得到影子 def project_to_subspace(v, A):    """向量 v 投影到 A 的列空间（子空间）"""    A = np.asarray(A, dtype=float)    P = A @ np.linalg.inv(A.T @ A) @ A.T           # 投影矩阵 P = A(A^T A)^-1 A^T    return P @ v, P                                 # 返回投影向量和投影矩阵 def least_squares_fit(A, b):    """最小二乘解：解法方程 A^T A x = A^T b"""    x_hat = np.linalg.solve(A.T @ A, A.T @ b)       # 法方程求解    return x_hat if __name__ == "__main__":    # 1) 向量到向量的投影    v = np.array([3.0, 4.0])    b = np.array([1.0, 0.0])    p = project(v, b)    print("投影向量:", p)    print("误差向量:", v - p)     # 2) 最小二乘拟合: y = kx + c    x = np.array([0.0, 1.0, 2.0, 3.0])    y = np.array([0.1, 0.9, 2.2, 2.8])    A = np.column_stack([x, np.ones_like(x)])       # 设计矩阵: 第1列是 x, 第2列是常数    params = least_squares_fit(A, y)    print("斜率 k 和截距 c:", params)    fitted = A @ params                             # 拟合值 = A @ x_hat    print("拟合值:", fitted)
目的：演示向量投影的三种核心运算——一维方向投影、子空间投影矩阵，以及最小二乘拟合（法方程求解）。
  1. coef = np.dot(v, onto) / np.dot(onto, onto)投影系数等于内积除以模长平方，对应公式中的比例系数
  2. return coef * onto系数乘以方向向量，得到影子（投影向量）
  3. P = A @ np.linalg.inv(A.T @ A) @ A.T构造子空间投影矩阵，AᵀA 可逆的前提是列满秩
  4. x_hat = np.linalg.solve(A.T @ A, A.T @ b)直接解法方程，比求逆更数值稳定
  5. A = np.column_stack([x, np.ones_like(x)])设计矩阵含特征列和常数列，常数列确保拟合直线有截距

常见误区

误区我以为投影算出来的就是一个数字，比如“投影长度是 3”，那投影向量也就是 3，反正都差不多。

正解标量投影是影子的“读数”，只是一个数；投影向量是影子的“位置”，是一个有方向有长度的向量。读数是 3 时，投影向量可能是 (3,0)，也可能是 (2.1, 2.1)，具体要看目标方向。写代码时如果把向量当数用，形状都对不上，更别说结果正确。

为何常见：因为课本里先用“投影长度”引入概念，很多初学者只记住了那个标量表达式，忽略了它只是投影的模长。

误区把向量 (3,4) 投影到 x 轴，不就是删掉 y 坐标变成 (3,0) 吗？投影到任何方向都是删掉某些坐标呗。

正解删坐标只对坐标轴方向成立。投影到任意方向 u 时，需要先沿 u 的正交补方向做分解，保留的是“与 u 平行”的成分，而不是简单地丢弃某几个坐标。比如 (3,4) 投影到方向 (1,1)，结果是 (3.5, 3.5)，没有任何坐标被直接删除。

为何常见：因为初学线性代数时先接触到标准基下的坐标分解，容易把特殊情况当普遍规律。

误区最小二乘就是给数据点画一条尽量靠近的直线，跟投影、子空间有什么关系？它只是数值优化的一个技巧。

正解最小二乘的几何本质就是正交投影：解 x̂ 使得 Ax̂ 等于 b 在 A 的列空间上的投影。法方程 AᵀAx̂ = Aᵀb 正是从“残差垂直于列空间”这个投影条件推出来的。理解这一点后，你会发现梯度下降、正规方程、PCA 竟然都是同一家人。

为何常见：通常教材按“先方程组、再最小二乘”的顺序讲，把投影当作一个独立的小节，学生很难主动把两者联系起来。

误区投影矩阵 P 是个方阵，方阵嘛，一般来说都能求逆；反正代码里 np.linalg.inv(P) 也没报错。

正解投影矩阵只有当它等于单位矩阵时才可逆。一般投影矩阵的秩等于目标子空间的维数，远小于原始空间维数，因此是奇异矩阵。代码里 np.linalg.inv(P) 会直接报 LinAlgError。幂等矩阵 P²=P 本身就暗示了它不可逆：如果 P 可逆，两边左乘 P⁻¹ 会得到 P=I。

为何常见：刚学矩阵时“方阵=可逆”的印象太深，忘了秩亏缺这一环；加上低维例子中 P 规模小，凭感觉以为处处可逆。

误区投影就是影子，影子肯定比人矮一截，所以任何向量的投影长度都严格小于原向量。

正解正确的关系是投影长度 ≤ 原向量长度，等号在向量已经位于目标子空间内时成立。比如 a=(3,4) 投影到 b=(6,8) 方向，因为 a 与 b 平行，投影就是 a 本身，长度一点没短。另外，如果目标方向与 a 近似垂直，投影长度可以非常接近 0 甚至为负（方向相反）。

为何常见：生活经验中影子通常比物体短，但那是“夹角非零”的常见情形；数学上把夹角为零的特殊情况也纳入定义后，“总是变短”就不成立了。

面试题

Q1. 向量 a=(3,4) 在 b=(1,0) 上的投影长度是多少？

单选题 · easy

  • A.3.0← 正确答案
  • B.4.0
  • C.5.0
  • D.1.0

答案：A。地面是 x 轴方向，a 的“影子”就是 a 的横向分量。投影长度 = (a·b)/|b| = (3×1+4×0)/1 = 3.0。B 是纵向分量，C 是 a 的模长，D 是单位向量的长度。

Q2. 投影向量 proj_b a 的方向与目标方向 b 的关系是？

单选题 · easy

  • A.平行于 b← 正确答案
  • B.垂直于 b
  • C.平行于 a
  • D.与 a 反向

答案：A。投影是 a 在 b 方向上的影子，影子的方向永远沿地面（b）延伸，所以投影向量与 b 平行。垂直于 b 的是误差向量 e = a - p；与 a 平行或反向的情况只在特殊夹角下出现。

Q3. 若 |a|=2，a 与 b 夹角为 60°，则标量投影 |a|cosθ 等于？

单选题 · easy

  • A.1.0← 正确答案
  • B.2.0
  • C.0.5
  • D.1.7

答案：A。cos60°=0.5，投影长度 = 2×0.5 = 1.0。B 是把 cosθ 当成 1，C 只取了余弦值忘了乘模长，D 是 2×sin60°≈1.73 的结果，属于混淆正弦与余弦。

Q4. 投影矩阵 P 满足 P²=P，这个性质在数学上称为？

单选题 · mid

  • A.幂等性← 正确答案
  • B.对称性
  • C.正交性
  • D.可逆性

答案：A。P²=P 叫做幂等性，意思是“投影两次等于投影一次”——影子投了又投还是同一个影子。对称性是指 Pᵀ=P，正交性指 PᵀP=I，可逆性指存在逆矩阵，都与题干描述不同。

Q5. 最小二乘解 x̂ 满足以下哪个方程？

单选题 · mid

  • A.AᵀAx̂ = Aᵀb← 正确答案
  • B.Ax̂ = b
  • C.Aᵀx̂ = b
  • D.AᵀAx̂ = b

答案：A。最小二乘解由法方程 AᵀAx̂ = Aᵀb 给出，它来自残差与列空间正交的条件。B 只在精确解存在时成立；C 和 D 的矩阵维数通常不匹配，无法构成合法方程。

Q6. 关于正交投影的误差 e = b - p，以下说法正确的有？

多选题 · hard

  • A.e 垂直于被投影的子空间← 正确答案
  • B.e 是从 b 到子空间的最短连接向量← 正确答案
  • C.e 的模长随投影角度增大而无限增大
  • D.e 一定为零向量

答案：AB。正交投影的残差垂直于目标子空间（A 对），同时它正是点到子空间的最短距离（B 对）。C 错在“无限增大”没有上限，模长最多等于 |b|；D 仅当 b 已在子空间内时才成立。

Q7. 投影矩阵 P = A(AᵀA)⁻¹Aᵀ 的秩等于多少？

单选题 · mid

  • A.等于 A 的列秩← 正确答案
  • B.等于列数减一
  • C.等于行数减一
  • D.恒等于 1

答案：A。投影矩阵的列空间就是 A 的列空间，所以 rank(P) = rank(A)。列数减一、行数减一都是对秩的常见误解；恒等于 1 只在一维投影（A 是单列）时成立。

Q8. 关于投影矩阵 P 的性质，以下说法正确的有？

多选题 · hard

  • A.P 是对称矩阵← 正确答案
  • B.P 是幂等矩阵← 正确答案
  • C.P 一定是可逆矩阵
  • D.P 的特征值只能是 0 或 1← 正确答案

答案：ABD。正交投影矩阵确实对称（Pᵀ=P）且幂等（P²=P），特征值只能是 0 和 1——对应“垂直于子空间的方向”和“子空间内的方向”。C 是常见误区：除非 P=I，否则投影矩阵不可逆。

Q9. 关于投影与降维（PCA），以下说法正确的有？

多选题 · hard

  • A.主方向是投影后方差最大的方向← 正确答案
  • B.正交投影使重构误差最小← 正确答案
  • C.降维不会损失任何信息
  • D.主成分是原始数据的线性组合← 正确答案

答案：ABD。PCA 找的正是“影子最分散”的方向（A 对），而这些方向的投影误差最小（B 对），主成分本质上是原始特征的线性组合（D 对）。C 错误，降维会有信息损失，只是损失的是方差最小的次要信息。

Q10. 若 A 的列向量标准正交（AᵀA = I），投影矩阵 P = A(AᵀA)⁻¹Aᵀ 可简化为？

单选题 · extreme

  • A.简化成 AAᵀ← 正确答案
  • B.简化成 AᵀA
  • C.简化成单位阵
  • D.简化成零矩阵

答案：A。当 AᵀA = I 时，逆就是单位矩阵，P = A I Aᵀ = AAᵀ。AᵀA = I 是题干条件而非简化结果；单位阵只在 A 是方阵且满秩时才等于 P；零矩阵仅当 A 为零矩阵时出现。