多元分布：多个变量的联合概率

可视化演示

联合分布：套餐的完整菜单

你是餐厅经理，设计一份套餐。顾客真正关心的不是某道菜单独好不好吃，而是“主菜、甜点、饮品”这一整套组合是否搭调。于是你手里那份记录各种搭配受欢迎程度的“组合清单”，就是联合分布的雏形——它把多个特征同时出现的概率写在了一起。

在概率论中，联合分布描述多个随机变量“同时取某个值组合”的可能性。假如有两个离散变量 \(X\) 和 \(Y\)，联合分布把每一对可能的取值都标出一个概率：

\[

P(X=x_i,\;Y=y_j)=p_{ij},\qquad p_{ij}\ge 0,\quad \sum_{i=1}^{n}\sum_{j=1}^{m}p_{ij}=1

\]

1. 事件定义：把“\(X\) 取 \(x_i\) 且 \(Y\) 取 \(y_j\)”看作一个同时发生的组合事件。

$$P(X=x_i,\;Y=y_j)$$

2. 简写符号：用 \(p_{ij}\) 表示联合分布表第 \(i\) 行第 \(j\) 列那个格子里的概率。

$$p_{ij}=P(X=x_i,\;Y=y_j)$$

3. 非负约束：套餐里任何组合的受欢迎程度都不能是负数。

$$p_{ij}\ge 0$$

4. 归一化条件：所有组合的概率加起来必须为 1，因为顾客总会选中某一种组合。

$$\sum_{i=1}^{n}\sum_{j=1}^{m}p_{ij}=1$$

联合分布就像那份完整的套餐菜单：每一格都写着一个组合出现的概率。有了这张菜单，你才能进一步回答“只看甜品”或“已知主菜很辣”等更精细的问题。

边缘分布：单看一道菜的风景

你打算给甜品搞促销，但套餐数据里每一条记录都同时包含主菜和饮品。现在你只关心甜品甜度的分布，不管其他菜是什么味道。做法很简单：把联合分布表中同一甜品对应的所有概率加在一起。因为最终结果写在联合分布表的“边缘”位置，所以叫边缘分布。

对于离散变量，从联合分布求 \(X\) 的边缘分布，就是对 \(Y\) 的全部取值求和：

\[

P_X(x_i)=\displaystyle\sum_{j=1}^{m}P(X=x_i,\;Y=y_j)

\]

1. 固定取值：先把 \(X\) 固定在某一个具体取值 \(x_i\) 上。

$$X=x_i$$

2. 遍历求和：让 \(Y\) 从 \(y_1\) 一直取到 \(y_m\)，把对应的联合概率全部加总。

$$\sum_{j=1}^{m}P(X=x_i,\;Y=y_j)$$

3. 得到边缘：求和结果与 \(Y\) 无关，只刻画 \(X\) 单独取 \(x_i\) 的概率。

$$P_X(x_i)=\sum_{j=1}^{m}P(X=x_i,\;Y=y_j)$$

边缘分布就像你仔细品尝套餐里的甜点而不被主菜干扰。它是联合分布退一步的视角——暂时收起完整菜单，只汇报一道菜的表现。

条件分布：由已知推出未知

顾客点了一份很辣的川味主菜，你想推断他大概率配什么饮品。这时你不知道他的完整选择，但掌握了一个关键线索。在已知“主菜很辣”的条件下，饮品甜度的概率分布就是条件分布。它不是把饮品单独拿出来看，而是先锁定已知条件，再重新归一化。

条件分布的定义非常直观：

\[

P(Y=y_j\mid X=x_i)=\frac{P(X=x_i,\;Y=y_j)}{P(X=x_i)}

\]

1. 分子是联合概率：同时满足“\(X\) 取 \(x_i\)”和“\(Y\) 取 \(y_j\)”的概率。

$$P(X=x_i,\;Y=y_j)$$

2. 分母是条件事件：已知 \(X=x_i\) 这个前提本身的概率，用作归一化基准。

$$P(X=x_i)$$

3. 相除得条件概率：把联合概率按条件事件重新缩放，让所有 \(y_j\) 上的概率之和变成 1。

$$P(Y=y_j\mid X=x_i)=\frac{P(X=x_i,\;Y=y_j)}{P(X=x_i)}$$

条件分布像服务员听到“要辣的”之后，立刻把推荐范围收窄到冰饮和酸梅汤。你掌握的证据越具体，推断的菜单就越精准。

协方差：菜品间的搭配默契

有些搭配天生默契，比如辣主菜配冰饮，销量总是双双走高；有些搭配永远不对付，比如很辣的菜配甜腻浓汤。这种“两个变量是否倾向于同向或反向变化”的数字指标，就是协方差。

协方差定义为两变量各自偏离均值之积的期望：

\[

\text{Cov}(X,Y)=E\left[(X-\mu_X)(Y-\mu_Y)\right]

\]

1. 均值基准：先算出每个变量的期望 \(\mu_X\) 和 \(\mu_Y\)，相当于各自的平均口味。

$$\mu_X=E[X],\qquad \mu_Y=E[Y]$$

2. 偏差乘积：每次观察都计算 \((X-\mu_X)\times(Y-\mu_Y)\)；两者同时高于平均时乘积为正，一个高一个低时乘积为负。

$$(X-\mu_X)(Y-\mu_Y)$$

3. 取期望：对所有观察的偏差乘积取平均，得到一个稳定的总体指标。

$$E[(X-\mu_X)(Y-\mu_Y)]$$

协方差为正，说明两变量倾向于同向变化；为负则说明步调相反；接近零表示两者没有稳定的线性联动。它就像餐厅统计中的“搭配默契分”：高分搭配常被推荐，负分搭配赶紧从菜单上撤掉。

相关分析：把默契变成标准分数

辣度用辣椒指数衡量，甜度用糖克数衡量，单位不同，协方差的数值没法跨菜品比较。比如一份辣味指数 50 的菜和甜度 30 的甜品算出的协方差，不能直接和另一组单位不同的数据比较。于是统计学家给协方差除以两个标准差，得到无量纲的相关系数：

\[

\rho_{XY}=\frac{\text{Cov}(X,Y)}{\sigma_X\,\sigma_Y},\qquad -1\le \rho_{XY}\le 1

\]

1. 计算协方差：先求出两个变量的协方差，作为原始关联强度的分子。

$$\text{Cov}(X,Y)$$

2. 除以标准差：分别除以 \(\sigma_X\) 和 \(\sigma_Y\)，把单位约掉，变成纯数值。

$$\sigma_X\,\sigma_Y$$

3. 取值受限：由柯西-施瓦茨不等式可知，标准化后的结果必然落在 \(-1\) 到 \(1\) 之间。

$$-1\le \rho_{XY}\le 1$$

相关系数就像把“默契分”换算成百分制。+1 表示完全正相关，-1 表示完全负相关，0 表示没有线性相关。注意，它只说线性关系，没说两个变量彻底无关。

协方差矩阵：全班的关系图谱

只看一对变量的协方差还不够，一份套餐可能涉及辣度、甜度、温度、分量等十几个特征。此时需要把“自己与自己的方差、自己与别人的协方差”全部放进一张二维表格，这就是协方差矩阵。

\[

\boldsymbol{\Sigma}=

\begin{bmatrix}

\sigma_X^2 & \text{Cov}(X,Y)\\

\text{Cov}(Y,X) & \sigma_Y^2

\end{bmatrix}

\]

1. 对角线元素：左上和右下分别是 \(X\)、\(Y\) 各自的方法，刻画单变量的波动幅度。

$$\sigma_X^2,\qquad \sigma_Y^2$$

2. 非对角线元素：右上和左下是两变量间的协方差，描述跨变量的线性关联。

$$\text{Cov}(X,Y),\qquad \text{Cov}(Y,X)$$

3. 对称性：因为 \(\text{Cov}(X,Y)=\text{Cov}(Y,X)\)，矩阵沿着主对角线对称。

$$\boldsymbol{\Sigma}=\boldsymbol{\Sigma}^T$$

协方差矩阵把整桌菜的关系一网打尽：对角线上写各自的口味波动，非对角线上写菜与菜之间的搭配规律。矩阵的对称性和半正定性让它在统计学与机器学习里成为极其趁手的工具。

多元正态分布：最经典的套餐模板

自然界里很多现象都围绕一个中心点均匀散开：全班同学的平均身高加误差、传感器读数加噪声。当多个变量一起服从这种“钟形”规律，且它们之间的关系由协方差矩阵掌控时，就得到了多元正态分布。它是 AI 建模中最常用的概率分布模板。

\[

f(\mathbf{x})=\frac{1}{(2\pi)^{d/2}\lvert\boldsymbol{\Sigma}\rvert^{1/2}}

\exp\left[-\frac{1}{2}(\mathbf{x}-\boldsymbol{\mu})^\top\boldsymbol{\Sigma}^{-1}(\mathbf{x}-\boldsymbol{\mu})\right]

\]

1. 变量向量：\(\mathbf{x}\) 是一个 \(d\) 维向量，代表一次观察里所有变量的取值。

$$\mathbf{x}=(x_1,x_2,\dots,x_d)^\top$$

2. 马氏距离二次型：\((\mathbf{x}-\boldsymbol{\mu})^\top\boldsymbol{\Sigma}^{-1}(\mathbf{x}-\boldsymbol{\mu})\) 把偏差按协方差结构加权，相当于“考虑了相关性的距离”。

$$(\mathbf{x}-\boldsymbol{\mu})^\top\boldsymbol{\Sigma}^{-1}(\mathbf{x}-\boldsymbol{\mu})$$

3. 指数衰减：负号让概率密度随着这个距离增大而指数式下降，离中心越远越罕见。

$$\exp\left[-\frac{1}{2}(\mathbf{x}-\boldsymbol{\mu})^\top\boldsymbol{\Sigma}^{-1}(\mathbf{x}-\boldsymbol{\mu})\right]$$

4. 归一化常数：前面的系数保证整个密度函数在所有空间上的积分等于 1。

$$\frac{1}{(2\pi)^{d/2}\lvert\boldsymbol{\Sigma}\rvert^{1/2}}$$

多元正态分布像是餐厅总管设计的“标准套餐模板”：均值决定最受欢迎的口味组合，协方差矩阵决定顾客口味的波动形态。等高线是一圈圈椭球，长轴方向恰好指向变量之间最相关的方向。

机器学习中的多元分布

餐厅经理会通过历史点单记录估计“哪种套餐最受欢迎、哪些菜常被一起点”；机器学习的做法完全一致——用数据估计均值向量和协方差矩阵。给定 \(n\) 个样本 \(\mathbf{x}_1,\dots,\mathbf{x}_n\)，最常用的矩估计是：

\[

\hat{\boldsymbol{\mu}}=\frac{1}{n}\sum_{i=1}^{n}\mathbf{x}_i,\qquad

\hat{\boldsymbol{\Sigma}}=\frac{1}{n}\sum_{i=1}^{n}(\mathbf{x}_i-\hat{\boldsymbol{\mu}})(\mathbf{x}_i-\hat{\boldsymbol{\mu}})^\top

\]

1. 样本均值：把所有样本向量相加并除以 \(n\)，得到数据中心。

$$\hat{\boldsymbol{\mu}}=\frac{1}{n}\sum_{i=1}^{n}\mathbf{x}_i$$

2. 偏差向量：每个样本减去均值，得到偏离中心的残差向量。

$$\mathbf{x}_i-\hat{\boldsymbol{\mu}}$$

3. 外积矩阵：残差向量乘以其转置，得到一个记录了该样本方差和协方差贡献的矩阵。

$$(\mathbf{x}_i-\hat{\boldsymbol{\mu}})(\mathbf{x}_i-\hat{\boldsymbol{\mu}})^\top$$

4. 求平均：把所有样本的外积矩阵加起来除以 \(n\)，得到整体协方差矩阵的估计。

$$\hat{\boldsymbol{\Sigma}}=\frac{1}{n}\sum_{i=1}^{n}(\mathbf{x}_i-\hat{\boldsymbol{\mu}})(\mathbf{x}_i-\hat{\boldsymbol{\mu}})^\top$$

这套估计方法贯穿高斯过程回归、生成模型、异常检测等应用。数据就像一次次顾客点单，多元分布就是用来捕捉“什么组合常见、什么组合反常”的数学模型。

AI 应用场景

Python 演示

import numpy as np def simulate(mu1, mu2, s1, s2, rho, n=10000):    """Simulate bivariate normal samples and verify estimates"""    z1 = np.random.randn(n)    z2 = np.random.randn(n)    x1 = mu1 + s1 * z1    x2 = mu2 + s2 * (rho * z1 + np.sqrt(1 - rho * rho) * z2)     mu_hat = np.array([x1.mean(), x2.mean()])    cov_hat = np.cov(x1, x2)    rho_hat = cov_hat[0, 1] / np.sqrt(cov_hat[0, 0] * cov_hat[1, 1])    return mu_hat, cov_hat, rho_hat def main():    mu_hat, cov_hat, rho_hat = simulate(        mu1=3.0, mu2=10.0, s1=1.0, s2=2.0, rho=0.7, n=50000)    print("estimated means:", mu_hat)    print("estimated covariance matrix:")    print(cov_hat)    print("estimated correlation:", rho_hat) if __name__ == "__main__":    main()

1. z1 = np.random.randn(n)先抽取两列相互独立的标准正态随机数，当作“基础配料”。
2. x1 = mu1 + s1 * z1给第一个变量施加均值和标准差，得到真正的第一维数据。
3. x2 = mu2 + s2 * (rho * z1 + np.sqrt(1 - rho * rho) * z2)用线性组合把相关性注入第二维，相当于按套餐比例调配菜品。
4. cov_hat = np.cov(x1, x2)一次算出样本的方差和协方差，得到协方差矩阵估计。
5. rho_hat = cov_hat[0, 1] / np.sqrt(cov_hat[0, 0] * cov_hat[1, 1])从协方差矩阵中提取相关系数，完成“从联合到相关”的逆推。
6. simulate(mu1=3.0, mu2=10.0, s1=1.0, s2=2.0, rho=0.7, n=50000)用真实理论参数生成 5 万条记录，样本量足够大时估计值会非常接近真实值。

常见误区

面试题