指数族分布：概率分布的统一框架

可视化演示

指数族定义

快递公司的第一条规矩：所有包裹必须先贴统一面单。不管你寄的是信封、整箱货物还是异形件，面单上的栏位不能变。数学里的指数族也是这个思路：先把概率函数重写成统一模板，再看哪些分布能装进来。

把“面单”翻译成数学语言。一个概率分布 \(p_\theta(x)\) 如果属于指数族，就可以写成下面的形式：

这条公式没有规定 \(x\) 必须是离散还是连续，也没有限定 \(T\) 必须是一维。它只规定：数据与参数之间只能通过 \(T(x)\) 这一个接口互动。所以当你在统计课本里看到“这个分布属于指数族”时，它不是在夸某个分布好看，而是在说：它已经贴上了万能面单，接下来可以用同一条流水线处理。

核心构件

面单上有四个栏位，缺一不可。第一个是 \(T(x)\)，快递分拣员只扫描这个标签，不看包裹里装了什么；第二个是自然参数 \(\eta\)，它告诉分拣员包裹该去哪个货区；第三个是 \(A(\eta)\)，它是系统自动算出的配平码；第四个是 \(h(x)\)，它描述包装盒自身长什么样。

把面单写成最常用的“自然形式”：

这套构件解释了为什么指数族威力大：只要知道 \(T\)、\(\eta\)、\(A\)、\(h\)，就能用统一的方法做似然计算、求期望和方差，而不必为每个分布单独发明一套公式。就像快递公司只需要维护一种面单解析软件，就能处理所有客户。

常见分布改写

现在，三位大客户来了：伯努利、泊松、正态。它们填的是同一种面单，只是每家的标签和货区编号不同。以伯努利分布为例，假设 \(y\in\{0,1\}\) 表示成功或失败：

其他常见分布也可以照葫芦画瓢。把它们的 \(T\)、\(\eta\)、\(A\)、\(h\) 列成一张对照表：

| 分布 | \(T(x)\) | \(\eta\) | \(A(\eta)\) |

| --- | --- | --- | --- |

| 伯努利 | \(y\) | \(\log\frac{p}{1-p}\) | \(\log(1+e^{\eta})\) |

| 泊松 | \(y\) | \(\log\lambda\) | \(e^{\eta}\) |

| 正态（方差已知） | \((x,x^2)\) | \(\left(\frac{\mu}{\sigma^2},-\frac{1}{2\sigma^2}\right)\) | \(\frac{\mu^2}{2\sigma^2}\) |

注意，正态的充分统计量不是 \(x\) 一个数，而是 \(x\) 和 \(x^2\) 两个数。这说明面单可以同时填多个标签栏。只要把这三个分布都改写成这种形式，接下来的均值、方差、极大似然估计就都可以用同一套公式自动生成。

矩与统计量

面单系统还有一个隐藏功能：只要知道配平码 \(A(\eta)\)，就能自动算出均值与方差，不需要重新做积分。这就像快递公司只要读取货区编号，就能推算出这个区域的包裹平均重量和波动幅度。

用伯努利验证一下：\(\eta=\log\frac{p}{1-p}\)，\(A(\eta)=\log(1+e^\eta)\)，那么 \(A'(\eta)=\frac{e^\eta}{1+e^\eta}=p\)，\(A''(\eta)=\frac{e^\eta}{(1+e^\eta)^2}=p(1-p)\)。没错，一阶导是成功概率，二阶导是伯努利方差。同一台发动机装在不同车型上，输出的速度和油耗都能自动匹配。

广义线性模型

当快递公司要做预测时，它想知道：给定一个地址特征 \(x\)，这个区域的包裹该分到哪个货区编号 \(\eta\)？广义线性模型（GLM）给出的答案非常直接：先用特征的线性组合算出货区编号，再通过指数族面单把编号翻译成观测值的均值。

常见的 GLM 都是这个模板的实例：正态分布配恒等连接，得到线性回归；伯努利分布配 logit 连接，得到逻辑回归；泊松分布配 log 连接，得到计数模型。如果连接函数选得恰当，比如\(g=(A')^{-1}\)，那么关于 \(\beta\) 的得分方程会非常简洁：只需比较充分统计量的观测值和期望值。这也是 GLM 偏爱指数族的深层原因——它不仅让模型可解释，还让优化计算变得稳定高效。

最大熵推导

面单格式并不是老板拍脑袋定的，它其实是从“信息最少”的原则里长出来的。如果你只知道关于数据的某些平均约束，比如充分统计量的均值，却不想额外假设任何结构，那么最公平、最不武断的分布是什么？答案是使熵最大的分布。

这个结论解释了为什么要学指数族：它不是一堆分布的人工集合，而是“在矩约束下保留最多不确定性”的自然结果。快递公司不需要为每种包裹单独设计面单，因为万能面单本身已经是最优解。

机器学习应用

机器学习模型最终要通过优化损失函数来训练。指数族让这个过程变得漂亮：所有属于这个家族的分布，其负对数似然都有统一的表达式，并且关于自然参数是凸函数。

正因为负对数似然是凸函数，逻辑回归、泊松回归等模型可以用梯度下降或牛顿法稳定求解。充分统计量 \(T(x)\) 还带来一个工程红利：在线学习时，不需要保存所有原始样本，只要不断累加充分统计量，就能在数据流上更新模型。这就像快递仓库不需要收藏每一件包裹，只要每天晚上统计各个邮编的数量，就能优化明天的分拣线路。

AI 应用场景

Python 演示

import numpy as np class ExpFamilyGLM:    def __init__(self, kind='bernoulli'):        self.kind = kind        self.beta = None     def _mean_func(self, eta):        if self.kind == 'bernoulli':            return 1.0 / (1.0 + np.exp(-eta))        if self.kind == 'poisson':            return np.exp(eta)        return eta     def _var_func(self, mu):        if self.kind == 'bernoulli':            return mu * (1.0 - mu)        if self.kind == 'poisson':            return mu        return np.ones_like(mu)     def fit(self, X, y, steps=50):        n, p = X.shape        self.beta = np.zeros(p)        for _ in range(steps):            eta = X @ self.beta            mu = self._mean_func(eta)            v = self._var_func(mu)            z = eta + (y - mu) / v            sqrt_v = np.sqrt(v)            Xw = X / sqrt_v[:, None]            zw = z * sqrt_v            self.beta, _, _, _ = np.linalg.lstsq(Xw, zw, rcond=None)     def predict(self, X):        return self._mean_func(X @ self.beta) if __name__ == '__main__':    rng = np.random.default_rng(0)    X = np.column_stack([np.ones(200), rng.normal(size=200)])    eta = X @ np.array([0.2, -0.8])    y = rng.binomial(1, 1.0 / (1.0 + np.exp(-eta)))    model = ExpFamilyGLM('bernoulli')    model.fit(X, y)    print(model.beta)

1. model = ExpFamilyGLM('bernoulli')选择伯努利分布，相当于告诉分拣中心这次处理的是 0/1 包裹。
2. eta = X @ self.beta计算自然参数，也就是线性预测子 \(\beta^\top x\)。
3. mu = self._mean_func(eta)对伯努利使用 sigmoid 函数，把编号翻译成成功概率。
4. z = eta + (y - mu) / v构造加权最小二乘中的工作响应，它把非线性模型局部线性化。
5. Xw = X / sqrt_v[:, None]对设计矩阵按方差函数的平方根加权，对应 GLM 中的权重。
6. np.linalg.lstsq(Xw, zw, rcond=None)求解加权最小二乘问题，更新回归系数。

常见误区

面试题