最大似然估计MLE

可视化演示

展示系统处理流水线、实时性能指标曲线及多方案对比分析，包含数据流转、吞吐延迟监控与方案评估。

似然函数概念

柯北的笔记本上画着一张“嫌疑人匹配表”：小明见到奶油就迈不动腿，匹配度 0.9；小红对甜食避之不及，匹配度 0.1；小丽素来贪嘴，匹配度 0.6。每一行都写着“如果是这个人，眼前这套证据出现的概率有多大”。统计学家把这张表抽象成一个函数，名字就叫“似然函数”——但它有一个微妙的视角反转。

在概率论里，我们习惯写 P(x | θ)，读作“给定参数 θ，观察值 x 出现的概率”：参数是固定的，数据是随机变动的。而似然函数把同一个式子反着读：L(θ | x) = P(x | θ)。数据是已经发生的事实（像现场固定的脚印），θ 才是待考察的变量（像不同身高的嫌疑人）。公式没变，但“谁是主角”颠倒了——这就是“概率与似然的视角差异”，也是“参数的函数视角”：把 θ 当作自变量，考察它对数据的解释力。

对一组独立同分布的样本 x₁, x₂, …, xₙ，它们同时出现的联合概率密度，就是每个样本概率密度的乘积。这把“多个证据同时指向一个人”的匹配度翻译成了数学语言：

$$\displaystyle L(\theta) = \prod_{i=1}^{n} f(x_i \mid \theta)$$

1. 函数符号 L(θ)：把 θ 当成自变量，衡量候选参数解释这份犯罪证据的合理程度。

$$\displaystyle L(\theta)$$

2. 概率密度 f(xᵢ|θ)：每个样本在参数 θ 下出现的概率（离散）或密度（连续），是乘积的基本单元。

$$\displaystyle f(x_i \mid \theta)$$

3. 连乘号 ∏：n 个独立样本同时发生的概率等于各自概率相乘，证据越多乘积越能区分真凶。

$$\displaystyle \prod_{i=1}^{n}$$

读完这张表，柯北的做法已呼之欲出：把所有嫌疑人的匹配度都算一遍，匹配度最高的那个，就是最大似然估计给出的“答案”。只不过侦探靠直觉挑人，统计学家靠这个连乘函数精确打分。

对数似然技巧

柯北的小徒弟看着匹配表犯了难：三个人各有三组证据，要算 3×3 共九个乘法，而且越乘越小，0.2 乘以 0.3 就成了微不足道的 0.06。师傅笑了笑：“把乘法换成加法不就清爽了？”这就是对数似然的直觉来源——取对数，让连乘变成连加。

取对数不是随便换的，它有一个关键保证：自然对数 log 是严格单调递增的函数。这意味着如果 L(θ₁) > L(θ₂)，那么 log L(θ₁) > log L(θ₂) 也必然成立。单调变换不改变函数值的相对大小顺序，所以最大值点——也就是“MLE 的答案”——在变换前后完全一致。这就是“单调性保持”。

除了计算方便，取对数还有一个务实的理由：数值稳定性。n 个小于 1 的概率连乘，在计算机里会迅速下溢成 0，就像九个小数字相乘后小数点后全是零。取对数后变成 n 个负数的连加，数值大小温和得多，而且每个样本的贡献是独立的求和项，求导时一条一条分开算，简单又稳妥：

$$\displaystyle \ell(\theta) = \log L(\theta) = \sum_{i=1}^{n} \log f(x_i \mid \theta)$$

1. 自然对数 log：严格单调递增，变换不改变各候选参数的排序，因此不移动最大值点。

$$\displaystyle \ell(\theta) = \log L(\theta)$$

2. 连乘变连加：对数把乘积展开成求和，每一项只依赖一个样本，求导时逐项处理即可。

$$\displaystyle \sum_{i=1}^{n} \log f(x_i \mid \theta)$$

3. 数值稳定性：大量小数连乘会下溢为零，连加则能保留数值精度，机器学习实现中尤为重要。

$$\displaystyle \log \prod_{i=1}^{n} a_i = \sum_{i=1}^{n} \log a_i$$

于是柯北的破案手册里多了一条铁律：凡是遇到“多个证据匹配度连乘”，先取对数再算。侦探省了力气，计算机省了精度，而真凶一个也跑不掉。

MLE求解步骤

柯北的破案手册里有一套标准流程，MLE 也有。四个步骤环环相扣：第一步，写出似然函数——把数据代入分布，得到关于 θ 的连乘表达式；第二步，取对数似然——按上一节的办法把连乘换成连加；第三步，对 θ 求导并令导数为零——光滑函数的峰顶处，切线是水平的；第四步，解方程，得到估计量的具体形式。

第三步是整个流程的心脏。为什么“导数为零”就能找到最大值？想象侦探爬一座平滑的山丘，山顶上无论往哪个方向迈一小步，高度都不再上升——用数学语言说，该点的瞬时变化率为零。对数似然函数通常是个“单峰”的碗状函数，所以导数为零的点就是我们要找的山顶：

$$\displaystyle \hat{\theta}_{MLE} = \arg\max_{\theta} \ell(\theta), \quad \frac{\partial \ell(\theta)}{\partial \theta} = 0$$

1. 估计量 θ̂：头上带“帽子”的符号表示“由数据算出的估计值”，它随样本不同而不同。

$$\displaystyle \hat{\theta}_{MLE}$$

2. argmax 运算：返回使目标函数取最大值的那个 θ 本身，而不是最大值是多少。

$$\displaystyle \arg\max_{\theta} \ell(\theta)$$

3. 偏导置零：峰顶处切线水平的数学表达，是“找到最高点”的等价条件。

$$\displaystyle \frac{\partial \ell(\theta)}{\partial \theta} = 0$$

4. 解方程：把样本观测值代入求导结果，解出 θ 的闭式表达式，例如抛硬币模型中得到样本均值。

$$\displaystyle \hat{\theta}_{MLE} = \frac{1}{n} \sum_{i=1}^{n} x_i$$

四步走完，柯北合上手册，指向匹配度最高的嫌疑人。但现实中的案子往往更复杂：方程解不出闭式解怎么办？侦探自有下一招——一步一步往上爬。

数值优化方法

不是所有似然方程都能像抛硬币那样解出漂亮的公式。逻辑回归、神经网络里的参数，求导置零后是一团纠缠不清的非线性方程，根本没法手解。这时侦探换了一种策略：不一口气冲上山，而是蒙着眼睛，用脚底感受哪边坡度最陡，就朝哪个方向迈一步，然后重复——这就是梯度上升法。

梯度是多元函数在某点上升最快的方向。把当前参数 θ 代入对数似然的导数，就得到“该朝哪个方向迈步”；再乘以一个学习率 η 控制步子大小，就完成一次迭代。步子太大会一步跨过山顶，在对面坡上反复横跳；步子太小则像蚂蚁爬山，几百步还在山脚磨蹭。这就是“学习率选择”的分寸感：

$$\displaystyle \theta^{(t+1)} = \theta^{(t)} + \eta \frac{\partial \ell(\theta^{(t)})}{\partial \theta}$$

1. 上标 (t)：表示第 t 轮迭代时的参数值，是“侦探当前站的位置”。

$$\displaystyle \theta^{(t)}$$

2. 梯度项：对数似然在当前点的偏导数，指出上升最快的方向，是侦探脚下的坡度感知。

$$\displaystyle \frac{\partial \ell(\theta^{(t)})}{\partial \theta}$$

3. 学习率 η：每次迈出的步长，控制收敛速度与稳定性，是调参时最重要的旋钮之一。

$$\displaystyle \eta$$

4. 迭代更新：位置加上“方向×步长”得到新位置，反复执行直到满足收敛判据。

$$\displaystyle \theta^{(t+1)} = \theta^{(t)} + \eta \frac{\partial \ell(\theta^{(t)})}{\partial \theta}$$

如果嫌梯度上升太慢，侦探还有加速道具——牛顿法：它利用二阶导数（曲率）预估峰顶的距离，一步往往能跨出很大一段，但每一步计算也更贵。无论哪种方法，最后都要靠“收敛判断准则”（参数变化量小于阈值）来确定何时收手。柯北拍了拍手上的灰：山再高，一步一步也能登顶。

渐近性质

柯北办案有个朴素的信念：证据越多，判断越准。MLE 之所以成为统计推断的“默认侦探”，正是因为它有三个让人放心的渐近性质——样本量趋于无穷时的表现：一致性、渐近正态性、渐近有效性。

一致性（consistency）是底线承诺：当样本量 n 越来越大时，估计值 θ̂ 依概率收敛到真实参数 θ。通俗地说，证据堆成山时，侦探几乎不可能抓错人。渐近正态性则进一步描述了“误差的模样”：把估计误差放大 √n 倍后，它的分布会趋近一个以 0 为中心的正态分布——就像把无数案件的破案误差画成直方图，最终呈现出熟悉的钟形。而方差由 Fisher 信息量 I(θ) 的倒数决定：信息越多，误差越紧。

$$\displaystyle \hat{\theta}_{MLE} \xrightarrow{p} \theta^*, \quad \sqrt{n}\left(\hat{\theta}_{MLE} - \theta^*\right) \xrightarrow{d} \mathcal{N}\left(0, I(\theta^*)^{-1}\right)$$

1. 依概率收敛：样本量趋于无穷时，估计值落在真实参数任意小邻域内的概率趋近于 1。

$$\displaystyle \hat{\theta}_{MLE} \xrightarrow{p} \theta^*$$

2. 标准化偏差：用 √n 缩放“估计值减真值”，抵消随机波动随样本量增大的衰减速度。

$$\displaystyle \sqrt{n}\left(\hat{\theta}_{MLE} - \theta^*\right)$$

3. 渐近正态分布：缩放后的误差趋近均值为零、方差为 Fisher 信息倒数的正态分布，这是构造置信区间与假设检验的理论基石。

$$\displaystyle \xrightarrow{d} \mathcal{N}\left(0, I(\theta^*)^{-1}\right)$$

这三条性质让柯北在法庭上底气十足：证据够多时，我的判断不但几乎不会错，而且误差有多大都能提前算出来。从“凭感觉断案”到“可量化的推理”，这就是 MLE 的统计学承诺。

与贝叶斯关系

再厉害的侦探也有“先入为主”的时候。柯北接手蛋糕案时，脑子里已有一份档案：小明上周刚被投诉偷吃零食。这份“看到证据之前的印象”，在贝叶斯框架里叫先验分布 P(θ)。MLE 只看证据，而贝叶斯推断要求把“先验印象”和“现场证据”放在一起综合判断。

最大后验估计（MAP）就是在干这事：在给定数据 X 的条件下，寻找使后验分布 P(θ|X) 最大的参数。根据贝叶斯公式，后验正比于“似然 × 先验”，取对数后，目标函数变成“证据的匹配度”加上“先验的分数”两项之和。这就是 MLE 与 MAP 的核心分水岭：MLE 眼中只有证据，MAP 还要掂量档案里的旧账：

$$\displaystyle \hat{\theta}_{MAP} = \arg\max_{\theta} \left[\log P(X \mid \theta) + \log P(\theta)\right]$$

1. 先验 P(θ)：观测数据之前对参数的既有判断，相当于侦探档案里嫌疑人的前科记录。

$$\displaystyle \log P(\theta)$$

2. 似然项：与 MLE 完全相同的证据匹配度，衡量数据对参数的“指认力度”。

$$\displaystyle \log P(X \mid \theta)$$

3. 两项相加：后验分数 = 先验印象 + 证据分数；数据越多，证据项权重越大，先验影响被稀释。

$$\displaystyle \log P(X \mid \theta) + \log P(\theta)$$

有个漂亮的回归：当柯北选择对所有人一视同仁（均匀先验），“旧账”不产生任何差异，MAP 和 MLE 给出同一个答案。而一旦侦探有明确的先验倾向，证据的分量就要和偏见讨价还价——这正是贝叶斯学派和频率学派最精彩的对话。

线性回归应用

柯北接手一个新案子：根据脚印长度预测嫌疑人身高。他收集了一批“身高—脚印”数据，想画一条直线 y = βx + b。问题是，怎么确定这条直线最好？MLE 给出的答案是：先假设误差服从正态分布，再找让数据最有可能出现的直线。

线性回归的标准假设是：真实关系是线性的，观测值在直线附近波动，噪声 ε 服从均值为零的高斯分布。每个样本 yᵢ 的条件分布就是“以 βᵀxᵢ 为中心的正态分布”。把这些条件密度全部乘起来取对数，神奇的事情发生了——对数似然中与 β 有关的部分，恰好是误差平方和的负值：

$$\displaystyle \ell(\beta) = -\frac{n}{2}\log(2\pi\sigma^2) - \frac{1}{2\sigma^2}\sum_{i=1}^{n}\left(y_i - \beta^T x_i\right)^2$$

1. 常数项：与 β 无关的归一化部分，求最大值时不影响最优 β 的位置，可以忽略。

$$\displaystyle -\frac{n}{2}\log(2\pi\sigma^2)$$

2. 误差平方和：预测值 βᵀxᵢ 与真实值 yᵢ 的平方偏差；平方项让大误差被加倍惩罚。

$$\displaystyle \sum_{i=1}^{n}\left(y_i - \beta^T x_i\right)^2$$

3. 与最小二乘等价：负号让“最大化”变成“最小化”，MLE 与最小二乘在这里握手言和。

$$\displaystyle \hat{\beta}_{MLE} = \arg\min_{\beta} \sum_{i=1}^{n}\left(y_i - \beta^T x_i\right)^2$$

由于目标是平方和，求导置零后能得到闭式解——侦探掏出公式，一瞬间就画出了那条最贴合数据的直线。这就是为什么线性回归的训练“不需要迭代”：MLE 早就为它准备好了标准答案。

逻辑回归应用

这一次，柯北要办的是一道二选一的题：判断一个用户会不会点击广告。输出不再是连续的身高，而是“点击 / 不点击”两个类别。线性回归的正态假设失效了，侦探改用伯努利分布来建模——每个样本的标签 yᵢ 服从一个“成功概率为 pᵢ 的抛硬币”。

但每个用户的特征不同，成功概率也该不同。于是侦探让 pᵢ 由线性得分 wᵀxᵢ 经过 Sigmoid 函数 σ 压缩到 (0,1) 区间：得分越高，点击概率越接近 1。把 n 个伯努利分布的概率乘起来取对数，就得到逻辑回归的目标——伯努利对数似然：

$$\displaystyle \ell(w) = \sum_{i=1}^{n}\left[ y_i \log \sigma(w^T x_i) + (1 - y_i) \log\left(1 - \sigma(w^T x_i)\right)\right]$$

1. Sigmoid 函数 σ：把任意实数得分映射到 (0,1)，作为“正类概率”的桥梁。

$$\displaystyle \sigma(z) = \frac{1}{1 + e^{-z}}$$

2. 正样本项：当 yᵢ=1 时这项保留，模型被鼓励让预测概率尽量大。

$$\displaystyle y_i \log \sigma(w^T x_i)$$

3. 负样本项：当 yᵢ=0 时这项保留，模型被鼓励让“负类概率”尽量大。

$$\displaystyle (1 - y_i) \log\left(1 - \sigma(w^T x_i)\right)$$

4. 负对数似然：加负号把最大化转为最小化，得到分类任务的标准损失函数。

$$\displaystyle \text{Loss}(w) = -\ell(w)$$

逻辑回归的对数似然没有闭式解，侦探只能启动梯度下降，在山坡上一步步向上爬。最终，w 的最优值确定了一条决策边界：一侧判为“点击”，另一侧判为“不点击”。从伯努利假设到交叉熵损失，MLE 又一次把“断案逻辑”变成了可训练的模型。

AI 应用场景

Python 演示

# -*- coding: utf-8 -*-"""最大似然估计演示: 用模拟抛硬币数据估计正面概率 p同时展示梯度上升与解析解两种求解方式"""import numpy as np  def log_likelihood(p, flips):    """对数似然: sum(y*log(p) + (1-y)*log(1-p))"""    p = np.clip(p, 1e-12, 1 - 1e-12)    return np.sum(flips * np.log(p) + (1 - flips) * np.log(1 - p))  def grad_log_likelihood(p, flips):    """对数似然对 p 的导数"""    p = np.clip(p, 1e-12, 1 - 1e-12)    return np.sum(flips) / p - np.sum(1 - flips) / (1 - p)  def mle_gradient_ascent(flips, lr=0.1, epochs=2000):    """梯度上升迭代求解最大似然估计"""    p = 0.5    for _ in range(epochs):        p = p + lr * grad_log_likelihood(p, flips)        p = np.clip(p, 1e-12, 1 - 1e-12)    return p  def mle_closed_form(flips):    """解析解: 正面次数 / 总次数"""    return np.mean(flips)  if __name__ == "__main__":    rng = np.random.RandomState(42)    true_p = 0.7    flips = (rng.rand(500) < true_p).astype(int)    print("真实概率:", true_p)    print("梯度上升MLE:", round(mle_gradient_ascent(flips), 4))    print("解析解MLE:", round(mle_closed_form(flips), 4))    print("对数似然值:", round(log_likelihood(mle_closed_form(flips), flips), 4))

1. p = np.clip(p, 1e-12, 1 - 1e-12)把 p 限制在开区间 (0,1) 内，防止 log(0) 产生无穷值。
2. return np.sum(flips * np.log(p) + (1 - flips) * np.log(1 - p))对数似然公式：正面样本贡献 log p，反面样本贡献 log(1-p)。
3. return np.sum(flips) / p - np.sum(1 - flips) / (1 - p)对数似然对 p 的导数，梯度上升用它指明前进方向。
4. p = p + lr * grad_log_likelihood(p, flips)沿梯度方向迈出一步，相当于侦探朝着山坡顶端爬一步。
5. return np.mean(flips)解析解：正面次数除以总次数，就是伯努利模型 MLE 的闭式答案。
6. flips = (rng.rand(500) < true_p).astype(int)用随机数模拟 500 次抛硬币，1 表示正面。

常见误区

面试题