贝叶斯方法进阶：贝叶斯非参数（狄利克雷过程/高斯过程）

可视化演示

展示系统处理流水线、实时性能指标曲线及多方案对比分析，包含数据流转、吞吐延迟监控与方案评估。

非参数由来：菜单不是印死的

传统参数模型像一家开张前就印好菜单的餐厅：三菜一汤，明码标价。你的参数 θ 就是那几个“旋钮”——盐放多少、火候多大，全部预设好，之后只调数值、不改结构。这类模型在小数据时容易“过度发挥”（过拟合），数据多了又“施展不开”（欠拟合），本质原因是容量被参数个数锁死了。

贝叶斯非参数从另一个角度看问题：与其纠结“该选几个参数的模型”，不如给模型一张无限长的菜单，让数据来决定动用多少道菜。这里的“非参数”不是说没有参数，而是参数的数量本身成为随机变量，可以随样本量增长。

为了让这个思想落地，贝叶斯学派提供了一个干净的框架：把参数也当作随机变量，用后验分布去刻画不确定性。于是模型容量不再是工程师拍脑袋的整数，而是数据一步步“写”出来的。

回到比喻里：固定菜单的餐厅哪怕客似云来，翻来覆去也只有三道菜。贝叶斯非参数想的则是——让菜单跟着客人走，新客带来新菜，旧菜若受欢迎就保留，若无人问津自然淘汰。这就是容量自适应的直觉起点。

狄利克雷过程：分布的分布

现在你要为“无限菜单”立规矩：一份菜单可以无限长，但每道菜的“权重”（被点概率）必须满足某种先验规律。狄利克雷过程（Dirichlet Process, DP）就是“菜谱的食谱”——它自己不直接制定菜单，而是为“菜单的生成过程”指定概率规则，所以叫“分布的分布”。

狄利克雷分布是最基础的“配料规则”：给你 K 种口味，每种口味的比例服从一个 Dirichlet 分布。狄利克雷过程把这条规则推广到无限维：无论你把参数空间切成多少块，这些块上的概率分配都服从对应的狄利克雷分布。

$$\displaystyle (G(A_1), G(A_2), \ldots, G(A_K)) \sim \mathrm{Dir}\!\left(\alpha H(A_1), \alpha H(A_2), \ldots, \alpha H(A_K)\right)$$

1. 随机分布 G：$G$ 是定义在参数空间上的随机分布，每次采样都会得到一张“新菜单”。

$$G \sim \mathrm{DP}(\alpha, H)$$

2. 任意有限划分：把整个空间切成互不重叠的 $K$ 块 $A_1, \ldots, A_K$，比如把“口味空间”切成酸甜苦辣四格。

$$A_1 \cup A_2 \cup \cdots \cup A_K = \Omega$$

3. 狄利克雷分布：$G$ 落在这些块上的概率 $(G(A_1), \ldots, G(A_K))$ 服从参数为 $\alpha H(A_k)$ 的狄利克雷分布。

$$\mathrm{Dir}(\alpha H(A_1), \ldots, \alpha H(A_K))$$

4. 基础分布 H：$H$ 决定“新菜”的候选口味从哪里抽；$\alpha$ 越大，$G$ 越贴近 $H$，越“规矩”。

$$\alpha H(A_k) \text{ 同时是权重与"浓度"}$$

用餐馆的话说：$H$ 是你备菜的大框架（比如“川菜为主、粤菜为辅”），$\alpha$ 是你创新和守旧之间的偏好。$\alpha$ 小，厨师几乎每桌都翻新花样；$\alpha$ 大，厨师则老老实实按基本功出菜。狄利克雷过程保证了无论菜单多长，所有菜品的概率加起来永远是 1。

中国餐馆过程：聚类的自然生长

光有“分布的分布”还不够，你还需要一个能动手操作的生成故事——这就是中国餐馆过程（Chinese Restaurant Process, CRP）。假设餐馆里已有若干桌客人，每桌代表一个聚类。新进来的顾客看到人多的桌子，想凑热闹坐过去；但如果每桌都太挤，也可能干脆开一桌新席。

规则简单得惊人：新客坐到第 $i$ 桌的概率与该桌人数 $n_i$ 成正比，开新桌的概率与 $\alpha$ 成正比。这个规则让“聚类数”不再是预设参数，而是数据自然长出来的结果——坐在一起的顾客就是同一道菜的拥趸，每一桌就是狄利克雷过程混合模型中的一个分量。

回看可视化演示里那张动态图：顾客一个接一个进场，有的加入人多的桌，有的开辟新桌。你不需要告诉系统“分成几桌”，桌子数自己会长出来。这正是狄利克雷过程混合模型做聚类的核心魅力——簇数自由。而且，中国餐馆过程具有“可交换性”：顾客入座的先后顺序不影响最终分组的联合概率，这为后验推断的随机采样算法（如 Gibbs 采样）提供了理论保障。

高斯过程核心：给函数一个先验

狄利克雷过程管“离散的聚类”，高斯过程（Gaussian Process, GP）则管“连续的函数”。回到餐馆比喻：你已经决定开哪些菜，但还需要知道每道菜的火候曲线——温度随时间怎样变化、口感随盐量怎样起伏。高斯过程就是对“函数本身”赋予先验的优雅方式：$f(x)$ 不再是一个确定的公式，而是一个随机函数。

一个高斯过程由一个均值函数 $m(\mathbf{x})$ 和一个协方差函数（核函数）$k(\mathbf{x}, \mathbf{x}')$ 完全确定。均值函数告诉你函数的“基准走向”，协方差函数告诉你“两个点的函数值如何联动”——相邻近的点，火候往往相似。

在餐馆里，高斯过程就是老厨师的“手感分布”：没试过的新菜，他只能凭经验给出一个大致的味道区间；一旦尝过几口（观测数据），他的把握就迅速提升，置信区间收窄。这正是“小数据 + 不确定度”场景下 GP 的核心优势——它不但给出预测值，还诚实地说出“这条预测我有多确定”。

核函数机制：味道的相似度地图

高斯过程的性格很大程度上由核函数决定。核函数 $k(\mathbf{x}, \mathbf{x}')$ 回答一个问题：两个输入点有多像？ 在餐馆比喻里，它是“味道相似度地图”——同样是辣椒，四川二荆条和陕西线椒的“味觉距离”就很近；引入椰浆的菜和麻辣口的菜，距离就远。

最常用的核函数是 RBF（径向基核，也叫高斯核），它假设相似度随距离平滑衰减：

核函数的选择本质是把你对世界的先验知识编码进模型：如果认为函数周期变化，就选周期核；如果认为平滑连续，就选 RBF；如果数据带噪声，可在核上叠加白噪声项。工程上常通过最大化边际似然来调优超参数 $\ell$ 和 $\sigma^2$——这相当于让厨师自己反复试菜，找到最贴合真味的“手感标度”。

工程应用：何时动用无限菜单

贝叶斯非参数不是万能药，但有一种场景它格外闪耀：数据稀缺且必须报出置信度。当你的样本点只有十几个时，深度神经网络只能“乱猜”，而高斯过程回归能在小样本下给出平滑的后验均值与可信区间。同理，当聚类数不确定时，狄利克雷过程混合模型能自动决定分几群。

用餐馆的话说：小本经营的深夜食堂，菜单不需要像连锁餐厅那样备上百道菜，客人来了现做现试，靠的是“给每道菜一个置信度”的手感。GP 后验预测的核心公式是：

工程落地时还要心里有数：GP 的训练需要对 $N \times N$ 的核矩阵求逆，复杂度是 $\mathcal{O}(N^3)$，数据量超过几千时需要使用稀疏近似（如 inducing point 方法）。DPM 的 Gibbs 采样同样面临簇数随机游走的收敛问题。总之，非参数方法擅长的是“数据少、要置信、结构未知”的精细活，而不是“海量数据堆算力”的粗重活。知道什么场景用它，比学会公式本身更重要。

AI 应用场景

Python 演示

"""狄利克雷过程混合模型：中国餐馆过程采样演示"""import random  class ChineseRestaurantProcess:    """中国餐馆过程：顾客依次入座，倾向坐人多的旧桌或开新桌"""     def __init__(self, alpha=1.0):        self.alpha = alpha        # 集中参数：开新桌的倾向        self.tables = []          # 每桌人数        self.seats = []           # 每位顾客分配的桌号     def seat(self, n):        """安排 n 位顾客依次入座"""        if not self.seats:            self.tables.append(1)            self.seats.append(0)        for _ in range(len(self.seats), n):            total = len(self.seats)            probs = [t / (total + self.alpha) for t in self.tables]            probs.append(self.alpha / (total + self.alpha))            table = self._draw(probs)            if table < len(self.tables):                self.tables[table] += 1                self.seats.append(table)            else:                self.tables.append(1)                self.seats.append(len(self.tables) - 1)     def _draw(self, probs):        """按概率分布返回一个下标"""        r = random.random() * sum(probs)        acc = 0.0        for i, p in enumerate(probs):            acc += p            if r < acc:                return i        return len(probs) - 1     def describe(self):        return {            "顾客总数": len(self.seats),            "聚类数(桌数)": len(self.tables),            "每桌人数": self.tables,        }  def run(alpha, n):    random.seed(7)    crp = ChineseRestaurantProcess(alpha=alpha)    crp.seat(n)    summary = crp.describe()    print("alpha =", alpha, "| 顾客数 =", n)    print("桌子数:", summary["聚类数(桌数)"])    print("每桌人数:", summary["每桌人数"])    total = len(crp.seats)    p_new = alpha / (total + alpha)    print("下一位顾客开新桌概率: %.3f" % p_new)    print()  if __name__ == "__main__":    for a in [0.5, 2.0, 8.0]:        run(a, 50)

1. probs = [t / (total + self.alpha) for t in self.tables]计算新客坐入每一张旧桌的概率，人数多的桌吸引力更大。
2. probs.append(self.alpha / (total + self.alpha))把“开新桌”作为一个额外的选择追加到概率表末尾。
3. table = self._draw(probs)按概率分布随机抽取一个目标桌号（可能是旧桌，也可能指向新桌）。
4. if table < len(self.tables)若抽到已有桌则人数加一；否则说明抽到了“新桌”分支，创建一张新桌。
5. random.seed(7)固定随机种子让实验结果可复现，便于对比不同 α 的聚类效果。

常见误区

面试题