Bagging Bootstrap：有放回采样集成

可视化演示

通过逐步展示Lomuto分区法的快速排序过程，直观理解枢轴选择、分区操作与递归调用的执行流程。

Bagging集成思想

你站在鱼塘边数鱼，水面上波光粼粼。你数了一遍，大概 200 条；换个位置再数，变成了 160 条。鱼没变，为什么数字在变？因为每一次观察都带着偶然性——鱼群在游动、光线在折射、你的眼睛在疲劳。单独一次观察，就像一张曝光不准的照片，充满噪声。

机器学习里的“一锤子买卖”有同样的问题。假设你训练一棵决策树，训练数据的分布、噪声、抽样偏差，都会让这棵树的预测“忽高忽低”。统计学家把这种随机波动称为方差。Bagging 的策略简单而优雅：不要只训练一个模型，而是制造出 M 份“略有不同的训练数据”，在每个数据上训练一个独立的模型，最后让 M 个模型一起投票或取平均。这就是 Bagging（Bootstrap Aggregating）的核心思想，也叫自助采样集成。

具体分两步：第一步，用 Bootstrap 从原始训练集 \(D\) 中生成 M 个有差异的训练子集；第二步，在每个子集上独立训练一个基学习器，最终预测通过平均（回归）或多数投票（分类）得到。

就像你请十个渔夫分别估算鱼量：有人估多、有人估少，但平均下来往往接近真实值——运气差的那位被运气好的拉了回来。Bagging 不相信某一次观察，它相信群体判断。

Bootstrap采样

渔夫下网捞鱼，最讲究“捞完放回”。放回意味着同一条鱼可能被同一个人捞到两次，也可能今天根本没进网。正是这种“重复”与“缺失”，让每一网鱼都成为鱼塘的一个独特缩影。

统计学中的 Bootstrap（自助法） 也是这个操作。给定包含 \(N\) 个记录的原始数据集 \(D\)，用有放回抽样的方式，每次从中随机抽取 1 条记录，重复 \(N\) 次，得到新数据集 \(D'\)。这个 \(D'\) 的样本数仍然是 \(N\)，但它并不等于 \(D\)——有些记录重复出现，有些记录一次都没出现。

每个基模型都使用一个不同的 \(D'\) 来训练。因为抽样过程带有随机性，M 个基模型的训练数据彼此差异明显，这保证了模型之间的“多样性”——多样性正是集成能生效的前提。

每一网都有自己独特的“鱼组合”：有的鱼被反复捞起，有的鱼从未露面。Bootstrap 正是用这种看似随意的“捞了放回”，为每一个基模型提供了一份差异化十足的训练菜单。

样本概率分析

现在到了最有趣的部分。一个渔夫捞一网鱼要捞 \(N\) 次，那么在全部 \(N\) 次捞取中，某条特定的鱼一次都没被捞到的概率是多少？直觉上好像不低——毕竟鱼塘那么大。

算一下：单次抽样没抽到这条鱼的概率是 \(1 - \frac{1}{N}\)。因为每次抽样相互独立，连续 \(N\) 次都没抽到它的概率就是 \(\left(1 - \frac{1}{N}\right)^{N}\)。当 \(N\) 足够大时，这个值趋近于 \(e^{-1} \approx 0.368\)。也就是说，一个 Bootstrap 数据集大约包含原始数据中 63.2% 的不同样本，而 36.8% 的样本被漏掉了。

原来，一网鱼从来不是鱼塘的完整复制品，而是约三分之二的面孔加上三分之一的老朋友。重复与缺失交织，这正是 Bootstrap 产生多样性的根源：每个基模型都在“熟悉的 63.2% 加上陌生的 36.8%”里学习。

Out-of-bag估计

细心的渔夫会发现一个现象：每次捞鱼，总有约 37% 的鱼没被捞进这一网。这些“漏网之鱼”不仅不是浪费，反而成了免费的考官。

在 Bagging 中，对某个基模型来说，训练它所用的 Bootstrap 样本里没有出现的那些原始样本，叫做 Out-of-Bag（袋外）样本。用这些样本去测试这个模型，就能在完全不碰测试集的情况下估计它的表现。把所有样本的袋外预测汇总起来，计算出的误差叫袋外误差（OOB Error）。

袋外误差的效果与交叉验证非常接近，但几乎不增加额外计算成本——因为每个基模型训练完后，顺手就能用没见过的样本做一次检验。这也是 Bagging 比普通模型更“省钱”的地方：不需要专门划分验证集。

每一网鱼都在不知不觉中帮我们检验了渔夫的眼光：不是让渔夫自我评价，而是请那些没被他捞到的鱼来打分。袋外样本是 Bagging 自带的验证机制，既便宜又靠谱。

降低方差原理

十个渔夫的平均估计，为什么比单个渔夫稳？数学上，如果每个渔夫的估计都围绕真实值波动，且这些波动彼此独立，那么十个估计取平均后，波动幅度会显著缩小。

设每个基模型的预测方差为 \(\sigma^2\)。如果 M 个模型完全独立，平均预测的方差是 \(\frac{\sigma^2}{M}\)，模型越多，方差越小。但 Bagging 的各个模型并不完全独立——它们共享同一份训练数据来源、使用相同的算法。引入相关系数 \(\rho\) 后，方差会打折，但整体仍低于单模型。

渔夫们虽然能各自下网，但都站在同一片水域、看着同一片天，他们的估计不可能完全独立——这就是 \(\rho\) 的含义。但只要不是完全复读机，集成平均依旧能把波动压下去。

随机森林

如果每个渔夫捞鱼的网眼大小、下网角度都一模一样，他们的估计虽然略有不同，但也高度相似。怎么让渔夫们看到更多不同的风景？随机森林的答案是：除了每轮捞到的鱼不同，还要让每个渔夫专注于不同的“水域特征”。

随机森林（Random Forest） 是 Bagging 与随机特征选择的结合。它在有放回采样的基础上，进一步让决策树在每个节点分裂时，不是从全部特征中选最优，而是先从 \(d\) 个特征中随机挑出 \(k\) 个（通常 \(k = \sqrt{d}\)），再从这 \(k\) 个里选最优。这样一来，每棵树之间更加“风格各异”，树间相关性 \(\rho\) 大幅下降，方差被进一步压缩。

随机森林几乎不需要调参，自带 OOB 误差估计，还能输出特征重要性，因此被誉为“开箱即用的冠军算法”。

有的渔夫擅长看浅滩，有的渔夫熟悉深水——每个人掌握的信息维度各不相同，合在一起才构成对整口鱼塘的完整认知。随机森林正是通过“差异化采样 + 差异化视角”让森林里的每一棵树都独一无二。

偏差方差权衡

是不是渔夫请得越多越好？不一定。如果每个渔夫都有严重近视，连鱼和石头都分不清，那请一百个也白搭。Bagging 这只“集成之手”只能抚平方差，却改变不了偏差。

泛化误差可以分解为三部分：噪声、偏差的平方、方差。Bagging 通过平均降低方差，而偏差几乎不变。

理解了分解，就懂了适用边界：Bagging 最适合“低偏差、高方差”的模型，比如深度较深、容易过拟合的决策树。反过来，对于线性回归这类低方差模型，Bagging 的增益就很小。选对方法的前提是看懂问题——当你面对一群“各自有主见但不离大谱”的渔夫时，请一百个来取平均，就是最好的方案。

AI 应用场景

Python 演示

import numpy as npfrom collections import Counterfrom sklearn.tree import DecisionTreeClassifierfrom sklearn.datasets import load_irisfrom sklearn.model_selection import train_test_splitfrom sklearn.metrics import accuracy_score  def majority_vote(votes):    """对每一列样本取众数，返回多数投票结果。"""    votes = np.atleast_2d(votes)    n = votes.shape[1]    result = []    for j in range(n):        counter = Counter(votes[:, j])        result.append(counter.most_common(1)[0][0])    return np.array(result)  class MyBagging:    """一个极简 Bagging 分类器：Bootstrap 采样 + 决策树投票。"""     def __init__(self, n_estimators=10, max_depth=3, seed=42):        self.n_estimators = n_estimators        self.max_depth = max_depth        self.seed = seed        self.trees_ = []        self.oob_trees_ = []     def fit(self, X, y):        rng = np.random.RandomState(self.seed)        n = len(X)        self.oob_trees_ = [[] for _ in range(n)]         for _ in range(self.n_estimators):            # 有放回地抽 n 次，生成一个 bootstrap 样本集            boot_idx = rng.randint(0, n, n)            tree = DecisionTreeClassifier(                max_depth=self.max_depth, random_state=0            )            tree.fit(X[boot_idx], y[boot_idx])            self.trees_.append(tree)             # 找出本轮没被抽中的样本（袋外样本）            in_bag = np.zeros(n, dtype=bool)            in_bag[boot_idx] = True            for i in range(n):                if not in_bag[i]:                    self.oob_trees_[i].append(tree)         # 用袋外样本估计泛化误差        oob_pred = np.full(n, -1)        for i in range(n):            if self.oob_trees_[i]:                votes_i = np.array([                    t.predict(X[i:i + 1])[0] for t in self.oob_trees_[i]                ])                oob_pred[i] = majority_vote(votes_i)[0]         valid = oob_pred != -1        self.oob_error_ = 1.0 - accuracy_score(y[valid], oob_pred[valid])        return self     def predict(self, X):        votes = np.array([tree.predict(X) for tree in self.trees_])        return majority_vote(votes)  if __name__ == "__main__":    data = load_iris()    X_train, X_test, y_train, y_test = train_test_split(        data.data, data.target, test_size=0.3, random_state=42    )     bag = MyBagging(n_estimators=20, max_depth=3, seed=1)    bag.fit(X_train, y_train)     pred = bag.predict(X_test)    acc = accuracy_score(y_test, pred)    print("测试集准确率: {:.2%}".format(acc))    print("袋外误差: {:.2%}".format(bag.oob_error_))    print("基模型数量:", len(bag.trees_))

1. boot_idx = rng.randint(0, n, n)有放回抽样的核心：从 0 到 n-1 随机抽 n 次，同一索引可能出现多次。
2. tree.fit(X[boot_idx], y[boot_idx])在包含重复样本的 bootstrap 训练集上训练一棵决策树。
3. if not in_bag[i]: self.oob_trees_[i].append(tree)把当前模型登记到它的“袋外样本”名下，供后续验证。
4. votes = np.array([tree.predict(X) for tree in self.trees_])集成中每棵树对测试集独立预测，构成投票矩阵。
5. self.oob_error_ = 1.0 - accuracy_score(y[valid], oob_pred[valid])袋外误差 = 1 - 袋外准确率，是免费的泛化能力估计。

常见误区

面试题