Ensemble技巧：Bagging集成

\displaystyle F(x) = \mathrm{agg}\left(f_1(x),\, f_2(x),\, \dots,\, f_T(x)\right)

\displaystyle P(\text{样本进入某个子集}) = 1 - \left(1 - \frac{1}{N}\right)^{N} \approx 0.632

\displaystyle \mathrm{Var}\left(\frac{1}{M}\sum_{t=1}^{M} f_t(x)\right) = \frac{1}{M^2}\left(\sum_{t=1}^{M}\mathrm{Var}(f_t(x)) + \sum_{t \neq s}\mathrm{Cov}(f_t(x), f_s(x))\right)

\displaystyle m_{\text{try}} = \lfloor \sqrt{d} \rfloor$$ > \(d\) 是原始特征总数，\(m_{\text{try}}\) 是每次分裂时随机挑选的特征候选数。给厨师发"限定食材卡"，逼他们换着花样做菜。 #### 逐字解析 1. **特征总数 \(d\)**：食材市场的全部食材种类数。   $$\displaystyle d = \text{原始特征数量}$$2. **平方根 \(\sqrt{d}\)**：经验法则，保证每棵树都只看一小部分食材。   $$\displaystyle \sqrt{d}$$3. **向下取整 \(\lfloor \cdot \rfloor\)**：特征数必须是整数，有余数就舍去。   $$\displaystyle \lfloor\sqrt{d}\rfloor$$4. **每棵树的候选特征**：每次分裂前从全部 \(d\) 个特征中不重复地抽 \(m_{\text{try}}\) 个。   $$\displaystyle \text{候选特征集} \subseteq \{1, 2, \dots, d\},\quad |\text{候选特征集}| = m_{\text{try}}$$ 随机森林把 Bagging 的"样本多样性"升级为"样本+特征双多样性"。它带来的副产品是免费的特征重要性：如果某一种食材频繁出现在美味的菜里，说明它的贡献大。工程上可以用 `feature_importances_` 直接读出哪些特征最有用，这对特征筛选和数据探索帮助极大。 ### 工程实践要点：后厨管理的门道 办一场 100 人的后厨大赛，管理门道可不少。第一，食材总量得足够。如果整个市场只有几十份食材，厨师们再怎么随机抓，篮子内容也高度重叠，多样性无从谈起。所以 Bagging 通常需要足够的样本量，一般经验是至少有几千条样本才有意义。 第二，选什么样的厨师？Bagging 的理想基学习器是"低偏差高方差"的模型——比如浅层决策树。它本身不稳定，单独上菜时咸淡起伏很大，但正因为不稳定，不同的随机子集才能训练出差异明显的手艺，平均后收益最大。反过来，如果用线性回归做基学习器，它本身波动就小，再平均也没多大提升。 第三，验证环节不用额外抽评委——OOB 袋外误差就是免费的验证集。每棵树的"神秘顾客"各不相同，把样本交给所有没见过它的树综合打分，误差率就是泛化能力的近似估计。

\displaystyle \hat{y} = \arg\max_{c}\; \sum_{t=1}^{T} w_t \cdot \mathbb{1}\left(f_t(x) = c\right)$$ > 给每位厨师一个"信任权重"，他投给某道菜类别 \(c\) 的票乘以权重后累加，总权重最高的类别胜出。这是加权投票融合的通用公式。 #### 逐字解析 1. **指示函数 \(\mathbb{1}(\cdot)\)**：第 \(t\) 位厨师预测类别 \(c\) 时记 1，否则记 0。   $$\displaystyle \mathbb{1}(f_t(x) = c) = \begin{cases} 1, & f_t(x) = c \\ 0, & f_t(x) \ne c \end{cases}$$2. **权重 \(w_t\)**：对更可靠的模型（如 OOB 误差低的）给更大权重。   $$\displaystyle w_t = \frac{1}{\epsilon_{\text{oob},t}} \bigg/ \sum_{s=1}^{T} \frac{1}{\epsilon_{\text{oob},s}}$$3. **求和 \(\sum_{t=1}^{T}\)**：把全部厨师投给类别 \(c\) 的权重票加总。   $$\displaystyle \text{score}(c) = \sum_{t=1}^{T} w_t \cdot \mathbb{1}(f_t(x)=c)$$4. **\(\arg\max\) 决胜**：选总权重分最高的类别作为最终头菜。   $$\displaystyle \hat{y}$$ 实战提醒：概率平均（软投票）通常优于硬投票——因为概率保留了置信度信息。比如两个模型分别给"牛肉"评 0.9 分和 0.6 分，平均后仍有 0.75 的胜算；而硬投票可能把 0.6 直接抹成 1 或 0，损失中间信息。 ### 问题与调优：翻车现场急救指南 集成模型是不是永远不会翻车？当然不是。第一种经典翻车：误以为 Bagging 能治欠拟合。如果基模型是"高偏差"——比如深度只有 1 的决策树，本身只会机械剁肉不会调味，平均 100 个剁肉大汉，做出来的还是一道没味道的菜。此时该换更强的基学习器或者加特征，而不是堆 Bagging。 第二种：特征冗余严重。如果 100 个特征里 90 个是同一个信息的复制品，随机特征采样也救不了——所有树都在反复用那同一个信息，多样性名存实亡。此时应当先做特征筛选。第三种：资源开销失控。1000 棵树、百万样本，训练和推理都慢得令人窒息；工程上要对树的数量做早停，或者用更轻量的基学习器。 Breiman 老爷子给随机森林推导过一个著名的泛化误差上界，一句话概括就是"相关性越低、分类间隔越大，模型越稳"，这成为一切调参的总纲。

import numpy as npfrom sklearn.tree import DecisionTreeClassifierfrom sklearn.datasets import make_moonsfrom sklearn.model_selection import train_test_splitfrom sklearn.metrics import accuracy_score  class SimpleBagging:    def __init__(self, base_model=None, n_estimators=20, random_state=42):        self.base_model = base_model or DecisionTreeClassifier(max_depth=3)        self.n_estimators = n_estimators        self.random_state = random_state        self.models = []        self.oob_error = None     def fit(self, X, y):        rng = np.random.RandomState(self.random_state)        n = X.shape[0]        self.models = []        oob_scores = np.zeros(n)        oob_counts = np.zeros(n)        for _ in range(self.n_estimators):            idx = rng.choice(n, size=n, replace=True)            model = self.base_model.__class__(**self.base_model.get_params())            model.fit(X[idx], y[idx])            self.models.append(model)            mask = np.ones(n, dtype=bool)            mask[idx] = False            if mask.any():                oob_scores[mask] += model.predict(X[mask])                oob_counts[mask] += 1        valid = oob_counts > 0        oob_pred = np.zeros(n)        oob_pred[valid] = oob_scores[valid] / oob_counts[valid]        self.oob_error = 1 - accuracy_score(            y[valid], (oob_pred[valid] > 0.5).astype(int))        return self     def predict(self, X):        preds = np.mean([m.predict(X) for m in self.models], axis=0)        return (preds > 0.5).astype(int)  if __name__ == "__main__":    X, y = make_moons(n_samples=500, noise=0.3, random_state=0)    X_tr, X_te, y_tr, y_te = train_test_split(        X, y, test_size=0.3, random_state=0)    bag = SimpleBagging(        base_model=DecisionTreeClassifier(max_depth=3), n_estimators=50)    bag.fit(X_tr, y_tr)    acc = accuracy_score(y_te, bag.predict(X_te))    print("Bagging 测试集准确率:", acc)    print("OOB 袋外误差率:", bag.oob_error)