种一片树来投票的随机森林入门

可视化演示

动态演示种一片树来投票的随机森林入门的核心机制，通过采集/分析/决策/反馈四种模式展示关键概念与交互流程。

村民大会：为什么需要随机森林

青藤村要决定是否给李婶的果园批贷款。账房先生翻遍账本，却没看到今年天气反常；猎人抬头看风，却不知道李婶三年前有过坏账。单独问任何一位“专家”，答案都带着明显的偏见。于是村里决定请神木林的老树们开大会：每棵树只听一部分信息，然后一起表决。这就是随机森林第一直觉——个体都不完美，群体却可以稳。

在机器学习里，单棵决策树就是那个“只听局部”的村民。它会把数据切成一条条 if-else 规则，好处是容易解释，坏处是数据稍有风吹草动，树就“换一副嘴脸”。这种高方差问题，就像一个人今天说东、明天说西。随机森林的解决办法很简单：别指望一棵树，种一大片树。每棵树都从不同角度“看局部”，最后按多数意见拍板。

随机森林属于“Bagging 类”集成方法：先用自助采样造出多份略有差异的数据，再分别训练多棵决策树。只要每棵单树比瞎猜略好，那么投票结果就会随树的数量增加而越来越可靠。

回到青藤村，正因为每棵树都有“一技之长”也有“一孔之见”，全村表决才能把个人的极端偏见抵消掉。随机森林的第一个思想，就是别迷信单棵神木，相信整片森林。

有放回抽样：自助采样

村里开会前，村长把全体村民的名字写进签筒，抽中的人可以进神木林开会。有意思的是，抽完放回、下次还能再被抽中。所以某个人可能被同一棵树反复问到十次，也可能一次都没被问到。没被问到的人也不闲着，他们被派到村口放哨，专门观察这棵树说得靠不靠谱。

这种“抽了放回、再抽”的方式，在机器学习里叫自助采样（Bootstrap Sampling）。对一份有 \(n\) 条样本的训练集，随机森林会给每棵树有放回地抽 \(n\) 次，形成一份大小相同但内容略有不同的训练数据。因为允许重复，每棵树平均只会见到约 63.2% 的原始样本，剩下约 36.8% 的样本从未出现在这棵树的训练集里，被称为袋外样本（Out-of-Bag，OOB）。

$$\displaystyle P(\text{某样本一次都没被抽到})=\left(1-\frac{1}{n}\right)^{n}\approx 0.368$$

1. 每次抽不中的概率：一次抽样时，某条样本没被抽中的概率是 \(1-\frac{1}{n}\)。

$$1-\frac{1}{n}$$

2. 连续 \(n\) 次都抽不中：因为有放回的抽 \(n\) 次，所以每次不中相乘。

$$\left(1-\frac{1}{n}\right)^{n}$$

3. 取极限：当 \(n\) 足够大，这个值逼近 \(0.368\)，也就是约 36.8%。

$$\lim_{n\to\infty}\left(1-\frac{1}{n}\right)^{n}\approx 0.368$$

因为有放回抽样，每棵树看到的“村情”都不一样：有的树只看过李婶最近的还款记录，有的树偏偏把三年前的旧账反复看了五遍。这种差异让树与树之间不那么“同一个鼻孔出气”，投票才更有意义。

随机选特征：把话题打散

神木林开会有个规矩：每次讨论一个问题，不是所有话题都能上台。比如有的树被允许只看“收入”和“天气”，有的树只被允许看“负债”和“经营年限”。如果全村都只盯着账本这一件事，那等于只问了一个人话；相反，允许大家聊不同的局部话题，结论才五花八门，不容易被同一个噪声带偏。

这个规矩对应随机森林的第二个关键设计：在决策树的每次分裂时，不扫描全部 \(p\) 个特征，而是先从特征集合里随机抽出一小个子集，再在这个子集里找最优分裂。这样可以显著降低树与树之间的相关性。分类任务默认取约 \(\sqrt{p}\) 个特征，回归任务默认取约 \(p/3\) 个特征。

$$\displaystyle m_{\text{class}}=\lfloor\sqrt{p}\rfloor,\qquad m_{\text{reg}}=\left\lfloor\frac{p}{3}\right\rfloor$$

1. 分类特征数：分类问题里，每次分裂只看特征总数的平方根个特征。

$$m_{\text{class}}=\lfloor\sqrt{p}\rfloor$$

2. 回归特征数：回归问题里，每次分裂只看特征总数的三分之一。

$$m_{\text{reg}}=\left\lfloor\frac{p}{3}\right\rfloor$$

3. 向下取整：\(\lfloor\cdot\rfloor\) 表示取整数部分，保证树的每一步都不会看到“半个特征”。

$$\lfloor\frac{p}{3}\rfloor$$

如果所有树每次都在同一个“热门话题”上反复切分，森林就会变成一群复读机。随机选特征就是逼着每棵树去听不同的故事，让百树议会真正“百花齐放”。

集成投票：分类投票与回归平均

散会时，老树们开始表决。如果问“李婶的贷款能不能批”，那就举手：支持批的树多，就批；反对的树多，就不批。如果问“这片果园今年大概产多少斤”，没人能拍出一个绝对精确的数，那就把每棵树的估计值加起来取平均。表决和折中，就是随机森林输出答案的两种方式。

当任务是分类时，每棵决策树输出一个类别，随机森林统计所有树的投票，票数最多的类别成为最终预测。当任务是回归时，每棵树输出一个数值，随机森林把所有预测值做算术平均。此外，如果想知道“批贷款的概率”，还可以让每棵树输出类别概率再取平均，得到平滑的预测概率。

$$\displaystyle \hat{y}=\arg\max_{y}\sum_{t=1}^{T}\mathbf{1}\{\hat{y}_t=y\},\qquad \bar{y}=\frac{1}{T}\sum_{t=1}^{T}\hat{y}_t$$

1. 示性函数：\(\mathbf{1}\{\hat{y}_t=y\}\) 表示“如果第 \(t\) 棵树预测为类别 \(y\)，就记 1，否则记 0”。

$$\mathbf{1}\{\hat{y}_t=y\}$$

2. 统计总票数：\(\sum_{t=1}^{T}\) 把每一棵树的票加起来，得到每个类别获得的总票数。

$$\sum_{t=1}^{T}\mathbf{1}\{\hat{y}_t=y\}$$

3. 取最大者：\(\arg\max_{y}\) 选出得票最多的那个类别作为森林答案。

$$\hat{y}=\arg\max_{y}(\text{各类总票数})$$

4. 回归平均：回归任务把每棵树的数字预测求和，再除以 \(T\)。

$$\bar{y}=\frac{1}{T}\sum_{t=1}^{T}\hat{y}_t$$

百树议会的决策方式并不神秘：能形成共识就举手，说不准一个数就取平均。随机森林因此既有“少数服从多数”的果断，又有“取长补短”的平滑。

抗过拟合：一百个婆婆反而稳

村里有个出了名的固执婆婆，只要听到“今年雨水少”就断言果园要绝收。单独问很危险，但一百个婆婆一起聊，有人提灌溉，有人提前几年也是旱灾却丰收，结论就不容易走极端。随机森林也一样，单棵树容易被训练集里的小噪声牵着走，但一片森林不会。

机器学习里，过拟合往往来自模型方差过高：换一批数据，结论就大变。随机森林通过两个手段控住方差：一是有放回抽样让每棵树的训练数据各不相同；二是随机选特征让树之间别太像。最后取平均时，个别树的“极端意见”会互相抵消，整体预测就稳定很多。

$$\displaystyle \mathrm{Var}\left(\frac{1}{T}\sum_{t=1}^{T}X_t\right)=\frac{\sigma^2}{T}+\frac{2}{T^2}\sum_{t<s}\mathrm{Cov}(X_t,X_s)$$

1. 第一部分 \(\sigma^2/T\)：如果每棵树独立，取平均后方差会随树的数量 \(T\) 线性缩小。

$$\frac{\sigma^2}{T}$$

2. 第二部分协方差：树之间的关系越密切，\(Cov(X_t,X_s)\) 越大，平均带来的降方差效果越差。

$$\sum_{t<s}\mathrm{Cov}(X_t,X_s)$$

3. 整体效果：随机抽样、随机特征都是为了压低第二项，让“人多力量大”真正生效。

$$\frac{2}{T^2}\sum_{t<s}\mathrm{Cov}(X_t,X_s)$$

一百个“不完美”的老树聚在一起，不是变得固执，而是变得圆融。随机森林不会因为树无限增加就无限过拟合，相反，它在多数场景下越种越稳。

特征重要性：谁说话管用

百树议会散会后，村里想总结经验：到底是“账本”对最终投票影响大，还是“天气”影响大？于是有人开始翻会议记录——每棵树每次发言时，是靠哪个话题改变了多少人的意见；把所有记录汇总，就能看出谁说的话最有分量。

随机森林在训练时会自动记录：每当决策树节点按某个特征分裂后，节点的“混乱程度”（如基尼不纯度）降低了多少。把这个降低量按特征累加、再除以树的数量，就得到每个特征的重要性。数值越大，说明该特征对整片森林的判断越关键。还可以用置换重要性：随机打乱某个特征后观察预测误差上升多少，上升越多越重要。

$$\displaystyle \mathrm{Imp}_j=\frac{1}{T}\sum_{t=1}^{T}\sum_{\substack{v\in \mathcal{T}_t\\ \text{节点按特征 }j\text{ 分裂}}}\left(n_v I_v-n_{v_l}I_{v_l}-n_{v_r}I_{v_r}\right)$$

1. 节点纯度变化：父节点不纯度乘样本量，减去两个子节点的不纯度乘样本量，得到这次分裂的收益。

$$n_v I_v-n_{v_l}I_{v_l}-n_{v_r}I_{v_r}$$

2. 只统计用到特征 \(j\) 的分裂：只有按特征 \(j\) 分裂的节点才会被累加。

$$\sum_{\text{按特征 }j\text{ 分裂}}$$

3. 对树取平均：所有树上的下降量求和，再除以 \(T\)，得到平均重要性。

$$\frac{1}{T}\sum_{t=1}^{T}$$

以后再做信贷审批，你就能翻开会记录理直气壮地说：“这份模型认为负债率最重要，经营年限其次。” 随机森林的特征重要性，就是给决策者一份“谁的发言更管用”的透明账本。

轻松上手：少操心也能成

村长后来发现，管理百树议会并不难：只要定下种多少棵树、每棵树听几个话题、长多深，剩下的事树们自己就能办。不会像请一个“天才军师”那样需要反复试探他的脾气，也不用给每棵树单独做人工培训。随机森林在工业界的口碑也来自这种“省心”。

理论上，随机森林的确有一些超参数需要关心：树的数量 n_estimators、每次分裂看的特征数 max_features、树的最大深度 max_depth、叶子最少样本数 min_samples_split 等。但默认值通常已经能取得不错的成绩。它内部还能用袋外样本直接估计误差，无需另外切一份验证集；各棵树之间训练互相独立，还可以用多核并行加速。

$$\displaystyle \hat{E}_{\mathrm{OOB}}=\frac{1}{|D_{\mathrm{oob}}|}\sum_{i\in D_{\mathrm{oob}}}\mathbf{1}\{\hat{y}_i^{\mathrm{oob}}\ne y_i\}$$

1. 袋外样本集：\(D_{\mathrm{oob}}\) 是所有在某棵树的采样中“落选”的样本。

$$i\in D_{\mathrm{oob}}$$

2. 袋外预测：\(\hat{y}_i^{\mathrm{oob}}\) 表示只由没在训练时见过样本 \(i\) 的那些树投票得到的预测。

$$\hat{y}_i^{\mathrm{oob}}$$

3. 平均错误率：把所有袋外样本的预测结果和真实标签比较，统计误差比例。

$$\frac{1}{|D_{\mathrm{oob}}|}\sum_{i\in D_{\mathrm{oob}}}\mathbf{1}\{\hat{y}_i^{\mathrm{oob}}\ne y_i\}$$

因此，随机森林就像一位“开箱即用”的靠谱伙伴：不需要你手把手教它做人，只要给它数据和一份默认配置，它就能自己开会、自己投票、自己汇报哪些特征最重要。这也是为什么它至今仍是结构化数据场景里最值得优先尝试的基线模型之一。

AI 应用场景

Python 演示

import numpy as npfrom sklearn.datasets import make_classificationfrom sklearn.ensemble import RandomForestClassifierfrom sklearn.metrics import accuracy_scorefrom sklearn.model_selection import train_test_splitfrom sklearn.tree import DecisionTreeClassifier  def main():    # 构造一个 1200 条样本、10 个特征的虚拟分类数据    X, y = make_classification(        n_samples=1200, n_features=10, n_informative=4, random_state=42    )    X_train, X_test, y_train, y_test = train_test_split(        X, y, test_size=0.3, random_state=42    )     # 单棵决策树作为对照组    tree = DecisionTreeClassifier(random_state=42)    tree.fit(X_train, y_train)    tree_acc = accuracy_score(y_test, tree.predict(X_test))     # 随机森林：100 棵树，每棵树分裂时随机看 sqrt(p) 个特征，并行训练    forest = RandomForestClassifier(        n_estimators=100, max_features='sqrt', n_jobs=-1, random_state=42    )    forest.fit(X_train, y_train)    forest_acc = accuracy_score(y_test, forest.predict(X_test))     # 特征重要性    importance = forest.feature_importances_    top_features = np.argsort(importance)[::-1][:3]    print(f'tree_acc={tree_acc:.3f}, forest_acc={forest_acc:.3f}')    print('top features:', top_features)    print('importance:', importance[top_features])  if __name__ == '__main__':    main()

1. X, y = make_classification(...)造一份虚拟的表格数据，相当于给神木林准备一堆村民档案。
2. tree.fit(X_train, y_train)让一棵决策树单独“听意见”，作为对照组。
3. forest = RandomForestClassifier(n_estimators=100, max_features='sqrt', n_jobs=-1, random_state=42)种 100 棵树，每棵树只随机看部分特征，n_jobs=-1 表示让多个核并行开会。
4. forest.fit(X_train, y_train)整片森林开始自助采样、随机选特征并训练。
5. forest.feature_importances_取回“谁说话更管用”的重要性分数。
6. np.argsort(importance)[::-1][:3]把特征重要性从大到小排序，取前三个特征。

常见误区

面试题