体育老师王老师要带 26 个学生做跑步训练，可这些学生快慢差得太远，一个训练计划根本没法统一。他想到一个笨办法：先问“你年龄是不是小于等于 8 岁？”是的一队，不是的一队；如果左边那队还是快慢不齐，就再看体重再切一刀；右边不齐，也照样切。切到每队内部速度都差不多、人数也够少为止。最后每个队取一个“代表速度”——全队平均用时，以后来了新同学，根据他落在哪一队，直接报出那一队的平均速度。CART 回归树就干这件事：它不是神奇地“算”出一个答案，而是反复“切”，每次切的时候都试遍所有特征、所有可能的分界线，选能让切完后左右两半内部最整齐的那一刀。衡量“整齐”的尺子叫平方误差——队里人快慢差距越大，平方误差越大。这篇内容就带你完整走一遍：CART 怎么找最优切分、怎么递归建树、什么时候停、叶子怎么取值，最后用代码亲手实现一遍。

岗位关联

对 AI 从业者：CART 是 sklearn 决策树、随机森林、GBDT 的底层地基。吃透“平方误差最小化 + 递归二分”这套流程，你才能真读懂树模型的调参、剪枝和特征重要性，而不是只会调包。

目录
  1. 可视化演示
  2. 二叉树概览：每次只回答一个是非题
  3. 切分准则：用平方误差当“整齐尺”
  4. 最优切分：把所有分界线都试一遍
  5. 递归建树：切完再切，直到满意
  6. 停止条件：什么时候不再切
  7. 叶子取值：组内平均就是预测
  8. 代码落地：把分组手册写进 sklearn
  9. AI 应用场景
  10. Python 演示
  11. 常见误区
  12. 面试题

可视化演示

\u5c55\u793aHTTP\u901a\u4fe1\u7684\u5b8c\u6574\u8fc7\u7a0b\uff1aDNS\u89e3\u6710\u3001TCP\u8fde\u63a5\u3001\u8bf7\u6c42\u62a5\u6587\u4f20\u8f93\u3001\u670d\u52a1\u5668\u5904\u7406\u4e0e\u54cd\u5e94\u8fd4\u56de\u3002

本节配有交互动效（进入视口后自动加载，约 3KB）。

HTTP\u8bf7\u6c42-\u54cd\u5e94\u5168\u6d41\u7a0b DNS\u89e3\u6710\uff1a\u5c06\u57df\u540d\u8f6c\u6362\u4e3aIP\u5730\u5740 TCP\u8fde\u63a5\uff1a\u4e09\u6b21\u63e1\u624b\u5efa\u7acb\u53ef\u9760\u8fde\u63a5 RTT = DNS + TCP + RTT + Server

二叉树概览：每次只回答一个是非题

王老师面对 26 名学生，年龄、体重各不相同，跑步速度也参差不齐。他并不打算把队伍一次切成七八个组，而是反复只问一个是非题：“你满足这个条件吗？”满足的站左边，不满足的站右边，一组变两组，两组变四组。这种“一根筋”的切法，正是 CART 树的精髓：每次只从当前区域中找一个特征和一个阈值，把数据切成两半，形成一棵二叉树。

CART 全称是 Classification and Regression Tree（分类与回归树），当目标值（target）是连续数时——比如跑步用时、房价、温度——它就叫回归树。数据里每个学生是一个样本，用特征向量 x 表示，比如 x = （年龄，体重）；其中 x⁽ʲ⁾ 表示第 j 个特征，s 表示阈值。一次切分就等价于写一条规则：第 j 个特征小于等于 s 的进左区域 R₁，大于 s 的进右区域 R₂：

所以王老师手里的“分组手册”，其实就是一串是非题。每道题把一群人分成两队，最终每个学生都会落到一个唯一的叶子小组里，树的结构就是这套是非题的完整清单。

R1(j,s)={x∣x(j)≤s},R2(j,s)={x∣x(j)>s}\displaystyle R_1(j,s)=\{x \mid x^{(j)} \le s\},\qquad R_2(j,s)=\{x \mid x^{(j)} > s\}
  1. 样本向量 x每个学生是一个样本，x 里装着这个学生的各项特征（年龄、体重……），是整个切分操作的操作对象。
    x=(x(1),x(2),…,x(p))x = (x^{(1)}, x^{(2)}, \ldots, x^{(p)})
  2. 第 j 个特征 x⁽ʲ⁾表示“只看这个学生的第 j 个属性”，比如 x^(1)=年龄，决定这次切分用哪一把尺子。
    x(j)x^{(j)}
  3. 阈值 s一个待定的分界线数值，比如“年龄 ≤ 8 岁”里的 8，是这次切分的关键参数。
    x(j)≤sx^{(j)} \le s
  4. 左区域 R₁ 与右区域 R₂满足条件的所有样本组成左区域，其余组成右区域，两者合起来正好是原来的全体，不重不漏。
    R1∪R2=全体样本,R1∩R2=∅R_1 \cup R_2 = \text{全体样本}, \quad R_1 \cap R_2 = \varnothing

切分准则：用平方误差当“整齐尺”

问题是：王老师怎么判断哪一刀切得好？他的尺子很朴素——看切完之后，每一队内部的速度差距大不大。差距大说明这一队还是“鱼龙混杂”，切得不好；差距小说明大家水平接近，可以共用一套训练计划。

这把尺子在数学上叫平方误差（Squared Error）。对某一组区域 R，先算出组内所有人的平均用时 c，再把每个人的用时减去这个平均值、平方后相加。为什么取平方？因为差 2 秒只贡献 4，差 4 秒却贡献 16——离平均值越远的人，被惩罚得越重，这样“队伍里有个特别慢的同学”这种不整齐就会立刻暴露出来。CART 的目标就是：找到特征 j 和阈值 s，让切出来的左右两个区域平方误差之和最小：

把尺子定下来之后，事情就简单了：王老师不再凭感觉，而是每切一刀都算一算这把尺子，数值最小的那一刀就是当前最好的切法。

min⁡j,s[∑xi∈R1(yi−c1)2+∑xi∈R2(yi−c2)2]\displaystyle \min_{j,s}\left[\sum_{x_i \in R_1}(y_i-c_1)^2+\sum_{x_i \in R_2}(y_i-c_2)^2\right]
  1. 取最小 min在所有的 （特征，阈值） 组合里，挑能让整体误差最小的那一组，这就是“最优切分”的含义。
    min⁡j,s\min_{j,s}
  2. 左半误差和把左区域 R₁ 里每个人的用时减去左区域均值 c₁，平方后全部加起来，衡量左队内部有多乱。
    ∑xi∈R1(yi−c1)2\sum_{x_i \in R_1}(y_i-c_1)^2
  3. 右半误差和对右区域 R₂ 做同样的事，衡量右队内部有多乱。
    ∑xi∈R2(yi−c2)2\sum_{x_i \in R_2}(y_i-c_2)^2
  4. 两半相加左右两队都整齐，整体才叫整齐；只要有一边还乱，总和就会变大，这一刀就不算好。
    [∑xi∈R1(yi−c1)2+∑xi∈R2(yi−c2)2]\Bigl[\sum_{x_i \in R_1}(y_i-c_1)^2+\sum_{x_i \in R_2}(y_i-c_2)^2\Bigr]

最优切分：把所有分界线都试一遍

王老师很较真。他拿着一把“平方误差尺”，先把年龄从小到大排好，从最小的空隙开始，每两个相邻学生之间都试切一刀，算一次尺子；年龄试完，换体重再来一遍；特征再多也照此办理。这种“把所有可能性都试一遍”的搜索方式，就是 CART 找最优切分的标准流程。

具体来说，对每个特征 j，取出当前区域里所有样本在这个特征上的取值，排序后得到一组候选值 v₁ < v₂ < … < vₖ，每个候选值都可以当阈值 s（sklearn 里阈值取特征取值本身）。对每个候选阈值，左侧是 特征 ≤ s 的样本，右侧是 > s 的样本，然后计算左右两半的平方误差和。一套完整的切分方案，光有特征和阈值还不够，两半的代表值 c₁、c₂ 也要一并确定，它们就是左右两个子区域目标值的平均值：

这里要特别提醒：CART 是贪心算法，它只保证“当前这一刀”是当下最优的，并不承诺整棵树全局最优。就像王老师现在切出最整齐的两队，但没准换个历史切法后面能更齐——可那样要试的组合太多，贪心换来的是高效。

c1=1N1∑xi∈R1yi,c2=1N2∑xi∈R2yi,N1=∣R1∣, N2=∣R2∣\displaystyle c_1=\frac{1}{N_1}\sum_{x_i \in R_1}y_i,\qquad c_2=\frac{1}{N_2}\sum_{x_i \in R_2}y_i,\qquad N_1=|R_1|,\ N_2=|R_2|
  1. 左组人数 N₁左区域 R₁ 里样本的个数，分母用它来算平均。
    N1=∣R1∣N_1 = |R_1|
  2. 左组代表值 c₁把左组每个人的用时加起来，除以人数，得到左组的平均用时，这个均值在后续误差计算中当作左组的“标准线”。
    c1=1N1∑xi∈R1yic_1=\frac{1}{N_1}\sum_{x_i \in R_1}y_i
  3. 右组代表值 c₂对右组做同样计算，得到右组的平均用时。
    c2=1N2∑xi∈R2yic_2=\frac{1}{N_2}\sum_{x_i \in R_2}y_i

递归建树：切完再切，直到满意

王老师切完第一刀，发现左边那队 3 个同学里，仍有快有慢。于是他盯着左队，重新拿出尺子，在左队内部再试年龄、试体重，选出左队最优的一刀；右队不齐，也在右队内部如法炮制。这种“切完再切、对每一块区域重复同样流程”的做法，就是递归建树。

看一组教学用的简化数据（年龄，200 米用时）：(6,28)、(7,26)、(8,24)、(9,20)、(10,18)。先按年龄从小到大，试所有候选阈值：切在 6 岁时，左右平方误差和为 40；切在 7 岁时约为 20.67；切在 8 岁时是 10；切在 9 岁时是 35。最小的显然是切在 8 岁：

第一刀确定：年龄 ≤ 8 进左队，否则进右队，左队代表值 26，右队代表值 19。继续递归：左队 {28,26,24} 再切，切在 6 岁和切在 7 岁误差都是 2，程序一般按阈值从小到大取“≤6“；右队 {20,18} 切在 9 岁，误差为 0。最终树上有三个叶子：用时 28、25、19。每片叶子都是王老师的一个”最终小组”。

SSE(≤6)=40,SSE(≤7)≈20.67,SSE(≤8)=10,SSE(≤9)=35\displaystyle \mathrm{SSE}(\le 6)=40,\quad \mathrm{SSE}(\le 7)\approx 20.67,\quad \mathrm{SSE}(\le 8)=10,\quad \mathrm{SSE}(\le 9)=35
  1. 切在 6 岁左边只有一个样本 (6,28)，误差为 0；右边四人 (26,24,20,18) 均值 22，误差为 4²+2²+2²+4²=40。
    SSE(≤6)=0+(26−22)2+(24−22)2+(20−22)2+(18−22)2=40\mathrm{SSE}(\le 6)=0+(26-22)^2+(24-22)^2+(20-22)^2+(18-22)^2=40
  2. 切在 7 岁左边两人均值 27，误差 2；右边三人均值约 20.67，误差约 18.67，合计约 20.67。
    SSE(≤7)≈2+18.67=20.67\mathrm{SSE}(\le 7)\approx 2+18.67=20.67
  3. 切在 8 岁左边三人 (28,26,24) 均值 26，误差 8；右边两人 (20,18) 均值 19，误差 2，合计 10，是所有候选里最小的。
    SSE(≤8)=(28−26)2+(26−26)2+(24−26)2+(20−19)2+(18−19)2=10\mathrm{SSE}(\le 8)=(28-26)^2+(26-26)^2+(24-26)^2+(20-19)^2+(18-19)^2=10
  4. 切在 9 岁左边四人均值 24.5，误差 35；右边一人误差 0，合计 35，不如切在 8 岁。
    SSE(≤9)=35\mathrm{SSE}(\le 9)=35

停止条件：什么时候不再切

如果一直切下去，会出现什么情况？切到最后每个叶子只剩一个人，训练集上的误差变成 0，看起来完美无缺——但这就像王老师给每个学生单独配一个教练，新来的学生完全不知道跟谁练，模型彻底失去预测能力。这就是过拟合。所以必须给“切”设几个刹车。

CART 常用的刹车有三脚：第一，最大深度 d_max，规定是非题最多问几层，比如深度为 2 时，问完两层不管齐不齐都停；第二，最少样本数 n_min，当某个区域人数已经少于下限，再切会出现“一个人一个组”的小碎块，不值得切；第三，误差下降阈值 ε，如果这一刀切下去，平方误差几乎没减少，说明组内已经足够整齐，切了白切。三条刹车满足任意一条，当前区域就停止分裂、变成叶子：

王老师的分组经验告诉我们：训练计划不是越细越好。适可而止，队伍才有共性，计划才可执行——停止条件就是 CART 的“适可而止”。

depth≥dmax⁡orn≤nmin⁡orΔSSE≤ε\displaystyle \mathrm{depth}\ge d_{\max}\quad\text{or}\quad n\le n_{\min}\quad\text{or}\quad \Delta \mathrm{SSE}\le \varepsilon
  1. 深度条件当前节点在树里的层数已经达到设定的最大深度，不再继续往下。
    depth≥dmax⁡\mathrm{depth} \ge d_{\max}
  2. 样本量条件当前区域样本数不超过最少样本要求，再切子区域人数太少，估计不可靠。
    n≤nmin⁡n \le n_{\min}
  3. 误差下降条件切分前后平方误差的减少量小于阈值 ε，说明没有“切”的必要。
    ΔSSE=SSE父−(SSE左+SSE右)≤ε\Delta \mathrm{SSE} = \mathrm{SSE}_{\text{父}} - (\mathrm{SSE}_{\text{左}} + \mathrm{SSE}_{\text{右}}) \le \varepsilon

叶子取值：组内平均就是预测

当某个小组停止分裂、成为叶子后，王老师要给它定一个“代表速度”。最自然的做法是取全组平均：把这个组所有人的用时加起来除以人数。比如 {28,26,24} 这组的代表值就是 (28+26+24)÷3=26。平均数对异常值不太敏感，又能代表组内整体水平，这正是 CART 回归树叶子取值的标准做法。

预测时，新学生带着自己的特征走进这棵树，从根节点开始回答是非题，一路下行，最终落进某片叶子，那片叶子的均值就是预测结果。整个过程可以写成：每个区域 R_m 有一个常数 c_m（组内均值），新样本 x 落在哪个区域，就把那个区域的 c_m 作为预测值：

王老师最后交出的“成绩单”并不复杂：每片叶子一个数字，谁来了就报谁所在组的平均速度。树的解释性就这么来的——你随时能说出“这个预测是 26 秒，因为他是左队里的中等水平”。

cm=1Nm∑xi∈Rmyi,y^(x)=∑m=1Mcm 1(x∈Rm)\displaystyle c_m=\frac{1}{N_m}\sum_{x_i \in R_m}y_i,\qquad \hat y(x)=\sum_{m=1}^{M}c_m\,\mathbb{1}(x \in R_m)
  1. 区域的代表值 c_m第 m 个叶子区域里所有样本目标值的平均数，这是叶子“记住”的唯一信息。
    cm=1Nm∑xi∈Rmyic_m=\frac{1}{N_m}\sum_{x_i \in R_m}y_i
  2. 示性函数 𝟙当括号里的条件成立时取 1，否则取 0，用来判断新样本落在哪个区域。
    1(x∈Rm)\mathbb{1}(x \in R_m)
  3. 求和输出M 个区域里，只有 x 真正落进的那个区域贡献出它的 c_m，其他项的示性函数都是 0，所以预测值就是命中区域的均值。
    y^(x)=∑m=1Mcm 1(x∈Rm)\hat y(x)=\sum_{m=1}^{M}c_m\,\mathbb{1}(x \in R_m)

代码落地：把分组手册写进 sklearn

王老师把整套分组方法整理成一本《训练手册》：怎么试特征、怎么算误差、何时停、叶子怎么取值，全写清楚。sklearn 里的 DecisionTreeRegressor 就是这本现成的手册，翻开就能用。

在 sklearn 中，回归树默认的 criterion 就是 'squared_error'，即平方误差；max_depth 对应最大深度，min_samples_leaf 对应叶子最少样本数，min_impurity_decrease 对应误差下降阈值。调用 fit(X, y) 建树，predict(X) 做预测，feature_importances_ 还能告诉你哪些特征在切分中贡献最大。回归树在 sklearn 里优化的指标，就是测试集上的均方误差（MSE），它和平方误差一脉相承：

从王老师的“是非题分组”，到 sklearn 里几十行代码建出一棵回归树，CART 的全部秘密就藏在“平方误差最小化 + 递归二分”这十个字里。理解了这十个字，你就拿到了读懂一切树模型的钥匙。

MSE=1n∑i=1n(yi−y^i)2\displaystyle \mathrm{MSE}=\frac{1}{n}\sum_{i=1}^{n}\bigl(y_i-\hat y_i\bigr)^2
  1. 样本数 n数据集里样本的总数，作为分母取平均。
    nn
  2. 每个样本的误差平方真实值 y_i 减去预测值 ŷ_i，平方后累加，放大偏差大的样本。
    ∑i=1n(yi−y^i)2\sum_{i=1}^{n}(y_i - \hat y_i)^2
  3. 取平均除以 n 得到平均误差，便于在不同规模的数据集之间比较模型好坏。
    1n∑i=1n(yi−y^i)2\frac{1}{n}\sum_{i=1}^{n}(y_i - \hat y_i)^2

AI 应用场景

房产估价：给每个小区“定个均线”

阶段：特征工程与模型训练

解决的问题：传统估价靠中介经验拍脑袋，或者用线性回归硬拟合，但房价与面积、房龄、距地铁距离之间往往是非线性关系，线性模型常常把高价房和低价房“平均”得面目全非。CART 回归树自动把城市划分成一个个矩形区域，每个区域给一个均价，预测结果像“王老师分组”一样有清晰的 if-then 规则。

具体案例：某房产平台用面积、房龄、到地铁站步行距离三个特征训练回归树，max_depth 设为 6。模型给出的规则可读性极强，比如“面积 ≤ 70㎡ 且 房龄 ≤ 5 年 → 均价 4.2 万/㎡”，业务人员可以直接拿规则给客户解释报价依据。

用户生命周期价值分群：给客户“切”出运营策略

阶段：模型选择与预测

解决的问题：运营团队想知道每个客户未来一年能贡献多少价值，传统做法是手动按消费金额分档，边界全靠拍脑袋。CART 回归树按消费频率、客单价、活跃天数等特征自动找到最能把价值差异拉开的切分点，每片叶子的均值就是该人群的“代表价值”。

具体案例：某电商平台用 CART 预测用户未来 12 个月价值，发现“月活跃 ≥ 4 次 且 客单价 ≥ 200 元”的叶子均值高达 5000 元，而“月活跃 ≤ 1 次 且 注册超过 1 年”的叶子只有 300 元。运营据此把预算集中到高价值叶子的用户身上，投放 ROI 提升 35%。

供应链需求预测：决定每个仓库备多少货

阶段：模型应用与决策支持

解决的问题：备货太多压资金，备货太少丢订单。需求受品类、促销力度、季节等影响，规则交织复杂。CART 回归树把历史订单数据切成若干“同质小组”，每组均值就是该情境下的预测需求量，简单可靠且可回溯——仓库主管能看懂为什么这个月要备 800 件（因为“大促 且 华东区”这个小组的均值是 800）。

具体案例：某快消品牌用 CART 对 3000 个 SKU 做周度需求预测，max_depth=5、min_samples_leaf=20，预测误差比原来的移动平均法降低 22%，并且能把备货建议分解成“如果……那么……”的规则下发给各区域仓库。

Python 演示

python78 行
import numpy as np  class Node:    """树节点：叶子存预测值，内部节点存切分特征与阈值"""    def __init__(self):        self.feature = None        self.threshold = None        self.left = None        self.right = None        self.value = None  class CARTRegressor:    """CART 回归树：平方误差最小化，递归二分建树"""     def __init__(self, max_depth=3, min_samples_leaf=2):        self.max_depth = max_depth        self.min_samples_leaf = min_samples_leaf        self.root = None     def fit(self, X, y):        self.root = self._build(X, y, depth=0)        return self     def _build(self, X, y, depth):        node = Node()        n, m = X.shape        if depth >= self.max_depth or n <= self.min_samples_leaf:            node.value = float(np.mean(y))            return node        best = None        for f in range(m):            values = np.unique(X[:, f])            for thr in values[:-1]:                left_mask = X[:, f] <= thr                if left_mask.sum() == 0 or (~left_mask).sum() == 0:                    continue                left_y = y[left_mask]                right_y = y[~left_mask]                sse = np.sum((left_y - left_y.mean()) ** 2) + \                      np.sum((right_y - right_y.mean()) ** 2)                if best is None or sse < best[2]:                    best = (f, thr, sse)        if best is None:            node.value = float(np.mean(y))            return node        f, thr, _ = best        left_mask = X[:, f] <= thr        node.feature, node.threshold = f, thr        node.left = self._build(X[left_mask], y[left_mask], depth + 1)        node.right = self._build(X[~left_mask], y[~left_mask], depth + 1)        return node     def _predict_one(self, x, node):        if node.value is not None:            return node.value        if x[node.feature] <= node.threshold:            return self._predict_one(x, node.left)        return self._predict_one(x, node.right)     def predict(self, X):        return np.array([self._predict_one(row, self.root) for row in X])  if __name__ == "__main__":    # 特征0=体重(kg)，特征1=年龄(岁)；目标y=200米用时(秒)    X = np.array([        [25, 6], [28, 7], [30, 8], [35, 9], [38, 10],        [26, 6], [31, 8], [40, 10], [33, 9], [27, 7],    ], dtype=float)    y = np.array([30.0, 28.0, 26.0, 21.0, 18.0,                  31.0, 25.0, 19.0, 22.0, 29.0])    model = CARTRegressor(max_depth=2, min_samples_leaf=2)    model.fit(X, y)    pred = model.predict(X)    print("每个样本的预测用时:", pred)    print("训练集 MSE:", float(np.mean((pred - y) ** 2)))
目的：从零实现 CART 回归树——遍历所有特征与阈值、按平方误差最小选最优切分、递归建树、叶子取均值预测，并在模拟的“体重/年龄 → 跑步用时”数据上验证。
  1. for thr in values[:-1]:只把前 n-1 个唯一特征值当作候选阈值，保证左右两边都不为空，和王老师“在每两个相邻学生之间试切一刀”完全对应。
  2. sse = np.sum((left_y - left_y.mean()) ** 2) + ...计算左右两半平方误差和，是整棵树的“切分尺子”。
  3. if best is None or sse < best[2]:贪心策略：只要发现更小的误差就记下来，遍历完所有特征和阈值后，best 就是当前节点最优切分。
  4. if depth >= self.max_depth or n <= self.min_samples_leaf:停止条件：达到最大深度或样本太少，直接生成叶子。
  5. node.value = float(np.mean(y))叶子取值：区域目标值均值，就是这片叶子的代表预测值。
  6. node.left = self._build(...)` 与 `node.right = self._build(...)递归建树：对左右两个子区域重复同一套找切分的过程。
  7. if node.value is not None:预测时先判断是否为叶子；是叶子直接返回均值，否则按特征和阈值走向左或右子树。

常见误区

误区我听别人说决策树叶子是“投票”出来的，那回归树叶子是不是也取组里出现次数最多的用时？比如一组里 28 秒出现两次就预测 28 秒。

正解分类树叶子确实取众数或多数类，但回归树的目标值是连续数字，CART 回归树的叶子取的是组内所有目标值的平均值，不是众数。王老师给小组定“代表速度”时用的是全组平均，因为平均能稳定代表整体水平；如果取众数，连续值几乎没有重复，等于随机挑一个人当代表。之所以产生混淆，是因为“树=投票”的印象来自分类树。

为何常见：市面上讲决策树大多以分类为例，“叶子取多数类”的说法先入为主，初学者容易把分类树的规则直接搬到回归树上。

误区CART 每次切分都试遍所有特征和阈值，那它应该能构造出全局误差最小的树吧？

正解CART 是贪心算法：每个节点只在当前区域内找局部最优切分，选完这一刀就不再回头调整。全局最优的树需要比较指数级的树结构，计算上不可行。就像王老师每一刀都切出当下最整齐的两队，但这不等于“全局最优分组方案”。sklearn 的决策树同样采用这种启发式贪心策略。

为何常见：“遍历所有特征和阈值”听起来很全面，容易被误认为穷举了整个假设空间，其实只穷举了单步切分。

误区训练集上深度越大的树误差越小，那我直接把 max_depth 设成 100，模型肯定最准。

正解深度过大必然过拟合：树把每个训练样本都“背”下来，训练误差趋近 0，但对新数据泛化极差。回归树的真正目标是让测试集上的 MSE 最小，而不是训练集。王老师若为每个学生单独定制计划，新学生来了反而没人管。正确做法是配合交叉验证调 max_depth、min_samples_leaf，或通过 min_impurity_decrease 限制误差下降阈值。

为何常见：学生在训练集上反复看模型误差下降，“拟合得越狠越准”的直觉很强，忽视了泛化概念。

误区年龄在根节点切过了，后面就不能再按年龄切了吧？不然这个特征不就“重复使用”了？

正解CART 没有任何规定禁止特征重复使用。每层节点都独立地遍历全部特征，同一特征可以在不同深度、不同分支上反复切分。比如根部“年龄 ≤ 8”，左子区域里可能再切“年龄 ≤ 6”。因为切分只看当前区域内部的区分度，某个特征在全局区分度低，可能在某个子区域里区分度很高。王老师先按年龄分大孩子小孩子，再在大孩子里按年龄细分，完全合理。

为何常见：直觉上“用过就没新信息了”，但忽略了特征在不同子区域中的分布差异，把“树的分支”误解成“特征的一次性消耗”。

面试题

Q1. CART 回归树在内部节点做切分时，核心优化目标是什么？

单选题 · easy

  • A.信息增益最大
  • B.平方误差和最小← 正确答案
  • C.基尼指数最小
  • D.交叉熵最小

答案：B。CART 回归树用平方误差和衡量子区域内部的“整齐度”，切分目标是让左右区域平方误差之和最小。信息增益、基尼指数、交叉熵都属于分类问题的指标。就像王老师用“组内快慢差距的平方和”当尺子。

Q2. 某叶子区域有样本目标值 [10, 12, 14]，该叶子的预测值是多少？

单选题 · easy

  • A.10
  • B.12← 正确答案
  • C.14
  • D.36

答案：B。CART 回归树叶子取值是区域目标值的平均，即 (10+12+14)÷3=12。取单个值或总和都不代表小组整体水平，均值才是这片叶子的“代表速度”。

Q3. CART 回归树选择最优切分特征与阈值的方式是？

单选题 · mid

  • A.全局搜索最优树结构
  • B.当前节点贪心试一遍← 正确答案
  • C.随机抽样少数特征
  • D.对目标函数求闭式解

答案：B。CART 在每个节点遍历所有特征、所有候选阈值，选平方误差和最小的切分，这是典型的贪心策略，只保证当前节点局部最优。全局最优树结构是 NP 难问题；随机抽样特征是随机森林的做法；回归树没有闭式解。

Q4. 下列哪个不是合理的停止分裂条件？

单选题 · mid

  • A.达到预设最大深度
  • B.节点样本数小于最少样本数
  • C.继续切分误差下降很小
  • D.所有特征都已被用过一轮← 正确答案

答案：D。CART 的停止条件包括最大深度、最少样本数、误差下降阈值。特征被重复使用完全合法——同一特征可以在不同分支继续切分，所以“所有特征都用过一轮”根本不是停止条件。

Q5. CART 回归树的典型特点包括哪些？

多选题 · mid

  • A.每次只把区域切成两半← 正确答案
  • B.支持连续型目标预测← 正确答案
  • C.递归构建左右子树← 正确答案
  • D.只能处理单个特征的数据

答案：ABC。CART 是严格的二叉树，每次只做一个“是/否”切分；回归树的目标值可以是房价、用时等连续数；建树过程是递归的，切完再对左右子树重复。它能同时处理多个特征，D 错误。

Q6. 给定年龄-用时数据 (6,28)、(7,26)、(8,24)、(9,20)、(10,18)，第一次最优切分是？

单选题 · hard

  • A.年龄小于等于 6 岁
  • B.年龄小于等于 7 岁
  • C.年龄小于等于 8 岁← 正确答案
  • D.年龄小于等于 9 岁

答案：C。各候选阈值的平方误差和分别为：≤6 是 40，≤7 约 20.67，≤8 是 10，≤9 是 35。误差和最小的切分点是 8 岁，所以最优切分为“年龄 ≤ 8 岁”。左边三人代表值 26，右边两人代表值 19。

Q7. 在 sklearn 的 DecisionTreeRegressor 中，能有效防止过拟合的做法有哪些？

多选题 · hard

  • A.限制树的生长深度← 正确答案
  • B.限制叶子的最少样本← 正确答案
  • C.设置误差下降阈值← 正确答案
  • D.设置学习率来减速

答案：ABC。max_depth、min_samples_leaf、min_impurity_decrease（误差下降阈值）都是回归树常用的正则化手段，本质是让树“适可而止”。学习率是梯度提升类模型（如 GBDT）的参数，对单棵 CART 回归树无效。

Q8. 一个节点只剩 3 个样本，而 min_samples_leaf=4，CART 会怎么做？

单选题 · mid

  • A.继续强行分裂
  • B.直接作为叶子取均值← 正确答案
  • C.报错终止训练
  • D.自动增加更多样本

答案：B。样本数不满足最少叶子样本要求时，节点停止分裂、直接成为叶子，叶子值取这 3 个样本的均值。这是停止条件的作用：宁可保留粗糙但稳定的预测，也不切出不可靠的小碎块。

Q9. sklearn 的 DecisionTreeRegressor 默认使用的误差指标是？

单选题 · easy

  • A.gini
  • B.entropy
  • C.squared_error← 正确答案
  • D.log_loss

答案：C。DecisionTreeRegressor 默认 criterion 为 'squared_error'，即平方误差，与 CART 回归树“平方误差最小化”一脉相承。gini 和 entropy 是分类树用的指标，log_loss 是逻辑回归/分类交叉熵相关指标。

Q10. 关于回归树中的平方误差，下列说法正确的有哪些？

多选题 · hard

  • A.对偏差大的样本惩罚更重← 正确答案
  • B.是回归树分裂的依据← 正确答案
  • C.与叶子取值完全无关
  • D.平方误差越小说明组内越整齐← 正确答案

答案：ABD。平方操作让偏差大的样本被放大惩罚，因此对异常敏感；分裂时用左右平方误差和最小化选切分点；误差小说明组内目标值都贴近均值，队伍整齐。叶子取的是区域均值，但平方误差通过决定“切到哪”间接影响叶子划分，C 说“完全无关”错误。