学期末，教导主任要评选“三好学生”。他面前摆着三个学生的成绩单：语文是百分制（88 分），数学是 5 分制（4 分），体育是等级制（A）。直接相加？数学满分才 5 分，语文满分 100 分，加在一起语文几乎决定了全部，数学和体育形同虚设。这就像机器学习里的特征变换问题——每个特征都有自己的量纲和取值范围，有的动辄上万，有的在 0 到 1 之间徘徊，不统一尺度，模型就会“偏科”。好在工程师们有三件法宝：标准化、归一化和 Box-Cox 变换。标准化像“看班级排名”，用均值与标准差描述每个分数的相对位置；归一化像“按最高最低分折算”，把数据压到 0 到 1 之间；Box-Cox 则像“给歪斜的成绩分布做矫正手术”，让偏态分布重新变成钟形。学会这三件法宝，你就能让特征在模型面前“同分同册”，公平竞争。

岗位关联

特征变换是机器学习的“预处理地基”。掌握它，你才能让 KNN、SVM、神经网络真正公平对待每一个特征——这是 AI 工程师面试必考、实战必备的基本功。

目录
  1. 可视化演示
  2. 特征尺度问题
  3. 标准化变换
  4. 归一化变换
  5. Box-Cox 变换
  6. 选型策略
  7. 工程实践
  8. AI 应用场景
  9. Python 演示
  10. 常见误区
  11. 面试题

可视化演示

展示特征尺度问题、Z-Score标准化、Min-Max归一化及Box-Cox正态化变换的效果对比，交互切换深入理解不同变换的原理与适用场景。

本节配有交互动效（进入视口后自动加载，约 3KB）。

尺度问题：不同量纲特征导致模型偏差 年龄0-100，收入0-100万，尺度差异巨大 大尺度特征主导距离计算，小尺度特征被忽略 尺度差异 → 梯度下降慢 + 距离失真 统一尺度是特征工程的必修课。

特征尺度问题

教导主任要把语文、数学、体育的成绩合成一个总分，可三科的评分标准完全不同。语文百分制下，88 分和 80 分的差距是 8 分；数学 5 分制下，满分才 5 分，考 4 分和考 1 分的差距也就 3 分。要是直接相加，语文差不多“一票定乾坤”，数学和体育永远是配角——这就是“量纲差异”造成的“偏科”。

机器学习里的特征也是同一个道理。“年龄”在 20~60 之间徘徊，“年收入”却可能从 3 万飙到 300 万，差了好几个数量级。模型在计算样本距离、更新权重时，会不知不觉被数值大的特征“牵着鼻子走”，数值小的特征沦为花瓶。以欧氏距离为例——KNN、SVM 这类距离敏感算法，都要在特征张成的空间里计算样本之间的直线距离：

同理，梯度下降更新权重时，大尺度特征对应的梯度也更大，收敛路径会被拉偏。所以教导主任的第一课是：要评三好学生，先把各科分数折算到同一把尺子上；要让模型公平对待每个特征，先做特征变换。接下来的三件法宝，就是三套不同的“折算方案”。

Dab=∑i=1n(xi(a)−xi(b))2D_{ab}=\sqrt{\sum_{i=1}^{n}\left(x_{i}^{(a)}-x_{i}^{(b)}\right)^{2}}
两个样本之间的距离，等于所有特征差值的平方和再开方。数值量级大的特征，仅凭一个维度就几乎决定了整个距离。
  1. 逐维做差把两个样本在每个特征上的取值相减，得到“差异向量”，比如收入差 3000、年龄差 5。
    xi(a)−xi(b)x_{i}^{(a)}-x_{i}^{(b)}
  2. 平方消除正负把每个差值平方，既避免正负相抵，又放大“差异大”的那一维的惩罚力度。
    (xi(a)−xi(b))2\left(x_{i}^{(a)}-x_{i}^{(b)}\right)^{2}
  3. 累加所有特征把 n 个特征的平方差全部加起来，得到“总差异平方和”——量纲大的特征会占掉绝大部分权重。
    ∑i=1n(xi(a)−xi(b))2\sum_{i=1}^{n}\left(x_{i}^{(a)}-x_{i}^{(b)}\right)^{2}
  4. 开方得距离开平方还原量纲，得到最终欧氏距离。
    ∑i=1n(xi(a)−xi(b))2\sqrt{\sum_{i=1}^{n}\left(x_{i}^{(a)}-x_{i}^{(b)}\right)^{2}}

标准化变换

评优前，教导主任先找来一份“班级统计表”：每科的平均分和标准差。语文平均 80、标准差 5；数学平均 3、标准差 0.5。小明语文 88，比平均高 8 分，正好是 1.6 个标准差；数学 4 分，比平均高 0.8 分，也是 1.6 个标准差！原来两科拉开的是相同档次的差距——光看绝对分数，完全看不出来。

这就是第一件法宝：标准化（Standardization）。它回答的问题是“这个分数在班级里处于什么相对位置”，而不是“绝对考了多少分”。它的计算口径是“离均值几个标准差”，公式如下：

标准化后数据均值为 0、方差为 1，但分布形态保留——原本正态的还是正态，原本偏态的依然偏态。它最适合特征近似服从正态分布的场景，比如身高、血压、考试成绩这类“钟形分布”的数据。对距离类模型（KNN、SVM、神经网络）来说，“相对位置”这一口径让各维特征公平参与计算，梯度下降也不再被大数带偏。

教导主任把标准化理解为“看相对位置”：它不关心你考了 88 还是 4 分，只关心你甩开平均分几个身位。这是最常用、最稳妥的一把标尺——分布正常时，先选它准没错。

z=x−μσz=\frac{x-\mu}{\sigma}
标准化就是把原始分数减去均值 μ、再除以标准差 σ，得到“离均值几个标准差”的标准化分数 z。它不改变分布形状，只改变尺子的刻度。
  1. 计算均值 μ把全班语文成绩加起来除以人数，得到班级平均分——这是“相对位置”的基准线。
    μ=1n∑i=1nxi\mu=\frac{1}{n}\sum_{i=1}^{n}x_{i}
  2. 减去均值用每个成绩减去平均分，得到“比平均高多少分”的偏差，把数据中心化到 0 附近。
    x−μx-\mu
  3. 计算标准差 σ把偏差平方后取平均再开方，衡量班级成绩的离散程度——“分数散布得有多开”。
    σ=1n∑i=1n(xi−μ)2\sigma=\sqrt{\frac{1}{n}\sum_{i=1}^{n}\left(x_{i}-\mu\right)^{2}}
  4. 除以标准差把“绝对分差”换成“几个标准差”，得到无量纲的 z 分数，均值归 0、方差归 1。
    z=x−μσz=\frac{x-\mu}{\sigma}

归一化变换

但教导主任很快遇到新麻烦：体育老师是等级制（A/B/C/D/E），既没有平均分，也没有标准差可算。于是他想出第二套方案——找每科的最高分和最低分，把分数等比折算到 0 到 1 之间：最高分折算成 1，最低分折算成 0，中间分数按比例落中间。A 等对应 1.0，B 等对应 0.75……任何科目都能用同一张“比例尺”。

这就是第二件法宝：归一化（Min-Max Normalization）。它不关心分布形状，只把数据线性压缩到 [0, 1] 区间，保留原始相对比例。公式如下：

归一化的优点是简单直观、有明确上下界；软肋是“极值敏感”——如果语文成绩里混入一个异常低分（比如 0 分），最小值被拽到 0，大家的成绩全部被压缩到很窄的区间，区分度骤降。所以当特征本身有明确边界（如像素值 0~255、概率 0~1）且无明显异常值时，归一化是好选择；数据稀疏（大量为 0）时也常用它，因为 0 会映射到 0，保留稀疏结构。

归一化像“把最高分当 100、最低分当 0”的强行折算——直观、好懂，但最怕一个极端值搅局。遇到异常值满天飞的数据，还是标准化更扛得住。

x′=x−xmin⁡xmax⁡−xmin⁡x'=\frac{x-x_{\min}}{x_{\max}-x_{\min}}
归一化就是拿当前值减去最小值、再除以最大最小值的差，把任意取值区间线性压到 [0, 1] 之间。最小值为 0，最大值为 1。
  1. 找两个锚点遍历数据，找出最小值和最大值——它们是折算的“地板和天花板”。
    xmin⁡=min⁡(x1,…,xn),xmax⁡=max⁡(x1,…,xn)x_{\min}=\min(x_{1},\dots,x_{n}),\quad x_{\max}=\max(x_{1},\dots,x_{n})
  2. 减去最小值让最小值对齐到 0，所有数据整体平移，消除量纲的“基准偏移”。
    x−xmin⁡x-x_{\min}
  3. 除以极差用最大值减最小值的差（极差）作分母，把整个区间压缩成单位长度。
    x′=x−xmin⁡xmax⁡−xmin⁡x'=\frac{x-x_{\min}}{x_{\max}-x_{\min}}
  4. 检查边界当 x 等于最小值时 x' 等于 0，等于最大值时 x' 等于 1，中间值等比落在 (0, 1)。
    x′∈[0,  1]x'\in[0,\;1]

Box-Cox 变换

教导主任又发现一个“疑难杂症”：创新实践课的分数严重“内卷”，全班 90% 的人挤在 90~100 分，只有几个低分拖出长长的尾巴。这种右偏分布，无论是看相对位置还是区间折算，都还是歪的——分数的区分度全堆在窄窄的高分段里。

第三件法宝：Box-Cox 变换，专门对付这种偏态分布。它是一族幂变换，通过一个参数 λ 对数据做非线性“拉伸”：把长尾巴收回来，让分布重新变得对称、逼近正态。公式是一个分段函数：

Box-Cox 的关键是 λ 的选择——实际工程里通过网格搜索、最大似然估计来完成。λ=0 即对数变换是最常见的取值。注意它的硬性要求：数据必须全为正数，因为公式里有 x 的 λ 次方和对数运算；含负数或零的数据，得用升级版 Yeo-Johnson 变换。

Box-Cox 像给“内卷成绩”做的整形手术——通过幂变换让挤在一起的分数重新拉开，让歪斜分布回到钟形。有了它，连最难缠的偏态数据也能“上同一把尺子”。

y(λ)={xλ−1λ,λ≠0ln⁡x,λ=0y^{(\lambda)}=\begin{cases}\dfrac{x^{\lambda}-1}{\lambda}, & \lambda \neq 0 \\[6pt]\ln x, & \lambda = 0\end{cases}
Box-Cox 是一族幂变换：λ 不为 0 时用（x 的 λ 次方减 1）除以 λ，λ 为 0 时退化为对数变换 ln x。它用非线性拉伸来压低长尾、放大短尾，使分布更对称。
  1. 确定幂参数 λλ 是“整形力度”，不同 λ 代表不同的幂函数，λ 越小对长尾的压缩越狠。
    λ∈R\lambda\in\mathbb{R}
  2. 做幂运算对每个数据计算 x 的 λ 次方，λ 小于 1 时会压缩大值、拉开小值，从而收紧长尾。
    xλx^{\lambda}
  3. 减一除以 λ减去 1 再除以 λ，让变换在 λ 趋近于 0 时连续过渡，不产生断裂。
    y(λ)=xλ−1λy^{(\lambda)}=\frac{x^{\lambda}-1}{\lambda}
  4. λ 等于 0 时取对数此时公式退化为最常用的对数变换，天然具有“压缩大值”的效果。
    y(0)=ln⁡xy^{(0)}=\ln x
  5. 估计最优 λ用最大似然估计或最小化偏度来搜索 λ，找到让分布最接近正态的那个值。
    λ∗=arg⁡max⁡λ ℓ(λ)\lambda^{*}=\arg\max_{\lambda}\ \ell(\lambda)

选型策略

三件法宝各有脾气。教导主任总结出经验：百分制且分布正常的科目用“相对位置法”（标准化）；有明确上下界、没有极端分数的科目用“区间折算”（归一化）；严重偏斜的科目先“整形”（Box-Cox）；而像“是否担任班干部”这种 Yes/No 项，根本不参与折算。

选型的核心是看两件事：模型吃什么，数据长什么样。距离类、梯度类模型——KNN、SVM、线性回归、神经网络——对尺度极敏感，必须做变换，默认选标准化；树模型——决策树、随机森林、梯度提升树——按阈值切分，对单调变换不敏感，可以跳过。

数据形态决定进一步选择。数据右偏或左偏明显时，先 Box-Cox 再标准化；特征值有界且无异常值时，可以归一化；有异常值时，标准化比归一化稳健得多；稀疏数据用归一化保留零结构。如何量化“偏不偏”？用偏度系数：

教导主任的评优手册，本质是一张“对症下药”的决策表：先看科目分布是否偏斜，再看有没有极端分数，最后选折算方式。特征选型也一样——没有最好的变换，只有最合适的组合。组合使用也很常见：收入这种长尾特征先 Box-Cox，再和其他特征一起标准化。

Skew=1n∑i=1n(xi−μ)3σ3\text{Skew}=\frac{\frac{1}{n}\sum_{i=1}^{n}\left(x_{i}-\mu\right)^{3}}{\sigma^{3}}
偏度系数衡量分布不对称的程度：越接近 0 越对称，正负号代表长尾在右还是左。绝对值大于 0.5 就算明显偏态，该上 Box-Cox 了。
  1. 算偏差每个数据减去均值，得到它相对中心的偏离量。
    xi−μx_{i}-\mu
  2. 三次方放大方向偏差取三次方，正负号保留，但偏离越大的值被放得越夸张——长尾因此被“照亮”。
    (xi−μ)3\left(x_{i}-\mu\right)^{3}
  3. 求平均得三阶矩把所有三次偏差加起来除以样本量，得到三阶中心矩。
    1n∑i=1n(xi−μ)3\frac{1}{n}\sum_{i=1}^{n}\left(x_{i}-\mu\right)^{3}
  4. 除以标准差三次方消除量纲，得到一个纯数——偏度系数。
    Skew=1n∑i=1n(xi−μ)3σ3\text{Skew}=\frac{\frac{1}{n}\sum_{i=1}^{n}\left(x_{i}-\mu\right)^{3}}{\sigma^{3}}
  5. 读数值定策略Skew 大于 0 右偏、小于 0 左偏，绝对值越大越该用 Box-Cox 矫正。
    ∣Skew∣>0.5⇒考虑 Box-Cox|\text{Skew}|>0.5 \Rightarrow \text{考虑 Box-Cox}

工程实践

教导主任把折算规则写进了“评优手册”：平均分、标准差、最高最低分、Box-Cox 的 λ，全部在手册里定死。来年评测新一批学生，直接拿手册里的参数折算，绝不根据新学生重算一遍——否则就变成“先看答案再定评分标准”，评选就失去了公平性。

这正是特征变换工程落地的第一原则：变换参数只在训练集上“拟合”，测试集和线上数据一律复用训练集算好的参数。在 sklearn 里，就是 scaler.fit(X_train) 之后，用同一个 scaler.transform(X_test) 处理测试集，绝不在测试集上重新 fit。

实际操作中还有两个要点。第一，“先切分，再变换”：先划分训练集、验证集、测试集，再在训练集上估计参数，防止测试集信息混入训练过程——这叫数据泄漏，会让离线评估虚高、线上翻车。第二，把变换写进 Pipeline：用 Pipeline([('scaler', StandardScaler()), ('clf', SVC())]) 把预处理和模型串成一条流水线，网格搜索时变换参数和模型参数一起调，训练和上线用同一套流程，避免“预处理和模型脱节”。

评分手册的比喻延伸到最后的忠告：变换参数是“规则”，不是“数据”。规则由训练集制定，所有人都按同一套规则执行——这既保证了公平（无泄漏），也让模型上线后的表现与离线评估一致。记住这句话：参数只在训练集上学，测试集只负责“做题”。

AI 应用场景

信贷风控中的特征预处理

阶段：数据预处理 / 特征工程

解决的问题：信贷样本包含年收入（3 万~300 万，右偏严重）、信用历史长度、负债率等量纲迥异的特征。直接喂给逻辑回归或 SVM，收入维度会主导距离与梯度，模型几乎“看不见”其他特征。先用 Box-Cox 把收入长尾拉正，再做标准化，梯度下降收敛更快，模型也更平衡。

具体案例：某银行风控团队对 5 万条申请样本做特征变换后，模型 KS 值提升约 8%，高收入长尾样本的误杀率明显下降。

图像与推荐系统中的归一化

阶段：模型输入标准化

解决的问题：图像像素值在 0~255，归一化到 [0, 1] 能让神经网络梯度更平稳、收敛更快；推荐系统的 CTR 预估特征高度稀疏（大量 0），用 Min-Max 归一化保留零结构，避免稀疏矩阵被“撑胖”。

具体案例：某电商 CTR 模型对用户历史行为计数做 min-max 缩放后，训练 epoch 从 15 轮降到 10 轮，AUC 保持稳定。

上线一致性：变换参数管理

阶段：模型部署与监控

解决的问题：训练时在分布式平台算好的均值与标准差，上线后如果对线上请求重新计算或算错，推理分布和训练分布不一致，模型精度会崩盘。把变换参数序列化进模型包，让训练和线上共用同一本“评分手册”。

具体案例：某推荐系统上线时将 StandardScaler 参数写入模型 artifact，线上请求只做 transform 不做 fit，离线在线指标偏差从 3% 降到 1% 以内。

Python 演示

python60 行
"""特征变换三法宝：标准化、归一化、Box-Cox 的纯 Python 实现与对比"""import mathimport statistics  def standardize(data):    """标准化：均值归 0，标准差归 1"""    mu = statistics.mean(data)    sigma = math.sqrt(sum((x - mu) ** 2 for x in data) / len(data))    return [(x - mu) / sigma for x in data]  def normalize(data):    """归一化：线性压缩到 [0, 1] 区间"""    lo, hi = min(data), max(data)    return [(x - lo) / (hi - lo) for x in data]  def boxcox(data, lam):    """Box-Cox 变换：要求数据全为正"""    if any(x <= 0 for x in data):        raise ValueError("Box-Cox 要求所有数据为正")    if abs(lam) < 1e-10:        return [math.log(x) for x in data]    return [(x ** lam - 1) / lam for x in data]  def search_lambda(data, lams):    """网格搜索最优 lambda，目标是让变换后偏度绝对值最小"""    best_lam, best_metric = lams[0], float("inf")    for lam in lams:        y = boxcox(data, lam)        mu = statistics.mean(y)        sigma = math.sqrt(sum((v - mu) ** 2 for v in y) / len(y))        skew = abs(sum(((v - mu) / sigma) ** 3 for v in y) / len(y))        if skew < best_metric:            best_metric, best_lam = skew, lam    return best_lam  def main():    # 模拟一份右偏的"工资"数据：少数人特别高    salaries = [8, 9, 10, 11, 12, 15, 18, 22, 30, 60]    print("原始数据:", salaries)     std = standardize(salaries)    nor = normalize(salaries)    lam = search_lambda(salaries, [i / 10 for i in range(-5, 21)])    bc = boxcox(salaries, lam)     print("标准化后:", ["%.2f" % v for v in std])    print("归一化后:", ["%.2f" % v for v in nor])    print("Box-Cox 最佳 lambda: %.1f" % lam)    print("Box-Cox 后:", ["%.3f" % v for v in bc])  if __name__ == "__main__":    main()
目的：用纯 Python 实现三大特征变换，并对比同一份右偏工资数据在三种变换下的输出，直观感受“标准化看位置、归一化看区间、Box-Cox 拉对称”。
  1. sigma = math.sqrt(sum((x - mu) ** 2 for x in data) / len(data))按总体标准差公式计算 σ，这是标准化公式的分母。
  2. return [(x - mu) / sigma for x in data]每个样本减去均值再除以标准差，得到 z 分数。
  3. lo, hi = min(data), max(data)抓取数据的地板和天花板，作为归一化的两个锚点。
  4. return [(x - lo) / (hi - lo) for x in data]减去最小值、除以极差，把数据压进 [0, 1]。
  5. if any(x <= 0 for x in data):Box-Cox 的门槛检查：数据出现非正值立即报错。
  6. if abs(lam) < 1e-10:λ 约等于 0 时走对数分支，保证数值稳定。
  7. return [(x ** lam - 1) / lam for x in data]λ 非 0 时的 Box-Cox 主公式。
  8. skew = abs(sum(((v - mu) / sigma) ** 3 for v in y) / len(y))用偏度绝对值当“整形效果”的评分函数。
  9. if skew < best_metric:网格搜索的核心逻辑：遍历 λ，留下让分布最对称的那个。

常见误区

误区反正都是把数据“变一变”、“缩一缩”，归一化和标准化效果差不多，代码也几乎一样，随便选一个就行。

正解两者机制完全不同。标准化用均值/标准差，保留“离均值几个标准差”的相对位置，分布形态不变；归一化用最大/最小值，把数据线性压到 [0, 1]。归一化对异常值极度敏感——一个异常大值会把其他所有值挤到 0 附近；标准化则稳健得多。选错变换就像用“按名次折算”的方法去折算本应“按区间折算”的等级制成绩，肯定出问题。

为何常见：在 sklearn 里两者都是一行代码，肉眼看到的都是“数字变了”，新手容易忽略背后的数学机制和使用前提。

误区教程里到处强调预处理很重要，那不管用什么模型，先做标准化或归一化总没错，一步都不能省。

正解树模型（决策树、随机森林、梯度提升树）按特征阈值切分，对特征的单调变换完全不敏感——你把它放大 100 倍，阈值也跟着放大，分裂结果一模一样。尺度变换对它们是“无效功”。而 KNN、SVM、线性回归、神经网络依赖距离或梯度，必须做。不加判断地一刀切，既浪费时间，还可能好心办坏事。

为何常见：深度学习和 SVM 的教程铺天盖地，让大家默认“所有模型都一样”，忽略了树模型这个“尺度豁免”的大家族。

误区Box-Cox 号称“把偏态分布拉成正态分布”，那不管数据是正是负、分布多怪，交给它都能整形成完美的钟形曲线。

正解Box-Cox 有硬性门槛——数据必须全为正数，因为公式里有幂运算和对数运算，负数与零直接无定义。它也只是“降低偏度、让分布更对称”，并不保证严格正态。遇到含负数的数据，要用它的升级版 Yeo-Johnson 变换。它是有适应症的“手术刀”，不是包治百病的万能药。

为何常见：宣传语里“偏态转正态”的说法太顺口，让新手忽略了公式定义域这个关键前提。

误区反正数据都拿到了，把训练集和测试集放一起，算出全局的均值、极值再变换，参数更准，模型效果应该更好。

正解这是典型的数据泄漏。变换参数（均值、标准差、min/max、λ）必须在训练集上单独估计，测试集和线上数据一律复用训练集参数。如果测试集信息混入参数估计，线下评估会虚高，上线后立刻“打回原形”。就像考试规则必须在考前定好，不能拿考生的答题情况去修订评分标准。

为何常见：直觉上觉得“样本越多参数越准”，但忽略了测试集在真实推理场景中是“未来的未知数据”，永远接触不到。

面试题

Q1. 标准化（Z-score）变换后，数据的均值和标准差分别是多少？

单选题 · easy

  • A.均值为 0，标准差为 1← 正确答案
  • B.均值为 1，标准差为 0
  • C.均值保持原值，标准差为 1
  • D.均值为 0，方差也为 0

答案：A。标准化公式 z=(x-μ)/σ，减去均值把“海拔”归零，除以标准差把“波动幅度”归 1，所以均值 0、标准差 1。B 把均值写成了 1，C 说均值不变，D 的方差为 0 意味着数据全部相同，都违背标准化的定义。

Q2. 归一化（Min-Max）把数据线性映射到什么区间？

单选题 · easy

  • A.[-1, 1] 区间
  • B.[0, 1] 区间← 正确答案
  • C.均值为 0，标准差为 1
  • D.数据保持原始值不变

答案：B。归一化公式 (x-x_min)/(x_max-x_min) 把最小值映射为 0、最大值映射为 1，所以结果是 [0, 1] 区间。A 的 [-1,1] 需要额外平移缩放，C 描述的是标准化，D 是啥也没做。

Q3. 下列哪种变换对异常值（极端离群点）最敏感？

单选题 · mid

  • A.标准化对异常值最敏感
  • B.归一化对异常值最敏感← 正确答案
  • C.Box-Cox 对异常值最敏感
  • D.三种变换都不受异常值影响

答案：B。归一化直接使用最大值和最小值两个极值点，一个异常大值会瞬间把极差拉大，其他所有值被挤到很窄的区间——好比班里来了个 150 岁的“老爷爷”，全班年龄瞬间都被压成“婴幼儿”。标准化用的均值/标准差虽也受影响，但离群值只占一小份权重，稳健得多。Box-Cox 的幂变换对长尾有一定容忍度。

Q4. 下列哪个模型对特征尺度最不敏感，训练前可以不做标准化？

单选题 · mid

  • A.K 近邻与线性回归
  • B.支持向量机与神经网络
  • C.逻辑回归与岭回归
  • D.决策树与随机森林← 正确答案

答案：D。决策树/随机森林按特征阈值切分，把特征放大 100 倍等于阈值同比例放大，分裂结果不变，所以尺度不敏感。KNN 依赖距离、线性回归和 SVM 依赖几何间隔、神经网络依赖梯度更新，全都对尺度敏感。

Q5. Box-Cox 变换对输入数据的基本要求是什么？

单选题 · mid

  • A.数据必须全部为正值← 正确答案
  • B.数据必须全部为负值
  • C.数据必须服从正态分布
  • D.数据必须已经标准化

答案：A。Box-Cox 公式里有 x 的 λ 次方和对数运算，对非正数无定义，所以要求数据全为正。它服务于“把偏态矫正向正态”这个目标，但输入并不需要事先正态。负数数据要用 Yeo-Johnson。

Q6. 关于标准化与归一化的本质区别，下列说法正确的是？

单选题 · hard

  • A.标准化用均值方差，归一化用最大最小值← 正确答案
  • B.归一化能把偏态分布拉成正态分布
  • C.标准化对异常值比归一化更敏感
  • D.两种变换效果完全一致等价

答案：A。标准化的锚点是均值 μ 和标准差 σ，归一化的锚点是 x_min 和 x_max（极值）。B 错——拉正态是 Box-Cox 的职责；C 错——恰恰相反，归一化对极值更敏感；D 错——两者公式、结果、适用场景都不同。

Q7. 在训练集上完成特征变换后，对测试集应如何操作？

单选题 · hard

  • A.用测试集统计量重新计算变换参数
  • B.沿用训练集参数对测试集做变换← 正确答案
  • C.测试集不需要做任何特征变换
  • D.训练测试合并后统一做变换

答案：B。变换参数必须在训练集上估计，测试集复用同一套参数，否则会造成数据泄漏——测试集信息流入训练过程，离线评估虚高，线上翻车。A 和 D 都会泄漏，C 会让测试集分布与训练不一致。就像考试评分规则必须考前定好，不能拿到答卷再改标准。

Q8. 下列哪些模型对特征尺度敏感，训练前建议做标准化？

多选题 · easy

  • A.支持向量机（SVM）← 正确答案
  • B.K 近邻（KNN）← 正确答案
  • C.决策树（DT）
  • D.神经网络（NN）← 正确答案

答案：ABD。KNN 依赖距离、SVM 依赖几何间隔、神经网络依赖梯度更新，尺度不一致都会失衡。决策树按阈值切分，对尺度不敏感。口诀：距离与梯度敏感，阈值切分豁免。

Q9. 关于 Box-Cox 变换，下列说法正确的有哪些？

多选题 · mid

  • A.λ 等于 0 时退化为对数变换← 正确答案
  • B.可以直接处理负数与零值数据
  • C.变换的目标是降低分布偏度← 正确答案
  • D.最优参数 λ 需要估计求解← 正确答案

答案：ACD。λ=0 时 (x^0-1)/0 的极限就是 ln x，所以 A 对；Box-Cox 的目的就是拉对称、降偏度，C 对；λ 通常通过最大似然或最小偏度搜索求得，D 对。B 错——负数和零会让幂运算与对数无定义。

Q10. 以下哪些情况更适合选择归一化而非标准化？

多选题 · hard

  • A.特征数值存在明确上下界时← 正确答案
  • B.数据没有明显离群点干扰时← 正确答案
  • C.特征服从正态分布规律时
  • D.特征是稀疏数据含大量零时← 正确答案

答案：ABD。有明确边界的特征（如像素 0~255、评分 1~5）和没有离群点的数据，min-max 能稳定地把区间压到 [0,1]，A、B 对。稀疏数据大量为 0，min-max 把 0 映射成 0，保留稀疏结构，D 对。C 是标准化的主场——正态分布特征用均值/标准差描述最自然。