竞赛策略：特征工程Feature Engineering

可视化演示

动态展示特征工程总览、数值变换、类别编码策略与聚合特征构造及共线性选择。

数值变换：给食材整形

金牌主厨拿到一堆土豆：有的大如拳头，有的小如弹珠，表面还沾着泥。他不会直接下锅——先削皮、洗净，再切成大小一致的滚刀块。块头均匀，才能在同一口锅里同时熟透；味道均匀，评委才不会吃到一口咸一口淡。机器学习里的数值特征也是一样：年龄分布在 0 到 100，收入却从几千到几百万，量纲天差地别。

大多数模型靠“距离”或“梯度”判断相似性——KNN 按距离找邻居，逻辑回归按系数加权求和。收入动辄几十万的数值，会把只有个位数的年龄特征完全淹没。这时就需要“整形”：标准化。

$$z = \frac{x - \mu}{\sigma}$$

1. 分子 x - \mu：原始特征值减去均值 \mu，把分布中心移到零点，完成“去中心化”。

$$x - \mu$$

2. 分母 \sigma：除以标准差 \sigma，把不同尺度的特征压缩到同一量级。

$$\sigma$$

3. 标准化结果 z：处理后的特征均值为 0、方差为 1，模型不再被大数值特征“带偏”。

$$z = \frac{x - \mu}{\sigma}$$

除了标准化，还有几把常用的“刀”。对数变换专门对付右偏长尾——比如电商订单金额，少数大额订单拖着长长的尾巴，取对数后尾巴被压缩，数据更接近对称。Box-Cox 更聪明，它是一把带参数 λ 的“智能菜刀”，会自动搜索让数据最接近正态分布的 λ。多项式特征则给线性模型补充非线性能力：把 x、x²、x³ 一起喂给模型，让一条直线也能画成曲线。

$$x' = \ln(1 + x)$$

1. 1 + x：先加 1 再取对数，避免 x=0 时对数无定义。

$$1 + x$$

2. \ln(1 + x)：自然对数把大数值压缩、小数值拉开，长尾变短。

$$\ln(1 + x)$$

主厨切完土豆，锅里才能火候均匀。数据做完数值变换，每个特征在同一把尺子下竞争，模型才能公平地“品尝”每一样食材的味道。

类别编码：给食材贴标签

备菜间的另一边，主厨面对的是整筐的鸡鸭鱼肉。他取出标签纸，写上“鸡肉”“牛肉”“海鲜”，分别贴在不同的冷藏格里。模型不认识汉字，只认识数字——类别特征（颜色、城市、产品名）必须翻译成数字，这就是类别编码。

最直觉的方法是独热编码：把“红/绿/蓝”三色拆成三列，是红色就写 1，否则写 0。类别少时干净利落，可一旦类别有成百上千个（比如 600 个城市），就会生成 600 列稀疏矩阵，内存爆炸、训练变慢。标签编码给类别编号 0、1、2…，省空间，但隐含了"2 > 1"的大小关系，用在水果颜色上会误导模型，只适合学历、星级这类有序类别。

竞赛中最常用也最危险的，是目标编码。它用每个类别对应的目标均值替换原始类别，比如“城市 A 的平均房价 = 2.3 万”。公式为：

$$\hat{g}_k = \frac{N_k \cdot \bar{y}_k + \lambda \cdot \bar{y}}{N_k + \lambda}$$

1. N_k \cdot \bar{y}_k：类别 k 的样本量 N_k 乘该类别目标均值 \bar{y}_k，样本越多权重越大。

$$N_k \cdot \bar{y}_k$$

2. \lambda \cdot \bar{y}：全局目标均值 \bar{y} 乘以平滑系数 \lambda，作为先验“压舱石”。

$$\lambda \cdot \bar{y}$$

3. N_k + \lambda：归一化分母，让估计向全局均值收缩。

$$N_k + \lambda$$

4. 估计结果 \hat{g}_k：类别样本少时贴近全局均值，样本多时贴近类别真实均值。

$$\hat{g}_k = \frac{N_k \cdot \bar{y}_k + \lambda \cdot \bar{y}}{N_k + \lambda}$$

如果担心目标编码泄漏，频数编码是更稳妥的后手：直接统计每个类别出现的次数，替换成“这个标签出现了多少次”。频数编码不碰目标变量，天然防泄漏，虽然不带目标信息，但“稀有类别 vs 常见类别”本身就是一个有区分度的信号——就像主厨按“这只鸡经常被点单”来备货，频数本身就是情报。

聚合特征：食材混搭

备菜的最后一步是“合味”。主厨不会端上一盘生土豆丝——他把番茄、鸡蛋、葱花炒成一盘番茄炒蛋，把多种香料调成秘制酱汁。单看每一样食材平淡无奇，组合起来却惊艳全场。原始数据通常是“一行一笔交易”，而模型要预测的是“一个用户的行为”，这时就需要把散落的交易聚合起来。

最常用的是分组统计：按 user_id 分组，计算每笔金额的平均值、最大值、最小值和标准差，得到用户画像。

$$\mu_g = \frac{1}{N_g} \sum_{i \in g} x_i$$

1. i \in g：按分组键 g（比如用户 ID）圈定组内样本。

$$i \in g$$

2. \sum_{i \in g} x_i：组内所有 x_i 求和，汇总行为总量。

$$\sum_{i \in g} x_i$$

3. \mu_g = \frac{1}{N_g} \sum_{i \in g} x_i：除以组内样本数 N_g，得到均值 \mu_g，即“平均每次消费多少”。

$$\mu_g = \frac{1}{N_g} \sum_{i \in g} x_i$$

更精细的聚合要加上时间窗口——“最近 7 天购买次数”“30 天内最大单笔金额”，捕捉用户近期是否活跃、消费能力是否上升，这种特征在推荐和风控里往往是头号信号。交叉特征则是直接把两个特征相乘，比如价格 × 数量 = 订单金额；组合特征把两个类别拼成一个新类别，比如“城市 + 年龄段”变成“北京-青年”，挖掘联合分布。

$$f_{\text{cross}} = x_1 \times x_2$$

1. x_1 \times x_2：两个特征逐元素相乘，强调“一起出现”的交互效应。

$$x_1 \times x_2$$

2. f_{\text{cross}}：乘积结果，如“访问时长 × 页面数”近似代表用户投入程度。

$$f_{\text{cross}} = x_1 \times x_2$$

番茄炒蛋之所以好吃，是因为番茄的酸和鸡蛋的鲜互相成就。聚合与交叉特征把原本孤立的原料重新组合，让模型看见了“单个特征看不见的化学反应”。

特征选择：精挑细选

整理好的食材摆满一案板，但主厨不会全下锅——有些食材不新鲜，有些和主菜重复，全放进去反而坏了一锅汤。特征工程同理：构造了上百个特征后，必须“试毒”，挑出真正提味的那几样。

过滤法速度最快——不训练模型，直接用统计量给每个特征打分。卡方检验衡量分类任务中观测频数与期望频数的偏差：

$$\chi^2 = \sum_{i} \frac{(O_i - E_i)^2}{E_i}$$

1. O_i：第 i 个分组中的观测频数，即实际出现的次数。

$$O_i$$

2. E_i：假设特征与目标无关时的期望频数。

$$E_i$$

3. \sum \frac{(O_i - E_i)^2}{E_i}：把所有偏差平方按期望归一后累加，得到卡方统计量。

$$\sum_{i} \frac{(O_i - E_i)^2}{E_i}$$

另外两条路线是包装法和嵌入法。包装法像“海选淘汰赛”——递归特征消除：先全量训练，删掉最不重要的特征，再训练、再删，直到剩下最优子集，慢但能考虑特征组合。嵌入法则把选择融进训练过程：L1 正则把不重要的系数压成 0，树模型直接输出特征重要性，像“评委边吃边打星”。这里要警惕维度灾难：特征太多而样本有限时，高维空间里样本越来越稀疏，模型容易过拟合——菜单太丰富，反而不知道点什么。

精挑细选的本质是“做减法”。好主厨的菜单往往只有八道菜，但每一道都是招牌；好模型的特征不必多，但每一维都要经得起验证。

共线性处理：避免重复备菜

有位新手主厨为了显摆刀工，把土豆切成丁又切成片，最后还擦成丝——摆盘是丰盛了，可锅里全是同一个味道。特征工程中常见的浪费，就是构造出高度相关的特征：“年龄”和“出生年份”、“含税金额”和“不含税金额”，它们提供的是重复信息。

对线性模型来说，冗余特征会让系数在“你多我少”之间摇摆不定，系数变得无法解释。量化共线性最常用的指标是方差膨胀因子 VIF，它用“其余特征预测当前特征”的能力来衡量：

$$\text{VIF}_j = \frac{1}{1 - R_j^2}$$

1. R_j^2：用其余所有特征线性回归预测第 j 个特征得到的决定系数。

$$R_j^2$$

2. 1 - R_j^2：第 j 个特征中“其他特征无法解释”的独有信息占比。

$$1 - R_j^2$$

3. 取倒数 \frac{1}{1 - R_j^2}：独有信息越少，VIF 越大，共线性越严重。

$$\text{VIF}_j = \frac{1}{1 - R_j^2}$$

常规处理有三招：第一，看相关系数矩阵，把皮尔逊相关系数大于 0.9 的特征二选一删除；第二，用主成分分析 PCA 把相关特征线性组合成一组互相正交的新特征，像把重叠的音轨混成一条立体声；第三，用正则化——Ridge 回归的 L2 惩罚可以压住系数的震荡，让模型面对相关特征也保持稳定。

当然，树模型对共线性并不敏感——每次分裂只挑一个特征，重复信息顶多让重要性被“分票”。主厨得知道何时该大动干戈，何时睁一只眼闭一只眼，这也是经验的所在。

竞赛策略：主厨的全局观

真正的金牌主厨，走进赛场的第一步不是开火，而是研究评委——本届评委偏爱酸甜口还是咸鲜口？赛题分析同理：先看评价指标。回归任务用 RMSE 还是 SMAPE？分类任务用 AUC 还是 F1？指标决定了优化方向，用错指标等于照着错误的菜谱做菜。

$$\text{SMAPE} = \frac{100\%}{n} \sum_{i=1}^{n} \frac{|F_i - A_i|}{(|A_i| + |F_i|) / 2}$$

1. A_i 与 F_i：第 i 个样本的真实值与预测值。

$$A_i, \quad F_i$$

2. |F_i - A_i|：绝对误差，衡量预测偏差的大小。

$$|F_i - A_i|$$

3. 分母 \frac{|A_i| + |F_i|}{2}：以真实值与预测值的均值为尺度，把误差变成百分比。

$$\frac{|A_i| + |F_i|}{2}$$

4. 求和与平均：对所有样本取平均并乘 100%，得到整体百分比误差。

$$\text{SMAPE} = \frac{100\%}{n} \sum_{i=1}^{n} \frac{|F_i - A_i|}{(|A_i| + |F_i|) / 2}$$

接下来的套路是“基线 → 迭代”。先做一个简单模型作为基线，训练后用树模型输出特征重要性，看看哪些特征在真正发挥作用，哪些是摆设。每一轮只加一个新特征，用同一套交叉验证协议评估——验证分数提升才保留，否则果断回退。这里有个关键纪律：特征选择必须在交叉验证的每一折内部进行，先选择再验证会让验证分数“虚高”，就像提前偷看了评委打分。

竞赛中真正拉开差距的，是迭代的速度和质量。别人一次加十个特征，你一次加一个并仔细验证；别人只盯着公开榜，你更信任自己的交叉验证——公开榜经常“翻车”，可靠的本地验证才是自己的试吃环节。主厨的全局观，就是把“备菜、下锅、试吃、调整”循环成一套节奏：特征工程不是一锤子买卖，而是一场持续迭代的烹饪马拉松，每多一个高分特征，模型的上限就被抬高一点。

AI 应用场景

Python 演示

import pandas as pdimport numpy as npfrom sklearn.ensemble import RandomForestRegressorfrom sklearn.model_selection import cross_val_score def build_features(df):    # 构造竞赛特征: 对数变换 + 聚合特征 + 交叉特征    df = df.copy()    # 1. 数值变换: 金额取对数, 压缩右偏长尾    df['amount_log'] = np.log1p(df['amount'])    # 2. 聚合特征: 按用户分组统计, 得到用户级行为画像    user_stats = df.groupby('user_id')['amount'].agg(        user_avg='mean',        user_cnt='count',        user_max='max'    ).reset_index()    df = df.merge(user_stats, on='user_id', how='left')    # 3. 交叉特征: 金额 x 频次    df['amount_x_cnt'] = df['amount'] * df['user_cnt']    return df def check_vif(df, features):    # 用最大相关系数近似 R^2 计算 VIF    corr = df[features].corr()    vif = {}    for f in features:        r2 = corr[f].drop(f).abs().max() ** 2        vif[f] = 1.0 / (1.0 - r2)    return pd.Series(vif) def main():    rng = np.random.RandomState(42)    n = 3000    df = pd.DataFrame({        'user_id': rng.randint(1, 200, n),        'amount': rng.gamma(2, 50, n),    })    df['user_cnt_true'] = df.groupby('user_id')['user_id'].transform('count')    y = df['amount'] * 0.6 + df['user_cnt_true'] * 2.0 + rng.normal(0, 8, n)     df = build_features(df)    features = ['amount_log', 'user_avg', 'user_cnt', 'user_max', 'amount_x_cnt']     print('--- 共线性检查 (VIF) ---')    print(check_vif(df, features))     X = df[features]    model = RandomForestRegressor(n_estimators=80, random_state=42, n_jobs=-1)    scores = cross_val_score(model, X, y, cv=5,                             scoring='neg_root_mean_squared_error')    print('--- 5折交叉验证 RMSE ---')    print(round(-scores.mean(), 4))     model.fit(X, y)    imp = pd.Series(model.feature_importances_, index=features)    print('--- 特征重要性排序 ---')    print(imp.sort_values(ascending=False).round(4)) if __name__ == '__main__':    main()

1. df['amount_log'] = np.log1p(df['amount'])对数变换压缩金额长尾，防止大额订单主导模型
2. user_stats = df.groupby('user_id')['amount'].agg(...)按用户分组统计，构造用户级行为画像
3. df = df.merge(user_stats, on='user_id', how='left')把聚合结果回填到原始表，形成新特征列
4. df['amount_x_cnt'] = df['amount'] * df['user_cnt']交叉特征：金额与购买频次相乘，捕捉交互效应
5. r2 = corr[f].drop(f).abs().max() ** 2用最大相关系数近似 R²，估算该特征被其他特征解释的程度
6. vif[f] = 1.0 / (1.0 - r2)计算 VIF，超过 10 说明共线性严重需要处理
7. cross_val_score(model, X, y, cv=5, ...)5 折交叉验证，用统一协议评估每个新特征是否真的有效
8. model.feature_importances_树模型输出的特征重要性，告诉主厨哪些“食材”真正在提味

常见误区

面试题