特征发现与自动特征工程

可视化演示

动态演示特征发现与自动特征工程的核心机制，通过基础/核心/应用/扩展四种模式展示关键概念与交互流程。

特征基本概念：认识食材

开业前一晚，你打开备餐间，灯光亮起，满墙的食材仿佛在向你自我介绍：番茄说“我能提酸味”，牛肉说“我能补蛋白质”，辣椒说“我能刺激味蕾”。在机器学习里，这些“自我介绍”就是特征——每一个特征都是样本在某个维度上的描述。比如预测用户是否会再次购买，“近30天登录天数”是一个特征，“平均客单价”是另一个特征。所有的特征合在一起，就构成一个像菜单一样的向量。

把食材概念搬到数学中，一个样本的 d 个特征可以写成一个向量。模型的任务，就是“品尝”这个向量并给出判断。而一道菜好不好吃，首先取决于食材本身——特征的质量，直接决定了模型效果的上限。这就是为什么老主厨总说“食材不行，再好的手艺也白搭”。

$$\displaystyle \mathbf{x} = (x_1, x_2, \ldots, x_d)$$

1. 样本向量：一个样本（如一个用户、一笔订单）用 d 个特征拼成的向量表示，就像一道菜用多种食材组成。

$$\displaystyle \mathbf{x} = (x_1, x_2, \ldots, x_d)$$

2. 特征分量：第 i 个特征 $x_i$，例如“年龄”或“近7天消费金额”，对应一种可量化的属性。

$$\displaystyle x_i \in \mathbb{R}$$

3. 维度含义：d 是特征总数。d 过小信息不足，过大则增加噪音和计算成本，如同食材太少撑不起菜、太多反而串味。

$$\displaystyle d = \text{特征个数}$$

好特征要满足三个条件：相关性（和预测目标关系密切，像牛肉对炖菜至关重要）、稳定性（随时间波动小，像常用香料不会轻易断货）、覆盖度（大多数样本都能取到值，像土豆一年四季都有货）。有了这三条，特征才称得上“好食材”。记住：模型的天花板，是由特征决定的——这也是为什么特征工程被认为是“建模的一半”。

特征发现方法：寻找好食材

认识完仓库，接下来该出发采购了。每周三凌晨四点，主厨会去菜市场，看看什么食材当季、新鲜、便宜。这个“逛市场”的动作，就是特征发现——不是凭空造特征，而是从数据世界中发现哪些变量值得进入你的“食材清单”。

特征发现主要有四条路径。第一条是数据探索（EDA）：画直方图看分布是胖是瘦，画散点图看两两关系，像用眼睛和手去捏一捏菜叶是否新鲜。第二条是统计分析：计算相关系数、方差等指标，像用温度计测冰鲜柜是否合格。第三条是领域知识：经验丰富的老厨师知道“和牛配海盐”，业务专家知道“收入才是信贷风控的核心变量”。第四条是自动发现扫描：用程序跑遍成百上千个候选变量，批量打分排序，像用仪器扫描食材的农残指标。

$$\displaystyle r = \frac{\sum_{i=1}^{n}(X_i - \bar{X})(Y_i - \bar{Y})}{\sqrt{\sum_{i=1}^{n}(X_i - \bar{X})^2}\sqrt{\sum_{i=1}^{n}(Y_i - \bar{Y})^2}}$$

1. 离差相乘：把每个样本的两个值分别减去均值后相乘——若两者同向偏离则乘积为正，反向则为负，如同两人脚步同起同落才叫同步。

$$\displaystyle (X_i - \bar{X})(Y_i - \bar{Y})$$

2. 累加所有样本：将所有同步偏离加起来，得到协方差。它好像统计一整天里“伞销量”和“雨量”同时升高的次数。

$$\displaystyle \sum_{i=1}^{n}(X_i - \bar{X})(Y_i - \bar{Y})$$

3. 标准差归一化：除以两个变量的标准差，把结果压到 -1 到 1 之间。这样无论“伞销量”以“把”为单位还是“万元”为单位，相关系数都可比较。

$$\displaystyle r = \frac{\text{cov}(X, Y)}{\sigma_X \sigma_Y}$$

这四种方法是互补的，而不是互相替代的。眼睛看形态、仪器测指标、经验定方向、程序做批量的扫描，组合起来，才能把菜市场里真正值得买的好食材带回家。回到厨房，你发现“逛市场”这件事其实永远做不完——因为数据世界也在不断长出新的“食材”。

特征自动生成：智能料理机

买回来的食材还是原始形态：一整块牛肉、带泥的土豆、没有去籽的辣椒。如果每道菜都靠手工切、手工配，一天做不出几道菜。于是你引进了一台智能料理机：输入“牛肉、土豆、番茄”，它自动切成丝、条、丁，还会给你 10 种搭配方案——这就是自动特征工程。

自动特征工程，就是让程序从原始数据中自动构造新特征，常见的四类工序是：变换算子（对数值取对数、开根号，像把大块食材拍松，让后面更好入味）、组合特征（将两个特征做加减乘除，像“总销售额 ÷ 客户数 = 客单价”，一个全新维度就出来了）、分箱编码（把连续值切成“大中小”等级，像把土豆按大小分筐）、时序统计特征（在时间窗口内取均值、峰值，像统计“最近7天的客流”来预测明天的备货量）。

$$\displaystyle x_{\text{new}} = \log(x_1 + 1) \times \frac{x_2}{x_3 + \epsilon}$$

1. 对数压缩：$\log(x_1 + 1)$ 把取值范围很大的特征（如收入）压到接近线性尺度，加 1 防对零取对数，如同把巨大的土豆切成均匀小块更好炖熟。

$$\displaystyle \log(x_1 + 1)$$

2. 比例构造：$\dfrac{x_2}{x_3 + \epsilon}$ 用两个特征的比值表达“每单位 x3 对应的 x2”，比如“每活跃天消费金额”。

$$\displaystyle \frac{x_2}{x_3 + \epsilon}$$

3. 交互乘法：$x_{\text{new}} = \text{变换后的} \times \text{比例项}$ 将两种信息融合，允许特征表达“高收入×高活跃”这类联合效应。

$$\displaystyle x_{\text{new}} = A_{\text{transformed}} \times B_{\text{ratio}}$$

智能料理机虽然高效，但它只是听指挥的帮手：你得告诉它切丝还是切块、搭配哪几种食材。同样，自动特征工程需要定义好算子池和数据范围，否则会切出一堆没意义的废料。不过，正是有了它，特征研发才从“手工一星期”变成“批量跑一夜”。

特征选择策略：精挑细选

采购回来 200 种食材，但厨房只有 10 个灶台。如果你任性地说“全部都用”，结果就是每道菜都放了 20 种食材——味道互相打架，厨房还忙不过来。特征选择，就是决定“这 10 个灶台留给哪几种食材”的过程。

特征选择的方法分为三大流派。过滤式（Filter）先给每种食材单独打分，看它和目标的关系强弱——方差太小的像白水煮菜没有味道，卡方和互信息则像用试纸测酸碱性。包裹式（Wrapper）直接上灶试菜——把一组食材放进模型里跑一遍，效果不好的食材换掉，递归特征消除（RFE）就是这种反复试错的做法。嵌入式（Embedded）把筛选融进烹饪过程本身——L1 正则化在训练时自动把不重要特征的系数压成零，树模型则输出 feature_importance，像炖煮时“细火慢熬，不行的食材自己化了”。

$$\displaystyle I(X;Y) = \sum_{x \in X}\sum_{y \in Y} p(x,y) \log \frac{p(x,y)}{p(x)p(y)}$$

1. 联合分布：$p(x, y)$ 是 X 取 x 且 Y 取 y 同时发生的概率，像“登录过且复购”的人占比。

$$\displaystyle p(x, y)$$

2. 独立性基准：$p(x)p(y)$ 是假设两者无关时同现概率的期望值——若 X 和 Y 完全独立，联合概率恰好等于它。

$$\displaystyle p(x)p(y)$$

3. 求和加权：对每个取值对计算对数偏差并加权求和，得到总偏差。偏差越大，说明两者关系越强，特征越值得留。

$$\displaystyle \sum_{x}\sum_{y} p(x,y) \log \frac{p(x,y)}{p(x)p(y)}$$

回到大厨的视角：选食材的最高原则不是“最贵”或“最多”，而是“最适合这道菜”。特征选择也一样——好的子集能提升模型精度、降低过拟合、缩短训练时间。留多少特征、用什么方法，取决于你的模型、数据和业务目标。

特征工程流程：烹饪工序

食材选好了，但做菜不是一口气炒完就行的。洗菜、切菜、腌制、下锅、调味、装盘，每一步都有章法。特征工程同样需要一套标准流程，否则每个人按自己的习惯来，菜的品质就忽高忽低。

标准的特征工程流程分四步。第一步需求分析：明确预测目标、评估指标和数据范围，像主厨先看菜单再决定备什么料。第二步数据清洗：处理缺失值、异常值、重复样本，像摘掉烂叶、刮掉泥巴。第三步特征研发迭代：在“发现→生成→选择”之间小步快跑，像反复试菜调口味。第四步效果评估：用离线实验（如 AUC）看新特征是否真的有效，再上线 A/B 测试看真实业务效果——离线好吃不算数，顾客说好才算好。

$$\displaystyle \Delta \text{AUC} = \text{AUC}_{\text{baseline} + \text{new}} - \text{AUC}_{\text{baseline}}$$

1. 基线效果：$\text{AUC}_{\text{baseline}}$ 是不加新特征时模型在验证集上的表现，作为“原始配方”的基准分。

$$\displaystyle \text{AUC}_{\text{baseline}}$$

2. 加入新特征：$\text{AUC}_{\text{baseline} + \text{new}}$ 是同一个流程重新训练并评估的结果。

$$\displaystyle \text{AUC}_{\text{baseline} + \text{new}}$$

3. 差值判断：$\Delta \text{AUC} > 0$ 说明新特征有效；若接近 0 或为负，则应当舍弃该特征，防止噪音干扰模型。

$$\displaystyle \Delta \text{AUC} > 0 \Rightarrow \text{特征有效}$$

没有流程的厨房靠运气，有流程的厨房靠系统。流程化的特征工程让每次实验可复现、可对比、可传承。更重要的是，它把“碰运气做菜”变成了“可迭代的菜品研发体系”——这正是工业级机器学习与实验室玩具之间的分水岭。

特征存储平台：中央厨房

餐厅开到了 50 家分店。如果每家店都自己去买菜、自己腌酱料，口味会千奇百怪，成本也失控。于是你建立了中央厨房：统一采购、统一加工、统一配送，每一批食材都记录产地、日期、质检信息。这就是特征平台与特征存储的诞生。

特征平台要解决四个核心问题。第一是在线离线一致性：训练时用离线批处理算特征，上线后要在线实时算特征，两套计算逻辑必须产出相同值，否则模型离线评估很漂亮、线上就翻车。第二是特征共享复用：把自动生成的高价值特征沉淀到特征库，多个团队和模型复用，像中央厨房的“标准酱料包”谁都能领。第三是特征治理：记录特征的血缘（哪个数据集产出的）、版本（改了哪些逻辑）、权限（谁能修改），让每个特征可追溯。第四是特征质量监控：定期检查特征分布有没有漂移——用 PSI 指标监测“实际分布”和“期望分布”的偏离程度。

$$\displaystyle \text{PSI} = \sum_{i=1}^{n}(A_i - E_i) \times \ln\left(\frac{A_i}{E_i}\right)$$

1. 分箱占比：把特征值分成 n 个区间，计算每个区间内实际样本占比 $A_i$ 与期望占比 $E_i$。

$$\displaystyle A_i = \frac{\text{实际箱内样本数}}{\text{实际总样本数}}, \quad E_i = \frac{\text{期望箱内样本数}}{\text{期望总样本数}}$$

2. 单项偏移：$(A_i - E_i) \times \ln(A_i / E_i)$ 同时衡量差值和方向，任何一箱的明显偏移都会被放大。

$$\displaystyle (A_i - E_i) \times \ln\left(\frac{A_i}{E_i}\right)$$

3. 汇总与阈值：所有箱子的偏移分相加得到 PSI。经验阈值：PSI < 0.1 稳定、0.1~0.25 需关注、> 0.25 必须告警并重新训练。

$$\displaystyle \text{PSI} < 0.1 \Rightarrow \text{分布稳定}$$

中央厨房让 50 家分店共享同一套稳定、可追踪的食材供给，特征平台则让几十个模型共享同一套标准、一致、受监控的特征服务。当一个公司的模型数量超过两位数，没有中央厨房式的特征平台，厨房就会变成灾难现场。

AI 应用场景

Python 演示

import numpy as npimport pandas as pdfrom sklearn.feature_selection import SelectKBest, mutual_info_classiffrom sklearn.ensemble import RandomForestClassifierfrom sklearn.model_selection import cross_val_score  def generate_features(df):    """自动特征生成：变换 + 组合 + 分箱 + 时序统计"""    out = df.copy()     # 1. 变换算子：log1p 压缩长尾分布    out["amount_log"] = np.log1p(df["amount"])     # 2. 组合特征：每活跃天消费金额（加平滑项防除零）    out["amt_per_active"] = df["amount"] / (df["active_days"] + 1e-6)     # 3. 分箱编码：年龄切成五个等级    out["age_bin"] = pd.cut(df["age"], bins=[0, 18, 30, 45, 60, 100],                            labels=[0, 1, 2, 3, 4]).astype(int)     # 4. 时序统计特征：近 3 笔消费的滚动均值    out["amt_ma3"] = out["amount"].rolling(3).mean().fillna(out["amount"])     return out  def select_features(X, y, k=8):    """过滤式特征选择：用互信息选 top-k 特征"""    selector = SelectKBest(mutual_info_classif, k=k)    selector.fit(X, y)    mask = selector.get_support()    return X.columns[mask].tolist(), selector  def evaluate(X, y, feature_names):    """用随机森林交叉验证评估特征子集效果"""    rf = RandomForestClassifier(n_estimators=60, random_state=42)    scores = cross_val_score(rf, X[feature_names], y, cv=3, scoring="roc_auc")    print(f"特征数 {len(feature_names):2d} | AUC {scores.mean():.4f}")    return scores.mean()  def main():    rng = np.random.RandomState(42)    n = 500    df = pd.DataFrame({        "amount": rng.lognormal(3, 1, n),        "balance": rng.normal(1000, 300, n).clip(0),        "age": rng.randint(18, 70, n),        "active_days": rng.randint(1, 30, n),        "is_new_user": rng.randint(0, 2, n),    })    y = (df["active_days"] > 15) & (df["amount"] > df["amount"].median())     fea_df = generate_features(df)    X = pd.get_dummies(fea_df, columns=["age_bin"])    X = X.fillna(X.median())     keep_names, selector = select_features(X, y, k=8)    print("自动发现的关键特征:", keep_names)    print("--- 特征选择后 ---")    evaluate(X, y, keep_names)    print("--- 原始特征对比 ---")    evaluate(X, y, df.columns.tolist())  if __name__ == "__main__":    main()

1. out["amount_log"] = np.log1p(df["amount"])对金额取对数并加 1 防零，把长尾数据压缩成更接近正态的分布。
2. out["amt_per_active"] = df["amount"] / (df["active_days"] + 1e-6)构造“每活跃天消费”组合特征，加极小平滑项避免除零。
3. out["age_bin"] = pd.cut(df["age"], bins=..., labels=...)将年龄连续值切成 5 个有序类别，实现分箱编码。
4. out["amt_ma3"] = out["amount"].rolling(3).mean().fillna(...)用 3 期滚动窗口求均值，模拟时序统计特征。
5. selector = SelectKBest(mutual_info_classif, k=k)用互信息过滤式方法，选出与标签关联最强的 8 个特征。
6. scores = cross_val_score(rf, X[feature_names], y, cv=3, scoring="roc_auc")三折交叉验证评估特征子集的 AUC，作为特征有效性的客观标尺。

常见误区

面试题