机器学习特征提取方法

可视化演示

特征概念内涵：先学会看瓜

王大爷卖瓜三十年，手一拍就知道熟不熟。小李问他是不是有透视眼，王大爷笑着摇头：我从来不看整个瓜，只听敲击声是否沉闷，看瓜藤是否鲜绿，摸瓜皮纹路是否舒展。机器学习里的特征，就是这样的“线索”。原始数据好比一个完整的西瓜，信息很多，但模型不需要照单全收，只需要能区分好瓜和坏瓜的关键信息。

特征提取的任务，是把原始数据变换成一组更能说明问题的数值。比如把“敲击声”“藤蔓颜色”“纹路宽度”三个线索记成三个数字，模型就可以基于这些数字做判断。如果直接拿整张西瓜图片的几十万像素给模型，大部分像素都和甜不甜无关，还会让训练又慢又不准。特征决定了模型能看见什么，也就决定了效果上限。

把单个样本的特征写成向量，就是：

$$\displaystyle \mathbf{X} = \begin{bmatrix} x_1 \\ x_2 \\ \vdots \\ x_d \end{bmatrix}$$

1. $\mathbf{X}$ 是特征向量：它把王大爷挑瓜时看的多个线索打包成一个整体。

$$\mathbf{X}$$

2. $x_1, x_2, \dots, x_d$ 是单个特征：例如敲击声、藤蔓颜色、纹路宽度等具体数值。

$$x_i,\ i=1,2,\dots,d$$

3. $d$ 是特征维度：线索的个数越多，维度越高，模型需要的数据也越多。

$$d$$

所以王大爷的第一步，不是急着拍瓜，而是先想清楚到底要看什么线索。特征没想明白，模型再先进，也像小李一样只能瞎猜。

手工特征设计：老把式的挑瓜手册

王大爷的挑瓜经验慢慢变成一本手册：敲声闷得恰到好处加 1 分，瓜藤鲜绿加 1 分，纹路舒展加 1 分，总分 3 分以上才进货。这种由人根据经验设计出来的特征，就是手工特征。

手工特征的核心是领域知识。做信贷风控的人知道“收入负债比”比“收入”本身更有效；做推荐的人会把“点击次数”和“曝光次数”组合成“点击率”。除了组合，还要把类别文本变成机器能算的编码，比如西瓜品种不能直接写成 1、2、3，因为 2 不代表比 1 更大。

类别特征常用独热编码。假设有三个品种，某个样本是第二个品种，特征向量就是：

$$\displaystyle \mathbf{e}_c = [0, \dots, 0, 1, 0, \dots, 0]$$

1. $\mathbf{e}_c$ 表示类别 $c$ 的独热向量：把西瓜品种变成位置标记，像是给每个品种一个独立抽屉。

$$\mathbf{e}_c$$

2. 中间的 1 表示命中的类别位置：只有类别对应的那一维是 1，其他维度都是 0。

$$e_{c,j}=1,\ j=c$$

3. 其余位置的 0 保证类别之间互不比较大小：避免把“品种 1”和“品种 2”误当成数值大小关系。

$$e_{c,j}=0,\ j\neq c$$

手册虽然好用，但记不全所有场景；遇到新品种、新病害，又得重新补规则。这提醒我们：手工特征很有用，但它只是提取特征的一种起点，不是终点。

统计特征提取：给瓜群做体检

王大爷不只挑单个瓜，还会给整批瓜做记录：平均重量多少、个头波动大不大、甜度分布是均匀还是两极化。这些从数据分布里算出来的指标，就是统计特征。

统计特征适合数值型数据和时序数据。一批瓜的重量可以提取均值、方差、最大值、最小值；分布是瘦高还是偏斜，由偏度和峰度描述；传感器采集的振动信号还可以做傅里叶变换，看能量集中在高频还是低频。

最基础也最常用的是均值和方差：

$$\displaystyle \mu = \frac{1}{n} \sum_{i=1}^{n} x_i, \quad \sigma^2 = \frac{1}{n} \sum_{i=1}^{n} (x_i - \mu)^2$$

1. $\mu$ 是均值：表示这批瓜的平均重量，反映整体水平。

$$\mu = \frac{1}{n} \sum_{i=1}^{n} x_i$$

2. $\sigma^2$ 是方差：表示每个瓜和平均重量的差距，波动越大越不稳定。

$$\sigma^2 = \frac{1}{n} \sum_{i=1}^{n} (x_i - \mu)^2$$

3. $n$ 是样本数量：记录瓜的个数，$n$ 越大统计越稳定。

$$n$$

就像王大爷用平均重量判断这批货是不是整体偏轻，统计特征能把群体规律浓缩成几个数字，但要小心：摘要会丢掉顺序和局部细节，该用时用，不该用时别硬套。

文本 TF-IDF：从评价里找关键词

顾客留言里，“甜”“脆”经常出现，“的”“了”也经常出现。王大爷知道，后者每个摊位都说，没有辨识度；只有“沙瓤”这种在少数留言里反复出现的词，才说明这家真有特色。这就是 TF-IDF 的思路。

TF 是 Term Frequency，指一个词在单篇文档里出现得有多频繁；DF 是 Document Frequency，指这个词在整个语料里出现在多少篇文档中。词越常见，DF 越大，逆文档频率 IDF 就越小。两者相乘，得到每个词对这篇文档的重要程度。

TF-IDF 的计算公式是：

$$\displaystyle \operatorname{TF\text{-}IDF}_{t,d} = \operatorname{TF}_{t,d} \times \left( \log \frac{N}{\operatorname{DF}_t + 1} + 1 \right)$$

1. $t$ 表示词，$d$ 表示文档：例如“沙瓤”这个词出现在某条西瓜评价里。

$$t,\ d$$

2. $\operatorname{TF}_{t,d}$ 是词频：词 $t$ 在文档 $d$ 中出现的次数除以文档总词数，突出“出现得多”。

$$\operatorname{TF}_{t,d} = \frac{c_{t,d}}{\sum_k c_{k,d}}$$

3. $\operatorname{DF}_t$ 是文档频率：包含词 $t$ 的文档数量，词越常见，DF 越大，IDF 越小。

$$\operatorname{DF}_t$$

4. $N$ 是文档总数，分母和整体加一平滑：避免除零，也让 IDF 不会因为常见词而变成很大的负数。

$$\log \frac{N}{\operatorname{DF}_t + 1} + 1$$

把每篇文档变成一长串 TF-IDF 数值，就是文本向量化。向量里大多数位置是 0，叫稀疏向量。做文本分类、情感分析前，还要记得去掉停用词。王大爷的经验是：评价里大家都在说的客套话，先扔一边，再找只属于这家的关键词。

图像 HOG：描摹轮廓的方向

远远看到一个轮廓，王大爷就能认出卖的是西瓜不是篮球。人眼能靠光影变化判断形状，HOG 特征就是把这个本领数字化：统计图像里局部梯度方向都朝哪。

先对图像求水平和垂直梯度，得到每个像素的梯度幅值和方向；再把图像切成小单元格，在每个单元格里统计方向直方图；最后把若干单元格组成块做归一化。这样得到的特征向量对轻微位移和光照变化更稳定。

单个像素的梯度可以写成：

$$\displaystyle G = \sqrt{G_x^2 + G_y^2}, \quad \theta = \arctan \frac{G_y}{G_x}$$

1. $G_x$ 是水平梯度：表示像素点左右明暗变化的速度。

$$G_x$$

2. $G_y$ 是垂直梯度：表示像素点上下明暗变化的速度。

$$G_y$$

3. $G$ 是梯度幅值：综合两个方向的强度，值越大表示这里轮廓越明显。

$$G = \sqrt{G_x^2 + G_y^2}$$

4. $\theta$ 是梯度方向：轮廓笔触指向的角度，HOG 统计不同角度出现次数来拼出形状。

$$\theta = \arctan \frac{G_y}{G_x}$$

HOG 就像在每个小格子里记录“笔触方向”的分布，组合起来就成了形状签名。它常用于行人、车辆等轮廓明显的目标检测，但要识别精细纹理，光靠它还远远不够。

深度学习自动特征：让模型自己长本事

王大爷后来带了个学徒，不背手册，只看大量照片和结果自己总结。学了一段时间，学徒逐渐发现：浅层要看瓜皮纹路，中层要看斑块形状，深层要把这些组合起来判断成熟度。深度学习自动特征也是如此。

卷积神经网络用卷积核在图像上滑动，每个卷积核就是一个自动学到的局部模式提取器。浅层学到边缘和颜色，深层学到部件和语义；整个过程由数据驱动，不太依赖人的手工规则，因此叫端到端学习。

一次卷积提取可以写成：

$$\displaystyle \mathbf{y}_{i,j} = \sum_{m=-1}^{1} \sum_{n=-1}^{1} \mathbf{W}_{m,n} \cdot \mathbf{x}_{i+m,j+n} + b$$

1. $\mathbf{x}_{i+m,j+n}$ 是输入图像的局部像素：相当于学徒看瓜皮上一小块纹理。

$$\mathbf{x}_{i+m,j+n}$$

2. $\mathbf{W}_{m,n}$ 是卷积核权重：学徒自己总结的“放大镜”，负责发现某种局部模式。

$$\mathbf{W}_{m,n}$$

3. 求和表示卷积运算：把放大镜扫过的每个像素加权求和，得到新特征图上的一个值。

$$\sum_{m=-1}^{1} \sum_{n=-1}^{1} \mathbf{W}_{m,n} \cdot \mathbf{x}_{i+m,j+n}$$

4. $b$ 是偏置：调节输出偏移，让特征提取更灵活。

$$b$$

但学徒不是免费的：它需要海量数据和算力，而且说不清自己到底看了什么。王大爷的经验手册在某些场合仍然更快更可靠。自动特征和手工特征，不是谁淘汰谁，而是互补。

特征设计原则：想清楚再看瓜

进货之前，王大爷总会问自己三个问题：这个线索真的和瓜甜不甜有关吗？两个线索是不是在重复说同一件事？采购员听得懂我为什么这么挑吗？这三个问题对应特征设计的有效性、独立性和可解释性。

有效性要求特征和目标变量高度相关；独立性要求特征之间尽量不冗余；可解释性要求人能理解特征的含义。对结构化数据，常用统计特征；对文本，用 TF-IDF；对图像，用 HOG 或深度特征。选择哪条路，要看业务场景和数据条件。

衡量两个特征是否冗余，可以用相关系数：

$$\displaystyle \rho_{X,Y} = \frac{\operatorname{Cov}(X,Y)}{\sigma_X \sigma_Y}$$

1. $X, Y$ 是两个特征列：例如西瓜重量和敲击声。

$$X, Y$$

2. $\operatorname{Cov}(X,Y)$ 是协方差：衡量两个特征是否一起变大或变小。

$$\operatorname{Cov}(X,Y)$$

3. $\sigma_X, \sigma_Y$ 是两列的标准差：用来归一化，使相关系数落在 -1 到 1 之间。

$$\sigma_X, \sigma_Y$$

4. $\rho_{X,Y}$ 是相关系数：接近 1 说明信号重复度高，设计特征时要考虑合并或去掉一个。

$$\rho_{X,Y}$$

王大爷把这三个问题刻在摊位上，提醒自己：特征提取不是堆技巧，而是围绕目标选线索。把每一步都问一句“对判断有没有用”，你也能成为数据界的挑瓜师傅。

AI 应用场景

Python 演示

import mathimport refrom collections import Counter  class TfidfVectorizer:    def __init__(self, corpus):        self.docs = []        for text in corpus:            words = re.findall(r'\w+', text.lower())            self.docs.append(words)        self.vocab = {}        self.doc_freq = {}        for words in self.docs:            for word in set(words):                self.doc_freq[word] = self.doc_freq.get(word, 0) + 1        for word in sorted(self.doc_freq):            self.vocab[word] = len(self.vocab)     def transform(self, new_docs):        rows = []        total_docs = len(self.docs)        for text in new_docs:            words = re.findall(r'\w+', text.lower())            counts = Counter(words)            vec = [0.0] * len(self.vocab)            for word, count in counts.items():                if word not in self.vocab:                    continue                tf = count / len(words)                idf = math.log(total_docs / (self.doc_freq[word] + 1)) + 1                vec[self.vocab[word]] = tf * idf            rows.append(vec)        return rows  if __name__ == '__main__':    corpus = [        'this melon is sweet and crisp',        'the melon is bitter not sweet',        'crisp sweet melon is a good melon',    ]    vectorizer = TfidfVectorizer(corpus)    print('vocab:', vectorizer.vocab)    print('vector:', vectorizer.transform(['this melon is crisp and sweet']))

1. self.doc_freq[word] = self.doc_freq.get(word, 0) + 1统计每个词出现在多少篇文档里，这是 IDF 的分母来源。
2. self.vocab[word] = len(self.vocab)给每个词编号，特征向量按词表顺序排列。
3. words = re.findall(r'\w+', text.lower())把文本切成小写词元，这里用空格模拟分词结果。
4. counts = Counter(words)统计文档内每个词出现次数，对应 TF 的分子。
5. tf = count / len(words)归一化词频，避免长文档天然占优。
6. idf = math.log(total_docs / (self.doc_freq[word] + 1)) + 1用总文档数除以文档频率，稀有词得分更高。
7. vec[self.vocab[word]] = tf * idf把 TF 和 IDF 相乘，写入特征向量对应位置。

常见误区

面试题