把文字类别变成数字的三种编码套路

可视化演示

对比SGD与Adam优化器在损失曲面上的收敛轨迹，展示动量累积与自适应学习率的优势。

什么是类别编码

老王看着后厨那本手写菜单，忽然明白了一件事：电脑不是听不懂红烧肉，而是它对“文字”这种形式一窍不通。就像外国人看不懂中文菜单一样，机器学习模型只认数字。老王需要的是一本“翻译词典”，把菜单上的每个菜名翻成数字，这就是类别编码。

类别编码（Categorical Encoding） 是特征工程中最基础也最容易被忽视的环节。真实业务数据里，性别（男/女）、城市（北京/上海/广州）、产品类别（数码/家居/服饰）都是文字标签。模型训练时，这些字段必须变成数值矩阵才能进入算法。如果不做编码直接塞给模型，绝大多数算法会直接报错——就像你给只会说英语的厨师递了份中文菜单。

\begin{equation} \displaystyle \text{类别编码}: \quad \mathcal{C} \to \mathbb{R}^d \end{equation}

1. 类别集合 $\mathcal{C}$：这就是老王菜单上所有菜名的集合，比如 {红烧肉，番茄炒蛋，清炒时蔬}。每个元素是一个类别。

$$\mathcal{C} = \{c_1, c_2, \ldots, c_k\}$$

2. 映射到实空间 $\mathbb{R}^d$：把每个菜名 $c_i$ 变成一个 d 维向量。d 可以等于类别数（独热编码），也可以是 1 或更低维（目标编码、频率编码）。

$$f: c_i \mapsto \mathbf{v}_i \in \mathbb{R}^d$$

3. 特征工程中的地位：编码是数据预处理的一环，发生在收集原始数据之后、训练模型之前。它决定了模型“吃”到的特征长什么样。

$$\text{原始数据} \xrightarrow{\text{编码}} \text{数值特征} \xrightarrow{\text{训练}} \text{模型}$$

老王把这页翻译词典贴在收银机上，但它只是一张白纸。现在，他要往上面填内容了。

独热编码详解

老王想出的第一个办法：给每道菜开一个专属窗口。菜单上不是有三道菜吗？那就开三个窗口——“红烧肉窗口”、“番茄炒蛋窗口”、“清炒时蔬窗口”。顾客点哪道菜，就在对应窗口敲一下铃。三个窗口的铃铛状态就表示“今天点了哪道菜”。

这就是独热编码（One-Hot Encoding） 的核心思想：有 K 个类别，就创建 K 个虚拟维度（窗口），每个类别独占一个维度为 1，其余为 0。这样“红烧肉”就变成了向量 $[1, 0, 0]$，“番茄炒蛋”变成 $[0, 1, 0]$，“清炒时蔬”变成 $[0, 0, 1]$。三个数字的“开关组合”能唯一表示任意一道菜，且任意两个向量之间的距离都相等——老王后厨的三个窗口，互不干扰。

\begin{equation} \displaystyle \mathbf{v}_i = [\mathbb{1}(i=1), \; \mathbb{1}(i=2), \; \ldots, \; \mathbb{1}(i=k)] \end{equation}

1. 指示函数 $\mathbb{1}(i=1)$：判断第 $i$ 个类别是否是第一个类别。如果是，这个维度就是 1（铃铛响了）；否则是 0（铃铛安静）。

$$\mathbb{1}(i=1) = \begin{cases} 1, & i=1 \\ 0, & i \neq 1 \end{cases}$$

2. 向量长度为 K：总共有几个类别，向量就有几维。老王菜单有 3 道菜，所以每个向量都是 3 维。

$$\mathbf{v}_i \in \{0,1\}^k$$

3. 唯一性保证：每个类别的向量都是独一无二的，任意两个类别向量的内积为 0，称为正交。这意味着“红烧肉”和“番茄炒蛋”在数字空间里没有任何关联，是完全独立的两道菜。

$$\mathbf{v}_i \cdot \mathbf{v}_j = 0 \quad (i \neq j)$$

但老王很快发现了问题：菜单上的菜只有 3 道，可广东茶餐厅的菜单有上百道菜！如果每道菜一个窗口，后厨得开几百个窗口，光是记住哪个窗口是哪道菜就够呛。在机器学习里，这叫维度爆炸——当类别数（基数）很大时，独热编码会生成极高维的稀疏矩阵，训练速度变慢、内存暴涨。独热编码最舒服的场景，是类别数少（一般建议少于 7 个）且类别之间没有大小顺序的无序特征，比如性别、颜色、国家代码。

目标编码详解

独热编码的窗口太多，老王换了个思路。他翻出过去三个月的记账本，惊讶地发现每道菜背后都有一个“平均满意度”：顾客给红烧肉平均打 4.5 分，给番茄炒蛋打 4.8 分，给清炒时蔬只打 3.2 分。老王心想：我不用记菜名，只记下每道菜的平均满意度数字不就行了吗？

这就是目标编码（Target Encoding） 的思路：用目标变量的均值来替换类别。在分类问题中，目标均值就是每个类别对应的标签平均值（比如点击率、转化率、好评率）。对第 $i$ 个类别，计算该类别所有样本的标签均值：$\text{enc}(c_i) = \frac{1}{n_i}\sum_{j \in c_i} y_j$。这样每个类别就压缩成了一个数字——老王不用记住“红烧肉”三个字，只需记住“打分 4.5”。

\begin{equation} \displaystyle \text{enc}(c_i) = \frac{1}{n_i} \sum_{j \in \text{Group}(c_i)} y_j \end{equation}

1. 分组 $\text{Group}(c_i)$：把所有属于第 $i$ 个类别的样本收集到一起。比如收集所有点过“红烧肉”的顾客记录。

$$\text{Group}(c_i) = \{x_j : \text{类别}(x_j) = c_i\}$$

2. 标签求和 $\sum y_j$：把这些样本的目标值（满意度评分）全部加起来。

$$S_i = \sum_{j \in \text{Group}(c_i)} y_j$$

3. 除以样本数 $n_i$：用总和除以该类别下的样本数量，得到平均分。这就是类别的新数字表示。

$$\text{enc}(c_i) = \frac{S_i}{n_i}$$

目标编码的魔力在于它特别适合高基数特征。比如“城市”有 500 个取值，独热编码会生成 500 列，而目标编码只生成 1 列——信息密度极高。但老王也有担忧：万一某道菜只被点过一次，那个顾客给了 5 分，这道菜就被标记为“满分神菜”，可这完全是巧合呀！这就是目标编码著名的过拟合风险。实际工程中常用平滑处理（Smoothing） 来解决：让小样本类别的均值向全局均值靠拢，公式为 $\text{enc} = \frac{n_i \cdot \bar{y}_i + m \cdot \bar{y}_{\text{global}}}{n_i + m}$，其中 $m$ 是平滑系数。当然，还有更严格的做法——在训练集和验证集上分别计算，避免数据泄露。

频率编码详解

目标编码虽好，但计算时要碰标签（y），老王嫌麻烦。他盯上了另一个更简单的数字：过去一年每道菜被点过多少次。红烧肉点了 1200 次，番茄炒蛋 800 次，清炒时蔬 400 次。老王想：干脆把这些次数直接当作菜名的数字代号吧！

这就是频率编码（Frequency Encoding）：统计每个类别在数据集中出现的次数（或占比），用这个频率数字替换原来的文字标签。公式极简单：$\text{enc}(c_i) = \text{count}(c_i)$ 或 $\text{enc}(c_i) = \frac{\text{count}(c_i)}{N}$，其中 $N$ 是总样本数。老王只用数一数菜单上每道菜被划掉的次数，就能完成翻译——完全不需要看顾客满意度，没有任何过拟合风险。

\begin{equation} \displaystyle \text{enc}(c_i) = \frac{\text{count}(c_i)}{\sum_{j=1}^{k} \text{count}(c_j)} \end{equation}

1. 计数 $\text{count}(c_i)$：数一数第 $i$ 个类别在数据集中出现了多少次。老王翻开点单记录就能数出来。

$$n_i = \text{count}(c_i)$$

2. 总样本数 $\sum_{j=1}^{k} n_j$：把所有类别的出现次数加在一起，得到总记录数。

$$N = \sum_{j=1}^{k} n_j$$

3. 计算占比：用每个类别的次数除以总数，得到 0 到 1 之间的频率。频率越高，说明这个类别越“热门”。

$$\text{enc}(c_i) = \frac{n_i}{N}$$

但频率编码的短板也很明显：信息量有限。一个数字只能反映“热门程度”，丢失了类别与目标之间的具体关系。比如“红烧肉”和“番茄炒蛋”频率相近，但它们的顾客满意度可能天差地别——频率编码就分辨不出来了。它像老王只知道每道菜的“人气排名”，却不知道“口碑如何”。频率编码的好处是简单、稳健，在树模型上往往有不错的表现，适合作为目标编码的替代品或基线方案。

三种编码对比

现在老王手上有三本账本：独热编码的“窗口铃铛本”、目标编码的“满意度打分本”、频率编码的“点单计数本”。到底该用哪本？得看情况。

独热编码：信息无损、类别间距离相等，适合低基数无序特征，模型解释性强。但高基数时维度爆炸，训练变慢。目标编码：维度仅 1 列，与目标强相关，适合高基数特征。但有数据泄露和过拟合风险，需要平滑和交叉验证。频率编码：实现最简单、最安全，不会泄露标签信息。但丢失了类别与目标的关系，信息量有限。三者还有一个核心差异：独热编码产生的特征彼此正交、互不影响；而目标编码和频率编码都是把类别压缩成一个标量，保留了“数量关系”但失去了“独立维度”。

| 对比维度 | 独热编码 | 目标编码 | 频率编码 |

|---------|---------|---------|---------|

| 输出维度 | K 列 | 1 列 | 1 列 |

| 类别基数适应性 | 低基数（<7） | 高基数 | 高基数 |

| 是否使用标签 | 否 | 是 | 否 |

| 过拟合风险 | 低 | 高（需平滑） | 低 |

| 信息保留 | 完整 | 目标相关 | 仅频率 |

老王盯着对比表，心里有了底：独热编码是精度高但“只适合小铺子”的方案；目标编码是“信息密度大但容易走火入魔”的功夫；频率编码是“简单实用但上限有限”的稳妥招。

编码选择实战

老王发现自己面对的真实场景越来越复杂：隔壁服装店的老板娘请他帮忙分析销售数据，字段里有“服装类目”——T恤、牛仔裤、羽绒服、卫衣、连衣裙……足足 32 个类目。如果一股脑全用独热编码，表格会多出 32 列，而且大多数列都是 0，又稀疏又占内存。老王根据三本账本，总结了实战选择的标准流程。

第一步：看类别基数。如果类别数 ≤ 7 且无序，直接用独热编码——简单、可解释、效果稳；如果类别数很多（几十甚至几百），果断放弃独热，考虑目标编码或频率编码。第二步：看模型类型。线性模型（逻辑回归、线性回归）对数值的“大小”敏感，独热编码的正交性最适合它；树模型（随机森林、XGBoost、LightGBM）本身能处理乱序数字，用标签编码或频率编码也能工作，但目标编码往往能提升效果。第三步：看安全要求。如果担心数据泄露（用到了标签信息），优先频率编码或独热；如果要用目标编码，必须在训练集内做交叉验证式的编码，且对测试集使用训练集的编码映射，防止“未来信息穿越”。

\begin{equation} \displaystyle \text{决策规则} = \begin{cases} \text{One-Hot}, & k \leq 7 \; \text{且无序} \\ \text{Target}, & k \gg 7 \; \text{且树模型} \\ \text{Frequency}, & \text{需要稳健基线} \end{cases} \end{equation}

1. 条件 $k \leq 7$：类别数量小于等于 7 时，独热编码生成的列数可接受，不会造成维度爆炸。

$$k \leq 7 \Rightarrow \text{One-Hot}$$

2. 条件 $k \gg 7$：类别数量远大于 7 时，独热编码列数过多，改用目标编码把类别压缩为 1 列。

$$k \gg 7 \Rightarrow \text{Target / Frequency}$$

3. 验证集评估：无论选哪种编码，最终都要在验证集上比较效果。编码没有绝对优劣，只有“适不适合当前数据”。

$$\text{准确率}_{\text{验证}} = \text{最终标准}$$

一周后，服装店的预测模型上线了，准确率提升了 15%。老王把三本账本整整齐齐地收进抽屉——他知道，编码只是第一步，但走对这一步，后面的模型训练就能顺风顺水。

AI 应用场景

Python 演示

import pandas as pdimport numpy as npfrom sklearn.preprocessing import OneHotEncoderfrom sklearn.model_selection import train_test_splitfrom sklearn.linear_model import LogisticRegressionfrom sklearn.metrics import accuracy_score # 构造老王快餐店的模拟数据data = pd.DataFrame({    '菜品': ['红烧肉', '番茄炒蛋', '清炒时蔬', '红烧肉', '番茄炒蛋',             '清炒时蔬', '红烧肉', '红烧肉', '番茄炒蛋', '清炒时蔬'],    '满意度': [1, 1, 0, 1, 0, 0, 1, 1, 1, 0]}) X = data[['菜品']]y = data['满意度'] # 1. 独热编码(One-Hot)one_hot = OneHotEncoder(sparse_output=False)X_one_hot = one_hot.fit_transform(X)print('独热编码维度:', X_one_hot.shape[1]) # 2. 频率编码(Frequency)freq_map = X['菜品'].value_counts(normalize=True)X_freq = X['菜品'].map(freq_map)print('频率编码示例:', X_freq.tolist()[:5]) # 3. 目标编码(Target)target_map = data.groupby('菜品')['满意度'].mean()X_target = X['菜品'].map(target_map)print('目标编码示例:', X_target.tolist()[:5]) # 用三种编码分别训练逻辑回归并对比encodings = {'独热编码': X_one_hot, '频率编码': X_freq.values.reshape(-1, 1),             '目标编码': X_target.values.reshape(-1, 1)} for name, X_enc in encodings.items():    X_train, X_val, y_train, y_val = train_test_split(        X_enc, y, test_size=0.3, random_state=42)    model = LogisticRegression()    model.fit(X_train, y_train)    acc = accuracy_score(y_val, model.predict(X_val))    print(f'{name} 准确率: {acc:.2f}')

1. OneHotEncoder(sparse_output=False)独热编码器将“菜品”列转为多列稀疏矩阵，每道菜一个维度。
2. value_counts(normalize=True)统计每道菜出现频率并归一化为占比，得到频率编码映射表。
3. X['菜品'].map(freq_map)用映射表把每个菜品名替换成其出现频率数字。
4. groupby('菜品')['满意度'].mean()按菜品分组计算满意度的均值，作为目标编码的替换值。
5. train_test_split(..., test_size=0.3)划分训练集和验证集，防止目标编码的数据泄露影响评估。

常见误区

面试题