特征工程：类别编码

可视化演示

展示系统处理流水线、实时性能指标曲线及多方案对比分析，包含数据流转、吞吐延迟监控与方案评估。

编码缘起——AI前台只认数字

晚上九点，五湖四海的客人同时涌进前台。小陈飞快地敲着键盘，把每位客人的国籍、偏好、会员等级一条条录进系统。可当她敲下“国籍：中国”这行字时，屏幕却弹出一行红字：无法识别文本。小陈愣了——这套AI前台系统什么都好，唯独是个“数字控”，只认数字，不认文字。

这其实是所有机器学习模型的通病。类别特征（比如国籍、职业、商品类目）的取值是一串离散的字符串，而模型内部的数学运算——求内积、算距离、做梯度下降——全部建立在数值空间之上。更要命的是，数字天然有“大小”：5 比 3 大，但“中国”和“日本”之间没有大小，也没有“距离”。如果把文字按字典序硬编成 1、2、3，模型就会误以为“日本”恰好居于“中国”和“美国”的正中间，得到完全错误的规律。

因此，类别编码的本质，就是设计一个映射函数，把类别集合翻译成模型能计算的数字向量。这个函数必须守住两条底线：一是不同的类别要翻译成不同的数字（保持区分度）；二是不能凭空捏造虚假的“大小关系”（保持语义中立）。不同的编码方式，就是对同一个映射的不同设计方案。

小陈明白了一个道理：翻译不能瞎翻。她需要一张足够聪明的“登记卡”，让每种国籍都能被 AI 准确识别，又不让 AI 产生奇怪的联想。接下来的四个方案，就是她陆续尝试的四种编码套路。

One-Hot独热——一人一格的登记表

小陈的第一个方案最简单直白：一人一格。她做了一张登记表，五种国籍就是五列：中国、日本、美国、法国、巴西。客人来自哪里，就在对应列打 1，其余列打 0。整张表干净、清晰，AI 前台一眼就认出了每一位客人。这就是 One-Hot 独热编码——“独热”的意思是：只有自己那个格子是“热”的（1），其他格子全是“冰”的（0）。

这种方案的好处是彻底：类别之间完全正交，谁也不挨着谁，不存在“谁离谁更近”的误导，实现也极其简单。但代价同样肉眼可见：5 种国籍要 5 列，要是碰上 300 个城市、一万个商品 ID，登记表会宽到离谱，而且每一行几乎全是 0，内存和训练时间双双爆炸。

小陈盯着那张越拉越宽的登记表叹了口气：酒店才开业半年，国籍就从 5 种涨到了 30 种，照这个速度，One-Hot 这张表迟早得贴在城墙上。她不得不另想办法。

目标编码——平均消费当替身

小陈灵机一动：何必一个国籍占一列？不如用一个数代表这个国籍。她翻开 VIP 消费记录，算出每个国籍客人的平均消费额——日本客人平均每年消费 85 个单位，巴西客人只有 48。以后遇到日本客人，就在“国籍”这一栏填 85，遇到巴西客人填 48。AI 前台照样能干活，登记表却只有一列，再也不怕类别多了。这就是 Target Encoding（目标编码）：用类别内部的目标变量均值来代表这个类别。

目标编码的威力在于，它把“类别”和“预测目标”直接挂钩，信息密度很高。在电商、风控这类场景里，商品类目、职业代码等类别特征往往和目标（是否点击、是否违约）存在强关联，用它替换 One-Hot 能把模型效果拉升一大截。但危险也随之而来：如果一个类别只有 1 个样本，它的“均值”就是那一个人的数值，极端又不可靠。

小陈把公式抄在本子上：小类别的统计不可信时，就向全体客人的平均消费“收缩”一点，像新手估价师拿不准小区房价时，会往城市均价靠一靠。她给这个方案打了个勾，记下“高基数专用”。

频率编码——按出现次数编号

又过了几天，小陈接到一个新需求：给客人按“出生省份”分类。全国三十多个省份，用目标编码要小心维护均值，她嫌麻烦，干脆用起了最原始的笨办法——数数。哪个省份来的客人最多，这个省份的编号就最大。她把每个类别的出现次数除以总人数，得到一个 0 到 1 之间的比例，直接填进登记表。这就是频率编码。

频率编码没有任何花哨之处，但恰恰因为简单，它有三个好处：计算快、稳定、不会泄漏目标信息。它完全不依赖标签，所以即使在训练集和测试集分布略有偏移时，也不会像目标编码那样“一激动就过拟合”。缺点是信息量确实有限——它只描述了“常见度”，而常见度和业务目标往往只是弱相关，通常只能当辅助特征。

小陈在笔记里写道：频率编码就像按姓氏常见度给客人编号，“王”的编号很大，但老王是不是大客户？真不一定。它可以做保底方案，却不能当主力。

嵌入编码——AI自学的数字画像

后来酒店装了一套深度学习系统，小陈发现 AI 有个惊人的本事：它不再需要人为设计编码规则了，而是自己“学”出一套数字画像。系统给每个类别随机发一个初始向量，然后在训练中不断调整，最终让消费习惯相近的类别，在向量空间里的距离也相近。换句话说，AI 自己悟出了“日本客人常常和法国客人一样爱买红酒”之类的规律。这就是嵌入编码（Embedding）。

嵌入的本质是查表：每个类别对应一个稠密向量，维度由我们指定（比如 64 维），远小于类别总数。它既能压缩维度、缓解 One-Hot 的稀疏问题，又能表达类别之间的语义相似性，在推荐系统、NLP、用户画像中大放异彩。缺点是训练需要大量数据和算力，而且学出来的向量很难向业务方解释“为什么这两个类别离得近”。

小陈看着系统输出的向量坐标，笑着摇摇头：这就像老员工凭直觉把烟民都安排在同一个楼层，新客人一来就安排到隔壁——他自己也说不清理由，但结果就是让人舒坦。嵌入编码也是这么个“直觉”，只不过它的直觉是从数据里泡出来的。

选型之道——什么场景选什么编码

四种编码摆在桌上，小陈该选哪一张登记卡？她给自己总结了四个问题，这也是在实际项目中做编码选型时需要回答的核心问题：

1. 类别基数有多大？ 类别数很少（比如小于 10），优先 One-Hot，简单且可解释；类别数很大（几百上千），立刻放弃 One-Hot，转投目标编码或嵌入编码。

2. 模型是什么类型？ 树模型对特征做了大量非线性切分，对数值的具体尺度不敏感，可以放心使用目标编码和频率编码；线性模型对特征尺度敏感，编码前通常还需要标准化。

3. 样本量够不够？ 数据量小时，平滑的目标编码依然有风险，此时频率编码更抗造；数据量大且模型是深度网络时，嵌入编码的上限最高。

4. 业务方要不要解释？ 银行审核、医疗诊断这类强解释场景，目标编码和嵌入都很难交代，频率编码或 One-Hot 更稳妥。

选型不是非此即彼。一个常见技巧是把多种编码叠加使用，比如“目标编码 + 频率编码”拼成两列，让模型从“语义均值”和“常见度”两个角度同时吸收类别信息。小陈在笔记里总结成一句话：低基数要解释就 One-Hot，高基数要效果就 Target，怕泄漏图省事就频率，有数据要语义就嵌入。

半年后，小陈的酒店登记系统再也没出过大岔子。她看着手里的四张编码卡和一份选型清单，心想：所谓特征工程，原来就是把这些“翻译”的小事做到极致。数据不会说话，编码就是替数据说出模型能听懂的话。

实战要点——别在小阴沟里翻船

编码选型尘埃落定，小陈却在后续运营中踩了几个大坑，这里把它们都写出来，当作前车之鉴。第一个坑是缺失值：某个客人没填国籍，登记表那一栏空着。小陈一开始填 0，结果发现 0 和其他真实类别的编码混在一起，预测全乱。正确做法是单独设一个“未知”类别，给它编一个独立的编码值，而不是硬填 0。

第二个坑是罕见类别。有个国家的客商一年只来两三次，目标编码给它的均值全是噪音。小陈设了一个阈值统计，出现次数少于某个数的类别，一律合并成“其他”，再一起编码。第三个坑也是最隐蔽的——时序泄漏。她最初做目标编码时，直接在全量训练数据上统计均值，结果模型在测试集上表现惨不忍睹。原来编码值偷看了样本自己的标签，就像考试时你先看了答案再做题，平时成绩漂亮，上考场就露馅。正确做法是在交叉验证的每一折内只使用其余折的数据做统计，时序场景则只用截止日期之前的数据。

第四个坑是编码统一。上线那天，线上系统遇到一个训练集里从没见过的“新国籍”，映射表查不到，程序直接崩溃。小陈在映射表里加了一个默认值兜底，把所有未知类别统一映射到“未知”编码上，系统这才安安稳稳。她还养成了一个习惯：把训练好的映射表存成文件，训练和预测共用同一份，确保两边口径永远一致。

小陈把四个坑的教训贴在了总台背后的墙上：缺失值设未知、罕见类别合并、防泄漏、编码统一。登记表终于安安稳稳地运转起来，而她的“数字登记卡”故事，也成了新员工入职培训的必备一课。

AI 应用场景

Python 演示

# -*- coding: utf-8 -*-"""类别编码示例：One-Hot / Target / 频率 三种策略的对比""" import numpy as np  class CategoryEncoder:    """把文字类别翻译成模型能用的数字（类比前台小陈的数字登记卡）"""     def __init__(self, method="onehot", smooth=10.0):        self.method = method        self.smooth = smooth        self.mapping_ = {}        self.columns_ = None     def fit(self, x, y=None):        x = np.asarray(x)        if self.method == "onehot":            self.columns_ = sorted(set(x.tolist()))        elif self.method == "target":            y = np.asarray(y, dtype=float)            global_mean = float(y.mean())            for cat in set(x.tolist()):                mask = (x == cat)                n_c = int(mask.sum())                mean_c = float(y[mask].mean()) if n_c > 0 else global_mean                self.mapping_[cat] = (n_c * mean_c + self.smooth * global_mean) / (n_c + self.smooth)        elif self.method == "freq":            n = len(x)            for cat in set(x.tolist()):                n_c = int((x == cat).sum())                self.mapping_[cat] = n_c / n        else:            raise ValueError("unknown method: " + str(self.method))        return self     def transform(self, x):        x = np.asarray(x)        if self.method == "onehot":            out = np.zeros((len(x), len(self.columns_)))            for i, cat in enumerate(x.tolist()):                out[i, self.columns_.index(cat)] = 1            return out        return np.array([self.mapping_.get(cat, 0.0) for cat in x.tolist()])  if __name__ == "__main__":    x = np.array(["cn", "jp", "us", "cn", "us", "cn", "fr", "jp"])    y = np.array([90.0, 60.0, 85.0, 95.0, 88.0, 80.0, 45.0, 58.0])    for method in ["onehot", "target", "freq"]:        enc = CategoryEncoder(method=method, smooth=10.0)        enc.fit(x, y)        print(method, enc.transform(x))

1. class CategoryEncoder:定义一张“数字登记卡”的统一接口，三种编码共用这套逻辑。
2. self.mapping_ = {}登记册：存储“类别 → 数字”的映射关系，fit 阶段填好，transform 阶段查表。
3. global_mean = float(y.mean())全体目标均值，作为目标编码平滑时的基准量。
4. self.mapping_[cat] = (n_c * mean_c + self.smooth * global_mean) / (n_c + self.smooth)目标编码的核心公式：小样本类别向全局均值收缩，防止过拟合。
5. out[i, self.columns_.index(cat)] = 1One-Hot 点灯：在对应类别列上写 1，其余列保持 0。
6. np.array([self.mapping_.get(cat, 0.0) for cat in x.tolist()])查表映射，遇到没见过的新类别时用 0.0 兜底，对应实战中的“新类别防崩”。

常见误区

面试题