数据画像：摸清数据集底细

可视化演示

动态演示数据画像的核心机制，通过基础/核心/应用/扩展四种模式展示关键概念与交互流程。

字段级画像：逐项体检指标

去体检时，护士会逐一测量你的血压、心率、血糖，每一个数都记录在案。字段级画像做的正是这件事：把数据集里每一列都当成一项“指标”，逐个检查它的“读数”是否正常。

在数据集中，一列叫做字段（Field），一行叫做记录（Record）。字段级画像为每个字段统计四类基本信息：数据类型识别、唯一值计数、缺失值统计、取值频次分布。数据类型识别告诉你这列存的是数值、日期还是文本；唯一值计数告诉你这列有多少种不同取值；缺失值统计告诉你空了多少；取值频次分布则展示最常见的几个值。衡量缺失情况最常用的公式是缺失率：

$$\displaystyle \text{缺失率} = \frac{N_{\text{missing}}}{N_{\text{total}}} \times 100\%$$

1. 分子 N_missing：统计目标字段中缺失值的记录条数，回答“有多少行没有这个值”。

$$N_{\text{missing}} = \text{count}(\text{字段值为空})$$

2. 分母 N_total：该字段所在表的全部记录数，代表“应该有多少个值”。

$$N_{\text{total}} = \text{count}(\text{所有记录})$$

3. 整体比值：让缺失个数除以总记录数，得到 0 到 1 之间的比例。

$$\frac{N_{\text{missing}}}{N_{\text{total}}}$$

4. 换算百分比：乘以 100% 得到直观的“缺失百分比”，方便对比不同字段的完整度。

$$\text{缺失率} \in [0\%, 100\%]$$

字段级画像的另一重要指标是唯一值率：唯一值个数除以记录数。若某字段几乎每条记录都不一样（唯一值率接近 100%），它很可能就是 ID 类字段；若取值很少，则可能是类别型字段。在实际项目中，我们对每个字段输出“类型 + 缺失率 + 唯一值数量 + 高频取值 Top3”的小卡片，就像护士写下的体检记录，让你一眼看清每个字段的底细。

表级画像：整体健康评估

医生看体检报告时，不只看单个指标，还会把身高和体重结合起来算 BMI，评估各项指标的综合关系。表级画像就是站在整张表的高度做“整体健康评估”。

表级画像主要回答四个问题：这张表有多大？每行能被唯一标识吗？表与表之间能接上吗？数据覆盖全吗？对应四个核心指标：行数列数统计、主键唯一性、表间关联度、数据覆盖率。主键唯一性是重中之重，它衡量的是一张表内“每一行是否都有独一无二的身份证号”，常用主键重复率来表示：

$$\displaystyle \text{主键重复率} = 1 - \frac{N_{\text{unique}}}{N_{\text{total}}}$$

1. 唯一值计数 N_unique：统计主键字段去重后的取值个数，即“不重样的身份证号有多少”。

$$N_{\text{unique}} = \lvert \text{unique}(\text{主键字段}) \rvert$$

2. 唯一值占比：将唯一值个数与总记录数相除，得到主键的“唯一水平”。

$$\frac{N_{\text{unique}}}{N_{\text{total}}}$$

3. 互补转换：用 1 减去该占比，把“越唯一越好”转化为“越重复越差”的重复率。

$$1 - \frac{N_{\text{unique}}}{N_{\text{total}}}$$

表间关联度则是在多张表之间统计外键匹配率：用 A 表的主键去连接 B 表的外键，看能匹配上多少行。匹配不上的记录就像体检档案里“查无此人”的信息，后续关联分析时会被丢弃。有了表级画像，你就能在建模前知道：表够大吗？行级粒度对不对？能不能安全拼接？就像医生用 BMI 判断整体体态，表级画像是判断整张表能否支撑业务分析的起点。

分布统计：指标参考范围

体检报告上每个指标都有参考区间：血糖 3.9~6.1 mmol/L，白细胞 4~10×10⁹/L。分布统计做的就是把数据集的“参考区间”画出来——不仅知道最小值和最大值，更知道大多数值聚集在哪个范围、分布形状是否健康。

分布统计最常用的工具有四类：直方图看全局形态；分位数（P25、P50、P75）看数据位置；均值和众数看集中趋势；偏度和峰度看形状与尾部。其中偏度（Skewness）衡量分布不对称的程度：

$$\displaystyle \text{Skewness} = \frac{1}{n}\sum_{i=1}^{n}\left(\frac{x_i - \bar{x}}{s}\right)^3$$

1. 离差 x_i−x̄：每个取值减去均值，体现该样本偏离中心的方向和距离。

$$x_i - \bar{x}$$

2. 标准化：再除以标准差 s，消除量纲影响，成为“偏离几个标准差”的标准化距离。

$$\frac{x_i - \bar{x}}{s}$$

3. 三次方：立方运算保留正负号并放大远距离样本的权重，让长尾端的贡献更明显。

$$\left( \frac{x_i - \bar{x}}{s} \right)^3$$

4. 求和平均：对所有样本的立方值求和并除以 n，得到总体偏度系数。

$$\text{Skewness} = \frac{1}{n}\sum_{i=1}^{n}\left( \frac{x_i - \bar{x}}{s} \right)^3$$

偏度接近 0 说明分布接近对称；偏度大于 0（正偏）说明右侧拖出长尾，多数值偏低但少数极大值把均值拉高；偏度小于 0 则相反。例如用户消费金额字段，绝大多数人消费很少、极少数人消费极高，就会呈现典型的正偏分布。弄清分布形态后，建模时就能决定是否做对数变换、分箱或归一化——就像参考区间帮你读懂血糖值，分布形态帮你决定这个字段该怎么用。

异常检测：找出指标爆表

体检最怕看到某个指标后面跟着红色的"↑"箭头，那是身体发出的警报。异常检测正是数据体检中亮红箭头的一环，在统计描述之外主动找出可疑记录，包括离群点、重复记录、格式异常与违反业务规则的数据。

最常用的离群点识别方法是 IQR（四分位距）规则，它像给数据画了一条“安全围栏”：

$$\displaystyle \text{离群区间} = [Q_1 - 1.5 \times \text{IQR},\ Q_3 + 1.5 \times \text{IQR}]$$

$$\text{IQR} = Q_3 - Q_1$$

1. 四分位数 Q1 与 Q3：把数据从小到大排序后四等分，Q1 是 25% 分位处的值，Q3 是 75% 分位处的值。

$$Q_1 = P_{25},\quad Q_3 = P_{75}$$

2. 四分位距 IQR：Q3 减去 Q1，代表“中间一半数据的宽度”。

$$\text{IQR} = Q_3 - Q_1$$

3. 容忍带宽：把 IQR 乘以 1.5 倍，得到围栏的扩展宽度。

$$1.5 \times \text{IQR}$$

4. 围栏上下界：分别向左右延伸形成一个区间，区间之外即离群点。

$$[Q_1 - 1.5 \times \text{IQR},\ Q_3 + 1.5 \times \text{IQR}]$$

除了数值离群点，异常检测还会检查重复记录（完全一样的行）、格式异常（如身份证位数不对、日期写成 2024/13/45）和业务规则冲突（年龄为负、折扣大于原价）。这些检测结果会标记在数据画像中，后续要么修正、要么剔除、要么单独建模。这就像复检医生把可疑指标圈出来提醒你重点关注，避免脏数据悄悄混进模型。

画像可视化：体检图表解读

体检报告不只有数字，还有心电图曲线、彩超影像和指标走势图——图比表格更让人秒懂。画像可视化就是把统计指标画成图：直方图和箱线图展示单字段分布；缺失值矩阵展开缺失所在位置；相关性热力图呈现字段间的相关性；仪表盘则把所有画像指标汇总到一屏。其中相关性热力图的核心计算是皮尔逊相关系数：

$$\displaystyle r = \frac{\sum (x_i - \bar{x})(y_i - \bar{y})}{\sqrt{\sum (x_i - \bar{x})^2}\sqrt{\sum (y_i - \bar{y})^2}}$$

1. 离差积 (x_i−x̄)(y_i−ȳ)：两列各自减去均值后相乘，同向波动时贡献为正，反向时贡献为负。

$$(x_i - \bar{x})(y_i - \bar{y})$$

2. 分子求和：把所有样本的离差积加起来，得到协方差，反映两列共同波动的总量。

$$\sum (x_i - \bar{x})(y_i - \bar{y})$$

3. 分母标准化：用两列各自的标准差之积作分母，把量纲不同的数值归一化。

$$\sqrt{\sum (x_i - \bar{x})^2} \cdot \sqrt{\sum (y_i - \bar{y})^2}$$

4. 最终系数：相除后得到 [-1,1] 间的相关系数，供热力图着色映射。

$$r \in [-1, 1]$$

在画像可视化实践中，缺失值矩阵一眼能看出“哪些字段一起缺失”（如用户填表时经常同时跳过收入和职业），相关性热力图则能提前暴露“身高与体重高度相关”这类多重共线性风险。可视化的价值在于把动辄百万行的数据集压缩成一屏图，让分析师和业务方在同一个画面上快速达成共识——这就像心电图的曲线比一串数字更能让医生和病人同时看懂病情。

画像报告：医生诊断书

体检的最后一步，医生会把所有指标汇总，写下一份带结论和建议的体检报告：“血脂偏高，建议清淡饮食，三个月后复查。”画像报告就是数据集的最终体检报告，把前面所有结果装订成册，供整个团队阅读和决策。

一份标准的画像报告包括四块内容：自动生成模板、数据质量评分、字段摘要说明、使用建议输出。自动生成模板指用代码一键产出 HTML 或 PDF 报告，避免手工整理；字段摘要说明为每个字段给出简洁的“体检小结”；数据质量评分则把分散的指标整合为 0~1 的分数，方便横向对比。常见的评分公式为：

$$\displaystyle \text{Score} = w_1 \cdot (1 - \text{缺失率}) + w_2 \cdot (1 - \text{重复率}) + w_3 \cdot \text{格式合规率}$$

1. 三项基础指标：缺失率、重复率、格式合规率分别对应完整性、唯一性与规范性。

$$\text{缺失率},\quad \text{重复率},\quad \text{格式合规率}$$

2. 正向化处理：用 1 减去缺失率和重复率，使三项指标统一为“越高越好”。

$$1 - \text{缺失率},\quad 1 - \text{重复率},\quad \text{格式合规率}$$

3. 权重系数：业务侧按重要程度赋予 w1、w2、w3，三项权重之和为 1。

$$w_1 + w_2 + w_3 = 1$$

4. 加权求和：各项乘权重后相加，得到 0~1 的综合质量评分，越接近 1 越健康。

$$\text{Score} = w_1 \cdot (1 - \text{缺失率}) + w_2 \cdot (1 - \text{重复率}) + w_3 \cdot \text{格式合规率}$$

画像报告是数据探索和质量摸底的通用交付物，也是数据资产盘点的基础——当数据平台里躺着几百张表时，一份带评分和标签的报告能让所有人快速知道“哪张表可以直接用、哪张表需要清洗”。一份画像报告最终指导的，是这份数据该如何被清洗、加工与建模，正如体检报告最终指导你的生活方式。

AI 应用场景

Python 演示

import pandas as pdimport numpy as np  def profile_dataset(df):    # 对数据集执行基础数据画像, 返回字段摘要/表级信息/质量评分    summary = []    for col in df.columns:        total = len(df)        missing = df[col].isna().sum()        unique = df[col].nunique()        summary.append({            'field': col,            'dtype': str(df[col].dtype),            'missing_rate': round(missing / total, 4),            'unique_rate': round(unique / total, 4),            'top_values': df[col].value_counts().head(3).index.tolist()        })    table_info = {        'rows': len(df),        'cols': len(df.columns),        'duplicate_rows': int(df.duplicated().sum())    }    score = sum((1 - s['missing_rate']) * 0.5 + s['unique_rate'] * 0.1 for s in summary) / len(summary)    print('=== 表级画像 ===')    print(table_info)    print('=== 字段级画像 ===')    for s in summary:        print(s)    print('=== 数据质量评分 ===', round(float(score), 4))    return summary, table_info, score  if __name__ == '__main__':    rng = np.random.default_rng(42)    data = {        'user_id': range(100),        'age': rng.integers(18, 65, 100),        'score': rng.normal(70, 10, 100).round(1),        'city': rng.choice(['Beijing', 'Shanghai', 'Guangzhou'], 100)    }    sample = pd.DataFrame(data)    sample.loc[3, 'age'] = np.nan    sample.loc[7, 'city'] = None    sample.loc[50, 'score'] = -9999    profile_dataset(sample)

1. missing = df[col].isna().sum()逐字段统计缺失值个数，这是字段级画像的核心计数。
2. unique = df[col].nunique()统计字段去重后的取值个数，用于计算唯一值率。
3. 'missing_rate': round(missing / total, 4)将缺失数除以总数并保留四位小数，得到缺失率。
4. 'top_values': df[col].value_counts().head(3).index.tolist()取出频次最高的前三个取值，对应画像报告中的“高频值 Top3”。
5. 'duplicate_rows': int(df.duplicated().sum())调用 duplicated 统计完全重复的行数，属于表级画像。
6. score = sum((1 - s['missing_rate']) * 0.5 + s['unique_rate'] * 0.1 for s in summary) / len(summary)用缺失率与唯一值率加权合成 0~1 的质量评分。

常见误区

面试题