层次聚类入门：自底向上合并的家族谱

可视化演示

展示自底向上层次聚类两大核心：数据点从个体逐步合并为簇的聚合过程，以及树状图（Dendrogram）的U型连接结构与三种簇间连接方式（单连接/全连接/均连接）。

认识层次聚类

回到那场家族聚会。你站在大厅中央，不打算硬性规定“分五桌”，而是先观察：谁和谁总在一起聊天，谁家与谁家来往密切。渐渐地，小圈子浮现出来，小圈子又聚成大圈子，最终整个家族形成一张层次分明的网。这张网就是我们说的“树状结构”——最底下是每一个具体的人，越往上越亲近的人被越早圈到一起。

在机器学习里，这种“不预设分组数、先找出层级结构”的做法，就叫层次聚类。它属于无监督学习，就像一个家族史学家，不被告知“该分成几个家族”，只被告知每个人的特征，然后通过特征间的远近，把数据组织成一棵树。层次聚类有两种方向：自底向上的“聚合式”，也就是本篇文章的主角，它从每个样本独自成簇开始，不断合并最近的簇；另一种是自顶向下的“分裂式”，一开始把所有样本当成一个簇，再不断拆开。

聚合式层次聚类之所以受欢迎，是因为它的输出非常灵活：合并过程形成一棵树，你可以在这棵树的任意高度“切一刀”，得到想要的聚类结果，而不需要提前回答“到底分几类”。这个特性尤其适合探索性分析——当我们对数据一无所知、只想看看它天然长成什么样的时候，层次聚类是最诚实的助手。

聚合式层次聚类在每一轮只做一件事：把当前所有簇中“距离最近”的两个簇合并成一个新簇。用集合语言描述，设当前簇集合为 $C_t$，选中的两个簇是 $C_i$、$C_j$，则下一轮的簇集合变为：

就这样，家族聚会从一个人一个人开始，逐步合并成小家庭、大家族，最后汇成一个根节点。下一节我们来看，到底用什么标准判断“谁和谁更亲近”。

距离度量

要判断两位亲戚“亲不亲”，标准可以有很多：住得近不近、性格合不合、每年走动的次数多不多。机器学习中的距离度量就是这套标准的数学化。最朴素也最常用的，是欧氏距离——想象你在城市地图上画一条直线连接两个点，这条直线的长度就是欧氏距离。它直接衡量两个样本在每个特征维度上的综合差异。

把每个样本看成多维空间里的一个点，特征就是这个点的坐标。对于两个样本 $x$ 和 $y$，它们的欧氏距离是：

其中 $p$ 是特征个数，$x_k$、$y_k$ 是它们在第 $k$ 个特征上的取值。

除了欧氏距离，还有一种常见的“曼哈顿距离”，它不追求直线，而是像在城市街区里只能横平竖直地走路一样，把每个维度上的绝对差直接相加。它更适合特征维度彼此独立、且不希望大差距被过度放大的场景。而在文本或用户画像等高维稀疏数据里，人们还会用余弦相似度来衡量方向的“合拍”程度。

需要特别注意的是：在算距离之前，一定要先做特征标准化。假如“年收入”以万元为单位、“年龄”以岁为单位，收入数值往往在几十的量级，年龄只有几十，距离计算会被收入主导，就像家族聚会中只看“谁有钱”而忽略了性格合不合。通常的做法是把每个特征缩放到均值 0、方差 1，让所有维度在距离计算里“平等发言”。

合并策略

现在问题来了：两个“家族”各有很多人，到底用什么指标判断这两个家族整不整亲近？这就像两家人商量联姻：是只看两家关系最好的那两个人，还是要求所有人彼此都熟络？三种经典策略给出了不同答案。

单连接（single linkage）只看两个簇之间“最近的一对点”的距离，像媒人只看两人来电就撮合两家。它的好处是能发现细长的簇，但坏处是容易产生“链式效应”——如果 A 与 B 近、B 与 C 近，即使 A 与 C 毫无关系，也会被一路连到一起。全连接（complete linkage）则看“最远的一对点”的距离，要求两家所有人都能接受，形成的簇更紧凑，但对离群点很敏感。平均连接（average linkage）取所有点对距离的平均值，是折中且常用的选择。

单连接的簇间距离定义为：

除了这三种，还有 Ward 法：它不直接看簇间距离，而是计算“如果合并这两个簇，簇内方差会增加多少”，我们总是选择让方差增加最小的合并方式。这就像两家合并成一个大家庭时，希望新家庭内部的生活方式最一致，不要吵吵闹闹。Ward 法在现实中很受欢迎，因为它倾向于生成大小均匀、紧凑的球状簇。

选择哪种合并策略，直接决定了家族树的形状。如果你用的是单连接，树状图容易拉出长长的“链”；如果希望每个簇都抱团紧密，全连接或 Ward 会更合适。实际项目中，平均连接和 Ward 是默认首选。

算法流程

现在我们把整个“写家谱”的过程整理成一份可执行的操作手册。假设我们有一份 8 位亲戚名单，每个人的性格、收入、爱好都记录在案。聚合式层次聚类的算法流程如下：

1. 初始化：把每个样本看作一个独立的簇，此时共有 $n$ 个簇。

2. 计算距离矩阵：用选定的距离度量，计算所有簇两两之间的距离，得到一个 $n \times n$ 的对称矩阵。

3. 寻找最近簇：在距离矩阵中找到最小值对应的两个簇。

4. 合并：将这两个簇合并成一个新簇，簇数减一。

5. 更新距离矩阵：用选定的合并策略，计算新簇与其余所有簇的距离，替换掉旧记录。

6. 重复：重复步骤 3-5，直到所有样本合并成一个大簇。

这个过程像极了写家谱：先列出所有人，再比较谁和谁最亲密，把最亲密的两家写成一个小家庭，然后重新评估这个小家庭与其他家庭的关系，继续合并，一层一层往上盖。

在平均连接策略下，新簇 $C_i \cup C_j$ 与某个旧簇 $C_k$ 的距离，可以高效地由旧距离递推得到：

这种递推式更新的好处是效率高：不必每次重新计算所有点对，而是复用之前算好的簇间距离。整个过程就像家族图谱中的“关系簿”不断变薄，直到最后只剩一行记录——所有人在同一个根节点下。

从代码实现的角度看，这个流程可以用一个距离矩阵加一个循环轻松实现。下面“Python 演示”一节会给出完整可运行的代码，让大家亲眼看到这棵家族树长出来的过程。

树状图解读

合并过程完成后，我们得到的不只是最终的聚类结果，更是一张完整的“家谱图”——树状图（dendrogram）。它的横轴排列着所有样本（相当于每个家族成员），纵轴表示合并时两个簇之间的距离（相当于亲缘关系跨越了多少代）。图中每一根竖线代表一个样本或一个簇，竖线之间连接的高度，就是它们被合并时的距离。

读树状图有两条心法。第一，竖线连接的高度越低，说明两个样本越亲近——就像家谱上亲兄弟比远方表亲离得更近。第二，在任意高度画一条水平线，这条线穿过的竖线数量，就是对应聚类数。水平线切得越低，得到的簇越多也越细；切得越高，簇越少越粗。这正是层次聚类“不需要预设簇数”的精髓：树先画好，切哪里由你决定。

更严格地说，给定切割高度 $h$，树状图中被切开的子树数量就是聚类数。令每个内部节点记录其合并高度，则：

举个例子：如果我们在高度 0.5 处横切一刀，发现竖线穿过了 3 根，那么数据可以分成 3 个簇；把刀提到高度 1.2，竖线只剩下 2 根，就变成 2 个簇。树状图就像一张家族总谱，任何世代的划分都可以通过一次切割实现，这也是它比 K-Means 更灵活的地方。

簇数选择

树状图画好了，可到底切几刀、分几族才合适？这里没有绝对正确的答案，但有几条实用的经验法则。

第一种是距离阈值法：直接观察树状图中合并距离的变化。如果某次合并发生时距离突然跳得很大，说明之前合并的都是“亲密家人”，而这次合并的是“远房亲戚”，那么在这个跳变之前的位置切割往往是自然的。另一种更量化的做法是寻找“高度跳变”最大的位置：将合并距离从小到大排序，找到相邻两次合并距离差最大的点，把它对应的合并轮次作为簇数的候选。

假设第 $t$ 次合并的距离为 $d_t$（按合并发生的先后排序），我们寻找跳变最大的位置：

除了看距离跳变，业务需求同样重要。做客户分群时，运营团队可能只需要 4 个细分人群，因为资源只够设计 4 套运营方案；即使统计上更合理的切分点是 6 族，也要尊重业务约束。轮廓系数则是纯数据视角的辅助指标：它衡量样本与自己簇内样本的相似度是否远高于与最近邻簇的相似度，数值越高说明聚类越清晰。

需要提醒的是，簇数选择本质上是一种“艺术 + 科学”的权衡：树状图提供了全面信息，但最终的切割高度必须结合可解释性和业务目标。就像家族聚会中，切几桌要看餐厅大小、人数和人际关系，而不是只看家谱图上哪条线最长。

应用与局限

家族谱画好了，它的价值不只是挂在墙上，而是能指导现实决策。层次聚类在工业界有三个非常典型的应用方向。第一是客户分群：电商公司不知道用户到底分几类，用层次聚类画出用户消费行为树，再结合运营需求决定分 5 类还是 8 类，为每类用户定制运营策略。第二是基因表达分析：生物学家对数千个基因的表达谱做层次聚类，树状图可以同时展示基因间的层级关系，帮助发现功能相似的基因模块。第三是文档主题组织：把新闻或知识库文档按词频向量聚成主题树，从根节点到叶子节点就是“主题”→“子主题”→“单篇文档”的层级目录。

然而，家族树再美，也有让人头疼的短板。最直接的是计算复杂度。聚合式层次聚类需要维护一个 $n \times n$ 的距离矩阵，合并一层的代价是找全矩阵最小值，所以总时间开销通常为：

另一个问题是对离群点敏感。一个离群点可能会被一路拖到很晚才被合并，形成一条细长的“尾巴”，干扰整棵树的形状。此外，层次聚类是贪心且不可逆的：一旦两个簇合并，后续就不能拆开重来，这也意味着早期的错误合并会被放大到后续所有层级。

正因为这些局限，层次聚类最适合中小规模、探索性的分析场景。当数据量巨大时，工程上常先用 K-Means 做粗略预聚类，再对每类内部做层次聚类，兼顾可扩展性与层级解释性。

AI 应用场景

Python 演示

import numpy as npfrom scipy.cluster.hierarchy import linkage, dendrogram, fclusterimport matplotlib.pyplot as plt  def main():    data = np.array([        [1.0, 0.8], [1.2, 1.1], [3.0, 2.8], [3.2, 3.5],        [6.0, 5.8], [6.5, 6.2], [0.5, 4.5], [4.0, 0.6]    ])    names = ['小明', '小红', '阿强', '阿丽', '老张', '老王', '小美', '大刘']    Z = linkage(data, method='average', metric='euclidean')    dendrogram(Z, labels=names)    plt.title('客户家族谱：平均连接下的层次聚类')    plt.ylabel('合并距离')    plt.show()    labels = fcluster(Z, t=2.0, criterion='distance')    print('切割高度 2.0 时的簇标签：', labels)  if __name__ == '__main__':    main()

1. data = np.array([...])构造八位“家族成员”的二维特征，每行是 （消费金额，活跃度） 的标准化取值。
2. linkage(data, method='average', metric='euclidean')以欧氏距离计算点间距离、以平均连接策略合并簇，返回合并记录矩阵 Z。
3. dendrogram(Z, labels=names)把合并记录画成树状图，就像把家谱画到纸上供人阅读。
4. fcluster(Z, t=2.0, criterion='distance')在树状高度 2.0 处水平切一刀，返回每个样本所属簇的编号。

常见误区

面试题