t-SNE背后的概率分布原理剖析

可视化演示

动态演示t-SNE背后的概率分布原理的核心机制，通过输入/处理/存储/输出四种模式展示关键概念与交互流程。

问题起源：把社交圈排进宴会厅

婚礼策划师拿到一份宾客名册：每个人都连着几十上百条社交关系——发小、同事、远亲、球友……这些线索叠加起来，就是“高维空间”。可宴会厅只有二维平面，十张圆桌就是低维空间。排座的目标很简单：把社交关系尽量保留下来，让亲密的人挨着坐、陌生的人隔着坐。这就是降维任务的定义——在信息压缩中最大化保留数据结构。

这个想法最早由 SNE（随机近邻嵌入）提出。SNE 的奠基思想是：不要直接规定“谁该坐多近”，而是把亲疏关系翻译成概率——“在 A 的社交圈里，B 有多重要”用一个介于 0 和 1 之间的小数来表示。概率的好处是天然归一化，还能用信息论的尺子（KL 散度）来衡量两套概率的偏差。

但 SNE 有两个痛点：一是亲疏是单向的，A 觉得 B 重要不代表 B 觉得 A 重要，这种不对称让优化别扭；二是低维空间也用高斯分布，导致“拥挤问题”——后面我们会专门讲。t-SNE 的改进正是对症下药：对称化处理解决不对称，低维改用 Student-t 分布解决拥挤。这篇文章的全部内容，就是围绕这几个手术展开的。

所以，如果把这篇教程比作排座数学手册，目录就是：先看策划师手里的两把“亲疏尺”（高斯尺和厚尾尺），再看她手里的评价标准（KL 尴尬指数），最后看她的微调手法（梯度下降）和现场经验（调参）。

算法和 SNE 的核心追求一致：排出来的座位表，要让人觉得“策划师真的懂我们的关系”。

高维高斯分布：钟形曲线丈量亲疏

策划师面对的第一个问题是：怎么把“社交档案”变成一个数？她拿出一本“亲疏手册”：距离越近，亲密指数越高，而且衰减遵循一条平滑的钟形曲线——近处亲疏分明，到远处迅速归零。这就是高斯核的直觉：相似度只在局部有意义，对每个宾客来说，“朋友的朋友”已经基本不算亲密了。

在数学上，这条钟形曲线就是高斯分布。给定数据点 x_i，它把 x_j 视为近邻的条件概率定义为：先计算两点距离平方，放进以 σ_i 为带宽的高斯核里，再对所有 j 归一化。这里的 σ_i 是宾客 i 的“社交半径”——有些人社牛，社交圈很大，σ_i 就大；有些人只跟几个人熟，σ_i 就小。

$$\displaystyle p_{j|i} = \frac{\exp\left(-\frac{\lVert x_i - x_j \rVert^2}{2\sigma_i^2}\right)}{\sum_{k \neq i} \exp\left(-\frac{\lVert x_i - x_k \rVert^2}{2\sigma_i^2}\right)}$$

1. 距离平方：先量两位宾客在高维社交空间的欧氏距离平方，距离越远越不熟。

$$\lVert x_i - x_j \rVert^2$$

2. 高斯核折算：指数项把距离折算成亲密指数；距离为 0 时指数为 1，距离渐远指数快速滑向 0。

$$\exp\left(-\frac{\lVert x_i - x_j \rVert^2}{2\sigma_i^2}\right)$$

3. 归一化分母：把 i 对所有人的亲密指数加起来，作为“社交总盘”，让每个数的占比加起来恰好是 1。

$$\sum_{k \neq i} \exp\left(-\frac{\lVert x_i - x_k \rVert^2}{2\sigma_i^2}\right)$$

4. 条件概率：p_{j|i} 就是“在 i 的社交圈里，j 所占据的重视份额”。

$$p_{j|i} = \frac{\text{亲密指数}_{ij}}{\text{社交总盘}_i}$$

每个 σ_i 不是随便定的，而是由困惑度（perplexity）间接控制——我们会在“流程与调参”一节细说。为了让亲疏变成双向公平的“共同亲密度”，t-SNE 还做了对称化：把 p_{j|i} 和 p_{i|j} 取平均再除以样本数 n，得到联合概率 p_ij，保证所有 p_ij 加起来等于 1，同时避免某个“万人迷”点把概率天平压歪。

$$\displaystyle p_{ij} = \frac{p_{j|i} + p_{i|j}}{2n}$$

1. 两向相加：A 对 B 的重视份额加上 B 对 A 的重视份额，兼顾两边的感受。

$$p_{j|i} + p_{i|j}$$

2. 平均并归一：除以 2 是折中，再除以 n 让总概率归一，成为联合概率。

$$\frac{p_{j|i} + p_{i|j}}{2n}$$

钟形曲线的哲学是“近亲远疏”：高斯核把注意力集中在局部邻居上，远处的关系近乎忽略。这决定了 t-SNE 天生是“看局部”的算法——它不在乎遥远宾客之间的大局关系，只在乎每个人身边的几个熟人。

低维Student-t分布：厚尾巴的宽容尺

到了宴会厅，策划师发现高维那把高斯尺不能直接用了。原因很朴素：高维空间“容积”很大，大家各占一方，互不打扰；可宴会厅只有这么点地方，如果还用“距离稍远亲密指数就断崖式下跌”的钟形尺，中等距离的宾客就会被判定为“不够亲密”，逼得所有人往中间挤，谁都坐不舒服。这时候需要一把更宽容的尺子。

这把宽容尺就是自由度为 1 的 Student-t 分布。它的特征是“厚尾”：距离变远时，亲密指数不是指数级暴跌，而是温和地按距离平方缓慢衰减。换成大白话：在宴会厅里，哪怕坐得隔了两桌，亲密度也不会掉得太难看；只要别把真正的陌生人安排在邻座就行。

$$\displaystyle q_{ij} = \frac{(1 + \lVert y_i - y_j \rVert^2)^{-1}}{\sum_{k \neq l} (1 + \lVert y_k - y_l \rVert^2)^{-1}}$$

1. 低维距离：y_i 与 y_j 是两位宾客在圆桌上的嵌入坐标，这里算的是二维距离平方。

$$\lVert y_i - y_j \rVert^2$$

2. 一加一除：先加 1 让距离为 0 时权重为 1，再取倒数，使权重按 1/d² 的节奏缓慢衰减——这就是厚尾。

$$(1 + \lVert y_i - y_j \rVert^2)^{-1}$$

3. 全局分母：把所有宾客对的未归一化权重加总，作为整个宴会厅的“亲密度总盘”。

$$\sum_{k \neq l} (1 + \lVert y_k - y_l \rVert^2)^{-1}$$

4. 联合概率：q_ij 表示在低维座位安排下 i 和 j 实际形成的亲近比例。

$$q_{ij} = \frac{\text{低维亲密权重}_{ij}}{\text{低维总盘}}$$

为什么偏偏选自由度为 1 的 Student-t？数学上它恰好没有多余的超参数，尾部最厚实，与“低维容积严重不足”的困境最匹配。与高斯对比：高斯在距离 2 处权重已衰减到约 1/e²≈0.14，而 Student-t 仍有 1/5=0.2，且在大距离处衰减慢得多，这让“远处的点”在优化时依然有存在感。

厚尾尺的智慧是宽容：给中等距离的宾客留出体面的远方，不逼所有人贴在一起。这一设计直接为后面的“拥挤问题”解了围。

KL散度：宴会的尴尬指数

座位初排后，策划师需要回答：“这套排法到底好不好？”她设计了一个“尴尬指数”：如果两位本该两小无猜的老友被隔开五张桌，尴尬指数简直爆表；但把八竿子打不着的两个人安排在邻座，尴尬指数只有一点点。注意这个不对称——“该近却远”远比“该远却近”更让客人难受。这就是 KL 散度的性格。

KL 散度是信息论里最常用的分布差异度量。t-SNE 把它构造为代价函数 C：遍历所有点对，用高维概率 p_ij 作为权重，计算 p_ij 与 q_ij 的对数偏差。因为 p_ij 同时充当了权重，当 p_ij 很大而 q_ij 很小时，这一项贡献巨大；反过来 p_ij 小 q_ij 大时，贡献却很小。

$$\displaystyle C = \sum_{i} \sum_{j} p_{ij} \log \frac{p_{ij}}{q_{ij}}$$

1. 对数比值：p 与 q 相等时 log(1)=0，不产生尴尬；偏差越大，数值越大。

$$\log \frac{p_{ij}}{q_{ij}}$$

2. 高维权重：乘上 p_ij 后，高维里越亲近的点对，纠错话语权越大。

$$p_{ij} \log \frac{p_{ij}}{q_{ij}}$$

3. 双重求和：遍历 i 和 j 的所有组合，把每对宾客的尴尬值累加成总分。

$$\sum_{i} \sum_{j} \left( \cdots \right)$$

从优化角度看，这个不对称设计是刻意的：t-SNE 宁可让普通关系显得亲密一点，也绝不允许亲密关系被拆散。这正是“局部结构优先”原则的数学化身。策划师的原则被代码化了：老朋友绝不能分开，陌生人挨着坐没关系。

梯度下降：宾客间的引力与斥力

有了尴尬指数，策划师开始微调座位。规则很直观：如果两位宾客“高维很亲、低维却坐远了”（p>q），就把他们往中间拉——这是引力；如果“高维不熟、低维却挨着”（p<q），就把他们往两边推——这是斥力。梯度下降正是这套微调动作的数学表达：朝让 C 下降最快的方向移动每个点。

对代价函数求偏导，就能得到每个低维坐标 y_i 的更新方向。t-SNE 的梯度公式有一个漂亮的物理解释：每个点 i 受到的“力”等于所有其他点 j 贡献的引力和斥力之和，力的大小正比于 (p_ij − q_ij)，再乘以两点之间的方向向量和一个距离相关的缩放因子。

$$\displaystyle \frac{\partial C}{\partial y_i} = 4 \sum_{j} (p_{ij} - q_{ij})(y_i - y_j)(1 + \lVert y_i - y_j \rVert^2)^{-1}$$

1. 偏差符号：p_ij − q_ij 的正负决定引力还是斥力——正为拉近，负为推开。

$$p_{ij} - q_{ij}$$

2. 方向向量：(y_i − y_j) 指向从 j 到 i 的方向，让受力有方向感。

$$y_i - y_j$$

3. 厚尾缩放：除以 (1+d²) 是 Student-t 的尾巴在起作用，让远处点仍有小但不可忽略的影响力。

$$(1 + \lVert y_i - y_j \rVert^2)^{-1}$$

4. 求和与系数：把所有 j 的力叠加，再乘系数 4 匹配对称化后的概率尺度。

$$4 \sum_{j} (\,\cdots\,)$$

实际优化中，t-SNE 用学习率控制每次挪动的步子大小，用动量（momentum）像推秋千一样积累历史方向、越过局部平坦区。迭代几百轮后，各点的受力趋于平衡，座位表就基本稳定了。策划师只需在每次挪动后重新看一眼尴尬指数，确认它在逐步下降。

拥挤问题化解：厚尾为什么能救命

为什么低维必须用厚尾尺？因为高斯尺会引发著名的拥挤问题。想象高维空间里，很多点与 x_i 的距离都差不多“中等偏上”——在高维里它们各占一方，互不影响，高斯给它们的 p 值都接近 0，无所谓。可一旦映射到二维，这些“中等距离”的点全都被挤在中心附近，因为二维圆环的面积比高维球壳小太多，放不下这么多“中等距离”的位置。

如果低维还用高斯分布，后果就是：远处的点 q_ij 几乎为 0，梯度里 (p_ij − q_ij)≈0，斥力消失，被挤在中间的点动弹不得；而该照顾的“近亲”也因为周围太拥挤而无法真正靠近——一团浆糊。这正是 SNE 当年表现不佳的根源之一。

$$\displaystyle q^{\text{Student-t}} \propto \frac{1}{1 + d^2}, \qquad q^{\text{高斯}} \propto e^{-d^2}$$

1. 高斯快速崩塌：e^{-d²} 在距离稍大时就趋近于 0，远处的点“隐形”了。

$$e^{-d^2} \to 0 \quad (d \text{ 稍大})$$

2. 厚尾缓慢下降：1/(1+d²) 在距离很大时仍保持正值，远处的点“仍有分量”。

$$\frac{1}{1 + d^2} > 0 \quad (d \text{ 较大})$$

3. 斥力保留：因为 q 不为 0，梯度中 (p−q) 的斥力项得以维持，把扎堆的点往外围铺开。

$$(p_{ij} - q_{ij}) < 0 \Rightarrow \text{斥力持续存在}$$

于是厚尾分布的救场逻辑一目了然：它让“中等偏远”的距离在低维里依然能获得说得过去的 q 值，这些点不必紧贴中心也能匹配高维的“淡如水的交情”；同时远处点持续输出斥力，把人群从中心摊开到整个宴会厅，真正亲近的小团体反而获得了宽敞的空间。局部结构因此保住了。

流程与调参：策划师的实战清单

完整的 t-SNE 流程可以归纳为五步：先计算高维条件概率并对称化得到 P；再随机初始化低维坐标 Y；每轮迭代中计算低维联合概率 Q；用 KL 散度算出梯度和尴尬指数；按梯度更新 Y 并施加动量，直到收敛。整个过程就像策划师不断微调座位表，直到宾客们“各就各位”。

第一步里提到，每个点的高斯带宽 σ_i 由困惑度（perplexity）决定。困惑度量化了“每个点身边大约有多少个有效近邻”，典型取值在 5~50 之间。给定困惑度后，对每个点做二分搜索，找到使条件概率分布熵匹配的 σ_i——相当于给每位宾客定制一把合身的钟形尺。

$$\displaystyle \text{Perp}(P_i) = 2^{H(P_i)} = 2^{-\sum_j p_{j|i} \log_2 p_{j|i}}$$

1. 熵：条件概率 p_{j|i} 分布的熵，衡量 i 的社交圈是“广撒网”还是“深交少数”。

$$H(P_i) = -\sum_j p_{j|i} \log_2 p_{j|i}$$

2. 指数化：把熵从“比特”换算成“有效邻居个数”，直觉上更友好。

$$\text{Perp}(P_i) = 2^{H(P_i)}$$

除了困惑度，实战调参还看两块：优化超参数方面，学习率通常取 100~1000，动量在前 250 轮用 0.5、之后升到 0.8，迭代次数常见 1000 轮；读数技巧方面，t-SNE 结果的簇间距离和簇大小没有绝对含义，只能看局部邻近关系——就像婚宴座位表能告诉你谁跟谁熟，但别用它推断“第 3 桌和第 7 桌的人关系最差”。多次运行取共识，才是解读 t-SNE 的正确姿势。

AI 应用场景

Python 演示

import numpy as np  def tsne_demo(X, lr=200.0, num_iters=500, seed=0):    """Minimal t-SNE: Gaussian P + Student-t Q + KL gradient."""    n = X.shape[0]    rng = np.random.default_rng(seed)     # 1. high-dim conditional probabilities (fixed sigma, demo only)    sigma = 1.0    D = ((X[:, None, :] - X[None, :, :]) ** 2).sum(-1)    P = np.exp(-D / (2 * sigma * sigma))    np.fill_diagonal(P, 0)    P = P / P.sum()     # 2. random init of low-dim coordinates    Y = rng.normal(0, 1e-3, size=(n, 2))     for it in range(num_iters):        # 3. low-dim Student-t joint probabilities Q        DY = ((Y[:, None, :] - Y[None, :, :]) ** 2).sum(-1)        Q = 1.0 / (1.0 + DY)        np.fill_diagonal(Q, 0)        Q = Q / Q.sum()         # 4. gradient = attraction + repulsion        grad = np.zeros_like(Y)        for i in range(n):            infl = 1.0 / (1.0 + DY[i, :])  # heavy-tail scaling            diff = (P[i, :] - Q[i, :]) * infl            grad[i] = 4.0 * np.sum(diff[:, None] * (Y[i, :] - Y), axis=0)         # 5. gradient descent update (no momentum for simplicity)        Y -= lr * grad     return Y  if __name__ == "__main__":    # build 3 blobs and verify that t-SNE separates them    rng = np.random.default_rng(42)    centers = [np.array([0, 0]), np.array([3, 0]), np.array([0, 3])]    X = np.vstack([        rng.normal(loc=c, scale=0.3, size=(40, 2)) for c in centers    ])    Y = tsne_demo(X)    print("t-SNE demo done, output shape:", Y.shape)    print("first 3 rows of Y:\n", Y[:3])

1. P = np.exp(-D / (2 * sigma * sigma))用高斯核把距离矩阵变成“亲密指数”矩阵。
2. np.fill_diagonal(P, 0)自己跟自己的亲密度不算数，要对角线置零。
3. Q = 1.0 / (1.0 + DY)Student-t 核：距离越大权重越小，但按 1/d² 缓慢衰减。
4. infl = 1.0 / (1.0 + DY[i, :])梯度里的厚尾缩放因子，让远处点仍有斥力。
5. grad[i] = 4.0 * np.sum(diff[:, None] * (Y[i, :] - Y), axis=0)累加所有其他点对 i 的引力与斥力，方向是 (Y[i]−Y[j])。
6. Y -= lr * grad沿负梯度方向挪动低维坐标，尴尬指数下降。

常见误区

面试题