张量分解：高维数据的降维利器

可视化演示

展示高维张量的CP分解（秩1张量之和）与Tucker分解（核心张量+因子矩阵），直观对比两种降维方法的结构差异。

张量基础概念

你第一次走进一栋立体仓库：地面上是编号的“排”与“列”，头顶还有三层楼板，每层放着不同的货。光说“第三排第二列”还不够，你还得说“在三楼”。当数据有了三个甚至更多的“方向”，我们就不再叫它表格或矩阵，而是叫它“张量”。

一维数组是一排货架，二维矩阵是一层平面图，三维及以上的数组就是立体库房。专业上，张量的“维度数”叫“阶”，也叫“模式数”。例如“用户×商品×时间”的数据是三阶张量：每个元素由三个下标唯一锁定，\(x_{ijk}\) 表示第 \(i\) 个用户、第 \(j\) 个商品、第 \(k\) 个时间点的记录。

管好仓库，先学会用“排、列、层”三个坐标说话。张量分解，就是在这套坐标上做文章。

分解动机

但走进仓库你会发现：货物随意堆叠，明明同类商品散落在不同楼层。若只用传统表格方法按某一层整理，其他楼层依然混乱。矩阵分解就像只治理一层楼，遇到跨楼层的立体规律就无能为力。

矩阵分解（如 SVD、PCA）只能处理二维数据。真实业务中，“用户×商品×时间”“病人×脑电通道×频率”天然是三维以上。如果直接存储，数据量按维度指数膨胀；而且大量格子彼此相关、信息冗余。张量分解的动机，就是用少数“因子结构”近似整仓货物，既压缩存储，又提炼出隐藏特征。

只整理一层楼，永远管不好整栋立体仓库；必须把整仓看作一个整体，用低秩结构一口气压缩。

CP分解

你决定不再一件件登记货物，而是引入“标准集装箱”。每种集装箱形状最简单：一条从原点出发、沿三个方向分别有固定长度的“长条货架”。把若干个这样的标准货架按不同比例叠放，就能拼出整仓货物的分布。

这种“长条货架”在数学上叫“秩一张量”，是三个向量的外积 \(\mathbf{a} \circ \mathbf{b} \circ \mathbf{c}\)。CP 分解把原始张量近似为 R 个秩一张量的加权和。每个秩一张量只捕捉一个方向的“模式”，R 越大，近似越精细。

CP 分解就像用三种颜色的标准集装箱按编号和比例叠放：集装箱种类越全（R 越大），还原出的仓库越像，但堆的箱子也越多。

Tucker分解

CP 的“独立集装箱”思路虽然简洁，却忽略了仓库内部各方向之间的交互。于是另一种方案出现了：先建一个迷你样板仓库（核心张量），再用三组传送带分别把“排、列、层”三个方向放大，映射回原始尺寸。

Tucker 分解把张量写成“核心张量 + 每个模式乘一个因子矩阵”。它好比把数据的精华浓缩进一个小张量 \(\mathcal{G}\)，再用 \(\mathbf{A},\mathbf{B},\mathbf{C}\) 把精华推回完整空间，因此也被称为“多线性主成分分析”。

迷你样板仓加上三组传送带，能精准复刻整仓货物；若样板仓不允许交叉连线，就退化成普通集装箱叠放——这就是 Tucker 与 CP 的关系。

张量秩

无论用哪种拆法，你都会问同一个问题：至少要几种“标准货架”才能拼出这间仓库？这个“最少种类数”，就是张量的秩。

CP 秩定义为能把张量精确表示成秩一张量之和的最少项数。可惜这个数极难计算，通常属于 NP 难问题。实践上我们退而求其次：给定一个预算 R，找误差最小的秩-R 近似，而不是追求精确的“最少项数”。另外还有 n-秩：把张量沿某一个模式“展平”成矩阵后的矩阵秩，衡量的是该方向上的独立信息量。

现实计算中，我们更常求解低秩近似问题：

货架种类越少，仓库管理越省力，但拼出来的“仿品”和原仓之间总会有误差。张量分解的一切设计，本质上都在权衡这个公式里的“R”和“误差”。

应用与实战

仓库终于整理好了，订单像雪花般飞来。你发现，每个客户、每件商品、每个季节，都能用几条简短的“特征条码”描述。推荐系统不过是：把客户条码、商品条码、场景条码三张条码叠在一起，看看匹配度有多高。

这正是张量分解在推荐系统中的标准做法：把“用户×商品×场景”的交互记录构成三阶张量，分解后得到三组潜在因子，缺失值由因子乘积预测。同理，在信号处理中，脑电数据的“通道×时间×频率”张量经分解可分离出独立脑电节律；在数据压缩中，低秩因子比原始高维数据省下几个数量级的存储。

整仓货架的“条码化”，让推荐系统在几毫秒内就能完成匹配。读懂张量分解，你也就读懂了这类高维数据分析的核心秘密。

---

AI 应用场景

Python 演示

import numpy as np np.random.seed(0)X = np.random.rand(4, 5, 6)  # 一个 4x5x6 的三阶张量 def cp_als(X, R, iters=50):    I1, I2, I3 = X.shape    A = np.random.rand(I1, R)    B = np.random.rand(I2, R)    C = np.random.rand(I3, R)    for _ in range(iters):        BC = np.einsum('ir,jr->ijr', B, C).reshape(I2 * I3, R)        X1 = X.reshape(I1, I2 * I3)        A = np.linalg.lstsq(BC, X1.T, rcond=None)[0].T         AC = np.einsum('ir,jr->ijr', A, C).reshape(I1 * I3, R)        X2 = X.transpose(1, 0, 2).reshape(I2, I1 * I3)        B = np.linalg.lstsq(AC, X2.T, rcond=None)[0].T         AB = np.einsum('ir,jr->ijr', A, B).reshape(I1 * I2, R)        X3 = X.transpose(2, 0, 1).reshape(I3, I1 * I2)        C = np.linalg.lstsq(AB, X3.T, rcond=None)[0].T    return A, B, C A, B, C = cp_als(X, R=3)X_hat = np.einsum('ir,jr,kr->ijk', A, B, C)err = np.linalg.norm(X - X_hat) / np.linalg.norm(X)print('相对误差:', round(err, 4))

1. X = np.random.rand(4, 5, 6)生成一个 \(4 \times 5 \times 6\) 的随机三阶张量，模拟三维数据。
2. def cp_als(X, R, iters=50):定义 CP 分解的交替最小二乘函数，R 是秩，iters 是迭代轮数。
3. BC = np.einsum('ir,jr->ijr', B, C).reshape(I2 * I3, R)用 B、C 构造 Khatri-Rao 积，作为更新 A 的回归矩阵。
4. A = np.linalg.lstsq(BC, X1.T, rcond=None)[0].T固定 B、C，把问题转成最小二乘，更新因子矩阵 A。
5. AB = np.einsum('ir,jr->ijr', A, B).reshape(I1 * I2, R)同理构造 A、B 的 Khatri-Rao 积，用于更新 C。
6. X_hat = np.einsum('ir,jr,kr->ijk', A, B, C)用分解出来的三个因子矩阵重建原始张量。
7. err = np.linalg.norm(X - X_hat) / np.linalg.norm(X)计算相对误差，衡量秩 R 近似的质量。

常见误区

面试题