JAX：Google函数式ML

为什么需要 JAX：从「手动优化」到「变换组合」

传统深度学习工作流中，自动微分由框架底层封装，批量计算靠手写 for 循环或 torch.vmap 之类的补丁实现，多卡并行则依赖复杂的分布式 API。科研场景尤其痛苦：你写一个漂亮的前向函数，却要分别维护其梯度、批处理版本和分布式版本，任何修改都要同步多处。GPU 利用率、编译缓存、数据搬运这些底层问题进一步分散了算法研究的注意力。

JAX 的解法是「变换」：所有计算都是纯函数（无副作用），框架通过 grad(f) 得到梯度函数，通过 vmap(f) 得到向量化版本，通过 jit(f) 得到 XLA 编译后加速的执行体，通过 pmap(f) 得到多设备并行版本。同一个函数可以任意组合这些变换，jit(vmap(grad(f))) 一行完成三层优化，且全部基于 JAX 的数组类型 jnp.ndarray 自动推导。这让科研代码的「表达能力」与「部署性能」第一次由同一份源码给出。

与静态图框架 TensorFlow 相比，JAX 没有独立于 Python 的图 DSL，代码即模型；与动态图框架 PyTorch 相比，JAX 突出函数式纯函数与大规模 XLA 编译。它的学习成本更高，但换来的是 TPU 原生支持、极致的并行扩展性和可组合的自动微分 —— 这是它在大模型与科学计算领域被广泛采用的根本原因。

安装与环境配置：3 步就绪

步骤一：选择安装目标。 仅用 CPU 学习和调试时直接安装 CPU 版 jax；有 NVIDIA GPU 时安装带 CUDA 12 插件的版本，无需单独装 jaxlib，pip 会自动拉取匹配的插件包。

步骤二：配置 Python 环境。 官方要求 Python 3.10 及以上，建议在干净虚拟环境（venv/conda）中安装，避免与 TensorFlow 等框架的依赖冲突。

步骤三：验证安装。 执行 import jax 并打印版本号与可用设备列表，确认默认设备是 CPU、GPU 还是 TPU。若打印 CpuDevice 而机器有 GPU，说明 CUDA 插件未正确识别，需检查 NVIDIA 驱动与 CUDA 运行时。

CPU 版安装约 400-600 MB（含 XLA 预编译产物），首次执行 jit 函数时会触发编译，后续同一签名的调用命中缓存。若在 TPU（Colab/Cloud TPU）上使用，需额外安装 jax[tpu]，但 Colab 环境一般已预装。

# CPU 版pip install -U jax # GPU 版（CUDA 12 + NVIDIA 驱动）pip install -U "jax[cuda12]" # 验证python -c "import jax; print(jax.__version__); print(jax.devices())"

快速上手：5 分钟跑通梯度、编译与向量化

JAX 的最小可用流程只有一个核心思路：先写一个普通 NumPy 风格函数，再用变换包一层。以二次函数求梯度为例，grad 接受一个返回标量的函数，返回一个新函数，新函数计算原函数在该点的梯度；jit 对函数做 XLA 编译加速；vmap 将单个样本处理函数批量应用到数组的每个元素上。

操作步骤：

1. 在终端安装 CPU 版 JAX（见上文安装步骤）。

2. 新建 quickstart.py，粘贴下方的完整代码。

3. 运行 python quickstart.py，核对输出：梯度应打印 6.0，jit 结果打印 30.0，vmap 结果打印前三个元素 [0. 2. 4.]，随机数输出一个 2×2 矩阵。

4. 试着把 jax.grad(f) 换成 jax.jit(jax.grad(f))，再次运行 —— 结果不变，说明变换可以任意组合。

进阶技巧：vmap 支持 in_axes 参数指定批处理维度；jit 可通过 static_argnums 标记需要按 Python 值处理的参数；记住随机数必须由 jax.random.key 创建，且每个 key 只能用一次。

import jaximport jax.numpy as jnp def f(x):    return jnp.sum(x ** 2) print(jax.grad(f)(3.0))          # 6.0print(jax.jit(f)(jnp.arange(5.0)))  # 30.0 def g(x):    return x * 2 xs = jnp.arange(10.0)print(jax.vmap(g)(xs)[:3])       # [0. 2. 4.] key = jax.random.key(0)print(jax.random.normal(key, (2, 2)))

核心能力详解：5 大支柱

支柱一：自动微分（grad/jacobian/hessian）。 jax.grad 只接受返回标量的函数，内部通过反向模式自动微分实现；对向量输出的雅可比矩阵使用 jax.jacobian，对二阶导数使用 jax.hessian（组合了两次 jacfwd 与 jacrev）。高阶微分可直接嵌套，jax.grad(jax.grad(f)) 即二阶导，这是科学计算中求解偏微分方程和优化问题的基础能力。

支柱二：即时编译（jit + XLA）。 jax.jit(f) 将 Python 函数追踪为计算图，交给 XLA 编译成针对当前设备优化的可执行程序。编译按参数形状（shape）和数据类型（dtype）缓存，相同签名的调用直接命中缓存，C++ 侧运行远快于 Python 解释执行。编译期间 Python 控制流会被「追踪」展开，因此 if/for 需用 jax.lax.cond/lax.scan 等编译期原语改写。

支柱三：自动向量化（vmap）。 jax.vmap(f) 将函数语义映射到数组的某一维度上，相当于在编译期生成批量循环，避免 Python for 循环的开销。例如处理一批图像时，写好单张图片的处理函数，vmap(f, in_axes=0) 即得到批次版本，GPU 上的并行度由 XLA 自动分配。

支柱四：大规模并行（pmap/SPMD）。 jax.pmap 将函数复制到多个设备上并分片执行数据，每个设备跑一份参数同步的副本；jax.experimental.shard_map 与 jax.lax.with_sharding_constraint 实现更细粒度的分片标注，供张量并行、流水线并行使用。配合 jax.distributed.initialize() 可无缝扩展到多机多卡集群与 TPU Pod。

支柱五：函数式随机数与不可变数组。 JAX 的数组不可原地修改，x[0] = 1 会抛 TypeError，所有更新操作返回新数组，保证纯函数语义。随机数由显式的 PRNG key 管理：key = jax.random.key(0) 创建根 key，jax.random.split(key, n) 派生子 key，每个 key 只用一次，从而在并行环境下保持确定性与可复现性。

生产部署与监控：从上线到运维

部署方式一：CPU/GPU 容器部署。 基础镜像使用 python:3.11-slim，安装 jax[cuda12] 与对应 CUDA 运行时。推理阶段不直接暴露 Python 进程，而是用 jax.export 将函数导出为 StableHLO 模块，再用 XLA 编译成设备可执行文件，供轻量推理服务加载。这样降低了运行时依赖，模型更新只需替换编译产物。

部署方式二：TPU/多机分布式训练。 在训练脚本入口调用 jax.distributed.initialize(coordinator_address, num_processes, process_id) 建立集群，之后 pmap 或 SPMD 分片自动在全部设备上执行。检查点保存建议使用 Orbax（JAX 官方生态组件），它对 PyTree、张量分片与多进程写出做了封装，避免手工处理 jnp.save 在多机下的文件冲突。

可观测性。 用 jax.profiler.start_trace("trace_dir") 采集 XLA 与设备执行轨迹，生成的 Perfetto/Chrome tracing 文件可定位算子瓶颈、数据搬运与编译等待。需要特别监控两个指标：jit 重新编译次数（动态形状会导致缓存频繁失效）和设备利用率（可通过 XLA 编译日志与 GPU/TPU 监控面板核对）。

<p class=“para-label“>避坑清单：</p><ul class=”dash-list“><li>坑 1：不要单独 pip install jaxlib —— 0.4.1 起 jaxlib 已并入 jax 发布流程，手动安装旧版 jaxlib 会导致版本不匹配、CUDA 插件无法加载。正确做法是直接 pip install ”jax[cuda12]”。</li><li>坑 2：CPU 版不能自动利用 GPU —— 默认 pip install jax 只装 CPU 后端，必须显式安装 jax[cuda12] 且机器 NVIDIA 驱动 ≥ 525 才会在 jax.devices() 中看到 GPU。</li><li>坑 3：jnp 数组不可原地赋值 —— x[0] = 1 会抛 TypeError，这是刻意设计，与 NumPy 行为不同；需要修改时用 x.at[0].set(1)。</li><li>坑 4：PRNG key 不可复用 —— 用同一个 key 连续调用 jax.random.normal 两次会产生相同随机数，必须用 jax.random.split 派生新 key，否则并行训练各设备随机序列相关，影响收敛。</li><li>坑 5：jit 内不能直接写 Python 动态控制流 —— if/for 依赖运行时数值时会在追踪期报错或导致重新编译，需改写为 jax.lax.cond、lax.switch、lax.while_loop 等编译期原语。</li></ul>

版本迭代

JAX 自 2018 年开源以来，演进主线是从「NumPy 加速实验」走向「大规模分布式训练基础设施」，期间完成了 DeviceArray 向 JAX Array 的合并、API 的清理与新目录结构调整，为 1.0 做准备。当前版本线已稳定在 0.5.x，最低 Python 版本提升到 3.10（截至训练数据，可能已有更新版本）。

AI 应用场景

常见误区

面试题