寒武纪MLU370/590架构与性能

可视化演示

展示系统处理流水线、实时性能指标曲线及多方案对比分析，包含数据流转、吞吐延迟监控与方案评估。

产品家族定位

走进这家 AI 芯片餐厅，你会看到一张“后厨分工表”：MLU370 是熟食快手，专精于把训练好的模型快速“出菜”——也就是推理任务，比如人脸识别、语音转写这类实时响应场景；MLU590 则是宴会总厨，负责“大锅菜”——大模型训练，需要同时处理海量数据。两人的灶台数量、仓库大小完全不同，但遵循的是同一套后厨设计图纸，这张图纸就叫 MLUarch 架构。

换成技术语言，MLU370 是推理专用卡，采用相对精简的计算核心和更高能效比设计，在 ResNet50、BERT 的推理任务中能效表现出色；MLU590 则堆叠了更多计算单元、更大的片上存储和更高的内存带宽，专门为大模型训练场景打造。这两颗芯片同属一个产品家族，都基于统一的 MLUarch 架构——就像同一家餐厅的不同分店采用同一套装修图纸，只是面积和灶台数量不同。

这套“统一图纸、不同规模”的策略，给开发者带来的最大红利是软件生态兼容。你给 MLU370 写的算子，在 MLU590 上基本不用改就能跑起来，因为指令集和内存模型高度一致。

MLU370 的“省电快手”路线让它在边缘推理场景特别吃香——同样的电费预算，它能服务的并发请求更多，对运营商来说就是实打实的成本节省。

MLUarch核心架构

餐厅的“后厨动线”设计决定了出菜效率。MLUarch 架构最核心的思路是“计算与存储解耦”：灶台（计算单元）和食材仓库（存储单元）分离，中间用高速传菜通道连接。传统架构里灶台旁边就是货架，虽然取料快但货架太小，大菜根本放不下；MLUarch 把仓库做大、放在远处，通过高速通道保证取料速度不成为瓶颈。

MLUarch 的具体实现是异构并行设计：芯片内部同时布置通用计算核心和专用加速单元。通用核心像全能帮厨，什么菜都能做；专用单元像熟食加工机，做特定菜品又快又好。这种异构设计让芯片在处理 AI 任务时，既能跑灵活的自定义算子，又能用专用单元加速矩阵乘法这类高频操作。

多精度支持是 MLUarch 的第三板斧。训练时可以切换到高精度的 FP32，保证梯度计算不“串味”；推理部署时则用 INT8 甚至更低精度，就像快餐店把菜提前做成半成品，出菜速度快好几倍，味道损失却不大。寒武纪的芯片在 FP32、FP16、INT8 之间动态切换，切换代价极小。

“动态精度切换”是 MLUarch 的独门绝技。训练初期用 FP32 保证梯度稳定，训练后期切换到 FP16 或混合精度，像大厨先慢火炖烂再大火收汁，时间和口感两不误。

并行计算双引擎

后厨的效率秘密在于“双灶并行”：一口灶专门炒菜（矩阵运算），一口灶专门切菜配菜（向量运算）。MLUarch 的并行计算引擎也分成两大阵营——向量计算单元和矩阵计算单元，它们可以同时开工，互不抢工具。

矩阵计算单元是 AI 计算的主力。神经网络的全连接层、卷积层本质就是矩阵乘法，MLU590 的矩阵单元像一台巨型压面机，把整块面团（大矩阵）一次性压成面条（输出特征图）。向量计算单元则负责逐元素操作，比如激活函数 ReLU、归一化、逐元素加法——这些操作像给每根面条单独调味，必须一个个处理，但可以流水线并行。

稀疏加速是引擎设计的点睛之笔。神经网络里有大量权重为零，如果全部计算等于做无用功。稀疏加速单元像厨房里的“垃圾分拣员”，把空壳虾（零权重）直接跳过，只炒有肉的虾仁。MLU370 对稀疏模型可以做到“零跳过”计算，让有效算力提升一倍。

双引擎加稀疏加速的组合，让 MLU590 在 Transformer 这类大模型上能充分发挥算力——矩阵引擎处理注意力头的批量乘法，向量引擎同步处理 LayerNorm 和 GELU 激活，互不阻塞。

异构存储架构

厨房的食材储备讲究“远近结合”：灶台旁放调料（片上 SRAM），后厨角落放冷藏库（HBM），中间有置物架过渡（多级缓存）。MLUarch 的存储架构正是这个逻辑，目标是让计算核心永远不等食材——数据要随叫随到。

片上 SRAM 是速度最快的存储层级，它像灶台边的调料瓶，存取延迟只有几个时钟周期。MLU590 的片上 SRAM 高达几十兆字节，能容纳大模型的一个层或一个注意力头的全部参数，避免频繁去“冷藏库”取数据。多级缓存（L1/L2）像置物架，缓冲从 HBM 读上来的数据块。

HBM（高带宽内存）是最终的大仓库，容量达到几十 GB 到上百 GB。MLU370 配备 48GB HBM，MLU590 则达到 128GB，带宽高达数 TB/s。这里的关键指标是“带宽/算力比”——如果算力很强但带宽不够，就像厨师刀工再好却没有食材可切，核心只能空转等待。

MLU590 的 128GB HBM 容量直接对标英伟达 A100 的 80GB，意味着它能装下 1750 亿参数的 GPT-3 级别的模型权重，配合梯度累积技术完成训练任务。

互联与多卡训练

一位总厨做一百道菜要一整天，但十位总厨各做十道菜只要一小时——前提是厨房之间要能快速交换半成品和调料。MLU590 的片间互联总线就是这个“厨房之间的传菜通道”，它决定了多卡训练的扩展效率。

多卡训练的核心难点是梯度同步。每张卡算出自己那份数据的梯度后，需要“晒出来”给所有其他卡看，然后大家拿着平均梯度一起更新模型。这个过程像十个厨师同时做同一道菜，做完后互换品尝，统一口味。如果互联带宽不够，大量时间会花在等别人送菜上，加速比远低于卡数。

MLU590 片间互联采用高速总线直连拓扑，多卡之间可以组成环状或全互联结构。理论最优情况下，N 卡训练的加速比接近 N 倍，但实际要考虑通信开销。寒武纪在多卡同步上使用高效的 AllReduce 算法，让通信数据量从“所有梯度汇总”压缩到“每轮只传一轮消息”，通信效率大幅提升。

在实际 BERT 大模型训练中，MLU590 双卡训练可达到近 1.8 倍加速比，四卡约 3.2 倍——虽然离线性有一点差距，但考虑到价格只有同级别 A100 的一部分，这个表现已经让很多实验室动心。

软件工具链

再好的厨房动线，没有好用的菜谱也白搭。寒武纪的“菜谱”是 BANG 编程语言和 Neuware 工具链。BANG 是一种类 C 的异构编程语言，让开发者直接编写在 MLU 上运行的算子内核（kernel），就像给总厨写一份专属菜谱。它支持线程层级、存储层级和同步操作，精通 CUDA 的人几乎可以零成本上手。

Neuware 是完整软件栈的总称，包含编译器、运行时库、驱动和性能分析工具。它像一个“厨房总管”：帮你把菜谱翻译成具体操作指令（编译），协调每个灶台的调度（运行时），记录每道菜耗时（分析器）。Neuware 还提供算子库，像半成品调料包，常用算子直接调用，不用自己写。

框架迁移适配是寒武纪生态落地的关键一步。Neuware 提供 TensorFlow、PyTorch 的适配层，让模型几乎可以“无感迁移”。用户只需要在 PyTorch 代码里把 model.to('cuda') 改成 model.to('mlu')，后续的算子映射、内存管理、图优化全部由 Neuware 自动完成。这个体验对开发者极其友好。

Neuware 的迁移体验在国产芯片里属于第一梯队。很多 NLP 团队把 BERT 从 CUDA 迁移到 MLU590 只花了一周左右，且精度完全对齐——这在两年前几乎是不可想象的。

性能定位评测

“开业酬宾”看的是真实口碑。寒武纪 MLU370/590 的性能定位，还是要落到实际应用场景的评测上。我们分别从推理、训练和能效三个维度看。

推理吞吐量是 MLU370 的主场。在 ResNet50 图像分类、BERT 文本分类等标准模型上，MLU370 的 INT8 推理吞吐量可达同价位 GPU 的 1.5 到 2 倍，尤其适合大规模在线服务场景。它的低功耗设计让单卡能支撑更高的并发请求，对云厂商来说每瓦吞吐量更划算。

训练吞吐量是 MLU590 的表演舞台。在 BERT-Large 预训练任务上，MLU590 的训练吞吐量达到 MLU370 的 4 倍以上，多卡线性扩展率超过 80%。这意味着 8 卡 MLU590 集群可以支撑中小规模大模型的完整预训练，而不必依赖昂贵的 A100 集群。

能效比是两者的共同卖点。国产芯片在能效设计上往往更激进，MLU370 的能效比达到 8 TOPS/W 以上，MLU590 接近 6 TOPS/W。对电力成本敏感的数据中心而言，低功耗意味着更高的部署密度和更低的运营成本，这是寒武纪芯片在与国际大厂竞争时的差异化优势。

综合来看，MLU370 和 MLU590 形成了清晰的“高低搭配”：370 负责高频、低延迟的推理场景，590 负责重型、高吞吐的训练场景。两者共享同一软件生态，让用户从小规模部署到大规模训练可以无缝扩容，这是寒武纪产品矩阵的聪明之处。

AI 应用场景

Python 演示

import time import torchimport torch.nn as nn  class SimpleBert(nn.Module):    """极简BERT模型，用于演示MLU与CUDA的迁移对比"""     def __init__(self, vocab_size: int = 30522, hidden: int = 768):        super().__init__()        self.embedding = nn.Embedding(vocab_size, hidden)        self.linear1 = nn.Linear(hidden, hidden * 4)        self.linear2 = nn.Linear(hidden * 4, hidden)        self.layernorm = nn.LayerNorm(hidden)     def forward(self, x: torch.Tensor) -> torch.Tensor:        h = self.embedding(x)        h = self.layernorm(torch.relu(self.linear1(h)))        return self.linear2(h)  def benchmark(model: nn.Module, x: torch.Tensor, device: str,              iterations: int = 100) -> float:    model = model.to(device)    x = x.to(device)    for _ in range(10):        model(x)    start = time.perf_counter()    for _ in range(iterations):        model(x)    elapsed = time.perf_counter() - start    return elapsed / iterations  def main() -> None:    vocab_size = 30522    hidden = 768    seq_len = 128    batch_size = 16    iterations = 100     model = SimpleBert(vocab_size, hidden)    x = torch.randint(0, vocab_size, (batch_size, seq_len))     if torch.cuda.is_available():        cuda_time = benchmark(model, x, "cuda", iterations)        print(f"CUDA: {cuda_time * 1000:.2f} ms/iteration")     try:        import torch_mlu        mlu_time = benchmark(model, x, "mlu", iterations)        print(f"MLU : {mlu_time * 1000:.2f} ms/iteration")    except ImportError:        print("MLU 环境未安装，跳过 MLU 基准测试")  if __name__ == "__main__":    main()

1. import torch_mlu导入寒武纪的 PyTorch 适配插件，注册 mlu 设备类型。
2. model = model.to(device)将模型权重迁移到指定设备，device 可以是 "cuda" 或 "mlu"。
3. x = x.to(device)将输入张量迁移到设备显存，这是算子在设备上执行的前提。
4. model(x)在目标设备上执行一次前向推理，触发 MLU 上的算子调度。
5. benchmark(model, x, device, iterations)封装了预热和执行测时的逻辑，确保结果稳定。

常见误区

面试题