寒武纪MLU架构

可视化演示

展示系统处理流水线、实时性能指标曲线及多方案对比分析，包含数据流转、吞吐延迟监控与方案评估。

MLU指令集架构

走进这座AI专用厨房，你首先会注意到墙上挂着的“菜谱手册”——这就是MLU指令集架构。不同于CPU这种“全能厨师”需要掌握煎炒烹炸几百种技法，也不同于GPU这种“图形大师”需要处理图形渲染的各种特殊要求，MLU的菜谱只专注于一件事：AI计算。这些指令是寒武纪团队为深度学习工作负载量身设计的，就像米其林三星餐厅的专用灶台，每一个旋钮的位置都经过精确计算，确保厨师伸手即得。

MLU指令集的最大特色是“离核计算”（Off-Chip Computing）模式。在传统架构中，数据需要频繁地在计算单元和主存之间来回搬运，就像厨师每做一道菜都要跑到仓库取食材一样耗时。而MLU通过指令中的地址信息，让多个计算核心可以协同地从主存直接获取数据，绕过CPU的调度，就像厨房里安装了自动传送带，食材直接送到每位厨师手边。这种设计大幅减少了数据搬运的延迟和能耗。

具体来说，MLU指令集支持将计算任务分解为多个子任务，分配到不同的MLU Core上并行执行。每个核心可以独立地从主存或片上存储读取数据，计算完成后通过片上网络直接与其他核心通信，无需CPU介入。这种“无CPU参与”的数据流执行方式，就像流水线上每位工人完成自己的工序后，直接将半成品递给下一位工人，无需主管逐一指挥。

这种指令集设计让厨房的运作效率大幅提升。回到我们的比喻：CPU这位“全能主管”不再需要事无巨细地指挥每一道工序，MLU这套专用菜谱让整个流水线自动高效运转。对于AI从业者来说，理解这套指令集，就是理解了MLU厨房的基本运作规则——你知道食材如何流动、工序如何衔接，自然能写出更高效的“菜谱代码”。

MLU Core计算单元

现在让我们走进厨房的核心区域——MLU Core计算单元。如果说指令集是菜谱，那MLU Core就是灶台本身。一块MLU芯片上集成了多个MLU Core，就像一个大厨房里规划了多个专用灶位。每个MLU Core都是一个完整的“AI小厨师”，内部包含矩阵运算单元、向量运算单元和片上存储等组件，专门负责执行深度学习中最常见的数学运算。

矩阵运算单元是MLU Core的“主厨刀”。深度学习中的大量计算本质上都是矩阵乘法和卷积运算——你处理图像时，是在对像素矩阵做变换；你处理文本时，是在对词向量矩阵做运算。MLU Core里的矩阵运算单元像一把专门斩骨的厚背刀，它把矩阵乘法这个AI计算中最常见的操作做到了极致。相比之下，CPU需要几百条指令才能完成的矩阵乘法，MLU Core只需一条指令就可执行完毕。

片上存储（SRAM）是MLU Core的“冷藏柜”。每个MLU Core都配备了一块SRAM，用来存放当前计算需要的数据。由于SRAM紧贴着计算单元，数据读取速度比从主存（HBM）读取快一个量级。这就像大厨把常用的葱姜蒜放在手边的调料盒里，而不是每次用都跑到仓库去取。

MLU Core的多核架构支持灵活的并行计算模式。当一个大规模矩阵计算任务到达时，它会如切披萨一般将矩阵分块，交给多个核心并行处理。每个核心计算自己负责的那一块，最后通过片上网络将结果拼合起来。这种“分而治之”的设计，决定了MLU在高负载AI训练场景下仍然能保持烹饪节奏不乱——每道菜都能准时出锅，厨房整体的出餐量（吞吐量）大大提升。

Neuware软件栈

有了灶台和菜谱，如何让厨房高效运转起来？答案是Neuware软件栈。它是MLU厨房的“管理指挥系统”，负责把抽象的AI模型转换成MLU Core能理解的指令序列，并在运行时调度所有硬件资源。你可以把Neuware理解为这套AI厨房的操作系统——从用户点菜（模型API）到后厨执行（硬件计算），一切都井井有条。

Neuware软件栈的核心组件之一是编程框架。它提供了类Pytorch的接口，让你可以用熟悉的深度学习API编写模型代码。例如，torch.mlu()可以把PyTorch张量迁移到MLU设备上，model.to('mlu')将模型部署到MLU进行训练——这一切就像告诉厨房“今天要做什么菜”，剩下的备料、烹饪都由后厨自动完成。Neuware还提供了MLU算子库，将常用深度学习算子（卷积、池化、归一化等）进行了极致优化。

编译工具链是Neuware的“厨师长”。它对你的深度学习模型进行“阅读理解”，将高层的神经网络算子转化为MLU的底层指令。这个过程包括算子融合——把几个连续的小操作合并为一个高效的大操作，就像把“切菜、焯水、爆香”三个步骤合并为“过油”一个动作，省去了中间环节。同时，编译工具链还会优化数据布局和内存访问模式，确保数据在MLU Core与存储之间的流动畅通无阻。

运行时驱动则是Neuware的“传菜团队”。它负责管理MLU硬件资源：分配显存、创建任务队列、同步核间通信。当你启动一个训练任务时，驱动会将编译好的程序加载到MLU上，并确保计算与数据拷贝能够重叠执行——数据预取时，计算核心同时处理上一批数据，流水线不留空档。理解Neuware软件栈，就是你拿到了这套AI厨房的全部管理权限——你可以精确知道每一道菜（计算任务）在后厨（MLU）里的执行状态。

MLU性能特性

当你拥有一座AI专用厨房后，最关心的自然是它有多快、多省电、能多大规模地出餐——这正是MLU性能特性的核心话题。MLU的性能由多个指标共同刻画：吞吐量、能效比和可扩展性。这三个维度对应着厨房的“出餐速度”、“燃气消耗”和“扩店能力”。

首先是高吞吐量（Throughput）。吞吐量是单位时间内完成的计算量，通常用TFLOPS（每秒万亿次浮点运算）来度量。MLU架构通过大规模并行、深度流水线和高带宽片上存储来提升吞吐量。在推理任务上，MLU的吞吐量表现尤为突出——因为推理只需要一次前向传播，MLU的专用架构可以最大限度地利用硬件并行度。就像流水线厨房能在高峰期同时出几百份菜品，MLU能在模型服务器上同时处理成千上万个推理请求。

其次是能效比（Energy Efficiency）。能效比衡量的是每瓦特功耗能完成多少计算，单位通常是GFLOPS/W。MLU在设计之初就将能效比作为核心目标之一——AI计算的能耗是数据中心运营成本的大头。通过专有的数据流优化和片上存储管理，MLU减少了数据搬运次数，而数据搬运恰恰是芯片耗电的主要来源之一。这就像厨房设计时优化了动线——备菜区、烹饪区、出菜区之间的距离被压缩到最短，减少了厨师的来回走动，省下大量体力。

最后是可扩展性（Scalability）。MLU平台支持多卡互联和集群部署，通过高速互连将多颗MLU组成一台“超强厨房”。这就像一家大型连锁餐饮集团，开了一百家分店，每家店都使用相同装修标准化流程——当你写好一份代码，它可以在1颗MLU上运行，也可以无缝扩展到8颗、16颗，甚至整个集群。这种扩展能力保证了算力需求增长时，你只需增加设备而不必重写代码。

MLU应用场景

有了这套AI专用厨房，你可以在哪些地方使用它？MLU的应用场景覆盖了云端训练、边缘推理和信创平台三大方向，分别对应着大型中央厨房、社区快餐店、以及完全自主运营的餐饮品牌。

云端训练是最典型的重度使用场景。在云数据中心，训练大规模深度神经网络需要海量的算力支持。MLU的高吞吐量和可扩展性让多卡并行训练成为可能——你的模型参数矩阵被切分到多颗MLU上，通过同步梯度更新，像TeamLab的多个厨师同时做一百桌相同的宴席，保持菜品的完全一致。对使用云服务的AI公司来说，MLU提供了一种国产化的训练算力选择，避免了单一供应商依赖。

边缘推理则强调低延迟和高能效。在自动驾驶、智能安防、工业质检等场景中，推理任务需要靠近数据源实时完成——摄像头把图像传给附近的MLU设备，设备毫秒级内完成目标检测并返回结果。MLU的高能效比让这种设备可以部署在GPU受限的边缘环境中，以很小的功耗维持长时运行。这就像社区快餐店的“明厨亮灶”——菜就在顾客眼前做出来，不需要经过中央厨房长途配送。

信创平台是MLU区别于NVIDIA生态的核心场景。信创（信息技术应用创新）要求从硬件到软件全栈自主可控。MLU与国产操作系统（如麒麟、统信UOS）、国产深度学习框架（如飞桨PaddlePaddle、MindSpore）已经完成了深度适配。这意味着你可以在不依赖国外技术和标准的前提下，搭建完整的AI训练推理平台。这就像一家完全使用自主品牌食材和厨具的连锁餐厅——从种植基地到中央厨房再到分店餐桌，所有环节自主可控，不受国际供应链波动影响。

三种场景共同构成了MLU的生态布局。对于AI从业者，理解这些应用场景，就是在理解市场上哪类需求会需要“AI专用厨房”——是大型中央厨房（云端训练），是便捷快餐店（边缘推理），还是全自主品牌连锁（信创平台）。你的职业选择和技术规划也因此有了更清晰的方向。

MLU与GPU对比

说到AI计算芯片，人们总会自然想到NVIDIA GPU。MLU与GPU的对比，就像AI专用厨房与通用大型餐厅的对比。两者都能做出AI大餐，但设计理念、操作方法和适用场合有明显差异。了解这些差异，能帮你在实际项目中做出更明智的硬件选型。

从架构设计上看，GPU被设计为高度并行的通用处理器——它不仅仅是AI计算的工具，也擅长科学仿真、图形渲染、密码学等多种任务。这种通用性带来的代价是，芯片的面积和功耗中有一大部分被非AI用途的逻辑占据。MLU则是从零开始“为AI而设计”的芯片——不需要图形渲染管线和通用计算的包袱。这就像大型餐厅的厨房什么都能做，但要为各种烹饪方式配备不同灶具；AI专用厨房砍掉一切非AI需要的设备，把节省下来的空间和电力都用在最核心的矩阵运算上。

从软件生态角度看，NVIDIA的CUDA生态是其最大护城河。CUDA拥有十余年积累、数百万开发者、以及PyTorch/TensorFlow的深度原生优化。MLU对应的Neuware生态正在快速追赶，已经支持主流的深度学习框架，但在第三方库丰富度和社区规模上仍与CUDA有差距。这就像一家新开的快餐厅，菜品口味已经很棒，但店面数量和品牌知名度与麦当劳相比还有距离。不过，在信创场景中——当我们把“品牌国际供应链”视为风险时——Neuware的自主优势就显现出来了。

在实际选型中，你还需要考虑单位算力成本（性价比）、已有技术栈的迁移难度、以及生态兼容性等要素。对于已有CUDA代码基础的团队，迁移到MLU需要一定的开发周期，因为神经网络的底层算子实现和性能优化特性存在差异——虽然Neuware提供了高层次的框架兼容，但极端性能调优（如自定义算子、内存管理策略）仍需要深入理解MLU架构。

最终，MLU与GPU的对比不是“谁好谁坏”的问题，而是“谁更适合你的厨房”的问题。一家餐厅选择厨房设备，要看菜品定位、客流量、品牌战略和供应链安全。AI项目选型亦如此：综合算力需求、成本预算、合规要求和生态依赖，做出理性的决策。理解MLU的定位，就是理解国产AI算力生态中的“专用厨房”价值——也许它不是全能冠军，但在AI赛道上，它是认真思考过“什么才是真正的需要”后给出的答案。

AI 应用场景

Python 演示

import torchimport torch.nn as nnimport torchvision.models as models def check_mlu_available():    """检查当前环境是否有可用的MLU设备. 使用torch_mlu或torch.mlu接口."""    try:        # 新版Neuware通过torch_mlu扩展提供MLU支持        import torch_mlu  # noqa: F401        mlu_count = torch.mlu.device_count()        if mlu_count > 0:            print(f"[OK] 检测到 {mlu_count} 块MLU设备")            return True    except ImportError:        print("[INFO] 未检测到torch_mlu扩展包")    except AttributeError:        print("[INFO] 未找到torch.mlu接口")    return False def create_model():    """创建一个经典的ResNet18图像分类模型"""    model = models.resnet18(pretrained=False, num_classes=10)    return model def train_one_epoch(model, device, train_loader, optimizer, criterion):    """在指定设备(MLU/CPU/CUDA)上训练一个epoch"""    model.train()    total_loss = 0.0    correct = 0    total = 0     for images, labels in train_loader:        # 将数据迁移到目标设备        images = images.to(device)        labels = labels.to(device)         optimizer.zero_grad()        outputs = model(images)        loss = criterion(outputs, labels)        loss.backward()        optimizer.step()         total_loss += loss.item() * images.size(0)        _, preds = outputs.max(1)        correct += preds.eq(labels).sum().item()        total += labels.size(0)     avg_loss = total_loss / total    accuracy = 100.0 * correct / total    return avg_loss, accuracy def main():    """主流程: 检测MLU设备, 训练演示模型"""    # 是否可用MLU    mlu_ok = check_mlu_available()    if mlu_ok:        device = torch.mlu.device(0)        print("[INFO] 使用MLU设备进行训练")    else:        device = torch.device("cuda" if torch.cuda.is_available() else "cpu")        print(f"[INFO] 使用 {device} 作为后备设备")     # 构建模型    model = create_model().to(device)    print(f"[INFO] 模型参数总量: {sum(p.numel() for p in model.parameters()):,}")     # 模拟一批随机数据 (实际项目中请使用真实Dataset)    dummy_inputs = torch.randn(32, 3, 224, 224).to(device)    dummy_labels = torch.randint(0, 10, (32,)).to(device)    dataset = [(dummy_inputs[i], dummy_labels[i]) for i in range(32)]    train_loader = torch.utils.data.DataLoader(dataset, batch_size=8)     criterion = nn.CrossEntropyLoss()    optimizer = torch.optim.SGD(model.parameters(), lr=0.01, momentum=0.9)     # 训练1个epoch演示    loss, acc = train_one_epoch(model, device, train_loader, optimizer, criterion)    print(f"[RESULT] Epoch 1/1 | Loss: {loss:.4f} | Acc: {acc:.2f}%") if __name__ == "__main__":    main()

1. import torch_mlu导入Neuware的PyTorch扩展包，这是将PyTorch算子翻译为MLU指令的桥梁。
2. torch.mlu.device_count()调用Neuware运行时驱动，查询系统中有多少块MLU设备可用。
3. model.to(device)将模型参数和缓冲区迁移到指定设备（MLU的全局内存），这一步必须执行否则参数留在CPU无法在MLU上计算。
4. images.to(device)输入数据搬运到MLU设备，训练循环中每一批数据都需要显式迁移。
5. optimizer.zero_grad()清空上一批的梯度，防止梯度累积，是PyTorch标准流程。
6. loss.backward()自动微分引擎计算所有参数的梯度，在MLU上执行反向传播。
7. optimizer.step()根据梯度和学习率更新模型参数，在MLU上完成权重更新。

常见误区

面试题