芯片横向对比：国产芯片（昇腾/寒武纪）性能对比

可视化演示

三步展示国产芯片对比：架构对比（昇腾910B-达芬奇Cube/寒武纪590-MLU vs A100-Ampere/H100-Hopper）、训练吞吐对比（910B≈A100的75%/590≈55%/H100≈140%）、差距与进步分析（训练75-90%接近/能效90-100%持平/互联40-50%差距大/生态50-60%差距大）。

指标定义

要评出谁是好大厨，先得定好评分标准。你不能只凭感觉说“这位炒的菜香”，得把它拆成可量化的维度。在芯片的世界里，我们关注三个核心维度：训练吞吐量、推理延迟和能效比。这三把尺子，分别量的是“干活的量”、“反应的速度”和“烧掉的燃料”。只有把尺子校准了，后面的对比才有意义。

• 训练吞吐量：就像厨师一小时能炒多少盘菜。在AI领域，它衡量的是芯片每秒能处理多少训练样本（通常以images/sec为单位）。吞吐量越高，训练一个模型所需的墙钟时间就越短。

• 推理延迟：就像客人点餐到上菜之间的时间。对AI应用而言，就是从输入一张图片到模型输出结果所花的时间（以毫秒计）。延迟越低，用户体验越流畅，这在自动驾驶、实时翻译等场景尤为关键。

• 能效比：就像每道菜平均消耗多少煤气。它用“每瓦特功率能完成多少计算”（例如FLOPS/W）来衡量。能效比越高，长期运营的电力成本就越低，散热压力也越小。

回到食堂的比喻：归一化就像把三位厨师各自擅长的菜系全换算成“一份标准宫保鸡丁”来做比较——不管他平时做的是粤菜、川菜还是西餐，在同一个起跑线上量出“一小时能做几份”，这才公平。

基准测试

既然有了尺子，接下来就要在“标准考场”里比试。你不能让洋大厨在顶级厨房里做菜、让本地学徒在露天灶台比划——环境不同，结果没有可比性。AI芯片行业也有自己的“标准考场”，最著名的当属MLPerf榜单。MLPerf是国际公认的AI性能基准测试，包含训练（Training）和推理（Inference）两大赛道，像奥林匹克运动会的官方计时器一样，为业界提供权威数据。

• 公开数据源：MLPerf官方排行榜、各芯片厂商发布的白皮书、知名研究机构的评测报告，都是获取“比赛成绩”的可靠渠道。

• 测试环境统一：为了保证公平，MLPerf对硬件配置、软件栈版本、Batch Size等参数都有严格规定。就像要求所有厨师使用同样的锅具和灶台，排除客观条件差异。

• 评测口径：要注意区分“训练吞吐量”和“推理吞吐量”——前者是批量离线学习，后者是单条在线响应。二者如同“备菜速度”和“上菜速度”，不可混为一谈。

标准考场的重要性在于：它让不同实验室、不同时间、不同团队的测试结果有了横向可比性。就像百米赛跑必须有标准的跑道长度和风速记录一样，制度化的基准测试让芯片领域的“冠军成绩”真实可信。

昇腾九一零B

现在，我们把目光聚焦到第一位国产选手——昇腾910B。它就像那位本地培养的年轻学徒，虽然出道时间不长，但天赋异禀、进步神速。昇腾910B是华为推出的AI训练芯片，基于自研的达芬奇架构，在2023年发布后迅速成为国产AI训练的中坚力量。实测中，它的训练吞吐量已达到A100的70%~80%，推理性能也相当可观。

• 训练表现：在主流CV模型（如ResNet-50）和NLP模型（如BERT）的训练中，910B的吞吐量约为A100的0.70~0.78倍。用食堂的话说，洋大厨一小时炒100盘，学徒能炒70多盘——差距已经从“望尘莫及”缩小到“咬得住的尾巴”。

• 推理表现：在在线推理场景，910B的延迟约为A100的1.3倍，意味着响应稍慢，但对于大多数非实时性严格的应用（如离线批量处理、内容审核），已经“够用”。

• 能效优势：值得注意的是，910B的能效比约为A100的0.66倍，但在同等功耗下能实现的算力密度已相当出色，特别是采用7nm工艺后，单位算力成本显著下降。

• 生态成熟度：昇腾拥有完整的CANN软件栈，支持PyTorch、MindSpore等主流框架，开发者迁移成本可控。这是它区别于“裸硬件”的重要加分项。

昇腾910B用自己的表现证明：国产芯片已经跨越了“能不能用”的坎，进入“好不好用”的打磨阶段。它像一位基本功扎实的学徒，虽然还没有大厨的全部绝活，但已经在很多常规菜式上撑得起场面，而且用工成本更低——这正是国产替代决策中最吸引人的部分。

寒武纪思元五九零

第二位国产选手是寒武纪思元590（MLU590）。如果说昇腾是综合型学徒，那思元590更像一位专攻快炒的“特色厨师”——在特定菜式上，他的速度甚至能挑战大厨。思元590是寒武纪推出的旗舰训练/推理芯片，采用全新架构，在推理场景展现出独特的竞争力。实测中，它的推理延迟约为A100的1.1倍，在部分小Batch场景甚至能打平；但训练吞吐量相对逊色，约为A100的0.45~0.55倍。

• 训练表现：思元590在训练大模型（如GPT类）时与顶尖产品仍有差距，吞吐量约为A100的0.5倍。这意味着同样训练10天的任务，它需要约20天。在“时间就是金钱”的训练阶段，这个短板需要正视。

• 推理表现：但在部署阶段，故事反转了。得益于针对算子的深度优化，思元590在推理延迟上追得非常紧，约为A100的1.1倍，在视觉模型（如YOLOv5）上甚至能达到0.95倍。上菜速度几乎与大厨平齐。

• 能效表现：能效比约为A100的0.62倍，与910B相近，在特定低功耗场景下表现优秀。

• 软件生态：寒武纪的Neuware平台支持主流框架，但社区规模和算子库丰富度不如昇腾。好比这位特色厨师虽然有独门绝活，但厨房里的“标准配料”供应还不够齐全。

思元590的定位给我们一个重要启示：国产芯片不必在每一个维度都与国际巨头正面硬刚。与其全面追赶，不如在特定的核心场景（比如推理服务）做到“够好”，然后以更低的成本切入市场。就像食堂里不妨专门请一位快炒厨师，让他在小炒窗口独当一面，不必要求他也能做满汉全席。

对比结论

综合三位选手的表现，我们可以在“成绩单”上画出一条清晰的趋势线。把三位大厨放到同一张雷达图上，你会发现：NVIDIA仍然全面领先，但国产双雄已不再是“陪跑”的角色，而是在多个维度上形成了“三足鼎立”的雏形。归纳而言，有三个关键结论：

• 差距量化：昇腾910B的综合性能约为A100的0.70~0.80，思元590约为0.55~0.65。这个“量差”已经取代了过去的“代差”——不再是一代产品无法逾越的鸿沟，而是同一代产品间的距离。

• 代差缩小：两年前国产芯片还停留在A100的30%~40%水平，如今已经追到70%+。按照这个速度，下一代国产芯片与H100的差距有望压缩到1.5倍以内。

• 性价比优势：国产芯片的单卡采购成本通常为国际竞品的50%~70%，如果再算上供货稳定性和政策支持，其单位算力成本基本打平甚至更低。对于预算有限的团队，这极具吸引力。

结论已经清晰：国产芯片不是“能不能用”的问题，而是“怎么用好”的问题。就像食堂老板在面对两位本地厨师时，心里应该有个谱——他们虽然没有洋大厨的名气，但在成本、供货和安全这些“厨房之外”的维度上，可能更让老板安心。

选型评估

最后，我们进入最实际的环节：作为采购决策者，你该如何选？食堂老板不能只请最贵的米其林大厨，而要根据客流量、菜系定位和预算来做决定。AI芯片选型同样如此——结合自身的业务负载、部署场景和长期规划，做出最适合的选择。

• 训练场景选型：如果业务以大规模模型训练为主（如大语言模型预训练），优先看训练吞吐量。此时昇腾910B是更稳妥的选择（0.74×A100），配合其完善的分布式训练框架，训练效率有保障。思元590在此场景稍弱，除非预算极紧且时间宽容度高。

• 推理场景选型：如果业务以线上推理为主（如OCR识别、推荐系统），延迟和吞吐稳定性是关键。思元590的推理延迟追平90%的A100，加上较低的价格，是小Batch高并发场景的高性价比之选。昇腾910B也完全可胜任，选择取决于现有软件栈兼容性。

• 综合成本考量：除了采购价，还要算上电力成本（看能效比）、机房空间（看单卡算力密度）、人力成本（看生态易用性）。就像食堂老板要算的不仅是买菜钱，还有煤气费、灶台占用和帮厨工资。

• 长期演进路线：昇腾迭代节奏快，新一代910C已在路上；寒武纪也公布了更远期规划。选择生态扩张能力强的平台，就像选一位愿意持续学习、不断进步的大厨，未来可期。

选型评估的核心不是“谁强选谁”，而是“谁合适选谁”。食堂老板需要的不是最好的大厨，而是最匹配自家食堂定位的那个人。AI团队也一样——先明确自己的负载特征（训练多还是推理多）、预算约束和风险偏好，再对照三个指标做加权打分。最终的答案，可能不是NVIDIA，也可能不是某一家国产芯片，而是“混合使用、各取所长”。

AI 应用场景

Python 演示

# -*- coding: utf-8 -*-"""AI芯片选型评估工具: 基于公开基准数据对比NVIDIA A100/昇腾910B/思元590"""import itertools def load_benchmark_data():    """加载归一化基准数据(以A100=1.0为参考)"""    return {        "A100":  {"train": 1.00, "infer": 1.00, "energy": 1.00, "price": 1.00},        "Ascend910B": {"train": 0.74, "infer": 0.77, "energy": 0.66, "price": 0.60},        "MLU590": {"train": 0.50, "infer": 0.91, "energy": 0.62, "price": 0.55},    } def compute_score(data, weights, chip):    """根据权重加权计算综合性能分"""    score = 0    for metric, weight in weights.items():        score += data[chip][metric] * weight    return round(score, 3) def price_per_unit(data, chip):    """计算单位性能价格: 价格/综合分, 越低越好"""    base = sum(data["A100"].values()) / 4    perf = compute_score(data, {"train": 0.4, "infer": 0.3, "energy": 0.3}, chip)    return round(data[chip]["price"] / perf, 3) def tco(data, chip, years=3, power_cost=1.0):    """简化TCO估算: 硬件+电力(能效比反比)+人力, 以A100为单位"""    hw = data[chip]["price"]    power = (1 / data[chip]["energy"]) * power_cost * years    labor = {"A100": 0.1, "Ascend910B": 0.15, "MLU590": 0.20}[chip]    return round(hw + power + labor, 3) def recommend(chips, data, weights, use_tco=False):    """选出最优芯片"""    best = None    best_score = float("-inf")    for chip in chips:        if use_tco:            s = -tco(data, chip)        else:            s = compute_score(data, weights, chip)        if s > best_score:            best_score = s            best = chip    return best, best_score if __name__ == "__main__":    data = load_benchmark_data()    chips = ["A100", "Ascend910B", "MLU590"]    # 场景1: 训练为主    w_train = {"train": 0.7, "infer": 0.2, "energy": 0.1}    # 场景2: 推理为主    w_infer = {"train": 0.2, "infer": 0.6, "energy": 0.2}     print("=== AI芯片选型评估 ===")    for name, w in [("训练场景", w_train), ("推理场景", w_infer)]:        results = [(chip, compute_score(data, w, chip)) for chip in chips]        best, _ = recommend(chips, data, w)        print(f"\n{name} 综合得分:")        for chip, s in sorted(results, key=lambda x: -x[1]):            mark = " <- 推荐" if chip == best else ""            print(f"  {chip:10s} {s:.3f}{mark}")     print("\n单位性能价格(越低越好):")    for chip in chips:        print(f"  {chip:10s} {price_per_unit(data, chip):.3f}")     print("\n3年TCO估算(以A100=1.0为单位, 越低越好):")    for chip in chips:        print(f"  {chip:10s} {tco(data, chip):.3f}")

1. def load_benchmark_data():将公开测试数据固化为字典，便于后续计算与对比。
2. "Ascend910B": {"train": 0.74, ...}昇腾910B的归一化性能，来自MLPerf等公开基准。
3. def compute_score(data, weights, chip):按权重加权求和，得到面向特定场景的综合分。
4. "train": 0.7, "infer": 0.2, "energy": 0.1训练场景中，训练吞吐权重高达0.7。
5. def price_per_unit(data, chip):用“每一分性能要花多少钱”来量化性价比。
6. def tco(data, chip, years=3, ...):TCO估算涵盖硬件、电力和人力三类成本。
7. labor = {"A100": 0.1, ...}生态成熟度不同，人力成本差异明显。
8. def recommend(chips, data, weights, use_tco=False):自动返回得分最高的芯片。
9. if __name__ == "__main__":主程序入口，分别评估训练和推理两个典型场景。
10. best, _ = recommend(chips, data, w)用推荐函数找出该场景下的最优解。

常见误区

面试题