Tenstorrent：Jim Keller指挥的RISC-V智能乐团

可视化演示

动态展示RISC-V与AI单元异构架构、动态执行模型、多芯片网络扩展与集群训练四个视角，直观理解Tenstorrent芯片创新设计。

芯片背景与团队

在芯片界，Jim Keller是当之无愧的“明星指挥”。他曾在AMD用Zen架构让对手措手不及，在苹果调教出A系列芯片，在特斯拉为自动驾驶打造专用硬件。2021年，这位指挥家接过Tenstorrent的指挥棒，决定带领一支全新的乐团——不用昂贵的私有指令集，而是拥抱开放的RISC-V架构，专为AI打造异构芯片。

这支乐团的产品线很有讲究：Grayskull主打推理场景，像一位擅长室内乐的小型乐团，功耗低、响应快；Wormhole面向训练与扩展，像一支可以随时扩容的完整交响乐团，支持通过网络把许多芯片串成超大阵容；Blackhole则是为下一代大模型准备的“全功能音乐厅”。从推理到训练，Tenstorrent一步步构建自己的生态版图。

Tenstorrent的核心理念是“开放”。传统芯片巨头像封闭的宫廷乐队，乐谱不公开、乐器不兼容。Tenstorrent反其道而行：RISC-V指令集开源于社区，软件栈tt-Metalium开源，用户可以像审视乐谱一样审视每一层设计。这种开放理念吸引了一批想要“掌控自己命运”的开发者。

回到乐团的比喻：一支乐团既要有人拉琴（加速单元），也要有人翻谱、协调入场（CPU核心）。只有乐手没有指挥，音乐会乱套；只有指挥没有乐手，音乐华而不实。Tenstorrent深知这个道理，所以把两类核心放在同一片硅片上，让它们朝夕相处、默契配合。

RISC-V指令集

指挥家需要一套通用的“手语”来传达意图，芯片也需要一套通用的指令集来指挥硬件。RISC-V就是一套完全开放的指令集架构（ISA），像一个没有专利壁垒的“世界语”，任何人都可以免费使用、自由扩展。与ARM那种“授权费昂贵、修改受限”的封闭体系相比，RISC-V让Tenstorrent拥有了从零开始打造专属乐器的自由。

在Tenstorrent的芯片中，RISC-V核心扮演着多重角色。一部分RISC-V核心负责全局调度，类似乐团中的总指挥，决定哪首曲子（算子）在何时演奏；另一部分则以极简形态嵌入计算单元内部，执行“本地翻谱”的微任务。这些内核虽小，却让每个加速单元都具备自主控制能力，不必事事上报。

RISC-V还有一个显眼的优势——生态协同。指令集开源意味着全球开发者都能为它贡献编译器、操作系统和工具链。Tenstorrent不必从零搭建软件生态，而是站在开源社区的肩头，把精力集中在AI加速这个核心舞台上。开放还带来极低的试错成本：新思想可以快速在RISC-V上验证，不必等待闭源厂商的授权审批。

对芯片而言，RISC-V像一套乐谱标准——所有乐器都遵循同一套记谱法，编曲者（软件开发者）无需为不同厂商改写乐谱。Tenstorrent选择RISC-V，等于告诉整个生态：来我这里写程序，你写一次，处处运行，而且不必付版税。

AI加速单元

如果说RISC-V核心是乐团的指挥，那Tensix核心就是台上埋头演奏的乐手。Tenstorrent没有按常规设计一个巨大的GPU，而是把芯片划分成许多个Tensix核心，每个Tensix都像一个微型三重奏组：内含5个小RISC-V处理器负责本地控制，外加一套数学引擎专门执行矩阵乘法与向量运算，旁边还有一块SRAM作为即时的“谱架”存数据。

矩阵乘法是神经网络最核心的运算，好比交响乐中不断重复的主题动机。一个Tensix核心的数学引擎能在每个时钟周期内完成大量乘加运算（MAC），多个Tensix核心并行工作，就像几十个声部同时演奏复杂的对位旋律。为了让乐手不空等乐谱，Tensix核心还支持数据流执行：数据算完一张就自动流入下一个核心，无需外部干预。

能效设计是这支乐团引以为傲的地方。传统GPU为了通用性背负了太多“重装备”，Tenstorrent的Tensix只为AI而生，精简的架构换来更低的功耗。在相同算力下，Tenstorrent芯片的每瓦特性能远优于传统方案，尤其适合对功耗敏感的推理场景——就像一支轻装简行的室内乐团，不演到一半就要烧掉整个屋顶。

Tensix核心的设计思想可以用一句排练心得概括：与其让每个乐手十八般武艺样样精通，不如让每个人专注一首曲子。AI计算高度重复、高度密集，专用化的乐手不仅能演奏得更快，而且消耗更少能量。Tenstorrent用“小而专”的Tensix阵列，对抗传统GPU“大而全”的重炮。

异构协同架构

一颗Tenstorrent芯片，就是一支微型的双编制乐团：RISC-V核心是坐在最前面的指挥家，Tensix核心是分布在周围的乐手，而连接它们的片上网络（NoC）就是乐团座位之间那些畅通无阻的走道。指挥不需要走到每位乐手面前耳语，只需一个眼神（一条消息），乐手便心领神会开始演奏。

任务分配机制决定了整个乐团的演出质量。在Tenstorrent中，RISC-V核心把神经网络的计算图切分成一个个“乐句”，按优先级和依赖关系分发给不同的Tensix核心。有的Tensix擅长处理卷积，就让它多接卷积的活；有的Tensix正在忙，下一句就交给空闲的同伴。这种灵活的编排，让芯片的算力像流水一样填满每一个空隙。

协同架构中最关键的设计是数据搬运。神经网络计算中，数据搬运的能耗常常超过计算本身——这好比乐团换曲目时搬谱架的时间，比演奏还长。Tenstorrent的片上网络支持核心到核心的直接数据传递，中间不经过主机内存，大幅削减搬运开销。每个Tensix算完的结果，可以直接“递”给下一个Tensix，形成一条高效的流水线。

异构协同的精髓在于“各司其职，无缝衔接”。指挥家不做乐手的活，乐手也不操心编排的琐事。RISC-V核心与Tensix核心在同一片硅片上，用高效的片上网络连接，就像指挥与乐手同处一个排练厅，一个眼神就能达成默契——这正是Tenstorrent区别于传统“CPU+GPU拼在一起”的根本所在。

动态执行模型

传统AI芯片执行任务像照着剧本排练：每一幕从台词到走位都提前定死，中途若有意外只能从头再来。Tenstorrent的动态执行模型则像即兴爵士——乐队定好和弦框架，每个乐手根据现场情况自由发挥，指挥只需在关键节点做微调。硬件层面，Tensix核心之间可以动态建立数据链路，一个核心算完就能主动把数据传给下一个，完全不需要主机在各步之间“催场”。

算子动态编排是动态执行的核心能力。在传统架构中，每个算子的执行都要由CPU发起指令，GPU只是被动执行。Tenstorrent的模型中，算子在执行前会形成一张依赖图，硬件按图自动调度：哪个算子的输入齐了，立即开算，不需要排长队等命令。这种机制大幅减少了主机与芯片之间的往返通信，让流水线保持满载。

动态执行还体现在“免主机干预”的自主性上。在训练大模型时，数据会分成许多小批次，动态执行模型允许不同的Tensix核心同时处理不同批次的不同阶段，形成自然的流水线并行。硬件抽象接口（如tt-Metalium底层库）把这些灵活性封装成简洁的编程接口，软件开发者不必手动管理每一笔数据搬运，就像乐手不用自己搬钢琴一样。

动态执行模型就像让乐团学会“看指挥的手势即兴转调”。算法千变万化，硬件灵活应对，而不是让算法削足适履去适配固定流程。这种灵活性，使Tenstorrent芯片在面对大模型中出现的各种新型算子时，依然能保持充分的利用率，不会因为某个新算子而让整个芯片“卡壳”。

多芯片网络扩展

一支乐团再强大，也有人员的上限。Tenstorrent的解法很直接：既然一支乐团不够，就拉起许多支乐团，通过网络让它们异地合奏。Wormhole卡内置以太网接口，支持通过类似UDP的网络协议把多颗芯片连成一张大网。就像远程交响汇演，每个小乐团演奏一个声部，通过高速网络交换“音频”。

横向规模扩展是构建训练集群的核心路径。单颗芯片的显存和算力有限，装不下动辄千亿参数的大模型。Tenstorrent通过把模型切分到多个芯片上——层间切分、张量切分、数据并行——让上千颗芯片像一个整体一样协同训练。网络协议设计的关键是低延迟和可扩展性：芯片之间直接以数据包形式传递激活值和梯度，避免了传统高性能计算中沉重的协议开销。

这种以太网互联方案带来一个独特优势：成本可控、部署简单。传统AI训练集群依赖InfiniBand等昂贵专用网络，而Tenstorrent选择通用以太网，让中小企业和科研机构也能搭建属于自己的小型训练集群。虽然单个芯片的性能不如顶级GPU，但“以量取胜”的集群策略，配合开源软件栈，形成了差异化的竞争路线。

多芯片扩展如同把独奏会升级为万人合奏：指挥的调度范围从一个小舞台扩展到整个网络。Jim Keller团队深谙通信之道的价值——他们宁愿在以太网协议优化上多花功夫，也要让每一颗新加入的芯片都尽量带来实打实的算力，而不是把预算浪费在贵得离谱的专用网络上。

训练推理定位

Tenstorrent的产品布局，像一位同时擅长排练和演出的全能指挥家。在推理端，Grayskull以极低的功耗提供高效的模型推理服务——这好比为每场音乐会准备了一支轻装精锐的室内乐团，不需要动用整个交响乐团，也能把经典曲目演奏得优雅动人。对大模型服务商而言，功耗直接决定了运营成本。

训练端则是Wormhole的主场。通过以太网构建大规模集群，Tenstorrent希望让“千卡训练”不再是大厂的专利。创业公司和高校实验室可以用更低的预算，组建起能够微调大模型的训练集群。这种定位很像开源软件运动对商业软件的冲击——提供一种可负担、可掌控的选择，让更多团队参与到AI创新中来。

大模型适配是当前AI芯片的必修课。Tenstorrent的动态执行模型与多芯片扩展能力，使其能较好适应Transformer架构的并行特性：注意力机制的计算可以分解到不同Tensix核心，长序列的推理可以流水化处理。虽然综合生态距离英伟达的CUDA还有差距，但开放架构和灵活扩展已经为其赢得了一批忠实的“乐迷”。

回望这支由Jim Keller缔造的乐团：Grayskull为日常演出而生，Wormhole为盛大合奏而建，开放理念则像音乐厅的大门，永远向新的创作者敞开。在AI芯片的竞技场上，Tenstorrant用RISC-V的开放、异构的灵活、网络的扩展，奏出了一曲别具一格的交响乐章——它未必是最强的独奏者，但正在成为最无法忽视的新声部。

AI 应用场景

Python 演示

import timeimport random  class TensixUnit:    """模拟一个AI加速单元(Tensix核心):负责执行矩阵计算"""    def __init__(self, unit_id):        self.unit_id = unit_id        self.busy = False     def compute(self, matrix_size):        """模拟一次矩阵运算,耗时随矩阵规模增长"""        delay = matrix_size * 0.01 + random.uniform(0.002, 0.008)        time.sleep(delay)        return round(matrix_size * 2.0, 2)  # 模拟两倍算力输出  class RISCVCore:    """模拟RISC-V指挥核心:负责任务切分、分发与结果汇总"""    def __init__(self, units):        self.units = units        self.completed_count = 0     def dispatch(self, chunk, matrix_size):        """把一个矩阵分块分发给空闲的加速单元"""        for unit in self.units:            if not unit.busy:                unit.busy = True                result = unit.compute(matrix_size)                unit.busy = False                self.completed_count += 1                return result        # 所有单元都忙时,串行等待第一个单元        return self.units[0].compute(matrix_size)  class TenstorrentCluster:    """模拟多芯片集群:多个芯片通过"以太网"交换梯度"""    def __init__(self, chip_count, units_per_chip):        self.chip_count = chip_count        self.gradients_map = {}        for i in range(chip_count):            units = [TensixUnit(i * 100 + j) for j in range(units_per_chip)]            self.gradients_map[i] = RISCVCore(units)     def train_step(self, matrix_size):        """一轮训练:每个芯片各自计算,再模拟网络梯度同步"""        local_results = []        for i in range(self.chip_count):            result = self.gradients_map[i].dispatch(1, matrix_size)            local_results.append(result)        # 模拟梯度同步:取所有芯片结果的平均值        average_gradient = sum(local_results) / self.chip_count        return average_gradient  def main():    chip_count = 4      # 4颗芯片    units_per_chip = 4  # 每颗芯片4个Tensix单元    cluster = TenstorrentCluster(chip_count, units_per_chip)     print("=== Tenstorrent集群训练模拟 ===")    print(f"芯片数: {chip_count}, 每芯片加速单元: {units_per_chip}")    for step_id in range(5):        gradient = cluster.train_step(matrix_size=64)        print(f"第{step_id}轮: 同步后梯度 = {gradient}")  if __name__ == "__main__":    main()

1. class TensixUnit:定义加速单元类，对应一颗Tensix核心，只做“矩阵运算”这一件事。
2. delay = matrix_size * 0.01 + random.uniform(...)模拟计算耗时随数据规模线性增长，并加入随机波动。
3. class RISCVCore:定义指挥核心类，负责把计算任务分派给空闲的加速单元。
4. def dispatch(self, chunk, matrix_size):调度方法：找到空闲单元就立即把任务交给它，对应动态执行模型中“免主机干预”的自动派发。
5. self.completed_count += 1记录已完成的子任务数，相当于指挥家统计乐手演奏完成了多少小节。
6. class TenstorrentCluster:定义多芯片集群类，模拟多芯片通过以太网互联的训练场景。
7. average_gradient = sum(local_results) / self.chip_count模拟梯度同步：多颗芯片算完各自梯度后取平均，这就是分布式训练中AllReduce的简化版。
8. for step_id in range(5):主循环跑5轮训练，每轮都体现“先本地算、再全网同步”的典型流程。

常见误区

面试题