Tenstorrent Grayskull：一座拥有120个厨师班组的AI中央厨房

可视化演示

展示Tenstorrent Grayskull的Tensix核心阵列、NoC数据流通信与Tile矩阵计算，交互切换查看AI加速芯片架构核心机制。

芯片定位：新式中央厨房开张

市面上的AI老牌餐厅靠一两位米其林大厨包办一切——成千上万个CUDA核心排成阵列，由统一调度员指挥。而Grayskull这家新开张的中央厨房选择了另一条路：请120个普通厨师班组，每个班组独立备菜、独立掌勺，彼此通过传送带协作。这就是Grayskull和传统GPU最大的气质差异——它不追求单点极致，而是靠大量协作型“班组”取胜。

这场“厨房革命”在技术上对应的是：Grayskull是Tenstorrent公司2021年推出的首款商用AI加速芯片，内部集成了120个Tensix核心。它不是GPU，而是数据流架构——数据像食材一样主动流向各班组，谁有空谁处理，而不是被中央调度员拽来拽去。这样的设计极大减少了无谓的搬运，也让功耗控制得特别低，因此Grayskull早期定位就是AI推理场景，尤其是对功耗敏感的服务器与边缘设备。

要估算这家厨房的总产能，可以套用这个公式：峰值算力 = 班组数 × 每个班组一次颠勺的菜量 × 颠勺频率 × 2。写成数学表达就是：

这家厨房的定位很清晰：不用米其林大厨，用一群配合默契的普通班组，把电费省下来、把出菜量提上去。这种“低功耗 + 高并行”的组合，正是Grayskull在AI推理市场站稳脚跟的第一步。

Tensix核心：一个厨师班组的配置

走进任何一个Tensix班组，你会看到三种角色：几个手脚麻利的小伙计、一位掌勺大厨、一个贴身的调料架。小伙计们是RISC-V处理器，他们不炒菜，只负责听口令、递食材、收拾台面；掌勺大厨是矩阵计算引擎，所有颠勺爆炒的活儿都由他一个人承担；调料架则是本地SRAM，大厨伸手就能拿到常用配料，不必满厨房跑。

让这个小班组高效运转的关键，是各角色各司其职。矩阵计算引擎是班里唯一的“技术大牛”，他擅长的是深度学习最常用的基本功——矩阵乘法。而RISC-V处理器们虽然只会干杂活，但他们灵活、听话，能完成循环、分支、数据搬运等各种控制类任务。这种“通用控制 + 专用计算”的分工模式，让每个Tensix核心既灵活又高效。

矩阵乘法的本质，就是输出矩阵中每个元素等于左边一行与右边一列逐对相乘再求和：

一个大厨颠一次勺，就算好了一个输出元素；120个班组一起颠勺，整个矩阵很快就能出锅。这个“分工明确、各展所长”的设计，正是Tensix核心的精髓。

内存机制：食材搬运与备菜轮换

传统GPU像一家只有一个巨型冷库的餐厅：所有菜都从冷库取，大厨一伸手就要跨越大半个厨房，路途远、速度慢。Grayskull则让每个班组自带调料架和备菜区——这就是分布式SRAM。每份食材（数据）被切成小块（tile），哪个班组需要，就让食材主动流过去，而不是大厨跑过去取。

“让数据走动、而不是让人走动”是这家厨房的第一法则。每个Tensix核心拥有自己的本地SRAM，计算时优先用身边的食材；只有本地没有的配料，才通过厨房里的传送带——片上网络——从邻居那里借。更妙的是双缓冲机制：每个班组有两个备菜区，一个正在被大厨使用时，小伙计们同步把下一份食材装进另一个备菜区，等上一个用完立刻轮换。这样大厨永远不空等，计算与搬运被完美重叠。

数据流架构是否高效，要算一笔“食材复用账”，也就是算术强度：

双缓冲让搬运和计算像两个齿轮一样咬合转动，而算术强度则是判断这家厨房适不适合做某道菜的先决条件。AI推理任务往往复用率高，正好对上了Grayskull的胃口。

网格互联：多间厨房连成网络

一家中央厨房的产能总归有限。幸好Grayskull设计时就考虑了“开分店”：每张卡都有PCIe接口，像外卖柜台一样对接主机；更关键的是卡与卡之间有专门的直连通道，像分店之间的冷链车，让多张卡可以拼成一张大网络，一起处理超大模型。

不过分店之间怎么连是有讲究的。全互联当然最爽——每家分店都有直达管道通向其他所有分店——但管道数量会爆炸式增长。Grayskull选择的是邻居直连：每张卡只和相邻的卡建立高速通道，数据需要时再逐跳中转。这种2D网格拓扑在成本和性能之间取得了平衡，也是多芯片AI加速器的主流做法。

为什么不全互联？算一笔账就明白了。要让 N 家分店两两直连，需要的管道数量是：

扩展是有代价的，但邻居直连让代价变得可以承受。分店越开越多，只要管道不堵，整个厨房网络就能一起接更大的订单。

BUDA编程：总谱自动分发任务

厨房开了120个班组，如果让每道菜都得厨师们自己商量谁做什么，那肯定乱套。Grayskull的解法是配一位“总谱指挥官”——BUDA。你只需要把客人点的菜（PyTorch/TensorFlow里的深度学习模型）交给BUDA，它就会自动把菜拆成一道道工序，安排到具体的班组、具体的灶台，甚至连哪份食材先送到哪个备菜区都规划得清清楚楚。

BUDA（Big Unified Device Architecture）是Tenstorrent的软件编译栈，核心能力是“自动映射”。它读入高层模型描述后，会先做图优化（把能合并的算子合并）、再切块（把大矩阵切成适合SRAM的小块）、然后做数据布局规划（决定每块数据放在哪个核心的SRAM里），最后生成每个Tensix核心的具体执行任务。整个过程中，开发者不需要手动编写CUDA风格的内核函数，也不需要关心120个核心各自在做什么——这种抽象让AI工程师的上手成本大大降低。

BUDA的调度器本质上在解一个最优化问题——让数据搬运总量最小：

有了总谱指挥官，120个班组看似各自为战，实则配合得像一台精密机器。这也让Grayskull的距离一下子从“硬件玩家”拉近到了“软件可用”。

性能生态：实测出菜速度与口碑

厨房吹得再好，客人还是要看实际出菜速度和电费账单。Grayskull在标准和效推理基准上的表现如何？答案是：能效比相当亮眼，绝对算力与老牌大厂仍有差距。在ResNet-50等经典推理任务上，Grayskull以远低于GPU的功耗跑出了可观的吞吐，非常适合“电费敏感”的大规模部署场景。

用一句话总结Grayskull的性能哲学，就是“省着花”。专注推理而非训练，用专用矩阵单元 + 数据流设计，把每一瓦电都花在刀刃上。衡量这份“省”的指标就是能效比：

但再好的硬件也要看“生态口碑”。Grayskull的软肋很明显：CUDA深耕二十年，积累了海量库和开发者；而Tenstorrent的BUDA生态还很年轻，支持的网络模型和算子仍在快速扩充。这家新厨房的菜好吃，但菜单还薄。未来能否靠开源RISC-V路线和持续迭代打动更多开发者，是决定它命运的关键。

AI 应用场景

Python 演示

import random class TensixCore:    """模拟一个Tensix核心：负责一小块矩阵乘法"""     def __init__(self, core_id):        self.core_id = core_id        self.task_count = 0     def multiply(self, tile_a, tile_b):        """执行小块矩阵乘法 A*B"""        n = len(tile_a)        out = [[0] * n for _ in range(n)]        for i in range(n):            for k in range(n):                for j in range(n):                    out[i][j] += tile_a[i][k] * tile_b[k][j]        self.task_count += 1        return out  def cut_blocks(mat, block):    """把矩阵切成 block x block 的小块，返回行块数和切块函数"""    rows = len(mat) // block     def get(r, c):        return [row[c * block:(c + 1) * block]                for row in mat[r * block:(r + 1) * block]]     return rows, get  def buda_schedule(a, b, block, cores):    """BUDA 风格调度：把分块后的乘加任务轮流分给各核心"""    nb = len(a) // block    a_get = cut_blocks(a, block)[1]    b_get = cut_blocks(b, block)[1]    c_blocks = {}    next_core = 0     for i in range(nb):        for j in range(nb):            acc = [[0] * block for _ in range(block)]            for k in range(nb):                core = cores[next_core % len(cores)]                next_core += 1                part = core.multiply(a_get(i, k), b_get(k, j))                for r in range(block):                    for c in range(block):                        acc[r][c] += part[r][c]            c_blocks[(i, j)] = acc    return c_blocks, next_core  def main():    n = 4    block = 2    a = [[random.randint(1, 3) for _ in range(n)] for _ in range(n)]    b = [[random.randint(1, 3) for _ in range(n)] for _ in range(n)]    cores = [TensixCore(i) for i in range(4)]    c_blocks, total = buda_schedule(a, b, block, cores)     print("=== 分块调度结果 ===")    for (i, j), blk in sorted(c_blocks.items()):        print(f"C块({i},{j}) = {blk}")    print(f"共下发 {total} 个乘加子任务到 4 个核心")    for core in cores:        print(f"核心{core.core_id} 完成 {core.task_count} 次子任务")  if __name__ == "__main__":    main()

1. class TensixCore:定义一个Tensix核心类，每个核心有核心ID和任务计数器，对应一个独立厨师班组。
2. def multiply(self, tile_a, tile_b)核心执行小块矩阵乘法，相当于掌勺大厨颠勺做一道菜。
3. cut_blocks(mat, block)把大矩阵切成block×block的小块，对应BUDA的算子切块阶段。
4. buda_schedule(a, b, block, cores)总谱调度函数，决定每一块“乘加子任务”分给哪个核心。
5. next_core % len(cores)使用轮询策略在4个核心间循环分配，模拟BUDA的任务映射。
6. cores[i].task_count统计每个核心实际完成的任务数，可以看到负载均衡效果。

常见误区

面试题