在群山环抱的灶台山脚下,有一家小餐馆叫“知味居”。城里的大饭店做菜靠“总规矩”——每道新菜都要派伙计把成品送到都市评审团打分,拿到成绩单(梯度)后照着单子改配方,一来一回就是几小时,路费还贵得吓人(通信能耗高)。知味居的掌勺师傅却讲究“即尝即改”:汤咸了,当场舀一勺尝尝,立刻添半勺水;客人皱眉,下一道菜马上调整。食材的特性、火候的心得全部记在灶台边的便签上(片上存储器),客人刚走就能改菜单。这套“品尝—记录—当场改进”全在厨房里完成的功夫,就是我们要讲的片上学习(On-chip Learning)。英特尔 Loihi 和清华天机(Tianjic)就是两座风格各异的“自改菜单厨房”:Loihi 只认“脉冲火候”,Tianjic 则煤气灶、电磁炉都能驾驭。本文就用这间小馆子的故事,带你从零看懂这些芯片到底怎么“边做边学”。

岗位关联

掌握片上学习,能帮你理解下一代边缘 AI 芯片的设计逻辑,在低功耗、低延迟、高隐私场景中做出更优的硬件选型与算法部署决策。

目录
  1. 可视化演示
  2. 1. 片上学习原理
  3. 2. 神经形态基础
  4. 3. 关键学习算法
  5. 4. 芯片架构特性
  6. 5. 性能优化策略
  7. 6. 应用案例解析
  8. 7. 工程实践指南
  9. 8. 未来趋势展望
  10. AI 应用场景
  11. Python 演示
  12. 常见误区
  13. 面试题

可视化演示

展示神经形态芯片片上学习核心机制:STDP脉冲时间依赖可塑性规则、LTP/LTD学习窗口曲线、以及片上学习与传统离线训练的对比分析。

本节配有交互动效(进入视口后自动加载,约 3KB)。

'+captions.stdp+'

1. 片上学习原理

知味居的老厨师收了个徒弟阿翎。师傅从不让他背菜谱,而是立了一条规矩:每道菜出锅前必须自己先尝一口。尝出咸了,当场在便签上写“下次少半勺盐”;尝出淡了,就写“下次多一撮”。客人走后,改好的便签就是新菜谱,下一回照做。从尝菜、记录到改进,全过程都发生在同一间厨房里——这正是片上学习(On-chip Learning)的本质。

传统深度学习则像“外卖式进修”:模型在云端 GPU 上训练好,再把权重文件“打包外卖”到终端芯片做推理。一旦环境变了(新用户、新光照、新噪声),就得把数据送回云端重新训练,再把新权重发回来。而片上学习把“训练”与“推理”两件事放在同一块芯片上:芯片一边完成识别任务,一边依据实时输入就地更新突触权重,梯度与数据都不需要搬出芯片。

片上学习实现的关键是局部学习规则(Local Learning Rule):每次权重更新只依赖神经元附近的局部信息——电压、脉冲时序、稀疏的奖励信号——而不依赖全局梯度。这就像阿翎只靠舌头和便签,不必等城里评审团的成绩单。通用写法是权重增量更新:

阿翎靠着便签越攒越厚,手艺也越来越稳。片上学习也是如此:把“怎么改配方”的规矩直接装进芯片,让每个突触都成为一张随时更新的活便签。

w←w+η⋅Δww \leftarrow w + \eta \cdot \Delta w
这条公式说的是:新的连接强度 = 旧的连接强度 + 学习率 × 局部规则算出的调整量。η 控制每次改动的“胆量”:η 太大,手艺忽左忽右;η 太小,进步太慢。
  1. w(当前权重)代表突触连接强度,相当于配方便签上“盐放多少克”,是学习要改写的对象。
    ww
  2. η(学习率)一个小于 1 的正系数,决定每次改写配方时“步子迈多大”,防止一次改过头。
    η∈(0,1)\eta \in (0, 1)
  3. Δw(权重增量)由局部学习规则(如后文的 STDP)根据近期脉冲活动与奖励信号计算出的调整量。
    Δw=f(局部脉冲时序,局部奖励)\Delta w = f(\text{局部脉冲时序},\text{局部奖励})
  4. ←(就地更新)箭头强调“就地改写”,新值直接覆盖芯片上的旧值,不把权重搬到外部再改回来。
    wnew←wold+η⋅Δww_{\text{new}} \leftarrow w_{\text{old}} + \eta \cdot \Delta w

2. 神经形态基础

知味居的厨房里挂着一排铜铃。老厨师要求阿翎:炉子不空烧,菜不空炒,只有到了该翻勺、该出锅的关键时刻才“叮”地敲一声铃。整间厨房安静时几乎不耗柴火,有活干时才冒烟——这就是事件驱动(Event-Driven)的直觉:有事件才算,无事件不算。

受这种“大脑式”省能逻辑启发,神经形态计算(Neuromorphic Computing)用脉冲神经网络(Spiking Neural Network, SNN)传递信息。与深度学习里稠密的矩阵乘法不同,SNN 的神经元通过离散的“脉冲”(spike)通信:电压累积到阈值就发放一个脉冲,然后重置;不发脉冲的时间里,电路完全空闲。GPU 像永远烧着的大锅炉,神经形态芯片则像那排铜铃——静默即是省电。

神经元如何决定“何时敲铃”?最常用的模型是漏电积分-发放(LIF)模型,它像一口缓慢蓄水又不断漏水的锅:

Loihi 芯片的设计理念正是把这排铜铃做成数字电路:大量神经元各自独立地“蓄水、响铃、传消息”,只有脉冲到达时才唤醒目标核。整座厨房因此安静而高效。

τmdVdt=−(V−Vrest)+R I(t)\tau_m \frac{dV}{dt} = -\bigl(V - V_{\text{rest}}\bigr) + R\, I(t)
意思是:膜电压 V 的变化速率,等于“输入电流带来的上涨”减去“向静息电位回落的漏水”。水(电压)蓄过阈值,锅就“响铃”(发脉冲)。
  1. τ_m(膜时间常数)决定神经元反应快慢,相当于锅的“口径大小”,口径越小蓄水越快。
    τm\tau_m
  2. dV/dt(电压变化率)膜电压对时间的导数,描述“水位上涨/下跌的速度”。
    dVdt\frac{dV}{dt}
  3. V_rest(静息电位)没有输入时电压自然落回的位置,相当于锅的“默认水位线”。
    VrestV_{\text{rest}}
  4. R·I(t)(输入项)输入电流乘以膜电阻,相当于“注水龙头”的总流速,是外界刺激进入神经元的入口。
    R⋅I(t)R \cdot I(t)

3. 关键学习算法

阿翎记录配方的口诀只有两句:“先放盐再尝,咸淡刚刚好;先尝再放盐,味道要警惕。”前一句说的是:一个事件(放盐)在前,随后有反馈(尝汤),这个“放盐”动作就值得加强;后一句反过来:反馈还没来就抢着放盐,这个动作就该减弱。

这个口诀的学术名字叫脉冲时序依赖可塑性(STDP),源自赫布定律:“一起放电的神经元连在一起。”在 STDP 中,决定连接强弱的不是放电频率,而是先后顺序与时间间隔:前神经元先发放、后神经元随后跟进(因果),突触增强;后神经元先发放、前神经元才赶到(反序),突触减弱。时间隔得越近,改动越大。用公式表示:

除了 STDP,芯片上还常搭配奖励调制学习(R-STDP):把外部“好吃/难吃”的评分乘进增量的方向,像是客人给个好评差评;还有把反向传播改造成局部近似的替代梯度法。阿翎的口诀由此升级成一套完整的“边做边学”心法。

Δw={A+ e−Δt/τ+,Δt>0−A− eΔt/τ−,Δt<0\Delta w = \begin{cases} A_{+}\, e^{-\Delta t / \tau_{+}}, & \Delta t > 0 \\[4pt] -A_{-}\, e^{\Delta t / \tau_{-}}, & \Delta t < 0 \end{cases}
其中 Δt = 后脉冲时刻 − 前脉冲时刻。Δt > 0 时权重按指数衰减规律增强;Δt < 0 时权重被抑制。时间窗 τ 越短,芯片对“精确时序”越挑剔。
  1. Δt(脉冲时间差)前后两个神经元发放脉冲的时间间隔,是 STDP 的唯一“裁判”。
    Δt=tpost−tpre\Delta t = t_{\text{post}} - t_{\text{pre}}
  2. A₊(增强幅度)因果时序成立时的最大增量,控制一次增强的“力度上限”,对应“咸淡刚刚好”的奖励。
    A+A_{+}
  3. τ₊(时间窗)增强效果随间隔变大的衰减速度,相当于“尝汤的黄金时间”,动作越及时收益越高。
    e−Δt/τ+e^{-\Delta t / \tau_{+}}
  4. 负号(抑制方向)-A₋ 表示反序时序导致权重下降,确保“抢跑的放盐”被纠偏。
    −A− eΔt/τ−-A_{-}\, e^{\Delta t / \tau_{-}}

4. 芯片架构特性

灶台山上有两座著名的厨房。英特尔 Loihi 是一座“只认脉冲灶”的厨房:所有灶具都按“响铃—传菜”的脉冲逻辑设计,菜谱只能写成脉冲时序。清华天机(Tianjic)则是一座“融合厨房”:脉冲灶、燃气灶、电磁炉通通备齐,同一张菜单可以自由选择工具——这就是它登上 Nature 封面的杀手锏。

Loihi 的厨房布局是 128 个神经形态核,每个核内有大量神经元与片上存储的突触权重。核与核之间通过异步脉冲消息传递“菜香”(事件),没有全局时钟同步,像各灶台各自忙活、有事才招呼一声。正因为突触就在灶台旁边,学习时改权重几乎不产生“去仓库取货”的搬运开销,能效比传统 GPU 在特定任务上高出多个数量级。

Tianjic 的融合架构让“脉冲网络”与“人工神经网络”可以同时存在、灵活路由,甚至在同一张网络里混合两种范式。这种能力意味着工程师不必二选一:需要精确数值就用 ANN 灶,需要超低功耗时序建模就用 SNN 灶。无论哪种厨房,省能的命门都在“减少搬运”:

两座厨房风格迥异,但共同的信条是:把食材(权重)和手艺(学习规则)都留在案板上,这才有了“边做边学”的物质基础。

Etotal=Ecompute+EtransferE_{\text{total}} = E_{\text{compute}} + E_{\text{transfer}}
总能耗 = 计算能耗 + 数据搬运能耗。传统芯片动辄把权重从片外内存搬进搬出,搬运往往比计算更耗电;片上学习把权重留在片内,相当于把调味料全放在灶台手边。
  1. E_compute(计算能耗)真正做乘加、比较等运算消耗的能量,类似“翻炒食材”的力气。
    EcomputeE_{\text{compute}}
  2. E_transfer(搬运能耗)数据在片内片外、核与核之间移动消耗的能量,类似“跑腿去仓库取调料”的脚力。
    EtransferE_{\text{transfer}}
  3. 片上存储(就地取材)突触权重直接放在计算单元旁,使 E_transfer 趋近于零,学习更新也就“转身即改”。
    Eon-chip≪Eoff-chipE_{\text{on-chip}} \ll E_{\text{off-chip}}

5. 性能优化策略

阿翎逐渐发现,厨房里处处是省力的门道:柴火不白烧、灶台不空转、调料按需取用、火候不必教科书级精确。这些门道对应着片上学习的四类性能优化策略。

第一是稀疏计算加速。脉冲网络天然稀疏:一秒钟里绝大多数神经元都在沉默。芯片只对到达的脉冲做计算,其余突触不耗电,等效算力被白白“省”出来。第二是多核并行调度。128 个神经形态核如同多个灶头,把大网络切成子图分给不同核,各炒各的菜,最后汇总出锅。并行加速存在理论边界,阿姆达尔定律给出了上限:

第三是资源动态分配:运行中实时监测哪些核空闲、哪些突触冗余,像掌柜一样按客流调配灶台与人力。第四是精度折中方案:把权重从 32 位浮点压到 8 位甚至 1 位,用低比特整数运算换面积与能耗,再靠算法补偿找回精度——就像“火候不用米其林级,家常火爆棚就够”。四招并用,厨房才能在功耗、时延、面积之间找到平衡点。

S(p)=1(1−f)+f/pS(p) = \frac{1}{(1 - f) + f / p}
加速比 S 取决于可并行部分占比 f 与并行度 p。哪怕有 100 个灶头,如果 10% 的工序必须串行(比如最后装盘),加速比也不可能超过 10。
  1. f(并行占比)任务中能同时分配给多个核处理的比例,相当于“可多灶同炒的菜量”。
    ff
  2. p(处理器数量)参与并行的核数,即“同时开火的灶头数”。
    pp
  3. (1-f)(串行部分)必须按顺序完成的比例,是加速的“拖油瓶”,无法摊薄。
    1−f1 - f

6. 应用案例解析

客人是餐馆的活教材。阿翎发现,聪明的主厨不会等客人投诉了才改菜,而是观察客人夹菜的频率、眉头是否舒展,当场调整下一道菜。边缘智能感知就是这么干的:摄像头、麦克风在设备本地“看着”现场,一边识别一边学习新场景。

为什么必须“当场改”?因为许多决策对时间极其敏感。比如无人机避障,从“看到障碍”到“改变姿态”的每一毫秒都关乎安危。如果走云端流水线:图像上传 → 云端推理 → 结果回传,一个来回可能几百毫秒,黄瓜菜都凉了。片上学习把绝大部分处理留在芯片上,决策时延可以这样拆解:

机器人控制是另一个典型:四足机器人在 Loihi 上用 R-STDP 在线调整步态,摔倒后立即修正,不必回实验室重训。工业监测预警则让振动传感器在设备旁持续学习正常/异常模式,新故障模式出现时当场更新模型,第一时间报警。菜谱越改越合客人口味,模型越学越贴近现场。

T边缘=T感知+T片上处理+T执行  ≪  T云=T感知+T上传+T云端+T下载+T执行T_{\text{边缘}} = T_{\text{感知}} + T_{\text{片上处理}} + T_{\text{执行}} \;\ll\; T_{\text{云}} = T_{\text{感知}} + T_{\text{上传}} + T_{\text{云端}} + T_{\text{下载}} + T_{\text{执行}}
边缘决策省掉了“上传 + 云端排队 + 下载”三段长途,同时数据从未离开设备,隐私也随之保住。
  1. T_感知(感知时间)传感器采集图像/声音并转成信号所花的时间,两边都要付的“基础成本”。
    T感知T_{\text{感知}}
  2. T_片上处理(片上处理时间)脉冲网络在处理事件时极快,因为稀疏事件只需少量计算。
    T片上处理T_{\text{片上处理}}
  3. T_上传/云端/下载(云端往返)数据跨网络奔波的三段耗时,通常占决策时延的大头,边缘方案直接免去。
    T上传+T云端+T下载T_{\text{上传}} + T_{\text{云端}} + T_{\text{下载}}
  4. ≪(远小于)强调量级差异,边缘决策往往比云端快一两个数量级。
    ≪\ll

7. 工程实践指南

好手艺离不开好工具。阿翎的便签体系升级成了一本《知味居菜谱手册》——对应英特尔开源的 Lava 软件框架,它把“如何写脉冲网络、如何映射到 Loihi 核、如何读取学习结果”标准化,像菜谱一样有章可循。

实际的算法映射流程分四步:先用 Python/Lava 描述网络结构,相当于写菜谱;再把神经元与突触“切块”分配到各核,相当于安排灶台;然后编译部署到芯片,最后用波形与 spike 记录调试。调试时观察的不是 loss 曲线,而是脉冲发放序列——像看客人是否动筷一样直观。

评估一座厨房好不好,不能只看一道菜,而要看能效与时延的综合账。工程上常用“能耗-时延积”(EDP)作为核心指标:

除了 EDP,还要关注学习收敛速度、片上存储占用率与精度保持率。有了这四把尺子,工程师就能像品鉴师一样客观评价“这道菜到底值不值”。

EDP=P×T\mathrm{EDP} = P \times T
EDP = 平均功率 × 任务时延。它把“省不省电”和“快不快”乘在一起,数值越小说明整体表现越好。
  1. P(平均功率)任务期间芯片的平均功耗,相当于厨房平均每小时烧多少柴。
    PP
  2. T(任务时延)完成一次识别或一次学习更新所需的时间,相当于一道菜从下单到上桌的耗时。
    TT
  3. 乘积(权衡)单独压低任何一项都不够,二者乘起来才能防止“省电但极慢”或“飞快但烧钱”的偏科设计。
    P×TP \times T

8. 未来趋势展望

灶台山上的厨房不会止步于此。阿翎的梦想是让知味居从一间小店开成连锁——对应神经形态芯片的大规模扩展:Loihi 2 已把单颗芯片的神经元规模翻倍提升,多芯片互联正在铺开,像开分店一样把脉冲网络铺满整个机柜。

工艺持续演进让单个神经元与突触的尺寸不断缩小,软硬协同设计则让编译器与芯片互相“迁就”:软件把网络切得更巧,硬件把规则执行得更快。更前沿的方向是量子融合探索:在量子AI与未来计算的大坐标系里,神经形态计算与量子计算并非对手,而是可能互相借力——量子态叠加或许能加速“同时尝遍多种配方”的平行探索。类摩尔定律的经验告诉我们,神经形态芯片的规模大致遵循指数增长:

阿翎知道,厨艺的尽头不是背下所有菜谱,而是学会“怎么学做菜”。片上学习同样如此:当芯片拥有了就地学习的能力,它就不再是只会重复的厨具,而是真正开始“懂火候、会应变”的学徒。

N(t)=N0⋅2 t/t0N(t) = N_0 \cdot 2^{\,t / t_0}
规模 N 每隔固定时间 t₀ 翻一番,像店面每两年扩张一倍。量子与类脑虽然路径不同,但都指向同一个梦想:让机器像人一样低成本地学习。
  1. N₀(初始规模)当前代际的神经元/突触总数,是增长的起点,类似第一家店的厨房面积。
    N0N_0
  2. t / t₀(代际数)经过了多少个“翻倍周期”,相当于开了多少代分店。
    tt0\frac{t}{t_0}
  3. 2(翻倍底数)每个周期规模翻倍,对应制程迭代、架构创新带来的集成度跃升。
    2 t/t02^{\,t / t_0}

AI 应用场景

智能摄像头边缘感知

阶段:边缘推理与在线自适应

解决的问题:传统安防摄像头只能跑固定模型,遇到新角度、新光照、新装束就要把视频回传云端重训,既慢又泄露隐私。片上学习让摄像头在本地一边识别一边更新参数,模型随环境“越用越准”。

具体案例:某园区门禁部署了基于 Loihi 的神经形态摄像头,上岗第一天识别率约 88%,随着白天黑夜光照变化,芯片通过片上 STDP 规则持续调整突触权重,一周后夜间识别率提升到 96%,全程零数据外传。

四足机器人自适应控制

阶段:在线强化学习(R-STDP)

解决的问题:传统机器人步态控制依赖预先训练的模型,遇到未知地形(湿滑、碎石、台阶)容易摔跤,重新训练周期长。片上学习让机器人在跌倒瞬间用奖励信号就地调整神经回路。

具体案例:研究团队将 R-STDP 算法部署在 Loihi 芯片的机器人上,机器人走上湿滑斜坡时,触觉脉冲带来的负奖励即时抑制错误步态关联,三步之内便重新稳住姿态,而传统方案需要离线收集数小时数据。

工业设备异常监测

阶段:增量学习与故障诊断

解决的问题:工厂振动传感器数据量大、故障模式罕见且不可预知,离线训练模型难以覆盖所有故障。神经形态芯片的片上学习能持续吸收新数据,把“从未见过的异常”即时纳入记忆。

具体案例:某风电场的齿轮箱监测器采用 Tianjic 融合芯片,同时运行 ANN 做频谱特征提取、SNN 做时序异常学习。当轴承出现早期点蚀时,芯片在学习开始后 2 秒内发出预警,比云端轮询方案提前约 40 秒,且功耗仅相当于一个 LED 灯泡。

Python 演示

python53 行
import numpy as np  class STDPSynapse:    """模拟片上学习中最基础的突触可塑性规则。"""     def __init__(self, a_p=0.15, a_m=0.18, tau=8.0, init_w=0.5):        self.a_p = a_p        self.a_m = a_m        self.tau = tau        self.w = init_w     def pot(self, dt_ms):        return self.a_p * np.exp(-dt_ms / self.tau)     def dep(self, dt_ms):        return self.a_m * np.exp(-abs(dt_ms) / self.tau)     def update(self, pre_times, post_times):        times = sorted(pre_times + post_times)        last_pre, last_post = -1e9, -1e9        for t in times:            if t in pre_times:                if 0 < t - last_post < 30:                    self.w -= self.dep(t - last_post)                last_pre = t            else:                if 0 < t - last_pre < 30:                    self.w += self.pot(t - last_pre)                last_post = t            self.w = float(np.clip(self.w, 0.0, 1.0))        return self.w  def build_spikes(seq):    pre = [t for t, kind in seq if kind == "pre"]    post = [t for t, kind in seq if kind == "post"]    return pre, post  def main():    seq = [(6, "pre"), (12, "post"), (30, "pre"), (36, "post"),           (58, "pre"), (68, "post"), (76, "post"), (80, "pre"),           (88, "post"), (92, "pre")]    pre_times, post_times = build_spikes(seq)    syn = STDPSynapse()    for i in range(3):        w = syn.update(pre_times, post_times)        print("round %d: weight = %.3f" % (i + 1, w))  if __name__ == "__main__":    main()
目的:用 Python 复现示意视频中的 STDP 学习过程——给定一串前后神经元的脉冲时刻,模拟突触权重的增强与抑制,并观察多轮学习后的权重走向。
  1. class STDPSynapse:定义一个突触对象,对应阿翎灶台边的“配方便签”,权重就是便签上的盐量。
  2. self.w = init_w初始化权重为 0.5,相当于“盐量适中”的默认起点。
  3. def update(self, pre_times, post_times):核心入口:输入前后神经元的脉冲时刻表,按时间顺序处理每一件“厨房事件”。
  4. times = sorted(pre_times + post_times)把前后脉冲混在一起按时间排序,模拟“事件流到达芯片”的自然顺序。
  5. if 0 < t - last_post < 30:只有在前脉冲之后 30ms 内有后脉冲才触发抑制,时间隔太远就不算账。
  6. self.w -= self.dep(t - last_post)后脉冲先到、前脉冲后到(反序),权重下降,对应“先尝再放盐”的纠偏。
  7. self.w += self.pot(t - last_pre)前脉冲先到、后脉冲跟进(因果),权重上升,对应“先放盐再尝”的强化。
  8. self.w = float(np.clip(self.w, 0.0, 1.0))把权重钳制在 [0,1] 区间,防止盐量加出负数或超量。
  9. if __name__ == "__main__":程序入口,循环三轮让突触反复经历“增强—抑制”洗礼,输出每次更新后的权重。

常见误区

误区我以为片上学习就是平时说的模型微调(fine-tuning),无非是把已训练好的模型放到芯片上,再用新数据多跑几个 epoch 而已,反正都是“到了现场再学”。

正解两者机制完全不同。微调仍然依赖反向传播,需要把梯度在层间传递,并且通常还要连接云端做全局更新;片上学习则依赖局部学习规则(如 STDP、R-STDP),权重更新只使用神经元附近的脉冲时序与奖励信号,数据与更新都留在芯片内部。就像阿翎靠舌头当场改配方,而不是把菜寄回城里的总厨按流程重做。

为何常见:从使用者视角看,两者都是“部署后模型还会变”,很容易只看到表象而忽略底层的更新机制差异。

误区我一直以为 Loihi 这类脉冲芯片只是“省电的推理加速器”,像个只会背菜谱的机器人,到了新环境就只能干瞪眼,学习的事还得交给云端 GPU。

正解Loihi 从设计之初就内置了多种片上学习规则,包括 STDP、R-STDP 以及基于误差调制脉冲的学习变体;Tianjic 融合架构更是同时支持 SNN 与 ANN 的学习。它们不仅能推理,还擅长“边推理边学习”,这正是它们区别于传统加速器的核心卖点。

为何常见:早期脉冲芯片(如 TrueNorth)确实以推理为主,加上“神经形态”概念陌生,人们容易以旧印象覆盖新进展。

误区既然叫“边做边学”,那是不是芯片凭空就能变聪明?我以为片上学习像武侠小说里的顿悟,不需要任何输入,跑着跑着自己就会了。

正解片上学习同样需要数据,只是数据不需要离开芯片。它靠的正是实时到达的脉冲序列、传感器观测与环境反馈(奖励信号)来完成权重更新。阿翎再神,也得先尝一口汤才知道咸淡。

为何常见:“本地学习”容易让人联想到“无监督自学”,而忽略了学习信号仍然必须来自环境输入这一事实。

误区我觉得局部规则没有全局梯度,肯定学不准,精度一定比 PyTorch 在 GPU 上练出来的模型差一大截,所以工程上根本不敢用。

正解精度确实存在折中,但差距可通过算法与架构补偿:替代梯度法、混合 ANN-SNN 网络(Tianjic 的拿手好戏)、低比特训练技巧、以及时间窗与学习率的精心调节,都能把精度拉回实用区间。更重要的是,片上学习赢在时延、能耗与隐私三个维度,在实时性场景中“够快够省”往往比“极致精度”更有价值。

为何常见:习惯了深度学习基准测试的刷分逻辑,容易把“离线最高精度”当作唯一评判标准,忽略了边缘场景的真实约束。

面试题

Q1. 片上学习最核心的特点是?

单选题 · easy

  • A.数据必须上传云端训练
  • B.权重在芯片内部就地更新← 正确答案
  • C.只能用 GPU 完成训练
  • D.学习过程无需任何数据

答案:B。片上学习强调训练与推理在同一块芯片上完成,权重依据局部规则就地更新,数据不必回传云端。A 是云端训练的特征;C 属于 GPU 范式;D 错误,片上学习仍需数据,只是数据不出芯片。

Q2. STDP 规则中,当前脉冲先于后脉冲到达时,突触权重如何变化?

单选题 · easy

  • A.权重保持完全不变
  • B.权重随机上下浮动
  • C.权重向增强方向更新← 正确答案
  • D.权重向减弱方向更新

答案:C。STDP 规定 Δt = 后脉冲时刻 − 前脉冲时刻,当前脉冲在前时 Δt > 0,权重按指数规律增强。A 否认了可塑性;B 把规则换成随机;D 对应的是后脉冲先到的反序抑制情形。

Q3. 以下哪项是 Loihi 芯片的基本设计理念?

单选题 · easy

  • A.脉冲事件驱动计算← 正确答案
  • B.稠密矩阵乘法为主
  • C.云端集中式训练
  • D.模拟信号连续计算

答案:A。Loihi 用数字电路实现脉冲神经网络,计算由稀疏的脉冲事件驱动。稠密矩阵乘是 GPU 路线;云端训练是传统范式;模拟信号连续计算更接近 TrueNorth 一类方向而非 Loihi。

Q4. 清华大学 Tianjic 芯片的最大特色是?

单选题 · mid

  • A.仅支持模拟神经元
  • B.融合脉冲与人工网络← 正确答案
  • C.只做推理不做学习
  • D.完全抛弃片上存储

答案:B。Tianjic 的核心创新是把脉冲神经网络(SNN)与人工神经网络(ANN)两种范式融合在同一芯片上并支持混合拓扑。它支持学习而非仅推理,且保留大量片上存储,A、C、D 均不成立。

Q5. 与云端训练相比,片上学习的优势包括哪些?

多选题 · mid

  • A.决策时延低无需回传← 正确答案
  • B.数据隐私强不出芯片← 正确答案
  • C.通信能耗大幅下降← 正确答案
  • D.任意大数据集都能跑

答案:ABC。片上学习将推理与学习留在本地,省去上传下载的时间与能耗,同时数据不出设备,隐私更好。但片上存储与算力有限,无法处理任意大数据集,D 错误。

Q6. 神经形态芯片能耗优势的直接来源是?

单选题 · mid

  • A.主频提升带来加速
  • B.事件驱动稀疏激活省算← 正确答案
  • C.更大内存带宽支撑
  • D.完全依赖模拟电路

答案:B。脉冲网络天然稀疏,绝大多数神经元静默时几乎不耗电,事件驱动使“无事不耗能”成为可能。主频与带宽是传统芯片思路;神经形态芯片既有数字也有模拟实现,并非“完全依赖模拟”。

Q7. Lava 软件框架的主要作用是?

单选题 · mid

  • A.替代所有云端 GPU 平台
  • B.为神经形态芯片编写程序← 正确答案
  • C.负责芯片散热设计与验证
  • D.生成量子比特的电路网表

答案:B。Lava 是英特尔开源的神经形态编程框架,用来编写脉冲网络、映射到 Loihi 核并读取结果。它不替代云端 GPU,不负责散热,也不涉及量子比特电路。

Q8. 片上学习落地时常见的优化策略包括哪些?

多选题 · hard

  • A.稀疏化激活降低计算量← 正确答案
  • B.多核并行任务调度← 正确答案
  • C.动态分配片上资源← 正确答案
  • D.无限增大芯片的物理面积

答案:ABC。稀疏化、多核并行与资源动态分配都是工程上切实可行的优化手段。无限增大芯片面积受制于良率、散热量与成本,不在可行策略之列,D 错误。

Q9. 与反向传播相比,片上局部学习规则的主要代价是?

单选题 · hard

  • A.训练数据量必然大幅增加
  • B.精度可能下降需要补偿← 正确答案
  • C.推理速度必然更加缓慢
  • D.硬件成本必然高于 GPU

答案:B。局部规则缺少全局梯度信息,精度通常会有折中,需要借助替代梯度、混合架构或精细调参来补偿。数据量、推理速度与硬件成本并无必然劣势,A、C、D 过于绝对。

Q10. 关于神经形态片上学习的未来趋势,正确的有哪些?

多选题 · extreme

  • A.芯片规模持续扩展增大← 正确答案
  • B.软硬协同设计持续深化← 正确答案
  • C.与量子计算探索初步融合← 正确答案
  • D.完全取代传统 AI 芯片

答案:ABC。多芯片互联扩展、工艺演进和软硬协同设计是大势所趋,量子AI与未来计算的交叉研究也在探索融合。但神经形态芯片与传统加速器各有所长,更多是互补关系而非完全取代,D 错误。