想象一座只在“有事发生”时才运转的城市快递站。白天,街道上人声、车流、音乐混成一片嘈杂——在神经形态听觉芯片的世界里,这些声音被当作源源不断送来的“货物”。耳朵是入口,耳蜗是一座螺旋分拣站:货物按大小滑到不同楼层的传送带,这相当于把声音按频率拆开;每层的分拣员并不写流水账,而是在有包裹到达时按一下铃——一声铃就是一次“地址事件”。快递公司真正的聪明之处在于:没有包裹时,整座站可以安静打盹,完全不耗能量。传统数字音频处理却像一台永远开着的摄像机,哪怕街道空无一人也在逐帧录像。于是,类脑芯片家族(Intel Loihi、IBM TrueNorth、中科院达尔文)把“按铃才工作”的哲学刻进硅片:事件驱动、异步并行、微秒级响应。本文要讲的,就是这套“声音快递站”的三个核心部件——耳蜗分拣(频率分解)、按铃编码(AER)、邮差记忆(DHTM),以及它们如何让语音识别又“快”又“省”。

岗位关联

理解神经形态听觉前端,让你掌握“事件驱动”这一与帧式计算并列的第三范式:在低功耗语音唤醒、声学事件检测与端侧AI落地中,多一种从芯片到算法全栈可控的架构选择。

目录
  1. 可视化演示
  2. 耳蜗的听觉机制
  3. AER地址事件
  4. 耳蜗频率分解
  5. DHTM时序编码
  6. 神经形态芯片架构
  7. 语音识别部署
  8. 与传统方法对比
  9. 性能评估指标
  10. AI 应用场景
  11. Python 演示
  12. 常见误区
  13. 面试题

可视化演示

模拟AER地址事件编码、耳蜗频率分解与脉冲时序编码,展示神经形态芯片的超低延迟声音特征提取。

本节配有交互动效(进入视口后自动加载,约 3KB)。

模式1:AER地址事件编码 声波过阈值触发脉冲 事件以地址-时间表示 AER = (addr, t) 稀疏事件编码大幅降低数据量。

耳蜗的听觉机制

快递站的入口是一座螺旋滑梯——这就是耳蜗。它并非均匀管道:入口宽,越往里越窄,壁面也越硬。货物(不同频率的声音成分)顺着滑梯往下冲,低频的“重货”能一直滑到最深处,高频的“轻货”在入口附近就被拦下。结果,每一种频率都停在滑梯上独一无二的位置,这便是分拣站的第一道工序:物理分频。

生物上,这个“滑梯位置”就是基底膜。声波让基底膜产生行波,某一位置的膜刚度恰好匹配某一频率时振幅最大,这个频率叫做该点的特征频率。工程师把这段斜坡抽象为“位置-频率映射”(tonotopy):沿基底膜的距离 x 越远,该处最敏感的特征频率越低,而且呈指数关系。数学表达如下:

于是,声音还没变成电信号,就已经被耳蜗这条物理斜坡拆成了“一摞按频率分层的货物”。接下来,每层的分拣员——内毛细胞——开始工作:把机械振动转成电脉冲,为 AER 编码备好“上架清单”。

f(x)=f0×2xL\displaystyle f(x) = f_0 \times 2^{\frac{x}{L}}
简单说:基底膜像一把指数标尺,位置越靠里,能激起最大振动的频率越低,于是声音被“摊”成一张按频率排序的地图。
  1. 位置变量 x代表沿基底膜从入口向顶端测得的距离,单位通常用毫米。
    x∈[0,L]x \in [0, L]
  2. 基准频率 f0入口处基底膜的参考共振频率,是整个坐标系的起点。
    f0=f(x=0)f_0 = f(x = 0)
  3. 指数底座 2^(x/L)距离每增加 L,特征频率就降低一倍,形成人类听觉熟悉的“对数频率”排列。
    f(x)=f0×2xLf(x) = f_0 \times 2^{\frac{x}{L}}

AER地址事件

分拣员不写日记,而是“按铃”。每层传送带到达一件新货物,他就按一下铃,铃响传回总台。关键是:铃只在有货物时响,没有货物时整个楼层静悄悄。这套“有变化才通知”的规则,就是地址事件表示(Address-Event Representation,AER)的雏形。

在神经形态芯片上,每个神经元或频带通道被分配一个“地址”;一旦该通道的活动超过阈值,就立刻产生一个脉冲事件。事件以(地址,时间戳)的稀疏异步数据包形式发出,不需要等待任何时钟节拍。“地址”回答“谁在响”,“时间戳”回答“何时响”,两者合起来,就是一件货物的完整快递单。全部事件构成一个集合:

对比传统流水账:数字音频每 10~25 毫秒采一帧,不管有没有声音都在记录,相当于每秒钟给空无一人的街道拍 40 张照片。AER 则把“照片”换成“变化单”,静音时事件数趋近于零——这正是省电的第一个秘密。

E={(a1,t1),(a2,t2),…,(aN,tN)}\displaystyle \mathcal{E} = \{(a_1, t_1), (a_2, t_2), \ldots, (a_N, t_N)\}
简单说:与其每秒拍 40 张照片记录整条街,不如只在有人按门铃时记一笔“谁、几点”。
  1. 事件集合$\mathcal{E}$ 是一段时间内全部事件的总账,类似快递站一整天攒下的铃响记录单。
    E={(a1,t1),…,(aN,tN)}\mathcal{E} = \{(a_1, t_1), \ldots, (a_N, t_N)\}
  2. 地址分量 a_i第 i 个脉冲来自哪个频带或神经元,指明“谁在响”。
    ai∈{1,2,…,C}a_i \in \{1, 2, \dots, C\}
  3. 时间戳 t_i事件发生的时刻,脉冲异步到达,无需等待固定节拍。
    t1<t2<⋯<tNt_1 < t_2 < \cdots < t_N

耳蜗频率分解

滑梯分好层之后,还需要一条条“专用传送带”把每层货物接走。耳蜗里,这条传送带是一组并排的带通滤波器,数学上常用“伽马通滤波器组”(gammatone filter bank)来模仿:每个滤波器只放行以某个中心频率 $f_c$ 为中心的窄段声音。

中心频率沿着对数刻度从低到高排列,与人类的音高感知(倍频程)一致。整组滤波器把连续声波切成几十上百条频带,每条频带再经内毛细胞编码,最终形成一张“频带 × 时间”的稀疏事件图——时频事件图,相当于快递站的分层货物清单。单个伽马通滤波器的脉冲响应为:

这张清单不记录“整面墙的货架”,只记录“哪条带在什么时候到了货”。它比传统频谱图稀疏得多,却完整保留了语音识别最需要的时频结构,为后面的“邮差记忆”提供了素材。

g(t)=tn−1e−2πbtcos⁡(2πfct)\displaystyle g(t) = t^{n-1} e^{-2\pi b t} \cos(2\pi f_c t)
简单说:一条传送带对应一个“中心频率”,只放行它最擅长的那种“货物”。
  1. 成形项$t^{n-1}$ 控制脉冲响应的包络形状,n 越大,响应越“钝”、越接近真实耳蜗滤波。
    tn−1,n≥1t^{n-1}, \quad n \ge 1
  2. 衰减项$e^{-2\pi b t}$ 让响应指数衰减,b 是该通道的带宽,b 越大衰减越快。
    e−2πbte^{-2\pi b t}
  3. 载波项$\cos(2\pi f_c t)$ 决定通道放行的中心频率,也就是那条传送带的服务对象。
    cos⁡(2πfct)\cos(2\pi f_c t)

DHTM时序编码

老邮差送久了,会发现规律:3 号带往往先响,0.2 秒后 7 号带必响;1 号带响过之后,往往跟着一阵密集的 8 号带铃响。他把这些先后顺序记在心里,甚至能在 7 号带还没响时提前备货。这种“记住时序、预判未来”的能力,正是神经形态听觉前端的第二个核心——DHTM(动态赫布时序记忆,Dynamic Hebbian Temporal Memory)。

DHTM 受大脑突触可塑性启发,遵循一条朴素法则:“一起放电的神经元会连在一起”(赫布法则)。它统计“通道 A 激活后通道 B 跟着激活”的频率,形成时序转移记忆;同时引入指数遗忘,让久远的共现逐渐消退,使记忆始终聚焦最近的时序模式。一次事件对突触权值的更新可以写成:

邮差的预感不是玄学,而是赫布规则与遗忘曲线叠加出的统计模型。DHTM 输出的时序特征既可用来预测下一个事件,也能作为后端脉冲分类器的输入,让人工耳“越听越熟”。

Δwij=η xi(t) xj(t−τ) e−τ/γ\displaystyle \Delta w_{ij} = \eta \, x_i(t) \, x_j(t - \tau) \, e^{-\tau / \gamma}
简单说:越近的“前后脚”越被记住,隔了很久才发生的关系,慢慢就被邮差淡忘。
  1. 权值增量$\Delta w_{ij}$ 表示通道 j 到通道 i 的突触连接强度变化,记忆就“刻”在这些权重里。
    Δwij=η xi(t) xj(t−τ)\Delta w_{ij} = \eta \, x_i(t) \, x_j(t - \tau)
  2. 时间差 τ前后两次事件的时间间隔,“谁先谁后、隔了多久”由它建模。
    τ=t−t前事件\tau = t - t_{\text{前事件}}
  3. 遗忘因子$e^{-\tau / \gamma}$ 让间隔越久的事件对记忆的贡献越小,γ 是记忆的时间尺度。
    e−τ/γe^{-\tau / \gamma}

神经形态芯片架构

一家快递公司如果所有分拣都靠一个总调度台,高峰期必然堵死。神经形态芯片选了另一条路:把权力下放到成千上万个社区小邮局。Intel Loihi、IBM TrueNorth、中科院“达尔文”芯片,都是一颗硅片上铺开数十万到上百万个“微型邮局”——神经形态核,每个核只处理自己门口的事件,核之间通过“事件铃响”异步通信,没有全局时钟。

核里的基本计算单元是 LIF(漏电积分发放)神经元:事件到达就像包裹投入邮箱,膜电位一点点累积;一旦超过阈值,神经元就发一个脉冲,然后清空复位。由于电路只在有事件时翻转,芯片功耗与事件率成正比——没包裹时,整片硅片几乎不耗电。LIF 神经元的动态可以写成一阶微分方程:

这就像上千个小邮局各自打盹、各自醒,谁也不等谁。Loihi 每个脉冲事件仅需约 24 皮焦能量,比传统 DSP 处理一个采样点低几个数量级——“按铃才工作”的哲学,在大规模并行核阵列上真正落了地。

τmdVdt=−V+RIsyn\displaystyle \tau_m \frac{dV}{dt} = -V + R I_{syn}
简单说:电位像水位,一边进水(事件)一边漏水(漏电),水满就溢出一个脉冲。
  1. 膜电位 V神经元内部的电位累积量,类似邮箱里越堆越高的包裹。
    τmdVdt=−V+RIsyn\tau_m \frac{dV}{dt} = -V + R I_{syn}
  2. 漏电项$-V$ 表示电位随时间自然泄漏,没有输入就慢慢回落。
    −V-V
  3. 输入项$R I_{syn}$ 把突触电流折算成电位增量,事件一到就自动“加货”。
    RIsynR I_{syn}

语音识别部署

语音助手像一只打盹的看门狗。快递站在绝大多数时间里只留一个值班员,监听一种专属铃声——“嘿小度”或"Hey Siri"的脉冲节奏。平时整座站的电子系统进入近零功耗待机,一旦值班员听到这个特定时序模式,立即叫醒全站、完成识别、执行指令。

部署链路是:麦克风 → 伽马通滤波器组(耳蜗分拣)→ AER 事件编码(按铃)→ DHTM 时序记忆 + 脉冲分类器(邮差记忆与决策)。由于整条链路都是事件驱动,从声波到达的第一个过阈脉冲到分类结果,延迟只由物理传播与少量脉冲累积决定,通常只需几百微秒到几毫秒:

传统方案必须攒满一帧才开始处理,相当于值班员必须先看完一整卷监控录像才做决定;而“看门狗”在第一个铃响时就已经睁眼——这就是神经形态唤醒词检测又快又省的直觉来源。

Levent=tonset+tprop+tclassify≪Tframe\displaystyle L_{event} = t_{onset} + t_{prop} + t_{classify} \ll T_{frame}
简单说:事件式“铃一响就睁眼”,帧式“必须等整卷录像带拍完”。
  1. 起始延迟$t_{onset}$ 是从发声到第一个过阈脉冲出现的时间,语音能量一起来,铃就响。
    tonsett_{onset}
  2. 传播与分类$t_{prop}$ 是脉冲在芯片核间传播的时间,$t_{classify}$ 是分类器出结果的时间。
    tprop+tclassifyt_{prop} + t_{classify}
  3. 帧周期参照$T_{frame}$ 是帧式系统必须等待的一整帧时间,通常 20~30 毫秒,远大于事件式延迟。
    Tframe≫LeventT_{frame} \gg L_{event}

与传统方法对比

把两套系统并排摆在一起,就像对比“定时拍照的保安”和“按铃才来的保安”。前者每隔 10 毫秒给整条街拍一张照片,不管街上有没有人;后者只在玻璃被碰响时赶来。传统帧式音频处理属于前者:以固定窗长(如 25ms)和帧移(如 10ms)计算 MFCC 等特征,静音段的特征计算一分不少;神经形态前端(AER + DHTM)属于后者:每个时间步只处理真实发生的脉冲。

对语音这类高稀疏信号,事件率可能只有帧式采样率的百分之几,而需要的信息几乎无损。两者的能耗之比,可以用“事件占空比”来估算。设系统满功率为 P,总运行时间为 T,事件真正活动的时长为 $T_{event}$:

若语音平均只占 20% 的时间,理论上事件式能耗就是帧式的 1/5,更不用说省掉了静音段全部的乘法运算。快递站“按铃才亮灯”,电费账单自然天差地别。

R=EframeEevent=1α,α=TeventT\displaystyle R = \frac{E_{frame}}{E_{event}} = \frac{1}{\alpha}, \qquad \alpha = \frac{T_{event}}{T}
简单说:α 是“铃真的在响”的时间占比;α 越小,事件式越省电。
  1. 帧式能耗$E_{frame}$ 是设备全程满功率运行的能量,等于功率乘以总时间。
    Eframe=P×TE_{frame} = P \times T
  2. 事件占空比α 是实际有事件的时长占比,语音唤醒任务里 α 常小于 0.2。
    α=TeventT\alpha = \frac{T_{event}}{T}
  3. 能效比两式相除得到 $R = 1 / \alpha$,α 每缩小 10 倍,省电倍数就扩大 10 倍。
    R=EframeEevent=1αR = \frac{E_{frame}}{E_{event}} = \frac{1}{\alpha}

性能评估指标

快递公司季度考核看三张成绩单:包裹送对率、每单电费、平均送达时间。神经形态听觉前端的评估也围绕三件事:识别准确率、功耗效率、实时性能。

准确率方面,在语音命令与唤醒词数据集上,事件驱动脉冲网络的精度已能逼近甚至持平帧式 DNN;功耗方面,Loihi、达尔文上的前端持续监听功耗在毫瓦级,比 DSP 方案低一到两个数量级;实时性方面,端到端延迟以事件到达时刻为起点,而非等帧边界。三张成绩单要合起来看,常用“能量-延迟积”(EDP)压成一张综合报表:

三张成绩单合起来看才公允:只谈准确率不谈功耗是耍流氓,只谈省电不谈延迟也失真。小邮局网络的精妙,不在单点最强,而在三个指标同时优秀。

EDP=E×D\displaystyle \mathrm{EDP} = E \times D
简单说:又省电又够快,EDP 才小;只省电但慢吞吞,或者快但费电,都不算好成绩。
  1. 能量 E完成一次唤醒或识别所消耗的总能量,单位常用焦耳或微焦。
    EE
  2. 延迟 D从声音到达到最后输出结果的总时长,单位毫秒或微秒。
    DD
  3. 乘积指标两者相乘得到 EDP,数值越低,说明“又快又省”的综合表现越好。
    EDP=E×D\mathrm{EDP} = E \times D

AI 应用场景

智能耳机与手机的“始终在线”语音唤醒

阶段:边缘端实时推理

解决的问题:传统方案需要 DSP 持续以 16kHz 采样并做 25ms 帧级特征计算,待机功耗高达数十毫瓦;神经形态前端以 AER 事件驱动,静默期事件数为零、计算为零,空闲功耗降至数百微瓦,唤醒延迟从百毫秒级压缩到毫秒级。

具体案例:某 TWS 耳机在 Loihi 类脑芯片上部署“小度小度”唤醒词检测,事件驱动耳蜗前端 + DHTM 时序记忆,实验显示待机功耗仅为传统 DSP 方案的 1/20,误唤醒率与帧式方案相当。

工业设备声学异常检测(预测性维护)

阶段:数据采集与特征提取

解决的问题:工厂环境声音嘈杂,传统方案要持续录音并回传云端分析,带宽与功耗双高;神经形态前端只在声学事件发生时产生脉冲,系统只上传异常事件流,可减少约 90% 的数据传输量。

具体案例:在风机轴承监测中,用 AER 前端 + LIF 脉冲网络区分正常运转与异响,芯片级功耗低于 1mW,在无 Wi-Fi 车间靠纽扣电池即可运行数月,异常事件延迟达毫秒级。

助听器与人工耳蜗的实时语音增强

阶段:信号处理前端

解决的问题:助听器要求微秒级延迟且能耗极低,帧式编码 5ms 以上的处理延迟会破坏音质;事件驱动前端模仿真实耳蜗的脉冲编码,延迟近似于事件传播时间,听感更自然。

具体案例:研究团队在 TrueNorth 上实现 128 通道耳蜗模拟 + AER 脉冲流语音增强,整机功耗不超过 10mW,帮助用户在嘈杂餐厅环境中更清晰地听清目标语音。

Python 演示

python65 行
"""神经形态听觉前端迷你演示: 耳蜗滤波器组 -> AER事件编码 -> DHTM时序记忆"""import math  def voice(n, fs, f_lo, f_hi):    """模拟一帧含低频基音与高频共振峰的语音片段"""    out = []    for i in range(n):        t = i / fs        env = (1 - math.exp(-t * 60)) * math.exp(-t * 8)        out.append(env * (0.6 * math.sin(2 * math.pi * f_lo * t) +                          0.4 * math.sin(2 * math.pi * f_hi * t)))    return out  def band_sequence(sig, fc, fs):    """单频带分解: 与参考正弦相乘, 得到该中心频率附近的包络"""    return [sig[i] * math.sin(2 * math.pi * fc * i / fs)            for i in range(len(sig))]  def lif_spikes(seq, v_th):    """LIF神经元: 膜电位带泄漏累积, 超过阈值即发放脉冲并复位"""    v, spikes = 0.0, []    for i, x in enumerate(seq):        v = v * 0.9 + x        if v > v_th:            spikes.append(i)            v = 0.0    return spikes  def main():    fs, n = 8000, int(0.2 * fs)    sig = voice(n, fs, 220, 1760)    fcs = [220, 440, 880, 1760]    events = []    for addr, fc in enumerate(fcs):        for t in lif_spikes(band_sequence(sig, fc, fs), 0.3):            events.append((addr, round(t / fs * 1000, 1)))    events.sort(key=lambda e: e[1])    seq = [a for a, _ in events]    trans = {}    for cur, nxt in zip(seq, seq[1:]):        old_keys = list(trans.keys())        for a in old_keys:            updated = {}            for b in trans[a]:                updated[b] = trans[a][b] * 0.5            trans[a] = updated        if cur not in trans:            trans[cur] = {}        trans[cur][nxt] = trans[cur].get(nxt, 0.0) + 1.0    energies = [round(sum(band_sequence(sig, fc, fs)) / n, 3) for fc in fcs]    print("各频带能量(220/440/880/1760Hz):", energies)    print("AER事件数量:", len(events), ", 帧式需处理:", n, "个采样点")    print("前8个事件(地址, 时间ms):", events[:8])    print("DHTM时序转移记忆(通道A -> 后继通道计数):")    for a in trans:        top = sorted(trans[a].items(), key=lambda kv: -kv[1])[:3]        print("  通道", a, "->", dict(top))  if __name__ == "__main__":    main()
目的:用三层流水线(耳蜗频带分解 → LIF 脉冲发放 → DHTM 时序记忆)演示神经形态听觉前端的完整事件流,并对比 AER 事件数与帧式采样量。
  1. env = (1 - math.exp(-t * 60)) * math.exp(-t * 8)模拟语音的“起音-衰减”包络,让声音像真实音节一样先冲后弱
  2. return [sig[i] * math.sin(2 * math.pi * fc * i / fs) for i in range(len(sig))]单频带分解:与参考正弦相乘,留下中心频率附近的包络
  3. v = v * 0.9 + xLIF 神经元的漏电积分:电位一边累积一边泄漏
  4. if v > v_th:阈值判断:膜电位越线瞬间发放一个脉冲,这就是“一次事件”
  5. events.append((addr, round(t / fs * 1000, 1)))AER 编码:每个事件携带(通道地址,毫秒时间戳)
  6. events.sort(key=lambda e: e[1])把各频带的脉冲按时间戳归并成一条异步事件流
  7. updated[b] = trans[a][b] * 0.5DHTM 的指数遗忘:每来一个新事件,旧记忆整体减半
  8. trans[cur][nxt] = trans[cur].get(nxt, 0.0) + 1.0DHTM 的赫布计数:“A 之后跟着 B”的次数加一

常见误区

误区我以为 Loihi、TrueNorth 就是把深度学习模型放到新硬件上,速度更快、精度更高,就像 GPU 换新卡一样直接。

正解快递站的精髓不是“车更快”,而是“没包裹就不送货”。类脑芯片改变的是计算范式:事件驱动、异步电路、无全局时钟,计算量随事件稀疏度缩放。拿它硬跑稠密大模型,反而可能不如 GPU。它真正擅长的是“持续待机、偶发事件”的流式任务,比如声音事件监测。

为何常见:GPU 时代“换硬件 = 跑更多浮点运算”的观念太深入人心,容易忽略架构范式的根本差异。

误区事件编码把声音变成零散脉冲,必然丢失大量信息,识别准确率肯定比不过 MFCC 帧式特征。

正解语音信号本身高度冗余,脉冲发放率与时间戳已经编码了大部分时序信息;配合 DHTM 时序记忆与后端脉冲分类器,唤醒词等任务上精度可与帧式相当,而延迟和功耗优势明显。信息量的关键不是“采得越密越好”,而是“只在变化时编码”。

为何常见:奈奎斯特采样定理让人默认“必须密集采样才不失真”,忽略了事件驱动是另一种信息守恒方式。

误区SNN 只能靠赫布无监督学习,无法训练深层网络,离实用很远。

正解现在有替代梯度(surrogate gradient)直接训练 SNN,也有成熟的 ANN 转 SNN 流程(权重迁移 + 脉冲率校准),Loihi 还支持片上学习规则。DHTM 这类赫布式模块负责时序记忆,后端分类器仍然可以端到端优化。

为何常见:早期文献多聚焦无监督赫布规则,给人留下“SNN 不可训练”的刻板印象。

误区DHTM 既然也处理时序,那它和 LSTM/RNN 没有本质区别。

正解RNN 是稠密浮点张量运算,每个时间步都要做矩阵乘法;DHTM 以稀疏事件驱动,只更新被事件激活的通道,用赫布规则加指数遗忘记忆时序模式,没有反向传播,能耗随事件数变化,更接近生物时序学习。

为何常见:两者都“处理序列”,表面相似,让人忽略了稀疏事件与稠密张量两种计算范式的根本差异。

面试题

Q1. AER(地址事件表示)中,“事件”最准确的含义是?

单选题 · easy

  • A.固定时间窗内的平均采样值
  • B.神经元过阈触发的一次异步脉冲← 正确答案
  • C.每个频带在一帧中的能量总和
  • D.声音信号对应的原始波形文件

答案:B。AER 的核心是“有变化才发脉冲”,每个事件是一次异步的过阈脉冲,携带地址与时间戳,而不是固定窗口的统计值。类比快递站的“按铃”:铃响代表一件新包裹到了,而不是定时打卡。

Q2. 耳蜗对声音实现频率分解主要依靠?

单选题 · easy

  • A.基底膜从入口到顶端的位置频率映射← 正确答案
  • B.大脑皮层听区的神经信号分类
  • C.声波在耳道空气中的多次反射
  • D.中耳鼓膜随声压的整体振动幅度

答案:A。基底膜物理上就是一把“频率标尺”:位置越靠里,特征频率越低,声波在对应位置形成最大振幅,完成天然分频。鼓膜只负责传导,大脑是后续加工,都不做频率分解。

Q3. 伽马通滤波器组的“中心频率”指的是?

单选题 · mid

  • A.该通道最敏感并放行的频率位置← 正确答案
  • B.模数转换器实际采用的采样率
  • C.系统中事件触发阈值的电平大小
  • D.帧式分析中窗口移动的步长

答案:A。伽马通滤波器模仿耳蜗频带,每个通道围绕一个中心频率放行窄段声音,就像每条传送带只接一种货物。采样率、阈值、帧移都是别的环节的参数。

Q4. DHTM 的“时序记忆”核心机制是?

单选题 · mid

  • A.赫布可塑性加上指数式的遗忘衰减← 正确答案
  • B.卷积网络对频带的逐层抽象
  • C.全局时钟控制下的状态机转移
  • D.梯度下降对海量数据的离线拟合

答案:A。DHTM 用赫布法则统计“后事件跟着前事件”的共现,并用指数衰减让久远记忆淡出,本质是时序模式学习。邮差的“预感”就来自这套积累与遗忘,而不是卷积、状态机或离线梯度下降。

Q5. Loihi 芯片与 GPU 最本质的不同是?

单选题 · mid

  • A.事件驱动异步计算,无全局时钟← 正确答案
  • B.核心频率更高且缓存容量更大
  • C.通用矩阵乘法加速效率显著
  • D.拥有规模更大的软件开发社区

答案:A。Loihi 是神经形态芯片,神经元按事件异步激活、没有全局时钟,功耗随脉冲数缩放;GPU 则是全局时钟驱动的稠密矩阵加速器。快递站“按铃才亮灯”和“摄像机一直录像”的区别,就在这里。

Q6. 神经形态系统用于语音唤醒的主要优势是?

单选题 · mid

  • A.常开待机功耗低且响应达微秒级← 正确答案
  • B.模型参数量更大因而拟合更好
  • C.需要更长的时间进行离线训练
  • D.完全不需要任何前置信号处理

答案:A。事件驱动使静默期几乎零功耗,响应从第一个过阈脉冲就开始计算,达到微秒到毫秒级。它并不依赖参数更多或训练更久,也依然需要前端滤波。

Q7. 关于 ANN 转 SNN 的说法,正确的是?

单选题 · hard

  • A.本质是权重迁移与脉冲频率校准← 正确答案
  • B.转换后精度必然超过原始 ANN
  • C.整个转换过程无需任何训练数据
  • D.仅适用于卷积层不能用于全连接

答案:A。ANN 转 SNN 先把权重搬到脉冲网络,再把激活值映射为脉冲发放率,通常需要少量校准数据对齐输出分布。转换不保证精度提升,也适用于全连接层。

Q8. AER 事件编码具备的优点包括?

多选题 · mid

  • A.活动稀疏时能耗与事件数成正比← 正确答案
  • B.静音时段不产生冗余的采样← 正确答案
  • C.天然适配异步低功耗的芯片← 正确答案
  • D.可以直接省略掉声学滤波器

答案:ABC。AER 的工程量随事件数缩放、静音零事件、天然对接异步芯片——这三点都是“按铃才工作”哲学的体现。但它不能省略滤波器组,频率分解依然需要前端完成。

Q9. 神经形态听觉前端落地语音识别需要的模块有?

多选题 · hard

  • A.耳蜗滤波器组完成频率分解← 正确答案
  • B.AER 事件编码生成脉冲流← 正确答案
  • C.DHTM 时序记忆与后端分类器← 正确答案
  • D.传统帧式 MFCC 单独完成全部

答案:ABC。标准链路是“频率分解 → 事件编码 → 时序记忆/分类”,三者协同才构成完整前端。帧式 MFCC 是与之对立的传统技术,不属于事件驱动链路。

Q10. 关于神经形态与传统音频处理,正确的有?

多选题 · extreme

  • A.帧式固定周期采样,静音期也耗能← 正确答案
  • B.事件式延迟由信号出现时刻决定← 正确答案
  • C.二者能效比可用事件占空比估算← 正确答案
  • D.事件式无法达到帧式的同等精度

答案:ABC。帧式定时采样在静音期白耗能量;事件式从信号真正出现的第一个脉冲开始计算;能效比 R = 1/α 由占空比决定。至于精度,近年研究已表明事件式在多项语音任务上可逼近乃至持平帧式,“达不到同等精度”是常见误解。