TinyML：微控制器MCU ML

可视化演示

动态展示部署流程、MCU内存分配、平台能力对比与功耗管理策略四个视角，直观理解嵌入式设备端到端ML落地。

TinyML基础：为什么要在火柴盒里开餐厅

小王的第一反应是：干脆把煤气罐、案板、调料架都放大一倍不就行了？可胡同口就这点地方。更关键的是，客人等着拿煎饼的时间只有十几秒，把图片传到云端再等结果，来回要两三秒，还会把客人喜欢吃辣这种隐私信息暴露给大厨房。小推车的价值恰恰在于“守着客人本地开火”——不用跑腿，不用排队，断网也能做生意。

TinyML 就是“在微控制器上做机器学习推理”的整套工程体系。MCU 是指甲盖大小的芯片，把 CPU、内存、Flash 集成在一起，特点是便宜、省电、体积小，但没有操作系统、内存只有几十到几百 KB。要判断模型能不能塞进去，先要会算一笔账：

小王算完明白了：问题不是把厨房变大，而是把菜谱变小。一百万个 float32 参数要占 4MB 空间，远超 MCU 的容量；同样参数用 8 位整数只有 1MB，再剪枝一番就能塞进芯片。目标只有一个——让模型小到能装进小推车，同时煎饼还得好吃。这就是 TinyML 的第一课：在严格约束里做减法，而不是一味堆料。

模型训练：在中央厨房里研发配方

小王不敢自己瞎编菜谱。他请来一位米其林大厨，在中央厨房里用最好的食材反复试做，最后总结出“薄脆三克、甜面酱五克”的精确配方——这就是在云端用大数据训练模型。TinyML 的训练阶段和普通深度学习没有本质区别，但心里要时刻记着：这道菜最终是在小推车上做，食材和工序必须克制。

所以网络结构要选轻量路线：MobileNet 这类深度可分离卷积、适合时序信号的 1D-CNN、以及各种微型 MLP。数据增强（旋转、裁剪、加噪声）相当于给菜谱做压力测试：既怕“过拟合”到只会认某一种葱花的形状，也怕“欠拟合”到连青椒和辣椒都分不清。训练时用损失函数来衡量预测与真值的差距：

配方在中央厨房研发完毕还不是终点——米其林大厨的配方写满三页纸，小推车的案板根本放不下。小王盯着厚厚的手稿，决定下一步动刀：把菜谱缩印成一张火柴盒大小的卡片。训练阶段的目标与其说是“更准”，不如说是“在尽量小的模型里装下尽量多的火候”。

模型压缩：把菜谱缩印成小卡片

小王对三页配方动了三刀：第一刀，把所有食材切成均匀的小丁，统一规格好存放——这就是量化；第二刀，把可有可无的装饰配菜全扔了，客人根本吃不出来——这就是剪枝；第三刀，请师父亲自口传心授，让徒弟用更简单的动作做出八分像的菜——这就是知识蒸馏。

量化是最立竿见影的手段。它把连续的浮点权重映射到离散的整数格点上，以 8 位对称量化为例子：

其中 $r$ 是原始浮点权重，$\Delta$ 是由权重范围决定的缩放步长。量化后存储直接缩到原来的四分之一，推理时还可以用整数运算加速。剪枝则是把绝对值接近零的权重直接置零，让模型变稀疏；知识蒸馏则是让一个小模型去模仿大模型的“软输出”，像徒弟偷师师父的火候。

三刀下去，三页配方变成一张卡片，煎饼的味道只差了那么一丁点。小王很满意，但新的问题来了：卡片上写的“125℃小火两分钟”，小推车的燃气灶刻度根本对不上——这张卡片上的暗号，师傅还看不懂，需要再翻译一道。

模型转换：翻译成推车师傅能懂的暗号

配方卡片上的专业术语，小推车师傅看不懂；训练框架导出的模型文件，MCU 也看不懂。模型转换就是翻译：把 PyTorch/Keras 里训练好的模型，转换成 MCU 能直接运行并烧录的二进制“暗号”。

典型链路是：PyTorch/Keras 训练 → 导出为 ONNX 或直接转成 TFLite 格式 → 用 TFLite Micro 运行时在 MCU 上执行；STM32 则可以用 ST 官方的 X-CUBE-AI 工具一键生成 C 代码。转换时要逐个检查算子兼容性：MCU 的算子库很精简，不支持的算子要替换成等价的简化版本，否则要么报错，要么运行时悄悄退化成极慢的实现。最终固件里除了模型权重，还要带上推理内核和任务栈：

翻译完成，小王把固件烧进小推车的主控板，第一次测试：识别一枚硬币花了 300 毫秒，有点慢，但方向对了。他需要的是一辆更趁手的车——选 MCU 平台，就像选一辆真正适合自己出摊路线的推车。

MCU 平台：选一辆趁手的小推车

胡同口出摊常见两种车：一种是带电池和 WiFi 的电动三轮车，跑得快、能联网，但耗电大；一种是轻便省电的手推车，稳当耐用，可惜没有无线模块。选车是 TinyML 落地最关键的第一步，STM32 和 ESP32 就是这两类车的代表。

STM32 家族基于 ARM Cortex-M 核，工业级稳定性好，ST 官方提供 X-CUBE-AI 工具链，低功耗模式丰富，适合工业控制、医疗设备这类“重稳定轻联网”的场景。ESP32 采用双核 Xtensa 架构，主频最高 240MHz，自带 WiFi 和蓝牙，价格便宜，社区资料多，是 IoT 原型和智能家居的首选。推理耗时的估算公式是：

$C_{\text{MAC}}$ 是模型需要的乘加运算总次数，$f_{\text{CLK}}$ 是主频，$\eta$ 是实际计算效率。选型要同时看 RAM/Flash 容量、算力、外设接口、工具链成熟度和价格——没有最好的芯片，只有最合适的推车。

小王最后选了带 WiFi 的电动三轮车 ESP32，因为煎饼摊还要联网更新菜谱；但他心里盘算，等以后做纯离线版就换成 STM32 手推车。选车要看菜谱、看路况、看电费——但无论选哪辆车，上车后的第一件事永远是整理案板。

内存优化：一平方米案板的艺术

小推车的案板只有一平方米，却要同时摆开调味罐、煎锅和装饼的纸袋。AI 推理也一样：运行时必须同时装下输入、中间特征图和输出，这些都在 RAM 里。内存优化的本质，就是在一个平方米案板上把空间用到极致。

几个实战技巧：第一，静态分配——在编译期就把所有缓冲区定好，绝不用 malloc/free，因为动态分配会产生内存碎片，像随手乱放调料瓶导致再也没地方放锅；第二，权重放 Flash——常量权重不需要进 RAM，推理时按需读取；第三，张量内存复用——TFLite Micro 的 arena 机制让生命周期不重叠的中间张量共用同一块缓冲：

峰值占用从“所有层之和”降为“同一时刻存活张量之和”，效果立竿见影。真实项目中，一个原本要 200KB RAM 的模型，优化后常常能压进 40KB。

经过一番腾挪，小王的案板做到了“一锅到底”——前一个特征图算完立刻腾地方给下一个，内存占用从 200KB 降到 40KB。案板收拾利索了，最后一个大问题摆在面前：胡同后半夜没人来，火还开着，煤气费哗哗地流。

功耗管理：省着烧煤气

晚上九点以后，胡同口几乎没客人，小王可不会傻傻地一直大火开着。燃气费才是出摊最大的隐性成本。MCU 同理：功耗等于电压乘电流，省电的关键不是把火调小，而是“没客人就熄火，来人了再点火”。

具体手段有三招。第一，低功耗模式：STM32 的 stop/standby 模式、ESP32 的 deep sleep 模式，能把电流从毫安级压到微安级，相当于把大火关成只剩一颗小火苗。第二，事件唤醒：用传感器中断或定时器把芯片叫醒，代替每隔几毫秒就轮询一次的“傻等”。第三，突发式推理：平时深度睡眠，事件到来才全速跑完推理，算完立刻接着睡。平均功耗的模型是：

如果只有 1% 的时间在忙、99% 的时间在睡，平均功耗就被摊薄到接近休眠水平——这是 TinyML 产品续航的真相：芯片大多数时间都在“装睡”。

小王给煎饼摊设计了一个值班策略：每五秒醒来一次看看有没有人排队，其余时间深度睡眠。一块小电瓶愣是撑了一个月。他站在胡同口，看着自己的小火柴盒厨房——AI 大菜做出来了，成本还压到了最低。这正是 TinyML 的终极浪漫：在最小的芯片上，用最省的力气，干最聪明的活。

AI 应用场景

Python 演示

import numpy as np  def symmetric_quantize(weights, bits=8):    """对称量化: 将 float32 权重映射到 int8, 返回整数表和缩放步长"""    scale = np.max(np.abs(weights)) / (2 ** (bits - 1) - 1)    q = np.clip(np.round(weights / scale), -(2 ** (bits - 1)), 2 ** (bits - 1) - 1)    return q.astype(np.int8), scale  def dequantize(q, scale):    """按缩放步长把 int8 权重还原为近似的 float32"""    return q.astype(np.float32) * scale  def prune(weights, ratio=0.5):    """剪枝: 把绝对值最小的 ratio 比例权重置零"""    w = weights.copy()    threshold = np.percentile(np.abs(w), ratio * 100)    w[np.abs(w) < threshold] = 0.0    return w  def main():    rng = np.random.default_rng(42)    model = {        "fc1": rng.normal(0, 0.3, (256, 128)),        "fc2": rng.normal(0, 0.3, (128, 10)),    }    float_bytes = sum(w.nbytes for w in model.values())    print("原始 float32 模型: %d 字节 (%.1f KB)" % (float_bytes, float_bytes / 1024.0))     quant_bytes = 0    errors = []    for name, w in model.items():        q, scale = symmetric_quantize(prune(w, 0.5), 8)        quant_bytes += q.nbytes        rebuilt = dequantize(q, scale)        errors.append(np.mean(np.abs(w - rebuilt)))    print("剪枝加量化后 int8 模型: %d 字节 (%.1f KB)" % (quant_bytes, quant_bytes / 1024.0))    print("压缩比: %.1fx" % (float_bytes / quant_bytes))    print("平均绝对误差: %.5f" % float(np.mean(errors)))  if __name__ == "__main__":    main()

1. scale = np.max(np.abs(weights)) / (2 ** (bits - 1) - 1)计算量化步长，把权重最大绝对值映射到 int8 的 127。
2. q = np.clip(np.round(weights / scale), ...)加 clip 防止极端值越界，像切菜时把特别长的葱也限制在砧板长度内。
3. threshold = np.percentile(np.abs(w), ratio * 100)求出切掉 50% 小权重的那把“剪刀”的阈值。
4. w[np.abs(w) < threshold] = 0.0绝对值小于阈值的权重全部置零，这就是剪枝。
5. float_bytes = sum(w.nbytes for w in model.values())遍历模型所有层，统计原始 float32 总字节数。
6. q, scale = symmetric_quantize(prune(w, 0.5), 8)先剪枝再量化，两步压缩一气呵成。

常见误区

面试题