Safetensors 格式为何比 pickle 更安全

可视化演示

对比pickle漏洞、Safetensors安全设计、ONNX白名单与TorchScript安全边界。

pickle风险——“会说话的快递盒”

你收到一个会说话的快递盒。拆开它，盒子就开始朗读内附的小纸条，而且严格照做：纸条上写着“删除桌面文件”，它就真的去删。在 Python 的世界里，pickle 就是这样一个盒子——它承载对象数据，同时把还原数据的每一步都当作指令来执行。这不是假设的危险，而是反序列化机制天然的行为模式：不是“可能执行”，而是“必然逐条解释”。

pickle 是 Python 的标准序列化协议，负责把对象变成字节流，再从字节流还原。问题在于，“还原对象”在 pickle 眼中是“解释操作码”：pickle.loads() 会逐条读取字节流里的指令，其中 REDUCE 指令可以直接调用任意 Python 函数。于是攻击者只要伪造一个模型文件，就能在加载时让对方的机器执行任意命令。模型文件从此不再只是数据，而是一份可以被远程投递的“犯罪指令书”。

早年的 AI 生态大量使用 torch.save 和 torch.load，它们底层正是 pickle。PyTorch 官方文档反复强调：永远不要加载来路不明的 pickle 文件。这就是历史漏洞给整个社区留下的重要教训——当序列化格式自带代码执行能力时，下载模型的行为等同于打开一个会自动执行程序的包裹，风险完全不可控。

回到快递盒的比喻：人们不会主动拆开来路不明的会说话盒子，但模型下载者每天都在被动拆盒。pickle 作为模型格式的最大隐患就在这里——攻击者有地方塞纸条，而加载者连纸条上写了什么都看不见，直到代码已经在自己机器上跑起来。

安全设计——“只认数据不识字”

那就换一只“不识字”的抽屉吧。safetensors 的设计哲学正是如此：它只认数据、不识字。打开抽屉，里面是一块块码放整齐的张量数据，没有小纸条，也没有朗读纸条的装置。加载器面对文件时，全程只做一件事：把数据从磁盘搬到内存。它不认识任何指令，也永远不会替攻击者“传话”。

safetensors 是 Hugging Face 推出的模型存储格式。它的文件里只允许存放张量的二进制数据和描述性元信息，不允许出现任何可执行指令。加载过程是纯粹的数据搬运——读文件、按偏移量切数据、交给使用方，全程不存在“解释执行”这种语义。攻击者想在加载阶段注入代码，首先需要格式里有“代码”的概念，而 safetensors 从根上取消了这一概念。

与 pickle 的对象协议相比，safetensors 是彻底的“数据协议”：不支持自定义对象，不支持函数引用，不支持 import，也不支持操作码。头部虽是明文 JSON，但字段类型受到严格约束，加载时只按声明的 dtype 和 shape 解析张量，不会把任何字节当命令执行。这个设计让“执行任意代码”的攻击面在结构上被关闭，而不是依赖使用者的自觉来防范。

保险抽屉从不识字，也就永远不会替攻击者念纸条。对安全设计而言，“做不到”比“小心不要做”可靠一万倍——safetensors 正是用“做不到”来换取结构性的安全。

格式结构——“清单标签+隔层编号”

保险抽屉外面贴着一张物品清单，每件物品都标了隔层编号。safetensors 文件同样如此：前面是清单，后面是货架。加载器不需要翻箱倒柜，看一眼清单，按编号伸手就能拿到对应的物品。这个“清单+编号”的结构，构成了 safetensors 整个安全与性能故事的基石。

safetensors 文件由三部分组成：JSON 头部、8 字节头部长度、原始张量二进制区。JSON 头部是一个字典，记录每个张量的名字、dtype、shape，以及它在数据区的偏移区间。8 字节长度让加载器知道清单读到哪一行截止。二进制区则是货架上真正摆放货物的区域——所有张量按字节连续存放，位置完全由头部声明的偏移量决定。

加载一个张量，加载器先读前 8 字节得到头部长度，再解析 JSON 拿到该张量的偏移区间，最后到数据区按字节切取——三步完成，没有任何多余动作。因为 JSON 头部就是完整的地图，加载器从不扫描、猜测或解释数据区的内容，只是照着地图精确取货。

第二个关键公式是偏移量定位：每个张量的起始位置由头部声明的 data_offsets 精确给出。

这份“清单+编号”的设计不仅安全，还让加载变得异常直接：想要第三个物品，就按编号去第三个隔层拿，不用把整只抽屉倒出来。这正是下一节要展开的性能优势。

对比优势——“按编号取物的档案柜”

档案室里找一份文件有两种做法：把整个档案柜搬到桌上翻找，或看一眼检索卡，直接抽出目标卷宗。pickle 是前者，safetensors 是后者。pickle 想还原一个对象，必须把整个字节流从头到尾反序列化，期间还要构造一堆中间对象；safetensors 凭借偏移量索引，可以跳过一切无关数据，精准命中目标张量。

safetensors 之所以能“直接抽”，靠的是内存映射（mmap）和头部偏移量索引。文件被映射到进程地址空间后，读取某个张量就是在内存地址范围内切片，不需要像 pickle 那样把全部字节流反序列化成对象图。这一机制在加载 7B、13B 甚至更大模型时尤其有价值——加载者完全可以只映射文件头部，按需读取推理真正需要的权重分片。

这带来三个直接优势：加载速度更快，省去反序列化和对象构造的巨大开销；内存可控，支持惰性加载，只把当前请求用到的层放入物理内存；跨语言友好，任何语言只要读 JSON 和二进制就能加载模型，不依赖 Python 的 pickle 运行时。对生产环境来说，这些优势叠加起来就是更低的延迟、更小的内存峰值和更轻的部署依赖。

档案管理员当然喜欢“按编号抽卷宗”而不是“搬空档案柜”。对 AI 工程师来说，safetensors 的 mmap 加载就像那位高效的管理员——快、省、又安全，尤其在模型规模动辄数 GB 的今天，这种优势几乎成了刚需。

生态应用——“AI社区的标配保险箱”

Hugging Face 像一座 AI 住宅小区，以前每栋楼都派发会说话的快递盒，现在物业统一换成只放数据的保险抽屉。住户取件安心，整个小区也从根上减少了失窃案。生态迁移是安全最重要的放大器——单个模型改用安全格式只是点上的防护，整个社区统一默认格式才能形成面上的防护。

Hugging Face 已将 safetensors 设为模型库的默认格式，transformers、diffusers 等主流库原生支持。社区大量模型从 .bin（pickle 格式）切换到 .safetensors，下载页的默认文件往往就是 safetensors 版本。这意味着新用户不需要任何额外的安全配置，开箱即用就走上了安全的加载路径。

对开发者而言，切换成本极低：加载代码几乎不变，但安全性完全不同。配合 Hub 的模型卡片与下载统计，新下载的模型绝大多数已不再携带 pickle 的可执行路径。工具链方面，训练脚本、推理服务、量化框架、模型浏览器全面适配，safetensors 已经成为事实上的生态标准。

当整座小区统一换锁之后，“入室盗窃”的风险自然降低。生态层面的全面迁移，让安全从一个团队的自觉行为，变成了整个社区共享的基础设施。

供应链安全——“从源头堵住投毒”

供应链是一条长长的物流线：从模型仓库到 CI 流水线，再到生产服务器，每一个环节都可能被人塞进小纸条。safetensors 的价值在于，每个包裹里只有货物、没有纸条——就算中途被拆开，也没有地方可以藏指令。安全如果只靠终点防线，永远防不住中间的每一个环节；只有让载体本身失去携带指令的能力，才能从源头堵住投毒。

AI 供应链里，模型文件是最危险的载体之一：体积大、来源杂、下载即加载。pickle 格式让“文件即武器”成为可能，攻击者一旦拿下某个上游仓库，就能给所有下游用户投递一枚定时炸弹；safetensors 则把载体中的攻击面整体移除，使审计、校验、合规分发成为可以落地的事情。整个分发链路中，不再存在“加载模型 = 执行远程代码”这个危险的等式。

对安全团队来说，safetensors 头部是明文 JSON，可以离线扫描全部张量元数据；数据区是纯二进制字节，不包含字符串常量、函数名或 import 路径。配合哈希与签名工具，就能构建一条“下载 → 校验 → 加载”的可信链路，从源头堵住模型投毒。企业还可以在准入系统中强制要求 safetensors 格式，将不合规的 pickle 文件直接拦截在门槛之外。

物流线上没有纸条，投毒者就无从下手。供应链安全的关键不是“事后追溯”，而是让攻击者根本没有可写纸条的载体——这正是 safetensors 格式的安全哲学，也是它在模型与数据供应链安全中不可替代的原因。

AI 应用场景

Python 演示

"""对比 pickle 与 safetensors 的安全性: 加载模型文件时是否会执行代码."""import ioimport jsonimport osimport pickleimport tempfile import numpy as np # 1) 恶意 pickle: 加载后会悄悄执行一条外部命令exploit = b"""cossystem(S'echo "[!] pickle 加载时执行了外部命令!"'tR."""  def load_pickle(fileobj):    # 模拟早期 transformers 从 pickle 加载权重    return pickle.load(fileobj, encoding="latin1")  def make_weights():    return {"embed.weight": np.random.rand(4, 4).astype("float32")}  def save_safetensors(path, weights):    """极简 safetensors 写入: JSON 头部 + 8 字节长度 + 数据区."""    header = {}    data = b""    for name, tensor in weights.items():        offset = len(data)        header[name] = {            "dtype": str(tensor.dtype),            "shape": list(tensor.shape),            "data_offsets": [offset, offset + tensor.nbytes],        }        data += tensor.tobytes()    body = json.dumps(header).encode("utf-8")    with open(path, "wb") as f:        f.write(len(body).to_bytes(8, "little"))        f.write(body)        f.write(data)  def load_safetensors(path):    with open(path, "rb") as f:        header_len = int.from_bytes(f.read(8), "little")        header = json.loads(f.read(header_len))        f.seek(8 + header_len)        data = f.read()    weights = {}    for name, meta in header.items():        start, end = meta["data_offsets"]        weights[name] = np.frombuffer(data[start:end], dtype=meta["dtype"])    return weights  def main():    # pickle 演示: 反序列化会解释操作码, 触发 os.system 调用    try:        load_pickle(io.BytesIO(exploit))        print("[提示] pickle 会无条件解释文件中的操作码")    except Exception:        print("[!] pickle 报错之前已经在执行指令了")     # safetensors 演示: 数据区塞入恶意字节也不会被执行    tmp = tempfile.mktemp(suffix=".safetensors")    save_safetensors(tmp, make_weights())    with open(tmp, "ab") as f:        f.write(b"os.system('echo hacked')")    loaded = load_safetensors(tmp)    print("[i] safetensors 加载成功, 张量数:", len(loaded))    os.remove(tmp)  if __name__ == "__main__":    main()

1. return pickle.load(fileobj, encoding="latin1")反序列化入口，字节流会被 pickle 解释器逐条解析，形成执行链。
2. data += tensor.tobytes()把张量二进制追加进数据区，safetensors 只搬运字节流，不产生任何指令记录。
3. "data_offsets": [offset, offset + tensor.nbytes]头部只声明“数据在哪个区间”，加载器靠它直接定位，无需任何解释执行。
4. f.write(len(body).to_bytes(8, "little"))写入 8 字节头部长度，数据区起点可被精确计算。
5. f.seek(8 + header_len)跳过长度场与 JSON 头部，直接进入数据区。
6. weights[name] = np.frombuffer(data[start:end], dtype=meta["dtype"])按偏移量切出张量，全程只有数据搬运，没有任何代码执行。
7. f.write(b"os.system('echo hacked')")故意往文件中追加恶意字节，验证 safetensors 加载器不会把它们当作指令。

常见误区

面试题