想象你是一位肖像画师，曾在公开画廊里苦练十年，人体结构、光影、笔触都已炉火纯青。某天一位客户请你画私人肖像，但为了保护隐私，你们之间必须隔着一块磨砂玻璃——你每次落笔只能看到模糊的轮廓，玻璃上还撒着细碎的噪点。这块玻璃就是差分隐私（Differential Privacy，简称 DP）：它让任何人都无法从你的画作中反推出客户的五官细节。玻璃越厚，隐私越安全，但画也越模糊。传统的做法是从一张白纸开始临摹，客户随便一个特征都会让画作大幅改动——敏感度极高，你不得不把玻璃加得很厚，最后画出一团雾。而聪明的画师懂得先借助公开画廊练成的底稿：她已经知道人脸长什么样，只需要微调嘴角和眼角这几笔，玻璃可以换得很薄，画作又快又清晰地完成。预训练模型就是那张底稿，DP 微调就是在薄玻璃后做点睛之笔。这篇教程带你走进这间画室，看差分隐私训练如何与预训练模型珠联璧合。

岗位关联

掌握 DP 与预训练结合的原理与工程实践，是你在隐私合规时代部署大模型的核心竞争力——既守住用户数据安全，又不牺牲模型精度。

目录
  1. 可视化演示
  2. 背景挑战
  3. 预训练价值
  4. 隐私预算分配
  5. 微调策略
  6. 噪声平衡
  7. 工程流程
  8. 成效局限
  9. AI 应用场景
  10. Python 演示
  11. 常见误区
  12. 面试题

可视化演示

展示DP与预训练结合核心机制：DP-SGD噪声注入演示梯度裁剪与高斯噪声加噪过程及隐私预算消耗；预训练降噪展示从零训练vs预训练微调的步数与噪声敏感度差异；精度隐私权衡展示epsilon与精度trade-off曲线及LoRA协同优化效果。

本节配有交互动效（进入视口后自动加载，约 3KB）。

DP-SGD噪声注入机制 梯度裁剪C→高斯噪声σ→隐私预算ε消耗 σ≥C·√(2T)/ε 裁剪范数C决定噪声量级，ε控制隐私强度

背景挑战

很多新人画师的第一反应是：接单就直接开画，何必费劲先练十年？于是对着磨砂玻璃，从一张白纸开始一笔笔临摹客户的脸。这时麻烦来了——客户随便一个微小的特征（一颗泪痣、一道疤痕）都会让整幅画的构图大幅变动。为了保护隐私，画室规定任何此类“大幅变动”都必须用更厚的玻璃隔离：改得越猛，玻璃必须越厚。

这张“玻璃”就是差分隐私（Differential Privacy）的直观写照。它通过给训练过程注入噪声，使模型输出对任何单个样本的变化不敏感。把 DP 直接套在大模型上做“从零训练”，等价于让毫无基础的新手隔着厚玻璃画肖像：模型参数动辄上亿，梯度幅度大、方向杂，噪声一加就把有效信息淹没，训练几万步也难以收敛。

大模型隐私训练最常用的武器是 DP-SGD：每个样本的梯度先被裁剪，再加高斯噪声，然后才用于更新权重，公式如下：

从零训练时，模型对每个样本都很“敏感”，裁剪阈值 C 不得不设大，噪声也跟着放大，效果自然惨淡。结论很清晰：不要在厚玻璃后从零画起。真正的出路，是先有一张好底稿——预训练。

g~=g⋅min⁡(1, C∥g∥2)+N(0, σ2C2I)\tilde{g} = g \cdot \min\left(1,\, \frac{C}{\lVert g \rVert_2}\right) + \mathcal{N}(0,\, \sigma^2 C^2 \boldsymbol{I})
直观理解：先给每个样本的“修改建议”踩一脚刹车（裁剪到范数不超过 C），再撒上一层“磨砂”（高斯噪声），外人就分辨不出这条建议来自谁。
  1. 样本梯度 g每个训练样本对模型提出的“修改建议”，里面藏着一个人的独有特征。
    g=∇θ ℓ(fθ(xi), yi)\displaystyle g = \nabla_\theta\, \ell(f_\theta(x_i),\, y_i)
  2. 裁剪比 min(1, C/‖g‖₂)把过激的建议按压到半径为 C 的球内，限制单个样本的最大影响力，也就是锁定敏感度。
    min⁡(1, C∥g∥2)\displaystyle \min\left(1,\, \frac{C}{\lVert g \rVert_2}\right)
  3. 高斯噪声 N(0, σ²C²I)在建议上撒一层细碎的“磨砂”，让旁观者无法辨认这条建议来自哪张脸。
    N(0, σ2C2I)\displaystyle \mathcal{N}(0,\, \sigma^2 C^2 \boldsymbol{I})

预训练价值

老画师接私单的方式完全不同。她先在公开画廊学了十年：看过十万张人脸，掌握了眼睛、鼻子、嘴的相对位置。现在隔着玻璃，她只需要观察客户脸部的大致轮廓，就能凭通用知识推断出绝大多数细节，真正需要临摹的只有“嘴角上扬的弧度”这一小处。

在深度学习中，这个“十年功力”就是预训练。预训练模型在公开语料或图像上学会了通用表征（representation）：文本的语法语义、图像的结构纹理。微调时，旧知识已经被固定在初始化权重里，私有数据只需要带来小修小补。数学上最直接的体现是：从预训练点出发，每个样本的梯度范数显著变小。

定义敏感度为所有样本梯度范数的上界：

预训练的价值，本质上不是“省时间”，而是把差分隐私最昂贵的成本——噪声——按比例压低。底稿越像客户的脸型，敏感度越低，玻璃就能越薄。

Δ=max⁡x∈D∥∇θℓ(hθ0(x), y)∥2\Delta = \max_{x \in D} \left\lVert \nabla_\theta \ell(h_{\theta_0}(x),\, y) \right\rVert_2
直观理解：敏感度就是“客户一个特征对画作的最大扰动”。底稿越接近客户的脸型，这个扰动越小，玻璃就能越薄。
  1. 样本集 D 上的最大值 max敏感度取最坏情况，保证任何一个人的影响都不超限。
    max⁡x∈D\displaystyle \max_{x \in D}
  2. 损失梯度 ∇θℓ模型对某个样本“还需要改动”的方向和幅度。
    ∇θℓ(hθ0(x), y)\displaystyle \nabla_\theta \ell(h_{\theta_0}(x),\, y)
  3. 预训练初始化 θ₀底稿——已经包含通用知识，只需小幅调整。
    θ0\displaystyle \theta_0
  4. 范数 ‖·‖₂改动幅度，预训练底稿让它在起点处天然很小。
    ∥⋅∥2\displaystyle \lVert \cdot \rVert_2

隐私预算分配

画室给每位客户发一张“清晰度配额券”：你隔着玻璃观察客户的总时间是有上限的，看得越久，画像越清晰，但客户隐私被还原的风险越大。这张券就是隐私预算 ε。精明的画师绝不会把配额浪费在打草稿上——草稿用的是公开画廊的记忆，不花客户一分钱配额；只有精修客户独有特征时，才消耗配额。

技术上也一样：预训练若使用公开数据，不消耗隐私预算；预算只花在私有数据微调阶段。微调由很多轮梯度更新组成，每一轮都有隐私代价，总预算由组合定理（composition）累加。最常用的是 Rényi 差分隐私（RDP）账本：它跟踪一个参数 α，把每一步的隐私损失折算后相加：

预训练底稿的价值在这里第二次兑现：它让 T 从“几万轮”缩到“几百轮”，同时让 Δ_t 变小，双管齐下地压低预算消耗。同样的 ε，别人花光了配额还在画满脸，你只点睛——配额自然够用。

ε(α)=∑t=1Tα⋅Δt22 σt2\varepsilon(\alpha) = \sum_{t=1}^{T} \frac{\alpha \cdot \Delta_t^2}{2\, \sigma_t^2}
直观理解：总配额等于每一轮“观察成本”的累加。轮数越少、每轮扰动越小，总账就越省。
  1. 求和 Σ_{t=1}^{T}T 轮迭代逐轮叠加，轮数越多预算烧得越快。
    ∑t=1T\displaystyle \sum_{t=1}^{T}
  2. 跟踪参数 αRDP 的“放大镜”，用来精细核算隐私损失，可以理解为审计时的精度档位。
    α\displaystyle \alpha
  3. 敏感度平方 Δ_t²第 t 轮的敏感度；敏感度高，单轮成本就高。
    Δt2\displaystyle \Delta_t^2
  4. 噪声方差 2σ_t²噪声越大，单轮隐私损失越小；但噪声会伤精度，所以要找平衡。
    2 σt2\displaystyle 2\, \sigma_t^2

微调策略

有了底稿，还得控制“动笔面积”。全参数微调等于把整幅画擦掉重画一遍——即使有底稿，也会引入大量与客户隐私相关的变动；而聪明的画师只允许自己动几个区域：嘴角、眼角、眉梢。这就是参数高效微调的思想：能不动的地方绝不动。

最常见的两种是：线性探测（冻结全部主干，只训分类头）和低秩适配 LoRA。LoRA 假设微调的权重变化是低秩的：预训练权重 W₀ 保持冻结，额外加一个小矩阵 BA：

非隐私场景里，LoRA 是为了省显存、省算力；在隐私场景里，它更关键的价值是缩小“敏感度空间”。可训练参数越少，梯度中所带的个人痕迹越稀薄，裁剪和噪声的破坏面就越小。动笔越少，画得越像。

Wnew=W0+αrr BA,B∈Rd×r,  A∈Rr×d,  r≪dW_{\text{new}} = W_0 + \frac{\alpha_r}{r}\, B A, \qquad B \in \mathbb{R}^{d \times r},\; A \in \mathbb{R}^{r \times d},\; r \ll d
直观理解：底稿画布原封不动，只在上面叠一层“透明改稿膜”，改稿膜的笔触极少，擦掉也不伤原画。
  1. 冻结的 W₀预训练权重保持不动，像画布上已有的底稿。
    W0\displaystyle W_0
  2. 低秩因子 B、A只有这两个小矩阵可训练，参数总量只有全量的几百分之一。
    B∈Rd×r,  A∈Rr×d\displaystyle B \in \mathbb{R}^{d \times r},\; A \in \mathbb{R}^{r \times d}
  3. 秩 r表示“允许精修的自由度”，通常取 4~64，改动越小敏感度越低。
    r≪d\displaystyle r \ll d
  4. 缩放系数 α_r/r控制点睛之笔的浓淡，需要与学习率一起调。
    αrr\displaystyle \frac{\alpha_r}{r}

噪声平衡

玻璃的厚薄是一门手感活。太厚，客户的脸变成马赛克；太薄，隐私守卫形同虚设。画师的经验是：玻璃厚度不必拍脑袋定，而是由“客户的扰动幅度”和“配额”共同算出。扰动幅度小的人，薄玻璃就能达标——这正是预训练底稿的用武之地。

数学上，高斯机制给出了噪声尺度 σ 的下界：它正比于敏感度 Δ，反比于隐私预算 ε（在给定失败概率 δ 下）。因此，一切能降低 Δ 的手段（预训练初始化、LoRA、冻结主干）都会等比例地“减薄玻璃”：

这解释了为什么“DP 与预训练结合”能打破“隐私必掉点”的魔咒：它不动 ε，不动 δ，只通过降低敏感度把玻璃变薄。隐私保护强度一分不减，画质却天差地别。

σ≥Δ⋅2ln⁡(1.25/δ)ε\sigma \ge \frac{\Delta \cdot \sqrt{2 \ln(1.25 / \delta)}}{\varepsilon}
直观理解：玻璃厚度 = 客户扰动幅度 × 保险系数 ÷ 清晰度配额。扰动小的人，薄玻璃就足够安全。
  1. 敏感度 Δ客户特征的最大扰动幅度；预训练把它压小，σ 跟着变小。
    Δ\displaystyle \Delta
  2. 保险系数 √(2 ln(1.25/δ))与安全性失败概率 δ 相关的常数（δ 常取 1e-5），表示“万一翻车的余地”。
    2ln⁡(1.25/δ)\displaystyle \sqrt{2 \ln(1.25 / \delta)}
  3. 隐私预算 ε清晰度配额；ε 越小要求噪声越大。
    ε\displaystyle \varepsilon
  4. 比例关系 σ ∝ Δ/ε同样 ε 下，Δ 降为 1/4，噪声也降为 1/4，精度损失大幅减小。
    σ∝Δε\displaystyle \sigma \propto \frac{\Delta}{\varepsilon}

工程流程

一间成熟的画室接肖像私单，流程是固定的：确认底稿、发配额券、薄玻璃精修、验收交付。差分隐私大模型微调的工程化也如此，任何一步缺失都会翻车。

步骤展开：① 数据预处理——清洗、去重、按用户分组，防止一个人出现在多条样本里；② 加载预训练权重作为底稿；③ 设置 DP-SGD 超参：裁剪阈值 C、噪声乘子 σ、批次大小、迭代轮数；④ 训练中用隐私账本实时核算 ε，达到预算即停；⑤ 上线前做隐私审计与效用评估。每一步更新如下：

工程上有两条实战口诀：先用非隐私小实验把 C 的量级摸清（观察梯度范数分布），再按预算反推 σ；训练时时刻盯住隐私账本，预算耗尽立刻停笔。流程里最关键的一步仍是那次“加载预训练权重”——它决定了后续所有环节的玻璃厚度。

θt+1=θt−η⋅1∣B∣(∑i∈Bclip⁡C(∇θℓi(θt))+N(0,σ2C2I))\theta_{t+1} = \theta_t - \eta \cdot \frac{1}{|\mathcal{B}|} \left( \sum_{i \in \mathcal{B}} \operatorname{clip}_C\left( \nabla_\theta \ell_i(\theta_t) \right) + \mathcal{N}(0, \sigma^2 C^2 \boldsymbol{I}) \right)
直观理解：一批样本的裁剪梯度先取平均，再撒上噪声，才是这一笔真正落下的位置。
  1. 批次 B一次更新看的一批样本，批次越大，噪声均值越稳定。
    B\displaystyle \mathcal{B}
  2. 逐样本裁剪 clip_C把敏感度钉在 C 上，防止单个样本主导更新。
    clip⁡C(∇θℓi(θt))\displaystyle \operatorname{clip}_C\left( \nabla_\theta \ell_i(\theta_t) \right)
  3. 高斯噪声 N(0, σ²C²I)唯一真正“报销”隐私成本的动作。
    N(0,σ2C2I)\displaystyle \mathcal{N}(0, \sigma^2 C^2 \boldsymbol{I})
  4. 学习率 η 与更新带噪梯度做一次小步移动，对应“玻璃后落一笔”。
    θt+1=θt−η⋅(⋅)\displaystyle \theta_{t+1} = \theta_t - \eta \cdot \left( \cdot \right)

成效局限

薄玻璃 + 好底稿的成品有多惊艳？业界多个大模型隐私微调实验表明：在 ε≈2~8 的预算下，预训练 + LoRA 的 DP 微调能把精度拉到接近非隐私微调的九成五以上，而同样的预算给“从零训练”只够画出一张模糊的色块。

这不是魔法，而是三条杠杆共同作用的结果：更少的迭代轮数、更低的敏感度、更小的可训练参数量。它们一起把隐私噪声对效用的伤害压缩到最低。效用损失大致随下列量增长：

但底稿不是万能的：若预训练语料本身含有敏感个人信息，那段训练也必须纳入隐私核算；底稿与下游任务差异太大（比如用文本模型微调医疗影像），敏感度不会自动降低；此外超参（C、σ、r）对结果非常敏感，需要仔细调。ε 也永远不会等于 0，只是把风险压到可接受范围。

所以这间画室的门规是：底稿选对、配额算清、点睛够少、玻璃最薄。在这一前提下，DP 与预训练的结合是目前大模型隐私微调最实用、最接近“免费午餐”的路径——不是没有代价，而是代价小到值得付。

AccnonDP−AccDP  ∼  O ⁣(T⋅dθ,trainε⋅n)\mathrm{Acc}_{\mathrm{nonDP}} - \mathrm{Acc}_{\mathrm{DP}} \;\sim\; \mathcal{O}\!\left( \frac{\sqrt{T \cdot d_{\theta,\mathrm{train}}}}{\varepsilon \cdot n} \right)
直观理解：掉点幅度 ≈ 迭代轮数和可训练参数量的平方根，除以预算与样本量。轮数少、参数少、数据多、预算宽，掉点就小。
  1. 迭代轮数 T预训练底稿让 T 从几万压到几百，损失随之减小。
    T\displaystyle T
  2. 可训练参数维度 dLoRA 让 d 小到千分之一量级，损失大幅缩小。
    dθ,train\displaystyle d_{\theta,\mathrm{train}}
  3. 样本数 n 与预算 ε数据越多、ε 越大，噪声越能被“摊薄”。
    ε⋅n\displaystyle \varepsilon \cdot n

AI 应用场景

医疗大模型私域微调

阶段：模型微调与隐私保护（训练阶段）

解决的问题：医院想在院内病历上微调医疗问答大模型，但病历含患者隐私，直接微调违反合规。传统做法要么完全不上敏感数据导致模型效果差，要么承担数据泄露风险。用“公开医疗语料预训练基座 + DP-SGD/LoRA 微调”后，医院可用较小预算完成院内适配，精度接近非隐私微调。

具体案例：某三甲医院部署医疗咨询助手：基座在公开医学论文与教材上预训练；院内用脱敏电子病历做 LoRA 微调，隐私账本核算 ε=3.2，在线问答准确率仅比非隐私版本低 1.8 个百分点。

金融风控模型合规升级

阶段：数据合规与训练阶段

解决的问题：银行用客户交易流水微调反欺诈模型，监管明确要求差分隐私。全量数据直接训练有合规风险，传统规则引擎又难以捕捉复杂欺诈模式。

具体案例：某银行对 500 万条交易记录做 DP 微调：用公开金融语料预训练的特征编码器作为底稿，冻结主干只训分类头，ε=6 下欺诈召回率仅下降 2.1%，顺利通过合规审计。

个性化推荐与用户洞察

阶段：个性化微调阶段

解决的问题：大模型个性化推荐需要利用用户短期行为，但这些行为属于敏感数据，集中式训练泄露风险大。

具体案例：某内容平台在推荐大模型上做“用户级 DP 微调”：预训练兴趣表征 + 极低秩适配，每位用户隐私预算 ε=4，推荐点击率保持非隐私水平的 95% 以上。

Python 演示

python45 行
import numpy as np rng = np.random.default_rng(42)N, D = 1024, 8 # 数据生成: 真实标签由隐藏信号 x2*x3 决定 (非线性)x = rng.normal(size=(N, D))y = (x[:, 2] * x[:, 3] > 0).astype(float) * 2 - 1  def pretrained_feature(x):    # 预训练表征: 把隐藏信号显式提取到前两维, 梯度范数更小    return np.stack([x[:, 2] * x[:, 3], np.tanh(x[:, 2] + x[:, 3])], axis=1)  def dp_sgd(feats, y, sigma=0.8, clip=1.0, epochs=40, lr=0.3, batch=32):    # DP-SGD 最小实现: 逐样本裁剪 + 高斯噪声    w = np.zeros(feats.shape[1])    for _ in range(epochs):        order = rng.permutation(len(y))        for i in range(0, len(y), batch):            idx = order[i:i + batch]            margin = y[idx] * (feats[idx] @ w)            grad = -y[idx][:, None] * feats[idx] * (1 / (1 + np.exp(margin)))[:, None]            norm = np.linalg.norm(grad, axis=1, keepdims=True)            grad = grad * np.minimum(1.0, clip / np.maximum(norm, 1e-8))            noisy = grad.mean(axis=0) + sigma * clip * rng.normal(size=w.shape)            w += lr * noisy    return w  def sensitivity(feats):    # 敏感度代理: 随机初始化下逐样本梯度范数的上界    w0 = np.ones(feats.shape[1])    grad = -y[:, None] * feats * (1 / (1 + np.exp(y * (feats @ w0))))[:, None]    return float(np.linalg.norm(grad, axis=1).max())  # 对照组: 同一套 DP 流程, 比较有底稿和没底稿for name, feats in [("原始特征", x), ("预训练特征", pretrained_feature(x))]:    print("%s 敏感度=%.3f" % (name, sensitivity(feats)))    for sig in (0.0, 0.8):        w = dp_sgd(feats, y, sigma=sig)        acc = ((feats @ w > 0) == (y > 0)).mean()        print("  sigma=%.1f 准确率=%.3f" % (sig, acc))
目的：用一份最小可跑的 numpy 实现，复现“预训练表征降低敏感度、让 DP 微调小噪声高精度”的核心结论。
  1. def pretrained_feature(x):模拟预训练底稿：把隐藏的乘积信号显式提取到前两维，让后续线性分类器好学。
  2. grad = grad * np.minimum(1.0, clip / np.maximum(norm, 1e-8))逐样本裁剪，把每条“修改建议”的范数钉在 clip 球内，锁定敏感度。
  3. noisy = grad.mean(axis=0) + sigma * clip * rng.normal(size=w.shape)加高斯噪声，隐私保护真正生效的一步。
  4. def sensitivity(feats):敏感度代理指标：随机初始化下逐样本梯度范数的上界，预训练特征通常显著更小。
  5. for name, feats in [("原始特征", x), ("预训练特征", pretrained_feature(x))]:对照实验：同一套 DP 流程，比一比有底稿和没底稿的差距。

常见误区

误区我只需要在微调阶段加上噪声，之前预训练用的数据不用管，模型就完全不会有隐私风险了。

正解DP 只对参与训练的敏感数据提供数学保证。预训练如果用了包含敏感信息的数据，那部分也必须纳入保护；公开语料预训练本身不泄露个体，但下游微调若把“记住”的个体信息带出，仍需靠隐私审计和红队测试把关。就像画师在公开画廊学画没有隐私问题，但私单客户的肖像必须在玻璃后完成。

为何常见：DP 的“输出模糊”容易让人误以为整个模型从出生到上线都被模糊了，其实它只覆盖发生噪声注入的训练阶段。

误区只要把 ε 设成某个值，模型加的噪声就是固定的；预训练与否跟噪声大小无关。

正解高斯机制需要的噪声尺度约为 σ ≈ Δ·√(2ln(1.25/δ))/ε，与敏感度 Δ 成正比。预训练表征能显著降低梯度范数与敏感度 Δ，于是同一个 ε 下需要的 σ 更小，画作更清晰。玻璃厚度不只取决于“要保护多严”，还取决于“你动笔的幅度有多大”。

为何常见：ε 是大家最常接触的超参，容易误以为它是唯一决定噪声的东西；敏感度这个“隐藏变量”被忽略了。

误区大模型微调就得全参数更新，只训 LoRA 或分类头会不会浪费预训练模型的能力？

正解对隐私场景恰恰相反。全参数微调把敏感度空间扩大到上亿维，裁剪和噪声都要覆盖整个空间，效用损失大；冻结主干 + LoRA 只精修少量参数，改动幅度小，敏感度低，同等预算下精度反而更高。点睛之笔比整幅重画更省墨、更安全。

为何常见：非隐私微调里全参数往往效果最好，习惯性思维被平移到了隐私场景。

误区隐私越强越好，所以我直接把 ε 设为 0.001，模型照样能微调成功。

正解ε 越小要求的噪声越大，模型效用可能崩盘；实际工程是在合规要求（如 ε≤10）和任务精度之间找平衡点，通常 ε 在 2~8 区间就能用预训练底稿拿到接近非隐私的精度。一味追求极小 ε 就像把玻璃换成完全不透光的磨砂板，画师只能凭记忆瞎画。

为何常见：“隐私”听起来越强越好，容易忽略它与效用的此消彼长。

面试题

Q1. 差分隐私保护的核心目标是？

单选题 · easy

  • A.防止模型在训练集上过拟合
  • B.限制单个样本对输出的影响← 正确答案
  • C.加快大模型收敛速度
  • D.减少模型的参数量

答案：B。差分隐私的目标是让输出对任何单个样本的改动都不敏感，就像磨砂玻璃让人看不清单张脸。A 是过拟合问题，C 和 D 是训练效率问题，都与隐私保护目标无关。

Q2. DP-SGD 中“梯度裁剪”的主要作用是？

单选题 · easy

  • A.减少模型的训练时间开销
  • B.把样本敏感度限制在球内← 正确答案
  • C.增加梯度中的有用信号
  • D.降低模型反向传播误差

答案：B。裁剪把每个样本梯度的范数限制在 C 内，从而把敏感度钉住；没有裁剪，单个样本的影响可能无限大，玻璃再厚也挡不住。它不加速训练、不增强信号、也不减少误差。

Q3. 预训练模型让 DP 微调能“小预算高精度”，最根本的原因是？

单选题 · mid

  • A.预训练模型参数量更大
  • B.预训练表征降低了梯度敏感度← 正确答案
  • C.预训练数据本身带有标签
  • D.微调时不再需要裁剪梯度

答案：B。预训练把初始化放在一个“已有通用知识”的位置，单样本只需小改，梯度范数小，敏感度低；而敏感度正是决定噪声大小的关键。参数量大反而增加负担，标签情况无关，裁剪也仍然必需。

Q4. 关于隐私预算 ε 的大小，下列说法正确的是？

单选题 · mid

  • A.ε 越小保护越弱精度越高
  • B.ε 越大保护越强精度越低
  • C.ε 越小保护越强精度可能下降← 正确答案
  • D.ε 只影响速度不影响精度

答案：C。ε 越小，要求的噪声越大，精度可能下降，正如玻璃越厚画越糊。A 和 B 把方向说反了，D 说 ε 与精度无关也错。

Q5. DP 微调时采用 LoRA 的主要优势是？

单选题 · mid

  • A.可训练参数少敏感度更低← 正确答案
  • B.能把裁剪阈值设成无限大
  • C.完全不需要再加高斯噪声
  • D.预训练权重全部重新训练

答案：A。LoRA 冻结 W₀ 只训低秩因子，可训练参数从亿级降到百万级，敏感度空间大大缩小。裁剪阈值不能无限大，噪声仍需加，预训练权重也不重训。

Q6. 已知同一 ε 下所需噪声尺度与敏感度成正比。预训练使敏感度降为原来的 1/4，则噪声幅度可降为？

单选题 · hard

  • A.原来的 1/2
  • B.原来的 1/4← 正确答案
  • C.原来的 4 倍
  • D.保持不变

答案：B。由 σ ∝ Δ/ε，同一 ε 下 σ 与 Δ 成正比。Δ 变为原来的 1/4，σ 也变为 1/4，所以玻璃等比例变薄这正是预训练省噪声的数学根源。

Q7. 某隐私审计用 RDP 组合定理核算总预算，总预算随迭代轮数 T 的变化趋势最接近？

单选题 · hard

  • A.与 T 无关恒定不变
  • B.随 T 近似对数增长
  • C.随 T 近似线性增长← 正确答案
  • D.随 T 指数级下降

答案：C。RDP 组合定理把每一步的隐私损失相加，总预算近似随 T 线性增长。所以预训练把 T 从几万压到几百，是省预算的关键，类似于“多看几眼就多耗几分配额”。

Q8. 下列哪些做法能降低 DP 微调的精度损失？

多选题 · mid

  • A.用公开数据预训练权重初始化← 正确答案
  • B.冻结大部分参数只训头部← 正确答案
  • C.把裁剪阈值设到极大值
  • D.每轮增大噪声到极端值

答案：AB。A 和 B 分别从“降低敏感度”和“缩小敏感度空间”两个方向减小噪声伤害；C 会把敏感度抬得过高，D 会让模型效用直接崩盘，都不可取。

Q9. 关于隐私预算分配，正确的说法有？

多选题 · mid

  • A.公开数据预训练阶段可不计入← 正确答案
  • B.微调步数越多预算消耗越大← 正确答案
  • C.同一批数据预算可无限复用
  • D.敏感数据预训练也需保护← 正确答案

答案：ABD。公开预训练不消耗私有数据预算；组合定理决定步数越多消耗越多；预算绝不可无限复用；若预训练数据含敏感信息，同样需要 DP 保护。A、B、D 正确。

Q10. DP 微调工程化时应当注意哪些事项？

多选题 · hard

  • A.先小实验确定裁剪阈值量级← 正确答案
  • B.上线前完成隐私审计核算← 正确答案
  • C.为了精度放弃所有噪声
  • D.监控效用与隐私双重指标← 正确答案

答案：ABD。工程上 C 要先用非隐私实验摸量级，上线前必须用隐私账本核算真实 ε，还要监控效用指标防止超参漂移；“放弃所有噪声”等于放弃隐私保护，不可选。A、B、D 正确。