想象一个合唱团，每位成员本来可以唱出任意细腻的音高，但今晚的演出设备只支持七个预设音阶——每个人都必须把自己的声音硬生生“卡”到离自己最近的预设音上。这就是量化：把连续的权重数字塞进有限的格子。直接硬切会怎样？合唱瞬间走调，整首曲子变得粗糙刺耳。 但有一位聪明的指挥，他手里有一张“声音共振关系图”。这张图记录了每位歌手一开口会牵动哪些人、牵动多强。演出前，他先让最容易引发混乱的成员调音，再让还没上台的邻座歌手悄悄微调音高，把刚才的偏差“接住”。最终，即使每个人都用了受限的音阶，整个合唱团的听感依然接近原版。这套方法就是 GPTQ：利用 Hessian 二阶信息，把量化误差从“硬扛”变成“疏导”。 本文将带你从零看懂 GPTQ 的核心原理——Hessian 矩阵如何构建、量化顺序为何重要、误差如何被补偿、Cholesky 分解又凭什么大幅提速，以及它在真实大模型部署中的工程应用。

岗位关联

对 AI 从业者而言，GPTQ 是训练后量化（PTQ）的黄金标杆。掌握它，你就能在显存有限时让百亿参数模型跑起来，也能理解 AWQ、SmoothQuant 等后续方法的演进逻辑。

目录
  1. 可视化演示
  2. 量化误差根源
  3. Hessian二阶信息
  4. 最优量化顺序
  5. 误差累积补偿
  6. Cholesky加速
  7. 工程应用对比
  8. AI 应用场景
  9. Python 演示
  10. 常见误区
  11. 面试题

可视化演示

本节配有交互动效（进入视口后自动加载，约 3KB）。

量化误差根源

合唱团的设备只认七个预设音阶。每个歌手原本能唱出的音高是连续的实数，现在必须“四舍五入”到离自己最近的预设音。这个动作本身就会带来偏差——有人高一点，有人低一点，整首歌顿时变得粗糙。更麻烦的是，一个成员的偏差会顺着和声传到下一个声部，偏差像滚雪球一样在合唱中叠加放大。

这正是神经网络量化面临的处境。模型权重原本是 float16 的连续值，量化后只能取有限的离散值（比如 4bit 下只有 16 个格子）。如果逐个权重“硬切”，输出误差会随着网络层数加深而累积。所以 GPTQ 的第一步，是先把问题定义清楚：我们真正在乎的不是权重本身变得多准，而是量化前后的模型输出差多少。

直接四舍五入（RTN）就是这个目标下的“笨办法”：每个歌手只顾自己，不考虑和声，结果整首歌越来越难听。GPTQ 则决定——与其硬扛，不如用一张关系图来疏导偏差。

min⁡W^∥WX−W^X∥F2\displaystyle \min_{\hat{\mathbf{W}}} \big\| \mathbf{W}\mathbf{X} - \hat{\mathbf{W}}\mathbf{X} \big\|_F^2
目标函数说的是：找一组量化后的权重 \hat{W}，让它在同一批输入 X 上产生的输出，尽可能接近原权重 W 的输出。
  1. 原权重 W量化前那一层的权重矩阵，相当于每位歌手原本想唱的音高。
    W\displaystyle \mathbf{W}
  2. 校准激活 X从训练集采样的代表性子集，经过前向传播到达当前层的输入，相当于“今晚要唱的那几首歌”。
    X\displaystyle \mathbf{X}
  3. 量化后权重 \hat{W}被约束到离散网格上的权重，相当于歌手被迫唱的预设音。
    W^\displaystyle \hat{\mathbf{W}}
  4. 输出差原输出 WX 与量化输出 \hat{W}X 之间的差异，F 范数把所有样本、所有输出维度的误差平方求和再开方，是“合唱整体听感”的数学化身。
    ∥WX−W^X∥F2\displaystyle \big\| \mathbf{W}\mathbf{X} - \hat{\mathbf{W}}\mathbf{X} \big\|_F^2

Hessian二阶信息

指挥官手上那张“声音共振关系图”，在数学里叫 Hessian 矩阵。它回答一个关键问题：当某个歌手跑调时，其他歌手会受到多大牵连？有的歌手一开口会强烈带动旁边的人，有的歌手则很“独立”。这张关系图让指挥知道，谁和谁必须联动调整，谁改了也无伤大雅。

在 GPTQ 里，Hessian 不是靠反向传播算出来的，而是从校准数据的激活值中直接估计。直观理解：如果两个输入特征经常一起变大或一起变小（强相关），那么对应的两个权重就是一荣俱荣、一损俱损的关系。激活值的协方差矩阵恰好刻画了这种“共亮”规律。

有了这张关系图，指挥就能回答：某个人跑调后，该让谁去补、补多少。但这张图有 12 个歌手（对应 12 列权重），先处理谁、后处理谁，直接影响最终的补位效果。

H=∂2∂w2Ex∥Wx−W^x∥22  ≈  2XX⊤+λI\displaystyle \mathbf{H} = \frac{\partial^2}{\partial \mathbf{w}^2} \mathbb{E}_{\mathbf{x}} \big\| \mathbf{W}\mathbf{x} - \hat{\mathbf{W}}\mathbf{x} \big\|_2^2 \;\approx\; 2\mathbf{X}\mathbf{X}^\top + \lambda \mathbf{I}
对一层的权重做二阶泰勒展开后，二次项系数正是 2XXᵀ；λI 是防止矩阵奇异的小阻尼。
  1. 期望 E_x对所有校准样本求平均，相当于指挥把整场演出的所有曲目都听一遍再画关系图。
    Ex\displaystyle \mathbb{E}_{\mathbf{x}}
  2. 二阶导数一阶导数告诉你“哪个方向下降最快”，二阶导数告诉你“曲线的弯曲程度和方向间的耦合”，这正是“牵一发动全身”的度量。
    ∂2∂w2\displaystyle \frac{\partial^2}{\partial \mathbf{w}^2}
  3. 激活二阶矩 XXᵀX 的列与列之间的内积，值越大表示两个输入特征越倾向于同时出现，对应的权重越需要联动。
    XX⊤\displaystyle \mathbf{X}\mathbf{X}^\top
  4. 阻尼项 λI在 Hessian 对角上加一个很小的正数，就像给共振图加一层“隔音垫”，避免某些频率被无限放大，保证矩阵可逆。
    λI\displaystyle \lambda \mathbf{I}

最优量化顺序

指挥面对一群歌手，不可能同时让所有人改唱预设音——那样和声会瞬间崩溃。他得排队：先处理谁？直觉上，应该先处理那些“最不容易引起连锁反应”的人，把难搞的、容易牵动全局的成员留在最后，等邻座已经就位后再让他调，这样旁边的人还能帮他兜底。

GPTQ 借用了 OBQ 的贪心思想：每一轮都选择当前“最便宜”的一列来量化。这个“便宜程度”用 Hessian 逆矩阵的对角元 d_i 来衡量。d_i 越大，表示这一列对误差传播的放大作用越强，即“很贵”；d_i 越小，表示这一列被扰动后对整体影响越弱，即“很便宜”，优先量化它。

严格实现中，每量化一列都要重新计算剩余子矩阵的逆，代价极高。GPTQ 的工程做法是：把权重矩阵按列分成若干个 block（通常 128 列），block 内部严格贪心选列，block 之间用近似更新，从而在精度和速度之间取得平衡。顺序定了，接下来就是最关键的“补位”环节。

di=(H−1)ii,i∗=arg⁡min⁡i di\displaystyle d_i = \big(\mathbf{H}^{-1}\big)_{ii}, \qquad i^* = \arg\min_i\, d_i
逆矩阵对角元定量刻画了“当前状态下，动这一列权重的代价”——代价最小的列最先被量化。
  1. 逆矩阵 H⁻¹量化过程中真正的“传导系数表”来自 Hessian 的逆，因为补偿某列误差时需要解开所有联动关系。
    H−1\displaystyle \mathbf{H}^{-1}
  2. 取对角元 (·)ᵢᵢ只看第 i 列自身对误差的敏感程度，忽略它与其他列的交叉项。
    (H−1)ii\displaystyle \big(\mathbf{H}^{-1}\big)_{ii}
  3. argmin 选择在所有列中找出 d_i 最小的那一列，把它排在当前量化位置——对应“先让好说话的歌手调音”。
    i∗=arg⁡min⁡i di\displaystyle i^* = \arg\min_i\, d_i

误差累积补偿

某个歌手被迫唱了预设音，唱出来的音高和原谱差了 δ。如果让他独自承担这个偏差，整首歌就刺耳了。指挥的妙招是：让还没上台的邻座歌手集体微调——有人稍微高一点，有人稍微低一点，把刚才的偏差“分摊吸收”。合在一起听，观众几乎感觉不到这里有改动。

对应到数学上：量化第 i 列后产生的误差向量 δ，不应该被留在输出里，而应该通过修改后续尚未量化的列 F 来抵消。抵消的力度不是随意的，而是由 Hessian 逆矩阵中“当前列与后续列的关系”决定。关系越强，补偿越多。

每补偿完一列，剩余列之间的“关系图”其实也变了。所以算法还要同步更新 Hessian 逆矩阵的剩余子块。这一步虽然在数学上严谨，但计算量惊人——如果不做优化，每量化一列就要重新求一次逆。

δF=−δ(H−1)ii⋅(H−1)i,i+1:\displaystyle \delta\mathbf{F} = -\frac{\delta}{\big(\mathbf{H}^{-1}\big)_{ii}} \cdot \big(\mathbf{H}^{-1}\big)_{i, i+1:}
这段公式是 GPTQ 的灵魂：用当前列的量化误差 δ，按归一化的共振系数，反推后续每列该补多少。
  1. 误差向量 δ第 i 列权重原值与量化值之差，是一个长度等于输出通道数的向量。
    δ=wi−qi\displaystyle \delta = \mathbf{w}_i - q_i
  2. 归一化系数 1/d_i把误差除以当前列的敏感度，换成“补偿力度”的单位——敏感度越高，同样的误差需要越温柔的补偿。
    −1(H−1)ii\displaystyle -\frac{1}{\big(\mathbf{H}^{-1}\big)_{ii}}
  3. 共振系数行取 Hessian 逆矩阵第 i 行、第 i+1 到末尾的切片，表示当前列与每个后续列的联动强度。
    (H−1)i,i+1:\displaystyle \big(\mathbf{H}^{-1}\big)_{i, i+1:}
  4. 更新后续列把补偿向量加到后续权重块 F 上，F ← F + δF，所有尚未量化的列都被微调了一遍。
    F←F+δF\displaystyle \mathbf{F} \leftarrow \mathbf{F} + \delta\mathbf{F}

Cholesky加速

指挥发现，每次有人调完音都要重新画一遍“共振关系图”，太慢了。于是他把总谱提前交给助理：用 Cholesky 分解，把复杂的和声关系矩阵拆成一个下三角矩阵 L 的平方。这样一来，“逆矩阵”不用每次现算，只要查提前做好的三角表，做几次简单的回代就能得到结果。

数学上，Hessian 是对称正定矩阵，可以唯一分解为 H = LLᵀ。求 H 的逆，等价于先求 L 的逆再做两次转置相乘。而 L 是下三角矩阵，求逆和回代都是 O(n²) 级别的操作，相比直接对完整矩阵求逆的 O(n³)，每列更新的成本大幅下降。

有了 Cholesky 加速，GPTQ 才能在普通 GPU 上量化千亿参数模型。论文里还做了个聪明的工程优化：不逐列立即更新权重，而是攒够一个 block 后统一延迟更新，减少 GPU 显存的频繁读写。这套组合拳让 GPTQ 成为大模型 PTQ 的事实标准。

H=LL⊤,H−1=(L−1)⊤L−1\displaystyle \mathbf{H} = \mathbf{L}\mathbf{L}^\top, \qquad \mathbf{H}^{-1} = \big(\mathbf{L}^{-1}\big)^\top \mathbf{L}^{-1}
Cholesky 分解让“每量化一列就求一次全矩阵逆”变成“只做一次分解，之后全是轻量回代”，总复杂度从 O(n⁴) 降到 O(n³)。
  1. 分解等式任何一个对称正定矩阵都能拆成一个下三角矩阵乘它的转置，就像把复杂的和声谱拆成“两两对话”的简单声部。
    H=LL⊤\displaystyle \mathbf{H} = \mathbf{L}\mathbf{L}^\top
  2. 逆的分解H⁻¹ 通过 L 的逆来构造，三角矩阵的逆比普通矩阵的逆便宜得多。
    H−1=(L−1)⊤L−1\displaystyle \mathbf{H}^{-1} = \big(\mathbf{L}^{-1}\big)^\top \mathbf{L}^{-1}
  3. 一次分解整个量化流程只做一次 Cholesky 分解，之后所有列的 d_i 和补偿系数都从 L 中快速读出。
    L=cholesky⁡(H)\displaystyle \mathbf{L} = \operatorname{cholesky}(\mathbf{H})

工程应用对比

传统合唱团调音，是让每个歌手各自对着调音器校准，不管他人——这对应 RTN（最近舍入）。GPTQ 合唱团则拿着共振图联动补偿，整体听感自然好得多。还有一种更贵的方案：让歌手重新参加三个月培训（对应量化感知训练 QAT），效果虽好但成本太高。GPTQ 的核心魅力在于：只需少量校准数据，几小时就能让千亿参数模型“学会”用受限音阶唱歌。

在工程上，GPTQ 对每一层独立做量化——假设层与层之间的误差互不影响。这个近似让量化可以逐层并行，也让总目标函数变成各层目标的简单求和。配合校准集（通常 128 条样本）的逐层激活收集，即可完成全部量化。

回到合唱团的故事：设备限制无法改变，但 GPTQ 证明了——与其让每个人硬扛，不如先画好共振图、排好处理顺序、设计好邻座补位方案。量化不是“牺牲精度”的无奈之举，而是一场精心编排的和声演出。理解了这个思想，再看 AWQ、SmoothQuant 等后续方法，你就抓住了它们共同的灵魂：误差不可怕，可怕的是不知道误差会传到哪里。

min⁡W^1,…,W^L∑ℓ=1L∥WℓXℓ−W^ℓXℓ∥F2\displaystyle \min_{\hat{\mathbf{W}}_1,\dots,\hat{\mathbf{W}}_L} \sum_{\ell=1}^{L} \big\| \mathbf{W}_\ell \mathbf{X}_\ell - \hat{\mathbf{W}}_\ell \mathbf{X}_\ell \big\|_F^2
GPTQ 把“让整个模型量化后损失最小”拆成“每一层各自最小化输出误差”，再用二阶信息逐层求解，工程上高度可并行。
  1. 逐层独立每层用各自的校准激活 X_ℓ 计算 Hessian，量化完一层再进入下一层，层间解耦。
    ∑ℓ=1L\displaystyle \sum_{\ell=1}^{L}
  2. 层内目标每一层的量化只优化本层输出误差，不需要端到端反向传播。
    ∥WℓXℓ−W^ℓXℓ∥F2\displaystyle \big\| \mathbf{W}_\ell \mathbf{X}_\ell - \hat{\mathbf{W}}_\ell \mathbf{X}_\ell \big\|_F^2

AI 应用场景

大模型低比特推理部署

阶段：模型压缩 → 训练后量化 → 部署优化

解决的问题：传统 FP16 部署 70B 模型需要 140GB 显存，单卡无法承载。用 GPTQ 量化为 4bit 后显存降至约 35GB，精度损失仅 1%-3%，且无需重新训练模型。

具体案例：某团队在单张 A100-80G 上部署 Llama-2-70B-Chat，使用 GPTQ 4bit 量化 + TensorRT-LLM 推理引擎，将首 token 延迟从 2.8s 降至 0.9s，同时支持 32 并发请求；从原始权重到完成量化仅耗时 2 小时，使用的校准集是 128 条来自 C4 数据集的文本。

边缘设备本地推理

阶段：端侧模型部署 → 模型量化 → 运行时优化

解决的问题：手机和边缘盒子显存/内存仅 8-16GB，跑不动 7B 模型。GPTQ 量化后模型体积减少 75%，可在搭载骁龙 8 Gen 3 的旗舰手机上实现离线对话。

具体案例：某智能客服厂商将 7B 开源模型用 GPTQ 量化为 4bit 后部署到边缘盒子上，模型文件从 13GB 压缩到 3.6GB，单次推理耗时从 5.2s 降到 1.8s，且无需联网即可处理敏感数据，解决了数据合规问题。

量化校准流水线自动化

阶段：数据准备 → 校准集构建 → 逐层量化 → 精度评估

解决的问题：人工逐层试凑量化参数耗时且易出错。GPTQ 的 Hessian 计算流程可被封装为自动流水线：自动采样校准数据、逐层计算激活与 Hessian、执行分块量化、输出报告。

具体案例：某大模型平台团队把 GPTQ 封装进 CI/CD 流水线，每次模型更新后自动触发量化回归测试，对比量化前后在 8 个下游任务上的准确率，若精度下降超过阈值则自动告警并回滚到 FP16 版本，将模型发布周期从 1 周缩短到 1 天。

Python 演示

python77 行
"""简化版 GPTQ：利用 Hessian 二阶信息进行逐列量化与误差补偿"""import numpy as np  def compute_hessian(xs, reg=1e-4):    """根据校准数据 xs 计算 Hessian: H = 2 * X^T X / n + reg * I"""    n = xs.shape[0]    h = 2.0 * (xs.T @ xs) / n    h += reg * np.eye(h.shape[0])    return h  def gptq_quantize_layer(w, h, bits=4):    """对单个线性层进行 GPTQ 量化（逐列处理 + 误差补偿）"""    out_feat, in_feat = w.shape    qmax = 2 ** (bits - 1) - 1    qmin = -2 ** (bits - 1)     # 用 Cholesky 分解求逆，数值更稳定    try:        l = np.linalg.cholesky(h)    except np.linalg.LinAlgError:        l = np.linalg.cholesky(h + 1e-6 * np.eye(in_feat))    h_inv = np.linalg.inv(l.T @ l)     w_cur = w.astype(np.float64).copy()    w_q = np.zeros_like(w_cur, dtype=np.int8)    scales = np.zeros(in_feat)     for i in range(in_feat):        d = h_inv[i, i]        if d <= 0:            d = 1.0        scale = np.abs(w_cur[:, i]).max() / qmax        if scale == 0:            scale = 1.0        q = np.clip(np.round(w_cur[:, i] / scale), qmin, qmax)        w_q[:, i] = q.astype(np.int8)        scales[i] = scale         err = w_cur[:, i] - q * scale        if i + 1 < in_feat:            # 核心：把误差补偿到尚未量化的列            w_cur[:, i + 1:] -= np.outer(err, h_inv[i, i + 1:] / d)     w_deq = w_q.astype(np.float64) * scales    return w_q, scales, w_deq  def rtn_quantize(w, bits=4):    """基准方法：逐列按最近舍入量化，不做补偿"""    qmax = 2 ** (bits - 1) - 1    qmin = -2 ** (bits - 1)    scale = np.abs(w).max(axis=0) / qmax    scale = np.where(scale == 0, 1.0, scale)    q = np.clip(np.round(w / scale), qmin, qmax)    return q, scale, q * scale  def main():    rng = np.random.default_rng(42)    w = rng.normal(0, 1, size=(128, 64))    xs = rng.normal(0, 1, size=(32, 64))     h = compute_hessian(xs)    _, _, w_gptq = gptq_quantize_layer(w, h, bits=4)    _, _, w_rtn = rtn_quantize(w, bits=4)     err_gptq = float(np.mean((w - w_gptq) ** 2))    err_rtn = float(np.mean((w - w_rtn) ** 2))    print("RTN  量化误差:", round(err_rtn, 6))    print("GPTQ 量化误差:", round(err_gptq, 6))    print("GPTQ 相对误差下降:", round((err_rtn - err_gptq) / err_rtn * 100, 2), "%")  if __name__ == "__main__":    main()
目的：用 NumPy 实现一个可运行的 GPTQ 简化版，展示 Hessian 计算、Cholesky 求逆、逐列量化和误差补偿的完整流程，并与 RTN 基线对比误差。
  1. def compute_hessian(xs, reg=1e-4):从校准激活计算 Hessian，对应正文中的 2XXᵀ + λI
  2. h += reg * np.eye(h.shape[0])加上阻尼项防止矩阵奇异，保证 Cholesky 可分解
  3. l = np.linalg.cholesky(h)对 Hessian 做 Cholesky 分解，对应正文加速章节
  4. h_inv = np.linalg.inv(l.T @ l)用分解后的三角矩阵求逆，比直接求逆更快更稳
  5. d = h_inv[i, i]取出当前列的敏感度 d_i，决定补偿力度
  6. q = np.clip(np.round(w_cur[:, i] / scale), qmin, qmax)把权重舍入到 4bit 量化网格
  7. w_cur[:, i + 1:] -= np.outer(err, h_inv[i, i + 1:] / d)正文核心公式的代码实现，把误差按共振系数分摊给后续列

常见误区

误区“GPTQ 的 Hessian 是像训练一样，通过反向传播对损失函数求二阶导得到的吧？那量化岂不是还要跑一遍训练流程？”

正解GPTQ 的 Hessian 不是从损失函数反向传播求的，而是从校准数据的激活值直接算的：H ≈ 2XXᵀ。它衡量的是“输入特征之间的协同变化”，而不是“损失曲面的曲率”。这就像指挥是通过观察歌手平时排练时的互相影响来画共振图，而不是让每个人唱一遍再逐个试错。

为何常见：大多数人在深度学习里接触到的 Hessian 都来自损失函数，容易惯性套用；而 GPTQ 的 H 是对每一层独立构造的输入协方差，两者截然不同。

误区“GPTQ 反正有误差补偿，量化顺序随便定都行，反正最后都会把误差消掉。”

正解顺序恰恰决定补偿的空间。如果先把“影响力大”的列量化了，后续列的补偿能力可能不足以吸收误差；而先量化“便宜”的列，后续强关联列还能帮忙兜底。GPTQ 用逆对角元 d_i 做贪心排序，正是为了让后面的补偿“接得住”。顺序错了，补偿再努力也白搭。

为何常见：初学者看到补偿公式时，以为补偿是“全局消音”，忽略了补偿发生在尚未量化的列上这个前提，列的处理顺序因此至关重要。

误区“Cholesky 分解只是工程上的一个优化小技巧，换成普通矩阵求逆也能得到一样的结果，不算核心贡献。”

正解没有 Cholesky，GPTQ 的复杂度是 O(n⁴)，对 4096 维的嵌入层需要数天才能完成量化；有了 Cholesky，降到 O(n³)，几分钟就能完成。这就像指挥如果不提前把总谱拆成两两对话的声部表，每次调音都现场重新算一遍和声，排练根本不可能在演出前结束。Cholesky 不是优化，是 GPTQ 能落地的必要条件。

为何常见：很多讲解把 Cholesky 当作“编码实现细节”一笔带过，读者因此低估了它对算法可行性的决定性作用。

误区“GPTQ 量化完之后，还需要对模型做几轮微调来恢复精度吧？不然误差累积那么严重，模型还能用吗？”

正解GPTQ 属于训练后量化（PTQ），量化完成后权重就冻结了，不再做任何梯度更新。它的精度恢复完全来自量化过程中基于 Hessian 的误差补偿——相当于指挥在演出前就通过邻座补位把偏差抹平了，而不是演出后让歌手重新排练。真正需要微调的是 QAT 路线，那不是 GPTQ 的做法。

为何常见：量化感知训练（QAT）在业界流传甚广，很多人默认“量化后必然微调”，忽略了 PTQ 与 QAT 的根本区别。

误区“校准数据随便拿一段文本就行，反正只要算个协方差矩阵，什么数据差别不大。”

正解校准数据直接决定 Hessian 的质量。如果校准数据与真实推理时的输入分布差异很大，Hessian 就是一张“错的共振图”，补偿方向自然偏了。实践中要用有代表性的数据（如 C4 语料）采样 128 条左右，覆盖模型常见使用场景，才能保证量化后精度不掉。

为何常见：Hessian 的计算看起来只是矩阵乘法，让人误以为数据只是“走个过场”；实际上激活分布决定了协方差结构，分布偏差会直接传导到补偿系数上。

面试题

Q1. GPTQ 量化时最小化的核心目标是什么？

单选题 · easy

  • A.权重逐元素距离
  • B.层输出加权误差← 正确答案
  • C.校准集交叉熵
  • D.权重 L2 正则化

答案：B。GPTQ 的目标是让量化前后层输出的差异最小，即 ‖WX - ŴX‖²，对应选项 B。A 是 RTN 这类逐元素方法的目标；C 是量化感知训练；D 是正则化项，与量化目标无关。

Q2. GPTQ 中的 Hessian 矩阵主要根据什么计算？

单选题 · easy

  • A.反向传播的梯度
  • B.校准激活协方差← 正确答案
  • C.权重奇异值分解
  • D.训练动量缓冲区

答案：B。H ≈ 2XXᵀ，X 是校准数据在当前层的激活值，因此 Hessian 由激活协方差决定。它不需要反向传播梯度，也不依赖 SVD 或动量缓冲。

Q3. GPTQ 中 d_i = (H⁻¹)ᵢᵢ 表示什么含义？

单选题 · mid

  • A.权重绝对值均值
  • B.逆矩阵对角元素← 正确答案
  • C.量化网格步长
  • D.累计量化误差和

答案：B。d_i 是 Hessian 逆矩阵的对角元，定量刻画“在联动关系下，动第 i 列权重的代价”。d_i 越大表示该列越敏感，越应该延后量化；它既不是权重均值，也不是量化步长或误差累积。

Q4. GPTQ 的误差补偿更新作用在哪部分权重上？

单选题 · mid

  • A.已经量化完成的列
  • B.尚未量化的后续列← 正确答案
  • C.线性层全部权重列
  • D.下一层的所有列

答案：B。补偿公式 δF = -(δ/d_i)·(H⁻¹)_{i, i+1:} 明确指向第 i+1 列及之后尚未量化的权重。已量化列不会再改，全部列同时更新没有必要，下一层的列由另一轮独立的逐层量化处理。

Q5. Cholesky 分解在 GPTQ 中的主要作用是？

单选题 · mid

  • A.提高模型精度
  • B.加快误差补偿← 正确答案
  • C.减少校准数据
  • D.替代所有补偿

答案：B。Cholesky 把 H 拆成 LLᵀ，让逆矩阵可以预计算，后续每列的 d_i 和补偿系数只需轻量回代即可，整体复杂度从 O(n⁴) 降到 O(n³)。它不改变量化语义，只负责加速计算。

Q6. 相比 RTN（最近舍入），GPTQ 的哪些设计带来了精度提升？

多选题 · mid

  • A.利用了二阶信息← 正确答案
  • B.误差会被后续补偿← 正确答案
  • C.无需校准数据
  • D.低比特精度损失小← 正确答案

答案：ABD。GPTQ 使用 Hessian 的二阶信息刻画权重联动，并把量化误差沿共振关系补偿到后续列，因此在 4bit 下精度损失远小于 RTN。但 GPTQ 需要校准数据来算 Hessian，所以 C 错误。

Q7. 块大小（block size）对 GPTQ 量化效果的影响是？

单选题 · mid

  • A.块越大越精确越慢← 正确答案
  • B.块越大量化越快
  • C.块大小无关紧要
  • D.块越大补偿越少

答案：A。block 内部会精确贪心选列并即时更新 Hessian 逆矩阵，block 越大，近似更新的次数越少，结果越精确，但每次块内计算量也越大。实践中通常取 128，在精度和速度间折中。

Q8. 下列哪些是 GPTQ 工程实现中的关键技术？

多选题 · hard

  • A.分块延迟更新← 正确答案
  • B.Cholesky 预分解← 正确答案
  • C.校准数据采样← 正确答案
  • D.反向传播微调

答案：ABC。GPTQ 用分块延迟更新减少显存读写、用 Cholesky 预分解降低求逆成本、用校准数据采样构建每层 Hessian。反向传播微调属于 QAT 的思路，GPTQ 是 PTQ，不涉及训练。

Q9. 若校准数据分布与真实推理分布差异很大，GPTQ 量化结果会怎样？

单选题 · hard

  • A.量化效果完全不受影响
  • B.量化误差可能明显增大← 正确答案
  • C.模型精度必然提升
  • D.系统自动重新校准

答案：B。Hessian 完全由校准激活决定。分布偏移意味着共振图画错了，补偿方向也会偏，量化误差会明显增大。GPTQ 没有自动重校准机制，因此校准数据必须精心挑选，覆盖真实使用场景。

Q10. 关于 GPTQ 的适用场景与局限，以下说法正确的是？

多选题 · hard

  • A.服务端低比特推理← 正确答案
  • B.边缘设备本地部署← 正确答案
  • C.完全无需校准数据
  • D.层间强耦合时更优

答案：AB。GPTQ 常用于服务端大模型 4bit 推理和边缘设备本地部署，两者都看中它免训练、低显存的特点。但 GPTQ 必须依赖校准数据（C 错）；它假设层间解耦逐层优化，若模型层间耦合很强，量化误差会累积（D 错）。