想象你搬进新家,发现老房子里堆满了十几年没碰的旧物。搬家师傅告诉你:物品越少、箱子越轻,油费越省;若能把大被子抽成真空袋,还能少跑一趟车。这个朴素直觉,正是“绿色 AI”的全部秘密。 如今,训练一个大型语言模型的耗电量,足以抵得上一个普通家庭几十年的用电;它产生的碳排放,相当于一辆燃油汽车绕地球跑上许多圈。于是,AI 工程师们开始像精打细算的搬家主人一样,把“模型碳足迹”当作一张待还的账单:先盘点家当(量化碳排放),再断舍离(稀疏化)、传手艺(知识蒸馏)、压缩行李(量化),最后重新规划房间动线(高效架构),让每一度电都花在刀刃上。本文从碳足迹测算讲到高效架构设计,再落到追踪工具与团队实践,用这场“绿色搬家”为你走完可持续 AI 的完整路线。

岗位关联

对 AI 从业者而言,绿色 AI 不只是环保口号,更是降低训练与推理成本、提升部署竞争力的硬技能——理解它,能让你的模型更省、更快、更好落地。

目录
  1. 可视化演示
  2. 碳排放现状
  3. 足迹量化
  4. 稀疏化
  5. 知识蒸馏
  6. 模型量化
  7. 可持续原则
  8. 落地实践
  9. AI 应用场景
  10. Python 演示
  11. 常见误区
  12. 面试题

可视化演示

展示模型碳足迹量化、压缩技术能耗对比,以及高效训练策略,揭示绿色AI从量化到优化的完整技术路径。

本节配有交互动效(进入视口后自动加载,约 3KB)。

'+_captions.carbon+'

碳排放现状

搬家前第一件事,是翻出油费账单。数据中心的“搬家卡车”是成千上万块 GPU——它们全速奔跑时,每块卡的耗电堪比一台高功率家电;上万块卡同时运转,电表快得像风车。训练一次 GPT-3 级别的大模型,耗电量可达上百万千瓦时,换算成碳排放,相当于一辆汽车行驶数十万公里。

比训练更隐蔽的是推理阶段。模型上线后每天被用户调用,一次推理虽然耗电不多,但乘以亿级调用次数,长期累计的排放常常超过一次性训练成本。这就是为什么“只看训练账单”的搬家主人会吃大亏——新房里日夜亮着的灯,才是电费的大头。此外还有“隐含碳排”:制造 GPU 芯片、建设数据中心的工业生产同样排放碳,只是不体现在运行电表上。

把账算明白,核心公式只有一个——能耗等于功率乘时间:

搬家师傅说得很实在:省油不能只靠少跑几趟,还得让卡车轻一点、别总踩着油门。对 AI 团队来说,“轻一点”是高效架构,“别踩油门”是优化训练节奏——两者共同决定了那张吓人的电费单。

E=P×tE = P \times t
这个公式说明:想省电,要么降低功率(用更高效的硬件),要么缩短时间(用更好的算法)。搬家公司报价的秘诀,全在这两个旋钮上。
  1. 功率 PGPU 等器件满载运行时的平均功率,单位是千瓦(kW)
    PP
  2. 时长 t整个训练过程持续的小时数,包括排队、预热等实际占用时间
    tt
  3. 能耗 E功率乘时长得到千瓦时(kWh),这正是电费账单上的计量单位
    E=P×tE = P \times t

足迹量化

光知道油费总额还不够,精明的主人会拿记账本逐项记录:哪一趟最费油,哪段路油价贵。给模型“记账”,就是量化碳足迹。先说结论——模型碳足迹的计算并不神秘:

“记账”的工具已经开源成熟:CodeCarbon 能自动记录每次训练的能耗并换算成 CO2;ML CO2 Impact 提供估算器;Watt、carbonalyser 等工具覆盖推理与整机层面。这些工具的产物最终汇入“模型卡(Model Card)”——一份类似家电能耗标签的报告,写清模型的性能、适用场景与碳足迹。

有了账本,搬家主人就能“挑日子搬家”——把训练任务调度到绿电占比高的地区或时段,碳账单立刻缩水一大截。量化不是目的,量化之后能做出更聪明的决策,才是目的。

C=E×CEF×PUEC = E \times \text{CEF} \times \text{PUE}
三个因子分别是:能耗 E(kWh)、电网碳强度 CEF(kg CO2e/kWh)、数据中心能效 PUE。能耗越高、电网越“脏”、制冷越浪费,碳排放就越大。
  1. 基础能耗GPU 直接消耗的电能,来自上一节的功率乘时长
    EE
  2. 碳强度系数 CEF每千瓦时电对应的碳排放千克数,由当地发电结构决定——水电风电占比高,数值就低
    CEF\text{CEF}
  3. 能效修正 PUE数据中心总用电 ÷ IT 设备用电,制冷损耗越大该值越高,常见值约 1.1~1.6
    PUE\text{PUE}
  4. 碳排放 C三者相乘得到 kg CO2e,这就是模型卡上要披露的核心数字
    C=E×CEF×PUEC = E \times \text{CEF} \times \text{PUE}

稀疏化

整理家当时,主人果断扔掉几年没穿的旧鞋、装满杂物的废抽屉——这些从没发挥作用的东西,搬家时却占体积、费燃油。神经网络里也有大量“闲置物件”:那些数值趋近于零的权重参数,对输出几乎没有贡献,却仍要参与每一次乘法运算。

稀疏化(Sparsity)就是把这些冗余连接从模型中剔除。广义的高效架构家族中,它包含权重剪枝、结构化稀疏、稀疏训练等手段。用稀疏率可以衡量“断舍离”的力度:

值得强调的是,稀疏化并非“乱扔一气”。研究发现,适度剪枝甚至能带来正则化效果,让模型精度不降反升。当然,剪得太狠也会伤筋动骨,所以需要“精度权衡”——这是每个团队在绿色改造前必须做好的心理准备。

搬家清单上划掉一长串旧物后,卡车从两趟变成了一趟。稀疏化让模型用更少的计算量干同样的活,轻装上阵,自然省油。

S=1−NnonzeroNtotalS = 1 - \frac{N_{\text{nonzero}}}{N_{\text{total}}}
前提:S 越大,需要参与计算的参数越少,理论算力需求越低。但要注意,非结构化稀疏(零散地删)需要专用硬件或稀疏算子才能兑现加速;结构化稀疏(整块地删)才能直接在通用 GPU 上省时间。
  1. 总参数 N_total模型全部权重的个数
    NtotalN_{\text{total}}
  2. 非零参数 N_nonzero剪枝后仍然保留、参与计算的权重数
    NnonzeroN_{\text{nonzero}}
  3. 稀疏率 S被“断舍离”掉的比例,S=0.5 表示一半参数可以跳过
    S=1−NnonzeroNtotalS = 1 - \frac{N_{\text{nonzero}}}{N_{\text{total}}}

知识蒸馏

老房子的传家菜是主人的招牌,但新厨房太小,大锅大灶放不下。于是老师傅把自己几十年的手艺浓缩成一本小菜谱,传给身形精干的小徒弟——同样的味道,更小的摊子。这正是知识蒸馏(Knowledge Distillation)的日常:让一个能力出众但体量庞大的“教师模型”,把知识教给一个轻盈的“学生模型”。

学生不直接抄答案(原始标签),而是模仿教师输出的“软标签”——教师对每个类别给出的概率分布。软标签里藏着硬标签给不了的信息:比如“猫”和“狗”的答案背后,还写着“猫其实有点像老虎”。为了让这份“手感”足够细腻,蒸馏时先用温度系数 T 把输出软化:

实际工程中,教师往往是一个 7B 的大模型,学生可以小到 1.5B 甚至更小,精度却能保留九成以上。小徒弟学成出师后,招牌菜依然留住了老顾客,后厨的燃气费却省了一半——这正是蒸馏在“保持质量”与“降低能耗”之间给出的平衡解。

pi=ezi/T∑jezj/T,L=αT2 KL(p∥q)+(1−α) Lhardp_i = \frac{e^{z_i / T}}{\sum_{j} e^{z_j / T}}, \qquad \mathcal{L} = \alpha T^2 \, \text{KL}(\mathbf{p} \| \mathbf{q}) + (1-\alpha) \, \mathcal{L}_{\text{hard}}
温度 T 越高,概率分布越“平滑顺滑”;学生模型的最终损失由两部分加权组成:模拟教师的 KL 散度 + 拟合真实标签的交叉熵。α 控制“听师傅指点”与“自己看书”的比例。
  1. 原始得分 z_i模型输出的未归一化 logit 分数
    ziz_i
  2. 温度系数 TT 越大,softmax 输出越均匀,能暴露类别之间的相似结构
    TT
  3. 软化概率 p_i带温度的 softmax,是蒸馏中学生模型模仿的“软标签”
    pi=ezi/T∑jezj/Tp_i = \frac{e^{z_i / T}}{\sum_j e^{z_j / T}}
  4. 综合损失KL 散度让学生的概率分布贴近教师,交叉熵保证依然拟合真实答案
    L=αT2 KL(p∥q)+(1−α) Lhard\mathcal{L} = \alpha T^2 \, \text{KL}(\mathbf{p} \| \mathbf{q}) + (1-\alpha) \, \mathcal{L}_{\text{hard}}

模型量化

搬家师傅最拿手的一招:被子抽成真空,衣物压进压缩袋,东西一样没少,体积却小了一圈。模型量化(Quantization)就是给权重做“真空压缩”——用更少的比特数表示同样的数值信息。常见的做法是把 16 位浮点(FP16)压到 8 位整数(INT8),内存占用直接减半,计算更快,能耗自然跟着下降。

量化的数学本质,是把连续浮点数映射到离散整数网格上:

真空袋里的被子厚度变了,保暖效果却没变。现代 8bit 量化配合少量校准数据,精度损失通常能压在 1% 以内;若用 QAT 微调,几乎可以无损恢复。把量化与蒸馏、稀疏化搭配使用,往往能获得 2~4 倍的能耗下降——这在端侧部署和云上推理中,都是实打实的预算。

rq=round⁡(rs)+z,s=rmax⁡−rmin⁡2b−1r_q = \operatorname{round}\left(\frac{r}{s}\right) + z, \quad s = \frac{r_{\max} - r_{\min}}{2^b - 1}
其中 r 是原始浮点权重,s 是缩放系数(由数值范围和比特数 b 决定),z 是零点偏移。训练后量化(PTQ)拿一点校准数据就能完成,无需重新训练;量化感知训练(QAT)则把量化误差模拟进训练过程,精度更高。
  1. 原始值 rFP16 或 FP32 的权重与激活值
    rr
  2. 缩放系数 s把浮点取值范围均匀切成 2^b−1 段,决定每个整数刻度代表的实际大小
    s=rmax⁡−rmin⁡2b−1s = \frac{r_{\max} - r_{\min}}{2^b - 1}
  3. 零点偏移 z让浮点零点在整数域严格对齐,保证数值 0 被无损映射
    zz
  4. 量化值 r_q舍入后得到 b 位整数,存储、搬运、计算全面减负
    rq=round⁡(r/s)+zr_q = \operatorname{round}(r / s) + z

可持续原则

搬家告一段落,主人把“绿色搬家守则”贴在玄关:只搬刚需、能借不买、记录开支、共享工具。可持续 AI 也有类似四条原则:效率优先(用更少的计算达到同等效用)、模型复用(能微调就不从头训)、透明报告(如实披露能耗与碳排)、环境公平(不让绿色转型的代价由落后地区承担)。

这些原则不是道德说教,而是一把工程决策的尺子。把“效用”和“代价”放上天平:

守则不是教条,而是主人每次犹豫“要不要多买一件家具”时的自问。对 AI 团队而言,这把尺子应该贯穿需求评审、模型选型、训练调优到上线的全流程,让“绿色”成为默认选项,而不是事后补救。

碳效=UC\text{碳效} = \frac{U}{C}
U 是任务效用(准确率、业务指标),C 是碳排放。碳效越高,说明每千克 CO2 换来的“智能”越多。选模型、选架构、选训练时长,都可以用这把尺子量一量。
  1. 任务效用 U模型在目标任务上的收益,如准确率、召回率或业务转化指标
    UU
  2. 碳排放 C训练与推理全生命周期的二氧化碳排放总量
    CC
  3. 碳效比值追求以更低的碳排放达成同等效用,是绿色决策的单一量化指标
    碳效=UC\text{碳效} = \frac{U}{C}

落地实践

光有守则还不够,主人买了一个智能电表配一本搬家台账:电表实时记录耗电,台账定期复盘。AI 团队的“智能电表”就是碳足迹追踪工具——CodeCarbon 是其中最常用的开源方案,它会在训练进程里自动记录能耗并换算成 CO2;ML CO2 Impact、carbonalyser 等工具覆盖了估算与推理场景。

落地流程通常形成闭环:选工具 → 跑基线 → 记录指标 → 优化架构 → 对比结果 → 发布模型卡。优化是否有效,用减排率来衡量最直观:

台账越积越厚,主人每个季度都能发现新的省钱空间。AI 团队的绿色账本同样滚动迭代:架构选型参考稀疏/蒸馏/量化的组合收益,团队流程固化“先算碳再训练”的规范,开源生态则让每个模型卡上的碳标签都能被社区校验。可持续,就这样从口号变成每一天的工程习惯。

减排率=1−C优化C基线\text{减排率} = 1 - \frac{C_{\text{优化}}}{C_{\text{基线}}}
例如基线方案排放 50 吨 CO2,优化后降到 20 吨,减排率就是 60%。这个数字既能写进团队周报,也能写进给客户的 ESG 报告,是绿色改造的“成绩单”。
  1. 基线碳排放未做任何优化前的原始方案排放量
    C基线C_{\text{基线}}
  2. 优化后排放应用稀疏化、蒸馏、量化之后的排放量
    C优化C_{\text{优化}}
  3. 减排率数值越接近 1,说明绿色改造越成功
    减排率=1−C优化C基线\text{减排率} = 1 - \frac{C_{\text{优化}}}{C_{\text{基线}}}

AI 应用场景

场景 1:大模型训练的碳审计与模型卡发布

阶段:模型开发与上线合规报告

解决的问题:传统做法只汇报准确率与时延,对训练用了多少电、产生多少碳一无所知,既难满足 ESG 合规要求,也难向重视环保的客户自证“绿色”。引入 CodeCarbon 后,每次训练都会自动上报能耗并换算成 CO2,最终写入模型卡。

具体案例:某大模型团队在训练 70B 参数模型时,通过碳追踪发现 60% 的排放来自前期无效实验;优化实验流程后,训练碳排放下降 35%,并在模型卡中公开披露,成功赢得了一批重视 ESG 的 B 端客户。

场景 2:端侧智能助手的绿色改造

阶段:模型压缩与部署推理

解决的问题:手机上的语音助手若直接运行 7B 模型,芯片发热、续航崩溃、云端推理成本居高不下。用知识蒸馏把 7B 教师“教”成 1.5B 学生,再做 INT8 量化,端侧推理能耗可下降约 70%。

具体案例:某在线教育 App 的作文批改助手,蒸馏加量化后模型体积从 14GB 降到 1.6GB,单次批改耗电从 0.9mWh 降到 0.3mWh,月均推理电费下降一半以上,用户反而觉得更流畅。

场景 3:碳感知的云上训练调度

阶段:基础设施与训练编排

解决的问题:同一训练任务在不同碳强度的地区与时段运行,碳排放可相差数倍。传统调度只看价格与排队时长,忽略了“绿电报价”这个变量。

具体案例:一家创业公司将夜间训练任务调度到北欧某以水电为主的数据中心,配合稀疏化后的轻量集群,年化碳排放下降 40%,电费下降 22%,训练时长几乎不变。

Python 演示

python49 行
"""绿色AI碳足迹估算:对比原始模型与稀疏化、量化方案的能耗与碳排放。"""PUE = 1.58             # 数据中心电源使用效率CEF = 0.475            # 电网碳强度,单位 kg CO2e / kWh  class ModelCarbonEstimator:    def __init__(self, params_bn, tokens_b, gpu_hours, gpu_watts=700):        self.params_bn = params_bn        self.tokens_b = tokens_b        self.gpu_hours = gpu_hours        self.gpu_watts = gpu_watts     def training_flops(self):        """近似估计训练总计算量:6 x 参数量 x 训练 token 数。"""        return 6 * self.params_bn * 1e9 * self.tokens_b * 1e9     def energy_kwh(self):        """GPU 功耗乘使用时长,再乘 PUE 得到数据中心总能耗。"""        return self.gpu_hours * self.gpu_watts / 1000 * PUE     def carbon_kg(self):        """能耗乘以电网碳强度,得到碳排放量。"""        return self.energy_kwh() * CEF     def report(self, name="模型"):        co2 = self.carbon_kg()        print(f"{name}: FLOPs={self.training_flops():.2e}, "              f"能耗={self.energy_kwh():.1f} kWh, "              f"碳排放={co2:.1f} kg CO2e")        return co2     def with_sparsity(self, ratio):        hours = self.gpu_hours * (1 - ratio)        return ModelCarbonEstimator(self.params_bn * (1 - ratio),                                    self.tokens_b, hours, self.gpu_watts)     def with_quantization(self, bits=8, base_bits=16):        hours = self.gpu_hours * bits / base_bits        return ModelCarbonEstimator(self.params_bn, self.tokens_b,                                    hours, self.gpu_watts)  if __name__ == "__main__":    base = ModelCarbonEstimator(params_bn=7, tokens_b=1000, gpu_hours=12000)    c0 = base.report("7B 原始模型")    c1 = base.with_sparsity(0.5).report("50% 稀疏化")    c2 = base.with_quantization(8).report("INT8 量化")    c3 = base.with_sparsity(0.5).with_quantization(8).report("组合方案")    print(f"组合方案相对原始模型减排 {100 * (1 - c3 / c0):.1f}%")
目的:用本文的碳足迹公式(能耗 × PUE × 碳强度)搭建一个估算器,对比原始模型与稀疏化、量化组合方案的碳排放,把“绿色搬家”的账算给团队看。
  1. PUE = 1.58数据中心每用 1 度电计算,实际还要多耗 0.58 度电散热,先记入固定成本。
  2. class ModelCarbonEstimator把碳足迹计算封装成“绿色账本”,可以反复测算不同方案。
  3. return 6 * self.params_bn * 1e9 * self.tokens_b * 1e9业界常用的 FLOPs 估算式:6 × 参数量 × 训练 token 数,用来汇报计算规模。
  4. return self.gpu_hours * self.gpu_watts / 1000 * PUE功率乘时长得到基础能耗,再乘 PUE 计入制冷开销,即 E = P × t 的工程化实现。
  5. return self.energy_kwh() * CEF能耗乘电网碳强度,得到 kg CO2e,对应公式 C = E × CEF。
  6. def with_sparsity(self, ratio)模拟稀疏化:参数量和训练时长按比例缩减,返回一个新方案实例。
  7. def with_quantization(self, bits=8, base_bits=16)模拟量化:8bit 相比 16bit,存储与计算占用大约减半。
  8. c3 = base.with_sparsity(0.5).with_quantization(8).report("组合方案")把两个高效架构手段串起来,直接看累计减排效果。

常见误区

误区“我换成小模型了,碳排放肯定低!”很多初学者以为参数量是绿色与否的唯一标准,只要模型变小就万事大吉。

正解尺寸只是因素之一。训练时长、硬件效率、推理调用频率、电网碳强度共同决定总排放。一个每天被调用百万次的小模型,其推理总能耗可能超过一个偶尔训练一次的大模型。就像搬家:小冰箱如果 24 小时不关,电费可能高过大冰箱每周只开一次。

为何常见:因为“参数量”最容易看到、最好比较,人们容易用一个简单指标替代复杂的全局判断。

误区“把 FP16 换成 INT8,模型肯定变笨。”初学者常把量化等同于粗暴截断,担心精度断崖式下跌。

正解现代 8bit 量化配合少量校准数据,精度损失通常能控制在 1% 以内;量化感知训练(QAT)甚至能恢复绝大部分精度。这正是“真空压缩”的妙处:被子体积变了,保暖性还在。只有当模型本身很脆弱或量化到 2bit 以下时,才需要额外担心。

为何常见:因为量化的数学过程是“舍入”,人直觉上觉得舍入就是丢信息,忽略了神经网络对噪声天然有鲁棒性。

误区“训练完就没事了,推理才多少电?”许多团队只在训练时做碳审计,上线后不再追踪。

正解大型模型部署后的推理阶段持续耗电,日积月累的长期排放往往超过一次性训练。搬家耗油只是一趟的钱,新房每天开空调照明的电费才是长期大头。所以绿色方案要同时覆盖训练与推理,尤其是推理量大的线上服务。

为何常见:因为训练费用是一次性的大额支出,容易吸引注意力;推理成本被均摊到每次请求里,单个数字太小,不易感知。

误区“剪枝嘛,把一堆权重直接设成 0 就行了。”初学者以为稀疏化是简单粗暴地清零,删完就完事。

正解稀疏化要讲究“删哪儿”和“怎么删”。非结构化稀疏(零散清零)在通用 GPU 上往往难获加速,需要专用硬件或稀疏算子;结构化稀疏(整块剪掉)才更契合现有硬件。断舍离不是乱扔,而是精准留下刚需,否则模型可能“伤筋动骨”。

为何常见:因为稀疏率的定义看起来只是“置零比例”,让人忽略了底层硬件如何执行稀疏计算这一关键约束。

误区“又想省电又想效果好,哪有这种好事?”不少人把绿色 AI 等同于“降级版模型”。

正解高效架构的组合(蒸馏 + 量化 + 稀疏化)在多数任务上能以极低成本逼近原始模型精度,且部署更快、运营成本更低。适度剪枝甚至带来正则化效果,让模型更稳。绿色与好用不但不矛盾,还能互相成就——省下来的预算可以用于更多数据或更好的数据。

为何常见:因为“节能”在直觉上总让人联想到“缩水”,而忽略了算法层面的结构性优化往往同时带来效率与泛化双赢。

面试题

Q1. 估算模型训练碳足迹,最基本的公式是“碳排放 = ( ) × 碳强度系数”:

单选题 · easy

  • A.消耗的电能 kWh × 碳强度系数← 正确答案
  • B.模型参数量 × 训练步数
  • C.GPU 数量 × 训练总天数
  • D.数据规模 × 训练轮次

答案:A。碳排放 = 能耗(kWh) × 电网碳强度(kg CO2e/kWh),再用 PUE 修正。好比搬家账单 = 耗油量 × 油价:即便油量不变,油价(绿电比例)更低时账单也会大幅下降。B/C/D 只描述了能耗的某个侧面,忽略了“每度电有多脏”这一关键系数。

Q2. 下面哪一项属于降低模型碳足迹的高效架构手段?

单选题 · easy

  • A.增加训练数据的丰富度
  • B.对模型进行稀疏化剪枝← 正确答案
  • C.更换更快的并行框架
  • D.提升模型参数量上限

答案:B。稀疏化剪枝删掉无贡献的权重,如同搬家时的“断舍离”,直接减少计算量。A 提升数据质量不必然省电;C 换框架主要改善吞吐,能耗可能不变甚至更高;D 增大参数会推高能耗,方向正好相反。

Q3. 知识蒸馏中,教师模型通过带( )的 softmax 输出软标签:

单选题 · mid

  • A.温度系数 T 调制← 正确答案
  • B.动量系数 β 调制
  • C.学习率 η 调制
  • D.权重衰减 γ 调制

答案:A。温度系数 T 控制 softmax 的“软化程度”:T 越大,输出越平滑,类别间的相似关系(如猫像老虎)才能暴露给学生。动量、学习率、衰减都是训练优化器中的超参数,与软标签的产生无关。

Q4. 把 FP16 模型量化到 INT8,参数存储量大致变为原来的:

单选题 · mid

  • A.存储量约为原来的一半← 正确答案
  • B.存储量约为原来的两倍
  • C.存储量约为原来的四倍
  • D.存储量约为原来的八倍

答案:A。8bit ÷ 16bit = 1/2,所以存储量减半,这正是“真空压缩袋”的效果。两倍、四倍、八倍都是错误方向——量化是降比特,存储只会减少不会增加。

Q5. 关于电力碳强度(CEF)的说法,正确的是:

单选题 · mid

  • A.绿电占比越高则碳强度越低← 正确答案
  • B.各国家电网数值完全相同
  • C.只与 GPU 品牌型号相关联
  • D.训练过程中随机变化无常

答案:A。CEF 由发电结构决定,水电、风电、核电占比高则每度电的碳排低。各国电网差异很大,同一地区不同时段也会波动,但绝非“随机变化”;GPU 型号影响的是功耗,不直接决定电网的碳强度。

Q6. 非结构化稀疏在通用 GPU 上往往加速有限,主要原因是:

单选题 · hard

  • A.通用硬件难以高效利用不规则稀疏← 正确答案
  • B.剪枝后的模型完全无法进行推理
  • C.剪枝本质上是增加模型参数
  • D.稀疏化与量化原理相互矛盾

答案:A。非结构化稀疏把权重零零散散地置零,通用 GPU 的矩阵计算单元无法跳过这些“空洞”,只能按稠密方式计算,加速自然有限。结构化稀疏(整块剪)才能匹配硬件。B 错误——剪枝后模型仍可推理;C、D 说法明显错误。

Q7. 训练后量化(PTQ)相比量化感知训练(QAT)的特点:

单选题 · hard

  • A.无需重训但精度通常偏低← 正确答案
  • B.必须从头完整训练一次
  • C.精度一定高于原始模型
  • D.只能用于视觉分类模型

答案:A。PTQ 拿少量校准数据就能完成量化,成本低但精度略逊;QAT 在训练中模拟量化误差,精度更高但需要重训成本。好比 PTQ 是直接给被子抽真空,QAT 是重新定制一件更合身的被子——后者效果更好但更费工。

Q8. 以下哪些技术可以显著降低 AI 模型的能耗与碳排放?

多选题 · mid

  • A.结构化稀疏化剪枝← 正确答案
  • B.知识蒸馏压缩方案← 正确答案
  • C.低比特量化部署← 正确答案
  • D.无限扩大训练批次

答案:ABC。稀疏化、蒸馏、量化是文中三大高效架构手段,分别对应断舍离、传手艺、真空压缩。D 扩大训练批次只会在有限范围内提升硬件利用率,无限扩大反而浪费算力,不能作为绿色手段。

Q9. 计算数据中心训练任务的碳足迹时,通常需要哪些输入?

多选题 · mid

  • A.训练总能耗 kWh← 正确答案
  • B.电网碳强度系数← 正确答案
  • C.数据中心 PUE 值← 正确答案
  • D.模型参数字符串

答案:ABC。C = E × CEF × PUE,三个因子缺一不可。能耗来自功率乘时长,碳强度来自电网结构,PUE 反映制冷损耗。模型的参数量字符串只是名称,不是物理计算输入。

Q10. 关于绿色 AI 的正确认识有哪些?

多选题 · hard

  • A.推理排放也可能超过训练← 正确答案
  • B.模型卡需披露能耗与碳排← 正确答案
  • C.蒸馏后模型适合端侧部署← 正确答案
  • D.小模型任何场景都更环保

答案:ABC。大型模型上线后推理请求量巨大,长期累计排放可能超过一次性训练;模型卡如同家电能耗标签,应披露碳足迹;蒸馏产出的小模型资源占用低,天然适合手机等端侧。D 是常见误区——小模型的优势取决于调用频率与场景,不能一概而论。