想象一家小餐馆的后厨。大厨要做一桌让食客满意的菜,冰箱里食材有限、燃气有限。普通厨师的做法是:把所有食材一股脑全用上,累得满头大汗,电费燃气费飙升,最后菜才勉强及格。而一位“省料大厨”的做法完全不同——他先看哪些食材最耐放、最适合反复利用(同一块老豆腐煎、炖、凉拌各来一道),再有条理地先做简单开胃菜、后上硬菜,遇到拿不准的火候就请熟客尝一口指点方向。结果,同样的目标——一桌好菜,他只用了不到一半的食材、一半的燃气,菜反而更惊艳。 这就是“数据效率”的思想:让 AI 模型用尽量少的训练样本达到同等性能。样本少了,训练时间短了,电费和碳排放自然降下来。这篇文章就用“省料大厨的厨房”作为贯穿全程的主舞台,带你认识数据增强、课程学习、主动学习这三把“省料神器”,理解不同任务怎么“看菜下碟”,最后把节能效果算成一本明白账。

岗位关联

掌握数据效率,你就不再靠堆数据解决问题,而是用更少的算力、更低的成本训练出同样好的模型——这是绿色 AI 时代工程师的核心竞争力。

目录
  1. 可视化演示
  2. 数据效率概述
  3. 数据增强
  4. 课程学习
  5. 主动学习
  6. 任务适配
  7. 工程落地
  8. 节能收益
  9. AI 应用场景
  10. Python 演示
  11. 常见误区
  12. 面试题

可视化演示

演示数据选择影响函数评估、数据增强扩展策略及数据集蒸馏压缩过程,交互切换三种模式观察绿色训练数据层优化机制。

本节配有交互动效(进入视口后自动加载,约 3KB)。

数据选择:影响函数评估 高影响值样本被优先选入训练子集 阈值T动态调节选择比例与能耗平衡 效率=性能/数据量,选30%样本可节能70% 核心集选择在保持性能的同时大幅降低训练成本

数据效率概述

小餐馆的老板发现,两位厨师面对同一批食材做同一道招牌菜。第一位把所有食材全部用光,燃气开到最大,忙活一整天才端出及格分的菜;第二位只挑了三成食材,小火慢炖,提前收工,菜的品质丝毫不差。老板问秘诀,省料大厨擦了擦手:“食材和燃气都有限,闭着眼睛堆料不是本事,把每一克食材用在刀刃上才是。”

深度学习的“食材”就是训练样本。样本数量直接决定训练中前向和反向传播的次数,而每一次传播都在消耗 GPU 的电力与时间。想省能耗就得少用样本;想少用样本还不掉分,就得让每个样本发挥更大价值——这就是数据效率要解决的问题。

数据效率通常用一个“样本节省率”来量化,它刻画的是与基线方案相比,高效策略把达到目标精度所需的样本数压缩了多少:

就像省料大厨关心的不是“用了多少”而是“浪费了多少”,η 衡量的是被省下来的那部分样本。它是贯穿全篇的“厨房账本”——后续每一种策略,最终都要在这本账上记下一笔。

η=1−NrequiredNbaseline\eta = 1 - \frac{N_{\text{required}}}{N_{\text{baseline}}}
通俗说明:若基线需要 100 万样本才能达到 90% 精度,而新策略只需 40 万,则节省率 η = 0.6,即省下 60% 的数据。
  1. 基线样本需求指随机抽样、普通训练的样本量,是“把手边食材全用上”的基准。
    NbaselineN_{\text{baseline}}
  2. 高效策略样本需求应用增强、课程、主动学习后的样本量,是“精选食材”后的用量。
    NrequiredN_{\text{required}}
  3. 占比两者相除,得到高效策略仍然需要的样本比例。
    NrequiredNbaseline\frac{N_{\text{required}}}{N_{\text{baseline}}}
  4. 节省率用 1 减去占比得到 η,越接近 1 说明越“省料”。
    η=1−NrequiredNbaseline\eta = 1 - \frac{N_{\text{required}}}{N_{\text{baseline}}}

数据增强

省料大厨的招牌绝活是“一材多吃”:一块老豆腐,半块煎到两面金黄,剩下半块切成丁炖汤,边角料炸成脆皮豆腐球。食材还是那块食材,端上桌的却是三道菜。数据增强(Data Augmentation)就是深度学习的“一材多吃”。

模型训练时,我们把一张猫的照片旋转 15 度、左右翻转、调暗亮度、裁剪局部,这些新“照片”不需要重新收集,也不需要重新标注——标签还是“猫”。于是每个原始样本变成 K 个变体,等效样本量从 N 变成 N×K,而采集与标注成本几乎为零。省下的不只是钱,还有整理数据的体力活和训练时的算力。

从数学上看,数据增强后的训练目标是对 K 个变换后的样本分别计算损失再取平均:

图像任务里,翻转、裁剪、颜色扰动是最常用的“刀工”;文本任务里,同义词替换、回译、随机掩码则像“换汤不换药”的料理方式。菜还是那些菜,但模型见到的花样多了,自然不需要再囤积海量新食材。

L~(θ)=1N∑i=1N1K∑k=1Kℓ(fθ(gk(xi)), yi)\tilde{\mathcal{L}}(\theta) = \frac{1}{N}\sum_{i=1}^{N}\frac{1}{K}\sum_{k=1}^{K}\ell\left(f_\theta\big(g_k(x_i)\big),\, y_i\right)
通俗说明:g_k 是第 k 种变换(旋转、翻转、加噪等),ℓ 是损失函数。
  1. 原始样本与变换次数N 个原始样本,每个做 K 种变换,训练时等效见到 N×K 份“菜”。
    N, KN,\ K
  2. 变换样本对第 i 个样本施加第 k 种变换,得到一个新样本。
    gk(xi)g_k(x_i)
  3. 损失平均先对 K 个变换的损失求均值,再对 N 个样本求均值,构成整体训练损失。
    1K∑k=1Kℓ(fθ(gk(xi)), yi)\frac{1}{K}\sum_{k=1}^{K}\ell\left(f_\theta\big(g_k(x_i)\big),\, y_i\right)
  4. 参数更新模型沿该损失梯度更新,学到对变换不敏感的稳健特征。
    θ←θ−α∇θL~(θ)\theta \leftarrow \theta - \alpha \nabla_\theta \tilde{\mathcal{L}}(\theta)

课程学习

省料大厨从不一上来就挑战佛跳墙。他的后厨有一条铁律:先易后难。新徒弟先练切葱、再学颠勺、最后才是雕花摆盘。直接让新手做硬菜,不是烧糊就是砸锅,浪费的食材比省下的更多。课程学习(Curriculum Learning)把这条后厨铁律搬进了深度学习。

经典做法是:先把训练样本按难度排序,模型先学简单样本,随着训练推进逐渐加入困难样本。简单样本让模型快速建立可靠的表征,困难样本再逐步打磨决策边界。这样做不仅收敛更快,还因为简单样本的标签往往更干净,天然具备抗噪声能力。

形式化地,训练第 t 步选取的样本子集可以写成:

回到厨房:先易后难让模型在早期就把基本功打得扎实,后期遇到硬菜时不需要从头再来。相比一上来全盘乱炖,课程学习用同样的食材池子,却能在更短的时间内达到同样的火候——节省的正是反复试错的能耗。

Dt={(xi, yi)∈D:c(xi)≤τt}\mathcal{D}_t = \left\{(x_i,\, y_i) \in \mathcal{D} : c(x_i) \le \tau_t\right\}
通俗说明:c 是样本难度打分,τ_t 是随训练进度逐步增大的难度门槛。
  1. 难度函数给每个样本打分,图像任务常用预训练模型置信度或损失值,文本任务可用句子长度、词频。
    c(xi)c(x_i)
  2. 难度门槛当前允许的难度上限,初始很小只放行简单样本,随 t 增长逐步放宽。
    τt\tau_t
  3. 子集筛选从全量数据中筛出难度不超过门槛的样本作为本步训练集。
    Dt={(xi, yi)∈D:c(xi)≤τt}\mathcal{D}_t = \left\{(x_i,\, y_i) \in \mathcal{D} : c(x_i) \le \tau_t\right\}
  4. 调度策略门槛的增长节奏(线性、阶梯或自适应)就是“课程表”,决定训练进程。
    τt+1=τt+Δt\tau_{t+1} = \tau_t + \Delta_t

主动学习

省料大厨还有一个秘密武器:他会把刚出锅的菜先分一小碟给熟客试味,客人皱眉,他就优先改进那道菜;客人点头,就保持原样。与其把所有菜都大刀阔斧地改一遍,不如把精力集中在客人最没把握的那几道。主动学习(Active Learning)用的正是这套“试菜”逻辑。

训练数据往往需要人工标注,而标注是昂贵的“人工费”。主动学习的思路是:让模型自己从无标注样本池中挑出“最拿不准”的样本,再交给人类标注。这样每一笔标注费都花在最有信息量的样本上,而不是浪费在那些模型早已十拿九稳的数据上。

最经典的挑选准则是“不确定性采样”——挑模型预测置信度最低的样本:

实际工程还会给不确定性加上多样性约束,避免挑回一堆相似的样本;与自监督预训练结合时,模型先在大规模无标注数据上预训练,再配合主动挑选,标注需求可进一步压到原先的 30%~50%。一桌菜不可能全部重做,标注预算也不可能无限扩张——这就是主动学习跻身“绿色三件套”的原因。

x∗=arg⁡max⁡x∈U(1−max⁡c Pθ(y=c∣x))x^{*} = \arg\max_{x \in \mathcal{U}} \left(1 - \max_{c}\, P_{\theta}(y = c \mid x)\right)
通俗说明:P 是模型给样本打上类别 c 的概率,1 减去最大概率就是“没把握程度”。
  1. 未标注池尚未标注的候选样本集合,相当于“还没尝过的菜”。
    U={x1,x2,…,xM}\mathcal{U} = \{x_1, x_2, \dots, x_M\}
  2. 预测概率模型在当前参数 θ 下,认为样本 x 属于某个类别 c 的概率。
    Pθ(y=c∣x)P_{\theta}(y = c \mid x)
  3. 最可能的答案取所有类别中概率最大的那个,代表模型当前最有把握的判断。
    max⁡c Pθ(y=c∣x)\max_{c}\, P_{\theta}(y = c \mid x)
  4. 不确定性得分与挑选用 1 减去最大概率得到“没把握程度”,argmax 选中得分最高的样本。
    x∗=arg⁡max⁡x∈U(1−max⁡c Pθ(y=c∣x))x^{*} = \arg\max_{x \in \mathcal{U}} \left(1 - \max_{c}\, P_{\theta}(y = c \mid x)\right)

任务适配

省料大厨深谙“看菜下碟”:粤菜讲究食材本味,适合清蒸;川菜重调味,适合爆炒。把清蒸的方子拿去爆炒,省下的食材全糊在锅底。数据效率策略同样要对任务类型对症下药,不能一套方子走天下。

图像任务中,数据增强几乎零成本且语义保持性好,是首选的省料策略。文本任务中,人工标注费极高,主动学习叠加增强的收益最大。语音任务中,样本难度天然分层——清晰录音和嘈杂环境有壁,课程学习效果突出。盲目照搬跨领域的策略组合,往往得不偿失。

几种策略叠加时,工程上可以做一个粗略的经验估算:

判断一份省料方案好不好,关键不是策略多花哨,而是它是否适合当晚的菜单。图像、文本、语音各有自己的“火候”偏好——适配对了,才是真省。

Neff=N0×(1−raug)×(1−rcur)×(1−ract)N_{\text{eff}} = N_0 \times (1 - r_{\text{aug}}) \times (1 - r_{\text{cur}}) \times (1 - r_{\text{act}})
通俗说明:N_0 是基线样本需求,r_aug、r_cur、r_act 分别是三种策略各自的节省率。
  1. 基线需求不使用任何策略时的样本需求,是账本的起点。
    N0N_0
  2. 单项节省率数据增强、课程学习、主动学习各自贡献的节省比例,取值在 0 到 1 之间。
    raug, rcur, ractr_{\text{aug}},\ r_{\text{cur}},\ r_{\text{act}}
  3. 复合节省节省率连乘反映“省了再省”的复合效应,例如各省 30% 时实际需求约为基线的一半。
    (1−raug)×(1−rcur)×(1−ract)(1 - r_{\text{aug}}) \times (1 - r_{\text{cur}}) \times (1 - r_{\text{act}})
  4. 验证与校准连乘是经验近似,实际存在交互效应,需用小规模实验校准后再放大。
    Neff=N0×(1−raug)×(1−rcur)×(1−ract)N_{\text{eff}} = N_0 \times (1 - r_{\text{aug}}) \times (1 - r_{\text{cur}}) \times (1 - r_{\text{act}})

工程落地

有了省料技巧,还差一套后厨管理。省料大厨的厨房有三样东西:食材预算本、采购流程单、出菜监控表。没有这套管理,再好的技巧也会在忙乱中失效。数据效率的工程落地同样依赖三条配套措施。

一是数据管线设计——把采集、清洗、增强、课程排序、主动标注循环串成一条自动化流水线,每一步的产物都标准化输入下一步。二是预算先行——先在小规模子集上做试算,估算 N_required 和 η 再决定放大预算,而不是一上来就烧全量算力。三是监控反馈——训练中持续记录准确率、标注消耗、能耗曲线,一旦某策略失效立即回退。

成本侧可以这样记账:

好消息是这套后厨管理已有成熟工具:Albumentations 与 torchvision.transforms 负责“刀工”,TextAttack 处理文本“调味”,modAL 实现主动“试菜”,配合 MLflow 等实验追踪平台记录每次“出菜”的能耗与精度。工具齐了,剩下的就是坚持按流程走。

Ctotal=Ncollect⋅ccollect+Nlabel⋅clabel+Etrain⋅pelecC_{\text{total}} = N_{\text{collect}} \cdot c_{\text{collect}} + N_{\text{label}} \cdot c_{\text{label}} + E_{\text{train}} \cdot p_{\text{elec}}
通俗说明:总成本 = 采集成本 + 标注成本 + 训练电费。
  1. 采集成本采集样本数乘以单位采集成本,反映数据获取开销。
    Ncollect⋅ccollectN_{\text{collect}} \cdot c_{\text{collect}}
  2. 标注成本标注样本数乘以单位标注成本,主动学习压缩的主要是这一项。
    Nlabel⋅clabelN_{\text{label}} \cdot c_{\text{label}}
  3. 训练电费训练能耗乘以电价,数据增强和课程学习压缩的主要是这里的 E。
    Etrain⋅pelecE_{\text{train}} \cdot p_{\text{elec}}
  4. 优化视角数据效率的目标是在满足精度约束下让这三项之和最小。
    Ctotal=Ncollect⋅ccollect+Nlabel⋅clabel+Etrain⋅pelecC_{\text{total}} = N_{\text{collect}} \cdot c_{\text{collect}} + N_{\text{label}} \cdot c_{\text{label}} + E_{\text{train}} \cdot p_{\text{elec}}

节能收益

每天打烊后,省料大厨都会翻开燃气账单。账单上不是一行行菜名,而是清清楚楚的用气量、电费和碳排放系数。他说:“省不省料,不能靠感觉,要看账单。”数据效率的终极收益,同样要落到能耗和碳足迹这本账上。

训练一次模型的碳排放可以粗略表示为:

实际案例中,图像分类任务用增强、课程学习、主动学习组合,常能以 40%~60% 的样本达到基线同等精度,意味着能耗与碳足迹同比例下降。再叠加硬件能效优化和绿色电力,收益还能放大。因此,越来越多团队把“数据节省率 η”和“每千样本碳排”纳入模型卡片的必需字段,向客户和监管透明披露。

这本账的结论很清晰:数据效率不是模型质量的退让,而是把每一份食材、每一度电都花在刀刃上的厨房纪律。少拿数据、快出菜、少排碳,账本自然好看——这就是绿色训练里“数据效率”的全部秘密。

CO2=Etrain×CI=(N⋅esample)×CI\text{CO}_2 = E_{\text{train}} \times \text{CI} = \big(N \cdot e_{\text{sample}}\big) \times \text{CI}
通俗说明:E_train 是总训练能耗,CI 是电网碳排放强度(每度电产生的 CO₂ 克数)。
  1. 单样本能耗单个样本跑一轮训练的平均能耗,由模型规模和硬件能效决定。
    esamplee_{\text{sample}}
  2. 总处理量样本数与训练轮数的乘积,即训练共处理了多少样本。
    N=Ndata×epochsN = N_{\text{data}} \times \text{epochs}
  3. 总能耗单样本能耗乘以总处理量得到训练总能耗。
    Etrain=N⋅esampleE_{\text{train}} = N \cdot e_{\text{sample}}
  4. 碳排放强度电网每度电对应的 CO₂ 克数,不同地区差异很大,乘上总能耗即得碳足迹。
    CO2=(N⋅esample)×CI\text{CO}_2 = \big(N \cdot e_{\text{sample}}\big) \times \text{CI}

AI 应用场景

医疗影像标注成本压降

阶段:数据准备与标注

解决的问题:放射科每天产出海量 CT 影像,但标注医生时间宝贵。传统做法是随机抽片子送标注,大量模型早已认识的正常片子浪费了医生精力;主动学习让模型先跑一遍未标注影像,只把最不确定的疑难片子挑出来送审,标注量可省一半以上。

具体案例:某医疗 AI 公司在肺结节检测项目中引入不确定性采样,提交给医生的标注量从每月 2 万张降至 8000 张,模型在测试集上的 AUC 反而提升了 0.5 个百分点,标注人力成本下降六成。

大模型指令微调的精选数据

阶段:模型微调(对齐阶段)

解决的问题:指令微调数据质量参差,全量微调既贵又慢。用课程学习把指令按复杂度先易后难组织,配合数据增强扩写关键指令变体,可以用全量 30% 的指令数据达到同等指令遵循分数,训练电费大幅下降。

具体案例:某创业公司微调 70 亿参数开源模型时,将 50 万条指令按难度分层,简单指令先训、困难指令后加,最终只用 15 万条指令完成对齐,单次训练电费从 4200 元降到 1300 元,碳排放减少约七成。

边缘设备增量学习

阶段:部署与持续优化

解决的问题:工厂质检设备部署后需适配新品种产品,全量重训数据不现实且耗电。数据增强构建新产品的变换样本,课程学习先易后难适配,让设备端用几百张新样本完成增量训练,省流量又省电。

具体案例:某手机质检产线上,检测模型用 300 张新机型照片(增强后等效 2400 张)在端侧完成增量适配,漏检率与全量重训持平,单次增量适配耗电仅为原来的 15%。

Python 演示

python55 行
import numpy as npfrom sklearn.datasets import make_classificationfrom sklearn.linear_model import LogisticRegression TARGET = 0.90rng = np.random.RandomState(42) X, y = make_classification(n_samples=800, n_features=10,                           n_informative=6, n_redundant=2, random_state=7)perm = rng.permutation(len(X))X_test, y_test = X[perm[:160]], y[perm[:160]]X_pool, y_pool = X[perm[160:]], y[perm[160:]]pool_idx = perm[160:]  def evaluate(idx):    model = LogisticRegression(max_iter=3000)    model.fit(X[idx], y[idx])    return model.score(X_test, y_test)  def random_search():    # 基线: 闭眼随机抓样本, 按固定步长增加    for n in range(20, 501, 20):        pick = rng.choice(pool_idx, n, replace=False)        if evaluate(pick) >= TARGET:            return n    return None  def active_search():    # 主动学习: 先随机种子10个, 再循环挑最不确定的样本    chosen = list(pool_idx[:10])    rest = list(pool_idx[10:])    while len(chosen) <= 500:        if evaluate(chosen) >= TARGET:            return len(chosen)        model = LogisticRegression(max_iter=3000)        model.fit(X[chosen], y[chosen])        proba = model.predict_proba(X[rest])[:, 1]        order = np.argsort(np.abs(proba - 0.5))[:10]        for i in order:            chosen.append(rest[i])        rest = list(set(rest) - set(chosen))    return None  random_n = random_search()active_n = active_search()print("random samples needed:", random_n)print("active samples needed:", active_n)if random_n is None or active_n is None:    print("budget exhausted, please adjust dataset")else:    print("sample savings rate: {:.1%}".format(1 - active_n / random_n))
目的:用一个可运行的分类实验对比“随机采样”与“主动学习”,直观展示主动学习用更少样本达到同样精度、省下多少数据。
  1. pick = rng.choice(pool_idx, n, replace=False)闭眼随机抓取 n 个样本作为训练集,这是“把所有食材乱炖”的基线。
  2. model.fit(X[chosen], y[chosen])用当前已精选的样本训练模型,每轮都更新“厨师的手感”。
  3. proba = model.predict_proba(X[rest])[:, 1]让模型给每个未标注样本“试味打分”,输出属于正类的概率。
  4. np.argsort(np.abs(proba - 0.5))[:10]挑出预测概率最接近五五开、模型最拿不准的 10 个样本。
  5. chosen.append(rest[i])这些最不确定的样本获得标注并加入训练集,标注费花在刀刃上。
  6. 1 - active_n / random_n算账:主动学习比随机采样省下多少比例的样本。

常见误区

误区总觉得省数据就等于降精度,认为绿色训练是拿模型质量换电费,于是不敢砍任何样本,数据效率策略也不敢用。

正解数据效率的前提是“同等性能”。真实数据里存在大量冗余,有策略地增强、排序、挑选之后,更少样本的模型不仅不掉分,往往还更稳健。省料大厨少用了食材,菜的出品标准一点没降。

为何常见:人们习惯“堆料=效果好”的经验主义,忽略了样本之间存在大量信息冗余。

误区觉得数据增强只是让模型泛化好一点,是训练流程的“附属品”,和绿色 AI、节能减排根本扯不上关系。

正解增强让每个样本变成 K 个变体,等效样本量变成 N×K,而采集与标注成本几乎为零。需要新采集的样本少了,模型收敛也快,能耗随之下降。它本质上是“用少量计算换大量数据”,是绿色账本上的大额进项。

为何常见:增强的收益通常被归因于“泛化提升”,很少有人从“省了多少新数据采集和训练能耗”的角度算过账。

误区以为随便按直觉排个顺序就行,比如按文件大小、按类别编号,或者干脆随机调个顺序就算“课程”了。

正解课程学习的核心是“难度度量 + 进度调度”两头。难度度量必须与任务挂钩(置信度、损失值、句长词频),调度要设计门槛的增长节奏;当难度度量被标注噪声污染时,还需要修正甚至回退。只排个序而不验证,通常没有任何收益。

为何常见:“先易后难”直觉上好懂,但真正产生收益的工程细节恰恰被忽略了。

误区认为只要少标注就行,随便抽一批样本给模型训练也算主动学习,反正都是“用更少数据”。

正解随机抽样是主动学习的基线对照,不是主动学习本身。主动学习的价值在于“挑”:模型最不确定、最有代表性、最能让决策边界移动的样本优先标注。挑得好,一半标注量达同等精度;挑得差,和随机没区别。

为何常见:简化记忆成“少标注”而丢掉了“选样本”这个真正起作用的机制。

误区以为三种策略各自省 30%,叠加就是 30% + 30% + 30% = 90%,于是放心大胆地砍数据预算。

正解节省率应按经验公式连乘估算,0.7 × 0.7 × 0.7 ≈ 0.34,即实际需求约为基线的 34%。而且策略之间存在交互效应,连乘也可能高估。工程上必须先用小规模数据试算校准,再放大预算。

为何常见:直觉把百分比当加法,忽略了它们作用在同一批数据上的复合关系。

面试题

Q1. 数据效率的核心追求是什么?

单选题 · easy

  • A.用更少的样本达到同等性能← 正确答案
  • B.用更大的模型达到更强性能
  • C.用更多的数据训练更久时间
  • D.用更快的硬件缩短训练时间

答案:A。数据效率的目标就是“少样本、同等性能”,省下的是采集、标注和训练能耗。B 增大模型、C 增加数据、D 换硬件都不涉及减少样本,属于其他优化路线。

Q2. 数据增强提升数据效率的根本原因是?

单选题 · mid

  • A.让模型看到更多有效样本变体← 正确答案
  • B.让模型直接访问真实云端数据
  • C.让模型自主生成全新数据分布
  • D.让模型使用更多标注预算额度

答案:A。增强把每个原始样本变换出 K 个变体,等效样本量 N×K 而采集和标注成本几乎为零,模型因此见到更多有效样本变体。B 与云端无关,C 生成全新分布超出了增强的范围,D 增加预算与“省料”背道而驰。

Q3. 课程学习训练模型的核心要点是?

单选题 · mid

  • A.任意打乱样本顺序进行训练
  • B.先简单后困难循序渐进训练← 正确答案
  • C.只保留最困难样本做训练
  • D.按标注时间先后顺序来训练

答案:B。课程学习=难度度量+进度调度,先简单后困难让模型先建立可靠表征,再逐步挑战难样本。A 乱序是一般训练,C 只学困难样本易导致早期不收敛,D 按时间排序与难度无关。

Q4. 主动学习中常用的采样策略包括哪些?

多选题 · mid

  • A.低置信度不确定性采样← 正确答案
  • B.高置信度最可靠样本采样
  • C.代表性与多样性兼顾采样← 正确答案
  • D.与自监督预训练结合使用← 正确答案

答案:ACD。不确定性采样(A)挑模型最拿不准的样本,多样性与代表性约束(C)避免挑回相似样本,与自监督预训练结合(D)可进一步压标注需求。B 恰恰相反——模型最可靠的样本信息量最低,不值得优先标注。

Q5. 减少训练样本量对能耗的影响是?

单选题 · easy

  • A.能耗显著降低因为计算量减少← 正确答案
  • B.能耗不变因为硬件功率恒定
  • C.能耗升高因为需要更多重试
  • D.能耗与样本量完全没有关系

答案:A。训练能耗≈总样本处理量×单样本能耗,样本少了,前向/反向传播次数减少,GPU 计算时间缩短,能耗近似线性下降。硬件功率恒定但使用时长缩短了,所以 B 不对;C、D 与基本物理账目不符。

Q6. 提升数据效率的工程手段有哪些?

多选题 · hard

  • A.设计包含增强与课程的管线← 正确答案
  • B.小规模试算后确定数据预算← 正确答案
  • C.训练过程监控准确率能耗← 正确答案
  • D.无条件堆满硬盘所有数据

答案:ABC。自动化数据管线(A)、预算先行(B)、监控反馈(C)是工程落地三件套。D 与数据效率完全相反——堆满所有数据恰恰是“所有食材乱炖”的基线做法,既不绿色也不高效。

Q7. 主动学习挑选最值得标注样本的准则是?

单选题 · hard

  • A.挑选模型把握最大的样本
  • B.挑选模型最不确定的样本← 正确答案
  • C.挑选标签噪声最小的样本
  • D.挑选数量最大的样本类别

答案:B。不确定性采样挑选预测置信度最低、最能让决策边界移动的样本,这类样本标注后提供的信息量最大。A 把握最大则信息量最小;C 噪声最小不代表最有价值;D 按类别数量选样本与信息量无关。

Q8. 碳足迹计算公式中 CI 表示什么?

单选题 · easy

  • A.训练数据的样本总数
  • B.电力碳排放强度系数← 正确答案
  • C.模型参数的存储大小
  • D.训练轮数的迭代次数

答案:B。CO₂ = E_train × CI,CI 是电网碳排放强度,单位是克 CO₂/千瓦时,不同地区电网差异很大。A 是 N,C 是模型大小,D 是轮数,它们都不直接参与碳强度换算。

Q9. 课程学习相比随机训练的突出优势是?

单选题 · mid

  • A.更快收敛且对噪声更稳健← 正确答案
  • B.模型参数总量显著减少
  • C.完全消除数据标注需求
  • D.保证模型精度无限提升

答案:A。课程学习先学简单样本再学困难样本,损失曲线下降更平稳、收敛更快;简单样本标签通常更干净,因此对标注噪声更稳健。B 参数总量由模型结构决定,C 标注需求要靠主动学习而非课程学习消除,D 精度有上限。

Q10. 组合多种数据效率策略时应注意什么?

多选题 · hard

  • A.各策略节省率近似相乘估算← 正确答案
  • B.不同任务选择不同重点策略← 正确答案
  • C.先小规模验证再放大预算← 正确答案
  • D.策略越多效果必然线性叠加

答案:ABC。复合节省率应按连乘估算(A),图像、文本、语音各有首选策略(B),小规模试算校准后再放大(C)是工程铁律。D 是典型误区——策略叠加存在交互效应,节省率不是线性相加。