走进老赵的裁缝铺，墙上挂着一排纸样：最简单的只有“衣长、胸围”两个调节点，最复杂的领口、肩斜、腰线、袖笼足有十几个可调机关。铺子里攒了一批老客人的体型记录（这就是数据）。今天老赵要决定：为这批客人做样衣，该用哪张纸样？ 用简单的纸样，缝出来人人能穿，但没一个特别合身；用复杂的纸样，眼前这位客人被伺候得服服帖帖，可换下一位就完全走形。怎么把“合身程度”和“调节点数量”放在同一把尺子上量？老赵手里有两张评分表：AIC 和 BIC。 这两张表的起点相同：先给纸样“伺候好当前这批客人”的本事打分，再按调节点个数加一笔复杂度手续费——AIC 每点固定收 2 分，BIC 的手续费却随着客人数量水涨船高。读完这篇文章，你不仅能看懂这两张表，还会明白为什么样本一多，老裁缝就总劝你“选简单款”。

岗位关联

面对一堆候选模型，光看训练效果容易“自嗨”。学会 AIC/BIC，你就有了一把业内通用的量尺：既能解释“为什么选这个模型”，也能在剪枝、定阶、压缩模型的真实决策中给出可复现的数学依据。

目录
  1. 可视化演示
  2. 模型选择问题
  3. 似然函数基础
  4. AIC公式原理
  5. BIC公式原理
  6. AIC与BIC对比
  7. 实践应用要点
  8. AI 应用场景
  9. Python 演示
  10. 常见误区
  11. 面试题

可视化演示

展示系统处理流水线、实时性能指标曲线及多方案对比分析，包含数据流转、吞吐延迟监控与方案评估。

本节配有交互动效（进入视口后自动加载，约 3KB）。

系统可视化 处理流程：输入→处理→模型→输出 性能监控：实时指标 P=L×T

模型选择问题

老赵的铺子里挂着一排纸样。最左边那张只有“衣长、胸围”两个调节点，最右边那张密密麻麻排着领口、肩斜、腰线、袖笼十几个旋钮。给客人量完体，老赵从不直接上手剪布料，而是先在一叠旧布上试版——把每个调节点拧到最能贴合这位客人的位置，再记下成衣效果。这就是机器学习里的模型选择：从一堆候选模型中挑一个，让它在“解释已知数据”和“应付未知数据”之间找到平衡。

如果你在实验室里训练模型，很容易掉进一个陷阱：调节点越多的纸样，越能把眼前这位客人伺候得舒舒服服，训练误差一路走低；可这套纸样是照着他的体型量身定做的，换一个人来穿就完全走形，这就是过拟合。真实世界的目标是泛化能力，也就是让纸样换一批客人也大致合身。

于是模型选择被拆成两个互相对抗的指标：拟合优度，也就是这套纸样贴合数据的程度；复杂度，也就是调节点（参数）的数量。光看拟合优度，你会选中最复杂的模型；光看复杂度，你又退化成最朴素的模型。我们需要一把把两者换算成同一单位的尺子，再比大小——AIC 和 BIC 就是业内最常用的两把。

别急着抄公式。先记住这把尺子的底层逻辑：它的读数永远由两股力量拉扯——一股是合身加的分，一股是复杂扣的分。接下来，我们先看“合身加分”怎么量化，再看两位老师傅各有一套“扣分规则”。

似然函数基础

老赵有一本泛黄的《量体笔记》，里面记着每位老客户的肩宽、胸围、腰长。现在他拧好一件纸样上的所有旋钮，翻开笔记问自己：如果让这位客户穿上这件样衣，他的体型数据恰好长成这样的可能性有多大？这个可能性，行话叫似然。它回答的不是“数据像不像模型”，而是“在给定模型下，我们手上的数据出现的概率”。

数学上，假设有 n 位客户（样本），每位客户的体型是 x_i，模型参数是 θ（相当于所有旋钮的位置），并且客户们彼此独立。那么整批样本的似然，就是把每位客户的出现概率乘起来。可这么多个小概率相乘，数值会小到没法比较，所以统计学家先取对数，把连乘变成连加，得到对数似然。

有了对数似然，我们就能对每个候选模型做最大似然估计：找到让 ℓ(θ) 最大的那组旋钮位置，记为 θ̂，并用 ℓ(θ̂) 代表这个模型最好的合身水平。AIC 和 BIC 的第一项 -2lnL 就来自这里。前面的负号加 2 倍，是统计学家为了推导方便预设的标尺，你只需要记住：这个值越小，模型拟合越好。

老赵每次试版都先拧到最合身的位置，再记下合身总分。总分高不代表纸样好——可能只是旋钮开得太多。下一节，两位老师傅就要搬出各自的扣分规则，看看他们怎么给复杂度定价。

ℓ(θ)=∑i=1nln⁡P(xi∣θ)\displaystyle \ell(\theta) = \sum_{i=1}^{n} \ln P(x_i \mid \theta)
一句话记忆：对数似然把“一堆人合身概率相乘”变成“逐个打分再相加”，分越高，纸样越贴合数据。
  1. θ 参数集合模型中所有待估的旋钮位置，比如肩宽、腰线的调节量。
    θ\theta
  2. P(x_i|θ) 单点概率在给定旋钮位置时，第 i 位客人出现这种体型的概率。
    P(xi∣θ)P(x_i \mid \theta)
  3. Σ 累加符号把全部客人从 1 到 n 的贡献加起来，将连乘转化为连加。
    ∑i=1n\sum_{i=1}^{n}
  4. ln 自然对数把微小概率放大到便于比较的量级，同时保持单调性——似然越大，对数似然越大。
    ln⁡\ln
  5. ℓ(θ) 对数似然整套纸样在当前参数下伺候好这批客人的总分，分数越高，拟合越好。
    ℓ(θ)\ell(\theta)

AIC公式原理

老赵是个实用派，他的规矩很朴素：每多开一个调节点，就多收 2 分手续费；如果这个旋钮没能让合身总分扳回至少 2 分，那它就是摆设，不如没有。在他看来，纸样是拿来做预测的——今后来一位体型差不多的新客人，能不能穿得合身，比眼前这位被伺候得多舒服更重要。

AIC（赤池信息准则）正是这种预测导向的数学化。它出自赤池弘次的信息论框架：一个好模型，应该让预测分布尽可能接近真实分布，也就是最小化两种概率分布之间的距离（KL 散度）。由于真实分布未知，赤池证明可以用一个简洁公式估计出这个目标的近似值。

注意，AIC 的惩罚项与样本量 n 无关——不管铺子里有多少客户，每个参数都固定罚 2。这意味着当样本量很大、复杂模型确实能稳定提升合身度时，AIC 仍然愿意为它买单；但如果增加参数只换来一点点提升，AIC 会果断劝你砍掉。实践中常用经验是：两个模型 AIC 相差小于 2 时，两者证据强度相当，选更简单的那一个更稳妥。

老赵的“每点罚 2 分”简单好记，可他弟弟老王在旁边直摇头：“你那是小本经营的算法。等铺子客户攒到几百上千，一个旋钮被多少人穿过、出过多少问题，都得算进去！”于是，BIC 登场了。

AIC=−2ℓ(θ^)+2k\displaystyle \text{AIC} = -2\ell(\hat{\theta}) + 2k
一句话记忆：AIC = 合身账目（越小越好）+ 复杂度罚金（每参数固定 2 分），总分最小者胜出。
  1. ℓ(θ̂) 最优对数似然把参数拧到最合身位置后的最高合身总分。
    ℓ(θ^)\ell(\hat{\theta})
  2. -2 倍缩放将分数换算到 AIC 的标尺上，让拟合越好对应数值越小。
    −2ℓ(θ^)-2\ell(\hat{\theta})
  3. 2k 复杂度罚金k 是调节点个数，每个调节点固定扣 2 分，与样本量无关。
    2k2k
  4. 取最小值原则AIC 越小越好，代表扣完罚金后净合身账目最划算。
    AICmin⁡\text{AIC}_{\min}

BIC公式原理

老王管账的方式复杂些。在他看来，多一个调节点，纸样就多一条需要验证的规则，而验证要花成本——客户越多，验证成本越高。所以他的扣分不是固定 2 分，而是“每个调节点扣 ln n 分”，n 是店里积累的客户数。客户越多，他越不愿意为花哨的设计买单。

BIC（贝叶斯信息准则）由 Schwarz 提出，出发点是贝叶斯统计：我们希望选出的模型拥有最大的后验概率。经过近似推导，后验概率的比较最终落在一个与 AIC 几乎同构的公式上，只是把固定罚 2 换成了随样本量增长的 ln n。

可以算一笔账：每增加一个参数，BIC 的罚金是 ln n，AIC 的罚金是常数 2。当 ln n > 2，也就是 n > e² ≈ 7.39 时，BIC 的扣分就开始超过 AIC。样本量越大，BIC 越保守。这就是“BIC 偏爱简单模型”的由来——它不是主观偏好，而是贝叶斯后验概率推算出的数学结论。

老王把账本一拍：“一样的合身度，我比你更看重长期风险。”于是同一个铺子里出现了两个答案：客户少时两人看法接近；客户一多，老王永远更倾向简单纸样。下一节，我们正面比较这两套扣分规则。

BIC=−2ℓ(θ^)+kln⁡n\displaystyle \text{BIC} = -2\ell(\hat{\theta}) + k\ln n
一句话记忆：BIC 与 AIC 同款账本，只是罚金从固定 2 分变成“每参数按样本量的对数扣分”。
  1. -2ℓ(θ̂) 拟合项与 AIC 完全相同的合身总分，代表模型解释数据的能力。
    −2ℓ(θ^)-2\ell(\hat{\theta})
  2. k ln n 惩罚项k 是参数个数，ln n 是客户数的自然对数，客户越多罚得越重。
    kln⁡nk\ln n
  3. n 样本量用于建模的数据条数，这是 BIC 与 AIC 的关键区别。
    nn
  4. 取最小值原则同样越小越好，在合身度与客户规模下的复杂度成本之间取平衡。
    BICmin⁡\text{BIC}_{\min}

AIC与BIC对比

同一批客户、同一堆纸样，老赵和老王常常给出不同建议。客人问：“你俩谁的尺子更准？”老赵说：“我量的是明天——新客户进门穿得合不合身。”老王说：“我量的是真相——到底哪张纸样真正符合这批人的普遍体型。”

两种取向在统计学上有名字：AIC 是预测最优导向，它在大样本下能渐近最小化预测误差，适合预测类任务；BIC 是模型一致性导向，当数据确实来自某张纸样时，随着样本量增大，BIC 几乎一定能把它找出来，适合解释与推断。

两者差在哪里？只看惩罚项就能算清楚：BIC 对每个参数的罚金是 ln n，AIC 是常数 2。两个条款的博弈可以写成一条简单的不等式：

所以实践中常把“大样本选 BIC、小样本选 AIC”当作经验法则：样本量大时，BIC 帮你压制过拟合、筛出更稳的结构；样本小或核心目标是预测时，AIC 不易因为过度保守而误删有效特征。两位老师的尺子没有绝对的对错——关键是先想清楚，你要量的是“明天的合身”，还是“真相的结构”。

kln⁡n>2k  ⟺  n>e2≈7.39\displaystyle k\ln n > 2k \iff n > e^2 \approx 7.39
一句话记忆：样本量超过 7 个左右，BIC 的单项罚金就开始超过 AIC，样本越大越保守。
  1. k ln n > 2kBIC 的复杂度罚金在什么时候会超过 AIC，这是两种准则分道扬镳的临界条件。
    kln⁡n>2kk\ln n > 2k
  2. 同除 kk 是正数，安全地消去参数个数，不等式化为 ln n > 2。
    ln⁡n>2\ln n > 2
  3. 指数还原两边取自然指数，得到 n > e² ≈ 7.39，样本量超过约 7 个时 BIC 更严。
    n>e2≈7.39n > e^2 \approx 7.39

实践应用要点

把这套理论带回裁缝铺，就是一张贴在墙上的《选版作业单》：先给每张候选纸样拧到最合身，记下合身总分；再数清调节点数量；然后按两位老师的公式各算一遍；最后在同一批客人上比大小，分数最小的纸样胜出。注意，千万别拿不同批次客户的分数去比较，那就像拿 A 客人的号衣去套 B 客人的身子，毫无意义。

落实到机器学习的日常工作，流程是五步：① 对每个候选模型做最大似然估计（或用最小二乘拟合）；② 计算 -2lnL，误差服从正态分布时可近似为 n·ln(RSS/n)；③ 数清参数个数 k（包括截距项）；④ 代入 AIC/BIC 公式；⑤ 在同一数据集上取最小值，并用验证集或多轮交叉验证复核。

实际项目中还要注意：嵌套模型与非嵌套模型都可以用信息准则比较，但前提是使用同一份数据、同一套误差分布假设；AIC/BIC 提供的是排序而不是绝对检验，如果最优与次优差距很小（比如 ΔAIC 小于 2），请结合业务成本做最终决定。

老赵把作业单刷了浆糊贴在墙上，老王在旁边添了一行小字：“所有分数只在同一本量体笔记内有效。”有了这张作业单，你的模型项目每一次换模型、加特征、改结构，都有了可以回怼质疑的底气——不是我拍脑袋，是 AIC/BIC 帮我们算过账。

AIC≈nln⁡RSSn+2k,BIC≈nln⁡RSSn+kln⁡n\displaystyle \text{AIC} \approx n\ln\frac{\text{RSS}}{n} + 2k, \qquad\text{BIC} \approx n\ln\frac{\text{RSS}}{n} + k\ln n
一句话记忆：实战中常常不直接算似然，而是用残差平方和的近似式，逻辑完全一致。
  1. RSS 残差平方和预测值与真实值之差的平方和，越小代表拟合越好。
    RSS=∑i=1n(yi−y^i)2\text{RSS} = \sum_{i=1}^{n}(y_i - \hat{y}_i)^2
  2. RSS/n 平均残差把总偏差摊到每个样本上，得到的平均不吻合程度。
    RSSn\frac{\text{RSS}}{n}
  3. n ln(RSS/n) 近似在正态独立误差假设下，这与 -2lnL 只差常数，比较时可省略。
    nln⁡RSSnn\ln\frac{\text{RSS}}{n}
  4. 两类罚金分别套用 AIC 的 2k 与 BIC 的 k ln n，完成最终评分。
    2k与kln⁡n2k \quad \text{与} \quad k\ln n

AI 应用场景

场景一：风控模型的特征选取

阶段：建模与特征选择（模型选择阶段）

解决的问题：传统做法是“往里加特征直到 AUC 不再涨”，结果模型动辄上百个变量，上线后过拟合严重、特征缺失时脆弱。用 AIC/BIC 对候选特征子集逐一评分，能自动在“解释力”与“变量数量”之间划线，选出可解释、好维护的入模集合。

具体案例：某消费金融团队在构建信用卡申请评分卡时，初版逻辑回归包含 87 个特征，训练集 AUC 0.82，测试集掉到 0.74。改用 BIC 对特征子集做前向选择，保留 23 个特征，测试集 AUC 反而升至 0.78，且每个特征的业务含义都能向监管讲清——就像老裁缝砍掉一堆花哨旋钮，样衣反而更耐穿。

场景二：时序模型的自动定阶

阶段：模型选择与超参确定

解决的问题：ARIMA 模型的阶数组合爆炸，人工试错效率低；只用相关图人眼判读不稳定。自动搜索时用 AIC/BIC 对每个候选阶数打分，能稳定复现“最优”结论。

具体案例：某电商销量预测脚本用 pmdarima 库做自动定阶，内部正是以 AIC（可指定 AIC/BIC）为标准从几十组候选中挑出最优阶数。数据科学家只需在代码里指定 information_criterion='bic'，就能得到更简洁、更抗波动的结构——客户一多，老王的话更值得听。

场景三：模型压缩与部署选型

阶段：模型压缩 / 部署决策

解决的问题：大模型效果好在资源紧张的边缘端跑不动，手动砍层数容易失控。以 BIC 作为压缩程度的标尺，逐层剪枝后对比复杂度与拟合损失，找到“再剪就伤筋动骨”的临界点。

具体案例：某 OCR 团队把 12 层 Transformer 编码器逐层剪枝，每剪一层就在同一验证集上算一次 BIC；当从第 5 层减到第 4 层时 BIC 明显回升，团队据此把模型停在 5 层，推理速度提升 40%，精度几乎不变。把 BIC 当“复杂度过剩警报器”，比拍脑袋剪枝可靠得多。

Python 演示

python37 行
import numpy as np  def fit_polynomial(x, y, degree):    coeffs = np.polyfit(x, y, degree)    y_pred = np.polyval(coeffs, x)    rss = float(np.sum((y - y_pred) ** 2))    return coeffs, rss  def compute_aic_bic(n, rss, k):    base = n * np.log(rss / n)    aic = base + 2 * k    bic = base + k * np.log(n)    return aic, bic  np.random.seed(42)n = 60x = np.linspace(-3, 3, n)y = 0.5 * x ** 3 - 0.8 * x + np.random.normal(0, 1.2, n) results = []for degree in range(1, 8):    _, rss = fit_polynomial(x, y, degree)    k = degree + 1    aic, bic = compute_aic_bic(n, rss, k)    results.append((degree, k, rss, aic, bic)) print("degree  k        RSS       AIC       BIC")for degree, k, rss, aic, bic in results:    print("%5d  %3d  %10.2f  %10.2f  %10.2f" % (degree, k, rss, aic, bic)) best_aic = min(results, key=lambda r: r[3])best_bic = min(results, key=lambda r: r[4])print("AIC best degree:", best_aic[0])print("BIC best degree:", best_bic[0])
目的：用多项式回归生成一份“AIC/BIC 模型排名表”，演示同一份数据下 AIC 与 BIC 可能给出不同的最优阶数。
  1. coeffs = np.polyfit(x, y, degree)用最小二乘法拟合多项式，相当于把纸样拧到最合身位置。
  2. rss = float(np.sum((y - y_pred) ** 2))计算残差平方和，代表模型“合身账本”上的欠账。
  3. base = n * np.log(rss / n)正态误差下 -2lnL 的近似主体，把合身度换算到信息准则的标尺。
  4. aic = base + 2 * kAIC 给每个参数固定罚 2 分。
  5. bic = base + k * np.log(n)BIC 按样本量的对数给参数罚分，样本越多越严。
  6. np.random.seed(42)固定随机种子，保证每次运行得到同一批“客人数据”。
  7. y = 0.5 * x ** 3 - 0.8 * x + np.random.normal(0, 1.2, n)真实规律是三次函数，噪声模拟量体误差。
  8. k = degree + 1参数个数 = 多项式次数 + 1（含截距项）。
  9. best_aic = min(results, key=lambda r: r[3])在候选表中挑 AIC 最小的模型，BIC 同理。

常见误区

误区AIC 不就是把拟合效果换个单位再排序吗？我直接看训练集上误差最小、R² 最大的模型不就行了？

正解AIC 的第一项确实度量拟合，但第二项 2k 是复杂度罚金；AIC 选的是“扣完罚金后净值最高”的模型，而不是“毛利润”最高的模型。就像老赵不会因为一件样衣把眼前客人套得严丝合缝就选它，而要扣掉这一身旋钮的维护成本再算总账。

为何常见：人们习惯用训练集效果直接衡量模型好坏，忽略了复杂度带来的过拟合成本，因为训练集效果是“看得见的分数”。

误区BIC 更保守、不容易过拟合，那我任何时候都选 BIC 最优的模型不就好了？

正解BIC 偏保守也有代价：在小样本、以预测为主要目标的场景中，BIC 容易把真正有效的特征也“罚款”掉，导致模型欠拟合。AIC 在大样本预测中往往表现更好。正确做法是根据任务目标选择：预测优先看 AIC，解释与结构发现优先看 BIC；两者差异大时，反而要警惕数据质量或候选集不足。

为何常见：BIC 的“简单倾向”被过度神化为美德，而忽略了它在小样本下的欠拟合风险。

误区我计算了 A 数据集上模型甲的 AIC=-500，又算了 B 数据集上模型乙的 AIC=-600，乙是不是更好？

正解AIC/BIC 只用于同一数据集、同一误差假设下的相对比较。不同数据集的 -2lnL 量纲和省略常数不同，跨数据集比绝对值，就像拿 A 客人的合身分数去评价 B 客人的样衣，毫无意义。务必同数据、同计量口径。

为何常见：数值大小给人“可跨域比较”的错觉，且省略常数的实现让绝对值更不可比。

误区2k 和 k ln n 都是正数，每个模型的分数都被加了个正数，排序应该不变吧？

正解不同模型 k 不同，罚金随 k 变化，因此排序会变。尤其当候选模型复杂度差异大、样本量 n 大时，BIC 与 AIC 的排序可能明显不同——可视化演示里 AIC 最优 k=7、BIC 最优 k=3，就是一个真实可见的例子。

为何常见：只看公式结构相似，却忘了“罚分附着在参数个数上”这一关键差异。

误区我代码里一直用 n·log(RSS/n) 当 -2lnL，它就是精确的对数似然吧？

正解该式只在误差独立且服从正态分布时成立，且省略了与模型无关的常数项。若误差分布明显偏离正态（如计数数据的泊松、二分类的伯努利），应直接用真实的对数似然，否则 AIC/BIC 排序可能失真。

为何常见：教程和工具库普遍给出这个近似式，使用者默认“普适”，忽略了它背后的分布假设。

面试题

Q1. AIC 的计算公式是下列哪一项？

单选题 · easy

  • A.AIC = -2lnL + 2k← 正确答案
  • B.AIC = 2lnL - 2k
  • C.AIC = -2lnL + kln n
  • D.AIC = -lnL + 2k

答案：A。AIC 的定义式就是 -2lnL + 2k。B 项符号写反了，会让“拟合越好分数越大”；C 项把罚分换成 k ln n，那是 BIC；D 项用除法强行组合似然和参数个数，没有对应的统计含义。可以把它想成裁缝铺的账本：-2lnL 是合身扣分（越合身数值越小），2k 是旋钮数量的固定罚金，总分越小越划算。

Q2. 在 AIC 的定义中，k 代表什么？

单选题 · easy

  • A.训练样本的总数量
  • B.模型参数的总个数← 正确答案
  • C.迭代训练的总轮数
  • D.特征向量的总维度

答案：B。k 表示模型里参数的总个数，相当于纸样上可调节的旋钮数量。样本总量在公式里写成 n；训练轮数是优化层面的概念，不进信息准则公式；特征数量不等于参数数量——例如线性回归有 10 个特征时参数是 11（含截距）。所以选 B。

Q3. BIC 与 AIC 最大的差异在于？

单选题 · mid

  • A.BIC 罚分随样本量变化← 正确答案
  • B.AIC 使用不同损失函数
  • C.BIC 计算速度快很多
  • D.AIC 不需要似然数值

答案：A。BIC 把 AIC 的固定罚分 2k 换成了 k ln n，罚分随样本量 n 增大而增大，这是两者最核心的差异。B 错在两者都基于对数似然，不换损失函数；C 说计算速度，两者差异可忽略；D 说 AIC 不需要似然，恰恰相反，AIC 的第一项就是 -2lnL。

Q4. 当样本量 n 很大时，关于 AIC 与 BIC 的说法正确的有？

多选题 · mid

  • A.BIC 的罚分会变大← 正确答案
  • B.AIC 罚分不随 n 变← 正确答案
  • C.BIC 更倾向简单模型← 正确答案
  • D.两者结论必然一致

答案：ABC。大样本下 BIC 罚分 k ln n 会变大，A 对；AIC 罚分 2k 与 n 无关，B 对；罚分更重意味着 BIC 更倾向简单模型，C 对；但两者是不同目标下的准则，最优选择不必然一致，D 错。记住：老赵的固定收费（AIC）与老王的按人头收费（BIC），客户一多必然分道扬镳。

Q5. 使用 AIC/BIC 选择模型时，正确的目标是？

单选题 · mid

  • A.让训练误差降到最低
  • B.让预测精度翻倍提升
  • C.平衡拟合度与复杂度← 正确答案
  • D.让似然值恰好是零

答案：C。AIC/BIC 的共同目标是在拟合优度与复杂度之间取平衡，数值越小越好，对应 C。A 只盯着训练集误差，正是过拟合的源头；B 是业务目标而非准则本身的函数；D 说让似然为零没有意义——似然是概率密度，不应为零也不是优化目标。

Q6. 在相同数据下，当样本量 n 大于多少时，BIC 对每个参数的罚分开始超过 AIC？

单选题 · mid

  • A.当 n 大于 2 时
  • B.当 n 大于 7 时← 正确答案
  • C.当 n 大于 10 时
  • D.当 n 大于 20 时

答案：B。由不等式 k ln n > 2k 可得 ln n > 2，即 n > e² ≈ 7.39，所以样本量超过约 7 个时，BIC 对每个参数的罚分开始大于 AIC。这就像店里客户一多，老王对每个新旋钮的验证成本就超过了老赵的固定收费，自然更保守。

Q7. 关于 AIC 与 BIC 的异同，下列说法正确的有？

多选题 · hard

  • A.两者都含 -2lnL 项← 正确答案
  • B.BIC 罚项与样本量相关← 正确答案
  • C.AIC 更强调预测表现← 正确答案
  • D.BIC 完全不考虑似然

答案：ABC。A 正确，两者第一项都是 -2lnL；B 正确，BIC 罚分是 k ln n；C 正确，AIC 旨在渐近最小化预测误差；D 错误，BIC 完全依赖似然项。一句话：两位师傅量身材用的是同一把皮尺（似然），只是扣分规则不同。

Q8. 关于惩罚项与过拟合，下列说法正确的有？

多选题 · hard

  • A.参数越多训练似然越高← 正确答案
  • B.惩罚项可抑制过拟合← 正确答案
  • C.增参数必使 BIC 降低
  • D.AIC 是无惩罚的似然

答案：AB。参数越多，最大似然通常只升不降，A 对——更复杂的模型总能更好贴合训练数据；惩罚项正是为了压制这种“表面合身”的过拟合，B 对；C 错在增加参数会同时抬高罚分，BIC 可能变大；D 错在 AIC 也有 2k 罚分，并非无惩罚。

Q9. 正态误差假设下，AIC 的常用近似公式是？

单选题 · easy

  • A.n ln(RSS/n) + 2k← 正确答案
  • B.2n ln(RSS) + k
  • C.ln(RSS) - 2k/n
  • D.RSS/n + 2ln k

答案：A。在正态独立误差假设下，-2lnL 的近似主体是 n ln(RSS/n)（省略了与模型无关的常数），再加上 AIC 的罚分 2k 就是近似 AIC。B、C、D 的项与项之间没有对应的统计推导。这个近似式也是 Python 演示里用的公式。

Q10. 用 AIC/BIC 比较模型时，下列做法正确的是？

单选题 · mid

  • A.跨数据集比较绝对值
  • B.同数据上比较相对大小← 正确答案
  • C.只看训练集 R 平方
  • D.永远选罚分最大的

答案：B。AIC/BIC 是相对量，必须在同一数据集、同一误差假设下比较才有意义，选 B。A 跨数据集比绝对值没有意义；C 只看 R² 忽略了复杂度罚分；D 恰好选反了方向——要选总分最小而不是罚分最大的模型。