选模型就像逛衣橱买衣服。想象你站在货架前:A 款衣服做工精致、裁剪贴身(拟合好),但缀满蕾丝花边、穿脱费劲;B 款面料普通、版型宽松(拟合差些),但简洁耐穿;C 款介于两者之间,口袋够多又不会太花哨。你不想只看“贴身程度”就下单——因为一件衣服套得太紧,换个人穿就崩线了。这就是统计建模里每天都在发生的纠结:模型是“贴身”拟合数据,还是“简练”到能应对新数据? AIC(赤池信息准则)、BIC(贝叶斯信息准则)、HQIC(汉南-奎因信息准则)就是三把量衣尺。它们各执一个公式,分别从“拟合优度”和“模型复杂度”两个方向打分,分数越低表示这件“模型衣服”越值得买。AIC 偏好贴身剪裁,BIC 偏好极简风格,HQIC 站在中间。本文会用“选衣”这个比喻贯穿始终,配合可视化演示、公式逐字拆解和 Python 实战代码,帮你把这三把尺的刻度彻底看清。
对 AI 从业者而言,信息准则是自动定阶引擎的“评分函数”,也是模型比较时最常用的量化标尺。掌握 AIC/BIC/HQIC 的差异与适用场景,能让你在 ARIMA、回归、时序预测的模型选择中不再拍脑袋,而是有章可循。
目录
可视化演示
展示三种信息准则随模型阶数的变化曲线,对比拟合优度与复杂度惩罚的权衡,以及网格搜索最优阶数的过程。
本节配有交互动效(进入视口后自动加载,约 3KB)。
三准则曲线 AIC偏向选择更复杂模型 BIC大样本下选更简洁模型 HQIC介于两者之间折中
信息准则的直观理解
设想你在一家精品服装店挑外套。店员拿来三件样品:一件镶满亮片、贴身到每一寸都贴合你的身材;一件是基础款风衣,版型宽松但剪裁干净;还有一件是带可拆卸内胆的两用夹克。它们的共同点是有评分牌,而评分牌由两个维度构成:合身程度加分,繁琐程度减分。信息准则在统计学家手里扮演的正是那张评分牌——一个模型的“合身程度”用 对数似然值 衡量,值越大代表模型解释数据的能力越强;“繁琐程度”用 参数个数 k 衡量,参数越多,模型越复杂。
但“合身”和“繁琐”不在同一个数量级上,没法直接加减。于是三把尺各自发明了换算规则:AIC 认为每多一个参数,要在总分上扣 2 分;BIC 认为每多一个参数,要扣 ln(n) 分(n 是样本量);HQIC 认为要扣 2·ln(ln(n)) 分。三把尺子的一致逻辑是:评分越低,模型越值得选。这有点像相亲角里打综合分——颜值占一部分,性格占一部分,所有候选人都按同一张打分表排序,得分最高的就是最合适的。
把三把尺放在同一个公式框架里看,它们的血缘关系一目了然。所有信息准则都可以写成统一形式:
其中 \(-2\ln(\hat{L})\) 是拟合优度项(越小越好),\(c(n) \cdot k\) 是复杂度惩罚项(越大越劝退)。AIC 令 \(c(n)=2\),BIC 令 \(c(n)=\ln(n)\),HQIC 令 \(c(n)=2\ln(\ln(n))\)。所以三者的差别,仅仅在于“每个参数扣几分”这个换算汇率上。
回到买衣服的场景:货架上的每一件“模型外套”都有吊牌,吊牌上写着“合身分 + 繁琐扣分 = 总分”。店员告诉你,总分最低的那件就是性价比之王。你不需要懂布料工艺,只需要会看总分——这就是信息准则给数据科学家的核心直觉。
- 拟合优度项对数似然值的 −2 倍,衡量模型解释数据的能力
- 复杂度惩罚项参数数量 k 乘上某个与 n 有关的系数 \(c(n)\)
- 整体最小化在所有候选模型中,选使 IC(k) 最小的那一个
AIC:贴身剪裁的推崇者
赤池弘次在 1974 年设计 AIC 时,想法很朴素:一个好模型应该能“预测下一次试穿也合身”。他把“Kullback-Leibler 散度”(衡量候选模型与真实模型的信息损失)作为设计目标,经过推导得到一个近似公式:模型与真实分布的 KL 距离 ≈ \(-2\ln(\hat{L}) + 2k\)。这里的 \(2k\) 就是修正偏差的“缝纫余量”——因为你在同一批数据上既量体裁衣又试穿,必然有乐观偏差。
AIC 的公式如下:
这个公式的“汇率”是固定的:不管样本量多大,每个参数永远只扣 2 分。这意味着当样本量很大时,拟合项(随 n 增长)会压过惩罚项,AIC 会倾向于选择比较复杂的模型。
AIC 的优势场景是小样本。当数据量不大时,BIC 的 \(k\ln(n)\) 惩罚会重到把几乎所有参数都“一刀切”,而 AIC 能保留更多有效变量,给预测留出余地。但代价是:大样本下 AIC 可能“用力过猛”,选出一些对预测贡献微小的多余参数。在“买衣服”的比喻里,AIC 是那个永远劝你“再试试这件修身的”的导购——它相信只要贴身的衣服够多,总有一件能在聚会上惊艳全场,哪怕衣橱已经快塞不下了。
- 对数似然项\(\ln(\hat{L})\) 是模型在观测数据上的对数似然,反映拟合质量
- 固定惩罚项每多一个参数,AIC 固定扣 2 分,与样本量无关
- 最小化目标在候选集中选 AIC 值最小的模型
BIC:极简主义的坚定信徒
施瓦茨在 1978 年从贝叶斯视角推导出 BIC。他问的问题不是“哪个模型预测最好”,而是“哪个模型是真实模型的概率最大”。在贝叶斯框架下,候选模型的后验概率近似地正比于 \(\exp(-\text{BIC}/2)\),于是 BIC 最小的模型就是“最可能是真的”那个模型。因为带了贝叶斯先验的帽子,BIC 的惩罚项对样本量非常敏感:
当样本量 n 翻倍时,ln(n) 的增长虽然缓慢,但比“永不增长”的 AIC 罚项要强硬得多。当 n 很大时,BIC 的惩罚项会变得显著,压制复杂模型的得分,逼着模型回归简洁。
BIC 最大的优点是一致性:当真实模型确实在候选集中,且样本量足够大时,BIC 一定能把它挑出来。这好比一个极简主义者整理衣橱,他会把所有花里胡哨的款式扔掉,只留下最经典的那件白衬衫——因为他相信“真正的风格”就是那件衬衫。但 BIC 的软肋也很明显:在小样本场景(比如 n=30),它的惩罚过重,可能把有用的变量也一起扔了,导致欠拟合。所以 BIC 更适合解释性建模(比如找关键影响因素),而不是预测性建模。
- 拟合项不变与 AIC 相同,拟合项是 \(-2\ln(\hat{L})\)
- 样本量惩罚每个参数的扣分是 \(\ln(n)\),n 越大扣得越多
- 相合性当 n 趋近无穷时,BIC 能以概率 1 选中真实模型
HQIC:两头下注的折中派
汉南和奎因在 1979 年提出 HQIC,目标很直白:既要像 BIC 一样在大样本下有一致性,又不想在小样本下太吝啬。他们从“重对数律”(一个描述随机变量极限行为的数学定理)得到灵感,把惩罚系数设为 \(2\ln(\ln(n))\):
对比一下三个“汇率”:AIC 是常数 2;BIC 是 ln(n);HQIC 是 2·ln(ln(n))。对于任何 n>1,恒有 \(2 < 2\ln(\ln(n)) < \ln(n)\) 成立(n 足够大时)。所以 HQIC 的惩罚力度永远夹在 AIC 和 BIC 之间——它就像那个既想穿得时尚、又不想被妈妈唠叨“你穿太多了”的孩子,在两个极端之间反复试探。
HQIC 的实际表现如何?在中等样本量(几百到几千)下,它的曲线最低点通常比 BIC 更靠右、比 AIC 更靠左,选出的模型复杂度适中。在时序定阶(比如 ARMA 模型)的研究中,HQIC 被认为是“稳健”的准则——它不会因为偶然的样本波动而剧烈改变选择。代价是它在大样本下的一致性收敛速度比 BIC 慢一些,理论优雅程度略逊一筹。用买衣服的话说,HQIC 是“通勤百搭款”:不会惊艳全场,但任何场合都不出错。
- 拟合项仍不变继续沿用 \(-2\ln(\hat{L})\)
- 对数再对数惩罚系数是 \(2\ln(\ln(n))\),增长极慢但不会停
- 与大样本的关系当 n 趋于无穷时,惩罚项也趋于无穷,从而保持一致性
大样本下的行为分野
随着样本量 n 越来越大,三把尺的性格差异会暴露得越来越明显。先看拟合项:样本越多,\(-2\ln(\hat{L})\) 的绝对值越大,它和惩罚项之间的“角力”格局也随之改变。AIC 的惩罚项是常数,当 n 变大时拟合项的主导地位越来越强,导致 AIC 总是倾向于选更复杂的模型。在极限情况下,即使模型中包含一些无关紧要的参数,AIC 也不会果断淘汰它们——它更在乎的是“预测杀敌”,不是“找真身”。
BIC 和 HQIC 则不同。它们的惩罚项都随 n 发散到无穷大,所以当 n 足够大时,任何多余的参数都会付出惨重代价,最终把模型逼回真实结构。这就是统计学里的相合性:样本越多,选到真实模型的概率越趋近于 1。HQIC 的惩罚增速比 BIC 慢,但同样是“发散”的,因此也具备相合性,只是收敛速度略慢。
三者在实际任务中的分工因此变得清晰:
在买衣服的比喻里,大样本行为可以这样理解:当你的衣橱空间(样本信息)无限大时,AIC 仍然允许你买十件风格相似的外套(过拟合风险),BIC 则只允许留一件最经典的,HQIC 会允许留两三件备用的。如果你是做预测——比如明天会不会下雨、股价怎么走——AIC 这种“贪心”反而有用;如果你是做归因——比如找出真正影响销量的三个因素——BIC 的“洁癖”就是优点。
- AIC 的极限行为惩罚项固定,模型选择概率不完全收敛到真模型
- BIC 的极限行为惩罚项发散,促使选择概率收敛到 1
- HQIC 的极限行为同样发散,一致性成立但收敛速度更慢
网格搜索:让三把尺自动量衣
在实际工程中,你不会手动比较十个模型的 AIC 分数——你会写一个循环把候选参数组合全部试一遍,让准则自动选出最优。这个过程叫网格搜索(Grid Search)。以 ARIMA 定阶为例,你需要指定 p(自回归阶数)、d(差分阶数)、q(移动平均阶数),然后枚举所有候选组合 \((p,d,q)\),对每个组合拟合模型并计算信息准则值,最后选出准则值最小的组合。
网格搜索的算法可以用一个简洁的流程概括:
其中 \(\mathcal{G}\) 是你预先划定的搜索网格(比如 p∈{0,1,2,3}、d∈{0,1}、q∈{0,1,2,3})。这个表达式看起来简单,但工程上要注意:每拟合一个 ARIMA 模型都需要迭代优化,一个中等规模的网格可能要拟合几十个模型,耗时不容小觑。实际中常用信息准则的增量计算或剪枝策略来加速。
网格搜索是“让三把尺子自动量衣”的自动化流水线——你不需要亲自一件件试穿,机器会替你把每个组合的评分算好、排序、给出冠军。在 Python 的 statsmodels 库中,一行 ARIMA(order=(p,d,q)).fit() 就能拿到拟合结果,用 .aic、.bic、.hqic 三个属性直接读取分数。这也是大多数自动定阶库(如 pmdarima)的内部工作原理。
- 候选网格定义所有考虑的参数组合
- 拟合与评分对每个组合拟合模型并计算 AIC/BIC/HQIC
- 返回最优取使准则最小的组合
实践中的注意事项
信息准则用起来顺手,但有几个“坑”必须刻在脑子里。第一个是同数据集原则:AIC 的计算公式包含样本量 n 和对数似然值,跨数据集比较等于用不同货币比价——汇率都不一致,比出来毫无意义。你必须用同一份数据、同样的因变量去拟合所有候选模型,分数才有可比性。第二个是因变量一致:如果你在比较模型时变换了因变量(比如把销量 y 换成 log(y)),对数似然值的尺度就变了,AIC 的数值会天差地别。此时三个准则的排名可能被完全扭曲。第三个是残差白噪声假设:如果模型残差不是白噪声(即还有自相关),说明模型根本没能抓住数据中的结构,这时无论 AIC 分数多低,模型都是不合格的——就像衣服再怎么好看,如果扣子位置不对,根本穿不出去。
实践时建议遵循以下检查单:
- 比较模型前,确认所有模型在同一训练集上拟合,且因变量完全相同;
- 查看残差自相关图(ACF)和 Ljung-Box 检验,确认残差无显著自相关;
- 若被比较模型的参数个数悬殊,先看 BIC 的排序,再结合 AIC 交叉验证,避免被单个准则误导。
用买衣服的比喻来说:同数据集是“同一家店的灯光、同一面镜子”,因变量一致是“都量的是胸围而不是臀围”,残差白噪声是“衣服没有破洞、线头都收干净了”——这些前提不满足,评分牌再低也只是自欺欺人。
如何选择三把尺
现在把三把尺放到货架上横向对比。如果你面对的是一个预测任务,样本量比较小(n<100),AIC 通常是首选——它的惩罚最轻,能保留更多有效信息。如果你在做因果推断或变量筛选,样本量够大(n>500),BIC 表现更好——它的强惩罚能帮你淘汰噪声变量,找到精简而稳健的解释模型。如果你的样本量不上不下(100~500),HQIC 往往是个靠谱的折中,它既不像 AIC 那样容易过拟合,也不像 BIC 那样容易欠拟合。
实际操作里,更稳妥的做法是让三把尺同时投票:
在买衣服这件事上,最终做出决定的不应只是吊牌分数。你还需要看看面料成分(残差分析)、试穿走几步(样本外验证)、问问朋友意见(业务经验)。三把尺子给了你一个客观的起点,但最终的模型选择永远是“数据 + 业务 + 经验”共同作用的结果。
- 共识情况三准则选出的最优模型完全一致,直接采用
- 分歧情况AIC 偏向复杂模型而 BIC 偏向简单模型,取 HQIC 作为仲裁,并检查残差
- 兜底方案用滚动预测的误差(如 RMSE)做最终判断
AI 应用场景
自动定阶引擎
阶段:模型选择与超参数优化
解决的问题:传统时序建模中,手工尝试不同 (p,d,q) 组合既费时又容易漏掉更优组合。AI 自动定阶引擎将网格搜索与信息准则结合,在大规模候选组合中自动挑出最优阶数,省去人工试错。
具体案例:某电商平台要对 1000 个 SKU 的日销量做预测。算法工程师写了一个循环:每个 SKU 枚举 (p,d,q) 共 120 种组合,拟合 ARIMA 后用 AIC 做初筛,再用 BIC 复检,挑出两个准则都靠前的模型。整个流程离线跑完约 20 分钟,比人工逐个试参效率提升一个数量级。
回归特征筛选
阶段:特征工程与模型解释
解决的问题:在回归模型中,特征数量可能高达几十个,直接用 Lasso 需要调正则化强度。用 BIC 做逐步回归的评分函数,可以自动在“拟合优度”和“特征数量”之间找到平衡点。
具体案例:银行风控团队建立信用卡违约预测模型,先用 40 个候选特征做逐步回归,每步用 BIC 判断是否保留特征。最终 BIC 选出了 9 个特征,相比 AIC 选出的 15 个特征,模型在测试集上 AUC 几乎持平(0.86 vs 0.87),但部署时所需的特征采集成本降低了 40%。
多模型自动比较
阶段:模型评估与选型
解决的问题:在 AutoML 平台中,要同时比较线性回归、随机森林、XGBoost 等多个模型。不同模型族的参数数量差异大,直接用交叉验证耗时,先用信息准则做粗略初筛可以缩小候选范围。
具体案例:某 AutoML 平台在每轮迭代中对线性模型族(ARIMA、OLS)计算 AIC/BIC/HQIC,将准则值最小的 3 个模型送入交叉验证环节,其余模型直接淘汰。相比全部模型跑交叉验证,计算量削减了 60%,而最终选出的最佳模型与全量验证结果重合率达 85%。
Python 演示
import warningsimport numpy as npimport pandas as pdfrom statsmodels.tsa.arima.model import ARIMAfrom statsmodels.tsa.stattools import acfwarnings.filterwarnings("ignore") # 生成一份带有趋势和季节性的模拟时序数据np.random.seed(42)n = 300t = np.arange(n)y = 0.05 * t + 5 * np.sin(2 * np.pi * t / 30) + np.random.normal(0, 1, n)df = pd.DataFrame({"y": y}) # 对 y 做一阶差分,以消除趋势影响y_diff = df["y"].diff().dropna() # 检查差分后序列的 ACF,粗略确认是否平稳lag1_acf = acf(y_diff, nlags=1)[1]print(f"一阶差分后 lag1 ACF = {lag1_acf:.3f}") # 定义搜索网格p_range = range(0, 4)d_fixed = 1q_range = range(0, 4) best_aic = np.infbest_bic = np.infbest_hqic = np.infbest_order_aic = Nonebest_order_bic = Nonebest_order_hqic = None # 网格搜索:对每个 (p,q) 组合拟合 ARIMA,记录三种准则的最优解for p in p_range: for q in q_range: try: model = ARIMA(df["y"], order=(p, d_fixed, q)) fitted = model.fit() aic = fitted.aic bic = fitted.bic hqic = fitted.hqic if aic < best_aic: best_aic = aic best_order_aic = (p, d_fixed, q) if bic < best_bic: best_bic = bic best_order_bic = (p, d_fixed, q) if hqic < best_hqic: best_hqic = hqic best_order_hqic = (p, d_fixed, q) except Exception: continue print(f"AIC 最优: order={best_order_aic}, AIC={best_aic:.3f}")print(f"BIC 最优: order={best_order_bic}, BIC={best_bic:.3f}")print(f"HQIC 最优: order={best_order_hqic}, HQIC={best_hqic:.3f}")
y_diff = df["y"].diff().dropna()对原始序列做一阶差分,去掉趋势,让数据平稳。acf(y_diff, nlags=1)[1]计算差分序列的一阶自相关系数,快粗略确认没有强烈自相关残留。model.fit()拟合 ARIMA 模型,statsmodels 会返回带有 aic/bic/hqic 属性的结果对象。fitted.aic直接读取该模型的 AIC 分数,数值越小越好。if aic < best_aic用“擂台赛”方式不断更新最优解,三重循环结束后就能找到冠军。
常见误区
误区我以为选 AIC 最小的模型,就等于找到了“真实模型”,就像考试分数越高代表这个人越聪明一样。
正解AIC 并不追求“找到真实模型”。它只关心“预测新数据时哪个模型的期望损失最小”。AIC 的数学目标是 KL 散度最小化,而不是模型正确性。就像买衣服时评分最高的是综合分,不代表这件衣服是永不过时的经典。若任务是找真实关系,用 BIC 更合适。
为何常见:因为“分数越低越好”容易和“分数等于真相”划等号。人们习惯把量化指标当成真理,忘了每个指标的设计目标不同。
误区我听说 BIC 有一致性,那它应该在所有场景下都比 AIC 厉害,以后选模型只用 BIC 就行。
正解一致性的成立需要有重要前提:真实模型必须在候选集中,且样本量足够大。当候选模型都不完美时,BIC 的强惩罚反而会选出过简模型,预测误差可能比 AIC 选出的模型更大。换句话说,BIC 擅长“找对答案”,但 AIC 更擅长“猜对新题”。两者用途不同,没有绝对优劣。
为何常见:“有一致性”被过度简化传播,学习者们忽略了它的前提条件,把“大样本下的理论性质”误当成“所有场景下的通用优势”。
误区既然 AIC 是一个标准化的分数,那我在数据集 A 上训练模型得到 AIC=100,在数据集 B 上训练得到 AIC=80,是不是后者模型更好?
正解完全错误。AIC 的绝对数值依赖于样本量和对数似然的尺度,跨数据集比较等于拿人民币和美元直接比数字大小。正确的比较方式是:同一份数据、同样的因变量、同一个训练集/测试集划分下,对多个候选模型计算 AIC 并互相比较。若想跨数据集对比,应该使用标准化指标如 RMSE 或 MAPE。
为何常见:人们习惯把“分数”理解为绝对标准(像考试 60 分及格),但信息准则是一个相对指标,只在乎组内排序,不在乎绝对大小。
误区我猜 HQIC 就是取 AIC 和 BIC 的算术平均,比如 (AIC+BIC)/2,这样两边都兼顾。
正解不对。HQIC 是独立的惩罚项设计,它的惩罚系数 \(2\ln(\ln(n))\) 既不等于 AIC 的 2,也不等于 BIC 的 ln(n),而是第三条独立的路径。它可以被理解为“介于两者之间”,但它不是 AIC 和 BIC 组合出来的衍生品,而是从重对数律出发推导出的独立准则。
为何常见:学习者看到 HQIC 的惩罚项数值上“居中”,就直觉地以为是平均的结果。实际上三个公式都来自不同的理论源头,只是数值巧合造成了“中间派”的观感。
误区我只要找到 AIC 最低的模型,就可以放心上线预测了,毕竟分数已经告诉我是最优的了。
正解AIC/BIC/HQIC 都是“相对比较工具”,它们的前提是模型本身没有系统性缺陷。如果残差仍然存在显著自相关(比如 Ljung-Box 检验 p 值 < 0.05),说明模型没能充分提取数据中的信息,此时的 AIC 分数再低也没有意义。就像一件衣服评分再高,如果拉链是坏的,穿上照样出丑。
为何常见:机器学习流程中人们习惯依赖自动评估指标做决策,却忽略了统计建模中“模型假设必须先验证”这一步骤的不可替代性。
面试题
Q1. AIC 中的惩罚项是以下哪个?
- A.k·ln(n)
- B.2k← 正确答案
- C.2k·ln(ln(n))
- D.0.5k·n
答案:B。AIC 的惩罚项是固定汇率 2k。B 是正确答案。A 是 BIC 的惩罚项,C 是 HQIC 的惩罚项,D 不属于任何常见信息准则。就像三件衣服有三张不同的标签,AIC 的标签上写的是“每多一个参数扣 2 分”。
Q2. 在样本量 n 非常大的情况下,哪个准则最有可能选出“真实模型”?
- A.AIC
- B.BIC← 正确答案
- C.均方误差
- D.R²
答案:B。BIC 具有相合性,当真实模型在候选集中且 n 足够大时,BIC 能以概率 1 选到它。A 的惩罚项不随 n 增长,缺少这种“纠偏能力”。C 和 D 不是信息准则。就像样本量越大,BIC 越像一个执着的极简主义者,非把最经典的那件找出来不可。
Q3. 以下哪种情况下最适合使用 AIC?
- A.样本量极大且目标是找真实模型
- B.样本量较小或中等的预测任务← 正确答案
- C.需要筛选出极少数关键变量
- D.需要在不同数据集上比较模型
答案:B。AIC 的惩罚项固定为 2k,在小样本下不容易过度压制参数,适合预测导向的任务。A 和 C 更适合用 BIC(惩罚更重),D 违反了信息准则“同数据集比较”的规则。就像小衣橱里试穿,AIC 愿意多留几件备选。
Q4. 关于 BIC 的一致性,以下说法正确的是?
- A.任何情况下 BIC 都能选到真实模型
- B.当真实模型在候选集中时,BIC 大样本下收敛到真实模型← 正确答案
- C.BIC 的惩罚项随样本量增大而增大← 正确答案
- D.BIC 在小样本下一定优于 AIC
答案:BC。BIC 的一致性要求真实模型在候选集中,故 B 对 A 错。BIC 的惩罚项是 k·ln(n),确实随 n 增大,C 对。小样本下 BIC 惩罚过重可能欠拟合,D 错。一致性是有前提的“极限性质”,就像极简主义只在衣橱够大时才好使。
Q5. HQIC 惩罚项 \(2k\ln(\ln(n))\) 与 AIC 和 BIC 惩罚项的大小关系是?
- A.恒小于 AIC 的惩罚项
- B.恒大于 BIC 的惩罚项
- C.通常介于 AIC 和 BIC 之间← 正确答案
- D.与 AIC、BIC 完全相等
答案:C。当 n>1 且足够大时,有 2 < 2ln(ln(n)) < ln(n),所以 HQIC 的惩罚力度介于 AIC 和 BIC 之间。A、B 忽略了数值边界条件,D 显然错误。HQIC 是折中派,但它是独立的第三条路。
Q6. 网格搜索 ARIMA 定阶时,以下哪些做法是正确的?
- A.在同一个训练集上拟合所有候选模型← 正确答案
- B.对每个候选模型使用不同的差分阶数 d
- C.计算并比较每个模型的 AIC/BIC/HQIC 值← 正确答案
- D.直接比较不同数据集上模型的 AIC 值
答案:AC。A 正确,同数据集是信息准则可比性的前提。B 错误,d 不同意味着因变量的处理方式不同,准则不再可比。C 正确,网格搜索的本质就是比较准则值。D 错误,跨数据集比较 AIC 无意义。就像不同灯光下不能比衣服颜色,必须同一环境试穿。
Q7. 有一组 n=200 的样本,AIC 选出 8 个参数的模型,BIC 选出 4 个参数的模型,HQIC 选出 5 个参数的模型。最合理的下一步是?
- A.直接采用 AIC 的 8 参数模型
- B.直接采用 BIC 的 4 参数模型
- C.先做残差白噪声检验,再用滚动验证比较← 正确答案
- D.扔硬币决定
答案:C。三准则结果分歧时,正确流程是先检查残差是否满足白噪声假设,再做样本外验证。A 和 B 都过于武断。D 显然荒谬。就像多把尺子量出不同结果时,应该再“试穿走几步”而不是随便选一把。
Q8. 信息准则中,“对数似然值”这一项代表模型的哪个方面?
- A.模型的复杂度
- B.模型与训练数据的拟合程度← 正确答案
- C.模型的预测误差
- D.模型的训练速度
答案:B。对数似然值 \(\ln(\hat{L})\) 衡量的是模型解释训练数据的能力,值越大拟合越好。拟合项被取负号后变成 \(-2\ln(\hat{L})\),所以准则值越小越好。A 是参数个数项代表的含义,C 和 D 与信息准则无直接关系。
Q9. 以下关于三个信息准则的叙述,正确的有哪些?
- A.AIC 适合小样本预测场景← 正确答案
- B.BIC 在大样本下具有相合性← 正确答案
- C.HQIC 的惩罚项增长速度比 BIC 更快
- D.三个准则可以跨数据集比较大小
答案:AB。A 对,AIC 惩罚轻适合小样本预测。B 对,BIC 大样本一致。C 错,HQIC 的惩罚 \(2\ln(\ln(n))\) 增长比 \(\ln(n)\) 慢。D 错,信息准则只能在同数据集内比较。三把尺各有刻度,但必须在同一面镜子里比衣服。
Q10. 关于 HQIC 的定位,以下描述最准确的是?
- A.它是 AIC 和 BIC 的加权平均
- B.它比 AIC 惩罚弱、比 BIC 惩罚强← 正确答案
- C.它不是一致性准则
- D.它只能在时序模型中使用
答案:B。HQIC 的惩罚系数 \(2\ln(\ln(n))\) 介于 AIC 的 2 和 BIC 的 ln(n) 之间,因此 B 对。HQIC 是独立推导的准则而非加权平均,A 错。HQIC 同样具备一致性,C 错。信息准则适用于各类统计模型,D 错。HQIC 就是那个“通勤百搭款”——哪里都能用,但不出彩。