想象一座刚建成的化工厂:新引进的“量子计算涡轮增压器”把原本需要数周的高精度化学反应计算压缩到几小时,全厂上下欢呼。可问题是——快不等于准。如果这台机器把某个化学键的能量估偏了一个数量级,下游所有基于它的结论都会跟着歪掉。这时候,“精度评估”登场了:它就像工厂里的质检部,用一套标准量具定期抽检这条新生产线,量尺寸、测强度、查寿命,追溯故障源头,最后在每批产品上贴一张可信度标签。本文要讲的,就是DFT(密度泛函理论,量子化学的主力计算器)被AI加速后,如何建立这样一条完整的质检链条:从基准测试集到三级评估体系,从误差来源分析到下游误差传播,再到可信度评估框架与最终的方法选型。
对AI从业者而言,精度评估是把“模型跑通了”升级为“预测结果可信”的关键一步——它是AI for Science项目能否被化学家、物理学家真正采纳的分水岭。
目录
可视化演示
展示预测值与真实值散点对比、偏差-方差-噪声误差分解、以及可信度评估决策框架,揭示DFT加速方法精度评估的多维度量化体系。
本节配有交互动效(进入视口后自动加载,约 3KB)。
预测散点与误差指标 散点分布:预测值与真实值的偏差可视化,越接近对角线精度越高 MAE指标:平均绝对误差衡量整体偏差幅度,对离群值稳健 RMSE指标:均方根误差对大误差敏感,揭示极端偏差 MAE = Σ|yi - ŷi| / N, RMSE = √(Σ(yi-ŷi)² / N) 多维度误差指标全面评估预测精度
精度评估的意义:质检部不能省
有一家制药厂为了赶订单,悄悄砍掉了质检环节,让“涡轮增压车间”直接出货。三个月后,整批药物中间体的纯度不达标,全部退货,损失是省下质检成本的一百倍。AI加速DFT面临的正是同样的诱惑:DFT是量子化学领域的主力“电子分布计算器”,能在原子尺度预测分子能量与受力;而AI代理模型(常叫机器学习力场或神经势函数)用神经网络去拟合DFT的结果,把推理速度快了上百上千倍。但加速的本质是“用近似换速度”,近似就一定伴随偏差——如果不设质检部,这些偏差就会悄无声息地混进每一份计算结果里。
精度评估正是这座质检部。它要做三件事:第一,用基准测试集这套“标准量具”检验预测值离真实值有多远;第二,建立多层级指标体系,分别量能量、量力、量目标性质;第三,把误差的来源和传播路径查清楚,给每个预测结果附上可信度标签。整套流程不是模型训练完之后的一次性考试,而是贯穿“训练—部署—复评”的闭环:每加入一批新化学体系,都要重新过一遍质检。
对科研工作者而言,没有精度评估的AI加速只是“看起来很美的玩具”。你能想象一篇论文声称“我们找到了新催化剂”,但支撑它的能量预测其实偏了0.3 eV 吗?下游实验人员照着这个结论去烧炉子,很可能一无所获。精度评估给所有基于AI预测的科学结论装上刹车片——它提醒我们:快不是唯一标准,准才是科学底线。
基准测试集:质检的标准量具
质检员再厉害,也得有一把经过国家计量院认证的标准卡尺,否则量出来的数谁都不敢信。在DFT加速的精度评估中,这把“标准卡尺”就是基准测试集。它由一批化学体系的标准样例组成,每个样例都附带高精度标签——这些标签通常来自比DFT更贵的量子化学方法(如CCSD(T))或高精度实验数据,相当于给每个分子发了一张“标准答案卡”。
构建基准测试集有三条铁律。第一,多样性:要覆盖不同元素组成(有机小分子、金属配合物、水团簇等)、不同构象和不同化学环境,就像质检要抽查不同的产品批次,不能只测一种规格的螺丝。第二,代表性:测试集必须与实际的部署场景对齐——如果你的AI模型将来要用在催化表面反应上,基准集里就得有大量表面吸附结构的样例,而不是只有气相分子。第三,隔离性:训练集、验证集、测试集必须严格分开,绝不能让模型在“考试前”偷看到“考卷”,否则测出来的精度就是自欺欺人。
业界常用的MD17、SPICE等基准集,就是经过精心设计的“标准样品库”。但要注意,基准集不是万能的——它划定了评估的有效范围。模型在有机分子基准集上测出高精度,不等于它在含金属体系上同样可靠。就像一把只标了毫米刻度的卡尺,测不了微米级的精密零件。基准集的合理使用方式是:先明确“我要服务的化学空间是什么”,再挑选或构建覆盖该空间的测试样例,并把“适用域”写在评估报告的显眼位置。
三级评估体系:三把尺子量三个维度
一把游标卡尺再精准,也测不出材料的拉伸强度。质检部要配三套检测设备:量尺寸的、测强度的、验寿命的。DFT加速的精度评估同样要分三个层级:能量级、力级、性质级。最常用的是能量级指标——看AI预测的总能量与参考值差多少,用平均绝对误差(MAE)来度量:
力级评估看的是原子受力——每个原子受到的作用力是否预测准确,用均方根误差(RMSE)来度量,它对离群的大误差更“较真”:
性质级评估则站在最终用户视角:反应势垒、能带隙、吸附能等目标物理量预测得准不准。一个模型可能在能量MAE上很好看,但预测的反应势垒系统性偏低0.2 eV,这足以改变反应机理的判断。三级指标互为补充:能量准不代表力准,力准不代表性质准。只有三把尺子同时达标,质检部才敢在报告上盖章“通过”。
- 平方与加深惩罚$(F_i^{AI} - F_i^{ref})^2$ 先求力误差再平方,让0.2 eV/Å的大误差变成0.04,而0.05的小误差只变成0.0025——大误差被显著放大。
- 平均与开方还原单位$\sqrt{\frac{1}{N}\sum_{i=1}^{N}}$ 先对平方误差取平均,再开方,把单位还原成力的单位(eV/Å),与MAE可直接对比。
- 与MAE的分工RMSE对离群误差更敏感,MAE更稳健;两者差距大,说明存在少量“坏得离谱”的预测点。
误差来源分析:追查是配方还是工艺
质检发现一批轴承不合格,工程师不会急着调机器——他会先问:是钢材配方变了,还是热处理工艺漂了?DFT加速模型的误差同样需要追根溯源,大致可以分成四类。第一类是数据偏差:训练用的参考标签本身来自DFT近似,而DFT泛函(对电子相互作用近似处理的方案)自身就有系统误差;如果参考数据还覆盖不全,模型在没见过的化学环境里就只能“闭眼瞎猜”。第二类是表示能力不足:模型用来描述原子环境的特征——就像工人的手工技艺——不够精细,区分不开两种看似相似实则不同的构型。
第三类是模型容量限制:神经网络太“薄”,拟合不了复杂的高维势能面,就像小作坊做不了精密齿轮。第四类是训练收敛问题:优化不充分、随机种子影响、学习率设置不当,都会让模型停在次优解上,误差明明还能降却早早收了工。实际排查时,可以像工厂做工艺追溯一样逐层剥离:在多个基准集上对比表现,判断是数据问题还是模型问题;用相同数据重复训练多次看方差,判断是随机性还是系统性问题。
理解误差来源最大的价值,是避免在错误的环节白费力气。如果数据显示模型在含卤素体系上误差显著偏大,问题多半是训练数据太少,而不是神经网络结构不够深;如果所有体系误差都整體偏高,那就要回头检查参考DFT泛函的选择。质检的意义不在于找出一个“罪魁祸首”然后开除它,而在于建立一张误差地图——哪里可以放心用、哪里必须小心、哪里需要补数据,一目了然。
误差传播分析:次品零件放大了故障
质检部最该警惕的,不是单个零件的误差,而是误差如何在整台机器里“发酵”。一个公差超标的弹簧装进刹车总成,单独看不值一提,但踩下刹车的瞬间,制动力可能偏了30%。DFT加速的预测误差在科学计算中同样会沿链条放大。最典型的场景是分子动力学模拟:AI模型预测的原子力每步都有微小误差,但轨迹要积分成千上万步,单步误差像脚步声一样不断累积,最终轨迹整体偏移,统计出来的扩散系数、自由能全部失真。
更“凶猛”的是能量误差通过指数函数被放大。化学中反应速率与能量势垒的关系由玻尔兹曼因子决定,势垒每变化一点,速率就按指数级别变化:
举个例子:在300 K温度下,kT约等于0.026 eV,如果AI模型把反应势垒估偏0.1 eV,那么玻尔兹曼因子e^{-ΔE/kT}就会产生约47倍的速率偏差。也就是说,一个看似微不足道的能量误差,足以让“这个反应快还是慢”的结论彻底反转。这也是为什么精度评估报告必须附带误差传播分析:不能只看单点预测准不准,更要追问“这个误差到用户手里会变成多大的偏差”。质检部的工作不是止步于挑出次品,而是评估次品装进整机后的后果。
- 偏导数敏感度$\frac{\partial y}{\partial x_i}$ 表示下游性质y对某个输入量(比如能量差)变化的敏感程度——就像方向盘转动1度,车身转过多少度取决于转向比。
- 误差加权$\left( \frac{\partial y}{\partial x_i} \right)^2 \sigma_{x_i}^2$ 把输入误差σ按敏感度平方加权,敏感度越大的输入,对最终误差的贡献越大。
- 平方和与开方$\sqrt{\sum_{i}}$ 把各条路径的贡献相加再开方,近似得到下游量的总不确定度——与RMSE的结构同理,对噪声按平方叠加。
可信度评估框架:给合格证加置信区间
传统质检报告只写“合格”或“不合格”两个大字,但真正的工程师希望看到:“这批产品的尺寸误差在±0.02 mm内,前提是温度不超过200℃。”DFT加速的精度评估也需要这种带附加条件的可信度报告,它由三个组件构成。第一是不确定性量化:用多个模型集成(比如不同随机种子训练出的模型组)预测,看结果的离散程度,标准差越大说明模型越“心里没底”;还可以用距离感知的置信度——新样本距离训练数据的化学空间越远,给出的置信度就越低。
第二是校准曲线检验:模型声称“95%置信区间”,实际上必须真的覆盖约95%的参考值。如果声称95%实际只覆盖60%,说明这个模型过度自信,校准就失败了。第三是适用域声明:报告必须写明“本模型适用于哪些化学元素、哪些键型、哪些温度范围”,就像药物说明书上写着“本品适用于成人,儿童慎用”。
把这三件套整合起来,就得到一份三层报告:第一层是点估计(预测值本身),第二层是带误差带的区间估计(预测值±不确定度),第三层是适用域与条件声明。有了这份报告,下游的化学家才能科学地决定:这个AI预测结果可以直接信,还是只能当作初筛线索,或者干脆不能用。质检部的终极目标不是让所有产品都合格,而是让每个用户都清楚手中的产品在什么条件下可信、在什么条件下不可信。
方法选择依据:按订单选产线
工厂的智慧不在于把每台机器都调到最高精度,而在于按订单需求分配产线:急件走快速线,精密件走慢速线,没有一条万能生产线。DFT加速的方法选型同样遵循这个逻辑。假设你正在做药物分子的虚拟筛选,要在100万个候选分子里挑出100个进行后续验证——这个场景需要的是高通量,单点精度要求适中,可以选用轻量的AI模型搭配宽松的达标阈值;但如果你要研究某条催化反应的具体机理,每一个中间体的能量都关乎最终结论,这时就必须选用高精度模型,甚至AI粗筛、DFT精算的级联策略。
方法选择的量化依据,正是前面几条质检链路的产出:先明确目标性质(是能量、力,还是某个特定物理量),选对应的基准测试集做三级评估,再用误差传播公式估算下游影响的严重程度。如果精度不达标,有两条修复路径:一是扩充训练数据覆盖更大化学空间,二是升级模型表示或结构,三是采用级联方案(AI负责快速初筛,DFT对关键候选做精算复核)。没有一条路是免费的,所以还要做精度-成本权衡:每提升0.01 eV的精度,需要多花多少训练时间、多少推理算力,这笔账要摆到台面上算。
最后,质检部还要建立定期复评机制。化学空间是无限的,模型今天没见过的体系可能明天就出现在实验台前。每当模型部署到新的分子家族,都要重新回到基准测试流程走一遍,一旦发现误差超过阈值,就触发新一轮迭代。DFT加速这台“涡轮增压器”只有配上常设的质检部,才能在科学的流水线上长期稳定运转——快而准,才是真正的生产力。
AI 应用场景
药物分子虚拟筛选
阶段:模型部署后的批量推理与结果筛选
解决的问题:传统虚拟筛选需要对海量候选分子逐一做高精度DFT计算,单个分子就要数小时;改用AI加速后速度提升几个数量级,但如果预测结合能误差过大,会把大量无效分子误判为“高潜力”候选,浪费后续实验验证资源。精度评估为筛选设定了量化门槛(如结合能MAE < 1.2 kcal/mol),保证进入实验环节的都是真正值得测的分子。
具体案例:某药企用AI代理模型对200万个小分子做靶点结合能预测,通过三级评估体系中的能量级MAE与性质级ΔΔE指标对比高精度DFT参考值,筛除了一批预测误差超过阈值的分子,最终选定50个候选进入实验验证,实验命中率从原来的12%提升到31%。
催化反应路径搜索
阶段:分子动力学轨迹生成与过渡态搜索
解决的问题:反应路径搜索依赖原子受力进行几何优化和鞍点寻找,AI预测力的RMSE必须足够低,否则优化轨迹会漂移到错误的构型。精度评估框架在这里不仅看平均误差,还特别关注力的最大误差和误差的空间分布,确保关键反应坐标上的受力可靠。
具体案例:一个催化表面反应研究团队用神经势函数加速NEB(爬坡弹性带)计算,部署前用含表面吸附构型的基准测试集做力级RMSE评估,发现某类金属-吸附物相互作用区间误差超限,针对性地补充训练数据后,过渡态能量误差降至0.05 eV以内,最终成功复现实验观测的产物选择性。
电池材料带隙筛选
阶段:材料性质预测与后验可信度标注
解决的问题:高通量筛选电池正极材料需要快速估算带隙等电子结构性质,但不同候选体系的外推风险差异很大。采用距离感知的置信度评估后,系统对远离训练域的候选自动标注“低置信度”标签,提示用户用更高精度方法复核,避免材料的错误排序。
具体案例:材料信息学团队在3万种掺杂氧化物中筛选高带隙候选,模型对其中2.7万个样本给出高置信度预测,置信区间覆盖率达到94%;对剩余3千个低置信度样本改用DFT复核,最终推荐的12种材料中有9种被后续实验证实带隙符合预期。
Python 演示
import numpy as np def make_demo_data(seed=42): """构造演示用的参考值与AI预测值.""" rng = np.random.default_rng(seed) n_mol = 60 ref_e = rng.uniform(-2.5, 0.5, n_mol) ai_e = ref_e + rng.normal(0, 0.045, n_mol) ref_f = rng.normal(0, 3.0, size=(n_mol, 8, 3)) ai_f = ref_f + rng.normal(0, 0.18, size=ref_f.shape) species_list = rng.choice(["有机小分子", "金属配合物", "水团簇"], n_mol) return ref_e, ai_e, ref_f, ai_f, species_list def mae(a, b): return float(np.mean(np.abs(a - b))) def rmse(a, b): return float(np.sqrt(np.mean((a - b) ** 2))) def max_err(a, b): return float(np.max(np.abs(a - b))) def eval_energy(ref_e, ai_e): return mae(ref_e, ai_e), rmse(ref_e, ai_e), max_err(ref_e, ai_e) def eval_force(ref_f, ai_f): return mae(ref_f, ai_f), rmse(ref_f, ai_f), max_err(ref_f, ai_f) def pass_rate(ref_e, ai_e, tol_e=0.10): abs_err = np.abs(ai_e - ref_e) return float(np.mean(abs_err <= tol_e) * 100) def report_by_species(ref_e, ai_e, species_list): for name in np.unique(species_list): mask = species_list == name e_mae = mae(ref_e[mask], ai_e[mask]) rate = pass_rate(ref_e[mask], ai_e[mask]) print(f" [{name}] 样本数={mask.sum():>3d} MAE={e_mae*1000:6.2f} meV 合格率={rate:5.1f}%") def main(): ref_e, ai_e, ref_f, ai_f, species_list = make_demo_data() print("=" * 56) print("DFT 加速模型三级精度评估报告") print("=" * 56) e_mae, e_rmse, e_max = eval_energy(ref_e, ai_e) print("第一级: 能量精度 (单位 meV)") print(f" MAE = {e_mae * 1000:8.2f}") print(f" RMSE = {e_rmse * 1000:8.2f}") print(f" MaxErr = {e_max * 1000:8.2f}") f_mae, f_rmse, f_max = eval_force(ref_f, ai_f) print("第二级: 力精度 (单位 meV/angstrom)") print(f" MAE = {f_mae * 1000:8.2f}") print(f" RMSE = {f_rmse * 1000:8.2f}") print(f" MaxErr = {f_max * 1000:8.2f}") e_gap_ref = np.max(ref_e) - np.min(ref_e) e_gap_ai = np.max(ai_e) - np.min(ai_e) print("第三级: 性质精度 (能带隙类指标, 单位 eV)") print(f" 参考能隙 = {e_gap_ref:8.3f}") print(f" AI 能隙 = {e_gap_ai:8.3f}") print(f" 能隙偏差 = {abs(e_gap_ai - e_gap_ref):8.3f}") print("分组合格率 (容差 0.10 eV):") report_by_species(ref_e, ai_e, species_list) if __name__ == "__main__": main()
ref_e = rng.uniform(-2.5, 0.5, n_mol)生成60个分子的高精度参考能量,这里用均匀分布模拟不同分子的能量区间。ai_e = ref_e + rng.normal(0, 0.045, n_mol)给参考能量叠加均值为0、标准差0.045 eV的高斯噪声,模拟AI预测的随机误差。def mae(a, b)计算平均绝对误差:先求逐样本绝对差再取平均,对应正文能量级评估公式。def rmse(a, b)计算均方根误差:先平方、平均再开方,对大误差更敏感,对应正文力级评估公式。np.abs(ai_e - ref_e) <= tol_e用布尔数组判断每个样本是否落在容差带内,再取均值即得合格率。mask = species_list == name按分子种类做布尔筛选,实现分组统计,对应基准测试集按体系分组的场景。np.max(ref_e) - np.min(ref_e)用能量跨度近似“能带隙”类性质指标,展示性质级偏差的估算方法。if __name__ == "__main__":标准入口,保证脚本既可被导入也可直接运行。
常见误区
误区模型在训练集和验证集上误差都很小,我觉得这模型肯定够准了,直接部署到科研任务里应该没问题。
正解训练损失低只能说明模型“背会了”训练数据,不能说明它能“做好”新题。如果测试集与训练集存在数据泄漏(比如重复分子进入了训练集),评估结果会严重虚高。精度评估必须用独立测试集,并且测试集要覆盖目标部署场景的化学空间,就像学生考试不能用练习册原题来证明水平。
为何常见:因为大家习惯用机器学习的标准流程“训练-验证”来评判模型,忘了AI for Science里“部署域的分布外数据”才是真正的考场。
误区能量预测的MAE已经达到1 meV/原子,精度这么高,其他指标肯定也差不了,原子受力应该也准。
正解能量和力虽然是“同一个模型”输出的,但力是对能量做空间梯度得到的,一点微小的能量曲面抖动都会被放大成大的力误差。一个模型可能能量MAE很好看,但力RMSE超标,导致几何优化找不到真正的最低能量结构,分子动力学轨迹直接发散。三级评估体系就是为防止这种“只看一个指标”的盲区而设计的。
为何常见:因为能量是DFT最直接的输出量,论文里最常被引用,初学者容易把能量精度当作模型精度的全部。
误区模型在基准测试集上误差是0.03 eV,那么我在任何新分子上用它,误差都应该差不多是0.03 eV。
正解基准测试集只能代表它覆盖的化学空间。换一个包含新元素、新官能团或极端构型的体系,模型可能从“高精度模式”瞬间跌入“外推盲区”,误差扩大十倍都不稀奇。部署前必须确认目标体系是否落在模型适用域内,必要时用距离感知的置信度工具量化评估。
为何常见:人天生喜欢把“样本内的表现”外推成“总体的性质”,这在统计学的教科书里属于最经典的归纳偏误。
误区我的模型在发布时通过了精度评估,以后用户怎么用都归我管,反正模型本身没变,精度也不会变。
正解模型参数没变,但它面对的数据变了。化学空间是开放的,用户会用模型去算大量训练时没见过的体系,误差会随体系外推程度逐渐漂移。正规做法是建立定期复评机制:每扩展一个新的分子家族、每发现一批高误差样本,就触发一轮新的评估和潜在的模型迭代。
为何常见:因为在传统软件工程里“代码不变则行为不变”,但AI模型的行为取决于输入分布,输入分布一变,行为就跟着变。
误区误差就是噪声嘛,正负抵消,多一点少一点不影响大局,多算几个样本平均一下就没事了。
正解随机噪声可以通过平均消除,但系统偏差不会——如果模型总是把某种化学键的能量预测偏高,误差根本不会互相抵消,而是会定向累积。比如势垒被系统性高估0.1 eV,所有反应速率结论都会被带偏。误差传播分析中要专门区分偏差(bias)与方差,系统偏差必须通过修正数据或模型设计来消除,不能指望统计平均。
为何常见:因为初学者往往只学了“误差有正有负”的直觉,而没有意识到模型偏差(如DFT泛函近似、训练数据偏向)会定向扭曲预测。
面试题
Q1. 关于MAE与RMSE的关系,下列说法正确的是?
- A.对离群大误差更敏感← 正确答案
- B.与RMSE完全等价
- C.不受极端值影响
- D.只用来评估能量
答案:A。MAE是误差绝对值的平均,RMSE先平方再开方,大误差在平方中被放大。当存在离群点时RMSE明显大于MAE,因此RMSE对离群误差更敏感。B、C与数学定义矛盾,D是对评估层级的误读——MAE也可用于力等量。
Q2. 在精度评估中,“数据泄漏”指的是下列哪种情形?
- A.测试集中含有训练集相似分子← 正确答案
- B.训练样本数量过少
- C.参考标签存在随机噪声
- D.模型参数数量过少
答案:A。数据泄漏指测试信息在训练阶段被模型“偷看”,最常见的就是测试集与训练集高度重叠,导致评估结果虚高。B、C、D分别对应数据量、标签质量和模型容量问题,都不属于泄漏。
Q3. 下列哪一项不属于DFT加速模型的三级评估体系?
- A.能量级平均绝对误差
- B.力级均方根误差
- C.系统级运行耗时统计← 正确答案
- D.性质级目标量偏差
答案:C。三级评估指能量级、力级、性质级,分别用MAE、RMSE和目标性质偏差度量。运行耗时属于性能评估,不属于精度评估的维度。A、B、D都在正文中明确作为三级体系的构成。
Q4. 基准测试集中的“标签”应该来自哪里?
- A.高精度量子化学结果或实验← 正确答案
- B.神经网络的随机初始化值
- C.上一轮训练的模型输出
- D.多个预测值的简单平均
答案:A。基准测试集是精度评估的标准量具,标签必须是高可信参考值,通常来自CCSD(T)等高精度量子化学计算或高质量实验数据。模型输出、随机数都不能作为“标准答案”。
Q5. 一个新分子体系从未出现在训练集中,最需要警惕的风险是?
- A.模型外推出荒谬结果← 正确答案
- B.训练时间大幅缩短
- C.推理速度不断提升
- D.微调数据容易获取
答案:A。训练集未覆盖的体系属于外推盲区,模型在盲区内的预测可能严重失真。B、C是性能指标而非风险,D与风险判断无关。这正是“适用域声明”要预防的问题。
Q6. 下列哪些因素属于AI加速DFT模型的误差来源?
- A.参考标签本身的近似性← 正确答案
- B.网络容量对势能面的拟合限制← 正确答案
- C.训练过程没有充分收敛← 正确答案
- D.显示器分辨率过低
答案:ABC。数据偏差(标签来自DFT近似)、模型容量限制、训练收敛问题都是正文“误差来源分析”中指出的误差来源。显示器分辨率与模型计算精度毫无关系。
Q7. 在300 K温度下(kT取0.026 eV),反应势垒被高估0.1 eV,玻尔兹曼因子e^(-ΔE/kT)大约会带来多少倍的速率偏差?
- A.约5倍偏差
- B.约47倍偏差← 正确答案
- C.约100倍偏差
- D.约470倍偏差
答案:B。0.1 eV除以0.026 eV约等于3.85,e的3.85次方约47。玻尔兹曼因子的指数结构会把微小能量误差剧烈放大,这正是误差传播分析强调“能量误差不可小觑”的原因。A低估了指数放大效应,C和D计算错误。
Q8. 可信度评估框架通常包含哪些组成部分?
- A.集成标准差量化不确定度← 正确答案
- B.校准曲线检验覆盖率← 正确答案
- C.适用域声明划清边界← 正确答案
- D.训练集大小决定可信度
答案:ABC。不确定性量化(集成标准差)、校准曲线、适用域声明是可信度框架三件套。训练集大小与可信度无直接决定关系,A、B、C都是正文“可信度评估框架”一节的核心组件。
Q9. 为什么不能只用训练集来判断模型的精度?
- A.评价结果偏乐观失真← 正确答案
- B.会导致模型参数爆炸
- C.会降低推理阶段速度
- D.会使训练损失变负数
答案:A。模型见过训练集的数据,评估结果天然偏乐观,测不出泛化能力。这正是要设置独立测试集的原因。B、C描述的是其他维度的现象,D在正常训练中不会发生。
Q10. 如果三级评估发现某类新体系的精度不达标,合理的应对措施有哪些?
- A.扩充数据覆盖该类化学空间← 正确答案
- B.换更强的原子特征表示← 正确答案
- C.用AI粗筛加DFT精算级联← 正确答案
- D.直接删除所有失败样本
答案:ABC。扩充数据可补上训练盲区,更强的表示可提升拟合能力,级联策略可用DFT复核关键样本。直接删除失败样本属于掩盖问题,会让评估报告失去可信度,是典型的错误做法。