数学与统计基础篇
基础筑基层 · 7 章 267 篇知识点,章内按学习顺序排列。
同方向:计算机基础篇数学与统计基础篇编程语言与开发工具篇汇编语言与系统底层篇数据库与存储系统篇
线性代数47 篇
伪逆向量与线性组合正交性线性无关与基向量空间公理直和与补空间正交补空间Gram-Schmidt正交化张量分解Tucker/CP:CP分解秩-R近似与交替最小二乘ALS、Tucker分解核心张量与高阶正交迭代HOOISVD在PCA中的应用:协方差矩阵特征分解与SVD等价性、截断SVD降维、随机SVD加速大矩阵分解Kronecker积:混合积性质、vec算子与矩阵方程AXB=C向量化、Kronecker积在深度神经网络压缩中的应用逆矩阵矩阵微积分:Jacobian矩阵与Hessian矩阵、标量对矩阵求导(迹技巧)、反向传播的矩阵形式推导迹与行列式矩阵乘法矩阵范数稀疏矩阵特征值稳定性矩阵的四大子空间特征值与特征向量PCA原理对角化谱定理伪逆与最小二乘SVD几何意义张量运算张量分解张量阶与形状张量在深度学习中的表示张量网络与分解(CP/Tucker)爱因斯坦求和einsum低秩近似应用子空间投影基与维度内积空间秩与零空间矩阵分解(LU/QR/Cholesky)矩阵微分条件数与数值稳定性低秩近似奇异值分解PCA与SVD的关系爱因斯坦求和张量概念广播Broadcasting张量缩并
微积分40 篇
极限定义链式法则洛必达法则泰勒展开高阶导数隐函数求导导数几何意义海森矩阵与曲率中值定理方向导数与梯度关系海森矩阵雅可比矩阵的几何意义梯度概念链式法则多元梯度下降直觉多重积分梯度下降收敛分析梯度的几何意义拉格朗日乘子高斯散度定理约束优化蒙特卡洛积分积分变换对偶问题拉格朗日乘子法几何傅里叶变换入门拉普拉斯变换入门极限的epsilon-delta定义导数与微分偏导数方向导数雅可比矩阵泰勒展开多元形式线积分与面积分梯度/雅可比/海森的关系数值积分变分法欧拉-拉格朗日方程斯托克斯定理变分法入门KKT条件直观理解
概率论与数理统计44 篇
功效分析条件概率概率公理独立性全概率公式条件独立性贝叶斯网络基础连续分布因果推断入门指数族采样方法常见离散分布(伯努利/二项/泊松/几何)先验/后验大数定律中心极限定理最大后验MAP共轭先验先验选择策略贝叶斯线性回归经验贝叶斯变分推断VI入门假设检验置信区间方差分析ANOVA贝叶斯假设检验假设检验两类错误p-value陷阱贝叶斯定理全概率公式应用贝叶斯定理直观理解概率陷阱(辛普森悖论)离散分布多元分布常见连续分布(均匀/指数/伽马)正态分布性质贝叶斯估计最大似然估计MLEMCMC采样共轭先验族表参数估计MAP与正则化关系p-value置信区间构造多重检验校正(Bonferroni/FDR)
信息论基础30 篇
交叉熵与softmax关系JS散度信息熵联合熵自信息交叉熵信息熵的物理意义条件熵熵的链式法则相对熵与互信息互信息互信息与信息增益f-散度族Wasserstein距离最大熵原理最大熵原理应用信息瓶颈信息增益信息增益与决策树信息论与压缩互信息估计MDL准则信息瓶颈方法联合熵与条件熵关系微分熵熵率KL散度JS散度性质KL散度的非对称性MDL与模型选择
最优化理论40 篇
批量/随机/小批量动量法L-BFGS原理增广拉格朗日投影梯度拉格朗日对偶详解惩罚法与增广拉格朗日ADMM交替方向乘子法投影梯度法约束优化在ML中的应用拟牛顿法L-BFGS凸集与凸函数对偶间隙凸集分离定理KKT条件Adam/AdamWNesterov加速Slater条件SGD收敛性分析凸优化的对偶理论动量法原理Adam/AdamW对比优化器选择指南二阶矩估计偏差校正牛顿法自然梯度与Fisher信息自然梯度Trust RegionTrust Region方法拟牛顿法族拉格朗日对偶内点法牛顿法收敛性对偶理论凸函数判定(二阶条件)凸优化问题KKT条件的几何理解学习率预热与衰减共轭梯度法惩罚法
时序分析与预测40 篇
时序数据的平稳性检验(ADF/KPSS/PP检验)ARCH/GARCH波动率族模型(金融时序)ARIMA(p,d,q)差分整合移动平均自回归建模SARIMA季节性ARIMA的航空数据建模流程白噪声与随机游走序列的统计特征滑动窗口特征工程(滞后变量/滚动统计量)季节性分解(STL/CEEMDAN/X-13ARIMA-SEATS)频域分析(FFT/小波变换/谱密度估计)差分运算与Box-Cox变换的平稳化缺失值填补方法(前向填充/线性插值/卡尔曼平滑)协变量与外生变量(exogenous regressors)处理时间对齐与重采样(降采样/升采样/不规则采样)金融tick数据的微观结构噪声处理AR(p)自回归模型的偏自相关函数识别阶数ACF/PACF图解读与模型定阶准则Prophet的分段线性趋势+傅里叶季节项分解Prophet区间预测不确定性量化与交叉验证Prophet的节假日效应表(changepoints)配置Ljung-Box残差白噪声检验与异方差检验ETS指数平滑状态空间模型(ETS-AAdN等组合)RNN/LSTM/GRU的门控机制与梯度消失缓解TCN时序卷积网络的因果卷积与扩张卷积Seq2seq编码-解码架构在多步预测的应用PatchTST的patching与通道独立建模策略Autoformer的序列分解架构与自相关机制Informer的ProbSparse注意力复杂度优化FEDformer频域注意力与傅里叶块设计N-BEATS块结构(后向/残差/双栈)与可解释性N-HiTS分层插值与多速率信号处理DeepAR自回归概率预测与Copula采样TimesNet将一维时序折叠为二维张量的PeriodNetMA(q)移动平均模型的截尾特性分析异常点检测(IQR/STL分解/Prophet突变点)多重季节性建模(日电+周周期+年周期)AIC/BIC/HQIC信息准则的模型选择Theta方法与简单指数平滑的基准对比VAR向量自回归的多变量联合建模WaveNet空洞卷积在长序列建模的实现Transformer自注意力机制的时序适配TFT时序融合Transformer的多horizon解释性
数字信号处理基础26 篇
采样定理Nyquist频谱分析实践频谱泄漏与窗函数(Hamming/Hann/Blackman)Z变换滤波在AI中的应用(特征提取/降噪)自适应滤波器LMS连续与离散信号线性时不变系统LTI因果性与可实现性脉冲响应频率响应差分方程系统稳定性傅里叶变换FT快速傅里叶变换FFT(Cooley-Tukey)短时傅里叶变换STFTFIR滤波器设计(窗函数法/频率采样法/Parks-McClellan)小波变换入门低通/高通/带通/带阻滤波器阶数与性能量化与编码卷积运算离散傅里叶变换DFT傅里叶级数(三角/指数)IIR滤波器设计(双线性变换/脉冲响应不变法)离散余弦变换DCT
返回 知识体系总目录 查看其他篇章。