机器学习篇
AI核心层 · 12 章 458 篇知识点,章内按学习顺序排列。
同方向:机器学习篇深度学习篇AI应用领域篇计算机图形学与可视化篇
AI概论43 篇
连接主义强化学习符号主义大模型时代连接主义复兴专家系统时代图灵测试与达特茅斯会议GPT系列演进AGI与超级对齐带参数装饰器三层嵌套结构与类装饰器(__call__)实现方法装饰器原理:闭包 + 高阶函数 + functools.wraps 保留元信息(__name__/__doc__)描述符协议(Descriptor Protocol):__get__/__set__/__delete__ 与 property 实现GIL 全局解释器锁机制、版本变化(Python 3.13 free-threaded mode)与影响Cython 通过类型注解(cdef/cython.inline)将热点代码编译为 C 扩展asyncio 中的同步原语:Lock/Semaphore/Event 与异步生成器(async for)深度学习vs传统MLCPython 字节码(dis 模块)、PyCodeObject 与 inline cache 自适应优化器Python 内存管理:引用计数、循环引用检测(gc 模块)与分代回收机制监督vs无监督生成式vs判别式判别式vs生成式模型强化学习分类迁移学习与元学习参数化vs非参数化自监督学习Agent范式多模态融合Scaling Law与涌现AI4Science具身智能多模态大模型AI安全与对齐前沿AI4Science(AlphaFold)深度学习革命ImageNet与深度学习突破Agent与自主系统AGI探索__slots__ 限制实例属性、节省内存与 dataclasses 的 __dataclass_fields__机器学习分类asyncio 深入:事件循环、Task/Future、协程调度与 gather/wait/as_completed大模型缩放监督/无监督/半监督具身智能与机器人
机器学习基础57 篇
自动化特征工程训练/验证/测试训练集/验证集/测试集划分过拟合与欠拟合偏差-方差权衡正则化K折交叉验证学习曲线诊断欠拟合诊断C++20 Concepts 约束模板参数替代 SFINAE 的可读性提升方案std::move 语义、右值引用(Rvalue Reference)与移动构造/移动赋值性能CRTP(Curiously Recurring Template Pattern)静态多态与编译期多态分发结构化绑定(Structured Bindings)与 std::tie 解包多返回值std::variant、std::optional、std::expected(C++23)替代 union 的类型安全方案特征提取特征变换类别编码特征提取技术类别编码(One-Hot/Target/频率)特征交互与组合特征变换(标准化/归一化/Box-Cox)缺失值插补模型选择准则集成策略随机搜索贝叶斯优化随机搜索RandomSearchAIC/BIC信息准则交叉验证选择批量大小嵌套交叉验证学习率调度集成策略选择Batch Size影响早停策略正则系数搜索Hyperband/BOHB超参数重要性分析Early Stopping过拟合现象与原因交叉验证偏差-方差分解L1/L2正则化原理完美转发(Perfect Forwarding):std::forward + 万能引用(T&&)与引用折叠规则可变参数模板(Variadic Templates)与折叠表达式(C++17)参数包展开模板元编程(Template Metaprogramming):编译期递归、SFINAE 与 type_traits缺失值处理constexpr 函数(C++11/14/20)编译期计算与 if constexpr 分支裁剪特征选择特征选择(Filter/Wrapper/Embedded)网格搜索网格搜索GridSearch贝叶斯优化(Bayesian/Optuna)正则系数Optuna框架学习率调度(Cosine/Warmup)Optuna超参数框架
监督学习算法69 篇
AdaBoost弹性网络逻辑回归线性回归闭式解广义线性模型广义线性模型GLMElastic Net弹性网络ID3信息增益L1 Lasso稀疏多项式回归所有权系统:Move 语义、Copy trait 与 Clone 区分及堆栈分配规则借用检查器(Borrow Checker)编译期规则:可变借用唯一性 + NLL 非词法生命周期Trait 对象 dyn Trait 与泛型单态化(Monomorphization)的动态/静态分派权衡不安全 Rust(unsafe)五大超能力:解裸指针、调用 unsafe 函数、修改静态变量等async/await 状态机生成、Future trait 与 Pin<&mut Self> 自引用结构Rust FFI 与 C/C++ 互操作:extern "C"、bindgen 自动生成绑定、cxx 桥接方案对象安全(Object Safety)规则:禁止泛型方法、不能返回 Self、不能关联函数C5.0CatBoost类别处理回归树回归树CARTC5.0改进GBDT/XGBoost决策树可视化BaggingLightGBM/CatBoostXGBoost二阶导数随机森林特征重要性GBDT梯度提升AdaBoost权重更新LightGBM直方图SVM回归核技巧软间隔最大间隔超平面SVR支持向量回归核函数(RBF/多项式/Sigmoid)朴素贝叶斯核技巧的数学原理距离度量KNN原理垃圾邮件过滤KD树加速距离度量(欧氏/曼哈顿/余弦)文本分类实战朴素贝叶斯(高斯/多项式/伯努利)垃圾邮件过滤案例正则化L1/L2线性回归L2 Ridge正则逻辑回归与Sigmoid生命周期标注(Lifetime Annotation):'a、'static、生命周期省略规则(Elision Rules)Tokio 异步运行时:多线程调度器、协作式调度与 work-stealing 负载均衡ID3/C4.5/CARTCART基尼指数Send/Sync 标记 trait 实现自动推导与线程安全边界的编译期保证C4.5增益率预剪枝与后剪枝随机森林剪枝策略Bagging bootstrap原理最大间隔软间隔与松弛变量序列最小优化SMOSMO序列最小优化SVM多分类文本分类KNN的K值选择拉普拉斯平滑
无监督学习44 篇
Apriori算法K-MeansK-Means初始化策略(K-Means++)高斯混合GMMDBSCAN聚类评估指标(轮廓系数/DBI)层次聚类(凝聚/分裂)GMM与EM算法DBSCAN密度聚类HDBSCANt-SNE线性判别LDAUMAPLDA线性判别分析UMAP拓扑保持统计方法PCA最大化方差t-SNE概率分布流形学习(Isomap/LLE)自编码器异常检测LOF局部异常因子自编码器重构误差统计方法(3sigma/箱线图)孤立森林iForest序列模式挖掘Apriori频繁项集支持度/置信度/提升度关联规则评估FP-Growth关联规则可视化负关联规则序列模式挖掘PrefixSpan层次聚类谱聚类谱聚类拉普拉斯矩阵PCA主成分分析自编码器降维核PCA孤立森林时间序列异常检测Isolation Forest vs LOF对比One-Class SVMFP-Growth频繁模式树购物篮分析案例
强化学习47 篇
Dueling DQNMDP定义贝尔曼方程MDP五元组定义状态转移状态转移概率值函数V(s)与Q(s,a)奖励函数设计贝尔曼方程与迭代Q值更新SARSADQNepsilon-贪婪epsilon-贪婪探索Double DQNDQN经验回放Q表与状态离散化SARSA on-policyREINFORCEPPO/TRPOACKTR基线reduce方差策略梯度定理推导REINFORCE策略梯度PPO截断目标GRPO(DeepSeek)SACRLHF基础DDPG多智能体RLA2C/A3C异步优势RLHF在LLM中的应用多智能体RL(MARL)离线RLDDPG连续控制奖励函数折扣因子gamma折扣因子策略与值函数关系Q-Learning更新规则Q表策略梯度定理基线减少方差A2C/A3CTRPO信任区域SAC最大熵逆强化学习IRL
模型评估与选择45 篇
回归指标Bootstrap嵌套CV时间序列CV分层抽样LOO留一法时间序列CV(Walk-forward)Bootstrap重采样Group CV分类指标排序指标MSE/MAE/R2/RMSE准确率/精确率/召回率/F1混淆矩阵分析ROC曲线与AUC多标签(mAP/Hamming Loss)样本量计算在线评估CUPED样本量计算与功效A/B实验设计在线评估与离线评估辛普森悖论学习曲线特征重要性ROC/PR曲线残差分析学习曲线与验证曲线ROC/PR曲线绘制残差分析与Q-Q图SHAP值解释LIME局部解释CUPED方差缩减分层K折多标签指标NDCG/MRR排序指标PR曲线与AP混淆矩阵显著性检验显著性检验(t检验/卡方)实验设计分桶与流量分配SHAP初步部分依赖图PDP特征重要性排列
AutoML与神经架构搜索25 篇
AutoGluon多模态AutoMLAutoML定义与分类AutoML评估方法Auto-SklearnTPOT遗传编程自动特征工程FLAML微软轻量AutoMLH2O AutoML贝叶斯优化(TPE/Gaussian Process)Optuna采样与剪枝网格搜索与随机搜索多目标优化Ray Tune分布式调优进化算法NASNAS在LLM中的应用Once-for-AllProxylessNAS架构搜索效率优化HyperOpt工作原理传统ML的AutoMLHPO在大模型中的应用NAS搜索空间设计ENAS权重共享可微分NAS DARTS基于强化学习的NAS
时间序列分析与预测23 篇
指数平滑法(ETS)Prophet模型原理季节性分解DeepAR概率预测自相关ACF/PACFAutoformer自相关PatchTST分块Informer长序列预测TimesNet频域建模TiDE异常检测(孤立森林/频谱残差)多元时间序列预测不确定性量化在线学习与概念漂移时间序列分类评估指标(MASE/sMAPE)ARIMA/SARIMA模型滑动窗口特征时间序列组件(趋势/季节/残差)平稳性检验ADFTemporal Fusion TransformerN-BEATS/N-HiTS时序数据增强
图分析与网络科学22 篇
PageRank与变体DeepWalk随机游走度中心性/介数中心性/紧密中心性社区发现Louvain/Leiden幂律度分布图划分(Girvan-Newman)网络直径与小世界性异构图嵌入GIN图同构网络大规模图嵌入GraphSAGE归纳式SPARQL查询关系抽取整合RDF与OWL动态图表示知识推理(TransE/RotatE)特征向量中心性Node2Vec知识图谱架构知识图谱补全实体链接知识图谱与大模型结合
因果推断与因果发现36 篇
DAG有向无环图的结构因果模型(SCM)Pearl因果阶梯(关联/干预/反事实)三层模型d-分离准则与条件独立性的图判定前门准则与中介变量的因果效应估计do-calculus三条规则(插入/删除/交换)工具变量(IV)法处理未观测混杂因果效应ATE/ATT/CATE的数学定义Structural Causal Model函数方程定义do-算子与辛普森悖论的因果解释马尔可夫等价类与PC算法的可识别性DirectLINGAM的邻域选择与排序GES贪婪等价搜索的评分函数(BIC)Causal Forest因果森林的异质性估计PC算法的骨架发现与定向阶段(Meek规则)因果发现的混杂鲁棒性问题DAG-GNN基于图神经网络的因果发现DECI因果影响因式分解的可微因果推断时序因果发现(PCMCI/Tyche/动态贝叶斯)反事实推断的三步法(abduction-action-prediction)个体处理效应ITE的估计偏差来源S-learner/T-learner/X-learner元学习器LiNGAM族的可识别性假设(非高斯/线性/无环)uplift建模的Qini曲线与AUUC评价指标倾向得分(PSM)匹配与加权(IPTW)DRIV算法与DR-learner的鲁棒估计CausalTree递归划分识别异质子群GANITE反事实生成对抗网络ICA-LiNGAM基于非高斯性识别因果方向后门准则与可识别性条件推导反事实符号Y_x(u)与潜在结果框架条件独立检验的Fisher Z/χ²/G平方方法NOTEARS将DAG约束松弛为连续优化问题高维场景下LASSO结合的因果发现双重机器学习DML的交叉拟合思想因果中介分析与NDE/NIE分解推荐系统的uplift去偏与位置偏差校正
强化学习进阶与实战25 篇
RL在游戏AI(Atari/MuJoCo)RL在机器人控制多任务RLRL在量化交易(FinRL/ElegantRL)IMPALA分布式RLMuZero模型学习SAC软Actor-CriticDQN与改进(Double/Dueling/Prioritized)Policy Gradient深入(PPO/TRPO/ACKTR)RL超参调优RLHF在LLM对齐中的深入RL环境设计(Gym/Gymnasium)奖励函数设计Reward ShapingRL算法调试与可视化RL部署(在线/离线)RL评估方法TD3双延迟DDPGRL在推荐系统(Shooting/RL4Rec)RL在对话系统RL在资源调度(网络/云)分层RL(Hierarchical RL)离线RL(CQL/IQL/DT)探索策略(UCB/Thompson Sampling/Intrinsic Motivation)并行环境与向量化(VecEnv)RL训练稳定性技巧
概率编程与贝叶斯建模22 篇
信念传播Belief Propagation贝叶斯网络有向图模型马尔可夫随机场MRF无向图模型因子图Factor Graph结构化预测变分消息传递VMP图模型在NLP/CV中的应用条件随机场CRF贝叶斯优化深入(Acquisition Function)分层贝叶斯模型贝叶斯深度学习(BNN/MCDropout)贝叶斯非参数(狄利克雷过程/高斯过程)PyMC贝叶斯建模Stan概率编程语言TensorFlow Probability概率编程与深度学习结合NumPyro JAX后端期望传播EP高斯过程回归GPRPyro概率编程(Uber)共轭模型与指数族概率编程在AB测试/因果推断中的应用
返回 知识体系总目录 查看其他篇章。