深度学习篇
AI核心层 · 11 章 482 篇知识点,章内按学习顺序排列。
同方向:机器学习篇深度学习篇AI应用领域篇计算机图形学与可视化篇
神经网络基础58 篇
MLP结构激活函数感知机与线性分类万能近似定理MLP多层感知机神经网络的生物启发前向传播计算激活函数选择指南自动微分代价敏感学习:类别权重反比频率、代价敏感矩阵、Focal Loss自适应调制因子gamma与alpha类别不平衡处理:SMOTE过采样与Borderline-SMOTE、欠采样Tomek Links/Edited Nearest Neighbors、类别重平衡损失弱监督伪标签(pseudo-label)方法:置信度阈值、MixMatch、FixMatch多标签分类(Multi-Label):Binary Relevance、Classifier Chains、Label Powerset标签噪声建模:对称噪声、实例相关噪声与 T-Revision 修正方法Co-training 多视角协同训练在文本/图像多视图数据上的半监督应用梯度计算代价敏感学习:Cost-Sensitive Decision Tree、MetaCost 阈值移动与 Focal Loss计算图课程学习(Curriculum Learning):由易到难样本排序与 Baby Steps 训练策略计算图构建(静态/动态)链式法则与反向传播推导梯度消失原因与对策Sigmoid/Tanh数值梯度检验GELUTanh与零中心化Swish/MishSigmoid梯度饱和问题Swish/Mish自适应GELU高斯误差线性单元Leaky ReLU/PReLUTriplet LossMSE/MAEMSE均方误差Focal Loss类别不平衡对比损失Contrastive LossTriplet Loss三元组KL散度损失Label Smoothing损失感知机模型前向传播多标签分类:Binary Relevance/Classifier Chains、标签相关性建模、多标签F1与Hamming Loss评估权重初始化(Xavier/He)标签噪声鲁棒学习:Co-teaching、JoCoR 双网络互相筛选干净样本策略自训练(Self-Training)与自步学习(Self-Paced Learning)易混淆点辨析多标签损失函数:Hamming Loss、Subset 0/1 Loss 与不平衡 F1 优化自适应激活自动微分(前向/反向模式)ReLU族梯度爆炸与梯度裁剪PyTorch autograd原理激活函数对比与选择Focal Loss交叉熵与softmax对比损失梯度消失/爆炸ReLU死亡神经元标签噪声学习:噪声转移矩阵估计、Co-teaching双网络互筛选、置信学习Confident Learning清洗标签
卷积神经网络CNN46 篇
Fast/Faster R-CNNDeepLab系列深度可分离卷积Depthwise步长与填充空洞卷积空洞卷积Dilated Conv卷积运算与互相关转置卷积/反卷积LeNet/AlexNetConvNeXtInception/DenseNetEfficientNetInception多尺度VGG统一3x3卷积LeNet/AlexNet历史DenseNet密集连接R-CNN两阶段检测YOLO系列Anchor-freeYOLO单阶段检测FPN特征金字塔FCNAnchor-free(CenterNet/FCOS)U-NetDeepLab空洞空间金字塔U-Net编码器-解码器SegFormer全景分割SegFormer Transformer分割全景分割Panoptic实例分割与语义分割区别ConvNeXt现代化CNNDETR端到端检测DETR转置卷积感受野分组卷积Group Conv步长stride与填充padding感受野计算EfficientNet复合缩放VGG/ResNetR-CNN系列ResNet残差连接实例分割Mask R-CNNFCN全卷积网络分割评估mIoU
循环神经网络RNN48 篇
多层LSTM编码器-解码器注意力机制深层RNN堆叠序列生成RNN结构BPTTRNN循环结构梯度消失与长程依赖BPTT随时间反向传播双向RNN BiLSTMRNN的局限与改进GRU简化梯度裁剪应对爆炸变体序列分类序列生成应用LSTM变体(PEephole/Coupled)GRU简化门控序列分类应用双向LSTMBeam SearchBeam Search束搜索注意力机制Bahdanau覆盖率机制CoverageSelf-Attention序列到序列的局限Teacher Forcing训练注意力计算位置编码Self-Attention自注意力Multi-Head多头注意力注意力计算QKV相对位置位置编码(正弦/可学习)注意力可视化缩放点积注意力梯度消失覆盖率ConvS2S深度RNNLSTM门控机制双向RNNLSTM输入/遗忘/输出门Teacher Forcing编码器-解码器架构Multi-Head相对位置编码
Transformer架构73 篇
缩放点积QKV计算稀疏注意力注意力复杂度分析O(n^2)缩放点积注意力Scale Dot-ProductMulti-Head多头机制QKV矩阵计算稀疏注意力Sparse AttentionLinear Attention线性注意力滑动窗口注意力MQA多查询注意力Flash Attention IO优化LightGBM EFB/GOSS:互斥特征捆绑Exclusive Feature Bundling、梯度单边采样Gradient-based One-Side Sampling、Leaf-wise生长策略GELU 与 SwiGLU(Swish-Gated Linear Unit)在 Transformer 中的性能优势CatBoost有序提升:Ordered Target Statistics缓解目标泄漏、对称树Symmetric Tree结构、处理类别特征Ordered BoostingBatch Normalization(BN):训练/推理滑动均值方差与卷积层协同设计Layer Normalization(LN):Transformer 中按 token 维度归一化的优势Instance Normalization(IN)用于风格迁移、Group Normalization(GN)小 batch 场景RMSNorm(Root Mean Square Layer Normalization)在 LLaMA 中的简化实现编码器结构残差连接自适应优化器:AdamW 权重衰减解耦、Lion(符号动量)、Sophia 二阶优化参数初始化:Xavier/Glorot 推导(Var 平衡)、Kaiming/He 针对 ReLU 的修正解码器结构编码器Encoder结构Layer Normalization解码器Decoder结构Naive位置编码消融位置编码RoPE旋转位置RMSNorm替代LayerNormPre-Norm vs Post-NormALiBi线性偏置位置编码GPT自回归T5统一框架BERT MLMBERT MLM掩码语言模型编码器vs解码器T5统一Text-to-TextPrefix-LMNSP下一句预测编码器vs解码器vs编码解码ELECTRA替换检测Linear AttentionSpan CorruptionMamba/SSMMoE混合专家ReformerPerformer核近似Reformer LSH+分块Mamba/SSM状态空间模型RWKV线性RNNRetNet.retentionRWKV架构原理TransNormer线性Transformer线性注意力与标准注意力对比长序列建模效率对比多头注意力GQA分组查询注意力XGBoost深入(ColMaker/Approx/Hist):精确贪心与近似算法、直方图算法分桶加速、列块存储与并行排序激活函数家族对比:ReLU/Leaky ReLU/PReLU/ELU/SELU 收敛速度与梯度特性Mish 激活函数:f(x) = x·tanh(softplus(x)) 在深层网络中的平滑性Layer NormFlash Attention / 闪存注意力:IO感知的高效注意力实现前馈网络前馈网络FFN与SwiGLUELECTRA残差连接Residual ConnectionGPT自回归预训练LongformerLinear Attention变体Longformer长序列MoE混合专家路由RetNet保留网络
图神经网络GNN39 篇
图卷积网络GCN图Transformer社交网络图池化图基础概念(节点/边/度)图基础概念GraphSAGE消息传递框架消息传递框架MPGraphSAGE邻居采样图池化方法DeepWalk图嵌入GraphSAGE采样GINGraphSAGE聚合函数异构图网络RGCN读出函数全局池化(求和/平均/最大)子图表示谱图卷积子图表示学习节点分类图分类可微分池化链接预测分子图节点分类半监督图异常检测分子图与药物发现社交网络分析读出函数ReadOut层次池化DiffPool图金字塔Node2Vec随机游走图拉普拉斯特征映射图注意力网络GAT全局池化异构图网络SortPool排序池化
正则化与优化44 篇
Instance NormAdam/AdamW权重衰减数据增强RMSNorm均方根归一化标准Dropout原理标准DropoutSpatial Dropout变体DropConnectSpatial Dropout空间丢弃Batch NormDropPath随机深度Monte Carlo Dropout不确定性Dropout比率选择Batch Normalization BNLayer Normalization LNGroup NormInstance Normalization INGroup Normalization GNLAMBDeepNorm深归一化SGD+MomentumSophia二阶近似学习率调度(Cosine/Warmup/OneCycle)LAMB大批量优化AdaBeliefLion优化器梯度裁剪Label Smoothing混合精度Warmup预热策略梯度裁剪Gradient Clipping混合精度训练AMPLabel Smoothing标签平滑EMA指数移动平均Monte Carlo DropoutDropConnect变体Dropout与贝叶斯近似RMSNormWeight NormalizationSGD+Momentum动量WarmupSophia数据增强策略Stochastic Weight Averaging
生成模型48 篇
DCGAN卷积GAN逆自回归流重参数化条件VAEVAE架构VQ-VAEVAE架构与编码解码条件VAE CVAEVAE与AE区别β-VAE解耦VQ-VAE离散向量量化训练技巧模式崩溃DCGAN/StyleGAN条件生成CGANWasserstein GAN模式崩溃Mode Collapse流模型原理谱归一化Spectral Norm应用场景RealNVP耦合层标准化流Change of VariablesGlowMAF掩码自回归流Neural ODE流DDPM/DDIM逆自回归流IAF连续标准化流CNFClassifier-Free GuidanceDiTDDIM确定性采样DDPM去噪扩散概率Flow Matching流匹配Score Matching分数匹配DiT扩散TransformerClassifier-Free Guidance无分类引导ELBO重参数化技巧ReparameterizationELBO证据下界推导GAN原理条件生成StyleGAN风格控制GAN对抗训练原理RealNVPGlow可逆1x1卷积Score MatchingLatent Diffusion LDMLatent Diffusion
JAX框架46 篇
设备放置多GPU训练检查点管理纯函数设计grad/jit/vmap函数变换pytree随机数PRNGpmap多设备并行纯函数设计范式PRNG显式随机数XLA编译pytree树结构jax.numpy与numpy兼容设备放置Device PlacementXLA编译原理性能基准测试jit的陷阱与限制内存分析与profilingTPU训练SPMD数据并行数据并行Data ParallelFlax模块系统Mesh与GSPMDFSDP与ZeROLinenoop训练Linenoop训练循环Optax优化器库Optax优化器模型序列化Flax模块系统nn.Module模型序列化与导出Orbax检查点框架Flax与HuggingFace集成调试技巧多GPU数据并行静态形状与动态形状pmap并行grad/jit/vmapJAX与PyTorch对比JIT调试技巧TPU训练编程模型并行SPMD单程序多数据模型并行Model Parallel检查点管理Checkpoint
对比学习与自监督学习23 篇
BYOL无负样本MoCo动量编码器与队列SimSiam孪生网络SwAV聚类分配DINO/DINOv2SigLIPSwin Transformer自监督SimMIMConvNeXt自监督下游迁移评估CLIP对比学习深入DataComp数据质量Chinese-CLIP3D-文本对比自监督学习范式SimCLR数据增强策略Barlow Twins冗余消减对比损失InfoNCEBEiT图像TokeniBOTBLIP/ViLTMAE掩码重建视频文本对比
元学习与小样本学习21 篇
元学习问题定义Prototypical Networks原型网络Relation NetworksReptile简化半监督小样本元学习优化器LSTM度量学习方法跨域小样本小样本与大模型结合(In-context learning)Prototypical Network原型网络Few-Shot Learning小样本学习元学习在药物发现中的应用元学习在自动驾驶中的应用Task-Agnostic Meta-Learning元强化学习Meta-RLMatching NetworksMAML模型无关元学习Few-shot分类零样本迁移Meta-SGD快速适应Bayesian Meta-Learning贝叶斯元学习
AI编译与算子优化36 篇
计算图优化(常量折叠/算子融合/死代码消除)自动调优器(AutoTVM)与调优空间设计算子切分与tiling的数据分块策略内存层级优化与cache locality分析TensorIR的schedule原语(reorder/split/cache_read)BYOC桥接TensorRT/ACL等外部库的混合编译MLC-LLM的编译优化与端侧部署AutoScheduler的成本模型与XGBoost调优Triton编程模型的块级(block)数据视图目标硬件特性(CPU SIMD/GPU Tensor Core)映射BLOCK_SIZE与num_warps的硬件调优LayerNorm/RMSNorm的高效kernel编写Triton的MatMul实现与tensor core调用算子融合(linear+gelu/attention融合)Triton与PyTorch的torch.library对接持久化kernel(persistent kernel)设计Ansor三级调度空间推导(sketch/annotation/random)基于代价模型的性能预估XGBoost特征演化搜索与遗传算法的schedule采样调度原语空间(rfactor/cache_read等)枚举Schedule搜索的cost model在线更新AutoTune的TuningRecords持久化与迁移AutoSchedule与人工schedule的混合策略Dlight简易调度框架的pass组合Tuning循环的early termination与剪枝TVM的Relay IR与TIR两层中间表示TVMScript元调度的高级调度原语组合tl.load/tl.store的内存访问模式与掩码自动调优triton.autotune配置空间动态shape支持与SymbolicVar机制Softmax/FlashAttention的Triton手写实现TMA Tensor Memory Accelerator Hopper特性跨block规约(reduce)与原子操作MetaSchedule的PostOrder/PostOrderApply APIScheduleRule的模板化模式匹配TaskScheduler多任务并行调度的负载均衡
返回 知识体系总目录 查看其他篇章。