AIQZ.CC

大模型篇

大模型应用层 · 8 章 411 篇知识点,章内按学习顺序排列。

同方向:大模型篇AI应用开发篇AIGC内容创作与创意篇

大模型原理55 篇

Flash Attention分块计算与IO优化架构改进计算缩放数据缩放数据量缩放规律计算量FLOPs估算架构改进(RoPE/GQA/SwiGLU/RMSNorm)稀疏激活Grok开源模型家族Flash Attention反向传播Mistral/Mixtral架构演进数据质量Chinchilla定律Kaplan定律Ring Attention / 环形注意力:跨设备长序列注意力分块计算推理缩放涌现能力Kaplan缩放定律超参数缩放规律涌现能力与临界点上下文学习ICL指令遵循上下文学习ICL机制工具使用元认知能力思维链CoT推理顿悟能力GrokkingIn-context示例Few-shot学习模式识别与泛化限制分析Prompt设计原则Few-shot提示学习ICL与微调对比ICL失败模式长上下文扩展参数缩放Diffusion Transformer(DiT):Transformer替代U-Net的扩散架构参数量与性能关系Meta Llama 4架构与创新Flash Attention V1/V2/V3原理数据质量过滤State Space Model(SSM):Mamba/RWKV线性复杂度序列建模指令缩放自我改进推理时间缩放(Chain-of-Thought)Chinchilla数据效率Prompt设计指令遵循能力In-context示例选择自我改进Self-Improve思维链CoTICL的理论分析工具使用Tool Use模式识别

大模型微调与对齐64 篇

DoRA权重分解对话格式指令数据构建全参数微调小参数适配多任务微调对话格式(ChatML/Vicuna)领域微调(代码/医学/法律)多任务混合微调全参数SFT小参数适配器PPO训练DPO直接偏好奖励模型RLAIFAdapter Tuning奖励模型RM训练DPO直接偏好优化RLAIF AI反馈对齐对齐税与性能权衡Group Relative Policy Optimization(GRPO):群体相对策略优化(DeepSeek R1)迭代对齐DPO+RMSimPO:无参考模型的简单偏好优化AdapterQLoRA 4bit量化微调多LoRA管理价值观对齐LoRA合并与部署宪法AI价值观对齐RLHF越狱防御越狱攻击与防御红队测试Red Teaming宪法AI Constitutional AI知识注入安全评测基准多语言安全对齐NeMo Guardrails / Guardrails AI:开源护栏工具对比ROME/MEMIT持续学习遗忘学习知识注入与更新ROME/MEMIT知识编辑机器遗忘Machine Unlearning模型编辑评估指标持续学习Continual LearningQLoRA量化指令数据构建(自指令/Evol-Instruct)SFT数据质量与多样性迭代对齐PPO近端策略优化GRPO群体相对策略LoRA原理LoRA低秩适配原理安全分类器安全分类器与规则Prefix Tuning/P-Tuning多LoRA管理与切换红队测试Guardrails / AI护栏:输出约束与安全护栏框架Prefix Tuning知识定位神经元级编辑模型编辑评估

大模型部署与推理72 篇

INT4/INT2极低比特量化MLC-LLMKV Cache原理INT8量化INT4/INT2量化AWQGPTQ二阶Hessian量化量化误差分析INT8量化(对称/非对称)AWQ激活感知量化Cache量化Prefix CacheKV Cache原理与内存分析推测解码Chunked PrefillPrefix Cache前缀缓存KV Cache offloadingPagedAttention分页注意力RadixAttention前缀树缓存投机解码连续批处理Medusa并行解码(自回归/非自回归)批量推理BatchingMedusa多头预测连续批处理Continuous BatchingTGITensorRT-LLMllama.cppTensorRT-LLM(NVIDIA)MLC-LLM(移动端)llama.cpp(CPU/边缘推理)vLLM PagedAttention引擎LMDeploy部署框架SGLang结构化生成Triton Inference Server多框架后端Hugging Face TGI推理服务Triton多模型版本管理Intel oneAPI跨平台编程端云协同离线推理模型压缩SYCL异构并行编程移动端部署(MLC/llama.cpp)离线推理与缓存隐私保护模型压缩(剪枝/蒸馏/量化)隐私保护推理WebGPU浏览器推理端-云协同推理架构联邦推理(多设备协同)移动端大模型压缩部署实战GPTQSmoothQuant平滑量化PagedAttentionKV Cache量化压缩推测解码Speculative Decoding量化感知训练QAT并行解码注意力卸载批量推理投机解码SpeculativeTGI(HuggingFace TGI)vLLMTriton模型集成与HTTP/gRPCBentoML/BentoCloud推理服务Triton动态批处理与序列批处理端云协同推理Ray Serve分布式推理嵌入式设备部署移动端部署模型热更新与灰度推理

多模态大模型47 篇

视觉编码器Qwen-VL视觉编码器CLIP ViTLLaVA架构与投影层投影层设计Qwen-VL中文多模态分辨率适配(Patch/AnyRes)GPT-4o架构视觉token压缩动态分辨率GPT-4o原生多模态架构实时交互模态融合任意模态输入任意模态输入输出模态融合策略(Early/Late Fusion)实时交互与延迟优化音频模态集成机器人控制视觉-语言-动作PaLM-ERT-2视觉-语言-动作VLA模型RT-2视觉语言动作机器人控制策略视频世界模型Sim-to-Real迁移Sora架构物理模拟Sora DiT视频生成架构交互式世界物理模拟与一致性世界模型评估长视频生成一致性UniSim统一世界模拟器LLaVA架构分辨率适配投影层设计(MLP/Q-Former)原生多模态视频模态理解OpenVLA原生多模态预训练PaLM-E具身多模态OpenVLA开源模型交互式世界模型具身操作任务长视频生成

分布式训练59 篇

Hugging Face PEFT参数高效微调分布式训练调试技巧故障恢复与断点续训Hugging Face Datasets/TokenizersHugging Face Accelerate分布式加速同步SGD异步SGD同步SGD All-ReduceFSDP梯度聚合ZeRO-1/2/3阶段划分FSDP全分片数据并行梯度累积Gradient Accumulation异步SGD与梯度延迟通信开销通信与计算重叠Megatron-LM列并行负载均衡策略通信开销分析Megatron-LM张量并行PipeDream2D/3D张量并行GPipePipeDream异步流水线interleavedGPipe流水线并行1F1B调度策略Interleaved交叉流水线气泡Bubble分析DeepSpeed流水线与张量并行组合DeepSpeed ZeRO引擎混合策略3D并行Megatron-LM训练框架ColossalAI多维并行混合并行策略选择并行通信拓扑优化训练过程可视化Wandb/TensorBoard深入通信效率优化(梯度压缩/稀疏)Unsloth高效微调框架TorchTitan PyTorch分布式训练Axolotl分布式微调梯度聚合通信优化ZeRO-1/2/3行并行列并行(Column Parallel)1F1B行并行(Row Parallel)气泡分析微批次Micro-batch序列并行Sequence Parallel3D并行(数据+张量+流水线)Elastic Training弹性训练ColossalAIbitsandbytes量化库Megatron-DeepSpeed组合LLaMA-Factory微调框架

端侧大模型与边缘部署33 篇

GGUF格式与llama.cpp量化方案KV Cache压缩:量化/剪枝/分页管理Android NNAPI硬件加速抽象层AWQ激活感知权重量化与保护显著权重GPTQ分组量化与层间误差补偿动态蒸馏与数据增强蒸馏方法量化后校准与精度恢复技术模型压缩效果评估与基准测试Apple MLX框架与统一内存架构优化ONNX Runtime Mobile轻量推理引擎推理批处理与请求合并优化Web端推理:ONNX.js/TensorFlow.js/WASM端侧模型热更新与版本管理框架选型:延迟/功耗/精度综合权衡MobileLLM架构设计与深度浅层优化滑动窗口注意力SWA与长文本处理Google Gemma轻量系列与端侧适配投机解码Speculative Decoding加速移动端内存限制下的模型加载策略量化感知训练QAT提升端侧精度端侧LLM应用场景:输入法/助手/翻译移动LLM功耗优化与热管理Core ML Apple生态模型部署与Neural Engine非结构化稀疏化与Sparse Matrix加速INT4/INT8/FP16量化精度对比与适用场景结构化剪枝与彩票假说LTH知识蒸馏:教师-学生模型训练策略混合精度量化与逐层敏感度分析llama.cpp跨平台推理与CPU/GPU后端Microsoft Phi系列小模型能力分析端侧推理内存管理与模型分片加载TensorFlow Lite与LiteRT运行时端云协同推理:任务卸载与模型路由

高级Agent框架与多智能体36 篇

工具调用(tool use)Function Calling机制CAMEL交流式Agent的角色扮演范式AutoGPT的任务分解-执行-反思循环BabyAGI的任务优先级队列管理Plan-and-Execute规划器与执行器分离ReAct推理-行动交替的prompt模板Tree of Thoughts(ToT)树搜索式推理LongAgent长文档增量式AgentAgentBench多任务基准与失败模式分析State/Channel状态模式的reducer设计循环边(Cycle)实现人机协同(human-in-the-loop)条件边(Conditional Edge)动态分支路由Send/Command API的动态状态更新Stream模式的事件流式输出(updates/values)LangGraph与LangChain LCEL组合使用CrewAI的Role/Goal/Backstory角色定义MetaGPT角色(Role)的Profile/Actions订阅MetaGPT的SOP标准作业流程建模CrewAI的Task+Process(顺序/层级)协作AutoGen ConversableAgent的对话协议多智能体评测AgentVerse/AgentSims基准投票/共识机制的多智能体决策多智能体系统的涌现行为与安全对齐持久化(Persistence)checkpoint与时间旅行ChatDev虚拟软件公司的多角色流水线Reflexion自我反思与长时记忆写入短期记忆向量数据库(Pinecone/Chroma)接入LangGraph有向无环图(DAG)状态机建模MRKL System的神经-符号模块路由Voyager持续学习技能库与课程学习子图(Subgraph)模块化复杂Agent拆分并行节点(Map-Reduce)并发执行模型节点(Node)与边(Edge)的有状态流转LangGraph Studio可视化调试Agent轨迹GroupChatManager的多智能体调度策略多智能体通信协议(共享黑板/消息队列)

小语言模型与端侧AI45 篇

Cohere Command R/R+Anyscale弹性推理Claude 4 Opus/SonnetClaude Opus系列模型特性Ollama本地模型管理Meta Llama 3.2/4轻量版微软Phi系列(Phi-3/Phi-4)小语言模型(SLM)定义与优势SLM vs LLM适用场景分析SLM评测基准(MMLU/HellaSwag)DeepSeek-Coder小模型GPT-5系列模型Mistral 7B/Mixtral 8x7BDeepSeek-R1推理模型通义千问Qwen-Max/Plus/TurboDeepSeek-V3 MoE架构Transformers.js浏览器推理llama.cpp量化推理GGUF/GGML模型格式MLX Apple Silicon加速OpenRouter模型路由端侧推理性能基准端云协同推理架构LanceDB列式向量数据库Sentence Transformers(Nils Reimers)Fireworks AI无服务器推理Together AI推理平台MLX Swift Apple端侧Replicate模型托管GroqCloud极速推理SLM安全性评估SLM工具调用与函数SLM成本优势分析SLM多Agent协作SLM微调与适配SLM在IoT设备部署Google Gemma/Gemma-2阿里Qwen2.5-0.5B/1.5B/7BLM Studio桌面端推理SLM作为Agent基座模型Gemini 2 Pro/Ultra/Flash模型量化(4-bit/8-bit)01.ai Yi系列开源模型SLM实时推理优化SLM Agent设计模式

返回 知识体系总目录 查看其他篇章。