算法岗

多模态算法工程师

多模态融合、视觉语言模型、跨模态理解与生成

参考薪资 30-55K
200知识点
67学时
24000积分
16工具
开始学习
CHAPTER 01

岗位说明

多模态融合、视觉语言模型、跨模态理解与生成

本课程路径为【多模态算法工程师】量身设计，聚焦算法与模型研发方向。 岗位描述：多模态融合、视觉语言模型、跨模态理解与生成。 学习路径分4个阶段递进：AI核心理论（100个知识点，涵盖深度学习、AI应用领域） → 大模型应用（44个知识点，涵盖大模型） → 实践应用（22个知识点，涵盖多模态与音视频AI） → 前沿探索（34个知识点，涵盖前沿技术）。 参考薪资：30-55K。需要掌握16个工具。 建议按顺序学习，基础阶段（了解级）快速建立概念框架，核心阶段（理解级）深入掌握关键技术，实践阶段（熟练级）达到工程应用能力。

岗位分类
算法岗
参考薪资
30-55K（月·一线城市参考）
学习规模
200 个知识点 · 约 67 学时 · 16 个工具
已上线课程
201 节可直接学习
CHAPTER 02

现状与前景

多模态是AI的终极形态。GPT-4o、Gemini都在向多模态进化，未来AI必须能同时理解文字、图像、音频和视频。学习多模态意味着站在AI发展的最前沿，这是通往AGI的关键方向。

CHAPTER 03

招聘数据

薪资区间

30-55K

数据来源于主流招聘平台 AI 岗位统计，一线城市 3-5 年经验参考。

岗位竞争力和成长

完成全部 200 节课程并通过面试题测试，可获得 24000 成长积分，覆盖该岗位 16 个核心工具与全部技能要求。

CHAPTER 04

能力雷达图

深度学习AI应用大模型前沿技术多模态音视频
深度学习 100
AI应用 86
大模型 86
前沿技术 55
多模态音视频 46
CHAPTER 05

工具树（16）

训练框架 · 7
PyTorchTensorFlowHugging FaceTransformersAcceleratePEFTDeepSpeed
可观测性 · 1
MLflow
LLM框架 · 2
Google ADKOpenAI Agents SDK
AI语音Agent · 1
LiveKit Agents
其他 · 5
gpt_5gemini_3qwen_3claude_4_sonnetllama_4_maverick
CHAPTER 06

项目树

图文理解系统

基于VLM的图像内容理解与问答，支持复杂场景的视觉推理

视频问答与理解

长视频内容理解与时序推理，支持事件定位与摘要生成

多模态搜索引擎

以图搜图、以文搜图的跨模态检索系统，支持图文混合查询

智能内容审核

图文视频多模态联合审核，识别违规内容与有害信息

视觉对话助手

结合图像理解与对话生成的多模态交互Agent

日常工作任务

  • 每日多模态数据对齐与清洗，构建图文/视频配对训练集
  • 每日VLM模型训练与微调，迭代视觉编码器与语言模型融合
  • 每周跨模态评测，维护多模态benchmark与bad case分析
  • 按项目融合策略优化，改进模态间注意力与特征交互
  • 按项目训练数据清洗与质量提升，过滤噪声样本
  • 按项目模型压缩与推理加速，适配实际部署资源
  • 按季度前沿多模态论文复现与技术预研
  • 按季度技术方案文档与团队分享

核心交付物

多模态模型权重评测基准数据对齐方案技术方案文档Demo应用

协作对象

NLP工程师CV工程师数据工程师产品经理测试工程师
CHAPTER 07

学习目录（可直达课程）

第1篇系统
系统1 节
  1. 了解 欢迎来到AIQZ.CC 6分钟
第2篇深度学习篇
神经网络基础7 节
  1. 浅读 感知机：神经网络的最小单元 22分钟 · 80分
  2. 浅读 权重初始化：Xavier与He方法 16分钟 · 80分
  3. 浅读 Co-training：多视角半监督学习 16分钟 · 80分
  4. 浅读 梯度消失与爆炸：深层网络的顽疾 17分钟 · 80分
  5. 浅读 ReLU家族激活函数演进全梳理 12分钟 · 80分
  6. 浅读 GELU详解：高斯误差的激活智慧 17分钟 · 80分
  7. 浅读 Contrastive Loss 19分钟 · 80分
卷积神经网络CNN6 节
  1. 浅读 CNN中的卷积与互相关：区别与联系 18分钟 · 80分
  2. 浅读 EfficientNet：复合缩放CNN 19分钟 · 80分
  3. 浅读 从R-CNN到Mask R-CNN的检测家族演进 20分钟 · 80分
  4. 浅读 Anchor-free检测：CenterNet与FCOS 21分钟 · 80分
  5. 浅读 SegFormer语义分割的Transformer革新 17分钟 · 80分
  6. 理解 Anchor-free：无锚框目标检测 21分钟 · 120分
循环神经网络RNN5 节
  1. 浅读 RNN循环结构如何处理变长序列 17分钟 · 80分
  2. 浅读 RNN变体演进：从LSTM到GRU家族 14分钟 · 80分
  3. 浅读 编码器-解码器：序列到序列的黄金框架 13分钟 · 80分
  4. 浅读 Coverage机制：终结Seq2Seq的重复生成 18分钟 · 80分
  5. 浅读 RNN中的多头注意力 19分钟 · 80分
Transformer架构9 节
  1. 浅读 稀疏注意力：用更少连接处理更长序列 17分钟 · 80分
  2. 浅读 MQA多查询注意力：用共享KV加速推理 16分钟 · 80分
  3. 浅读 归一化进阶：IN与GN的风格迁移与小batch实战 18分钟 · 80分
  4. 浅读 Transformer中的前馈网络FFN结构 16分钟 · 80分
  5. 浅读 ALiBi位置编码：线性偏置替代方案 15分钟 · 80分
  6. 浅读 ELECTRA：高效预训练方法 16分钟 · 80分
  7. 浅读 MoE混合专家模型架构入门 20分钟 · 80分
  8. 浅读 RWKV架构原理RNN的Transformer式复兴 17分钟 · 80分
  9. 浅读 MoE混合专家模型架构入门 20分钟 · 80分
图神经网络GNN4 节
  1. 浅读 图的核心要素：节点、边与度 17分钟 · 80分
  2. 浅读 GraphSAGE采样策略：GNN效率优化 16分钟 · 80分
  3. 浅读 读出函数：把节点特征变成图特征 16分钟 · 80分
  4. 浅读 链接预测：推断图中隐藏的关系 1分钟 · 80分
正则化与优化5 节
  1. 浅读 标准Dropout：最经典的正则化技巧 18分钟 · 80分
  2. 理解 Dropout与贝叶斯近似：理论联系 24分钟 · 120分
  3. 理解 GN归一化：摆脱Batch依赖 17分钟 · 120分
  4. 理解 Adam/AdamW权重衰减：正则化优化 18分钟 · 120分
  5. 理解 Label Smoothing标签平滑训练技巧 21分钟 · 120分
生成模型6 节
  1. 理解 ELBO：变分下界基础 20分钟 · 120分
  2. 理解 β-VAE解耦表示学习原理 18分钟 · 120分
  3. 理解 StyleGAN如何实现精准风格控制 24分钟 · 120分
  4. 理解 标准化流应用：从密度估计到数据生成 20分钟 · 120分
  5. 理解 Classifier-Free Guidance：扩散模型引导 20分钟 · 120分
  6. 理解 Flow Matching：生成模型的新范式 40分钟 · 120分
JAX框架5 节
  1. 理解 深入理解JAX pytree树结构机制 18分钟 · 120分
  2. 理解 Device Placement：JAX多设备调度 28分钟 · 120分
  3. 理解 JAX模型并行：大模型塞进多张卡 20分钟 · 120分
  4. 理解 JAX Flax框架Linenoop训练实践 21分钟 · 120分
  5. 理解 Flax携手HuggingFace：模型生态打通 20分钟 · 120分
对比学习与自监督学习2 节
  1. 理解 Barlow Twins：冗余消减自监督 25分钟 · 120分
  2. 理解 SigLIP用Sigmoid改进多模态对比学习 18分钟 · 120分
元学习与小样本学习2 节
  1. 理解 Matching Networks小样本学习原理 22分钟 · 120分
  2. 理解 大模型上下文学习小样本新玩法 1分钟 · 120分
AI编译与算子优化4 节
  1. 理解 TVM双层中间表示Relay与TIR 17分钟 · 120分
  2. 理解 AutoScheduler：成本模型与XGBoost调优 24分钟 · 120分
  3. 理解 Triton算子融合Linear与Attention 13分钟 · 120分
  4. 理解 TVM调度原语空间枚举 17分钟 · 120分
第3篇AI应用领域篇
自然语言处理NLP7 节
  1. 理解 NLP词性标注入门到精通指南 28分钟 · 120分
  2. 理解 成分句法分析树结构 24分钟 · 120分
  3. 理解 ELmo：上下文词嵌入表示 24分钟 · 120分
  4. 理解 细粒度情感分析进阶实战 22分钟 · 120分
  5. 理解 回译数据增强提升翻译质量 20分钟 · 120分
  6. 理解 检索式问答系统搭建指南 20分钟 · 120分
  7. 理解 RAG让问答系统告别胡说八道 19分钟 · 120分
计算机视觉CV6 节
  1. 理解 知识蒸馏KD进阶技巧实战 22分钟 · 120分
  2. 理解 RepLKNet大核卷积设计原理与效率优化 21分钟 · 120分
  3. 理解 开放词汇目标检测新范式 17分钟 · 120分
  4. 理解 深度学习抠图Matting进阶 25分钟 · 120分
  5. 理解 CRNN与CTC文字识别 24分钟 · 120分
  6. 理解 SLAM技术全景：实时定位与建图的核心方法 22分钟 · 120分
语音技术5 节
  1. 理解 CTC解码：语音识别输出方法 18分钟 · 120分
  2. 理解 ASR评估WER：语音识别质量指标 22分钟 · 120分
  3. 理解 少样本声音克隆技术 25分钟 · 120分
  4. 理解 声纹验证实战：用声音确认你是你 19分钟 · 120分
  5. 理解 语音分离：把重叠的人声拆开来 22分钟 · 120分
推荐系统7 节
  1. 理解 物品协同过滤：物以类聚的推荐逻辑 17分钟 · 120分
  2. 理解 ALS交替最小二乘：协同过滤算法 18分钟 · 120分
  3. 理解 RoPE旋转矩阵编码与NTK长度外推 18分钟 · 120分
  4. 理解 DIN/DIEN：深度兴趣推荐模型 20分钟 · 120分
  5. 理解 DCN与xDeepFM：自动学习特征交叉 17分钟 · 120分
  6. 理解 重排与多样性协同：打造舒适的信息流 22分钟 · 120分
  7. 理解 基于内容的推荐CB：靠物品属性做匹配 23分钟 · 120分
多模态AI5 节
  1. 理解 CLIP对比学习：图文对齐方法 19分钟 · 120分
  2. 理解 指代表达：一句话框出图里的目标 20分钟 · 120分
  3. 理解 视觉问答VQA：看图回答你的问题 21分钟 · 120分
  4. 理解 视觉蕴含VE：判断图文是否一致 20分钟 · 120分
  5. 理解 InstructPix2Pix：语言指令驱动图像编辑 22分钟 · 120分
视频理解与分析3 节
  1. 理解 ViViT视频Transformer：时空建模原理 30分钟 · 120分
  2. 理解 LDM潜空间压缩降低计算成本原理 21分钟 · 120分
  3. 理解 VideoQA视频问答：让AI看懂视频回答问题 22分钟 · 120分
信息抽取与知识图谱2 节
  1. 理解 嵌套NER：识别层层嵌套的实体结构 19分钟 · 120分
  2. 理解 实体对齐：把不同图谱里的同一实体合并 22分钟 · 120分
搜索与信息检索2 节
  1. 理解 语言模型检索：用LM给文档打分排序 19分钟 · 120分
  2. 理解 在线排序：实时给搜索结果排序 18分钟 · 120分
医学影像AI4 节
  1. 理解 nnU-Net自适应医学影像分割配置 21分钟 · 120分
  2. 理解 医学影像分割后处理：连通域形态学与CRF 21分钟 · 120分
  3. 理解 糖网分级AI：眼底图像自动分级 22分钟 · 120分
  4. 理解 医学VQA-RAD数据集与GLoRIA模型 26分钟 · 120分
生物特征识别3 节
  1. 理解 人脸识别中的1:1验证与1:N识别有何不同 18分钟 · 120分
  2. 理解 虹膜编码：用0和1锁定你的眼睛 22分钟 · 120分
  3. 理解 鼠标和触摸也能认出你是谁 20分钟 · 120分
代码智能与程序合成2 节
  1. 理解 HumanEval与MBPP：AI代码生成能力怎么测 25分钟 · 120分
  2. 理解 用数学证明代码正确：形式化验证入门 18分钟 · 120分
第4篇大模型篇
大模型原理5 节
  1. 浅读 Flash Attention分块加速训练与显存优化 14分钟 · 80分
  2. 浅读 大模型训练数据质量评估 20分钟 · 80分
  3. 浅读 大模型超参数缩放规律 18分钟 · 80分
  4. 浅读 大模型自我改进Self-Improve实践 17分钟 · 80分
  5. 浅读 In-context示例选择的最优策略 22分钟 · 80分
大模型微调与对齐7 节
  1. 浅读 大模型全参数微调实践指南 16分钟 · 80分
  2. 浅读 大模型RLHF中PPO训练实战指南 15分钟 · 80分
  3. 浅读 DPO加RM迭代对齐怎么做 15分钟 · 80分
  4. 浅读 LoRA低秩适配：用极少参数微调大模型的秘密 17分钟 · 80分
  5. 浅读 红队测试：怎么找出AI的漏洞 14分钟 · 80分
  6. 浅读 AI护栏框架：输出约束与安全 20分钟 · 80分
  7. 浅读 机器遗忘让大模型学会忘掉 18分钟 · 80分
大模型部署与推理8 节
  1. 浅读 INT8对称与非对称量化 20分钟 · 80分
  2. 浅读 Cache量化：KV Cache内存优化 19分钟 · 80分
  3. 浅读 Medusa多头推测解码加速推理 16分钟 · 80分
  4. 浅读 Chunked Prefill：大模型推理加速 18分钟 · 80分
  5. 浅读 NVIDIA TensorRT-LLM推理优化 19分钟 · 80分
  6. 理解 Ray Serve分布式大模型推理实战 19分钟 · 120分
  7. 理解 MLC与llama.cpp移动端部署实战 22分钟 · 120分
  8. 理解 移动端大模型压缩部署全流程实战 18分钟 · 120分
多模态大模型5 节
  1. 理解 MLP与Q-Former投影层设计对比 20分钟 · 120分
  2. 理解 GPT-4o原生多模态架构深度剖析 19分钟 · 120分
  3. 理解 RT-2视觉语言动作模型 26分钟 · 120分
  4. 理解 Sora视频生成架构原理 19分钟 · 120分
  5. 理解 UniSim统一世界模拟器 24分钟 · 120分
分布式训练6 节
  1. 理解 ZeRO-1/2/3阶段划分选型指南 19分钟 · 120分
  2. 理解 列并行张量并行原理 15分钟 · 120分
  3. 理解 Interleaved交叉流水线并行 15分钟 · 120分
  4. 理解 DeepSpeed分布式训练框架 17分钟 · 120分
  5. 理解 混合并行策略选择实战指南 18分钟 · 120分
  6. 理解 PEFT参数高效微调技术实战 18分钟 · 120分
端侧大模型与边缘部署4 节
  1. 理解 GGUF加llama.cpp：端侧量化部署 25分钟 · 120分
  2. 理解 Apple MLX：统一内存AI框架 17分钟 · 120分
  3. 理解 MobileLLM端侧大模型架构优化 21分钟 · 120分
  4. 理解 移动LLM功耗与热管理 18分钟 · 120分
高级Agent框架与多智能体3 节
  1. 理解 MRKL系统：神经与符号模块的智能路由 21分钟 · 120分
  2. 理解 LangGraph子图模块化拆分 25分钟 · 120分
  3. 理解 AutoGen ConversableAgent：对话协议设计 19分钟 · 120分
小语言模型与端侧AI5 节
  1. 理解 小语言模型SLM核心优势 1分钟 · 120分
  2. 理解 为什么选择SLM作为Agent的基座模型 24分钟 · 120分
  3. 理解 Claude Opus：Anthropic旗舰模型 21分钟 · 120分
  4. 理解 端云协同推理架构设计 21分钟 · 120分
  5. 理解 小语言模型Agent设计模式 20分钟 · 120分
第5篇多模态与音视频AI篇
音频AI6 节
  1. 理解 端到端ASR：CTC与Transducer 22分钟 · 120分
  2. 理解 ASR评估：WER/CER与实时率指标 20分钟 · 120分
  3. 理解 Bark：多语言情感TTS模型 14分钟 · 120分
  4. 理解 AudioLDM：潜在扩散音乐生成模型 11分钟 · 120分
  5. 理解 环境声音分类ESC-50实战 28分钟 · 120分
  6. 理解 多模态音频文本对齐方法 22分钟 · 120分
视频AI5 节
  1. 理解 自监督视频表示学习方法 23分钟 · 120分
  2. 精通 视频扩散模型基础原理 25分钟 · 180分
  3. 精通 视频生成版权伦理风险分析 22分钟 · 180分
  4. 精通 视频去噪与稳定化处理 25分钟 · 180分
  5. 精通 身体姿态SMPL骨架驱动 18分钟 · 180分
多模态融合6 节
  1. 精通 CLIP预训练：数据与对比损失 19分钟 · 180分
  2. 精通 多模态表示蒸馏压缩技术 18分钟 · 180分
  3. 精通 Qwen-VL领衔国产多模态大模型盘点 23分钟 · 180分
  4. 精通 VLN指令理解与地标识别 26分钟 · 180分
  5. 精通 多模态Agent的定义与架构 26分钟 · 180分
  6. 精通 GPT-4o与Claude3：多模态Agent代表系统 13分钟 · 180分
实时交互5 节
  1. 精通 打断处理与双工对话技术 25分钟 · 180分
  2. 精通 SimulMT同声传译模型架构与策略 23分钟 · 180分
  3. 精通 文本情感分析细粒度方面级 22分钟 · 180分
  4. 精通 情感计算应用客服教育驾驶 23分钟 · 180分
  5. 精通 人形机器人多模态交互：对话手势表情一体化 23分钟 · 180分
第6篇前沿技术篇
Agentic AI5 节
  1. 理解 Agent推理：Tree of Thoughts范式 18分钟 · 120分
  2. 理解 详解图神经网络风控：交易网络GNN异常检测、账户关联图谱Em 21分钟 · 120分
  3. 理解 大模型结合符号规划的自主决策方法 19分钟 · 120分
  4. 理解 深入理解并行工具 20分钟 · 120分
  5. 理解 深入理解工具冲突解决 25分钟 · 120分
推理模型6 节
  1. 理解 RLHF与RLVR结合训练推理模型的思路 30分钟 · 120分
  2. 理解 PLE双层专家分离缓解负迁移机制 20分钟 · 120分
  3. 理解 推理模型隐式CoT驱动的慢思考范式 24分钟 · 120分
  4. 理解 Zero-shot CoT零样本思维链推理揭秘 19分钟 · 120分
  5. 理解 深入理解搜索策略MCTS 20分钟 · 120分
  6. 理解 自我博弈如何训练出推理能力超强的模型 21分钟 · 120分
具身智能3 节
  1. 理解 Octo通用策略：一个模型控制多种机器人 28分钟 · 120分
  2. 理解 Sim2Real关键：仿真环境搭建指南 19分钟 · 120分
  3. 理解 深入理解真实数据微调 21分钟 · 120分
世界模型与视频生成2 节
  1. 理解 深入理解时空Patch编码 1分钟 · 120分
  2. 理解 深入理解物理约束训练 23分钟 · 120分
AI编程助手1 节
  1. 精通 深入理解多文件编辑 23分钟 · 180分
AI安全与对齐前沿3 节
  1. 精通 RLAIF反馈机制如何突破人类标注瓶颈 26分钟 · 180分
  2. 精通 可扩展监督：人机协作标注的对齐新范式 26分钟 · 180分
  3. 精通 深入理解过对齐问题 23分钟 · 180分
空间智能与世界模型4 节
  1. 精通 深入理解强化学习中的Model-Based方法 23分钟 · 180分
  2. 精通 室内场景图生成与对象关系推理完全指南 19分钟 · 180分
  3. 精通 深入理解语义SLAM与动态环境建图 25分钟 · 180分
  4. 精通 深入理解模拟到真实Sim2Real迁移 22分钟 · 180分
AI+能源与可持续发展1 节
  1. 精通 深入理解碳排放监测与预测 20分钟 · 180分
代码智能与程序合成2 节
  1. 精通 深入理解程序依赖图 24分钟 · 180分
  2. 精通 AI代码优化建议：让程序合成帮你重构代码 18分钟 · 180分
AI定理证明2 节
  1. 精通 一阶逻辑与归结推理原理 20分钟 · 180分
  2. 精通 Lean Copilot辅助定理证明工具实战 29分钟 · 180分
群体智能2 节
  1. 精通 深入理解蚁群算法ACO 19分钟 · 180分
  2. 精通 多智能体分布式感知与决策：群体智能核心 20分钟 · 180分
第7篇机器人学与自动化篇
规划与控制1 节
  1. 理解 深入理解操作技能学习 23分钟 · 120分
第8篇AI评测与基准测试篇
模型能力维度评估1 节
  1. 精通 AI代码补全能力评测：方法和基准 24分钟 · 180分
第9篇AI实践项目篇
开源项目贡献1 节
  1. 精通 Bug修复：PyTorch开源贡献 22分钟 · 180分
AIQZ.CC · 多模态算法工程师岗位说明书 · 返回星图选择岗位 · 2026