研究岗

多模态研究员

多模态学习、跨模态推理、具身智能研究

参考薪资 45-95K
180知识点
61学时
22480积分
27工具
开始学习
CHAPTER 01

岗位说明

多模态学习、跨模态推理、具身智能研究

本课程路径为【多模态研究员】量身设计，聚焦前沿研究与创新方向。 岗位描述：多模态学习、跨模态推理、具身智能研究。 学习路径分4个阶段递进：AI核心理论（80个知识点，涵盖深度学习、AI应用领域） → 大模型应用（35个知识点，涵盖大模型） → 实践应用（38个知识点，涵盖多模态与音视频AI、机器人学与自动化） → 前沿探索（27个知识点，涵盖前沿技术）。 参考薪资：45-95K。需要掌握27个工具。 建议按顺序学习，基础阶段（了解级）快速建立概念框架，核心阶段（理解级）深入掌握关键技术，实践阶段（熟练级）达到工程应用能力。

岗位分类
研究岗
参考薪资
45-95K（月·一线城市参考）
学习规模
180 个知识点 · 约 61 学时 · 27 个工具
已上线课程
181 节可直接学习
CHAPTER 02

现状与前景

多模态研究是通向AGI的关键路径。如何让模型真正"看懂"图像、"听懂"音频、"理解"视频，这些问题的答案将定义未来AI的交互方式。这个方向的研究价值不可估量。

CHAPTER 03

招聘数据

薪资区间

45-95K

数据来源于主流招聘平台 AI 岗位统计，一线城市 3-5 年经验参考。

岗位竞争力和成长

完成全部 180 节课程并通过面试题测试，可获得 22480 成长积分，覆盖该岗位 27 个核心工具与全部技能要求。

CHAPTER 04

能力雷达图

深度学习AI应用大模型前沿技术机器人多模态音视频
深度学习 100
AI应用 84
大模型 84
前沿技术 54
机器人 49
多模态音视频 47
CHAPTER 05

工具树（27）

训练框架 · 7
PyTorchTensorFlowJAXHugging FaceTransformersAccelerateDeepSpeed
可观测性 · 1
Comet ML
基础设施 · 1
CUDA
研究工具 · 7
ElicitConsensusSemantic ScholarConnected PapersResearch RabbitSciteZotero
本地推理 · 1
SGLang
LLM框架 · 3
OpenAI Agents SDKGoogle ADKCAMEL
AI语音Agent · 2
LiveKit AgentsPipecat
其他 · 5
gpt_5claude_4_opusgemini_3qwen_3llama_4_maverick
CHAPTER 06

项目树

多模态大模型研究

探索视觉-语言-音频统一架构与跨模态对齐

实时多模态Agent

构建支持实时语音/视觉输入的交互Agent

具身智能研究

研究多模态模型在机器人操控中的应用

跨模态推理

探索跨模态推理与多模态思维链

日常工作任务

  • 每日跟踪多模态前沿论文，维护研究方向综述
  • 每日设计与实现多模态模型训练/对齐实验
  • 每日在集群上运行多模态预训练与微调任务
  • 每周构建多模态评测基准，量化跨模态能力
  • 每周开发实时多模态交互Agent原型
  • 按项目撰写论文与技术报告，准备投稿
  • 按项目与机器人/产品团队对接具身智能落地
  • 按季度规划多模态研究路线图与季度目标

核心交付物

研究论文多模态模型评测基准交互Agent原型

协作对象

算法工程师CV/NLP研究员机器人团队基础设施论文合作者
CHAPTER 07

学习目录（可直达课程）

第1篇系统
系统1 节
  1. 了解 欢迎来到AIQZ.CC 6分钟
第2篇深度学习篇
神经网络基础6 节
  1. 浅读 感知机：神经网络的最小单元 22分钟 · 80分
  2. 浅读 标签噪声学习：清洗与鲁棒训练 18分钟 · 80分
  3. 浅读 自训练与自步学习：概念辨析 21分钟 · 80分
  4. 浅读 数值梯度检验：验证你的反向传播 18分钟 · 80分
  5. 浅读 GELU详解：高斯误差的激活智慧 17分钟 · 80分
  6. 浅读 KL散度损失：衡量分布差异的损失函数 14分钟 · 80分
卷积神经网络CNN5 节
  1. 浅读 深度可分离卷积：CNN轻量化的核心利器 18分钟 · 80分
  2. 浅读 EfficientNet复合缩放：架构设计 21分钟 · 80分
  3. 浅读 Anchor-free检测：CenterNet与FCOS 21分钟 · 80分
  4. 浅读 实例分割vs语义分割：一图看懂区别 19分钟 · 80分
  5. 理解 Mask R-CNN实例分割：精准勾画每个目标 17分钟 · 120分
循环神经网络RNN4 节
  1. 浅读 RNN有哪些致命局限又该如何改进 18分钟 · 80分
  2. 浅读 序列生成实战：从文本到音乐的创意应用 19分钟 · 80分
  3. 浅读 Coverage机制：终结Seq2Seq的重复生成 18分钟 · 80分
  4. 浅读 相对位置编码：突破绝对位置的泛化瓶颈 19分钟 · 80分
Transformer架构7 节
  1. 浅读 Sparse Attention：让Transformer处理超长序列 17分钟 · 80分
  2. 浅读 Mish激活函数平滑性原理与应用 17分钟 · 80分
  3. 浅读 Transformer中的前馈网络FFN结构 16分钟 · 80分
  4. 浅读 GPT自回归预训练：语言模型生成范式 21分钟 · 80分
  5. 浅读 Linear Attention线性注意力 19分钟 · 80分
  6. 浅读 RWKV线性RNN如何突破Transformer瓶颈 15分钟 · 80分
  7. 浅读 MoE混合专家模型架构入门 20分钟 · 80分
图神经网络GNN3 节
  1. 浅读 图的核心要素：节点、边与度 17分钟 · 80分
  2. 浅读 GraphSAGE聚合器：邻居信息融合 22分钟 · 80分
  3. 浅读 SortPool排序池化在图神经网络中的应用 13分钟 · 80分
正则化与优化5 节
  1. 理解 Dropout与贝叶斯近似：理论联系 24分钟 · 120分
  2. 理解 DeepNorm：深层网络归一化 17分钟 · 120分
  3. 理解 AdaBelief优化器：改进自适应学习 18分钟 · 120分
  4. 理解 随机权重平均SWA训练优化技巧 21分钟 · 120分
  5. 理解 数据增强策略：从基础到进阶全攻略 18分钟 · 120分
生成模型4 节
  1. 理解 β-VAE解耦表示学习原理 18分钟 · 120分
  2. 理解 WGAN：用Wasserstein距离解决GAN训练不稳 19分钟 · 120分
  3. 理解 MAF掩码自回归流：可逆生成的高效方案 22分钟 · 120分
  4. 理解 Latent Diffusion潜在扩散模型原理 19分钟 · 120分
JAX框架4 节
  1. 理解 深入理解JAX pytree树结构机制 18分钟 · 120分
  2. 理解 JAX JIT编译：常见调试技巧与陷阱排查 26分钟 · 120分
  3. 理解 Model Parallel in JAX：大模型分片实战 14分钟 · 120分
  4. 理解 Flax检查点管理实战指南 21分钟 · 120分
对比学习与自监督学习2 节
  1. 理解 MAE掩码自编码：视觉预训练的暴力美学 25分钟 · 120分
  2. 理解 DataComp：数据质量评估框架 22分钟 · 120分
元学习与小样本学习1 节
  1. 理解 任务无关元学习方法TAML 23分钟 · 120分
AI编译与算子优化3 节
  1. 理解 AutoScheduler：成本模型与XGBoost调优 24分钟 · 120分
  2. 理解 Triton算子对接torch.library集成 23分钟 · 120分
  3. 理解 ScheduleRule：AI编译器中的模板化调度生成 21分钟 · 120分
第3篇机器学习篇
图分析与网络科学1 节
  1. 浅读 知识图谱补全：预测缺失的关联 20分钟 · 80分
AI概论1 节
  1. 理解 多模态融合技术原理 19分钟 · 120分
第4篇AI应用领域篇
自然语言处理NLP5 节
  1. 理解 NER深度学习模型实战进阶 21分钟 · 120分
  2. 理解 ELmo：上下文词嵌入表示 24分钟 · 120分
  3. 理解 NLP关系抽取技术：识别文本中实体间的语义联系 22分钟 · 120分
  4. 理解 Back-translation回译增强进阶 22分钟 · 120分
  5. 理解 KBQA知识图谱问答进阶实战 22分钟 · 120分
计算机视觉CV5 节
  1. 理解 知识蒸馏KD进阶技巧实战 22分钟 · 120分
  2. 理解 深度可分离卷积与MobileNet演进 23分钟 · 120分
  3. 理解 CenterNet：Anchor-free目标检测 19分钟 · 120分
  4. 理解 CRNN与CTC文字识别 24分钟 · 120分
  5. 理解 NeRF神经辐射场：用神经网络重建3D场景 15分钟 · 120分
语音技术4 节
  1. 理解 CTC解码与束搜索：ASR优化 18分钟 · 120分
  2. 理解 Tacotron与FastSpeech TTS 20分钟 · 120分
  3. 理解 声纹验证实战：用声音确认你是你 19分钟 · 120分
  4. 理解 AEC实战：智能音箱的回声消除方案 20分钟 · 120分
推荐系统5 节
  1. 理解 UserCF详解：相似用户帮你做选择 18分钟 · 120分
  2. 理解 Flash Attention V2：SRAM分块降IO 14分钟 · 120分
  3. 理解 DIN/DIEN：深度兴趣推荐模型 20分钟 · 120分
  4. 理解 精排模型：推荐系统的最终决策者 19分钟 · 120分
  5. 理解 新物品冷启动：新内容如何获得曝光 23分钟 · 120分
多模态AI4 节
  1. 理解 图像描述生成：让AI看图说话 21分钟 · 120分
  2. 理解 指代表达：一句话框出图里的目标 20分钟 · 120分
  3. 理解 视觉常识：让AI看懂图里的潜规则 25分钟 · 120分
  4. 理解 多模态编辑：用指令改变图像内容 15分钟 · 120分
视频理解与分析3 节
  1. 理解 SlowFast双路径视频理解网络 19分钟 · 120分
  2. 理解 Score Distillation Sampling：从2D扩散到3D生成 24分钟 · 120分
  3. 理解 视频摘要：自动提取视频精华片段 21分钟 · 120分
信息抽取与知识图谱1 节
  1. 理解 事件关系抽取与知识图谱构建 20分钟 · 120分
搜索与信息检索2 节
  1. 理解 BM25算法：传统检索模型经典 14分钟 · 120分
  2. 理解 NDCG/MAP/MRR：排序效果的三大指标 21分钟 · 120分
医学影像AI3 节
  1. 理解 UNETR：ViT编码CNN解码混合分割 21分钟 · 120分
  2. 理解 DenseNet-121：胸片X光基线模型 25分钟 · 120分
  3. 理解 PET-CT多模态肿瘤分级AI模型 20分钟 · 120分
生物特征识别1 节
  1. 理解 人脸识别中的1:1验证与1:N识别有何不同 18分钟 · 120分
代码智能与程序合成2 节
  1. 理解 Code Llama/Codestral/StarCoder对比 24分钟 · 120分
  2. 理解 程序合成：让AI自动写程序 28分钟 · 120分
第5篇大模型篇
大模型原理4 节
  1. 浅读 Grok开源模型家族 16分钟 · 80分
  2. 浅读 大模型数据质量过滤方法 24分钟 · 80分
  3. 浅读 思维链CoT让大模型学会推理 17分钟 · 80分
  4. 浅读 In-context示例选择的最优策略 22分钟 · 80分
大模型微调与对齐5 节
  1. 浅读 对话格式：大模型怎么理解多轮对话 21分钟 · 80分
  2. 浅读 PPO近端策略优化算法原理 18分钟 · 80分
  3. 浅读 Prefix Tuning高效微调大模型原理 19分钟 · 80分
  4. 浅读 红队测试：怎么找出AI的漏洞 14分钟 · 80分
  5. 浅读 知识注入：怎么给大模型补充新知识 17分钟 · 80分
大模型部署与推理7 节
  1. 浅读 大模型INT4与INT2量化方案 17分钟 · 80分
  2. 浅读 PagedAttention分页注意力推理优化 22分钟 · 80分
  3. 浅读 Medusa多头推测解码加速推理 16分钟 · 80分
  4. 浅读 TGI大模型推理服务框架入门 17分钟 · 80分
  5. 理解 Triton推理服务器多后端部署 17分钟 · 120分
  6. 理解 端云协同大模型推理架构 20分钟 · 120分
  7. 理解 移动端大模型压缩部署全流程实战 18分钟 · 120分
多模态大模型4 节
  1. 理解 多模态模型视觉token压缩技术 20分钟 · 120分
  2. 理解 多模态模型音频模态集成方案 18分钟 · 120分
  3. 理解 具身智能操作任务实战 19分钟 · 120分
  4. 理解 世界模型评估方法与指标 20分钟 · 120分
分布式训练5 节
  1. 理解 梯度累积突破显存限制技巧 18分钟 · 120分
  2. 理解 序列并行Sequence Parallel 20分钟 · 120分
  3. 理解 微批次Micro-batch技术 21分钟 · 120分
  4. 理解 Megatron-DeepSpeed组合方案 18分钟 · 120分
  5. 理解 bitsandbytes大模型量化库使用指南 15分钟 · 120分
端侧大模型与边缘部署3 节
  1. 理解 混合精度量化敏感度分析 17分钟 · 120分
  2. 理解 端侧模型热更新机制 22分钟 · 120分
  3. 理解 端侧LLM三大应用场景 20分钟 · 120分
高级Agent框架与多智能体3 节
  1. 理解 Voyager我的世界Agent：技能库怎么建 23分钟 · 120分
  2. 理解 LangGraph流式输出模式与事件处理 21分钟 · 120分
  3. 理解 多智能体评测基准 17分钟 · 120分
小语言模型与端侧AI3 节
  1. 理解 为什么选择SLM作为Agent的基座模型 24分钟 · 120分
  2. 理解 llama.cpp量化推理技术与优化实践 18分钟 · 120分
  3. 理解 Anyscale：弹性推理服务平台 21分钟 · 120分
第6篇多模态与音视频AI篇
音频AI5 节
  1. 理解 语音识别系统架构 23分钟 · 120分
  2. 理解 ASR评估：WER/CER与实时率指标 20分钟 · 120分
  3. 理解 TTS风格控制：情感与语速 18分钟 · 120分
  4. 理解 音乐风格迁移与Remix技术 22分钟 · 120分
  5. 理解 音频指纹与版权检测方案 20分钟 · 120分
视频AI4 节
  1. 理解 自监督视频表示学习方法 23分钟 · 120分
  2. 理解 Sora长视频一致性与物理仿真挑战 21分钟 · 120分
  3. 理解 Wav2Lip口型同步：AI视频配音黑科技 12分钟 · 120分
  4. 理解 NeRF与高斯泼溅：新一代数字人重建技术 17分钟 · 120分
多模态融合5 节
  1. 理解 CLIP预训练：数据与对比损失 18分钟 · 120分
  2. 理解 Flamingo：少样本多模态学习先驱 22分钟 · 120分
  3. 理解 多模态大模型评测基准MMMU 22分钟 · 120分
  4. 精通 视觉语言导航：让机器人听懂指令并自主导航 24分钟 · 180分
  5. 精通 GPT-4o与Claude3：多模态Agent代表系统 13分钟 · 180分
实时交互4 节
  1. 精通 语音对话延迟优化策略 24分钟 · 180分
  2. 精通 ASR错误对翻译质量影响 22分钟 · 180分
  3. 精通 情感大模型与上下文感知技术 22分钟 · 180分
  4. 精通 触觉反馈与力控交互技术 26分钟 · 180分
第7篇机器人学与自动化篇
机器人学基础4 节
  1. 精通 深入理解运动学标定 20分钟 · 180分
  2. 精通 深入理解状态空间控制 23分钟 · 180分
  3. 精通 深入理解电机(直流/步进/伺服/BLDC) 25分钟 · 180分
  4. 理解 MPC模型预测控制：机器人控制的优化方法 23分钟 · 120分
感知与定位2 节
  1. 精通 深入理解回环检测 22分钟 · 180分
  2. 精通 VoxelNet与PointPillars点云检测对比 18分钟 · 180分
规划与控制2 节
  1. 精通 深入理解抓取规划 23分钟 · 180分
  2. 精通 机器人力控装配peg-in-hole技术 23分钟 · 180分
机器人开发与系统2 节
  1. 精通 ROS2机器人数据录制与回放实战 19分钟 · 180分
  2. 精通 深入理解域随机化Domain Randomization 25分钟 · 180分
AI+机器人前沿3 节
  1. 精通 Pi0：VLA机器人基础模型 23分钟 · 180分
  2. 精通 仓储多AGV调度算法：群体协作与路径规划 24分钟 · 180分
  3. 精通 谷歌RT-1与RT-2机器人大模型深度解读 25分钟 · 180分
机器人智能与学习3 节
  1. 精通 ACT算法：机器人模仿学习的Transformer方案 25分钟 · 180分
  2. 精通 机器人Sim-to-Real差距如何缩小 25分钟 · 180分
  3. 精通 深入理解多模态传感器融合 29分钟 · 180分
机器人系统与产业化2 节
  1. 精通 深入理解机器视觉引导(2D/3D) 30分钟 · 180分
  2. 精通 深入理解行为树(BT)任务调度 20分钟 · 180分
机器人前沿与具身智能3 节
  1. 精通 特斯拉Optimus人形机器人硬件拆解 22分钟 · 180分
  2. 精通 深入理解视觉-语言-动作模型(VLA) 20分钟 · 180分
  3. 精通 深入理解因果推理机器人决策 23分钟 · 180分
第8篇前沿技术篇
Agentic AI4 节
  1. 理解 SayCan具身规划：Agent范式从语言到行动的演进 23分钟 · 120分
  2. 理解 深入理解子目标生成 21分钟 · 120分
  3. 理解 深入理解计划可执行性验证 18分钟 · 120分
  4. 理解 深入理解工具冲突解决 25分钟 · 120分
推理模型4 节
  1. 理解 深入理解思维预算控制 17分钟 · 120分
  2. 理解 冷启动三大策略：CB召回迁移学习与DropoutNet 20分钟 · 120分
  3. 理解 深入理解思维树ToT 29分钟 · 120分
  4. 理解 深入理解搜索策略MCTS 20分钟 · 120分
具身智能3 节
  1. 理解 深入理解视觉-语言-动作模型 22分钟 · 120分
  2. 理解 VLA数据集构建：具身智能怎么喂数据 20分钟 · 120分
  3. 理解 深入理解真实数据微调 21分钟 · 120分
世界模型与视频生成1 节
  1. 精通 可探索交互世界：世界模型新形态 22分钟 · 180分
AI编程助手1 节
  1. 精通 深入理解安全过滤机制 23分钟 · 180分
AI安全与对齐前沿2 节
  1. 精通 GRPO对齐前沿：无价值网络优化 24分钟 · 180分
  2. 精通 深入理解监督协议设计 20分钟 · 180分
空间智能与世界模型3 节
  1. 精通 深入理解视频预测模型：PredRNN/SimVP/VideoGPT 24分钟 · 180分
  2. 精通 室内场景图生成与对象关系推理完全指南 19分钟 · 180分
  3. 精通 具身导航与仿真平台：训练AI在虚拟空间找路 22分钟 · 180分
AI+能源与可持续发展1 节
  1. 精通 储能调度优化实战：AI驱动的能源系统效率革命 26分钟 · 180分
代码智能与程序合成2 节
  1. 精通 CodeBERT到CodeT5：代码预训练模型演进 1分钟 · 180分
  2. 精通 AI代码优化建议：让程序合成帮你重构代码 18分钟 · 180分
AI定理证明2 节
  1. 精通 Lean定理证明器入门与核心概念 24分钟 · 180分
  2. 精通 深入理解硬件形式化验证 29分钟 · 180分
群体智能1 节
  1. 精通 深入理解涌现行为(Emergence) 32分钟 · 180分
第9篇游戏开发与AI
游戏引擎与图形渲染1 节
  1. 理解 深入理解物理引擎集成 23分钟 · 120分
第10篇AI实践项目篇
开源项目贡献1 节
  1. 精通 Bug修复：PyTorch开源贡献 22分钟 · 180分
AIQZ.CC · 多模态研究员岗位说明书 · 返回星图选择岗位 · 2026