AIQZ.CC

多模态与音视频AI篇

实践应用层 · 4 章 203 篇知识点,章内按学习顺序排列。

同方向:AI实践项目篇AI行业应用篇AI for Science科学智能篇多模态与音视频AI篇搜索推荐与信息检索篇前端开发与AI交互篇AI+生命科学与医疗篇机器人学与自动化篇游戏开发与AI物联网与边缘智能区块链与去中心化AI

音频AI50 篇

端到端ASR(CTC/Attention/Transducer)Whisper微调与领域适配Whisper多语言与多任务能力ASR评估(WER/CER/实时率)传统TTS(拼接/参数合成)VITS端到端变分推断合成语音增强与降噪预处理风格控制(情感/语速/音高)TTS评估(MOS/相似度/鲁棒性)开源ASR工具对比(Whisper/Wav2Letter/Espnet)TTS实时推理与流式输出多轨道音乐生成与编排Udio高保真音乐生成环境声音分类(ESC-50/UrbanSound)音乐风格迁移与remix自监督音频表示学习多模态音频-文本对齐音乐信息检索(MIR)ASR工程部署与量化加速Whisper模型架构与多任务训练语音识别系统架构(声学/语言模型)传统ASR(GMM-HMM/DNN-HMM)Conformer卷积+Transformer声学模型Wav2Vec 2.0自监督预训练流式ASR与低延迟解码说话人分离与diarization神经声码器(WaveNet/WaveGlow/HiFi-GAN)Tacotron2与自回归 mel谱预测TTS系统 pipeline(文本分析/声学/声码)FastSpeech非自回归并行生成Bark多语言情感TTS模型XTTS与语音克隆技术进展VALL-E零样本语音克隆音乐生成任务分类(符号/音频)符号音乐生成(MIDI/ABC记谱)音频音乐生成模型架构MusicGen文本到音乐生成AudioLDM潜在扩散音乐模型Suno产品架构与生成流程旋律条件生成(哼唱续写)音乐版权与生成内容合规音乐生成评估(主观/客观指标)音频事件检测(AED)基础音频特征(MFCC/梅尔谱/时频图)音频Transformer模型(AST/SSAST)音频captioning(自动音频描述)音频质量评估(PESQ/STOI)声音场景识别与定位音频指纹与版权检测音频理解工业应用(安防/医疗/车载)

视频AI52 篇

视频理解任务分类(分类/检测/定位)时间分段网络TSN与采样策略时序动作定位(TAD)基础视频理解基准数据集(Kinetics/UCF101)时序卷积与膨胀卷积(TCN)自监督视频表示学习视频扩散模型基础基于GAN的视频生成(VGAN/TGAN)视频编辑(替换/延长/风格迁移)视频生成计算成本与优化视频深度估计与3D效果视频生成版权与伦理风险智能字幕与多语言翻译3D数字人建模(扫描/参数化/NeRF)交互式数字人(多轮对话/情感)表情驱动与面部动作编码(FACS)数字人版权与身份验证视频生成评估(FVD/IS/主观质量)视频生成技术演进路线AI视频抠像与背景替换Two-Stream网络(空间+时序流)3D CNN视频特征提取(C3D/I3D/SlowFast)视频Transformer(ViViT/TimeSformer)长视频理解与记忆机制视频-文本预训练(Clip4Clip/InternVid)动作检测与密集预测视频理解推理加速与端侧部署工业视频分析(安防/体育/制造)Sora架构分析(DiT+时空patch)自回归视频生成(VideoGPT/Phenaki)Latent Video Diffusion降维生成可灵(Kling)国产视频生成Pika/HeyGen等竞品分析Sora长视频一致性与物理仿真视频生成条件控制(文本/图像/姿态)视频风格迁移(FastNeuralStyle/AdaIN)视频超分辨率与修复AI智能剪辑(高光提取/自动分镜)口型同步(Lip Sync/Wav2Lip)文本驱动视频编辑AI调色与画质增强视频去噪与稳定化AI视频编辑产品(CapCut/Runway)2D数字人驱动(Wav2Lip/Thin-Plate Spline)数字人技术架构(形象/驱动/交互)视频摘要与缩略图生成实时数字人渲染与低延迟身体姿态驱动(SMPL骨架)NeRF/Gaussian Splatting数字人文本/语音驱动数字人播报数字人产业应用与商业模式数字人直播平台架构

多模态融合53 篇

多模态Agent应用场景与落地CLIP微调与提示工程(Prompt Learning)对比学习基础(InfoNCE/温度系数)多模态Embedding空间分析Flamingo少样本视觉语言学习多模态预训练数据清洗与去噪CLIP预训练数据与对比损失视觉理解(图表/文档/场景)MiniGPT-4/Vicuna视觉对话多模态大模型安全与对齐室外VLN(街景导航)预训练与迁移学习在VLN中室内VLN(R2R/RxR数据集)VLN评估指标(SPL/NE/SDTW)具身导航与机器人平台多模态记忆(短期/长期/向量记忆)多模态推理与规划(Chain-of-Thought)多模态Agent安全与可控性多模态RAG增强AgentALIGN大规模图文对齐预训练Chinese-CLIP与多语言扩展CLIP模型架构与双塔编码器CLIP零样本分类与检索能力多模态表示学习核心思想跨模态检索与相似度计算表示学习评估(检索/分类/聚类)多模态表示蒸馏与压缩多模态大模型架构(冻结/对齐/端到端)BLIP/BLIP-2统一理解与生成LLaVA视觉指令微调视觉语言预训练前沿进展Gemini原生多模态架构GPT-4V能力边界与评测Qwen-VL与国产多模态大模型多模态大模型幻觉问题多模态Agent与工具使用多模态大模型评测基准(MMMU/MMBench)端侧多模态大模型部署跨模态地图与空间推理视觉语言导航(VLN)任务定义指令理解与地标识别仿真环境(Matterport3D/Habitat)VLN模型架构(编码器/解码器/注意力)历史观测记忆与回溯机制视觉语言导航挑战与趋势多模态Agent定义与架构多模态感知(视觉/音频/文本输入)视觉Agent(Web操作/界面理解)多模态工具调用(API/搜索/代码)多Agent多模态协作代表系统(GPT-4o/Claude 3/Gemini Agent)多模态Agent评估框架Multi-Modal Agent:跨模态感知与决策的统一Agent架构

实时交互48 篇

语音对话系统 pipeline(ASR/LLM/TTS)噪声鲁棒与远场语音流式ASR与实时响应对话策略与回复生成语音对话评估与用户满意度领域自适应与术语翻译Transformer翻译模型基础翻译质量评估(BLEU/COMET)多模态情感融合(早期/晚期/混合)语音合成多语言音色统一生理信号情感识别(EEG/心率)微表情识别与动态表情分析伦理隐私与情感数据收集情感大模型与上下文感知人形机器人交互(对话/手势/表情)机器人视觉(VLM导航/抓取检测)对话管理(DM)与状态跟踪自然语言理解(NLU)与意图识别端到端语音模型(SpeechGPT/Moshi)情感识别与个性化回复打断处理与双工对话语音对话延迟优化语音助手产品(Siri/Alexa/小爱)实时语音翻译(cascaded/端到端)机器翻译发展(统计/神经/大模型)多语言翻译与零 shot翻译SimulMT同声传译模型增量解码与低延迟优化wait-k策略与读写策略实时翻译产品(讯飞/谷歌/有道)情感计算定义与维度模型语音识别错误对翻译影响语音情感识别(声学特征/韵律)面部表情识别(FER)基础文本情感分析(细粒度/方面级)情感计算应用(客服/教育/驾驶)多模态情感数据集(SEMAINE/DEAP)情感生成(表情/语音/文本回复)具身智能定义与范式具身感知(视觉/触觉/本体感觉)多模态指令跟随(Pick-and-Place)模仿学习与行为克隆强化学习在机器人控制中触觉反馈与力控交互Sim-to-Real迁移与域随机化具身智能平台(ROS2/Isaac Sim)多机器人协作与人机共融具身智能安全与伦理边界

返回 知识体系总目录 查看其他篇章。