AIQZ.CC

AI工程化篇

工程系统层 · 10 章 343 篇知识点,章内按学习顺序排列。

同方向:AI工程化篇AI硬件与算力篇AI编译器与系统软件篇AI评测与基准测试篇云计算与AI基础设施篇现代软件架构与云原生篇分布式系统与高并发设计篇

软件工程实践37 篇

API文档端到端测试性能测试CI中的测试自动化CQRS命令查询分离AI推理服务设计模式事件驱动代码规范技术文档静态分析Pylint/MyPy重构策略代码规范PEP8/Google静态分析代码覆盖率单元测试集成测试性能测试压测AI模型测试单元测试pytest测试覆盖率管理测试驱动开发TDD协作工具API文档Swagger/OpenAPI技术文档规范协作工具Jira/Confluence知识管理技术评审文档Markdown最佳实践文档自动化生成AI系统设计模式重构策略与方法代码审查Code Review代码复杂度分析SonarQube质量门Mock与Stub文档自动化代码注释规范

DevOps与容器化50 篇

Ingress与网络容器网络数据卷管理K3s轻量K8s镜像构建最佳实践HPA自动伸缩GitOps工作流Jenkins/GitLab CIArgoCD蓝绿部署金丝雀发布ArgoCD持续部署流水线即代码Kind(K8s in Docker)Dockerfile最佳实践镜像构建多阶段构建容器资源限制Deployment/StatefulSet容器安全扫描镜像仓库管理Helm包管理ConfigMap/SecretGPU调度插件Pod与ServiceIngress与网络策略FluxCD GitOps制品管理CircleCI持续集成Minikube本地K8sGrafana可视化告警规则Chef/Puppet配置管理日志聚合ELKK0s零依赖K8s可观测性三支柱分布式追踪JaegerSLO/SLI/SLA告警规则与路由容器网络模型集群安全RBACTravis CIVagrant虚拟化Dockerfile优化Pod与服务Operator模式回滚策略告警疲劳治理Prometheus监控SLO/SLI

MLOps工程54 篇

实验搜索与过滤MLflow模型库模型卡模型血缘追踪模型血缘模型归档与淘汰模型生命周期管理模型审批流程实验元数据实验对比超参追踪实验元数据管理实验复现指标记录与对比超参数追踪实验并行管理MLflow/W&B团队协作实验模型A/B部署模型AB部署流量路由DVC工具流量路由与切换模型回滚机制推理延迟优化数据快照管理数据质量监控数据快照数据血缘追踪数据Pipeline版本化数据复现实验大数据版本管理多臂老虎机统计显著性流量分桶策略贝叶斯A/B测试多臂老虎机MAB统计显著性检验实验时长计算模型注册表模型注册表Model Registry模型卡Model Card模型版本控制指标记录实验复现性保证在线推理服务推理服务扩缩容数据血缘特征版本控制贝叶斯A/B实验指标定义实验设计原则流量分桶互斥实验与正交实验

AI系统架构36 篇

服务拆分原则服务间通信gRPC/REST服务发现注册服务间通信消息队列Kafka分布式追踪微服务安全服务网格Service MeshCQRS模式事件网格消息可靠投递Redis缓存本地缓存多级缓存缓存预热与淘汰本地缓存Caffeine缓存一致性策略缓存压缩分布式缓存任务队列死信队列异步回调消息确认与重试流式处理死信队列DLQ异步任务监控事件Schema管理熔断降级限流事件网格Event Mesh事件溯源事件版本演进缓存一致性多级缓存设计延迟队列任务队列Celery/RQ幂等性保证

模型监控与漂移检测20 篇

A/B测试监控标签漂移特征漂移(KS检验/PSI)概念漂移定义与类型多变量漂移检测漂移窗口选择在线性能指标自动化漂移告警监控Dashboard设计模型衰减检测模型退役策略影子部署vs在线评估Runbook应急手册告警阈值设计事后复盘漂移检测算法(ADWIN/DDM)反馈闭环自动回滚策略多级告警模型回滚灰度策略

AI系统可观测性22 篇

Span与Trace设计推理延迟P50/P95/P99GPU利用率与显存Token消耗追踪端到端延迟Jaeger分布式追踪SLI/SLO/SLA定义日志聚合Elasticsearch/Loki错误聚合Sentry结构化日志规范日志分级与存储燃尽策略告警降噪与聚合Runbook自动化On-call轮值可观测性工具链选型吞吐量监控错误率监控QPS监控模型请求队列深度Trace采样策略错误预算

API设计与AI服务20 篇

API版本管理策略GraphQL在AI中的应用gRPC高性能通信API文档OpenAPI/Swagger流式JSON设计SSE与WebSocket选型分块传输编码gRPC Streaming认证与授权(OAuth2/API Key)速率限制算法(Token Bucket/Sliding Window)API网关功能设计配额与计费API设计API回放攻击防御RESTful API设计规范错误码与错误响应Server-Sent Events规范批量API设计连接管理背压处理SDK自动生成

AI测试与质量保证33 篇

CI/CD流水线中的模型测试集成ML模型单元测试:输入输出边界验证模型集成测试与端到端Pipeline测试成员推断攻击与模型隐私测试模型行为测试:不变性与定向期望对抗样本生成与模型鲁棒性测试概念漂移检测与模型时效性测试模型可解释性测试与归因一致性测试覆盖度:数据覆盖/代码覆盖/边界覆盖数据偏见检测与代表性评估异常值与污染数据识别测试合成数据真实性验证与分布匹配训练-测试数据泄露检测方法数据版本兼容性测试与迁移验证时间序列数据时序泄漏检测数据质量门控与准入测试数据Pipeline端到端回归测试Shadow Testing影子测试与并行验证自动化基准测试与模型性能回归检测自动回滚机制与异常触发策略混沌工程与故障注入测试性能基准基线管理与趋势分析测试左移与开发阶段质量门禁测试报告自动生成与可视化模型压力测试与并发推理性能评估训练/测试数据分布一致性检验测试自动化框架与测试用例管理模型公平性测试:群体公平/个体公平数据标注质量评估与一致性计算数据隐私合规测试:去标识化验证金丝雀发布与渐进式 rollout 验证模型A/B测试自动化与指标对比模型监控告警与测试触发联动

可观测性与监控36 篇

Langfuse的trace/span/observation三级结构Phoenix Arize的embedding drift可视化OpenTelemetry(OTLP)协议在LLM链路追踪评估集(HELM/AlpacaEval)在线回归测试Prompt版本管理与AB实验追踪用户反馈(thumbs up/down)收集与关联LLM输出PII扫描与敏感词监控特征级Population Stability Index(PSI)计算LLM应用的SLO/SLI指标体系标签漂移(Label Drift)预测分布KS检验对抗验证(Adversarial Validation)样本分布对齐Maximum Mean Discrepancy(MMD)高维漂移CLeVer对比学习表征漂移检测时序特征Kolmogorov-Smirnov(KS)检验A/B测试显著性检验(t-test/贝叶斯)漂移告警阈值设定与误报抑制主动学习闭环更新模型缓解漂移在线AUC/LogLoss的延迟反馈关联校准度(ECE)与Brier Score监控切分用户群的公平性指标差异分析推荐系统的NDCG/CTR/转化率监控模型推理失败的fallback率统计模型性能衰减的根因分析(RCA)影子模式(Shadow Mode)新模型并行验证token消耗与单次调用成本归因幻觉检测(自一致性/外部知识校验)延迟P50/P95/P99分位数监控与告警协变量漂移(Covariate Shift)PSI/KL散度度量工具调用成功率与异常链路标记分箱策略(等频/等宽)对漂移指标的影响概念漂移(Concept Drift)DDM/EDDM监测长尾类别性能的macro-F1回归漂移溯源(逐特征贡献度归因SHAP)实时推理P99延迟与GPU利用率推理服务冷启动与自动扩缩容回滚(Rollback)策略与灰度发布

AgentOps与LLM运维35 篇

Agent SLA/SLO定义Agent生命周期管理AgentOps vs MLOps vs LLMOpsAgent部署与版本控制Agent安全审计Agent性能监控Agent回滚策略Agent灰度发布LangSmith链式追踪Langfuse开源可观测Helicone API网关Arize Phoenix AI分析Weights & Biases PromptsOpenLLMetry标准化遥测ClearML实验追踪Comet ML实验管理LLM Trace可视化错误率与异常检测Token消耗实时追踪Posthog产品分析Statsig A/B测试OTel(OpenTelemetry简称)模型评估(Model-Based Eval)DeepEval评估框架RAGAS RAG评估人工评估(Human Eval)A/B测试与统计显著性评估数据集构建评估Pipeline自动化Agent回归测试Agent成本追踪(Token/Call)延迟与吞吐量监控确定性评估(Deterministic Eval)评估指标设计(BLEU/ROUGE/BERTScore)持续评估与监控

返回 知识体系总目录 查看其他篇章。