CDI (Cogential)：云原生 AI 推理分发

为什么需要 CDI：推理请求多发并发，单点模型服务难以胜任

模型训练完成只代表「能跑」，离「可稳定服务」还有较大距离。训练任务以批次吞吐为目标，分钟级延迟可以接受；在线推理面对的是密集并发请求，要求毫秒级响应，同时 GPU 资源昂贵，利用率直接决定单位推理成本。传统做法是给每个模型单独部署一套容器服务，模型一多就会出现三类问题：其一，各服务独立管理副本，GPU 资源分散，利用率低；其二，流量峰值只能靠人工扩缩容，慢且易出错；其三，模型升级、回滚、灰度缺少统一机制，发布风险高。

CDI 正是针对这些问题设计的推理分发层。它将推理抽象为统一入口：创建推理端点、绑定模型与副本策略后，平台负责把请求分发到合适的副本，按负载指标自动伸缩，并在多模型之间共享 GPU 资源池。模型侧无需改写代码，遵循标准模型服务协议即可接入。这能把 GPU 利用率从单模型的 20%-40% 提升到混部后的 60% 以上，同时把发布、扩缩、容灾从人工操作变成平台能力。

与单机推理引擎相比，CDI 的核心差异在于「层」的定位：vLLM、Triton 解决单个推理进程如何更快，CDI 解决一批推理服务如何被统一编排、路由与伸缩。前者是引擎，后者是分发与调度层，二者通常搭配使用而非互相替代。

安装与环境配置：3 步完成平台接入

作为托管形态的推理分发平台，CDI 的使用以「开通—配置—验证」三步为主，业务侧无需部署控制面组件。

第一步，开通服务：企业用户通过官网或销售渠道提交开通申请，获得租户空间与访问凭证（API Key）。第二步，配置运行环境：在控制台的「推理端点」中创建端点，指定模型来源（模型仓库 / 对象存储 / 已有模型服务地址）、副本数范围与 GPU 规格；有自有算力时先在「资源池」中接入集群节点，否则选择平台托管算力。第三步，验证连通：复制控制台生成的端点地址，发起一次探活请求。

返回 200 即平台接入成功。之后在业务代码中将模型调用地址从直连模型服务改为该端点即可，不需要改动业务逻辑。首次开通需确认租户配额（并发上限、GPU 限额），配额不足会直接导致扩缩容失败。

# 探活验证（替换为控制台生成的端点地址）curl -i https://<endpoint-id>.example.com/healthz

快速上手：5 分钟跑通第一个推理分发任务

最小可用流程的思路：先建端点、再绑模型、后调策略，用一条测试请求验证链路，最后接入业务。全程在控制台操作。

1. 创建推理端点：进入控制台「推理端点」页，点击创建，输入端点名称，选择可用区——优先选离业务集群最近的区域，减少跨区延迟。

2. 绑定模型：选择要分发的模型，填写模型文件地址或已有服务地址；设置最小/最大副本数，建议从最小 1、最大 2 起步。

3. 配置路由策略：设置多副本间的流量权重，以及按请求头、地域等条件的分流规则。

4. 发起验证推理：在端点详情页点击「测试」，提交一条推理请求，确认返回结果正常。

5. 接入应用：把应用中的模型服务地址替换为端点地址，设置合理的超时与重试参数，完成接入。

完成以上 5 步后，请求会经统一入口被分发到推理副本，流量上升时自动扩容，下降时自动缩容。进阶技巧：在自动伸缩策略中把「队列积压」与「GPU 利用率」设为联合触发条件，比只看 QPS 更稳——QPS 高但单请求负载小的场景下，过早扩容会浪费资源。

核心能力详解：推理分发平台的四大支柱

支柱一，多模型分发与路由。平台维护统一推理入口，将请求按权重、标签、区域路由到不同模型或同一模型的不同版本副本。这是「分发」的本体：既支持多模型共享入口（按业务类型分流），也支持单模型多版本并行（用于灰度与蓝绿发布）。路由规则变更即时生效，无需重启服务。

支柱二，弹性伸缩与 GPU 调度。基于 QPS、延迟分位数、队列积压等指标自动伸缩副本数，缩容下限可到 0（需注意冷启动延迟）；同时把多个模型的推理请求混部到同一 GPU 资源池，由调度器按优先级与显存需求分配，目标是在保障延迟的前提下提升整体利用率。

支柱三，推理观测与性能分析。平台内置端到端指标：请求量、成功率、延迟分位数（P50/P95/P99）、GPU 利用率与显存水位。这些指标用于回答「哪条链路慢、哪个模型占用多少算力、扩容是否及时」；部分版本支持链路追踪，可定位单次请求在路由、排队、推理、返回各环节的耗时分布。

支柱四，多租户与安全策略。不同团队共用平台时，通过租户隔离保证资源配额与数据互不可见；支持密钥管理、IP 白名单与网络策略，模型文件与推理数据可限定在私有网络内流转，满足数据合规要求。

以上能力为推理分发平台的通用架构，具体实现与功能开关以 CDI 官方文档为准。

生产部署与监控：从上线到运维

部署方式一，云端托管模式。模型与流量全部运行在平台托管的集群上，适合业务波动大、希望快速上线的团队。优点是无需自建 Kubernetes 集群，扩缩容与 GPU 资源由平台兜底；代价是推理数据出域，对数据合规要求严格的场景需评估后再选。

部署方式二，私有化或混合部署。把平台控制面与推理运行时部署到企业自有集群，模型与请求流量不出内网；混合模式下控制面仍由平台运维，仅数据面在内网。适合金融、政务等强合规场景。注意私有化的扩容周期以周为单位，远慢于托管的分钟级，需提前规划容量。

可观测性按「指标—日志—告警」三件套落地。上线前至少配置三组告警：错误率超过 1%（接入方问题或模型异常）、P99 延迟超过 SLA 目标（可能存在排队）、GPU 利用率长期低于 30%（资源配置过大或路由不均）。日志需保留请求级元数据（模型版本、副本 ID、耗时）便于故障回溯；只保留推理输入输出的摘要而非全量内容，以控制存储成本。

<p class=“para-label“>避坑清单：</p><ul class=”dash-list”><li>坑 1：把推理分发平台当训练平台用——分发层只负责推理态；训练任务仍需单独的作业调度系统，混用会导致资源竞争与优先级错乱。</li><li>坑 2：缩容阈值设置过激进——高峰瞬时上涨时副本刚缩到 0 又来流量，冷启动会造成大量超时，建议最小副本保留 1-2 个。</li><li>坑 3：忽略端点与业务集群的物理距离——跨地域调用每次增加数十毫秒延迟，把端点建在业务同区，效果优于盲目加副本。</li><li>坑 4：只配 QPS 指标不配延迟告警——QPS 正常不代表体验正常，P99 恶化往往是排队而非容量不足，需联合观测。</li><li>坑 5：多模型共用资源池但不设配额——一个模型的异常流量可能挤占全池资源，必须按租户与模型设置 GPU 及并发配额上限。</li></ul>

AI 应用场景

常见误区

面试题