Seldon Core：Kubernetes 模型服务框架

为什么需要 Seldon Core：Kubernetes 上模型部署碎片化 → 一套声明式平台统一管理

在 Kubernetes 上部署模型服务，最直接的方案是把模型包装成容器、编写 Deployment 和 Service 手动管理。这套做法在模型数量少时可行，一旦团队同时维护几十上百个模型，问题就暴露出来：每个框架的启动命令和端口约定不同，TensorFlow Serving 和 SKLearn 的 HTTP 接口格式不一致，调用方需要为每个模型写不同的客户端；灰度发布只能靠改 Kubernetes 原生的 deployment 比例，无法按请求流量精细控制；监控指标散落在各容器日志里，没有一个统一的模型维度视图。

Seldon Core 的解决思路是引入一层「模型服务抽象」：用户用一份 SeldonDeployment YAML 描述模型镜像、推理图结构和实验策略，Seldon Operator 负责把这份声明翻译成实际的 Deployment、Service、HPA 等 Kubernetes 资源，并统一暴露 REST 和 gRPC 两种调用接口。发布、回滚、扩缩容都归结为修改 YAML 后执行 kubectl apply，不需要关心底层网络和服务编排细节。内置的 Prometheus 指标（如请求数、延迟、返回值分布）从部署完成那一刻就自动上报。

与 KServe 等同类工具相比，Seldon Core 的气质更偏「实验驱动」：它的核心场景是 A/B 测试、金丝雀发布和多臂老虎机这类需要精细流量控制和持续对比的功能，而不是追求 Serverless 自动扩缩容。如果你的团队对模型上线后的实验迭代有强需求，Seldon Core 的匹配度更高。

安装与环境配置：3 步就绪

前置要求：Kubernetes 集群 1.21+，已安装 Helm 3。可以通过 kind、minikube 或云厂商托管集群进行验证。

步骤一：安装 Seldon Core Operator。 Operator 是控制平面的核心组件，负责监听 SeldonDeployment 资源的变化并创建底层工作负载。使用官方 Helm Chart 安装到 seldon-system 命名空间。

步骤二：准备外部访问入口（可选但推荐）。 Seldon Operator 只管理模型服务的生命周期，不负责对外暴露流量。生产环境需要配置 Ingress（如 NGINX Ingress Controller、Istio、Ambassador 等）来承接外部请求。本地验证可以用 kubectl port-forward 跳过这一步。

步骤三：验证安装。 确认 Operator Pod 运行正常、SeldonDeployment 对应的 CRD 已注册。

# 1. 添加官方 Helm 仓库helm repo add seldonio https://storage.googleapis.com/seldon-chartshelm repo update # 2. 安装 Seldon Core Operator到 seldon-system 命名空间kubectl create namespace seldon-systemhelm install seldon-core-operator seldonio/seldon-core-operator \  --namespace seldon-system # 3. 验证：Operator Pod 处于 Running 状态，CRD 已创建kubectl get pods -n seldon-systemkubectl get crd | grep seldon

快速上手：10 分钟跑通第一个 SKLearn 模型

最小可用流程的思路是：用一份 SeldonDeployment YAML 声明「我要部署一个 sklearn 分类器」，然后 apply 到集群，再通过 REST 接口发送一次预测请求。官方提供了开箱即用的 sklearnserver 镜像，无需写任何业务代码。

步骤一：创建 SeldonDeployment 定义文件。 下面的 YAML 声明了一个名为 iris 的模型服务，graph 中只有一个 MODEL 类型的节点 classifier，镜像使用官方 sklearnserver。

步骤二：提交并确认服务就绪。 执行 kubectl apply 后，使用 kubectl get seldondeployments 观察状态，模型镜像拉取和容器启动通常需要 1-2 分钟。

步骤三：调用预测接口。 本地验证时先 port-forward 服务端口，再发送 JSON 格式的预测请求。Seldon 的 REST 路径格式为 /seldon/<namespace>/<model-name>/api/v1.0/predictions，请求体采用 Seldon 的 ndarray 数据格式。

请求返回的 data.ndarray 字段即为模型分类结果。进阶阶段可以用官方 Python SDK 替代手写 curl，SeldonClient 封装了 REST/gRPC 的调用细节，适合集成到测试脚本或业务代码中：

# iris.yamlapiVersion: machinelearning.seldon.io/v1kind: SeldonDeploymentmetadata:  name: iris  namespace: defaultspec:  name: iris  predictors:  - name: default    graph:      name: classifier      type: MODEL      parameters:      - name: method        value: predict        type: STRING    componentSpecs:    - spec:        containers:        - name: classifier          image: seldonio/sklearnserver:1.18.1

# 创建 SeldonDeploymentkubectl apply -f iris.yamlkubectl get seldondeployments iris # 端口转发到本地kubectl port-forward svc/iris-default-classifier 8000:8000 # 发送一次预测请求curl -s http://localhost:8000/seldon/default/iris/api/v1.0/predictions \  -H 'Content-Type: application/json' \  -d '{"data":{"ndarray":[[5.1,3.5,1.4,0.2]]}}'

from seldon_core.seldon_client import SeldonClient client = SeldonClient(    deployment_name="iris",    namespace="default",    gateway_endpoint="localhost:8000",    gateway="seldon",)resp = client.predict(    transport="rest",    shape=(1, 4),    data=[[5.1, 3.5, 1.4, 0.2]],)print(resp)

核心能力详解：5 大支柱

支柱一：SeldonDeployment CRD 与推理图编排。 SeldonDeployment 是 Seldon 的绝对核心，除了单模型部署，它还支持把多个节点组合成一张有向无环图（DAG）。图节点类型有 MODEL（模型打分）、TRANSFORMER（输入/输出转换）、ROUTER（流量路由）、COMBINER（多结果融合）和 OUTLIER（异常检测），节点之间通过参数传递数据。这张图在 YAML 中声明，Operator 负责把图展开为实际的容器拓扑。推荐系统中的「特征转换 → 模型 → 后处理」流水线就能用一个 SeldonDeployment 表达，不需要分别部署三个服务再手工拼接。

支柱二：多框架推理服务器与自定义模型。 官方预置了 sklearnserver、xgboostserver、tensorflowserver、mlflowserver、onnxruntime server 等推理服务器镜像，对应框架的模型文件挂载或打包进镜像即可直接运行。官方服务器覆盖不了的场景，可以用 Seldon Core 的 Python 库实现自定义模型类——只需要实现 predict(X, features_names=[]) 方法，再通过 seldon-core-microservice 命令启动成 HTTP/gRPC 服务。这使得任意语言训练的模型（包括 R、Java）都能以容器形式接入 Seldon 的统一管理。

支柱三：高级部署策略——金丝雀、A/B 与多臂老虎机。 这是 Seldon Core 与多数竞品拉开差距的地方。金丝雀发布在 SeldonDeployment 中通过 canary 字段指定流量百分比（如 10%），配合 canaryMetrics 可以根据指标自动调节比例；A/B 测试使用 AB 类型的图节点，把请求随机分配到两个或多个模型分支，各分支独立打分、独立统计；多臂老虎机（MAB）节点更进一步，根据每次请求返回的奖励分数动态调整各模型臂的流量权重，实现收益驱动的自动实验。这些策略全部通过 YAML 声明，不需要额外开发路由服务。

支柱四：可观测性——Prometheus 指标与 Grafana 面板。 Seldon 为每个模型服务自动暴露标准化的 Prometheus 指标，主要包括 seldon_api_client_requests（客户端请求数）、seldon_api_server_responses（服务端响应数）、seldon_api_latency（响应延迟）等，按 deployment、predictor、模型名称打标签。官方提供了 Grafana dashboard 配置，部署后即可在面板上按模型维度查看流量、延迟和返回码分布。指标是后续做金丝雀自动化、模型告警的数据基础。

支柱五：模型漂移检测与可解释性。 生产模型效果下滑往往源于输入分布漂移（即线上数据分布与训练时不一致）。Seldon 的 OUTLIER 节点可以挂载 Alibi Detect 算法对输入做异常/分布检测；EXPLAINER 节点则提供模型预测解释（如 Anchor、LIME 等算法），用于审计和合规。这个能力把「模型部署」延伸到了「模型治理」，在金融、医疗等强监管场景是刚需。需要说明的是，漂移检测能力需要通过额外的镜像和配置接入，并非部署模型时自动启用。

生产部署与监控：从上线到运维

部署方式一：Ingress 接入外部流量。 生产环境通常在集群内已有 Ingress Controller（NGINX、Istio 或 Ambassador）。SeldonDeployment 创建后，通过给资源添加 ingress 相关注解，即可让外部请求按 host 或路径路由到模型服务。建议为所有模型服务统一域名规范（如 <model>-<namespace>.example.com），并在 Ingress 层启用 TLS。若涉及跨集群容灾，可以在多个集群各部署一套 Seldon，上层由 DNS 或流量网关做分发。

部署方式二：GitOps 流程管理模型版本。 SeldonDeployment 是纯声明式资源，天然适合接入 ArgoCD 或 Flux。模型的镜像版本、金丝雀比例、副本数都以 YAML 形式存放在 Git 仓库，变更走 PR 评审，由 ArgoCD 自动同步到集群。好处是模型发布的流程与代码发布对齐，任何人改动都有审计记录，回滚只需 revert 一次提交。

可观测性：指标采集与告警。 在集群中部署 Prometheus 和 Grafana，通过 ServiceMonitor 采集 seldon-system 命名空间下所有模型服务的指标。基于 seldon_api_latency 和 seldon_api_server_responses 设置告警规则（例如 P99 延迟超过阈值或 5xx 比例突增），能在模型服务劣化的第一时间通知到值班工程师。金丝雀发布时，把 canaryMetrics 关联到这些指标，可以实现在新版本指标劣化时自动回滚流量。

<p class=“para-label“>避坑清单：</p><ul class=”dash-list”><li>升级 Seldon Operator 前一定先核对官方升级文档：新版本 CRD 的 API 版本（如 machinelearning.seldon.io/v1 → v1alpha2）可能不兼容，直接覆盖安装会导致存量 SeldonDeployment 无法被识别，升级前先备份 CRD 定义与资源清单。</li><li>自定义 Python 模型不要手写任意 Web 服务：Seldon 的探针、协议解析和 DAG 调用依赖 seldon-core 约定的接口与端口，必须通过 seldon-core-microservice 启动，否则出现「服务已启动但始终不健康」的诡异现象。</li><li>不要把金丝雀百分比理解成 Pod 比例：canary: 10 表示入口处 10% 的请求进入新版本，所有 Pod 始终在运行，这与 Kubernetes Deployment 的滚动更新逻辑完全不同，误用会导致流量分配与预期不符。</li></ul>

版本迭代

Seldon Core 自 2020 年发布 1.0 稳定版以来，主线始终围绕「多框架模型服务标准化 + 实验驱动」演进；2023-2024 年的 v1 系列以维护稳定和云原生兼容为主；官方在 2024 年宣布了基于 Rust 数据平面与 Kafka 的 v2 重写方向，但截至本文，v1.18.x 仍是生产环境采用的最新正式稳定版。

AI 应用场景

常见误区

面试题

参考来源

• webpage官方示例 Notebooks从 sklearn 部署到漂移检测的完整示例
• webpageSeldon 官网产品线介绍与官方博客（含 v2 动态）