请求路由

可视化演示

动态展示Header/Cookie请求级路由、Envoy代理配置、Istio灰度发布与A/B测试个性化推理策略。

请求路由与流量管理概述

在微服务架构中，请求路由是流量管理的核心。Envoy等L7代理支持基于Header、Cookie、URL路径等七层信息的精细路由，远超传统四层负载均衡的能力。

流量管理的关键目标包括灰度发布、A/B测试、故障注入与个性化路由。这些能力使团队可以安全地发布新版本而不影响用户体验。

Envoy是CNCF毕业项目，也是Istio的默认数据平面，具备高性能和动态配置能力。Istio在此基础上提供声明式API，通过VirtualService和DestinationRule定义路由规则。

请求级路由根据单个请求的Header、Cookie等元数据决定转发目标，确保同一用户始终路由到相同版本，这对有状态的A/B测试至关重要。

Envoy代理与路由配置

Envoy路由配置由Listener、FilterChain、RouteConfiguration三层组成。Listener监听端口，FilterChain定义过滤器链，RouteConfiguration包含路由匹配规则。

路由匹配支持前缀匹配（prefix）、精确匹配（path）和正则匹配（regex）。每个路由可配置Header匹配、Query参数匹配等条件，按配置顺序从上到下评估。

在RAG系统中，Envoy可通过x-tenant-id Header将VIP客户路由到高性能实例，普通用户路由到标准实例。

Envoy支持WeightedClusters实现按百分比流量切分，如80%流量到v1、20%到v2，用于灰度验证。

routes:- match:    prefix: "/api"    headers:    - name: "x-canary"      exact_match: "true"  route:    cluster: service_v2

Istio服务网格灰度发布

Istio通过VirtualService定义路由规则，通过DestinationRule定义子集（Subset）和负载均衡策略，两者配合实现灰度发布。

VirtualService的http字段定义有序路由规则，按顺序匹配。每个规则包含match条件（Header、URI等）和route目标（主机、子集、权重）。

DestinationRule通过subsets将服务实例分组，如将version=v1标签的Pod归为v1子集。连接池策略和异常检测也在此配置。

灰度发布流程：定义v1/v2子集→配置初始比例（如95:5）→观察监控→调整比例→全量切换。在ML模型场景中，新版本小流量验证后对比指标决策。

apiVersion: networking.istio.io/v1beta1kind: VirtualServicespec:  hosts: [rag-service]  http:  - match:    - headers:        x-env: {exact: canary}    route:    - destination: {host: rag-service, subset: v2}  - route:    - destination: {host: rag-service, subset: v1}      weight: 90    - destination: {host: rag-service, subset: v2}      weight: 10

Header/Cookie请求级路由

Header路由通过HTTP请求中的自定义Header（如x-user-tier）决定路由目标。Cookie路由利用浏览器Cookie确保同一用户始终访问相同版本。

在Istio中，Header路由通过VirtualService的match.headers配置，支持exact、prefix、regex三种匹配模式。

RAG客服系统可基于用户等级Cookie将VIP路由到高质量检索服务（更大LLM），普通用户路由到标准服务，优化资源成本。

请求级路由的关键优势是确定性：相同特征总是路由到相同目标，不同于百分比随机切分。

http:- match:  - headers:      x-user-tier: {exact: vip}  route:  - destination: {host: rag, subset: premium}- match:  - headers:      cookie: {prefix: "ab_group=v2"}  route:  - destination: {host: rag, subset: v2}

A/B测试与个性化路由实践

A/B测试在ML模型服务中至关重要，通过路由级别控制将不同用户导向不同模型版本，收集真实流量下的性能数据。

个性化路由三步：1)网关注入路由标记；2)服务网格执行路由；3)监控系统收集指标反馈。

RAG系统A/B测试可对比不同Embedding模型、检索策略、LLM Prompt的效果，关键指标包括延迟、准确率、满意度和Token成本。

常见反模式：路由规则冲突导致流量泄漏、缺少回滚机制、样本不均衡。建议用GitOps管理配置，配合Flagger等自动化工具。

AI 应用场景

Python 演示

import random class RequestRouter:    def __init__(self):        self.header_rules = []        self.weighted_rules = []     def add_header_rule(self, header, value, dest):        self.header_rules.append((header, value, dest))     def add_weighted_rule(self, pairs):        total = sum(w for _, w in pairs)        self.weighted_rules = [(d, w/total) for d, w in pairs]     def route_by_header(self, headers):        for h, v, d in self.header_rules:            if headers.get(h) == v:                return d        return None     def route_by_weight(self):        r = random.random()        cum = 0.0        for dest, w in self.weighted_rules:            cum += w            if r <= cum:                return dest        return self.weighted_rules[-1][0]     def route(self, headers):        h = self.route_by_header(headers)        return h if h else self.route_by_weight() router = RequestRouter()router.add_header_rule("x-tier", "vip", "premium")router.add_weighted_rule([("v1", 80), ("v2", 20)])print(router.route({"x-tier": "vip"}))print(router.route({}))

1. class RequestRouter:路由模拟器核心类
2. self.header_rules = []存储Header匹配规则
3. self.weighted_rules = []存储加权路由规则
4. self.header_rules.append((header, value, dest))添加Header精确匹配规则
5. self.weighted_rules = [(d, w/total) for d, w in pairs]归一化权重为概率分布
6. if headers.get(h) == v:检查Header是否匹配
7. return d匹配成功返回目标
8. r = random.random()生成随机数用于加权选择
9. if r <= cum:累加权重覆盖随机数则返回目标
10. router.add_header_rule("x-tier", "vip", "premium")配置VIP路由到premium
11. router.add_weighted_rule([("v1", 80), ("v2", 20)])配置80/20加权切分

常见问答

常见误区

参考来源

• official_docsEnvoy官方文档-HTTP路由配置Envoy HTTP路由配置参考
• official_docsIstio VirtualService流量管理Istio VirtualService API参考
• official_docsIstio流量管理实践教程Istio流量管理任务教程