端-云协同推理：给大模型建一座“分级诊疗”体系

可视化演示

展示系统处理流水线、实时性能指标曲线及多方案对比分析，包含数据流转、吞吐延迟监控与方案评估。

架构动机：为什么不能只靠云端或只靠终端

在分级医疗体系里，如果所有感冒发烧都往三甲医院跑，医院就会瘫痪；可如果让每个社区诊所都配备全套高精尖设备，财政又撑不住。推理系统面对同样的两难：把所有请求都发到云端，模型虽强，但网络时延和带宽成本立刻爆表；把所有模型都塞进终端，手机内存、电池续航和散热又集体抗议。于是“端侧处理轻量任务、云侧处理重计算”的协同架构应运而生——它不要求任何一端万能，而是让两端各司其职。

从技术视角看，端-云协同的核心是把一个推理请求拆成多个阶段：终端先用轻量模型做初步判断，能搞定的直接在本地返回；搞不定的，把中间结果发给云端，让云端大模型接着算。这就像社区诊所先做基础检查，拿不准时再开转诊单送大医院。延迟是这里的第一优化目标，端到端总时延可拆解为四段：

当某个请求的延迟预算很紧，而网络又拥堵时，全部上云显然不行；反之，如果端侧算力太弱，硬在本地算也会超时。这正是“分级诊疗”的智慧：不追求某一条路绝对最优，而是通过协同把总时延压到最低。

模型分割：转诊线划在哪一层

社区诊所不可能复制三甲医院的所有设备，但它可以承担“初步检查 + 信息整理”的角色，把最重要的信息浓缩进一张转诊单。模型分割就是为神经网络划分这条“社区与三甲”的接力线。我们把网络按层切成前后两段：前段在端侧执行，后段在云端执行，两段的交接点叫“切分点”，切分点输出的中间特征张量就是那张“转诊单”。

为什么切分点很重要？因为如果转诊单太厚（特征数据量巨大），光传输就够受的；如果转诊单太薄（只传了个粗略结果），云端又没法做精细判断。切分点的选择是一个典型的优化问题：我们要找第 k 层，使得端侧计算、特征传输、云端计算三段时间之和最小：

实际操作中，工程师会扫描几层候选位置，对比中间特征量的大小，选一个“转诊单最薄”的位置。这背后不是玄学，而是把每一次转诊的路费（通信成本）都算得明明白白。

端侧轻算：社区诊所的“常见病药箱”

社区诊所的价值在于“就近、快速”。它未必能做大手术，但能迅速处理 90% 的常见病。端侧轻算就是对标这个定位：在手机、摄像头、智能音箱上部署一个轻量小模型，专门处理高频、低复杂度的推理任务。比如手机的语音助手唤醒词检测——你喊一声“小爱同学”，不把音频传上云端，本地模型几百毫秒内就能判断是否唤醒。

为了让模型塞得进终端，最常用的手段是量化。量化就像把一本厚重的《医学手册》压缩成口袋版的《社区医疗速查手册》：把原来用 32 位浮点数（FP32）表示的权重，近似成 8 位整数（INT8），体积直接缩到四分之一。量化的映射关系是：

端侧轻算的另一大优势是隐私保护——很多数据根本不出设备。社区诊所把病历留在本社区，患者不必把全部病史都交给大医院，这在医疗、金融等敏感领域尤其重要。

云侧重算：三甲医院的“专家会诊”

社区诊所解决不了疑难杂症时，转诊单就会送到三甲医院。云端大模型就是那家三甲医院：参数更多、算力更强、见识过更多“病例”。它专门处理端侧模型搞不定的复杂请求，比如长难句理解、高精度图像检测、多模态融合等。云端还承担“精度兜底”的职责——当端侧判断置信度低时，交给云端重新裁决。

三甲医院的高效运转靠的是排班和批量处理。ICU 不会空着等一个人，而是把手术按批次排满。云端推理也一样，会把多个请求拼成一个批次（batch）同时计算，利用 GPU 并行能力把单位成本摊薄。设一批处理 B 个请求，总耗时为 T_batch，那么平均到每个请求：

当然，批处理不是万能的。如果一次只来一个请求，强行凑批反而增加等待时间。所以云端服务通常配备排队系统：请求多了自然成批，请求少时优先响应。这正是三甲医院的“叫号系统”——人少时随到随看，人多时统一调度效率更高。

动态调度：分诊台的实时决策

一个优秀的分诊台，不会机械地执行“感冒一律留下、胸痛一律转院”，而是要结合当下的拥堵情况、患者状态和医院负荷做判断。端-云协同推理中的“分诊台”就是动态调度器，它实时观察三个关键信号：端侧当前负载、网络带宽与延迟、请求自带的时延预算。

调度决策的核心逻辑可以形式化为一个简单却有效的规则：如果这个请求的延迟预算足够覆盖端侧计算时间，就在端侧完成；如果端侧已经拥挤或网络状况良好而预算又跟不上，就转给云端。写成决策式：

这是一个典型的在线决策问题，不同厂商会用类似控制理论的机制实现：设置低水位/高水位阈值，定期探测网络质量，用滑动窗口统计端侧推理时延。分诊台不需要未卜先知，只需要“随时观察、随时调整”。也许规则并不惊艳，但它让整套系统在真实世界的抖动中依然稳健。

协同优化：让转诊单更薄、流程更顺

分级诊疗体系要高效运转，光有分工还不够，转诊环节必须顺畅。如果每张转诊单都要复印整本病历，医院之间的协作就会变成灾难。端-云协同的工程优化，核心就在“中间特征怎么传”和“等待时间怎么藏”两个问题上。

第一，特征压缩。中间特征张量往往是一个巨大的多维矩阵，把它从 FP32 量化到 INT8，通信字节数立刻降到四分之一。传输字节数由以下公式估算：

第二，流水线重叠。传统处理方式是“端侧算完→传过去→云端算→传回来”，空等浪费大量时间。聪明的做法是流水线化：端侧传输第 i 个请求的特征时，云端正在算第 i-1 个请求，端侧则同时处理第 i+1 个请求的浅层。这样就把“传输等待”隐藏在计算背后，整体吞吐量大幅提升。就像医院的手术室一台接一台地运转，两台手术之间的空档被压缩到最小。

AI 应用场景

Python 演示

"""端-云协同推理演示：按层切分 + 按延迟预算动态路由"""import numpy as np  class SplitNet:    """一个可切分的 4 层 MLP，第 split_point 层之后交给云端"""     def __init__(self, dims=(8, 16, 16, 8, 4), split_point=2):        self.dims = dims        self.split_point = split_point        self.weights = []        for i in range(len(dims) - 1):            bound = np.sqrt(6.0 / (dims[i] + dims[i + 1]))            self.weights.append(                np.random.uniform(-bound, bound, (dims[i], dims[i + 1]))            )     def forward(self, x, start, end, quantize_bits=None):        """从 start 层执行到 end 层；若指定 quantize_bits，在切分点量化特征"""        for layer_idx in range(start, end):            x = np.tanh(x @ self.weights[layer_idx])            if quantize_bits and layer_idx == self.split_point - 1:                scale = 2 ** (quantize_bits - 1)                x = np.round(x * scale).clip(-scale, scale - 1)                x = x / scale        return x  def route_request(budget_ms, edge_ms, network_ms):    """调度: 端侧耗时+网络耗时不超过预算则留在端侧，否则上云"""    if edge_ms + network_ms <= budget_ms:        return "edge"    return "cloud"  def main():    np.random.seed(0)    model = SplitNet(dims=(8, 16, 16, 8, 4), split_point=2)    budgets = [15.0, 40.0, 22.0, 50.0, 18.0, 45.0]    edge_ms, network_ms = 8.0, 20.0     for request_id, budget in enumerate(budgets):        x = np.random.randn(8)        loc = route_request(budget, edge_ms, network_ms)        if loc == "edge":            out = model.forward(x, start=0, end=model.split_point)            print(f"request {request_id}: edge 端侧完成 -> {out.shape}")        else:            h = model.forward(x, start=0, end=model.split_point,                              quantize_bits=4)            out = model.forward(h, start=model.split_point,                                end=len(model.weights))            print(f"request {request_id}: cloud 上云完成 -> {out.shape}")  if __name__ == "__main__":    main()

1. bound = np.sqrt(6.0 / (dims[i] + dims[i + 1]))使用 Xavier 方式初始化权重，让每层输入输出的方差保持稳定。
2. def forward(self, x, start, end, quantize_bits=None)支持从任意层区间执行，这是“模型分割”的关键设计。
3. if quantize_bits and layer_idx == self.split_point - 1到达切分点时，把中间特征量化为低比特，模拟“转诊单变薄”。
4. x = np.round(x * scale).clip(-scale, scale - 1)用 scale 缩放并取整，再把数值限制在合法整数范围。
5. route_request(budget_ms, edge_ms, network_ms)模拟分诊台决策：端侧耗时 + 网络耗时不超过预算就留本地，否则上云。
6. model.forward(x, start=0, end=model.split_point)端侧只跑前两层，体现“轻量层在端侧执行”。
7. model.forward(h, start=model.split_point, end=len(model.weights))云端从切分点继续跑剩余层，体现“重计算在云端完成”。

常见误区

面试题