TensorRT：NVIDIA 推理加速全攻略

为什么需要 TensorRT：训练框架推理慢，需要为 GPU 量身编译

直接用 PyTorch/TensorFlow 做线上推理有两个问题：一是框架为训练设计，图执行有大量调度开销，算子逐个启动，无法充分利用 GPU 算力；二是 batch 动态变化时无法自动优化。结果就是 GPU 利用率低、延迟波动大，在 Embedding 检索、小模型高频调用场景尤其明显。

TensorRT 的解法是“编译器”思路：离线分析模型图，进行层融合（如把卷积、偏置、激活合并为一个内核）、常量折叠、内存复用，并按目标 GPU 的算子库自动挑选最优内核；同时支持 FP16/INT8/FP8 等低精度，成倍降低计算与显存压力。构建完成后得到一个只含推理逻辑的 engine 文件，运行时开销极小。

与 ONNX Runtime、OpenVINO 等通用运行时相比，TensorRT 只服务 NVIDIA GPU，但优化深度最深：它能拿到硬件底层细节（如 Tensor Core、Hopper/Blackwell 新特性），在 GPU 型号固定的规模化部署中性能优势明显。

安装与环境配置：三步就绪

步骤一（pip 安装）：Linux x86_64 且已有 NVIDIA 驱动与 CUDA 12 环境时，python -m pip install tensorrt-cu12 即可获得 Python API 与核心库。离线包环境可改用官网 tar 包或 deb 包。

步骤二（验证）：python -c "import tensorrt as trt; print(trt.__version__)" 能打印版本号即成功。若需要 trtexec、Polygraphy 等完整工具链，建议直接使用 NGC 官方容器，避免二进制与系统库冲突。

步骤三（容器方式）：拉取官方镜像后所有工具开箱即用；容器 tag 对应年月，生产环境必须锁定具体 tag，避免镜像更新引入意外变更。

# 0) pip 方式（需 NVIDIA 驱动 + CUDA 12.x）python -m pip install tensorrt-cu12 # 1) 验证python -c "import tensorrt as trt; print('TensorRT', trt.__version__)" # 2) 完整工具链：官方 NGC 容器（含 trtexec / polygraphy）docker pull nvcr.io/nvidia/tensorrt:24.05-py3

快速上手：十分钟跑通第一个引擎

把一个 ONNX 模型变成可部署的 engine，只需三步：导出 ONNX → 构建引擎 → 加载推理。以分类模型为例，先安装 onnx，在 PyTorch 侧用 torch.onnx.export 导出 model.onnx。

第二步用 trtexec 一行完成，--fp16 开启半精度，--minShapes / --optShapes / --maxShapes 为动态形状定义三档输入；业务 batch 固定时可不加形状参数。等价地，也可以用下方 Python 脚本做更细粒度的控制（显存上限、日志级别等）。

第三步部署时，用 trt.Runtime 反序列化 engine、创建 execution context，动态形状下先 context.set_input_shape("input", (N,3,224,224))，再执行 enqueue_v3 异步推理；完整 IO 例程参考官方仓库 samples/python/。进阶技巧：用 Polygraphy 对比原模型与引擎输出，数值差异过大时逐层定位问题。

# trtexec：一行构建（在 NGC 容器内执行）trtexec --onnx=model.onnx --saveEngine=model.engine --fp16 \    --minShapes=input:1x3x224x224 --optShapes=input:8x3x224x224 \    --maxShapes=input:16x3x224x224

import tensorrt as trt logger = trt.Logger(trt.Logger.WARNING)builder = trt.Builder(logger)network = builder.create_network(1 << trt.NetworkDefinitionCreationFlag.EXPLICIT_BATCH)parser = trt.OnnxParser(network, logger) with open("model.onnx", "rb") as f:    if not parser.parse(f.read()):        for i in range(parser.num_errors):            print(parser.get_error(i))        raise SystemExit("ONNX 解析失败，检查算子支持") config = builder.create_builder_config()config.set_memory_pool_limit(trt.MemoryPoolType.WORKSPACE, 2 << 30)  # 2 GiBconfig.set_flag(trt.BuilderFlag.FP16) serialized = builder.build_serialized_network(network, config)assert serialized is not None, "构建失败，查看上方日志"with open("model.engine", "wb") as f:    f.write(serialized)

核心能力详解：五大支柱

支柱一·图级优化与内核自动调优。TensorRT 在构建期扫描整个计算图，把相邻可融合算子合并（如 Conv+BN+ReLU）、折叠常量、消除冗余内存拷贝，并针对目标 GPU 的内核库（CUDA 与 Tensor Core 路径）自动枚举、基准测试并选择最优内核实现。这是它比“逐算子执行”的通用运行时快的关键来源。

支柱二·多精度量化。FP16 几乎无损且通常直接翻倍吞吐；INT8 需要校准（calibration）数据集统计激活值分布；FP8 自 8.6 起支持 Hopper，10.x 扩展到更多模型；Blackwell 上可尝试 FP4。收益随精度从约 1 倍到 3-4 倍不等，与模型和硬件相关，需实测。

支柱三·动态形状与显存管理。针对可变 batch 或可变序列长度，构建时用 optimization profile（min/opt/max 三档）预留内核与显存空间，运行时通过 set_input_shape 指定实际维度。显存由 set_memory_pool_limit 控制上限，避免构建期占满整卡显存影响其他服务。

支柱四·TensorRT-LLM 大模型推理栈。这是以 TensorRT 为基础、专为 LLM 解码设计的高层框架：分页 KV cache 减少显存碎片、在途批处理（in-flight batching）让不同请求的解码阶段交错执行、支持 FP8/INT4 量化与多卡张量并行。它接收 HuggingFace 权重，构建时产出引擎，解码吞吐显著高于朴素逐请求实现。

支柱五·可诊断工具链。trtexec 用于快速构建、基准测试与逐层耗时分析（--dumpProfile）；Polygraphy 做引擎与原模型的数值对比与问题定位；onnx-graphsurgeon 用于改写不支持的 ONNX 子图；Nsight Systems/Compute 做 GPU 端到端剖析。这四件套是生产排障的主力。

生产部署与监控：从上线到运维

方式一·Triton Inference Server + tensorrt_plan 后端。在模型仓库目录放 1/model.plan 与 config.pbtxt（声明 backend: "tensorrt_plan"、最大 batch 数、动态批处理策略），Triton 负责请求排队、动态批处理与多模型共享 GPU。这是生产最常见的形态：一套 HTTP/gRPC 协议，统一管理多版本模型。

方式二·容器化 + Kubernetes。基于 NGC TensorRT 镜像构建应用镜像，在 CI 中完成 ONNX 构建并缓存 engine 产物，部署时以只读卷挂载；多副本通过 service 负载均衡。GPU 资源用 device plugin 调度；需要细粒度切分时使用 MIG（A100/H100/B200 等支持）或 vGPU。

可观测性。三件套齐上：DCGM exporter 输出 GPU 利用率、显存、温度、功耗到 Prometheus/Grafana；Triton metrics 记录推理计数、队列延迟与耗时分布；Nsight Systems 定位内核级瓶颈。上线前用 trtexec --dumpProfile 保存每层耗时基线，后续升级或换模型时对比，能快速发现性能回退点。

<p class="para-label">避坑清单：</p>

<ul class="dash-list"><li>引擎与 GPU 架构强绑定：A100 构建的 engine 不能直接跑在 T4 上，换架构必须重新构建；10.x 提供 HARDWARE_COMPATIBLE 兼容模式但性能有损失，仅在机型繁杂且可接受让渡性能时使用。</li><li>INT8 量化必须提供代表性校准数据集：校准集分布与线上差异过大会导致精度断崖式下降，上线前务必用真实业务采样数据校准并做精度回归。</li><li>动态形状三件套要配套：profile 的 min/opt/max、运行时 set_input_shape、输入显存预分配缺一不可；min 设太小或 max 设太大会导致运行时 OOM 或显存浪费。</li></ul>

版本迭代

TensorRT 8.x 确立多精度（FP16/INT8/FP8）与动态形状体系；9.0 清理旧 API 为快速迭代铺路；10.0 与 TensorRT-LLM 版本号统一、Python API 重写并拆分 ONNX 解析器，之后维持约月度节奏持续迭代（截至训练数据，可能已有更新版本）。

AI 应用场景

常见误区

面试题