Nemotron Nano 2 全攻略：NVIDIA 轻量级 LLM 的部署、调用与 Agent 开发

为什么需要 Nemotron Nano 2：端侧模型无处安放的「智能 + 可控」

在 Nemotron Nano 2 出现之前，端侧模型团队面临两难：选择 Llama 3.2 这类生态成熟但多语言与工具调用能力薄弱的模型，需要大量工程补丁才能跑通函数调用；选择 Qwen2.5 这类能力全面但尺寸梯度复杂的模型，部署规格要反复对比。而更大的 70B 级模型即便量化后仍需多卡集群，无法进入手机、车载、工业网关等物理边界明确的场景。NVIDIA 观察到这一断层，用 9B 与 1.8B 两个规格直接覆盖「单卡边缘服务器」与「移动端」两个区间，把多轮对话、系统提示词（system prompt，即预设模型行为与知识边界的顶层指令）和函数调用做成开箱即用的原生能力，而不是社区补丁。

Nemotron Nano 2 的解题思路是「架构复用 + 数据重训」。它不重新发明模型结构，而是沿用 Llama 3.1 的 transformer 架构，把训练重心放在 NVIDIA 多年的合成数据流水线上：通过大规模高质量合成数据与教师模型（Nemotron Architect 系列）蒸馏，让 9B 参数在指令跟随、多轮一致性和工具调用上逼近更大模型的表现。对工程师来说，这意味着可以直接复用 Llama 生态中成熟的推理栈（vLLM、llama.cpp、TensorRT-LLM），同时获得 NVIDIA 提供的函数调用数据格式与 Chat 模板，从权重到推理代码都不需要重新适配。

与同尺寸对手相比，Nemotron Nano 2 的气质差异在于「全栈绑定」：它不是孤立的模型权重，而是与 NIM 容器、build.nvidia.com API、NeMo 微调框架和 TensorRT-LLM 优化管线整体交付。选它等于选了 NVIDIA 的整套生产链路；代价是如果你完全脱离 NVIDIA 生态、只用纯开源社区工具链，它的相对优势会缩小，此时应回归模型本身的基准分数做决策。

安装与环境配置：4 条路径按资源就绪

Nemotron Nano 2 不提供传统意义的「安装包」，接入方式取决于你有 GPU、有 Docker、还是只想调 API。下面按从易到难给出四条路径。

路径一：托管 API（零安装，最快验证）

注册 build.nvidia.com 账号，进入 Nemotron Nano 2 模型页创建 API Key。无需任何本地环境，用 OpenAI SDK 即可调用。

路径二：Hugging Face 权重 + transformers（需要 GPU，适合研究）

先安装依赖，再从 Hugging Face 拉取权重。9B 模型 FP16 权重约 18GB，建议使用 24GB 显存以上的单卡；显存不足时改用 4-bit 量化加载。

路径三：vLLM 自建 OpenAI 兼容服务（生产推荐）

安装 vLLM 后直接以模型 ID 启动服务，vLLM 会自动从 Hugging Face 下载权重，并暴露 OpenAI 兼容的 /v1/chat/completions 端点。

路径四：NIM 容器（企业内网部署）

从 NGC 目录拉取 NIM 推理容器，通过 Docker 启动后获得带监控与鉴权的生产级推理服务。NIM 容器镜像较大（约 10GB+），且需要有效的 NGC API Key。

配置完成后，三种本地/自建方式的验证手段一致：向服务或模型发起一次最小对话请求，确认能返回有效文本。API 方式则在 build.nvidia.com 的 Playground 页面直接发送第一条消息，无需写代码。

# 路径一：安装 OpenAI SDK（API 方式唯一依赖）pip install openai # 路径二：transformers 方式pip install -U transformers torch acceleratehf download nvidia/Nemotron-Nano-2-9B --local-dir ./nemotron-nano-2-9b # 路径三：vLLM 自建服务（自动下载权重并启动 OpenAI 兼容端点）pip install -U vllmpython -m vllm.entrypoints.openai.api_server \  --model nvidia/Nemotron-Nano-2-9B \  --tensor-parallel-size 1 \  --max-model-len 131072 # 验证服务（另开终端）curl http://localhost:8000/v1/models

快速上手：10 分钟跑通第一次对话与函数调用

最快路径是调用托管 API，全程无需 GPU。第一步，在 build.nvidia.com 注册并创建 API Key（形如 nvapi- 开头）；第二步，用下方代码替换 API Key 后运行。注意模型 ID 以 build.nvidia.com 模型页展示为准，不同入口（API Catalog 与 NIM）的 ID 可能不同。若想本地验证，将代码中的 base_url 改为 vLLM 服务的地址、模型名改为 nvidia/Nemotron-Nano-2-9B 即可，完全兼容。

函数调用（Function Calling）是 Nano 2 的主打能力。调用方式与 OpenAI 函数调用一致：在 tools 参数中声明 JSON Schema，模型会返回结构化 tool_calls 而非自然语言。对 RAG 场景，可声明一个 search_knowledge_base(query) 工具，让模型自行决定何时检索，从而减少盲目检索的延迟与 token 消耗。

进阶技巧：在 system prompt 中明确「当用户请求涉及实时信息时，必须先调用查询工具再回答」，可以显著降低模型跳过工具直接胡编的概率。实测场景中，这一条提示词通常比在代码里做硬校验更省事。

from openai import OpenAI client = OpenAI(    base_url="https://integrate.api.nvidia.com/v1",  # NVIDIA 官方 OpenAI 兼容端点    api_key="nvapi-你的密钥",                         # build.nvidia.com 控制台创建) # 基础对话resp = client.chat.completions.create(    model="nvidia/nemotron-nano-2-9b",   # 实际 ID 以 build.nvidia.com 模型页为准    messages=[        {"role": "system", "prompt": "你是一个严谨的技术文档助手，回答需给出依据。"},        {"role": "user", "content": "用 3 句话解释什么是 RAG。"},    ],    max_tokens=512,)print(resp.choices[0].message.content) # 函数调用：声明一个查询天气的工具resp = client.chat.completions.create(    model="nvidia/nemotron-nano-2-9b",    messages=[{"role": "user", "content": "北京今天需要带伞吗？请查询天气。"}],    tools=[{        "type": "function",        "function": {            "name": "get_weather",            "description": "查询指定城市的实时天气",            "parameters": {                "type": "object",                "properties": {                    "city": {"type": "string", "description": "城市名，如 北京"}                },                "required": ["city"]            }        }    }],)tool_call = resp.choices[0].message.tool_calls[0]print(tool_call.function.name, tool_call.function.arguments)  # 解析后执行你的业务函数

核心能力详解：4 大支柱

支柱一：多语言长上下文对话。 9B 版本支持 128k 上下文窗口（单次可处理约 10 万 token 的输入，相当于一整本技术手册）与 14 种人类语言，覆盖中文、英语、日语、韩语、德语、法语、西班牙语等主流语种，同时兼容 Python、C++、Java 等主流编程语言的代码理解与生成。多语言能力来自扩展词表（扩张后的词表覆盖更多语种的 token 切分）而非简单的翻译式训练，因此中文长文本的 token 效率优于仅以英文为主的同尺寸模型。

支柱二：智能体与工具调用。 这是 Nano 2 与早期 Nemotron 系列的最大差异。模型原生支持系统提示词、多轮工具调用与结构化输出，官方在数据层面专门构造了函数调用与多轮 Agent 轨迹的合成数据。在客服、数据库查询、代码执行等需要「模型决策 + 外部工具执行」的场景，模型能以 JSON 格式返回准确的函数名与参数，减少解析错误和无效调用。

支柱三：边缘友好的量化与尺寸梯度。 9B 面向单卡边缘服务器（FP16 约需 20GB 显存，4-bit 量化后约 6GB）；1.8B 面向移动端与嵌入式设备，主打低功耗下的流畅对话；2025 年 11 月发布的 9B 2.5-bit 极端量化版本将权重压缩至约 0.6GB，可在旗舰手机本地运行。注意量化精度与任务质量需要权衡，2.5-bit 版本更适合轻交互场景而非高风险决策。

支柱四：NVIDIA 全栈生态。 从训练（NeMo Framework）到推理优化（TensorRT-LLM）再到部署（NIM 容器、Triton 推理服务器），同一条链路的组件相互认证。尤其 NIM 容器内置了模型版本管理、动态批处理与 GPU 利用率优化，比裸 vLLM 部署更省显存，适合对 SLA 有要求的企业环境。

生产部署与监控：从上线到运维

方式一：build.nvidia.com 托管 API。 适合原型验证与低并发场景。无需运维 GPU 集群，按 token 计费，自动获得最新模型版本与安全补丁。局限是数据会经过 NVIDIA 云，对私有化有合规要求的场景不适用；高并发下单位 token 成本高于自建。

方式二：NIM 容器私有化部署。 通过 NGC 拉取 NIM 镜像，在自有 GPU 集群以 Docker 或 Helm 启动。NIM 内置 OpenAI 兼容 API、动态批处理与监控指标，支持横向扩容。这是数据合规与模型可控之间的主流平衡点，也是 NVIDIA 官方推荐的生产路径。启动前需在 NGC 生成 API Key 并执行 docker login nvcr.io。

方式三：vLLM 自建服务。 完全开源、无授权费用，适合熟悉推理优化的团队。vLLM 的 PagedAttention 机制（一种将 KV 缓存分页管理以提升显存利用率的推理优化技术）在长上下文与高并发场景吞吐显著优于 naive transformers 部署。需自行处理模型热更新、鉴权与高可用。

可观测性。 NIM 与 vLLM 都暴露 Prometheus 格式的 metrics 端点。核心指标包括：TTFT（首 token 延迟，衡量响应速度）、TPOT（每输出 token 耗时，衡量生成速率）、KV cache 利用率（决定并发上限）与 GPU 显存水位。建议接入 OpenTelemetry 将推理 trace 与业务链路打通，在 Agent 场景中重点追踪「模型发起工具调用 → 工具返回 → 模型生成最终答案」的完整链路，定位无效工具调用导致的延迟毛刺。

<p class="para-label">避坑清单：</p>

<ul class="dash-list"><li>9B 模型 FP16 推理实际显存需求约 20GB（含 KV cache 与激活值），标称 16GB 显存会 OOM，请直接以 24GB 单卡或 4-bit 量化起步；</li><li>2.5-bit 量化版并非官方通用发布版，精度损失明显，上线前必须用你的业务数据做 A/B 对比，禁止直接用于金融、医疗等高风险场景；</li><li>build.nvidia.com 的 API 模型 ID 与 NIM 本地部署的模型名可能不同，切换环境时先查询对应模型页，避免 404 或意外调度到其他模型；</li><li>Nano 2 与 Llama 3.1 架构相同但词表不同，不能直接用 Llama 的 tokenizer 或 Chat 模板替换，必须使用模型自带的 tokenizer_config；</li><li>1.8B 与 9B 的微调数据格式和系统提示词习惯不同，从 9B 迁移到 1.8B 时不要直接复用 Prompt 模板，先跑通官方示例。</li></ul>

版本迭代

Nemotron Nano 2 系列在 2025 年下半年快速迭代：9 月首发 9B 版本确立「多语言 + 长上下文 + 工具调用」的核心定位；11 月推出 2.5-bit 极端量化版将体积压到移动端可承载的 0.6GB；12 月发布 1.8B 版本，把函数调用与 RAG 优化下沉到手机/嵌入式设备，形成「9B 边缘服务器 + 1.8B 端侧」的双档布局。

AI 应用场景

常见误区

面试题

参考来源

• webpagebuild.nvidia.com 模型页官方 API 调用、在线体验与模型 ID 查询