DeepSeek V3.1 是深度求索(DeepSeek)于 2025 年 8 月发布的混合专家(MoE)大语言模型,是 DeepSeek-V3 系列的最新正式版本。该模型总参数量 671B,单次推理仅激活约 37B 参数,在代码生成、数学推理、长文本理解等任务上达到闭源旗舰模型的第一梯队水平,同时保持开源权重与远低于商业 API 的调用价格。V3.1 延续了 V3 的多头潜在注意力(MLA)与多 Token 预测(MTP)架构,并将工具调用、函数调用与结构化输出能力作为核心迭代方向,适合作为 RAG 管道、Agent 编排和企业私有化部署的底座模型。本篇围绕 API 接入、本地部署、生产运维与选型对比四部分展开,目标是用最短路径跑通第一个应用,并给出可复用的生产级配置。

岗位关联

掌握 DeepSeek V3.1 的架构原理与部署方式,是 AI 应用工程师构建高性能 RAG/Agent 系统的核心技能;理解其稀疏激活与显存模型,也是大模型私有化落地的必修课。

目录
  1. 为什么需要 DeepSeek V3.1:开源高性能的最后一块拼图
  2. 安装与环境配置:3 步就绪
  3. 快速上手:5 分钟跑通第一个对话
  4. 核心能力详解:5 大支柱
  5. 生产部署与监控:从上线到运维
  6. 版本迭代
  7. AI 应用场景
  8. 常见误区
  9. 面试题
  10. 参考来源
工具类型
开源大语言模型(MoE 架构)
开发商
深度求索(DeepSeek,中国·杭州)
开源协议
DeepSeek 模型许可证(宽松可商用,需遵守条款)
GitHub Stars
无
主要语言
权重文件 + Python 推理生态(vLLM/SGLang)
当前版本
V3.1(2025-08 正式发布)
安装方式
pip 安装 OpenAI SDK;本地部署用 vLLM 加载
上手难度
★★☆☆☆(API 调用较易,本地部署较难)
适合人群
LLM 应用工程师·RAG 团队·推理部署工程师
同类工具
Llama 3.1 405B·Qwen2.5-72B·GPT-4o
托管服务
无

速览卡是工具类内容的固定首屏模块:30 秒判断「这工具是什么、能不能商用、适不适合我」。

为什么需要 DeepSeek V3.1:开源高性能的最后一块拼图

传统 7B–70B 规模的开源模型在复杂代码生成、数学推理与长文档理解上长期落后于闭源旗舰,而闭源 API 又带来数据出境、供应商锁定与单 token 成本高企的问题。DeepSeek V3.1 用 671B 总参数配合 37B 激活参数的稀疏架构,在公开基准上追平甚至超越 GPT-4o 与 Claude 3.5 系列,同时保持权重开源——这是开源社区第一次在「旗舰级性能」与「可控部署成本」之间同时成立。

V3.1 的核心思路是「参数多但算得少」:模型拥有 256 个专家,但每个 token 只路由到其中 8 个专家(外加 1 个共享专家),因此虽然总参数量是 Llama 3.1 405B 的 1.6 倍,单 token 的推理算力消耗仅与 70B 级稠密模型相当。这使企业既能在 GPU 集群上私有化部署,也能以约每百万 token 数元人民币的 API 价格获得准旗舰能力,两者都显著低于同性能闭源模型的授权成本。

与 Llama 3.1 405B 相比,DeepSeek V3.1 的 MoE 架构在同等硬件上吞吐更高;与 Qwen2.5-72B 相比,它在数学与代码任务上的上限更高但显存门槛也更高。选它的团队通常把「数据必须留在自己手里」与「效果不能妥协太多」同时写进了需求文档。

安装与环境配置:3 步就绪

步骤一·安装 SDK:DeepSeek API 完全兼容 OpenAI SDK 协议,因此无需安装专属 SDK,直接安装 openai 包即可。本地部署场景则需安装 vLLM 或 SGLang 推理框架。

步骤二·获取密钥并配置环境变量:在 DeepSeek 开放平台(platform.deepseek.com)注册账号,在「API Keys」页面创建密钥。将密钥写入环境变量,避免硬编码在代码或前端中。

步骤三·验证连通性:用一段最小请求确认 base_url、密钥与模型名配置正确。若返回正常回复与 usage 字段,说明链路已通。

bash18 行
# 1. 安装 OpenAI SDK(DeepSeek API 兼容该协议)pip install openai # 2. 配置 API 密钥(切勿提交到 git 仓库)export DEEPSEEK_API_KEY="sk-xxxxxxxx" # 3. 验证连通性python - <<'EOF'from openai import OpenAIclient = OpenAI(api_key="sk-xxxxxxxx", base_url="https://api.deepseek.com")r = client.chat.completions.create(    model="deepseek-chat",    messages=[{"role": "user", "content": "ping"}],    max_tokens=16)print(r.choices[0].message.content)print("usage:", r.usage)EOF

快速上手:5 分钟跑通第一个对话

最小可用流程只需四步:建密钥 → 装 SDK → 发起对话 → 处理返回。先调用 deepseek-chat 模型验证基础链路,再替换为 deepseek-reasoner 对比推理风格差异。

1. 在 platform.deepseek.com 创建 API Key,复制以 sk- 开头的字符串。

2. 在终端执行 pip install openai 安装 SDK。

3. 运行下方 Python 脚本,将密钥填入 api_key 参数。

4. 观察返回结果:choices[0].message.content 是最终回复;流式场景将 stream=True 传入即可逐块接收。

运行成功即完成首次调用。进阶技巧:将 model 换成 deepseek-reasoner,你会看到 reasoning_content 字段包含完整思维链,这是对话模型不具备的推理中间过程,适合数学证明、逻辑分析类任务。

python18 行
from openai import OpenAI client = OpenAI(    api_key="sk-你的密钥",    base_url="https://api.deepseek.com") resp = client.chat.completions.create(    model="deepseek-chat",    messages=[        {"role": "system", "content": "你是一个 Python 代码助手。"},        {"role": "user", "content": "写一个快速排序函数,并解释时间复杂度。"}    ],    temperature=1.0,    max_tokens=1024) print(resp.choices[0].message.content)

核心能力详解:5 大支柱

支柱一·MoE 稀疏激活架构。V3.1 采用 256 个路由专家 + 1 个共享专家,每个 token 激活其中 8 个专家。总参数 671B 但激活参数仅约 37B,推理计算量与 70B 稠密模型相当,却能承载远超稠密模型的知识容量。这是「性能与成本兼得」的根本原因。

支柱二·多头潜在注意力(MLA)。MLA 将键值(KV)缓存压缩为潜在向量,使注意力机制的内存占用较传统 MHA(多头注意力)大幅降低,解码阶段显存带宽压力骤减。128K 上下文窗口因此能在有限显存内实际可用,长文档处理时吞吐更高。

支柱三·多 Token 预测(MTP)。训练时每个位置同时预测后续多个 token,而非逐个预测。这一目标函数让模型在生成时更早地规划整句结构,对代码括号配对、数学多步推导等场景的连贯性提升明显,是 V3.1 在 HumanEval 与 MATH 类基准上领先同规模模型的重要训练侧因素。

支柱四·工具调用与结构化输出。V3.1 原生支持函数调用(function calling)与 JSON 输出模式,模型能够根据用户意图自主选择调用哪个工具、传入什么参数。配合 response_format={"type": "json_object"} 可强制输出合法 JSON,是搭建 Agent 工作流的关键能力。

支柱五·128K 上下文与长文本能力。128K 上下文窗口支持一次性读入上百页文档,V3.1 针对长文本中的位置编码与信息检索做了专项优化,在 LongBench 类任务上显著优于 V3 初版。上下文窗口是「输入 + 输出」的总量,规划请求时需预留输出空间。

生产部署与监控:从上线到运维

部署方式一·官方 API(推荐起步)。调用 https://api.deepseek.com 即可获得最新版本能力,无需管理 GPU 集群。生产环境建议在后端封装一层代理服务:应用只与你的后端通信,API Key 保存在服务端环境变量中,并在此层实现限流、重试与用量统计。

部署方式二·vLLM 私有化部署。FP8 量化权重约 671GB,实际运行至少需要 8×H800(80GB)或等效显存,使用张量并行(tensor parallel)切分模型。启动命令如下,启动后 vLLM 提供 OpenAI 兼容的 /v1/chat/completions 接口,现有代码只需更换 base_url 即可无缝切换:

可观测性。无论哪种部署方式,都需要记录三类指标:token 消耗(输入/输出拆分统计,用于成本核算)、延迟分位线(首 token 延迟与总延迟的 P50/P95)、错误率(超时、限流、上下文超长导致的 400 错误)。流式输出场景应分别统计「首 token 时间」与「平均 token 间延迟」,前者反映模型排队与显存瓶颈,后者反映解码吞吐。

<p class="para-label">避坑清单:</p>

<ul class="dash-list"><li>API 密钥泄露:不要把 key 写在前端 JS 或公开仓库中,必须在后端代理中统一下发请求并做限流,否则密钥可能被刷爆产生高额账单。</li><li>上下文窗口计数误解:128K 是输入与输出 token 的总和,超出直接报 400 错误;长对话必须在应用层实现历史截断或摘要,不能依赖模型自行遗忘。</li><li>本地部署显存不足:FP8 权重约 671GB,单张 80GB GPU 无法加载;至少需要 8×H800,或量化到 INT4 后在 2×80GB 上运行(牺牲少量精度)。</li><li>reasoner 与 chat 混用:deepseek-reasoner 的思维链会体现在 reasoning_content 字段中,调用 OpenAI 标准 SDK 时该字段会被忽略,导致看似「没返回内容」;普通对话任务请使用 deepseek-chat,避免额外延迟。</li><li>max_tokens 只限输出:它不参与输入截断;请求前先用 tokenizer 估算输入长度并预留输出余量,防止生成中途被截断。</li></ul>

bash6 行
pip install vllmvllm serve deepseek-ai/DeepSeek-V3.1 \  --tensor-parallel-size 8 \  --max-model-len 32768 \  --gpu-memory-utilization 0.92 \  --port 8000
维度DeepSeek V3.1Llama 3.1 405BQwen2.5-72BGPT-4o
定位开源 MoE 旗舰开源稠密旗舰开源稠密主力闭源多模态旗舰
参数量671B 总 / 37B 激活405B 稠密72B 稠密未公布
上下文长度128K128K128K128K
开源协议DeepSeek 模型许可证Llama 3.1 社区许可Apache 2.0闭源
API 兼容OpenAI 协议社区封装OpenAI 协议官方 SDK
本地部署门槛高(FP8 约 700GB)高(约 810GB)中(约 150GB)不可本地部署
核心优势稀疏激活性价比高生态成熟生态完善中文优化+低门槛多模态+生态完整
适合谁高并发私有化团队重度本地化需求资源受限私有化无部署顾虑的团队

选型建议:追求旗舰级效果且 GPU 资源充足(8×H800 级别)时选 DeepSeek V3.1;只有 2–4 张 80GB 卡、希望快速私有化,选 Qwen2.5-72B;需要多模态输入(图像+文本)且不介意闭源,GPT-4o 仍是稳妥选择;Llama 3.1 405B 适合已有 Meta 生态工具链的团队。

版本迭代

DeepSeek-V3 系列沿「基础版 → 中期增强 → 新一代正式版」演进:2024 年 12 月 V3 初版确立 671B/37B MoE 架构与 128K 上下文;2025 年 3 月 V3-0324 强化推理与代码能力并成为 API 默认版本;2025 年 8 月 V3.1 在工具调用、结构化输出与长文本能力上全面升级,是当前最新正式版本。

版本时间变化提升
DeepSeek-V3(初版)2024-12首个正式版确立 671B MoE 架构,训练 14.8T tokens,128K 上下文
DeepSeek-V3-03242025-03中期增强版强化代码生成与数学推理,API 默认切换至该版本
DeepSeek-V3.12025-08新一代正式版推理/编码/工具调用能力全面升级,词表扩展至 256K
基准DeepSeek-V3DeepSeek-V3.1
MMLU(知识理解)88.5—V3 技术报告成绩;V3.1 官方宣称全面超越
MATH-50090.2(CoT 91.6)—数学推理基准,V3.1 数据未公开
HumanEval-Mul82.6—多语言代码生成,V3.1 数据未公开
AIME 202439.2(CoT 79.8)—竞赛数学,V3.1 数据未公开
结论

V3.1 的迭代主线是「在保持 MoE 架构与部署门槛不变的前提下,把推理、代码与工具调用能力推向新高度」。上表 V3 分数来自官方技术报告(arxiv 2412.19437),V3.1 官方评测数据以发布公告为准,尚未列入此表。

AI 应用场景

企业私有化代码助手

阶段:代码生成与 Agent 编排

解决的问题:传统 IDE 插件基于规则或小模型,无法理解跨文件上下文。V3.1 以私有化部署方式接入企业内网,代码与业务逻辑不出域,靠 128K 上下文一次性接收多文件内容,生成补全、单测与提交信息。相比闭源 API 按 seat 收费的模式,私有化按 token 计费且数据自持,合规压力显著降低。

具体案例:某金融科技公司将 V3.1 部署在 8×H800 集群上,为 200 名研发提供代码补全与 MR 评审摘要服务,单元测试生成耗时从人均 30 分钟降至 3 分钟,周 CPU 构建失败率下降约 40%。

长文档智能分析(金融/法律)

阶段:RAG 管道构建与文档智能

解决的问题:年报、招股书、合同范本动辄上百页,传统关键词检索漏检率高,分段嵌入(embedding)又会切断上下文。V3.1 的 128K 上下文可一次读入全文,配合段落级引用输出摘要与风险点。

具体案例:某律所使用 V3.1 审查标准合同,将一份 80 页合同的审阅耗时从 2 小时压缩至 20 分钟,风险条款召回率从人工基准的 82% 提升至 94%。

智能 Agent 工作流

阶段:Agent 编排与工具调用

解决的问题:传统工作流引擎依赖硬编码分支逻辑,需求一变就要改代码。V3.1 的函数调用能力让模型根据用户意图动态选择工具——查库存、生成订单、调用 CRM 接口,工具清单可随时增删而无需重写流程。

具体案例:某电商客服系统以 V3.1 为 Agent 核心,在 34 个内部工具上实现意图路由,人工介入率从 65% 降至 22%,平均响应时间由 40 秒降至 5 秒。

常见误区

误区「DeepSeek 不是要收费吗?我听说用它的 API 要充钱,那它肯定是闭源的。」

正解DeepSeek V3.1 的模型权重完全开源,可在 Hugging Face 下载并自行部署,开源协议允许商业使用(需遵守 DeepSeek 模型许可证条款)。API 只是官方提供的托管服务,按 token 收费,但模型的代码、权重与推理方案都是公开的。两者的关系类似「Linux 内核免费 + 云厂商托管收费」,底层能力并非闭源。

为何常见:多数用户只接触过 API 调用,没有接触过 Hugging Face 权重发布,容易把「产品收费」与「模型闭源」混为一谈。

误区「671B 参数的模型,跑一次请求不得等半天?显存不得 1TB 起步?」

正解「推理速度取决于激活参数而非总参数」是 MoE 的核心设计。V3.1 单次推理只激活约 37B 参数,计算量与 70B 稠密模型相当,生成速度并不会因总参数多而线性变慢。真正高的是显存门槛——FP8 权重约 671GB,需要 8×H800 才能加载;但加载完成后,单 token 计算开销与 70B 级模型区别不大。

为何常见:人们习惯用「参数量 = 速度」的稠密模型直觉去套 MoE,忽略了稀疏激活机制的存在。

误区「反正都是 DeepSeek 的 API,两个模型名随便用一个就行,效果差不多。」

正解两个模型面向不同场景。deepseek-chat 对应 V3.1,是通用对话模型,响应快、成本低,适合日常问答、代码生成与工具调用;deepseek-reasoner 对应推理专用模型,会在回答前生成完整的思维链(reasoning_content 字段),数学、逻辑推理更强,但延迟和成本更高。生产环境中按任务类型分流,才能同时保证体验与成本。

为何常见:模型命名直观上像「同一个模型的两个别名」,官方文档对两者差异的说明藏在 API 参考里,容易被忽略。

误区「既然上下文窗口是 128K,那我丢 110K 的文档进去,还能再生成 110K 的回答。」

正解128K 是「输入 + 输出」的总和。输入 110K 时,输出最多只能有 18K,超出部分会直接报错或被截断。正确做法是在应用层做输入侧截断、历史摘要或分段处理,并为每次请求预留输出空间。用 tokenizer 提前统计输入长度是上线前必须做的检查项。

为何常见:API 文档使用「上下文窗口(context window)」一词,字面容易理解为「一次的输入容量」,忽略了它包含输出的含义。

面试题

Q1. DeepSeek V3.1 的稀疏激活参数量约为多少?

单选题 · easy

  • A.7B
  • B.37B← 正确答案
  • C.70B
  • D.671B

答案:B。DeepSeek V3.1 总参数量 671B,但 MoE 架构下每个 token 仅激活约 37B 参数。7B 是小型模型规模,70B 是 Llama 3.1 70B 的规模,671B 是总参数量而非激活量。

Q2. 调用 DeepSeek API 时,正确的 base_url 是哪个?

单选题 · easy

  • A.https://api.openai.com
  • B.https://api.deepseek.com← 正确答案
  • C.https://api.deepseek.cn
  • D.https://api.deepseek.org

答案:B。DeepSeek 官方 API 端点为 https://api.deepseek.com,兼容 OpenAI SDK 协议。api.openai.com 是 OpenAI 的端点,deepseek.cn 与 deepseek.org 均非官方域名。

Q3. DeepSeek V3.1 使用的主导注意力机制是?

单选题 · mid

  • A.滑动窗口注意力
  • B.多头潜在注意力(MLA)← 正确答案
  • C.稀疏注意力(NSA)
  • D.线性注意力

答案:B。MLA(Multi-head Latent Attention)是 DeepSeek V3 系列的核心创新,将 KV 缓存压缩为潜在向量,降低显存占用。滑动窗口与稀疏注意力是其他模型的技术路线,线性注意力并非 V3 系列采用方案。

Q4. deepseek-chat 模型在 V3.1 发布后对应的是?

单选题 · mid

  • A.DeepSeek-R1
  • B.DeepSeek-V3.1← 正确答案
  • C.DeepSeek-Coder
  • D.DeepSeek-MoE 初版

答案:B。API 中 deepseek-chat 指向 V3.1 通用对话模型,deepseek-reasoner 指向推理专用模型。R1 是独立的推理模型系列,Coder 是 V3 之前的代码模型,均已归入当前 API 体系。

Q5. 关于 DeepSeek API 的说法,正确的是?

多选题 · mid

  • A.兼容 OpenAI SDK 协议← 正确答案
  • B.支持 JSON 结构化输出← 正确答案
  • C.API 完全免费
  • D.支持函数调用← 正确答案

答案:ABD。DeepSeek API 原生兼容 OpenAI SDK,支持函数调用和 JSON 输出模式。API 按 token 计费并非免费,只是单价低于多数闭源模型。

Q6. DeepSeek-V3 初版的训练数据量约为?

单选题 · easy

  • A.1.4T tokens
  • B.14.8T tokens← 正确答案
  • C.148T tokens
  • D.148B tokens

答案:B。官方技术报告披露 DeepSeek-V3 在 14.8T tokens 上完成预训练。1.4T 是部分中小模型的规模,148T 远超当前主流模型数据量,148B 则明显偏低。

Q7. 以下哪些场景更适合私有化部署 V3.1 而非调用官方 API?

多选题 · hard

  • A.金融数据禁止出境← 正确答案
  • B.需要固定模型版本做长期评测← 正确答案
  • C.三天内的临时概念验证
  • D.高并发且单位成本敏感← 正确答案

答案:ABD。数据合规(A)是私有化最强理由;版本锁定(B)避免 API 侧模型升级导致的评测漂移;高并发场景下私有化边际成本更低(D)。临时 POC 用 API 更划算,不值得投入 GPU 资源。

Q8. 在 8×H800(80GB)集群上以 FP8 部署 V3-671B,权重占用的显存约为?

单选题 · hard

  • A.80GB
  • B.320GB
  • C.671GB← 正确答案
  • D.1.3TB

答案:C。FP8 量化下每个参数占 1 字节,671B 参数约 671GB。80GB 是单卡容量,320GB 约为 INT4 量化后的规模,1.3TB 约为 BF16 精度下的权重体积。

Q9. V3 系列「辅助损失自由负载均衡」策略的主要作用是?

单选题 · mid

  • A.减少训练过拟合
  • B.避免部分专家过载、部分闲置← 正确答案
  • C.降低词表大小
  • D.加速位置编码计算

答案:B。MoE 模型易出现少数专家被高频路由、多数专家闲置的失衡问题。传统方案加辅助损失惩罚不均衡,V3 通过动态调整每个专家的偏置项(bias term)实现负载均衡,既保证专家利用率又不干扰主损失。

Q10. DeepSeek 官方 API 支持的能力包括?

多选题 · easy

  • A.流式输出← 正确答案
  • B.函数调用← 正确答案
  • C.图像生成
  • D.128K 上下文← 正确答案

答案:ABD。DeepSeek API 支持流式输出(stream)、函数调用和 128K 上下文窗口。V3.1 是文本模型,不具备图像生成能力,多模态能力不属于其 API 范畴。

参考来源