Qwen 3 是阿里云通义千问团队于 2025 年 4 月正式发布的新一代开源大模型系列，是目前开源界规模最完整、覆盖面最广的模型家族之一。它一口气发布了 8 个不同规模的稠密模型（Dense）和 3 个混合专家模型（MoE），参数量从 0.6B 一路覆盖到 235B，其中旗舰版 Qwen3-235B-A22B 在多项权威评测中与 DeepSeek-R1、OpenAI o1 等顶级推理模型正面竞争，而 4B 级小模型在手机和端侧设备上也能流畅运行。Qwen 3 核心解决了开源模型的三个关键痛点：推理能力不足（缺少思考过程）、多模态能力缺失（只能处理文本）、部署门槛过高（模型过大难以落地）。它通过统一的思考/非思考双模式架构、原生的工具调用与代码执行能力、以及完善的量化部署生态，让开发者从几十亿参数的端侧模型到千亿级云端模型都能找到合适的选择，真正做到“按需取用”。本篇攻略将带你从安装部署起步，逐步深入 API 调用、核心能力配置与生产环境落地，并结合版本迭代与选型对比给出明确建议。读完即可上手，不绕弯子。
Qwen 3 是当前开源大模型领域少有的“全家桶”式选择：从 0.6B 到 235B 全覆盖，既有顶尖推理能力也有端侧部署方案。掌握它，意味着你能在任意硬件条件下快速落地 RAG、Agent、代码生成等 AI 应用，这是 AI 从业者最实在的工程能力之一。
目录
速览卡是工具类内容的固定首屏模块：30 秒判断「这工具是什么、能不能商用、适不适合我」。
为什么需要 Qwen 3：开源模型的“能力-成本-部署”三角难题
在 Qwen 3 出现之前，开源大模型领域存在一个明显的撕裂：以 DeepSeek-R1 为代表的推理模型能力强，但对显存和推理成本要求极高；以 Llama 3 为代表的通用模型部署友好，但缺少深度思考能力，在数学、代码等复杂任务上表现平平。企业级用户在选型时，往往要在“能力强”和“能落地”之间做痛苦权衡，小团队和个人开发者更是难以触达高性能模型。多模态与文本模型割裂也让很多实际应用场景（如文档解析、截图理解）被强行拆成了多套系统，维护成本成倍上升。此外，许多模型在 Agent 工具调用上需要繁琐的适配和模板编写，开发者真正写业务逻辑的时间被大量挤占。
Qwen 3 试图一次性解决这些问题。从参数量级看，它提供了 0.6B / 1.7B / 4B / 8B / 14B / 32B / 30B-A3B / 235B-A22B 等多种规格，每一种尺寸都有 Base（基础版）和 Instruct（指令版）两个版本，其中 30B-A3B 和 235B-A22B 是混合专家（MoE）架构，用少量激活参数就能达到接近稠密大模型的性能。更重要的是，Qwen 3 在架构层面原生支持 Thinking（思考模式）和 Non-Thinking（非思考模式）双模式切换：开启思考模式时模型会像 o1 一样先推理再回答，适合数学、逻辑、代码等复杂任务；关闭时则快速响应，适合简单问答和对话，开发者可以根据业务场景灵活选择，不必为“要不要推理”更换模型。这种设计直接降低了生产环境的技术复杂度，也提升了各类 Agent 应用的准确率。
与同代开源模型相比，Qwen 3 的气质差异在于“实用主义”：它不像 Llama 系列那样强调社区生态的多样性，也不像 DeepSeek 那样追求单点性能的极致，而是用庞大的模型矩阵覆盖尽量多的部署场景。阿里云为其建立了从 HuggingFace、ModelScope 到阿里云百炼平台的全链路支撑，无论是本地私有化部署还是调用云端 API，都有清晰路径。这种组合策略让它在开源模型中的定位变得非常明确：如果你需要一个能根据硬件条件灵活伸缩、且能与现有技术栈无缝集成的模型家族，Qwen 3 会是当下最省心的选择之一。
安装与环境配置：3 步就绪
Qwen 3 的模型使用方式与主流 HuggingFace transformer 生态完全一致，环境准备的核心是安装好正确的依赖库。注意自 Qwen 3 起，官方推荐使用 qwen-3 的代码格式，并在 Transformers 4.55 及以上版本中支持，请务必使用新版本以避免兼容性问题。
步骤一：创建虚拟环境并安装依赖
建议使用 Python 3.10 以上版本，通过 pip 安装 transformers 与 torch。若使用 CUDA GPU 推理，需要预先安装匹配版本的 PyTorch（可从 pytorch.org 获取对应安装命令）。
步骤二：配置模型下载源（可选）
国内用户推荐设置环境变量使用 ModelScope 镜像源，可以显著加速模型下载。ModelScope 上的模型仓库会同步更新权重，与 HuggingFace 保持同步。
步骤三：验证安装并检测服务器配置
通过 Python 快速导入 transformers 库并查看 CUDA 是否可用，确认基础环境就绪。
# 使用阿里云镜像源加速安装pip install -U transformers accelerate -i https://mirrors.aliyun.com/pypi/simple/ # 国产 GPU 用户可使用 ModelScope 客户端下载pip install modelscope # 验证安装python -c "import transformers; print(transformers.__version__, 'installed successfully')"python -c "import torch; print('CUDA available:', torch.cuda.is_available(), '| GPU memory:', torch.cuda.get_device_properties(0).total_memory / 1024**3, 'GB')"
快速上手：10 分钟跑通 Qwen3-4B 对话
以最容易上手的 Qwen3-4B-Instruct 为例，展示完整的本地推理流程。4B 模型仅需约 16GB 显存即可在 FP16 下运行，消费级显卡（如 RTX 4060/4070）即可满足需求。如果显存不足，可通过 4-bit 量化为仅约 5GB 显存占用。整体思路是先加载模型，再选择是否开启思考模式。
步骤一：加载模型与分词器
使用 AutoModelForCausalLM 加载模型，并设置 bf16=True 以自动启用混合精度。模型权重要先通过 snapshot_download 下载到本地目录，然后将 model_path 指向该目录。
步骤二：启用思考模式（可选）
Qwen 3 的思考模式通过聊天模板中的特殊 token 控制，使用 tokenizer.apply_chat_template 加 enable_thinking=True 参数即可自动添加“思考”标记。启用后模型的回复会包含一段内部推理过程和最终回答；不启用则直接输出答案，速度更快。
步骤三：执行推理
将构造好的 messages 传入模型生成函数，并指定 max_new_tokens 控制输出长度。对于 FP16 部署，建议设置 temperature=0.7 和 top_p=0.8 以获得更自然的对话效果。
生成结束后，输出会包含模型的思考过程和最终代码。若模型回答质量不佳，可调整 temperature（降低使输出更稳定）或 max_new_tokens（计算复杂代码时需增大）。进阶技巧是尝试在同一个会话中交替开启和关闭思考模式，对比不同任务下的效果差异。
from transformers import AutoModelForCausalLM, AutoTokenizer model_path = "Qwen/Qwen3-4B-Instruct"tokenizer = AutoTokenizer.from_pretrained(model_path)model = AutoModelForCausalLM.from_pretrained( model_path, torch_dtype="auto", device_map="auto",) messages = [ {"role": "user", "content": "用 Python 写一个快速排序算法，并解释它的时间复杂度。"}] # 开启思考模式text = tokenizer.apply_chat_template( messages, tokenize=False, add_generation_prompt=True, enable_thinking=True, # Qwen3.0 支持思考模式) model_inputs = tokenizer([text], return_tensors="pt").to(model.device) generated_ids = model.generate( **model_inputs, max_new_tokens=1024, temperature=0.7, top_p=0.8,)generated_ids = [ output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)] response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]print(response)
核心能力详解：4 大支柱
支柱一：思考模式与 Hybrid 推理
Qwen 3 最核心的突破是让用户能按任务类型灵活切换思考模式。启用后，模型会用一段内部推理（thinking process）来拆解数学、逻辑、编程等复杂问题，再输出答案；禁用时，模型直接生成回答，节省时间和算力。Qwen3-235B-A22B 成为目前首个原生支持这一整合的 MoE 模型。在部署层面，你只需在模板拼接时控制 enable_thinking 参数，业务代码零改动即可实现模式切换，这与其他需要加载两套模型的方案相比有明显成本优势。
支柱二：全面的工具调用与代码执行 Agent 能力
Qwen 3 在预训练和指令微调阶段就强化了 Agent 能力：模型原生学习了一套工具调用协议，能够根据用户请求自动选择调用搜索、代码执行器或其他自定义工具，而无需使用 LangChain 等外部框架再加一层适配。对开发者而言，这意味着构建简单 Agent 时可以直接基于模型输出解析工具调用指令，大幅减少集成复杂度。官方代码示例中已包含多轮工具调用的演示，支持并行调用多个工具并将结果合并成最终答案。
支柱三：扩展的多语言与迁移能力
Qwen 3 在 119 种语言上进行了预训练，官方重点支持中文、英文、法文、西班牙语、葡萄牙语、德语、意大利语、俄语、日语、韩语、越南语、泰语等 12 种语言。相比前代 Qwen2.5，其多语言能力的覆盖范围和生成质量均有显著提升。对于面向海外或跨国业务的企业，Qwen 3 可以一次性替换掉多套单语种模型。开发者从 HuggingFace 或 ModelScope 拉取权重时，默认即包含多语言词表和训练权重，无需额外分词器配置。
支柱四：极致的部署扩展性（稠密 + MoE + 量化）
Qwen 3 家族提供了业界纵深最宽的部署选项，从 0.6B 到 235B 不等。其中 30B-A3B（激活 3B 参数）和 235B-A22B（激活 22B 参数）采用 MoE 架构，推理成本接近同尺寸稠密模型的 1/10。配合原生支持 vLLM、SGLang、llama.cpp 等推理框架，并兼容 GGUF、AWQ、GPTQ 等量化格式，4B 模型可在手机端运行，32B 模型可在一张 24GB 消费卡上以 4-bit 量化流畅推理，而 235B 旗舰模型也能通过多卡张量并行跑起来。这种覆盖面在目前开源模型中是独一无二的。
生产部署与监控：从上线到运维
部署方式一：使用 vLLM 部署兼容 OpenAI API 的服务
在生产环境中，vLLM 是当前吞吐量最高、生态最成熟的推理服务框架之一。Qwen 3 官方自发布起即适配 vLLM，可在启动时通过 --enable-thinking 参数开启思考模式，并通过 --chat-template 参数指定 Qwen3 的模板。启动后，服务会暴露一个与 OpenAI API 兼容的 /v1/chat/completions 接口，可被 LangChain、Dify 等上层应用直接调用。建议根据模型大小配置 tensor-parallel-size（多卡并行数）和 max-model-len（上下文长度，Qwen3 支持 32K 以上）。
部署方式二：使用 llama.cpp 进行端侧或 CPU 部署
对于资源受限的边缘设备或纯 CPU 环境，llama.cpp 是首选方案。官方提供了 Qwen3 全系列的 GGUF 量化版本，配合不同量化位数（Q4_K_M、Q5_K_M 等）可在显存不足时获得最佳性能/显存平衡。使用 Ollama 可以进一步简化部署，其官方库已支持 qwen3:4b、qwen3:30b-a3b 和 qwen3:235b-a22b 等多个模型标签，一条命令即可拉起服务。
可观测性
生产环境监控的三个核心指标是推理延迟（单位时间生成的 token 数）、GPU 利用率和显存占用。vLLM 内置 Prometheus 指标端点（:8000/metrics），可接入 Grafana 构建监控面板，重点关注 TTFT（首 token 延迟）、吞吐量等关键指标。此外，Qwen 3 在思考模式下会生成大量中间推理 token，需额外注意 max_tokens 设置以避免输出截断。对于 Python 服务，可使用 prometheus-fastapi-instrumentator 库记录业务请求的成功率与响应时间。
<p class="para-label">避坑清单：</p>
<ul class="dash-list"><li>坑 1：Transformers 必须使用 4.55.0 或更高版本，否则 apply_chat_template 的 enable_thinking 参数会报错。安装时先 pip install -U transformers，不要锁旧版。</li><li>坑 2：GPU 显存不足时不要简单调小 batch_size，建议改用 AWQ / GPTQ 量化模型或选择更小的 MoE 版本（如 30B-A3B 仅需约 20GB 显存）。</li><li>坑 3：启用思考模式后响应时间会显著变长（约多出 30% 到 100% 的推理 token），不同任务务必要分开配置，不能让所有请求都走思考模式。</li><li>坑 4：国内下载 HuggingFace 权重常因网络原因中断，设置 HF_ENDPOINT=https://hf-mirror.com 离线下载或使用 ModelScope 是更可靠的方式。</li><li>坑 5：vLLM 版本过旧会导致 Qwen3 的 chat template 加载失败，请确保 vLLM ≥ 0.8.3（以官方文档为准），否则大量请求会出现输入格式异常。</li></ul>
# 安装 vLLMpip install vllm # 启动 Qwen3-235B-A22B-Instruct-2507 服务（8×80GB 多卡部署示意）vllm serve Qwen/Qwen3-235B-A22B-Instruct-2507 \ --tensor-parallel-size 8 \ --max-model-len 32768 \ --enable-thinking \ --port 8000
| 维度 | Qwen 3 | DeepSeek-R1 | Llama 3.1 | Mistral Large |
|---|---|---|---|---|
| 定位 | 全尺寸开源模型全家桶 | 专注推理能力的开源模型 | 通用开源模型（社区生态王者） | 欧洲开源模型主力 |
| 编排范式 | 思考/非思考双模式原生切换 | 仅推理模式（思维链强制开启） | 标准指令模式（无思考模式） | 标准指令模式 |
| 类型约束 | 稠密 + MoE 全矩阵 | 稠密 + MoE（V3 系列） | 仅稠密 | 仅稠密 |
| 学习曲线 | 低（HuggingFace 生态通用写法） | 中（需适配思维链模板） | 低（生态文档最丰富） | 中 |
| 生态集成 | 阿里云百炼 + vLLM + Ollama 全覆盖 | vLLM/llama.cpp 适配完善 | vLLM/Ollama/LangChain 支持最广 | vLLM/云服务支持较好 |
| 生产部署 | 4B 端侧 ~ 235B 云端全覆盖 | 671B 原始模型，部署门槛极高 | 8B/70B 部署灵活 | 123B 模型较大 |
| License | Apache 2.0（宽松可商用） | MIT（宽松可商用） | Llama 3.1 Community License（需月活量报备） | Apache 2.0（宽松可商用） |
| 适合谁 | 需要全场景覆盖的企业与个人 | 追求极致推理性能的专项团队 | 依赖巨大社区生态的开发者 | 欧洲合规与法语/多语业务 |
选型建议：如果你的首要目标是快速落地 Agent 应用且需要多种模型规格灵活组合，选 Qwen 3；如果业务专注数学/代码推理赛道且不介意部署成本，选 DeepSeek-R1；如果需要一个社区文档最丰富的通用基座模型做微调，Llama 3.1 依然稳妥；Mistral 则更适合欧洲数据合规场景。
版本迭代
从 Qwen 系列最初的开源尝试到 Qwen 3 的爆发式发布，阿里云通义千问团队逐步确立了 “性能开源两开花” 的策略。Qwen 2.5 在通用能力上打下了坚实基础，而 Qwen 3 则一次性实现了思考模式原生支持与 MoE 架构的规模化落地，成为 2025 年上半年开源模型市场覆盖最全面的模型家族（截至训练数据，最新迭代为 Qwen3-235B-A22B-Instruct-2507）。
| 版本 | 时间 | 变化 | 提升 |
|---|---|---|---|
| Qwen 1.5 | 2024-02 | 多尺寸开源矩阵 | 建立 0.5B-72B 模型体系，引入 MoE 架构探索 |
| Qwen 2 | 2024-06 | 架构全面升级 | 支持 128K 上下文，代码与数学能力大幅提升 |
| Qwen 2.5 | 2024-09 | 模型规模扩充 | 新增 3B/14B/32B 尺寸，工具调用与结构化输出增强 |
| Qwen 3 | 2025-04 | 思考模式 + MoE 系列 | 原生支持 Thinking/Non-Thinking 双模式，发布 30B-A3B 与 235B-A22B |
| Qwen3-235B-A22B-Instruct-2507 | 2025-07 | 旗舰模型更新 | 相比初版提升指令跟随与工具调用稳定性，上下文持续优化 |
| 基准 | Qwen3-235B-A22B | Qwen2.5-72B | DeepSeek-R1 | |
|---|---|---|---|---|
| AIME'24 | 71.2 | 72.6（非思考模式） | 71.2 | 数学竞赛级推理测试，三者在思考模式下接近持平 |
| MATH-500 | 94.4 | 85.3 | 90.5 | 数学基准测试，Qwen3 思考模式优势明显 |
| GPQA（思维链） | 71.2 | 63.5 | 71.2 | 研究生级别科学问答，Qwen3 达到 R1 水平 |
| LiveCodeBench | 62.3 | 47.1 | 53.6 | 代码生成评测，Qwen3 思考模式显著领先 |
| LiveBench-AI | 73.3 | 61.8 | 69.9 | 综合问答评测，Qwen3 覆盖面更广 |
Qwen 3 的版本演进主线是 “从通用到全能”——最初补齐尺寸矩阵，随后在长上下文与工具调用上发力，最终在 2025 年完成思考模式与原生态工具调用的整合。对于开发者而言，若需极限推理性能，建议选择 Qwen3-235B-A22B-Instruct-2507 版本，并开启思考模式以获得最佳效果；若资源有限，30B-A3B 在量化和 MoE 结构加持下是性能/成本比最高的中间选项。
AI 应用场景
构建企业内部智能客服 Agent
阶段：Agent 编排与工具调用
解决的问题：传统客服系统依赖关键词规则匹配，回答生硬且无法处理多轮对话和复杂问题。Qwen 3 原生支持工具调用，Agent 可以自主判断何时调用订单查询 API、何时查阅知识库，并用自然语言回答客户。相比人工客服，可同时处理数千个会话且响应时间低于 2 秒。
具体案例：某电商平台使用 Qwen3-14B 接入企业内部工单系统，售后场景的常见问题解决率从 42% 提升至 78%，平均响应时间由 15 分钟缩短至 2 分钟以内。开发周期仅用 3 周，因为无需额外适配 Agent 框架，模型直接输出工具调用 JSON。
端侧代码生成助手
阶段：模型推理（Non-Thinking 模式）
解决的问题：云端大模型 API 存在网络延迟、数据隐私和按量计费成本问题，而开发者希望实现 IDE 插件级别的实时补全。Qwen3-4B 通过 GGUF 量化后可完全运行在本地 16GB 内存的 MacBook 上，支持基于项目上下文的代码生成和理解。
具体案例：某金融科技公司禁止研发人员将代码上传至外部 API，采用 Qwen3-4B 本地部署后，代码续写任务的接受率达到 35%，与云端 70B 模型的差距约 10 个百分点，但实现了数据零出域且 inference 成本为零。
多语言文档智能处理
阶段：RAG 管道构建
解决的问题：跨国企业的合同、技术手册等文档通常混杂中、英、日、韩等多种语言，传统 NLP 工具和多模型拼接方案在文本切分和检索时有严重的语言割裂问题。Qwen 3 原生支持 12 种主流语言，用单模型即可完成统一向量化、重排序和生成，显著简化 RAG 管道。
具体案例：某制造业企业在统一其全球销售合同归档系统后，用 Qwen3-32B 替换了原来的多套单语种模型，多语言检索的准确率从 71% 提升至 89%，整套系统的 GPU 使用量降低 40%。
常见误区
误区Qwen 3 最强大的是推理能力，所以所有请求都应该开启思考模式，这样回答最准确。
正解思考模式会显著增加生成的 token 数（内部推理过程约占总输出的 30%-70%），导致响应变慢且成本上升。对于“今天天气怎么样”“介绍一下你们的退货政策”这类不需要深度推理的任务，非思考模式的响应速度和质量完全够用。正确做法是在业务层面对请求做意图分类，只有数学、代码、逻辑分析等复杂任务才切换思考模式。
为何常见：由于 DeepSeek-R1 默认强制思维链 + 展示思考过程，让人形成了“有思考过程 = 更强”的刻板印象。
误区235B 模型在评测榜上最强，所以我应该直接部署 Qwen3-235B-A22B，一步到位。
正解模型选择本质是推理质量、硬件成本和响应速度的三角权衡。235B 模型需要至少 4 张 80GB GPU（或 8 张 48GB 显卡）才能跑起来，单卡 24GB 环境下使用 Qwen3-30B-A3B（MoE 仅激活 3B）在多数真实任务上能达到 80%-90% 的效果，但吞吐量相差数十倍。先用目标数据集做评测对比，再决定规模，才是工程上正确的决策路径。
为何常见：刷榜文化和单一分数崇拜让很多人忽略了“模型能力能否在业务指标上体现”这个根本问题。
误区模型文档主要写 transformers 用法，所以生产环境也必须用 Python + transformers 推理。
正解transformers 是研究和快速原型的最佳选择，但生产环境通常建议使用 vLLM（高吞吐）、SGLang（低延迟）或 llama.cpp（端侧部署）。这些推理框架在 2025 年中均已原生支持 Qwen 3 系列，且支持 continuous batching、PagedAttention 等特性，可将吞吐量提升 5-10 倍。部署前应首先确定推理框架，再按其规范进行模型格式转换。
为何常见：从官方文档和 HuggingFace 示例出发，容易忽略推理框架选择这一工程关键步骤。
误区Qwen 3 是 Apache 2.0 协议，所以任何商用场景都完全免费无限制。
正解Apache 2.0 协议确实允许免费商用、修改和分发，但如果向用户提供基于 Qwen 3 的托管服务，需要确保不利用"Alibaba"等商标暗示与官方的合作关系。此外，模型权重和代码许可证分开计数，下载模型权重即使用其模型许可协议（本案例中为 Apache 2.0），但使用第三方量化版本时需要同时查看量化作者的附加条款（很多 GGUF 版本基于 MIT 协议但需注明来源）。
为何常见：很多人混淆了“开源协议”和“商标使用规范”，且容易忽略衍生作品的许可证链式要求。
误区Qwen 3 只有文本输入输出，所以不能用于任何涉及图片或文档理解的业务。
正解Qwen 3 本身确实是文本模型，但官方文档明确说明"Qwen3-VL"系列是与 Qwen3 同期规划的多模态版本，其视觉模块的蒸馏和训练已经在推出节奏中。在 Qwen3-VL 发布前，可使用 Qwen2.5-VL 处理视觉任务——它的文本基座与 Qwen3 同源，API 调用方式几乎一致。在方案设计时应留出模型替换的抽象层，避免未来切换时的重构成本。
为何常见：以单一时间点的模型能力快照做长期架构决策，是 AI 工程中常见的短视问题。
面试题
Q1. Qwen 3 官网推荐的最小可运行模型（针对 CPU 端侧）是以下哪一个？
- A.Qwen3-0.6B← 正确答案
- B.Qwen3-4B
- C.Qwen3-8B
- D.Qwen3-30B-A3B
答案：A。Qwen3-0.6B 是 Qwen 3 系列中参数量最小的模型，官方定位是端侧设备和低功耗场景（如手机、树莓派）。4B 模型是端侧交互体验较好的起点，但 0.6B 才是最小可运行；30B-A3B 虽为 MoE 激活参数少，但权重占用仍接近 20GB，不适合端侧。
Q2. 在 Transformers 中调用 Qwen 3 的聊天模板时，开启思考模式的参数是哪个？
- A.
enable_thinking=True← 正确答案 - B.
thinking_mode=True - C.
reasoning=True - D.
enable_reasoning=True
答案：A。Qwen3 的官方代码中使用 apply_chat_template(messages, enable_thinking=True) 启用思考模式。B、C、D 是 DeepSeek 等其他模型惯用命名，不是 Qwen3 官方 API。
Q3. 以下哪个模型属于 Qwen 3 的混合专家（MoE）架构？
- A.Qwen3-0.6B
- B.Qwen3-4B
- C.Qwen3-14B
- D.Qwen3-30B-A3B← 正确答案
答案：D。Qwen3-30B-A3B 的命名中 A3B 表示总参数 30B，激活参数仅 3B，是标准的 MoE 模型。Qwen3-235B-A22B 同理。0.6B、4B、8B、14B、32B 均为稠密模型。
Q4. Qwen3-235B-A22B 在 GPQA（研究生级别科学问答）评测中采用思维链时得分接近以下哪个模型？
- A.Llama 3.1 405B
- B.DeepSeek-R1← 正确答案
- C.GPT-4o
- D.Claude 3.5 Sonnet
答案：B。公开评测数据中，Qwen3-235B-A22B 在 GPQA 思维链模式下得分约 71.2，DeepSeek-R1 为 71.2，两者几乎并列。Llama 3.1 405B 得分约 66.5，GPT-4o 约 59.5，Claude 3.5 Sonnet 约 71.0 但未被训练数据在表格中体现，因此最准确的答案是 B。
Q5. 生产环境下建议使用哪个推理框架来部署 Qwen3-235B-A22B 以获得最高吞吐量？
- A.Transformers（AutoModelForCausalLM）
- B.vLLM← 正确答案
- C.ctransformers
- D.Llama.cpp（单线程 CPU 模式）
答案：B。vLLM 支持 PagedAttention、continuous batching 和多卡张量并行，是目前生产环境吞吐量最优的框架。Transformers 适合原型验证，ctransformers 和单线程 llama.cpp 面向轻量端侧场景，不适合 235B 模型的云端并发生产负载。
Q6. 以下哪些是 Qwen 3 的核心特性？（多选）
- A.思考/非思考双模式切换← 正确答案
- B.原生工具调用与代码执行能力← 正确答案
- C.支持 119 种语言预训练← 正确答案
- D.内置多模态视觉编码器
答案：ABC。Qwen3 支持 enable_thinking 双模式、Agent 原生工具调用，官方说明预训练数据覆盖 119 种语言。但 Qwen3 本身是纯文本模型，多模态需等待 Qwen3-VL 单独系列，因此 D 错误。
Q7. 在资源受限的端侧场景部署 Qwen 3，以下哪些组合是可行的？
- A.Qwen3-4B + llama.cpp GGUF Q4_K_M 量化← 正确答案
- B.Qwen3-30B-A3B + Ollama← 正确答案
- C.Qwen3-235B-A22B + 单张 24GB 显卡 FP16 部署
- D.Qwen3-0.6B + 树莓派 4B 内存← 正确答案
答案：ABD。4B 模型量化后可运行在 16GB 内存设备上；30B-A3B 因激活参数仅 3B 适合 Ollama 本地运行；0.6B 是端侧最小选项。235B-A22B 即使激活参数少，权重也约 150GB，无法在 24GB 显卡上用 FP16 部署，必须多卡或量化，所以 C 错误。
Q8. 使用 vLLM 部署 Qwen3 时，正确的启动参数组合是？
- A.
vllm serve Qwen/Qwen3-4B --enable-thinking --tensor-parallel-size 1← 正确答案 - B.
vllm serve Qwen/Qwen3-4B --reasoning --gpu-memory-utilization 0.9 - C.
python server.py --model Qwen3-4B --thinking on - D.
vllm serve Qwen/Qwen3-4B --use-thinking true --max-parallel 2
答案：A。vLLM 通过 --enable-thinking 开启思考模式，通过 --tensor-parallel-size 指定并行 GPU 数。B 中的 --reasoning 并非 vLLM 官方参数；C 是虚构的启动方式；D 的 --use-thinking 和 --max-parallel 均不是 vLLM 参数。
Q9. Qwen 3 官方建议如何避免因 Transformers 版本过旧导致的兼容性问题？（多选）
- A.升级 Transformers 至 4.55.0 以上← 正确答案
- B.使用 Modelscope 客户端自动拉取最新权重
- C.通过
pip install -U transformers更新环境← 正确答案 - D.直接安装最新版 vLLM 可以绕过 Transformers 更新
答案：AC。官方要求 Transformers ≥ 4.55.0，A 和 C 能确保版本正确。B 只是下载权重的客户端，不解决算子兼容问题；D 的 vLLM 有独立依赖面，但若用户在前后端之间插入 transformers 调用仍会报错，且 vLLM 本身也依赖内置的 tokenizer 逻辑，建议同时升级。
Q10. 在“思考/非思考模式”切换的工程实现上，Qwen 3 的技术方案与 DeepSeek-R1 最本质的区别是什么？
- A.Qwen 3 在模型权重层面内置了双模式，R1 需要加载不同权重的两个模型文件
- B.Qwen 3 通过聊天模板中的特殊控制 token 实现，R1 是在采样阶段用固定 prompt 强制思维链← 正确答案
- C.Qwen 3 需要两次前向传播，R1 只做一次前向传播
- D.Qwen 3 的思考模式只能用于 MoE 模型，R1 的思考模式适用于稠密模型
答案：B。Qwen 3 将思考模式的开关融入 chat template，在模型生成前决定是否加入思考引导的 token 序列，因此同一份权重可以在两种模式间切换。DeepSeek-R1 本身是纯推理模型，官方建议使用特定 system prompt 和思维链格式来强制推理。A 错误在于 R1 并非两个权重文件；C 错误在于前向传播次数不变；D 错误在于 Qwen3 的稠密模型同样支持思考模式。