百度千帆：百度企业级LLM应用开发平台

为什么需要百度千帆：从模型裸调到应用落地的工程化鸿沟

传统方式下，企业要落地一个大模型应用，需要经历漫长的「裸调」过程：直接对接开源模型权重（如 Llama）、自建 GPU 推理集群、自行处理模型部署的弹性伸缩与高可用，同时还要在推理框架（vLLM 等）、Prompt 工程、知识库向量化等多个环节分别集成不同开源组件。这种做法对团队的 MLOps 能力要求极高——据我们接触的实践团队反馈，单是让模型稳定地以生产级 SLA 对外提供服务，通常就需要数周的前期工作，且 GPU 资源的利用率很难做到按需伸缩，成本居高不下。

千帆的解题思路是把这条链路整体打包成平台能力：模型托管与推理由百度智能云负责，开发者按 token 计费调用预置好的 ERNIE 系列及第三方开源模型；知识库、Prompt 工程、SFT 微调、Agent 编排则通过控制台或 API 以组件化方式拼装。这样，团队可以跳过基础设施层，把精力聚焦在业务逻辑本身。以 RAG 应用为例，传统方式要自建向量库 + 重排序 + 检索链路，千帆直接提供内置知识库组件，数据上传后可自动完成切片、向量化与检索。

与 LangChain 这类开源编排框架相比，千帆的气质更接近「工程交付平台」：LangChain 给你积木，你自己拼装并负责运维；千帆则是「积木 + 厂房」——不仅提供组件，还负责组件运行时的稳定性和扩展性。这也意味着迁移成本较高（平台绑定），适合追求交付速度和企业级运维保障的团队。

安装与环境配置：4 步就绪

千帆的核心能力通过云端控制台提供，本地只需安装 Python SDK 用于调用 API。步骤如下：

• 账号注册：访问百度智能云官网完成注册，进入千帆控制台需通过企业/个人实名认证；未实名时 API 调用受限。

• 开通服务：在千帆控制台的「开通管理」中开通「千帆大模型平台」服务，首次开通会赠送免费测试额度（额度政策以控制台实时展示为准）。

• 创建应用与密钥：在千帆控制台的「应用接入」中创建应用，系统生成 API Key 与 Secret Key，用于 OAuth 换取 Access Token。

• 安装 Python SDK：pip 安装 qianfan 客户端库，并配置环境变量完成认证。

# 1. 安装千帆 Python SDK（支持 Python 3.8-3.12）pip install qianfan # 2. 配置环境变量（在百度智能云「安全认证」中获取 AK/SK）export QIANFAN_AK="你的API Key"export QIANFAN_SK="你的Secret Key" # 3. 验证：查询账户下可用的模型列表python -c "import qianfan; print(qianfan.ChatCompletion().do(messages=[{'role':'user','content':'你好'}], model='ernie-4.0-8k'))"

快速上手：3 分钟跑通第一个问答应用

最小可用流程是「控制台创建应用 → 在线体验调参 → 集成 API」。不需要写一行代码即可先验证模型效果，适合产品经理与工程师对齐需求。

1. 登录千帆控制台，进入「在线测试」页面：左侧选择模型（如 ERNIE-4.0-8K 或 ERNIE Speed），在对话框输入「你好，请用一句话介绍你自己」，右侧查看返回结果。

2. 在「应用接入」中点击「创建应用」：填写应用名称（如「内部知识问答」），选择需要接入的模型（可多选），创建完成后页面展示该应用的 API Key 与 Secret Key——这是后续调用的凭证。

3. 回到控制台首页选择「Prompt 工程」：将你的系统提示词（如「你是一个严谨的技术文档助手，回答仅基于给定资料，不得编造」）填入并保存为模板，之后在应用配置中关联该模板。

4. 若业务需要私有知识，进入「知识库」页：新建知识库→上传文档（PDF/TXT/Markdown）→选择「自动切片+向量化」策略→发布版本。

5. 在线验证：在「在线测试」中勾选刚创建的应用，输入与业务相关的问题，确认模型能结合知识库回答。

进阶技巧：将上面的模板与知识库绑定到应用后，在代码中仅需将 messages 传入并指定 endpoint 即可复用全部配置——这意味着业务侧不用重复维护 Prompt 和知识库逻辑。

# 最小代码示例：调用千帆 ChatCompletion APIimport qianfan chat = qianfan.ChatCompletion()resp = chat.do(    model="ernie-4.0-8k",    messages=[{"role": "user", "content": "用一句话介绍百度千帆"}],    temperature=0.7,)print(resp["result"])

核心能力详解：4 大支柱

支柱一 · 多模型接入与统一推理。 千帆一个 API 接口（ChatCompletion）即可切换文心系列与第三方开源模型，无需改代码。平台侧负责推理资源调度与弹性伸缩，按 token 计费（价格以控制台「价格计算器」为准）。多模型并存允许开发者做效果 A/B 对比后再决定生产模型，这是它区别于自制推理服务的关键价值。

支柱二 · 知识库（RAG 能力）。 千帆内置从文档上传、切片（chunking）、向量化（Embedding）、检索到重排序（Rerank）的完整 RAG 链路。支持 FAQ 问答与检索问答两种模式：FAQ 适合高频标准问答，检索问答适合开放域知识。开发者不需要自己搭建向量数据库（平台内置），仅需在 API 中传入 endpoint（已关联知识库的应用名）即可自动启用检索增强。

支柱三 · 模型微调（SFT）。 千帆支持基于文心系列模型与部分开源模型（如 Llama 系）进行有监督微调，提供「轻量级微调」与「全量微调」两种模式。操作上只需准备 JSONL 格式的训练数据（prompt + completion 字段），在控制台「模型调优」中创建训练任务、选择基础模型与超参数即可。训练完成后生成独立模型版本，可在「模型仓库」中对比 base 模型与 SFT 模型的效果差异。

支柱四 · Agent 与低代码应用编排。 千帆的「服务编排」支持类 Agent 式工作流：将 LLM、知识库、API 插件（如百度搜索插件、自定义 HTTP 插件）拖拽成节点图，节点间支持条件分支与变量传递。对复杂业务可定义插件（描述 + API 信息），由 LLM 自动决定何时调用插件并解析参数——即在托管环境下实现 ReAct 模式，无需自建 Agent 框架。

生产部署与监控：从上线到运维

方式一 · API 直接集成（SaaS 形态）。 通用场景下，业务服务（如企业微信机器人、Web 应用后端）通过千帆的 REST API 同步调用模型，这时代码侧只需关注请求超时、重试与熔断。千帆负责推理资源，开发者无需关心 GPU 集群。适合大多数非高并发场景（QPS < 100），成本按 token 实付实销。

方式二 · 私有化部署（企业版）。 对数据合规要求严格的金融、政企客户，千帆提供「企业版」私有化交付：模型与平台组件部署在客户自有 VPC 内，数据不出域。部署形态与价格需联系百度商务获取方案；交付通常包含平台部署、模型私有化适配与效果调优服务。开发侧 API 与公有云版本保持一致，业务代码无需大幅改动。

可观测性。 千帆控制台的「监控中心」提供应用维度的调用量、Token 消耗、响应时延、错误率与成本统计。每次调用的请求/响应日志可回溯，方便定位 Prompt 效果问题与异常输入。建议生产环境在业务侧自行记录 request_id 与业务关联 ID，便于出现问题时向百度侧提交工单排查；同时为账号设置费用预警额度，避免异常流量导致成本失控。

<p class="para-label">避坑清单：</p>

<ul class="dash-list"><li>认证过期：Access Token 有效期默认 30 天，需用 AK/SK 定期刷新，直接缓存 Token 不刷新会导致线上间歇性 401 报错</li><li>知识库版本不更新：上传新文档后需显式「发布新版本」，否则线上应用仍命中旧版知识库切片</li><li>模型命名混淆：控制台展示名（如「ERNIE-4.0-8K」）与 API 的 model 参数值可能不一致，务必在「API 文档」页复制准确参数</li><li>并发配额误判：免费额度与付费 QPS 配额隔离，生产流量需提前在控制台申请提升配额，否则触发限流返回 429</li><li>Prompt 模板中的参数占位符与知识库变量如果命名冲突，会静默覆盖导致检索失效，建议使用独立前缀命名</li></ul>

版本迭代

千帆平台从 2023 年以「文心千帆」大模型服务平台落地，2024 年升级为千帆 2.0，强化了知识库、Agent 编排和多模型接入能力；2024 年 12 月发布千帆 3.0，加入行业解决方案和服务化能力。整体演进主线是从「模型托管」走向「应用开发平台」，再升级为「行业解决方案平台」。

AI 应用场景

常见误区

面试题