Weights & Biases：实验追踪

为什么需要 W&B：实验日志散落 → 统一追踪与协作

在真实的模型开发中，实验管理长期处于「失控」状态。研究员往往在终端里看到准确的验证指标，却忘了保存对应的超参数；或者在四个不同目录下同时跑了多组实验，事后只能用文件名里的「v2_final_真的最终版」来区分。传统方案 TensorBoard 虽然能画曲线，但存在三个致命问题：一是只能查看本地单机实验，无法跨设备、跨团队共享；二是需要手动解析 tfevents 文件才能做程序化分析；三是没有超参记录、代码版本、数据集版本的关联，复现一次实验要花半天核对环境。对于多卡训练、分布式调参、多人协作的场景，这些痛点会被进一步放大。

W&B 把「实验」建模成一套完整的数据结构：每个 run 自动绑定时间戳、Git commit、代码状态、超参数（config）、指标曲线（history）、产物文件（files）和数据集版本（artifacts）。任何一次实验结束后，你在浏览器中就能看到完整的「实验档案」，而不仅仅是 loss 曲线。它不做重复造轮子——TensorBoard 兼容模式下可用 wandb.init(sync_tensorboard=True) 自动同步现有 TensorBoard 日志，因此迁移成本很低。

与 MLflow 相比，W&B 的差异在「产品完成度」：MLflow 是开源框架，强调「自托管 + 可定制」，适合有 MLOps 团队的大厂私有化部署；W&B 则默认云端优先，开箱即用的交互看板、Sweeps 自动调参、Artifacts 数据版本管理开箱即用。如果你的诉求是「今天装上、今天就能和队友分享实验看板」，W&B 的体验明显更顺滑。

安装与环境配置：3 步就绪

第一步·安装 SDK。W&B 的 Python SDK 托管在 PyPI 上，包名为 wandb。建议在独立的虚拟环境（venv/conda）中安装，避免污染全局 Python：

第二步·登录认证。W&B 需要在 wandb.ai 上注册免费账号，然后在终端执行 wandb login，按提示粘贴 API key（个人设置 → API Keys 页面生成）。企业自托管实例则通过 WANDB_BASE_URL 环境变量指定地址，再执行登录：

第三步·验证安装。运行 wandb --version 确认版本；再执行 wandb status 查看登录状态。如果输出包含 API key 关联的用户名，说明已就绪。离线环境下可用 wandb login --relogin 重新认证，或设置 WANDB_MODE=offline 只做本地记录、稍后同步。

pip install wandb

wandb login

快速上手：10 分钟跑通第一个实验

思路：W&B 的使用高度模式化——「初始化 run → 记录指标 → 结束 run」三步。下面的示例用一个随机游走模拟「训练损失下降」过程，演示最核心的 wandb.init() 和 wandb.log() 接口，不依赖任何深度学习框架：

执行 python train.py 后，终端会打印一条包含链接的日志，如 View run at https://wandb.ai/<username>/demo-project/runs/<run_id>。浏览器打开该链接即可看到 loss/acc 曲线、config 超参表、系统资源占用（CPU/GPU/内存）等面板。要点：wandb.log() 接收一个 dict，key 是指标名，value 是数值或张量；每调用一次相当于记录一个 step。进阶技巧：同一个 project 下多次运行 train.py，W&B 会自动生成对比图（同一指标曲线叠加），无需额外配置。

import wandbimport random # 1. 初始化一次实验 run，config 记录超参run = wandb.init(    project="demo-project",    config={"epochs": 5, "learning_rate": 0.01, "batch_size": 32}) # 2. 模拟 5 轮训练，每轮记录 loss 和 accuracyfor epoch in range(run.config["epochs"]):    loss = 1.0 / (epoch + 1) + random.uniform(-0.05, 0.05)    acc = 1 - loss + random.uniform(-0.02, 0.02)    wandb.log({"epoch": epoch, "loss": loss, "acc": acc}) # 3. 结束 run（也可不调用，脚本退出时自动结束）run.finish()

核心能力详解：5 大支柱

支柱一·实验追踪（Runs）。W&B 最基础的能力。wandb.init() 自动捕获环境信息：Python 版本、操作系统、GPU 型号、Git commit、代码文件的 diff 状态。wandb.log() 支持任意数值指标，还可用 wandb.log({"chart": wandb.Image(img_tensor)}) 记录图片（如分割掩码可视化）、wandb.Audio()/wandb.Video() 记录多模态数据。这些指标实时同步并在网页端绘制交互图表，支持滑动缩放、悬停读数。

支柱二·超参调优（Sweeps）。Sweeps 是 W&B 的自动化调参引擎。在配置文件中声明搜索空间（随机搜索、贝叶斯搜索或网格搜索），W&B 调度器会并行启动多个 agent，每个 agent 各跑一组超参，自动汇总对比。与 Optuna 等库的区别在于，Sweeps 的结果天然沉淀在看板中，且支持「早停」——根据中间指标杀掉劣势 run，节省算力。

支柱三·数据集与模型版本管理（Artifacts）。把数据集、模型权重、预处理产物视为带版本的对象，记录「哪个 run 用了哪个版本的数据、产出了哪个版本的模型」。wandb.log_artifact() 上传文件（支持断点续传与去重），后续 run 可用 artifact.use() 按版本取用，实现端到端的可复现链。

支柱四·LLM 应用开发（Weave）。Weave 是 W&B 2024 年开始重点投入的 LLM 工具链，覆盖 Prompt 版本管理、LLM 调用追踪（每次调用的输入/输出/token 消耗/延迟）、评估数据集管理（Weave Bench）。与纯实验追踪不同，Weave 直接嵌入 OpenAI、Anthropic 等 SDK，自动记录结构化调用轨迹。

支柱五·模型注册表与报告（Registry & Reports）。模型注册表将验证通过的 Artifact 标记为「生产候选」，并关联测试分数与负责人；Reports 是可分享的动态看板，将多组实验曲线、表格、说明文字组合成一份带版本历史的报告，取代「截图 + 邮件」的协作方式。

生产部署与监控：从上线到运维

部署方式一：云端 SaaS 直连。个人/小团队直接使用 wandb.ai 托管服务，SDK 直连无需自建。免费版提供个人无限 run 记录，适合论文实验与个人项目。

部署方式二：自托管（Dedicated Cloud / On-Prem）。数据合规要求高的企业可在自有 VPC 中部署 W&B 服务端（官方提供 Helm chart），SDK 通过 WANDB_BASE_URL 指向内网实例。自托管完全掌控数据主权，但需自行运维 Kubernetes 集群——官方建议至少 3 节点起步。

可观测性。W&B 本身是「观测层」而非「被观测对象」，其可观测性实践体现在三方面：一是资源监控面板自动采集系统指标（GPU 利用率、显存、温度），训练 OOM 时可在时间轴上反向定位是哪个 step、哪次 log() 触发；二是通过 wandb.alert() 配置异常告警，例如 loss 连续 5 个 step 上升时推送到 Slack/钉钉；三是 Sweeps 的智能早停。注意告警属于 W&B 的付费功能（Free 版不包含）。

<p class=“para-label“>避坑清单：</p><ul class=”dash-list”><li>项目命名混乱：所有人在 project 名随意 test1、test2，几周后看板无法检索。应建立规范，如 <业务线>-<模型名>，并在 wandb.init() 中强制携带 description 和 tags。</li><li>config 记录不完整：只记超参不记数据版本、代码 commit，复现时只能猜。应把 git commit、数据集 artifact 名、随机种子统一写入 config。</li><li>多卡/DDP 训练日志爆炸：每个 GPU 进程都调用 wandb.init() 会产生 N 个重复 run。正确做法仅在 rank 0 进程初始化 run，其余进程只做 wandb.log() 或直接跳过。</li><li>离线环境卡在登录：内网训练机无法访问 wandb.ai。应先在本地 wandb login 拿到 API key，通过 WANDB_API_KEY 环境变量注入训练脚本；或 WANDB_MODE=offline 本地记录，触发同步到内网实例。</li><li>隐私泄露：误将含敏感数据的样本图或 prompt 记录到云端。生产环境应使用自托管或启用 WANDB_MODE=offline + 脱敏脚本后再上传。</li></ul>

版本迭代

W&B 自 2017 年发布以来，经历了「实验追踪 → 超参调优 → 数据版本管理 → LLM 工具链」四次演进：2018-2020 年逐步完善 Runs/Sweeps/Artifacts 三大模块，2021 年推出 Reports 协作报告，2024 年起以 weave==0.x 版本快速迭代 LLM 可观测性能力。（截至训练数据，可能已有更新版本）

AI 应用场景

常见误区

面试题

参考来源

• webpageW&B 官网免费注册云端服务，包含项目看板与模型注册表