天工 Skywork

为什么需要天工 Skywork：中文开源模型的三重缺口

主流开源大模型中，Llama 等英文模型在中文场景的指令遵循与常识回答质量不稳定；闭源 API 存在数据出境与合规风险，政务、金融等场景无法直接调用；而部分国产开源模型只发布权重，训练数据与训练流程不透明，想研究预训练技术或基于原始语料做领域增强的团队无从下手。这是 Skywork 切入的三个核心痛点。

Skywork 的解法是「全链路开放」：Skywork-13B 基座模型基于超过 2 万亿 tokens 中英文语料训练，覆盖中文网页、百科、书籍等来源；同步开源 SkyPile-150B 数据子集，成为当时规模最大的中文开源预训练数据集之一；提供 Chat 对齐版本与 MoE 高效版本，覆盖「研究 → 微调 → 低成本推理」的完整链路。开发者既可以直接部署推理，也可以拿数据做继续预训练、蒸馏或数据质量研究。

与 Qwen、Baichuan、ChatGLM 等同期开源系列相比，Skywork 的气质差异是「研究友好」：训练数据与代码直接开放，适合复现预训练流程与中文数据配比实验。但其开发者生态与第三方工具链集成深度不及 Qwen 等头部系列，微调脚本、量化方案、云厂商镜像等周边资源更多依赖社区自建，生产集成时需要投入额外工程时间。

安装与环境配置：3 步就绪

第一步：创建 Python 环境并安装依赖。 Skywork 通过 HuggingFace Transformers 框架加载，需要 Python 3.10+、PyTorch 与 CUDA 11.8 及以上版本。建议使用 conda 隔离环境，避免与现有项目依赖冲突。

第二步：下载模型权重。 从 HuggingFace 或 ModelScope 拉取模型文件到本地目录。国内网络可先设置 HF_ENDPOINT 镜像环境变量加速下载。

第三步：验证加载。 用一段 Python 脚本加载模型并打印参数量，确认环境就绪。13B 模型以 BF16 精度推理约需 26GB 显存，24GB 显卡会内存溢出，可改用 8bit 量化或换用 40GB 以上显存的 GPU。

conda create -n skywork python=3.10 -yconda activate skyworkpip install torch transformers accelerate safetensors # 国内网络加速下载export HF_ENDPOINT=https://hf-mirror.comhuggingface-cli download SkyworkAI/Skywork-13B-Base --local-dir ./Skywork-13B-Base python - <<'EOF'from transformers import AutoModelForCausalLM, AutoTokenizername = "SkyworkAI/Skywork-13B-Base"tok = AutoTokenizer.from_pretrained(name, trust_remote_code=True)model = AutoModelForCausalLM.from_pretrained(    name, trust_remote_code=True, torch_dtype="auto", device_map="auto")print("load OK, params =", sum(p.numel() for p in model.parameters()) / 1e9, "B")EOF

快速上手：5 分钟跑通 Skywork-13B-Chat 对话

最简使用路径是三步：加载对话模型 → 用 tokenizer 拼接对话模板 → 生成并解码回答。Chat 版本已经过监督微调与偏好对齐，开箱即用，无需自行构造特殊提示词格式。

1. 在本地或云 GPU 实例（建议 24GB 以上显存）中激活 skywork 环境；

2. 确认已下载 SkyworkAI/Skywork-13B-Chat 权重；

3. 运行下方脚本，将 messages 中的问题替换为你的实际提问。

运行成功后会在终端打印一段关于 RAG 的定义说明。do_sample=False 得到确定性输出，适合测试与评测；需要多样性时可改为 do_sample=True 并设置 temperature=0.7。进阶技巧是使用 generation_config 统一管理生成参数，并将输入输出协议封装成 HTTP 服务，便于业务系统集成。

from transformers import AutoModelForCausalLM, AutoTokenizer tokenizer = AutoTokenizer.from_pretrained(    "SkyworkAI/Skywork-13B-Chat", trust_remote_code=True)model = AutoModelForCausalLM.from_pretrained(    "SkyworkAI/Skywork-13B-Chat",    trust_remote_code=True, torch_dtype="auto", device_map="auto") messages = [{"role": "user", "content": "用一句话解释 RAG 是什么"}]prompt = tokenizer.apply_chat_template(    messages, tokenize=True, add_generation_prompt=True, return_tensors="pt").to(model.device) outputs = model.generate(prompt, max_new_tokens=256, do_sample=False)answer = tokenizer.decode(outputs[0][len(prompt[0]):], skip_special_tokens=True)print(answer)

核心能力详解：4 大支柱

支柱一：全链路开源的中文预训练基座。 Skywork-13B 使用超过 2 万亿 tokens 中英文语料预训练，并开源 SkyPile-150B 数据子集与训练推理代码。研究团队可以复现数据配比、分析中文语料质量、在小模型上做继续预训练实验；工程团队则可直接基于权重构建垂直领域模型。

支柱二：稀疏 MoE 高效推理。 Skywork-MoE 总参数量 75B，单个 token 仅激活 3B 参数，由 Skywork-13B 稠密权重初始化扩展而来。MoE（混合专家）架构将网络拆分为多个专家子网络，每次推理只路由到少数专家，计算量接近 3B 稠密模型，模型容量接近 75B，适合高并发、低成本的中文生成场景。

支柱三：对话对齐与指令遵循。 Skywork-13B-Chat 在 Base 基座上做监督微调与人类偏好对齐，多轮对话稳定，对中文指令的理解与执行在同期 13B 开源模型中处于第一梯队，可直接嵌入客服、问答等业务流。

支柱四：多模态推理探索。 Skywork-R1V 是 38B 视觉-语言模型，具备视觉思维链能力——先描述图像内容再逐步推理，支持高分辨率图像输入与 OCR、图表、数学题目理解，适合文档智能与多模态 Agent 场景。

生产部署与监控：从上线到运维

部署方式一：vLLM + OpenAI 兼容 API。 Skywork-13B 与 LLaMA 架构兼容，vLLM 可直接加载并提供 OpenAI 风格接口，便于接入 LangChain、FastGPT 等应用框架。以下命令以 BF16 精度起服务，默认监听 8000 端口。

部署方式二：MoE 多卡张量并行。 Skywork-MoE 虽单 token 只激活 3B，但 75B 权重需全部载入显存，BF16 约 150GB，单卡无法部署。使用 --tensor-parallel-size 4 将权重切分到 4 张 80GB 显卡（如 A100/H100）上并行推理；资源有限时可退回 Transformers + device_map="auto" 多卡加载，但吞吐明显低于 vLLM。

可观测性。 vLLM 在 /metrics 端点暴露 Prometheus 指标，包括请求 QPS、平均延迟、KV cache 使用率与 GPU 利用率，配合 Grafana 搭建监控面板。应用层需记录 prompt 与 response 日志，并对手机号、身份证等敏感信息做脱敏后再入库。MoE 场景还需关注专家路由分布，若部分专家长期过载，说明路由策略或数据分布异常，需离线 profiling 定位。每次发版登记模型权重哈希，便于线上问题快速回滚与审计。

<p class="para-label">避坑清单：</p>

<ul class="dash-list"><li>Skywork 社区许可协议与 Apache 2.0 不等价——允许商业使用但包含额外条款（如超大规模商用需书面授权），上线前必须通读协议原文。</li><li>trust_remote_code=True 会执行云端 modeling 代码，务必只从官方 HuggingFace/ModelScope 仓库下载，并核对文件 sha256 防止供应链投毒。</li><li>MoE 激活参数少不等于显存占用小：75B 权重约 150GB 必须全部载入显存，单张 24GB 卡无法部署。</li><li>升级 transformers 后旧的远端 modeling 代码可能报兼容错误，升级前先在测试环境跑通推理回归。</li><li>天工 App/网页（SaaS）与开源 Skywork 相互独立：开源模型不附带托管 API，天工产品的 AI 搜索等能力也不等于开源模型能力。</li></ul>

python -m vllm.entrypoints.openai.api_server \  --model SkyworkAI/Skywork-13B-Chat \  --trust-remote-code \  --dtype bfloat16 \  --port 8000 # 验证服务curl http://localhost:8000/v1/chat/completions \  -H "Content-Type: application/json" \  -d '{"model":"SkyworkAI/Skywork-13B-Chat","messages":[{"role":"user","content":"你好"}]}'

版本迭代

天工 Skywork 沿着「闭源大参数 → 开源基座 → 稀疏 MoE → 多模态推理」演进，开源策略从仅发布权重走向权重、数据、代码全量开放，产品侧与开源侧双线并行。

AI 应用场景

常见误区

面试题

参考来源

• webpage昆仑万维官网公司动态与模型发布新闻