DeepSeek-Coder：代码小模型

可视化演示

动态演示DeepSeek-Coder的核心机制，通过全局/局部/动态/静态四种模式展示关键概念与交互流程。

小模型概况

想象一条街，街口那栋玻璃幕墙大楼是“AI 大饭店”，后厨几十位大厨做满汉全席，但等位两小时、包间费上万。而巷尾新开的“DeepSeek 小厨”只有十平米后厨、一位主厨，却敢挂出“87 种菜系、五分钟出餐”的招牌。技术世界里，这位主厨属于小语言模型（SLM，Small Language Model）。它与大语言模型的分界线并不严格，但通常参数量在 0.1B 到 33B 量级、还能在单卡甚至消费级设备上推理的，都算“小”。

DeepSeek-Coder 提供了 1.3B、6.7B、33B 三种炉灶规格，分别对应“街边摊”“小馆子”和“中型餐厅”。选模型先算账：模型文件或显存占用怎么估？看参数量。如果用 FP16（半精度）加载，每个参数占 2 字节：

代入计算：1.3B 约 2.6GB，配一张 8GB 消费级显卡即可推理；6.7B 约 13.4GB；33B 约 66GB，需要数据中心级 GPU。这就像开店不必租一整层楼——一张显卡，就是一间能开张的小厨房。

模型架构

小店后厨虽小，厨具却和大饭店同品牌——大家用的都是 Transformer“一体灶”。区别只在布局：大饭店用“编码-解码”双灶台（Encoder-Decoder），上菜要来回传；小店只用“解码灶台”（Decoder-only），从菜单第一行一路做下去，连贯又省事。DeepSeek-Coder 正是标准的 decoder-only Transformer，风格上与 LLaMA 一脉相承：层间用 RMSNorm 做“调料称重”（归一化），神经元激活用 SwiGLU，位置信息用 RoPE 旋转位置编码。33B 版还引入了 GQA（分组查询注意力），相当于多位帮厨共享备菜台，省下大量内存。

一个模型“体积”由什么决定？层数 L 和隐藏维度 d 是两个核心旋钮。近似估算：

以 1.3B 为例，设 L=24、d=2048，12×24×2048² ≈ 12.1 亿，与真实值 1.3B 差距不到 10%。小模型的“小”，本质是把层数压薄、维度收窄，但每一层仍是完整的注意力加前馈网络——就像小厨房把灶台缩小，却没有砍掉任何一道工序。灶台紧凑了，手艺一样不缩水。

训练数据

小厨神的“手艺”从哪来？答案是大量“吃”。开店前他闭关“吞菜谱”两年——不是吃饭，而是吞 2 万亿个 token，其中大部分是代码菜谱（GitHub 各类代码仓库），少数是自然语言菜谱（技术文档、论坛问答）。所以他既能写代码，也听得懂人话。预训练语料覆盖 87 种编程语言，从 Python、C++ 到 Java、JavaScript、SQL 横跨主流技术栈；混合比例以代码为绝对主体、自然语言为辅，这让模型成为“代码专家”而非“通用聊天员”。

数据之外，上下文窗口也关键。16K 上下文意味着模型能一眼“看”16000 个 token，相当于面前摊开一整本菜单不用翻页。但长上下文有代价：Transformer 生成时需要把历史 token 的 Key 和 Value 缓存下来，这就是 KV 缓存：

把 4K 上下文扩到 16K，T 变成 4 倍，KV 缓存也线性变成 4 倍——这就是长上下文推理更贵的原因。吃得多、记得久，也要付更多“存储费”，但小厨神靠 16K 的“记性”，能把大半个仓库的代码关系记在脑子里。

代码能力

小厨神真正绝的是“中途添料”。炒菜炒到一半，发现中间缺了块肉，他能不动锅铲地补进去——对应到 IDE，就是光标放在代码中间，DeepSeek-Coder 把缺失的那段补上。光标前面是“锅里的菜”（前缀），后面是“盘子里的配菜”（后缀），模型看两头、猜中间。这种能力来自 FIM（Fill-in-the-Middle，中间填充）训练目标：预训练时把代码语料“挖一个洞”，让模型根据前后文预测被挖掉的中间块。

普通语言模型只会“从左到右续写”，如同只能从头炒到尾；FIM 让模型变成了“哪里缺哪里补”的全能选手。它的优化目标可以写成：

配合 87 种语言和仓库级数据（代码文件连仓库结构一起喂入），DeepSeek-Coder 还能做跨文件补全：你在 A 文件里调用 B 文件新定义的函数，它能从仓库上下文中推断签名。菜做到一半也能救回来，这是小店独有的招牌功夫。

对比分析

街对面“Meta 大饭店”派来了名厨 Code Llama——它基于 LLaMA 2 微调，提供 7B、13B、34B、70B 多个尺码，块头大、占地广。小厨神 DeepSeek-Coder 以 1.3B、6.7B、33B 应战。在一场“盲评”（HumanEval 基准测试）中，33B 版 Pass@1 得分 79.3%，同量级的 Code Llama 34B 约 48.8%；更惊人的是 6.7B 版直接超过了 Code Llama 33B——参数少近五倍，却赢了比赛。

怎么理解“盲评”？用最常见的评测指标 Pass@1：让模型只生成一次代码，答案直接被单元测试通过的占比：

为什么小参数能赢大块头？因为 DeepSeek-Coder 把训练数据配比与 FIM 训练目标打磨到极致，属于“专注型选手”；而 Code Llama 作为通用代码模型要兼顾更多任务。名厨的招牌菜覆盖全球，小厨神的十几道菜却刚刚好击中老客人的胃——在代码生成这个垂直场景里，专注比体积更值钱。

开源生态

最让人感动的是，小店把独门菜谱印成传单贴在门口——任何人都能抄、能改、能开分店。DeepSeek-Coder 以 MIT 许可开源模型权重和代码，被誉为“开源良心”。社区迅速长出几百家“分店”：有人用 LoRA 微调出内部代码风格版本，有人把它量化塞进笔记本，还有人接入 IDE 当私人编程副驾。模型权重可从 Hugging Face 直接拉取，transformers 一行代码即可加载。

针对端侧部署，量化是标配：把权重从 FP16 压到 INT4，每个参数只占 0.5 字节，显存公式变为：

代入：33B → 约 16.5GB，一张 24GB 显卡甚至新款 Mac 都能跑；1.3B → 不足 1GB，手机边缘设备都能塞进去。菜谱一公开，小餐馆就不再只是餐馆，而是一整条街的厨艺学校——开源许可让好模型走得更远，也让每个开发者都能亲手“掌勺”。

AI 应用场景

Python 演示

from transformers import AutoModelForCausalLM, AutoTokenizerimport torch MODEL_NAME = "deepseek-ai/deepseek-coder-1.3b-instruct"  def load_model():    tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME, trust_remote_code=True)    model = AutoModelForCausalLM.from_pretrained(        MODEL_NAME,        torch_dtype=torch.float16,        device_map="auto",        trust_remote_code=True    )    return model, tokenizer  def complete_code(model, tokenizer, prompt, max_new_tokens=256):    messages = [{"role": "user", "content": prompt}]    text = tokenizer.apply_chat_template(        messages, tokenize=False, add_generation_prompt=True    )    inputs = tokenizer(text, return_tensors="pt")    outputs = model.generate(        **inputs,        max_new_tokens=max_new_tokens,        temperature=0.2,        do_sample=True,        top_p=0.9    )    result = outputs[0][len(inputs["input_ids"][0]):]    return tokenizer.decode(result, skip_special_tokens=True)  def main():    model, tokenizer = load_model()    tasks = {        "python": "请写一个 Python 函数，用快排给列表排序，并附上注释。",        "sql": "写一条 SQL 查询，统计订单表中每个客户的订单数量。",        "java": "用 Java 实现一个线程安全的单例类。",    }    for language, prompt in tasks.items():        print(f"===== {language} =====")        print(complete_code(model, tokenizer, prompt))        print()  if __name__ == "__main__":    main()

1. MODEL_NAME = "deepseek-ai/deepseek-coder-1.3b-instruct"指定小模型型号：1.3B 参数、指令微调版，普通人也能下载运行
2. torch_dtype=torch.float16用半精度加载权重，显存占用直接减半，小模型在消费级显卡上跑得动
3. device_map="auto"让框架自动分配 GPU 显存和 CPU 内存，显存不够时退到内存也不报错
4. trust_remote_code=True允许执行模型仓库附带的自定义代码，DeepSeek 的建模文件需要它
5. apply_chat_template(...)把用户消息包装成模型训练时的对话格式，相当于把点菜单翻译成后厨术语
6. temperature=0.2低随机性，让代码输出更保守稳定，减少“胡编”的变量名
7. do_sample=True开启采样生成，配合 temperature 控制输出的创造性
8. if __name__ == "__main__":标准入口保护，脚本既能被 import 也能直接运行

常见误区

面试题