MiLM-6B：小米 67 亿参数开源大模型全攻略

为什么需要 MiLM-6B：中文知识与数学推理的 6B 级缺口

2024 年中期，6B-7B 量级的开源模型中，通用对话能力百花齐放，但「中文知识准确率」和「数学分步推理」两个硬指标兼备的模型并不多。部分模型中文表现好但数学推理薄弱，部分模型数学强但依赖英文语料撑起知识面。与此同时，6B 量级是消费级硬件（24GB 显存单卡）能完整部署与微调的上限，具备明确的工程价值。

MiLM-6B 的解法是：在预训练阶段以中文语料为主体，并针对数学题库做定向优化。最终 CMMLU 中文知识基准 52.16 分、GSM8K 数学基准直接提示 56.50 分，引入 CoT 后提升至 68.56 分。这些指标在同一参数量级中均处前列，且模型权重以 Apache 2.0 协议开源，可自由商用。

与同期同类模型相比，MiLM-6B 的气质更「专」：它不追求通用对话和代码生成的全能表现，而是锚定中文知识问答与数学链路推理两个单项。代价是生态互操作性弱——分词器与 LLaMA 不通用，无法直接复用 LLaMA 系列微调权重。因此它更适合垂直业务验证与教育、文档智能等场景的研究。

安装与环境配置：4 步就绪

第一步创建 Python 3.10+ 虚拟环境并安装依赖。MiLM-6B 的模型代码以自定义 modeling 文件形式随权重发布，需要 transformers 配合 trust_remote_code 机制加载。

第二步下载权重。权重以 bf16 格式存储约 13GB，可从 Hugging Face 或 ModelScope 获取。使用 Hugging Face CLI：

国内网络环境推荐 ModelScope：

第三步验证加载。注意 trust_remote_code=True 必须显式声明，否则无法加载自定义模型代码。

python -m venv milm-envsource milm-env/bin/activatepip install transformers accelerate torch

huggingface-cli loginhuggingface-cli download XiaomiMiLM/MiLM-6B --local-dir ./MiLM-6B

pip install modelscopemodelscope download --model XiaomiMiLM/MiLM-6B --local_dir ./MiLM-6B

快速上手：10 分钟跑通第一个问答

最小可用流程只需三步：加载分词器与模型、构造输入、调用 generate 生成。加载时务必设置 trust_remote_code=True；生成时显式指定 eos_token_id 与 pad_token_id，可避免模型因停止符缺失而无限生成。

完整可运行示例（与官方 README 示例一致）：

预期输出 The capital of France is Paris.。进阶技巧：数学题建议在提示词中要求「分步解答」（CoT），可显著提升准确率；追求结果稳定时用贪心解码，追求多样性时设置 temperature=0.3, top_p=0.8。推理完成后注意释放显存：del model; torch.cuda.empty_cache()。

from transformers import AutoModelForCausalLM, AutoTokenizer tokenizer = AutoTokenizer.from_pretrained(    "XiaomiMiLM/MiLM-6B", trust_remote_code=True)model = AutoModelForCausalLM.from_pretrained(    "XiaomiMiLM/MiLM-6B",    torch_dtype="auto", device_map="auto", trust_remote_code=True,)model.eval() prompt = "The capital of France is"inputs = tokenizer(prompt, return_tensors="pt").to(model.device)outputs = model.generate(    **inputs,    max_new_tokens=20,    eos_token_id=tokenizer.eos_token_id,    pad_token_id=tokenizer.pad_token_id,)print(tokenizer.decode(outputs[0], skip_special_tokens=True))

核心能力详解：3 大支柱

支柱一·中文知识密集型任务。MiLM-6B 在 CMMLU（中文大规模多任务语言理解基准，涵盖人文社科、理工等 67 个中文主题）上取得 52.16 分，发布时为同量级开源模型最优。这得益于预训练阶段的中文语料倾斜策略，使模型在中文事实性问答、知识抽取等任务上具备扎实的知识底座。

支柱二·数学链路推理。GSM8K（小学数学应用题基准）上，直接提示词得分 56.50，加入 CoT 提示后升至 68.56，提升约 12 个百分点。模型具备将自然语言问题转化为分步计算链的能力，官方同时发布了中文数学题库评测说明，表示涵盖小学至高中知识的中文数学测试中表现领先同量级模型。这一支柱使它在教育自动答疑、数学数据增强等场景有明确落点。

支柱三·32K 长上下文与推理配置。MiLM-6B 原生支持 32K token 长文本输入，实现方式是将旋转位置编码（RoPE，一种通过旋转矩阵注入位置信息的位置编码方法）的 base 频率调整至 500000，以扩展位置外推范围。用户需在长文本场景下按官方说明调整推理配置，而非简单地调长 max_new_tokens。这使其可单次处理约 2 万中文字符的文档级输入。

生产部署与监控：从上线到运维

部署方式一·FastAPI 服务化封装。将模型常驻内存，对外提供 HTTP 接口，是多业务共用的最简架构。单卡 24GB 显存可容纳 bf16 权重推理，服务启动时加载一次权重，后续请求复用。

启动命令 uvicorn server:app --host 0.0.0.0 --port 8000。生产环境建议在接口层增加 prompt 长度校验（限制在 32K token 内）与并发排队机制。

部署方式二·多卡与离线批处理。单卡显存不足时可使用 device_map="auto" 自动切分到多张 GPU。对离线批量任务（如历史文档批量理解），建议按批次处理并复用长生命周期进程，避免反复加载权重。批处理时设置 pad_token_id=tokenizer.pad_token_id 以对齐序列长度。

可观测性。监控四个指标：首 token 延迟（直接影响对话体感）、生成吞吐（token/s）、显存占用与生成 token 数分布。日志中至少记录 prompt 长度、生成长度与耗时，用于定位慢请求与超长生成。建议在服务层做超时熔断，单请求生成上限根据业务设置 512-2048 token。

<p class=“para-label“>避坑清单：</p><ul class=”dash-list”><li>坑 1：不要把 LLaMA 权重（含 Llama-2、Code Llama 的 LoRA 适配器）直接加载到 MiLM-6B——二者分词器不同、词表不匹配，轻则报错重则输出乱码，官方已明确说明不可复用。</li><li>坑 2：生成时必须设置 eos_token_id 与 pad_token_id，否则模型可能不输出停止符，导致接口无限生成直至达到 max_new_tokens。</li><li>坑 3：32K 上下文不是开箱即用，需按官方说明调整 RoPE 配置，直接塞入长文可能导致位置编码外推失效、效果明显下降。</li><li>坑 4：模型已退役，GitHub 仓库不再维护，新项目直接评估 MiMo 系列；若坚持使用 MiLM-6B，需自行承担依赖兼容性维护。</li><li>坑 5：首次加载需联网下载 13GB 权重并信任远程代码，离线环境必须提前将权重与 modeling 文件本地化，否则启动失败。</li></ul>

# server.pyfrom fastapi import FastAPIfrom pydantic import BaseModelfrom transformers import AutoModelForCausalLM, AutoTokenizer app = FastAPI()tokenizer = AutoTokenizer.from_pretrained("XiaomiMiLM/MiLM-6B", trust_remote_code=True)model = AutoModelForCausalLM.from_pretrained(    "XiaomiMiLM/MiLM-6B", torch_dtype="auto",    device_map="auto", trust_remote_code=True,) class Req(BaseModel):    prompt: str    max_new_tokens: int = 256 @app.post("/generate")def generate(req: Req):    inputs = tokenizer(req.prompt, return_tensors="pt").to(model.device)    out = model.generate(        **inputs, max_new_tokens=req.max_new_tokens,        eos_token_id=tokenizer.eos_token_id,        pad_token_id=tokenizer.pad_token_id,    )    return {"text": tokenizer.decode(out[0], skip_special_tokens=True)}

版本迭代

MiLM-6B 是小米开源的首个大语言模型，2024 年 7 月发布唯一正式版本后即停止迭代。2024 年底至 2025 年，小米相继推出 MiMo 与 MiMo-VL 系列，MiLM-6B 的 GitHub 仓库随之标注退役状态。该模型的定位是技术验证与起步探索，而非长期维护的产品线。

AI 应用场景

常见误区

面试题