想象你走进一家刚成立不久却野心勃勃的国产车企展厅。门口停着一辆小巧灵活的城市代步车,中间是一台兼顾动力与空间的家庭SUV,最里面则是一辆性能不输国际大牌的旗舰豪华车。更特别的是,这家车企把自家车型的设计图纸和制造工艺全部公开,任何人都能把它开回家、自己改装、甚至开家分店——这就是零一万物(01.AI)和它的 Yi 系列开源大模型。 Yi 家族覆盖从 60 亿参数的轻量级模型到百亿乃至千亿参数的旗舰模型,就像同一品牌的多款车型覆盖不同出行需求。它们经历了一年多的快速改款迭代,从初代车型一路升级到 Yi-1.5 和旗舰版本,在中英文能力、逻辑推理、数学编程上不断逼近甚至反超国际竞品。接下来的旅程,我们会像逛车展一样,逐一看清这个家族的品牌定位、版本沿革、参数规格、性能表现、部署场景,以及它与 Llama 这些“国际老牌车企”的同台竞技。

岗位关联

读懂 Yi 系列的家族谱系与部署选型逻辑,能帮你在搭建端侧或云端 AI 应用时,像挑车一样快速锁定最合适的开源模型方案,避免“大马拉小车”的资源浪费。

目录
  1. 可视化演示
  2. 开源品牌定位
  3. 版本演进历程
  4. 参数规格体系
  5. 性能表现评测
  6. 部署应用场景
  7. 开源生态竞争
  8. AI 应用场景
  9. Python 演示
  10. 常见误区
  11. 面试题

可视化演示

展示Dijkstra单源最短路径算法的执行过程,动态演示节点访问顺序与边松弛操作,构建最短路径树。

本节配有交互动效(进入视口后自动加载,约 3KB)。

Dijkstra算法初始化 源点A距离设为0,其余节点距离设为无穷大 dist[A]=0, dist[v]=∞ 贪心策略每次选择距离最小的未访问节点

开源品牌定位

零一万物这家“新锐车企”有个与众不同的理念:与其把车锁在自家车库,不如把设计图、流水线和测试报告都摆上展台。成立不久,它就宣布核心模型全部开源,向全球开发者敞开大门。这份底气来自对技术的自信——把最好的“车”免费让大家开,反而能最快建立口碑。

在 AI 领域,开源意味着把模型权重(相当于“设计图”)和推理代码(相当于“制造工艺”)免费提供给开发者。零一万物由李开复创办,聚集了一批顶尖 AI 人才,从一开始就对标 OpenAI、Meta 等国际前沿团队,走“开源 + 行业落地”双轮驱动路线。其开源策略既涵盖通用基座模型,也辐射面向特定场景的微调版本,构建起从研究到产业的完整生态。

理解这个家族的起点,先要读懂一个关键概念:模型规模通常用“B“来度量,这就像车企用”排量”标注发动机级别。

就像一家敢于公开造车工艺的车企,零一万物用开源换来了开发者的信任与传播。“把开源写进基因”的品牌定位,决定了 Yi 家族后续所有车型的走向——它是国产开源阵营里不可忽视的一股力量。

1B=109=10亿1\text{B} = 10^9 = 10\text{亿}
模型参数量中的 B 是 Billion(十亿)的缩写。6B 就是 60 亿参数,34B 就是 340 亿参数——数字越大,这台“发动机”的排量越大,能装下的知识也越多。
  1. B 的来历B 是英文 Billion 的缩写,代表十亿。109=1,000,000,00010^9 = 1{,}000{,}000{,}000
  2. 换算成亿中文语境下换算为“亿”更直观。109=10亿10^9 = 10\text{亿}
  3. 模型示例Yi-6B 的参数规模为 60 亿。6×109=60亿6 \times 10^9 = 60\text{亿}

版本演进历程

任何一家车企都会定期改款:外观微调、动力升级、车机换新。Yi 家族的迭代节奏同样紧凑,跟着国际前沿一路小跑。从初代亮相到今天的旗舰版本,每次“改款”都伴随着能力的明显跃升。

2023 年 11 月,零一万物发布初代 Yi-6B 与 Yi-34B,一出手就以 34B 的规模在多项基准上叫板当时比它大得多的 Llama 2。2024 年,Yi-1.5 系列问世,覆盖 6B、9B、34B 多种规格,基座与对话能力全面强化;随后进入旗舰阶段,Yi-Large、Yi-Lightning 等在竞技场排行中一路攀升,实现了从“追赶者”到“竞争者”的跨越。

迭代节奏的背后是训练配方的持续调优。每次换代不仅是参数量的增加,更在数据配比、对齐策略上精雕细琢。对开源社区而言,这种“快速改款”意味着技术栈可以平滑升级——换了发动机,方向盘布局不变,迁移成本低。如何量化一次改款的进步幅度?可以用新旧版本的评测得分来计算。

改款不停,竞争不止。Yi 家族的换代速度说明,开源模型的“车型生命周期”正从以年计缩短到以季度计。开发者既要跟上节奏,也要在稳定性与先进性之间找到平衡。

提升率=S新−S旧S旧×100%\text{提升率} = \frac{S_{\text{新}} - S_{\text{旧}}}{S_{\text{旧}}} \times 100\%
这就像测改款车的百公里加速成绩:用新旧成绩的差除以旧成绩,算出这次改款到底进步了百分之几。
  1. 成绩变量S 代表模型在统一评测集(如 MMLU)上的得分。S新=75.3,  S旧=70.2S_{\text{新}}=75.3,\; S_{\text{旧}}=70.2
  2. 求差值新版得分减旧版得分得到绝对提升。75.3−70.2=5.175.3 - 70.2 = 5.1
  3. 归一化除以旧版得分,得到相对提升比例。5.170.2≈0.0726\frac{5.1}{70.2} \approx 0.0726
  4. 转百分比乘以 100% 便于阅读。0.0726×100%=7.26%0.0726 \times 100\% = 7.26\%

参数规格体系

展厅里的车按排量分档:代步车省油、SUV 均衡、旗舰车性能拉满。Yi 家族同样按参数规模分出三个台阶:轻量级 6B、中量级 34B 与旗舰级。选哪一档,取决于你的“用车场景”。

参数好比神经元之间的连接权重,参数越多,模型的容量越大、知识储备越丰富,但存储和推理成本也水涨船高。6B 级适合手机等端侧设备,34B 级适合单卡或多卡服务器,旗舰级则面向云端高端服务。除了参数量,Yi 家族的另一个亮眼规格是超长上下文窗口——旗舰版本支持 200K tokens,一次可吃下整本小说或数万行代码。但长上下文意味着更大的注意力计算与显存压力,属于典型的“能力换成本”。

无论哪种规格,“车库大小”都是绕不开的问题:模型文件要占多少存储空间?这取决于两个因素——参数个数 N 和每个参数用几个字节 b 存放。

选车看排量,选模型看参数规格。先算清楚自家“车库”有多大(存储和显存多少),再决定去展厅哪个台阶提车——这是 Yi 家族选型的第一课。

M=N×bM = N \times b
模型文件占多大“车库”,等于参数个数乘以每个参数的字节数。字节数由精度决定:FP16 半精度每参数占 2 字节,INT4 量化每参数仅占 0.5 字节。
  1. 变量定义N 为参数量,b 为每个参数占用的字节数。M=N×bM = N \times b
  2. FP16 半精度b = 2 字节,以 6B 模型为例约需 12GB。M=6×109×2=12×109 BM = 6 \times 10^9 \times 2 = 12 \times 10^9\ \text{B}
  3. INT4 量化b = 0.5 字节,6B 模型存储需求降至约 3GB。M=6×109×0.5=3×109 BM = 6 \times 10^9 \times 0.5 = 3 \times 10^9\ \text{B}

性能表现评测

车企发布新车会给出百公里加速、油耗等指标,模型界则靠一套套标准化测试“科目”来打分。Yi 家族在这份成绩单上的表现,是它叫板国际巨头的底气所在。

在 MMLU、GSM8K、HumanEval 等通用知识、数学、代码评测中,Yi-34B 曾以较小的参数量追平甚至超过同代更大参数的竞品;Yi-1.5 进一步优化了推理与逻辑能力;旗舰版本在人类偏好竞技场中也站稳了国产模型前列。

尤其值得注意的是中文能力。训练数据中高质量中文语料的占比,让 Yi 在中文理解、古诗文、成语、公文写作等场景中表现突出。对国内开发者而言,这就像买车时发现国产车最懂本地路况——坑洼减速带、油品差异这些“本地问题”,它都提前替你考虑了。性能指标中还有一个常被聚焦的数字:上下文窗口 200K,它直接决定了模型“一次能读多长的材料”。

评测分数相当于试驾报告,帮我们判断哪款“车”适合哪种“路况”。中文赛道上的突出表现,正是国产开源模型最值得骄傲的“本地化调校”。

200K=200,000200\text{K} = 200{,}000
200K 是模型的上下文窗口长度,K 是“千”(kilo)。200K tokens 就是 20 万个标记,大约能一次读完二十万字的中文文本,相当于把一整本书直接“喂”给模型。
  1. K 的单位K 来自 kilo,表示一千。1K=1,0001\text{K} = 1{,}000
  2. 乘法展开200K tokens 即 20 万个标记。200×1,000=200,000200 \times 1{,}000 = 200{,}000
  3. 中文体量约相当于 15~20 万汉字的输入能力。200,000 tokens≈15-20 万汉字200{,}000\ \text{tokens} \approx 15\text{-}20\ \text{万汉字}

部署应用场景

有了车,还得有地方停。部署模型前,第一件事就是算清“车库面积”——显存容量。停不下,再好的车也开不进机房。好在 Yi 家族的车型足够丰富,从口袋到机房总有一款合适。

端侧部署通常选 6B 级模型并配合 INT4 量化,把显存需求压到 3~4GB 左右,手机、平板、智能终端都能流畅运行。企业私有化部署则常选 34B 级,用一张 80GB 的 A100/H100 显卡或双卡方案承载,兼顾性能与数据可控性。云端服务则由旗舰版通过 API 对外提供,弹性伸缩、开箱即用,就像随时可叫的网约车。

显存估算公式是部署选型的“车库卷尺”:模型权重显存 ≈ 参数量 × 每参数字节数。FP16 下 34B 模型约需 63GB,INT4 量化后约 16GB。此外还要预留 KV Cache 和激活值内存,实际建议按权重的 1.2~1.5 倍规划显存。

用“车库面积”反过来约束“买车计划”,是部署选型的基本功。算清楚显存、延迟、并发三个维度,Yi 家族总有一款车能稳稳停进你的机房。

VRAM=N×210243 GB(N=34×109)\text{VRAM} = \frac{N \times 2}{1024^3}\ \text{GB} \quad (N = 34 \times 10^9)
用半精度存储 340 亿个参数,每个占 2 字节,再除以 1024 的三次方把字节换算成 GB,就能算出至少需要多大的“车库”。
  1. 精度选型FP16 半精度下每个参数占 2 字节。b=2 Bb = 2\ \text{B}
  2. 代入 N34B 模型有 340 亿个参数。N=34×109N = 34 \times 10^9
  3. 字节转 GB1 GB = 1024³ 字节。10243=1,073,741,8241024^3 = 1{,}073{,}741{,}824
  4. 计算结果约 63GB,叠加 KV Cache 建议按 80GB 以上规划。34×109×210243≈63.3 GB\frac{34 \times 10^9 \times 2}{1024^3} \approx 63.3\ \text{GB}

开源生态竞争

车展上,国产新锐与国际老牌同台竞逐、互相较劲。开源模型的世界里,Yi 家族最直接的对手就是 Meta 的 Llama 系列——这是一场“新秀”与“老将”的正面交锋。

Llama 凭借先发优势和庞大社区成为“国际老将”,Yi 则用更懂中文、更慷慨的上下文窗口和更快的迭代速度抢占份额。两者同属 transformer 通用架构,但训练数据与方法的差异让实际表现各有千秋。开源许可证方面,Yi 采用类 Apache 的宽松协议,允许商用,但要求保留版权声明、标注二次开发——这决定了“你能把这台车改装到什么程度,改装完能不能开出去赚钱”。

国产开源阵营近年百花齐放,Yi 与 Qwen、DeepSeek 等并肩作战,共同挑战 Llama 的生态霸主地位。对开发者来说,多极化格局是好事:可选的“车型”多了,“4S 店”(模型平台与社区)也跟着卷起来了。如何横向比较不同模型的性价比?可以用“每十亿参数换多少分”来衡量。

车市的终局由用户投票。生态竞争比拼的不只是引擎参数,更是许可证诚意、社区活跃度和落地案例。Yi 家族能否在国产阵营中持续领跑,时间会给出答案。

η=SN\eta = \frac{S}{N}
η 是模型的能力性价比,用综合评测分数 S 除以参数量 N(以 B 为单位)。每十亿参数换来多少能力?这是挑“车”时的重要参考指标。
  1. 分子S 为模型在若干项综合评测中的平均得分。S=1k∑i=1kSiS = \frac{1}{k}\sum_{i=1}^{k} S_i
  2. 分母N 是以 B 为单位的参数量,代表成本。N=34 BN = 34\ \text{B}
  3. 比值含义η 越大,单位参数带来的能力收益越高。η=S34 (分/B)\eta = \frac{S}{34}\ \text{(分/B)}

AI 应用场景

端侧智能客服助手

阶段:模型部署与推理优化

解决的问题:传统云端客服依赖网络,延迟高、隐私风险大、断网即瘫痪。开发者在手机 App 中集成 Yi-6B 量化版,将模型压缩至 3GB 左右,实现完全离线的智能问答,响应速度从秒级降到毫秒级,用户对话数据也不出设备。

具体案例:某银行 App 在手机端内置 Yi-6B 量化模型,承担账户查询指引、常见业务问答等高频咨询,高峰期云端压力下降 60%,离线场景下用户依然能获得基础服务。

企业私有化知识库问答

阶段:模型微调与私有化部署

解决的问题:企业文档涉及商业机密,不能调用公有云 API。传统关键词检索无法理解语义。团队基于 Yi-34B 做领域微调,配合 RAG 检索增强,在内部 GPU 服务器上搭建知识库问答系统,让模型在“读懂”企业手册的同时,数据全过程不出内网。

具体案例:一家制造业企业将设备维修手册、质检标准等 2 万份文档接入 Yi-34B 知识库,维修人员用自然语言提问“液压系统异响怎么排查”,系统给出带引用来源的操作步骤,故障处理效率提升约 40%。

云端开源模型 API 服务

阶段:模型服务化与弹性调度

解决的问题:初创团队自建 GPU 集群成本高、运维重。通过部署 Yi 系列模型并封装为标准 API,按调用量计费,业务高峰期自动扩容,让中小团队也能用上旗舰级模型能力。

具体案例:某内容创作 SaaS 平台接入 Yi-Lightning 的 API,提供文案润色、标题生成、多语言翻译等功能;遇到营销大促时请求量激增 10 倍,云端自动扩容轻松扛住,单次调用成本仅为原来的三分之一。

Python 演示

python58 行
# -*- coding: utf-8 -*-"""Yi 开源模型推理演示:加载轻量级基座模型并生成文本。"""from transformers import AutoModelForCausalLM, AutoTokenizerimport torch MODEL_ID = "01-ai/Yi-6B"PROMPT_TEMPLATE = (    "<|im_start|>system\n你是一个乐于助人的中文助手。<|im_end|>\n"    "<|im_start|>user\n{question}<|im_end|>\n"    "<|im_start|>assistant\n")  def build_prompt(question):    """把用户问题包装成 Yi 模型认识的对话格式。"""    return PROMPT_TEMPLATE.format(question=question)  def load_model():    """加载模型与分词器,使用半精度减少显存占用。"""    tokenizer = AutoTokenizer.from_pretrained(MODEL_ID, use_fast=False)    model = AutoModelForCausalLM.from_pretrained(        MODEL_ID,        torch_dtype=torch.float16,        device_map="auto",    )    model.eval()    return tokenizer, model  def generate_answer(tokenizer, model, question, max_new_tokens=128):    """根据问题生成模型回答,并去除提示词部分。"""    prompt = build_prompt(question)    inputs = tokenizer(prompt, return_tensors="pt").to(model.device)    with torch.no_grad():        outputs = model.generate(            **inputs,            max_new_tokens=max_new_tokens,            do_sample=True,            temperature=0.7,            top_p=0.9,        )    input_len = inputs["input_ids"].shape[1]    answer = tokenizer.decode(outputs[0][input_len:], skip_special_tokens=True)    return answer  def main():    print("正在下载并加载 Yi-6B 模型,首次运行需要联网……")    tokenizer, model = load_model()    question = "请用一句话解释什么是开源大模型?"    answer = generate_answer(tokenizer, model, question)    print("问题:", question)    print("回答:", answer)  if __name__ == "__main__":    main()
目的:演示从 HuggingFace 加载开源 Yi-6B 模型,用提示词模板封装对话格式,并生成一句话回答,是部署 Yi 模型的“最小可用范例”。
  1. AutoTokenizer.from_pretrained(MODEL_ID, use_fast=False)从模型库下载并加载分词器,把文字切成模型认识的 token,use_fast=False 提升兼容性。
  2. torch_dtype=torch.float16用半精度加载权重,显存占用直接砍半,是低成本部署的关键手段。
  3. device_map="auto"让 transformers 自动把模型各层分发到可用显卡或 CPU 上,免去手动搬运。
  4. model.generate(...)自回归地逐 token 生成回答,do_sample 开启随机采样让输出更多样。
  5. tokenizer.decode(outputs[0][input_len:], ...)只解码新增的回答部分,把提示词前缀去掉,得到干净的助手回复。

常见误区

误区模型既然开源了,下载下来想怎么用就怎么用,包括随便改、随便卖,也不用署名。

正解开源不等于无限制。Yi 系列采用类 Apache 的许可证,允许修改和商用,但要求保留版权声明、注明来源,并遵守附加条款。类比:车借给你开,同样要遵守交通规则和保养约定,不是把车送给你就能随便拆了卖零件。

为何常见:把“开源”与“公有领域”混为一谈,忽略了许可证这份“用车协议”的具体条款。

误区部署就选最大参数的旗舰版,反正性能最强,贵一点没关系。

正解参数越大,显存、延迟、功耗成倍上涨。部署选型应看任务复杂度与资源约束:端侧场景用轻量级模型反而更快更省电。类比:市内通勤不必开大卡车,窄路停车都费劲。

为何常见:只看性能榜单不关注部署成本,缺乏从业务场景反推需求的工程思维。

误区国产开源模型基本都是改改 Llama 的 tokenizer 和训练数据,本质没什么技术含量。

正解Yi 系列拥有自主研发的模型架构、独特的训练数据配比与训练方法,并非简单套壳。它们与 Llama 共享的是 transformer 这一通用范式,但具体的实现细节、数据工程和训练策略差异显著,评测表现也各有胜负。

为何常见:看到“同属 transformer 架构”就误以为“完全一样”,低估了数据配比与训练方法对模型能力的决定性影响。

误区把基座模型下载下来直接当客服、写作助手用,发现回答文不对题就认为模型不行。

正解基座模型擅长的是文本续写,要真正完成对话问答、遵循指令,需要经过指令微调的 Chat 版本,或使用正确的提示词模板,甚至针对业务做微调。类比:买到发动机还得装进车身、调好方向盘,才能上路。

为何常见:混淆了“基座模型”与“指令微调模型”的定位差异,跳过了提示词工程和微调这两个关键步骤。

误区上下文越长越好,长上下文模型肯定碾压短上下文模型,直接无脑选。

正解长上下文会带来注意力计算开销上升、显存压力增大、短文本响应速度下降等问题。实际任务中如果只需要处理几页文档,200K 窗口反而可能成为一种性能负担,应根据任务实际需求匹配合适规格。

为何常见:只看规格参数表上的大数字,忽略了注意力机制的 O(n²) 计算复杂度这一底层物理约束。

面试题

Q1. Yi 系列开源模型中,最适合部署在手机等端侧设备的是哪一款?

单选题 · easy

  • A.Yi-6B 轻量级模型← 正确答案
  • B.Yi-34B 中量级模型
  • C.Yi-Large 旗舰模型
  • D.Yi-1.5 云端部署版

答案:A。端侧设备算力、内存和功耗都有限,6B 轻量级模型配合 INT4 量化可压缩到 3~4GB,适合手机运行;34B 和旗舰版需要大显存,通常部署在服务器端。类比:城市通勤开小车,而不是开大巴。

Q2. 34B 参数模型在 FP16 半精度下,模型权重约需多少显存?

单选题 · mid

  • A.约 4 GB 显存规模
  • B.约 17 GB 显存规模
  • C.约 63 GB 显存规模← 正确答案
  • D.约 128 GB 显存规模

答案:C。34 × 10⁹ 个参数 × 2 字节 ÷ 1024³ ≈ 63.3GB。4GB 是 6B 模型 INT4 量化的量级,17GB 是 34B 模型 INT4 量化的量级,128GB 对应 FP16 下约 68B 参数。这就是“车库卷尺”的基本运算。

Q3. 关于 Yi-1.5 升级版,下列描述正确的有哪些?

多选题 · mid

  • A.强化中文理解能力← 正确答案
  • B.扩大上下文窗口← 正确答案
  • C.放弃开源协议
  • D.提升数学推理表现← 正确答案

答案:ABD。Yi-1.5 在初代基础上重点优化了中文、推理和上下文能力,并继续坚持开源路线。C 说“放弃开源”与事实相反。类比:改款车只会越做越好,不会突然收回你的钥匙。

Q4. 开源许可证的作用,可类比于汽车的哪个部分?

单选题 · mid

  • A.汽车的油耗标定值
  • B.汽车的使用条款协议← 正确答案
  • C.汽车的发动机型号
  • D.汽车的品牌徽章设计

答案:B。许可证明确规定谁能用、能不能商用、怎么署名、能否修改,就像车辆使用条款约定你能否改装、载客、跑营运。油耗、发动机、徽章都是车的物理属性,与使用规则无关。

Q5. 模型参数量中的"B"代表什么单位?

单选题 · easy

  • A.Bit 比特位单位
  • B.Byte 字节存储单位
  • C.Billion 十亿参数单位← 正确答案
  • D.Batch 批处理概念

答案:C。B 是 Billion 的缩写,1B = 10⁹ = 10 亿参数。Bit 和 Byte 是存储单位,Batch 是训练时的批次概念。类比:B 是说发动机有几十亿个“神经连接”,而不是油箱几升。

Q6. 为 34B 模型做私有化部署时,需要考虑哪些技术因素?

多选题 · hard

  • A.显卡显存容量评估← 正确答案
  • B.量化精度方案选择← 正确答案
  • C.推理并发吞吐规划← 正确答案
  • D.生成文本版权归属

答案:ABC。私有化部署的核心技术考量是显存能否装下权重、量化选多低、并发吞吐够不够。版权归属属于使用合规与许可证问题,不是部署环节的技术因素。类比:停车要考虑车位大小、停车方式、进出频率,而不是车漆颜色。

Q7. 使用 Yi 旗舰模型时,200K 上下文窗口意味着什么?

单选题 · hard

  • A.模型只能生成 200 个汉字
  • B.一次可处理约 20 万 token← 正确答案
  • C.模型参数总量约 20 万
  • D.训练数据只有 20 万条

答案:B。200K = 200 × 1000 = 20 万 token,指输入材料的总长度上限,能一次读完约十五万字的中文内容,与生成长度、参数总量、训练数据量无关。类比:大油箱是说“一次能加很多油”,不是说发动机排量。

Q8. 获取 Yi 等开源模型权重的主流平台是?

单选题 · easy

  • A.HuggingFace 模型库← 正确答案
  • B.Steam 游戏平台
  • C.GitHub Copilot 助手机
  • D.Docker Hub 镜像仓储

答案:A。HuggingFace 是开源模型权重与分词器的标准分发平台,零一万物官方在此发布模型。Steam 是游戏商店,Copilot 是编程助手,Docker Hub 是容器镜像仓库。类比:买家用车去 4S 店,而不是去菜市场。

Q9. 下列哪些是国产开源模型阵营的典型特征?

多选题 · hard

  • A.中文处理表现突出← 正确答案
  • B.完全闭源不对外开放
  • C.提供多尺寸规格可选← 正确答案
  • D.拥有活跃本土技术社区← 正确答案

答案:ACD。国产开源模型的典型优势是中文能力强、规格覆盖全、本土社区活跃。既然是“开源阵营”,就不可能完全闭源,B 与事实相悖。类比:国产新锐车企的共性是懂本地路况、车型线丰富、售后服务网点近。

Q10. 将 34B 模型从 FP16 量化到 INT4,显存需求大约降低到原来的多少?

单选题 · mid

  • A.保持原来的 100%
  • B.降低到约 50% 用量
  • C.降低到约 25% 用量← 正确答案
  • D.升高到约 200% 用量

答案:C。FP16 每参数 2 字节,INT4 每参数 0.5 字节,0.5 ÷ 2 = 25%,所以显存从约 63GB 降到约 16GB。量化相当于给车做轻量化改装——动力略降,但油耗大幅下降,是端侧和单卡部署的关键手段。