Token计数与上下文限制管理

可视化演示

展示LLM上下文窗口管理核心策略：Token预算分配(input+output)、截断与滑动窗口（保留最新N轮）、对话历史压缩（摘要替代原始文本）和tiktoken预防检测机制。

Token 基础认知

出发前，你并不会把整个行李箱当作一件“行李”来看待，而是先把衣物拆成一件件小物件：上衣、裤子、袜子、洗漱包。在大模型的世界里，分词器就是拆行李的师傅，它把一段文本拆成一个个 Token。一个 Token 可能是一个英文单词的一部分，也可能是一个完整的汉字。你问模型“你好”，模型看到的不是两个字符，而是两个 Token。

Token 是大模型处理文本的最小单位，也是计费的基本单位。你发送提示词和接收回复，都要按 Token 数付费。中英文的“体积”差别很大：一句 100 个汉字的文本大约消耗 100 到 200 个 Token，而 100 个英文单词大约消耗 130 个左右的 Token。不同模型有各自的分词表，就像不同航空公司的行李尺寸标准并不完全相同。

估算 Token 数时，虽然不同模型差异不小，但社区里常用一个粗略经验值来表示不同语言与 Token 的折算关系。这个公式并不精确，却能帮你在开发早期快速判断一段文本的重量，避免把窗口撑爆，公式如下：

这个公式只是估算，真正确认行李重量，要用模型自带的 tokenizer。就像行李箱上虽然有“大约装 20 kg”的标签，但上了称才知道真实重量。理解 Token 的基础差异后，你才能开始规划上下文空间。

上下文窗口机制

行李箱的容量是固定的，大模型的“上下文窗口”就是那只行李箱。它规定了模型在一次请求中，最多能同时“看到”多少 Token。这个数字通常写在模型规格里，比如 4K、8K、32K、128K。窗口不是输入专用的，而是输入和输出共享的：你塞进箱子里的提示词、历史对话、系统指令，以及模型将要生成的回复，全都占同一个空间。

很多新手以为窗口限制只针对输入，却忽略了输出也占地方。假设窗口 8K，你输入 7K，模型最多只能生成 1K，再想多写就会报错或截断。更严谨地说，窗口约束可以写成：

理解了这个不等式，你自然会想到：要把行李箱装满而不爆，就得提前留出放“回复”的位置。这也是为什么好的应用不会把窗口塞到 100%，而是留出安全边际。超限的报错就像是行李箱拉链崩开的警告，正确的做法是在拉链崩开前主动调整。

Token 计数方法

旅行装箱前要逐个称重，Token 计数就是 LLM 应用开发者的“行李秤”。精确的 Token 数必须用模型配套的分词器计算。OpenAI 系的模型常用 tiktoken，开源模型多用 tokenizers 库。调用 API 后，返回结果里通常带有 usage 字段，明确告诉你这一请求用了多少输入 Token、多少输出 Token。比如 usage.prompt_tokens 和 usage.completion_tokens。

在业务代码里，我们应该在发送请求前先估算，拿到响应后再核对。输入和输出要分开统计，因为它们不仅占用同一窗口，计费单价也不同。假设输入 Token 为 T_prompt，输出 Token 为 T_completion，那么本次请求总共消耗：

有了精确的行李秤，你才知道每次请求花了多少钱、占了多少空间。统计输入输出还可以帮你发现异常：如果某次请求输入突然翻倍，多半是历史消息没有清理，或者有人往系统提示词里堆了大段文案——就像箱子里混进了不该带的铁块。

超长截断策略

箱子空间不够，最直接的办法是扔掉一些物品，但要有选择地扔。超长截断并非简单地砍掉头部，而是优先保住“系统的核心指令”和“用户最近的需求”。系统提示词像是护照和身份证，丢了就寸步难行；最近的问题像是地图，丢了你就不知道去哪儿。中间的旧闲聊、重复信息，才是优先放弃的部分。

在实现中，你需要先算出一段“可保留历史”的预算。假设窗口上限为 L_window，为输出预留 T_out，再留一块安全边际 T_safe，剩下才是能装历史的额度：

实际截断时，可以采用“保头保尾、压缩中间”的经典结构：系统提示放最前，最近问题放最后，中间放摘要或少量关键消息。这就像整理行李箱时，把最重要的证件放在最上层、目的地衣物放在易取处，最下面才塞不常用的纪念品。

对话历史压缩

扔东西太心疼，那就试试真空压缩袋。对话历史压缩的目标，是把早期多轮消息用几句话概括，只保留关键事实，再和最近的完整消息拼在一起。比如客服机器人与用户聊了 10 轮，前 8 轮可以压成一句“用户反馈商品发货慢，要求尽快补发”，后 2 轮保持原样。这样一来，窗口占用大幅下降，而核心诉求没有丢失。

压缩后的新历史可以写作：

压缩不是无脑丢历史，还要做好“重要性筛选”：用户的名字、订单号、当前诉求、明确偏好必须保留，寒暄和重复表达可以删。就像真空压缩虽然让衣服变小，但你把身份证也压进去，到了机场就傻眼。所以摘要逻辑里要设置“关键信息清单”。

滑动窗口管理

旅行途中你不断买新的纪念品，行李箱装不下，那就把最早买的纪念品先寄回家。滑动窗口管理做的就是这件事：在对话系统里维护一个固定长度的消息队列，每来一条新消息就塞进去，如果超限，就从队头弹出最旧的、非关键的旧消息。窗口始终装着“最新 + 最重要”的内容。

完整的窗口占用包括系统提示词、压缩摘要、最近消息和输出预算。约束关系可以表示为：

实际工程里还要配合“动态控制”：实时监控当前占用率，超过阈值就触发压缩或截断，空闲时则完整保留历史。这就像开车时盯着油表，油量不足就提前找加油站，而不是等停在高速上才后悔。滑动窗口看似简单，却能让长会话应用保持低延迟、低成本。

AI 应用场景

Python 演示

# -*- coding: utf-8 -*-"""模拟 LLM 应用的 Token 预算管理工具。"""import sys  class TokenBudgetManager:    def __init__(self, window_size=4096, reserve_output=1024):        self.window_size = window_size        self.reserve_output = reserve_output        self.history = []        self.compress_count = 0     @staticmethod    def count_tokens(text):        ascii_chars = sum(1 for ch in text if ord(ch) < 128)        other_chars = max(0, len(text) - ascii_chars)        return int(ascii_chars / 4 + other_chars * 1.5)     def effective_limit(self):        return self.window_size - self.reserve_output     def add_message(self, role, content):        self.history.append({"role": role, "content": content})        self._enforce_limit()     def _compress_history(self):        if len(self.history) < 4:            return False        mid = len(self.history) // 2        old = self.history[:mid]        combined = "；".join(item["content"] for item in old)        self.history = [{"role": "system", "content": "前文摘要：" + combined[:60]}] + self.history[mid:]        self.compress_count += 1        return True     def _enforce_limit(self):        while self._used_tokens() > self.effective_limit():            if self._compress_history():                continue            if not self.history:                break            self.history.pop(0)     def _used_tokens(self):        return sum(self.count_tokens(item["content"]) for item in self.history)  def main():    manager = TokenBudgetManager(window_size=80, reserve_output=10)    for i in range(1, 9):        manager.add_message("user", "第%d轮问题" % i + "细节" * 5)        manager.add_message("assistant", "第%d轮回答" % i + "信息" * 4)        print("第%d轮后占用:" % i, manager._used_tokens())    print("压缩次数:", manager.compress_count)    print("最终消息数:", len(manager.history))    for msg in manager.history:        print(msg["role"], msg["content"][:20])  if __name__ == "__main__":    main()

1. self.window_size = window_size设置上下文窗口总上限，相当于行李箱容量。
2. return int(ascii_chars / 4 + other_chars * 1.5)按字符数粗略估算 Token，英文约 4 字符 1 Token，中文约 1.5 字符 1 Token。
3. def effective_limit(self): return self.window_size - self.reserve_output输出预留之外的空间才是历史消息的可用预算。
4. self.history.append({"role": role, "content": content})每条消息进入队列，模拟多轮对话持续累加。
5. while self._used_tokens() > self.effective_limit():每次新增消息后循环检查是否超限，超限就触发处理。
6. _compress_history把最早一半消息合并成一句摘要，相当于用真空压缩袋节省空间。
7. self.history.pop(0)从队头移除最旧消息，实现滑动窗口的“旧消息淘汰”。

常见误区

面试题