日志分级与存储：给 AI 病历定级归档

可视化演示

通过日志分级体系、冷热分层存储与结构化日志管道三模式，展示AI系统日志管理的核心机制与工程实践。

日志分级标准

医院护士站的墙上挂着一套四层色卡：灰色便签记随手观察到的小事，蓝色诊疗卡记就诊摘要，黄色异常单记录指标偏离，红色警报只在抢救时拉响。四层从不混用，值班护士一眼就知道该翻哪沓、该先处理哪堆。

AI 日志的级别世界是一模一样的色卡系统。业界通用的四级是 DEBUG、INFO、WARN、ERROR，本质是一根数字标尺，决定这条日志在生产环境是否默认出现。DEBUG 是灰色便签，记录推理中间状态：每步生成的概率、注意力分数、缓存命中与否、第几轮检索的相似度，平时关闭，排障时临时打开。INFO 是蓝色摘要，记录一次请求的“体检单”：时间戳、trace_id、服务名、模型版本、prompt 与输出 token 数、首 token 延迟。WARN 是黄色异常单：低置信度输出、上游超时重试、上下文接近窗口上限。ERROR 是红色警报：推理失败、进程 OOM、网关 5xx。

生产环境通常把阈值设在 INFO，DEBUG 自动被丢弃，保证洪流不淹没主线。这套分级用一句话概括：每条日志该被谁看见、在什么时机看见，由级别决定。

护士把灰色便签当天就扔、蓝色摘要夹进病历、红色警报直接呼叫抢救——分级不是技术洁癖，而是让日志从噪音变成决策工具的关键一步。

AI 日志特点

普通诊所一天看 50 个患者，每个患者 3 条记录，医生都能背下来。AI 医院不一样：一个重症患者推进 ICU，呼吸机每秒钟吐出一条曲线数据，病历不是一页纸，而是一沓曲线图。

AI 服务的日志量正是这种“重症监护”量级。一个普通 Web 请求的日志量与请求是 1:1 关系，而一个 AI 推理请求能产出几十上百条日志。流式生成时，每生成一个 token 就是一次模型前向，想追踪质量就得逐条记录；RAG 检索时，查询改写、embedding、召回、重排，每一步都是独立子过程；工具调用则构成多层嵌套的调用链；再加上长上下文管理、截断策略、token 计费，日志总量瞬间爆炸。

所以单条请求的日志不再是一条，而是一棵有结构的“日志树”，必须靠 trace_id 把散落的叶子和树枝串成完整脉络。这条唯一 ID 就像患者的住院号，从挂号到出院贯穿全程。

ICU 的病历夹里塞满曲线图，但每张图都标着患者住院号。AI 日志体系必须先在量级上认怂，再用 trace_id 把“一沓纸”变成“一条链”，否则后端存储一天就会被冲垮。

冷热分层存储

前台病历柜放近三天的病历，医生问诊随取随用；三个月以上的病历送地下档案室，需要时提前调取。档案室不是废弃堆，而是配合“自动转档”的制度，让前台永远清爽、老病历有迹可循。

日志存储同样分“前台”与“档案室”。热存储层承担近 1-7 天的日志，使用 SSD 与高并发索引，常见选型是 Elasticsearch、ClickHouse、云日志服务，查询毫秒到秒级；冷存储层则把历史日志丢进对象存储（S3/GCS/OSS），成本只有热存储的十分之一到二十分之一，查询前必须先“解冻”，分钟级响应。迁移机制通常靠 TTL 生命周期规则：热数据 7 天后自动转冷，或者用定时批处理作业搬运。保留周期建议：DEBUG 24 小时即弃，INFO 热 3-7 天加冷 30 天，WARN/ERROR 热 30 天加冷 180 天以满足合规审计。

前台柜子放得下近期病历，档案室装得下历史包袱，中间的“自动转档”制度让两者各司其职。日志存储不怕量大，怕的是所有日志都堆在前台柜子里。

效率与成本

前台病历柜就那么大，塞满热病历虽然查得快，但柜子一个几万块，扩到一栋楼也不够；档案室虽然便宜，但每次调卷要等十分钟。门诊节奏与档案室容量之间，永远在拔河。

排查线上事故时，最怕日志躺在冷层。事故要分钟级定位，全冷存就是灾难；但全热存账单撑不住。平衡策略是分层路由：ERROR 与 WARN 强制进热层，DEBUG 不进生产；DEBUG 按 1% 采样长期留档用于离线分析；INFO 热 7 天转冷，成本降 80% 以上，而 95% 的查询需求恰好集中在热窗内。索引设计上，主索引用 trace_id 支撑链路检索，辅助索引用 time+level 支撑聚合告警。

好医院不会把所有病历塞前台，也不会把急诊病历扔档案室。把“什么级别进热层、留多久、什么时候转冷”定成规则，拔河就变成了自动化流程。

结构化日志

科室多、医生多，如果每个人按自己的风格写病历，会诊时谁也读不懂谁。医院强制统一模板：姓名、主诉、体格检查、医嘱，格子清清楚楚。病历模板统一后，护士和医生的配合效率直线上升。

结构化日志就是“机器能读懂的病历”，常用载体是 JSON Lines：一行一个 JSON 对象，天然适配全文索引、字段聚合与告警规则。AI 服务的标准字段建议：基础字段 ts、level、trace_id（链路入口注入）、service；请求字段 model、model_version、prompt_tokens、completion_tokens、latency_ms；状态字段 status（ok / error / rate_limited / blocked）；安全字段 prompt_hash——敏感原文只存哈希，不落原文。

字段一旦不在 schema 里，搜索索引就用不上，告警规则也写不出来。schema 是日志体系的“病历模板”，而 trace_id 就是模板上的住院号栏。

统一病历模板后，会诊不再靠猜。日志 schema 统一后，检索、聚合、告警才谈得上自动化——结构化是这一切的入场券。

最佳实践

现代医院的信息科不只管档案，还管采样、脱敏、告警联动。病历体系要靠制度自动运转，而不是靠几个人天天盯。

AI 服务日志的最佳实践可以浓缩成四件事。第一，采样策略：DEBUG 固定 1% 加 ERROR 全量保留，既留足统计分析样本，又保证故障必达。第二，敏感脱敏：prompt 里常有手机号、身份证、商业机密，落地前脱敏或哈希，日志平台配审计权限。第三，告警联动：ERROR 即时通过 Webhook 或 PagerDuty 触达，WARN 按分钟窗口聚合频次再报警，防止抖动刷屏。第四，生命周期自动化：TTL 规则热 7 天转冷、冷 90 天清理，ERROR 类日志单独留 180 天。

制度到位后，病历系统不需要人盯：该归档归档、该告警告警、该脱敏脱敏，医院才不会在深夜里悄悄着火。日志体系做到这一步，可观测性才真正变成基础设施。

AI 应用场景

Python 演示

import jsonimport timeimport uuidfrom dataclasses import asdict, dataclassfrom pathlib import Path LOG_LEVEL_NUM = {"DEBUG": 10, "INFO": 20, "WARN": 30, "ERROR": 40}  @dataclassclass LogEntry:    ts: float    level: str    trace_id: str    service: str    model: str    prompt_tokens: int    completion_tokens: int    latency_ms: int    status: str  class AILogger:    def __init__(self, dir_path: str = "logs", threshold: str = "INFO"):        self.dir_path = Path(dir_path)        self.dir_path.mkdir(exist_ok=True)        self.threshold = LOG_LEVEL_NUM[threshold]        self.hot_path = self.dir_path / "hot.jsonl"        self.cold_path = self.dir_path / "cold.jsonl"        self.hot_size = 0     def _allowed(self, level: str) -> bool:        return LOG_LEVEL_NUM[level] >= self.threshold     def emit(self, level: str, **fields) -> None:        if not self._allowed(level):            return        entry = LogEntry(            ts=time.time(),            level=level,            trace_id=fields.get("trace_id", str(uuid.uuid4())[:8]),            service=fields.get("service", "llm-server"),            model=fields.get("model", "gpt-4o-mini"),            prompt_tokens=fields.get("prompt_tokens", 0),            completion_tokens=fields.get("completion_tokens", 0),            latency_ms=fields.get("latency_ms", 0),            status=fields.get("status", "pending"),        )        self._write(self.hot_path, entry)        self.hot_size += 1        if self.hot_size >= 3:            self.migrate()     def _write(self, path: Path, entry: LogEntry) -> None:        with open(path, "a", encoding="utf-8") as f:            f.write(json.dumps(asdict(entry)) + "\n")     def migrate(self) -> None:        lines = self.hot_path.read_text(encoding="utf-8").splitlines()        if not lines:            self.hot_size = 0            return        with open(self.cold_path, "a", encoding="utf-8") as f:            f.write(lines.pop(0) + "\n")        self.hot_path.write_text("\n".join(lines) + "\n", encoding="utf-8")        self.hot_size = len(lines)  if __name__ == "__main__":    logger = AILogger(threshold="INFO")    tid = "req_abcdef1234"    logger.emit("DEBUG", trace_id=tid, prompt_tokens=512, status="thinking")    logger.emit("INFO", trace_id=tid, prompt_tokens=512,                completion_tokens=128, latency_ms=980, status="ok")    logger.emit("WARN", trace_id=tid, status="low_confidence")    logger.emit("ERROR", trace_id=tid, prompt_tokens=9999,                status="context_window_exceeded")    print("hot:", logger.hot_path.read_text(encoding="utf-8").strip() or "(empty)")    print("cold:", logger.cold_path.read_text(encoding="utf-8").strip() or "(empty)")

1. self.threshold = LOG_LEVEL_NUM[threshold]把级别名翻译成数字阈值，与正文的 L >= L_阈值 一一对应
2. def _allowed(self, level)分级过滤器，低于阈值的日志直接丢弃，DEBUG 在生产环境就是这样被拦下的
3. def emit(self, level, **fields)所有日志的唯一入口，自动补全 ts 与 trace_id，保证字段不缺
4. self.hot_path热存储文件，新日志先写这里，模拟“前台病历柜”
5. if self.hot_size >= 3: self.migrate()热层积压到 3 条就触发迁移，模拟 TTL 生命周期规则
6. def migrate(self)把热存储最旧一条移到冷存储，再重写热文件，模拟“自动转档”
7. logger.emit("DEBUG", ...)DEBUG 被阈值过滤不会落盘，INFO/WARN/ERROR 正常入库

常见误区

面试题