RAG系统Markdown解析技巧

可视化演示

\u901a\u8fc7\u6807\u9898\u5c42\u7ea7\u5207\u5206\u3001\u5207\u5206\u7b56\u7565\u5bf9\u6bd4\u548c\u8d28\u91cf\u8bc4\u4f30\u6307\u6807\uff0c\u76f4\u89c2\u5c55\u793aMarkdown\u6587\u6863\u5982\u4f55\u6cbf\u7ed3\u6784\u7ebf\u62c6\u5206\u4e3a\u8bed\u4e49\u5b8c\u6574\u7684RAG\u68c0\u7d22chunk\u3002

看懂Markdown骨架

小美打开一箱刚到货的项目文档，没有急着把东西往货架上塞，而是先摊开看看里面长什么样。箱子内部分了好几层：最上面是一层大隔板（一级标题 #），下面压着几块小隔板（二级标题 ##），最小的格子里放着零件（三级标题 ###）；玻璃罩里有一台精密仪器（代码块），整罩摆放不能拆；贴着编号的小纸片（列表项）按顺序串在一起。看懂这些分隔和层次，才知道该从哪儿下刀。

在 RAG 系统里，这份「货物结构图」就是 Markdown 解析器做的事。解析器用正则表达式匹配行首的井号数量来判断标题层级，用成对的反引号围栏识别代码块，用行首符号识别列表和表格。解析完成后，文档会被组织成一棵树：每个标题是子树根节点，它下面的正文、列表、代码块都是子节点。这棵树就是后续所有切分决策的依据。

我们可以用一条路径公式记录每个标题节点的「来路」。假设某个标题是 ### 环境要求，它从根到自己的各级祖先标题依次是 项目文档、安装、环境要求，那么这条路径就是：

$$\displaystyle path(node) = [\,t_1,\ t_2,\ \dots,\ t_k\,]$$

1. 节点定位：$node$ 表示 Markdown 中的某个标题节点，比如 ### 环境要求。

$$node = \text{标题节点}$$

2. 祖先序列：$t_1$ 到 $t_k$ 是从根标题到当前标题的各级标题文本，$k$ 就是当前标题的层深度。

$$t_1 = \text{一级标题},\ t_k = \text{当前标题}$$

3. 路径拼接：$[\,t_1,\ t_2,\ \dots,\ t_k\,]$ 把这些标题按顺序排列成一条从根到叶的路径。

$$path = [\,t_1,\ t_2,\ \dots,\ t_k\,]$$

4. 后续用途：这条路径会被写进 chunk 的元信息，作为检索时定位的「来路标签」。

$$\text{chunk 携带 } path(node)$$

小美把这张树状结构图画在仓库墙上之后，整个团队的取货速度都变快了——因为大家第一次知道，每件货物应该放在哪个隔板下面。

切分策略选择

货架整理有两种粗暴做法：一是完全按隔板自然分区，把每块隔板里的东西装进一个盒子；二是统一买一种固定尺寸的收纳盒，东西多了就硬压、少了就空着。第一种是「按标题切分」，第二种是「按长度切分」。如果文档本身有清晰的标题结构，按标题切能让每个盒子里的内容语义完整；但遇到纯文本日志、无标题的说明文件，就只能退而求其次按长度硬切。

聪明的仓库管理员会混合下刀：先看标题结构，如果某个标题下的内容不算太长，就整个作为一个 chunk；只有内容超长时才动用固定长度做二次切分，把超长部分再拆成几个小段。这样既保住了标题带来的语义边界，又不会出现一个块大到超过向量模型输入上限的情况。

把这条规则写成数学语言，就是一个分段函数：

$$\displaystyle strategy(c) = \begin{cases} \text{heading\_split}, & len(c) \le L_{max} \\ \text{length\_split}, & otherwise \end{cases}$$

1. 候选块：$c$ 表示某个标题节点下的正文内容块。

$$c = \text{标题下的全部内容}$$

2. 长度上限：$len(c)$ 是它的字符数，$L_{max}$ 是预先设定的单块最大长度。

$$len(c) \le L_{max}$$

3. 分支判断：当长度在上限内时选择按标题切（$\text{heading\_split}$），否则选择按长度切（$\text{length\_split}$）。

$$\text{if } len(c) \le L_{max} \text{ then heading\_split}$$

4. 策略含义：这个分段函数就是「结构优先、兜底保底」的数学表达。

$$\text{strategy} = \text{heading\_split or length\_split}$$

小美试了几周后发现，混合策略下，客户几乎没有再抱怨过「找到的零件缺了一角」——因为大多数盒子都完整地保留了原包装。

给Chunk贴上「来路标签」

每个上架的盒子上，小美都会贴一张进货单，写上它来自哪个货架、哪个隔板。顾客来取货时只要报出「文档 > 安装 > 环境要求」，取货员立刻就知道去哪个货架第几层找。在 RAG 系统里，这张进货单就是 chunk 的元信息：标题路径、文档 ID、块序号、锚点链接。

为什么必须这么干？因为向量检索是一个「模糊匹配」的过程，chunk 本身如果只有孤零零的正文，检索模型根本不知道这段话在整篇文档里的位置。把标题路径拼在正文之前，相当于给检索模型递了一张地图，让「环境要求」里的内容能和「安装」这个主题建立上下文关联。

拼装公式非常简单直接：

$$\displaystyle T_{chunk} = T_{heading} + T_{body}$$

1. 正文部分：$T_{body}$ 是该标题节点下的实际内容。

$$T_{body} = \text{该小节的正文}$$

2. 标题路径：$T_{heading}$ 是形如「项目文档 > 安装 > 环境要求」的路径前缀。

$$T_{heading} = t_1 > t_2 > \dots > t_k$$

3. 拼接操作：$+$ 表示字符串拼接，把路径放在正文之前。

$$T_{chunk} = T_{heading} + T_{body}$$

4. 存储阶段：拼接后的完整文本才送入 embedding 向量化，字段顺序对检索效果有直接影呛。

$$T_{chunk} \rightarrow \text{embedding}$$

小美的经验是：别小看这张「进货单」，它让同一个盒子的命中概率至少翻了一倍——因为检索模型终于知道自己在哪一层楼了。

切片质量评估

每隔一段时间，小美会做一次盘点抽检：请几位老顾客随机报出货物的名字，看取货员能不能在货架上快速找到。找到了算命中，找不到算漏检。把命中次数除以总询问次数，就得到一个能横向比较的分数。在 RAG 工程里，这对应着一套用真实问答构造的测试集。

最常用的指标是 Recall@k：系统返回前 k 个候选块，看答案所在的块是否在其中。它的数学定义是：

$$\displaystyle Recall@k = \frac{|\,R_k \cap G\,|}{|G|}$$

1. 正确答案集合：$G$ 表示测试集里人工标注的、包含答案的 chunk 集合。

$$G = \text{标注的正确答案块}$$

2. 返回集合：$R_k$ 表示检索系统对每个问题返回的前 $k$ 个 chunk。

$$R_k = \text{检索返回的前 } k \text{ 个块}$$

3. 求交集：$R_k \cap G$ 表示返回结果里真正命中的正确答案块。

$$R_k \cap G = \text{命中的正确答案}$$

4. 取模求比例：$|\cdot|$ 是集合大小，$\frac{|R_k \cap G|}{|G|}$ 是命中块占全部正确答案的比例。

$$\frac{|\,R_k \cap G\,|}{|G|} \in [0, 1]$$

除了召回率，小美还会随机打开几十个盒子检查语义是否完整：一段话有没有被腰斩、一个列表有没有被拆散、代码块有没有缺行。数值指标加人工抽检，双管齐下才能判断切分策略值不值得上线。

工程落地优化

仓库越来越忙之后，小美想了三招提速。第一招：在相邻货架的边界都多放一份畅销品，这样客户无论从哪边走都能拿到货——对应「重叠窗口」，让相邻 chunk 之间交叠一部分文本。第二招：新货到货时先只拆开箱顶看标签，客户真下单才拆包装——对应「惰性解析」，先只扫描标题行，正文按需处理。第三招：只有某个货架的区域发生变化时才重新整理那一片——对应「增量更新」，按文件哈希判断是否需要重新解析。

重叠窗口的滑动规律可以用一个偏移公式描述：

$$\displaystyle offset_i = i \times (S_{window} - O_{overlap})$$

1. 窗口大小：$S_{window}$ 是每个 chunk 的目标字符长度。

$$S_{window} = \text{单块目标长度}$$

2. 重叠量：$O_{overlap}$ 是相邻两个块重复的字符数。

$$O_{overlap} = \text{重叠字符数}$$

3. 滑动间距：$S_{window} - O_{overlap}$ 是每次实际向前推进的距离。

$$S_{window} - O_{overlap} = \text{实际步长}$$

4. 起点计算：$offset_i = i \times (S_{window} - O_{overlap})$ 是第 $i$ 块的起始偏移。

$$offset_i = i \times (S_{window} - O_{overlap})$$

这三招让小美的仓库在大促期间也没有瘫痪：解析速度快了，检索命中率也没掉。边界修正则是锦上添花——如果块的首尾正好落在代码块中间，就把这个块整体向后挪几行，避免切断程序语法。

文本清洗

上架之前，小美还会把货物里的泡沫纸、空纸箱、缠歪的标签全部清掉。Markdown 文档里也有这类杂质：连续多个空行、图片链接、导航栏文字、站内跳转的锚点。这些内容不会被用户检索，却会稀释 chunk 里有效信息的密度，让向量更「模糊」。

清洗规则要区分文本类型：正文里的连续空行可以压缩成一个；代码块里的缩进和空行不能随便压，否则程序语义就变了；图片链接和导航文字可以直接删除，因为它们对问答没有贡献。清洗效果可以用信息密度来衡量：

$$\displaystyle D = \frac{C_{effective}}{C_{total}}$$

1. 有效字符数：$C_{effective}$ 表示清洗后保留的有意义文本字符数。

$$C_{effective} = \text{清洗后的有效字符}$$

2. 总字符数：$C_{total}$ 表示清洗前的原始字符总数。

$$C_{total} = \text{原始总字符}$$

3. 求密度：两者相除得到 $D$，范围在 0 到 1 之间。

$$D = \frac{C_{effective}}{C_{total}} \in [0, 1]$$

4. 优化方向：$D$ 越接近 1，说明每单位文本的语义载荷越高，检索越容易命中。

$$D \rightarrow 1 \text{ 表示越干净}$$

小美把这条公式贴在墙上当作「卫生标准」，从此每个上架的盒子都轻装上阵。仓库的空间利用率提高了，客户取货的精准度也上了一个台阶。

AI 应用场景

Python 演示

# -*- coding: utf-8 -*-"""根据标题层级把 Markdown 拆成带路径的 chunk"""import re def parse_headings(md_text):    """返回 [(level, title, start_line)]"""    headings = []    for i, line in enumerate(md_text.splitlines()):        m = re.match(r'^(#{1,6})\s+(.*?)\s*$', line)        if m:            headings.append((len(m.group(1)), m.group(2).strip(), i))    return headings def split_by_headings(md_text):    headings = parse_headings(md_text)    lines = md_text.splitlines()    chunks = []    if not headings:        return chunks    for idx, (level, title, start) in enumerate(headings):        end = headings[idx + 1][2] if idx + 1 < len(headings) else len(lines)        body = "\n".join(lines[start:end]).strip()        if not body:            continue        chunks.append({"level": level, "path": title, "text": body})    return chunks def merge_small_chunks(chunks, min_chars=200):    merged = []    for c in chunks:        if merged and (c["level"] > merged[-1]["level"] or len(c["text"]) < min_chars):            prev = merged[-1]            prev["path"] = prev["path"] + " > " + c["path"]            prev["text"] = prev["text"] + "\n\n" + c["text"]            prev["level"] = min(prev["level"], c["level"])        else:            merged.append(dict(c))    return merged def main():    sample = """# 项目文档 ## 简介 这是项目的简介内容，说明项目用途。 ## 安装

1. re.match(r'^(#{1,6})\s+(.*?)\s*$', line)用正则识别 Markdown 标题行，井号数量就是标题层级。
2. headings.append((len(m.group(1)), m.group(2).strip(), i))记录标题层级、标题文本和所在行号。
3. end = headings[idx + 1][2] if idx + 1 < len(headings) else len(lines)下一个标题所在的行，就是当前标题块的结束位置。
4. chunks.append({"level": level, "path": title, "text": body})每个标题子树作为一个 chunk 存入列表。
5. merge_small_chunks把过短的小标题块合并到上一个父块中，避免出现碎片上下文。

常见误区

面试题