Unstructured文档解析：为RAG请一位搬家整理师

可视化演示

展示词语经嵌入层映射为高维向量，通过余弦相似度衡量语义关联，并演示词类比推理。

解析价值：收纳决定管家能力

搬进新家的第一天，你想找去年那份租房合同，管家翻遍所有柜子也没找到。是管家不努力吗？不是——是搬家整理师把合同和一堆旧报纸混装在同一个箱子里，连标签都没贴。在 RAG 系统里，“整理师”就是文档解析环节，它的工作质量，直接决定了检索能把东西找回来多少。

RAG 的标准流程是：先解析文档，再切分成块，然后向量化入库；用户提问时，检索系统把最相关的块找出来，交给大模型生成答案。这条流水线的第一道工序就是文档解析。如果解析环节把表格丢了、把标题和正文糊在一起、把页眉页脚当成正文，后续的切分、检索都会在错误的地基上盖楼。

现实中的文档远比想象中复杂：有文本型 PDF，有扫描图片型 PDF，有带目录和多栏排版的 PDF；还有 Word、PPT、HTML、邮件、CSV……每种格式的“内部构造”都不一样。Unstructured 这类解析库专门解决“把任意格式变成结构化文本”的问题。衡量解析效果的一个重要指标是召回率，它回答的是：“该找到的信息，有多少真的被找回来了？”

所以，想提高 RAG 的问答质量，与其反复调提示词、换向量模型，不如先回头检查“整理师”有没有把文档理清楚。解析做好了，后面每一步都顺；解析偷了懒，再强的检索模型也救不回来。

解析器核心：一个“分拣台”

整理师上门的第一件事，是看这堆东西到底是纸箱、信封还是电子设备。纸箱要拆封，信封要开信刀，电子设备要装进防静电袋——处理方式完全不同。Unstructured 的 partition 函数就是这位“分拣台”：任何文件进来，它先判断“你是什么”，再决定“送你到哪条流水线”。

partition 是所有解析的统一入口，它通过扩展名、MIME 类型和文件头魔数自动检测文件格式，然后路由到对应的专属解析器：partition_pdf 处理 PDF、partition_docx 处理 Word、partition_html 处理 HTML、partition_email 处理邮件。调用方只需要写一行 elements = partition(filename="手册.pdf")，完全不关心内部走了哪条通道。

每个解析器背后是插件化的依赖生态：PDF 解析依赖 pypdf 或 PDFMiner，DOCX 解析依赖 python-docx，HTML 解析依赖 lxml。正因如此，Unstructured 才能以“一个 API、多种策略”的形式，覆盖日常工作中绝大多数文档格式。

有了“分拣台”，整理师就不必为“来的是什么”发愁，只需要把每个类型的处理流程打磨到极致。这正是 Unstructured 能以统一 API 应对千奇百怪文档的底气所在。

元素类型：给每件物品归类

整理师会把物品分成衣物、书籍、文件、杂物，每类的装法完全不同：衣物用真空袋压缩，书籍立放防潮，文件按项目装进文件夹。解析器也一样，它输出的“元素”（Element）就是文档的物品分类。

Unstructured 把文档内容拆成带类型的元素：Title 标题、NarrativeText 段落正文、Table 表格、Image 图片、ListItem 列表项，以及 Header/Footer 页眉页脚、PageBreak 分页符。元素按照文档原有的阅读顺序排列，每个元素都携带文本内容和元数据，比如标题元素会记录它是几级标题。

元素类型不是摆设：它决定了后续的切分策略和检索方式。表格可以转成 Markdown 结构化文本，图片可以配合说明文字单独处理，页眉页脚则可以在入库前被过滤掉。类型体系越完整，下游“装箱”就越有章法。

有了类型标签，“装箱”环节就能按物品特性决定怎么装，而不是把衣物和电器塞进同一个纸箱。分类清晰，是后续一切操作的前提。

解析流程：拆解复杂文档

整理 PDF 就像整理一个旧文件柜：先拉开柜门读取文件，再看柜子里有没有分隔板（版面布局），有些文件被塑封着（扫描件），还得先“拆膜”——也就是 OCR 光学字符识别——才能读到里面的字。

PDF 解析分两条路：文本型 PDF 自带文字层，直接提取即可；扫描型 PDF 本质是图片，需要 OCR 识别。Unstructured 提供 fast 和 hi_res 两种模式，hi_res 模式会用版面检测模型划分区域——标题区、正文区、表格区、图片区——然后逐区域提取内容，复杂排版也能从容应对。

表格是解析的重头戏：识别出表格区域后，解析器还要还原单元格边界与行列结构，最终输出成 Markdown 表格文本，让大模型能直接读懂“第几行第几列是什么”。图片则会被裁剪保存并配上说明文字。最后还有一道“文本清理”：去掉页码、页眉页脚等噪音，合并被断行拆散的段落。

“拆膜”“拉抽屉”“誊账目”这些动作做完，文件内容才真正裸露出来，可以放心地归类装箱。解析流程的扎实程度，决定了后面每一步能走多远。

切分策略：装成统一的收纳箱

书不能全部塞进一个大箱——太重搬不动，检索时噪音也多；也不能一本书装一个箱——箱子数量爆炸，管家无从下手。整理师的策略是：按“项目”分区，每箱装适量物品，箱与箱之间留一点缓冲，防止分界处的物品被拆散。

切分（chunking）就是决定“每个收纳箱装多少”。Unstructured 提供元素感知的切分方法，比如 chunk_by_title 会按标题把其下属的段落、表格聚合在一起，保证一个块属于同一个语义单元。块大小通常控制在 300–800 token，重叠（overlap）约 50–100 token。

元素感知切分避免了“表格被拦腰截断”的尴尬，重叠则保证跨块的语义依然连贯。切分完成后，每个块还会重新拼接所属章节标题等元数据，让块在检索时自带上下文。

装箱策略直接决定管家翻找的体验：箱子太大太重（块过大、噪音多）、太碎（块过小、语义不全）、没有缓冲（无重叠、语义断裂），都会让检索事倍功半。

元数据加持：给箱子贴标签

收纳箱装好后，整理师会在每只箱子外贴上标签：“财务—2024 发票—箱 3”“人力资源—员工手册—箱 7”，还写上所在房间和楼层。搬进新家后，管家按标签几秒钟就能定位。元数据，就是 RAG 世界里箱子的标签。

Unstructured 为每个元素附上丰富的元数据：来源（source）、页码（page_number）、元素类型（type）、标题层级（category_depth）等。这些信息会跟着切分后的块一起存入向量库，在检索时作为过滤条件使用——比如“只搜表格”或“只搜某份制度的第 2 页”——也能在回答时提供可追溯的引用来源。

检索打分时，还可以把元数据匹配作为加权项：基础相似度加上“元数据一致”的加分，让类型对、页码对的块排名更靠前。元数据越规范，检索系统就越像一个熟门熟路的管家。

有了标签，管家不仅能找到东西，还能告诉你东西来自哪只箱子、哪一层楼——这正是 RAG 需要“引用来源”的原因。整理师的最后一步，也是一切检索体验的开始。

AI 应用场景

Python 演示

# Simulate the Unstructured pipeline: partition -> elements -> chunks.# 分拣台 -> 元素提取 -> 切块, 中文注释使用半角标点.import os  class Element:    def __init__(self, etype: str, text: str, **meta):        self.etype = etype      # 元素类型: Title / NarrativeText / Table        self.text = text        # 元素文本, 后续送入 embedding        self.meta = meta        # 元数据: page / source / 标题层级     def __repr__(self):        return "<{} {}>".format(self.etype, self.text[:16] + "...")  def partition_document(file_path: str):    """Route a file to its parser by detected type."""    ext = os.path.splitext(file_path)[1].lower()    if ext == ".pdf":        return parse_pdf(file_path)    if ext in (".docx", ".doc"):        return parse_word(file_path)    if ext in (".html", ".htm"):        return parse_html(file_path)    raise ValueError("unsupported format: " + ext)  def parse_pdf(file_path: str):    # 真实项目中使用 partition_pdf(filename=file_path)    return [        Element("Title", "2024 Employee Handbook", page=1, source=file_path),        Element("NarrativeText", "Chapter 1: Onboarding guide for new hires.",                page=1, source=file_path),        Element("Table", "Team | Owner | Seat\nTech | Alice | A301",                page=2, source=file_path),        Element("ListItem", "Submit the form 15 days before probation ends.",                page=3, source=file_path),    ]  def parse_word(file_path: str):    # 真实项目中使用 partition_docx(filename=file_path)    return [        Element("Title", "Weekly Report (Week 12)", page=1, source=file_path),        Element("NarrativeText", "Retrieval module is online, recall up by 5%.",                page=1, source=file_path),    ]  def parse_html(file_path: str):    # 真实项目中使用 partition_html(filename=file_path)    return [        Element("Title", "Help Center: Reset Password", page=1, source=file_path),        Element("NarrativeText", "Open the login page and follow the email link.",                page=1, source=file_path),        Element("ListItem", "Check the spam box if no email is received.",                page=1, source=file_path),    ]  def chunk_by_size(elements, chunk_size=3, overlap=1):    """Split elements into windows with overlap."""    chunks, i, total = [], 0, len(elements)    while i < total:        chunks.append(elements[i: i + chunk_size])        i += chunk_size - overlap      # 前进步长 = 块大小 - 重叠    return chunks  def main():    docs = ["manual.pdf", "weekly.docx", "help.html"]    all_chunks = []    for doc in docs:        print("== partition:", doc)        elems = partition_document(doc)        for e in elems:            print("  ", e)        for idx, c in enumerate(chunk_by_size(elems), 1):            all_chunks.append((doc, idx, c))            print("   chunk #{}: {} elements".format(idx, len(c)))    print("== total chunks:", len(all_chunks), "-> ready for embedding")  if __name__ == "__main__":    main()

1. def partition_document(file_path: str):对外统一入口，像整理师的“分拣台”，调用方不关心内部格式差异。
2. ext = os.path.splitext(file_path)[1].lower()按扩展名识别格式，决定把文件送到哪个解析通道。
3. Element("Table", "Team | Owner | Seat\nTech | Alice | A301", page=2, source=file_path)表格被保留为独立元素，并携带页码和来源两个元数据，这就是“给箱子贴标签”。
4. while i < total:用循环窗口遍历所有元素，逐个切块，对应“装箱”循环。
5. i += chunk_size - overlap # 前进步长 = 块大小 - 重叠每次前进“块大小减重叠”，让相邻块共享一段内容，防止语义在接缝处断裂。
6. chunks.append(elements[i: i + chunk_size])把当前窗口的元素作为一个块保存，之后便可批量送入 Embedding 模型。

常见误区

面试题