文档版面分析 LayoutLM：让 AI 既读文字，也看版面

可视化演示

展示系统处理流水线、实时性能指标曲线及多方案对比分析，包含数据流转、吞吐延迟监控与方案评估。

文档智能的挑战

想象你第一次走进一家米其林餐厅的后厨，桌上摆满了食材，没有标签，没有摆盘，厨师只把食材一股脑倒进锅里。你很难分清哪块是今天的主料，哪块是装饰用的香草。文档智能面临同样的尴尬：OCR 把纸上的字都识别出来了，但「金额」「日期」「公司名」这些字段像一堆混在一起的食材，没有位置信息，模型很难知道它们的角色。更麻烦的是，每张发票、每份合同、每个表单的排版都不一样，有的字段在左边，有的在角落，没有统一模板可循。

传统做法是写规则或训练一个纯文本模型（如 BERT），让模型从文字流中找关键信息。但这就像蒙着眼睛吃宴席，只能凭味道猜菜名，常常把「主菜」当成「前菜」。文档中文字的位置本身就蕴含语义：标题居中、页眉在上、表格有行列关系。忽略位置，等于把整桌菜搅碎后再让人猜，信息损失巨大。

为了把这份「位置语义」形式化，我们可以把一页文档表示成一组「文本片段 + 边界框」的集合。这是 LayoutLM 一切工作的起点：

回到宴席的比喻：如果把文档当成一桌菜的「坐标图」，LayoutLM 要学习的就是「什么菜通常摆在哪里、和什么菜相邻」。聪明的读者已经发现，第一步是把这张坐标图完整交给模型，这正是下一节的核心。

LayoutLM 核心思想

有了「菜与位置」的清单，新的问题出现了：怎么让模型同时从「味道」和「摆盘」中学习？LayoutLM 的答案是：把文本内容和二维空间位置拼接成同一个输入表示，送到神经网络里。这就像让一位美食学徒在品尝每道菜的同时，用眼睛记录它在餐桌上的坐标，两种信号一起组成学徒的「第一印象」。

具体来说，每个文本片段 t_i 和它的边界框 b_i 会被转换成一个向量。这个向量由三块拼成：文本本身的内容向量、文本在阅读顺序中的一维位置向量、以及边界框代表二维坐标的向量。三者相加，得到一个「既知道这是什么字、又知道这个字在哪」的融合表示。这个设计让模型在预训练阶段就能学到版面布局的通用规律——比如「表格里的单元格往往数值相近」。

这个「文字 + 位置」的联合编码，让 LayoutLM 在预训练阶段并不是死记硬背文字，而是把「摆盘规律」一并纳入学习。现在模型拿到手的，是一张标好坐标的完整菜单，而不是一堆散落的菜名。

模型架构设计

当融合向量准备好后，需要让这些「菜」互相交流，理解彼此关系。LayoutLM 采用了 Transformer 编码器作为主干。你可以把它想象成一场圆桌会议：餐桌上的每道菜（每个 token）都会向所有其他菜发出「你好，我的内容和位置是…」的消息，同时接收别人传来的消息，再更新自己的理解。这种机制就是自注意力。

模型整体是「嵌入层 → 多层 Transformer 编码器 → 输出层」。输入的三部分——文本、一维位置、二维位置——在嵌入层合并后，进入多头自注意力，让模型捕捉「标题后面跟着正文」「金额右侧通常是数字」这类依赖。与标准 BERT 不同的是，因为多了二维位置嵌入，注意力不仅能知道「这两个词相邻」，还能知道「这两个词在页面上处于什么空间关系」。

有了 Transformer 这个大转盘，LayoutLM 就能把页面中所有文字的位置信息互相传递。最终，每个文本 token 的输出向量都融合了全文上下文和空间上下文，这为下游任务打下了坚实基础。

预训练任务

好的大厨不是天生就会摆盘，而是见过成千上万桌宴席才总结出规律。LayoutLM 也需要在大量未标注文档上进行预训练，学习「什么内容配什么位置」。它主要做两件事：掩码文字预测（MLM）和文档布局分类（MDLC）。

第一件事是掩码语言模型：把文档中某些文本片段遮住，让模型根据周围文字和它们的位置去猜被遮住的词。注意，位置信息不遮——模型必须学会利用「被遮住的词是什么类型的词，通常出现在版面的哪个区域」来推理。这很像一场「盲品猜菜」：只告诉参赛者这道菜摆在冷菜区还是汤品区，让他结合周边食材猜菜名。第二件事是文档布局分类：模型看到整篇文档后，要预测它属于哪类文档（发票、简历、邮件等）。这迫使模型捕捉版面类型的全局信号。

预训练完成后，LayoutLM 已经是一位见多识广的「摆盘大师」。它不需要再从头学文档结构，只需在下游任务上稍作微调，就能快速适应新的版式和任务，极大节省了昂贵的标注成本。

下游任务应用

学成出师的 LayoutLM，终于要上真实宴席了。最常见的任务是文档信息抽取：给定一张发票，模型要找出「金额」「发票号」「开票日期」分别在哪。这就像服务员接到顾客指令，要从一桌菜里精准夹出指定的食材——不仅要认识字，还要知道「金额」这个词右侧的数值通常就是要抽取的目标。

在微调阶段，我们会在 LayoutLM 的每个输出向量上加一个分类头，预测每个 token 所属的标签（如“金额的键”“金额的值”“背景”）。因为输出向量已经包含位置上下文，模型能轻易分辨位于纸张右上角的大号数字是发票号，而表格里的数字是金额。类似地，表单理解、票据识别、文档问答都采用几乎相同的套路：预训练好的编码器 + 轻量任务头。

在实际工程中，开发一个票据识别系统，通常先用 OCR 拿到文字和坐标，再交给微调过的 LayoutLM 完成字段抽取。这比早期纯规则系统更抗版面变化，也比纯文本模型更准，成为目前文档智能的主流方案之一。

与纯文本模型对比

如果让只学文本的 BERT 来干这活，会怎样？它就像一个蒙着眼睛的美食家，只能靠舌头分辨食材，却不知道「桌上的哪道菜是甜品」。BERT 输入的是一维文字流，完全没有“页面上方”或“表格第三列”的概念。当两张发票的文字完全相同但排版不同时，纯文本模型看不出任何区别，这在文档理解中常常是致命的。

LayoutLM 的优势恰恰来自「位置感知」。在表单理解 benchmark（如 FUNSD）和信息抽取任务上，加入二维位置预训练的模型普遍比纯文本 BERT 高出数个百分点的准确率。这种提升可以理解为「同时看味道和摆盘」与「只看味道」的差距——摆盘不仅美观，更传递着功能。

纯文本模型在处理版面密集型文档时总像漏看了「餐桌布局图」，而 LayoutLM 把布局图直接画进了模型的血统里。这也解释了为什么文档智能领域如今几乎言必提 LayoutLM。

演进与局限

第一代 LayoutLM 已经很有价值，但研究者发现，光有文字和坐标还不够——页面上的线条、表格框、印章等视觉元素也在传递信息。就像摆盘不只是盘子位置，还包括盘子的花纹和装饰。于是团队推出了 LayoutLMv2，把页面图像通过视觉骨干网络编码成图像嵌入，与文本、坐标一起送入模型。v3 则进一步引入更多模态对齐技术，形成更强大的多模态文档模型。

但也别把 LayoutLM 神话化。它仍依赖上游 OCR 的识别结果，如果 OCR 把「1000」识别成「100O」，后面的布局理解也会出错；同时，对于完全没有版面规律的纯文本长文档，位置信息帮助有限，使用它反而增加计算开销。此外，预训练需要大量扫描文档，数据获取与版权也是工业落地的现实门槛。

回顾这场从「只读文字」到「图文位置全方位理解」的进化，LayoutLM 系列就像从只看菜品的大厨，进化到同时关注菜品、摆盘、餐厅装潢的顶级餐饮总监。理解其原理与边界，你就能在合适的场景里，选出最合适的文档智能工具。

AI 应用场景

Python 演示

# 用 Hugging Face Transformers 演示 LayoutLM 的输入构造与前向# 依赖安装: pip install torch transformersimport torchfrom transformers import LayoutLMTokenizer, LayoutLMModel def build_inputs(words, boxes, max_length=128):    tokenizer = LayoutLMTokenizer.from_pretrained(        "microsoft/layoutlm-base-uncased"    )    encoding = tokenizer(        words,        boxes=boxes,        padding="max_length",        truncation=True,        max_length=max_length,        return_tensors="pt",    )    return encoding if __name__ == "__main__":    # 模拟一张迷你发票的文字和坐标 (x1, y1, x2, y2)    words = ["Invoice", "Amount", "$", "1000", "Total", "Due"]    boxes = [        [0, 0, 100, 50],        [100, 0, 200, 50],        [200, 0, 300, 50],        [0, 100, 100, 150],        [100, 100, 200, 150],        [200, 100, 300, 150],    ]    inputs = build_inputs(words, boxes)    model = LayoutLMModel.from_pretrained(        "microsoft/layoutlm-base-uncased"    )    model.eval()    with torch.no_grad():        outputs = model(**inputs)    shape = outputs.last_hidden_state.shape    print("输出向量形状:", shape)

1. from transformers import LayoutLMTokenizer, LayoutLMModel引入官方预训练模型接口，就像请来一位已经见过无数宴席的现成大厨。
2. LayoutLMTokenizer.from_pretrained(...)加载 LayoutLM 专用分词器，它会同时处理文字和 boxes，把它们整合成模型需要的张量。
3. tokenizer(words, boxes=boxes, ...)核心操作：把一组文字和一组坐标同时交给分词器，自动构建 input_ids、bbox 等输入特征，相当于把「菜+坐标」写在同一张菜单上。
4. padding="max_length", truncation=True统一长度，让一批文档能放进同一个矩阵，类似把不同大小的盘子都装入标准化餐盒。
5. return_tensors="pt"返回 PyTorch 张量，供模型直接使用。
6. LayoutLMModel.from_pretrained(...)加载预训练权重，通常需要联网下载，首次运行会较慢。
7. outputs.last_hidden_state.shape输出每个 token 的上下文向量，这是后续接分类头做信息抽取的基础，类似每道菜被品尝后形成的综合印象。

常见误区

面试题