文档版面恢复技术入门

可视化演示

版面恢复概述

拿到一盒倒扣的拼图，第一步不是急着把碎片怼在一起，而是先看盒子背面的印刷图——那是你要复原的“目标”。对 OCR 来说，这份“印刷图”就是原始扫描稿的版面：标题在哪里、正文分几栏、插图放在哪个角落。没有目标感，你手里只是一堆“文本碎片”。OCR 引擎把所有字符识别出来后，通常按识别顺序拼成一长串文字流，原本并排的两栏变成了先后顺序，插图位置消失，表格边界无从谈起——纸面的“空间感”被压扁成了一条线。

版面恢复（Layout Restoration）要做的，就是反向操作：从这串线性文字流里，重新推出每个区块的位置、类别和阅读逻辑。一条典型的流水线包含四件事——版面分析先切分区块，元素分类判断区块是文字还是图片，阅读顺序重建决定读的先后，最后排版输出按坐标和样式生成新文档。实际应用中，古籍数字化、扫描 PDF 转可搜索文档、发票与合同的结构化录入，都依赖这套技术。想要评判切得准不准，常用一个叫 IoU（交并比）的指标：它衡量两个区域的重叠程度，值越接近 1 说明位置越吻合。

拼图时两人同时捏住一块碎片，谁都不肯松手，重叠的部分就越大——但真正重要的是碎片是否回到它唯一正确的坑位。IoU 正是用来度量“回没回对坑”的尺子，它会在本文章节之间反复出现。

版面分析方法

拿到碎片后，拼图老手会先按颜色和纹理分类：蓝色带云朵的是天空，绿色有房檐的是建筑，木纹色的归在一起。版面分析就是给页面做同样的“粗分类”——先把整页拆成互不重叠的区块。拆法有两种思路。自顶向下从整页开始，寻找页面中横向和纵向的“空白沟壑”（比如分栏之间的白缝），沿着缝隙不断切分直到不能再切；这种方式适合排布规整的报纸、论文。自底向上则反过来，从像素或连通块出发，把相邻近、特征相似的小单元逐步合并成大区域，适合版面不规则的杂志封面或宣传单。

实现区域检测时，投影法是最直观的手段：统计每一行像素的密度，密度接近零的连续行就是一条水平空白带，可以据此切断。更现代的做法是用目标检测模型（如 Faster R-CNN、DETR）直接回归出每个区块的边界框。无论哪种方法，最后都要统一到同一套坐标系里。实际工程中常把坐标归一化到 0 到 1 之间——好比把不同尺寸的拼图照片统一缩放到同一张 A4 纸上再讨论位置，这样不同分辨率扫描件的结果才能互相比较。

不同扫描仪出来的拼图尺寸各不相同——有的 1200dpi，有的 300dpi。归一化就像把所有拼图照片缩放到同一个图框里再讨论“哪块碎片在哪”，保证后面的排序与还原逻辑不依附于具体分辨率。

元素识别分类

碎片按颜色分好堆后，还要确认每一片具体是什么：细条纹的是天空云层，网格花纹的是建筑表面，纯色大块的是湖水。对应到文档版面，区块需要被打上三类基本标签——文本、图像、表格；进阶任务还会细分出标题、列表、页眉页脚。分类这一步通常由一个小型视觉模型完成：把检测出的区块图像缩放成固定尺寸（如 224×224 像素），送入卷积神经网络或视觉 Transformer，输出每个类别的概率。

模型最后一层输出的是每个类别的得分 z，得分越高代表越可能是该类。为了让这些得分变成能直接当“信心值”用的概率，需要经过 softmax 归一化——它把得分映射成总和为 1 的正概率分布，相当于把“拼图碎片像什么”的模糊直觉，转写成一组可以下注的百分比。

拼图时我们不会说“这块 70% 像天空、30% 像水面”，而会最终认定“这就是天空”；Softmax 就是那个把模糊直觉变成确切判断的决策台。文本、图像、表格三种基本角色一定，后面的排版还原才能各司其职。

阅读顺序重建

拼图有先后：先拼边框确定范围，再填天空大块，最后补细节。文档也有阅读顺序——标题先读，正文随后，图片说明紧跟插图。OCR 给出的文字块原本挤在一条文本流里，顺序往往由引擎内部决定，并不符合人类的阅读路径。版面恢复要把每个文本块排出一个逻辑顺序，让还原后的文档从头读起来顺畅。最简单的规则是 Z 型扫描：从上到下、从左到右。遇到双栏版面，Z 型会失效——右栏第一块会被排在左栏第二块之后，顺序完全错乱。

因此工程实现中通常先做分栏检测：按页面垂直方向的投影空白把页面切成若干栏，再把每个区块分配到所属栏内；栏内按 y 坐标排序，同 y 近似按 x 排序。排序规则可用一个带容差的比较器描述：如果两块在垂直方向有明显距离，垂直位置优先；如果两块中心高度几乎相等，则按水平位置从左到右。

Z 型规则就像拼图时“从左上角开始一圈圈往里收”的通用口诀，但遇到双栏报刊就不灵了。分栏预处理相当于先把一幅大拼图分成左右两块独立小拼图，各拼各的，最后再拼接成整幅——顺序不乱，故事才顺。

表格结构还原

表格是拼图里的“乐高组件”——它不是一片，而是一组互相咬合的积木：横梁（行线）、竖梁（列线）、连接件（合并单元格）。普通版面恢复把表格当作一块“图像”处理即可，但要做数据抽取，就必须还原它内部的结构：表头在哪、哪些单元格合并了、每一行每一列怎么对应。表格还原通常分为四步：第一步提取表格区域内的行列线，可用直线检测（如 Hough 变换）或投影分析定位横线和竖线；第二步由行列线交叉生成单元格网格；第三步判定哪些小格属于同一个合并单元格，通常依据内容文本的边界跨越多个网格；最后给出语义标注，指出表头行、数据列。

判定两个文本块是否属于表格的同一行，本质上是比较它们中心 y 坐标的接近程度——就像拼乐高时，得先确认两块积木在同一层平面上才谈得上卡在一起。

乐高积木如果上下错开半个齿，就卡不进同一排的凹槽；表格里的两段文字中心高度接近，才说明它们并肩站在同一行。合并单元格的还原还要更细一步：当一个文本块的边界跨越了多行多列网格时，就找到了一个“大连接件”。

排版重建输出

拼好的图不能就放在桌上，要装裱好挂回墙上——输出成 HTML、PDF 或 Word 文档，才算真正完成复原。这一步要做的第一件事是坐标重映射：内部处理时坐标是归一化的 0~1 小数，输出时必须乘回目标页面的物理宽度和高度，变成真实的像素或点位。接着要恢复视觉样式：标题字体加粗放大、正文用常规字号、图片按原边界放置并设置对齐，这些样式信息一部分来自 OCR 输出的字体属性，一部分从版面上下文中推断。

输出格式按场景选择：轻量场景用 Markdown 或 HTML，标准文档交换用 PDF，办公编辑场景用 Word。一份好的版面恢复结果，应当让还原后的文档与原版在“远看骨架、近看细节”上都保持一致的观感——段落缩进、行间距、图文比例都尽量贴近原貌。

装裱拼图时，画框的长宽比例决定拼图放在框里是否端正；归一化坐标只是“比例”，只有乘以实际页面尺寸才变成可落笔的坐标。坐标重映射正是这幅“装裱骨架”的标尺算法。

评估与工程

拼完后要对包装封面检查：少了哪块、哪块颜色不对、整体是否对齐。版面恢复的质量评估也是这套“质检流程”。最常用的三类指标：区块分类准确率（元素标签对不对）、区块定位 IoU（位置准不准）、阅读顺序编辑距离（顺序顺不顺）。编辑距离衡量把恢复出的顺序变成真实顺序需要多少次插入、删除、替换操作，操作次数越少说明顺序恢复得越好。单个文本块分类或检测的指标，常常汇总成 F1 分数——它是精确率和召回率的调和平均，好比拼图时既不想把不属于这里的碎片放进来（精确），也不想漏掉属于这里的碎片（召回）。

工程实践中，版面恢复通常以流水线方式串联：图像预处理 → 版面检测 → 元素分类 → 阅读排序 → 结构还原 → 输出。每一步都可能出错，必须设计回退策略——比如某个区域无法确定是表格时，就按普通文本流输出，避免生成一个完全错乱的表格。缓存中间结果、分区并行处理也是常见的性能优化手段。评估时建议建立一份带标注的验证集，不只跑通流程，还要逐类统计错误，才能持续迭代。

质检员不会只看“拼了几块”或“有没有错块”，而是综合看“放对的块里多少是真的”和“该拼的块里拼上了多少”——F1 就是这两项考核的合成得分。工程上不必追求每个模块都完美，流水线回退机制就像拼图找不到某块时先放下、拼别处，永远保证整体画面可交付。

AI 应用场景

Python 演示

#!/usr/bin/env python3# -*- coding: utf-8 -*-"""文档版面恢复入门: 从OCR结果重建阅读顺序并输出HTML骨架"""  def iou(a, b):    """计算两个边界框的交并比(IoU)，用于版面区域重叠度量。"""    ix = max(0, min(a[2], b[2]) - max(a[0], b[0]))    iy = max(0, min(a[3], b[3]) - max(a[1], b[1]))    inter = ix * iy    area_a = (a[2] - a[0]) * (a[3] - a[1])    area_b = (b[2] - b[0]) * (b[3] - b[1])    union = area_a + area_b - inter    return inter / union if union > 0 else 0.0  def cluster_rows(blocks, tolerance=0.02):    """把中心Y坐标接近的块聚成同一阅读行(垂直投影聚类)。"""    sorted_blocks = sorted(blocks, key=lambda b: (b['y0'] + b['y1']) / 2)    rows = []    for blk in sorted_blocks:        center = (blk['y0'] + blk['y1']) / 2        best = None        for row in rows:            if abs(center - row['center']) < tolerance:                best = row                break        if best is None:            best = {'center': center, 'items': []}            rows.append(best)        best['items'].append(blk)    return rows  def reading_order(blocks):    """先按Y分簇，再按X排序，得到自顶向下、从左到右的阅读序。"""    rows = cluster_rows(blocks)    order = []    for row in sorted(rows, key=lambda r: r['center']):        row['items'].sort(key=lambda b: b['x0'])        order.extend(row['items'])    return order  def to_html(blocks):    """把恢复后的阅读顺序输出为简单的HTML结构骨架。"""    parts = []    for b in blocks:        if b['type'] == 'text':            parts.append('<p>%s</p>' % b['text'])        elif b['type'] == 'image':            parts.append('<img src="%s" alt=""/>' % b['text'])        elif b['type'] == 'table':            parts.append('<table><tbody><tr><td>%s</td></tr></tbody></table>' % b['text'])    return '\n'.join(parts)  def main():    # 模拟OCR输出: 双栏页面，人为打乱顺序    ocr_blocks = [        {'text': '标题', 'type': 'text', 'x0': 0.05, 'y0': 0.02, 'x1': 0.40, 'y1': 0.08},        {'text': '左栏正文', 'type': 'text', 'x0': 0.05, 'y0': 0.12, 'x1': 0.45, 'y1': 0.30},        {'text': '右栏图片', 'type': 'image', 'x0': 0.52, 'y0': 0.12, 'x1': 0.95, 'y1': 0.35},        {'text': '右栏正文', 'type': 'text', 'x0': 0.52, 'y0': 0.38, 'x1': 0.95, 'y1': 0.55},        {'text': '底部表格', 'type': 'table', 'x0': 0.05, 'y0': 0.60, 'x1': 0.95, 'y1': 0.80},    ]    print('原始OCR顺序:', [b['text'] for b in ocr_blocks])    restored = reading_order(ocr_blocks)    print('恢复阅读顺序:', [b['text'] for b in restored])    print('\nHTML输出:')    print(to_html(restored))  if __name__ == '__main__':    main()

1. def iou(a, b)计算两个边界框的交并比，是后续评估区块对齐程度的基础工具。
2. tolerance=0.02行聚类的容差参数，中心 y 坐标差距在 0.02 以内的块视为同一行。
3. sorted_blocks = sorted(...)按中心 y 坐标排序，保证处理顺序自顶向下。
4. best = {'center': center, 'items': []}新建一个行簇，记录簇的中心高度和包含的文本块。
5. for row in sorted(rows, key=lambda r: r['center'])行簇按中心高度排序，实现“上排在前”。
6. row['items'].sort(key=lambda b: b['x0'])同一行内按左边界 x 排序，实现“左先读”。
7. to_html(restored)按恢复后的顺序把文本、图片、表格转成 HTML 标签，完成排版输出。

常见误区

面试题