3.6 文档理解与 OCR-free：让 VLM 读懂 PDF

本章目标：讲清”文档智能”从 OCR 流水线到端到端 VLM 的范式更替——它是多模态落地量最大的应用（办公/金融/政务/数据引擎），也是你 8.8 题跋 OCR 的技术基础。学完标准：能画出两条路线的对比图，知道现代 PDF 解析管线的工程形态。

1. 两条路线

传统 OCR 流水线：文本检测（找到字在哪）→ 文本识别（认出是什么字）→ 版面分析（标题/段落/表格的层级）→ 语义理解（NLP）。四段独立、各段误差累积、每段都要单独维护。

OCR-free 端到端：文档图（整页）直接进 VLM → 直接输出结构化结果（答案/markdown/JSON）。胜利原因：① 版面与语义联合建模（“这是标题”和”标题说了什么”互相支持）；② 一套模型吃所有文档类型；③ 输出直接是下游可用的结构。

但 OCR 没死：高精度场景（车牌/票据金额）、边缘设备、以及数据引擎的前端（海量 PDF 转文本）仍是专用 OCR 的地盘——正确认知是”端到端 VLM 为主，专用 OCR 为辅”的混合架构。

2. 演化线（记住五个名字的因果）

1. Donut（2021）：OCR-free 开山——Swin 编码器 + BART 解码器，直接从文档图生成结构化文本；
2. Pix2Struct（2022）：截图预训练（遮罩恢复 HTML 结构）——“网页/文档也是可以自监督的”；
3. mPLUG-DocOwl / UReader（2023–24）：LLaVA 范式进文档（高分辨率切片进 VLM）——文档理解并入 VLM 主流；
4. GOT-OCR2.0（2024）：“general OCR theory”——统一端到端把文档/公式/表格/乐谱全转成文本/markdown；
5. 工业管线（2024–25）：MinerU、olmOCR、Qwen-VL 文档解析——专为 LLM 数据引擎设计的 PDF→markdown 大规模管道（清洗、版面还原、表格结构化）。

你每天都在受益于第 5 条：各家 LLM 的知识里，PDF 转出来的语料占比极高——文档解析是数据引擎（5.2）的隐形基础设施。

3. 文档 VLM 的三个技术要点

1. 分辨率优先：小字（合同条款/印章边注）是文档的命——高分辨率/切片策略（AnyRes，1.4/3.3）在文档场景从”加分项”变成”生死线”；token 账在这最疼（一页 4K 扫描件数万 token）；
2. 结构化输出：目标不是”描述这页纸”而是还原版面语义——markdown 标题层级、表格转 HTML、公式转 LaTeX；训练数据的输出格式设计比模型更重要（5.2 的领域应用）；
3. 表格与图表：表格要还原行列结构（不是 OCR 一串数字）、图表要读出数据系列（ChartQA 能力）——两者是文档智能与 5.1 可验证奖励的交汇（读数可自动判分）。

4. 评测与你的接口

基准：DocVQA（文档问答）、ChartQA（图表问答）、OCRBench（综合）、以及各家自建的解析评测（markdown 还原相似度）。与你的三处接口：① 8.8 的题跋/印章处理——书法 OCR 是文档智能的艺术分支（异体字/草书=更高难度，空白即选题）；② 5.6 的屏幕理解——GUI 本质是”活的文档”；③ 数据引擎就业面——MinerU 类管线的开发与优化是真实岗位。

5. 自测题

1. OCR-free 胜出的两个原因？（版面语义联合建模/一套模型全类型）
2. “OCR 没死”的三个据点？（高精度票据/边缘端/数据引擎前端）
3. 文档场景为什么分辨率是生死线？（小字是文档核心信息——token 账最疼处）
4. 表格解析和表格 OCR 的区别？（还原行列结构语义 vs 认出一串字）
5. MinerU 类管线在 LLM 产业里的角色？（PDF→训练语料——数据引擎的隐形基础设施）
6. 题跋 OCR 的难点与机会？（异体字草书+图文关联——艺术分支的空白题）

6. 动手作业

1. 用 MinerU（或 olmOCR）解析一份中文学术 PDF，检查表格/公式的还原质量，写 200 字体检报告；
2. 用 Qwen-VL（或 GOT）对同一页做端到端解析，对比两条路线的输出；
3. 对 8.1 素材里的一幅中国画题跋做 OCR 尝试，记录失败模式——D2 选题的第一手证据；
4. 挑战：读 Donut 论文 §1，用三句话讲清”为什么 2021 年的人们相信可以跳过 OCR”。

7. 延伸资源

• Donut / GOT-OCR2.0 论文——两条路线的代表作
• MinerU / olmOCR repo——工业管线现状
• DocVQA / OCRBench——评测体系