无限 OCR 2：即使在 16 GB GPU 上，也能在一个请求中解析整个 PDF

Unlimited OCR 2 在一次请求中解析整个 PDF，并跟踪跨分页符的文本和表格。关闭页面图块，在一台 RTX 4090 上 3 分 44 秒即可返回 59 页的税务指南，比 PDF 本身的文本节省 4.2%，在 16 GB 卡上具有相同的质量。我们在 InferenceKey Cloud 上部署了百度 MIT 许可的文档解析器（3B MoE，大约 0.5B 活动参数）作为运行作者自己的 SGLang 构建的自定义 Python 后端，并通过一个流式请求向其发送 IRS Publication 15（59 页，公共域）。我们测量的内容（一台 RTX 4090，24 GB）： - 每页一次查看 (crop_mode=false)：59 页，15.8 页/分钟，第一个文本在 3.3 秒后，整个指南中 PDF 文本的编辑距离为 4.2% - 作者的默认页面图块：8.7 页/分钟，第 46 至 54 页的长表格破裂：八行挤进一个单元格，一个句子重复1,508 次，后面有空页（总体占 38.1%，远离表格 2.4%） - 仅第 46 至 54 页：每页一个视图从头到尾需要 28 秒，每个延续页面标记为同一个表格的一部分 - 整个文档的一个窗口而不是 10 页窗口：命中 131,072 个令牌上下文并停在第 27 页，距离第一个文本 50.3 秒 -内存：4090 最高可达 19.4 GB；真正的 16 GB RTX 2000 Ada 以相同的质量（4.23% 与 4.18%）以 13.8 GB 峰值、5.6 页/分钟解析整个指南，基准数据慢了约 2.8 倍，视频中的整部小说重播是作者的，不是我们复制的。我们的数字来自一份文件，而不是基准。完整文章：https://inferencekey.com/research/unlimited-ocr-2-whole-book-parsing SDK 示例：https://github.com/inferencekey/inferencekey-sdk/tree/main/examples/unlimited-ocr-2-pdf-parsing-custom-backend-private-nvidia 文档：https://docs.inferencekey.com 00:00 一个长税表，解析为28 s 00:18 什么是无限 OCR 2？ 01:09 表格在分页符后还能幸存吗？ 02:40 一张卡有多小？