無制限の OCR 2: 16 GB GPU でも 1 回のリクエストで PDF 全体を解析

Unlimited OCR 2 は、1 回のリクエストで PDF 全体を解析し、改ページをまたぐテキストと表を追跡します。ページ タイルをオフにすると、1 台の RTX 4090 で 59 ページの税務ガイドが 3 分 44 秒で表示されます。PDF 自体のテキストより 4.2% オフで、16 GB カードでも同じ品質です。私たちは、Baidu の MIT ライセンス付きドキュメント パーサー (30 億 MoE、約 0.50 億のアクティブ パラメーター) を、作成者独自の SGLang ビルドを実行するカスタム Python バックエンドとして InferenceKey Cloud にデプロイし、1 つのストリーミング リクエストで IRS Publication 15 (59 ページ、パブリック ドメイン) を送信しました。測定内容 (RTX 4090 1 台、24 GB): - ページごとに 1 つのビュー (crop_mode=false): 15.8 ページ/分で 59 ページ、最初のテキストは 3.3 秒後、ガイド全体で PDF のテキストまでの編集距離は 4.2% - 著者のデフォルトのページ タイル: 8.7 ページ/分、およびページ 46 ～ 54 の長い表が壊れました: 1 つのセル、1 つの文に 8 行が詰め込まれました。 1,508 回繰り返し、その後の空ページ (全体で 38.1%、表から 2.4% 離れた) - ページ 46 から 54 のみ: ページごとに 1 つのビューで端から端まで 28 秒、各継続ページは同じ表の一部としてマーク - 10 ページのウィンドウではなくドキュメント全体に 1 つのウィンドウ: 131,072 トークンのコンテキストにヒットし、27 ページで停止、最初のテキストまで 50.3 秒 -メモリ: 4090 では最大 19.4 GB。本物の 16 GB RTX 2000 Ada は、13.8 GB ピーク時、5.6 ページ/分で同じ品質 (4.23% 対 4.18%) でガイド全体を解析しましたが、約 2.8 倍遅いベンチマーク数値とビデオ内の小説全体のリプレイは著者によるものであり、当社が複製したものではありません。私たちの数値はベンチマークではなく、1 つの文書に基づいています。全文: https://inferencekey.com/research/unlimited-ocr-2-whole-book-parsing SDK の例: https://github.com/inferencekey/inferencekey-sdk/tree/main/examples/unlimited-ocr-2-pdf-parsing-custom-backend-private-nvidia ドキュメント: https://docs.inferencekey.com 00:00 解析された長い税金表28 s 00:18 Unlimited OCR 2 とは何ですか? 01:09 テーブルは改ページされても存続しますか? 02:40 どれくらい小さいカードでも大丈夫でしょうか？