OCR Technology Explained: How Computers Read Documents - pdf0.ai

コンピューターが実際に「見る」ことができると気付いた日

2008年、初めて光学文字認識が作動しているのを目撃した瞬間を今でも覚えています。私はボストンのドキュメント処理スタートアップでジュニアソフトウェアエンジニアとして働いており、マネージャーから1,200枚の手書きの保険請求書の束を渡されました。「金曜日までにデジタル化する必要があります」と彼はカジュアルに言いました。私はその山を見て、迅速な計算をして、各フォームを手動で入力するには約160時間の作業が必要であることに気付きました。その時、同僚が私にOCR技術を紹介し、私たちは4時間以内に全バッチを処理しました。

その経験は私のキャリアの軌道を変えました。過去16年間、私は文書インテリジェンスシステムを専門にしており、フォーチュン500企業から小規模なヘルスケアスタートアップまで、さまざまな相手と仕事をしてきました。私は4700万件以上の文書を処理し、無数のOCRの失敗をデバッグし、この技術が単純なテキスト抽出から洗練されたAI駆動の文書理解へと進化するのを見てきました。現在、文書自動化プラットフォームのリードアーキテクトとして、コンピューターが実際に文書を読む方法と、この技術がほとんどの人が認識するよりもはるかに複雑で魅力的である理由を共有したいと思います。

OCRは単に画像をテキストに変換することではありません。これは、機械に数千年にわたって人間が使用してきた視覚言語を理解させることです。あなたが電話で小切手を預けたり、経費報告のためにレシートをスキャンしたり、Google Lensを使って外国のメニューを翻訳したりするたびに、あなたはOCR技術を活用しています。2023年、世界のOCR市場は133.8億ドルに達し、2030年までに年率16.4%の成長が見込まれています。しかし、その普及にもかかわらず、ほとんどの人はその仕組みを全く理解していません。

根本的な課題: なぜコンピューターにとって読書は難しいのか

ほとんどの人を驚かせることがある: 読書はコンピューターに最も複雑なタスクの一つです。文書を見るとき、あなたの脳はミリ秒で驚異的なパターン認識の技を実行します。あなたは即座に背景ノイズから文字を区別し、見たことのないフォントを認識し、「O」と「0」が文脈によって異なる文字であることを理解し、ページ上のテキストの空間的な配置から意味を抽出します。

OCRは単なるパターンマッチングではなく、機械に文脈を理解させ、あいまいさに対処し、彼らが見ているものについて賢明な判断を下させることを教えることなのです。これは、人間の読者が本能的に行うことに他なりません。

コンピューターにはこの直感的な理解がありません。コンピューターにとって、文書は単なるピクセルのグリッドであり、固有の意味のない数百万の小さなカラードットです。300 DPI（ドット/インチ）でスキャンされたページには約850万のピクセルが含まれています。コンピューターは各ピクセルを分析し、パターンを特定し、文字にグループ化し、それらの文字を認識し、その関係を理解する必要があります。これは誰かが目隠しをしてジグソーパズルを再構築するようなもので、触覚だけを使わなければなりません。

私はこの教訓を2012年に厳しい形で学びました。クライアントから1970年代の50,000件の歴史的医療記録を処理するよう求められました。これらの文書は何度もコピーされており、湿度の高い地下室に保管され、低解像度で再スキャンされていました。テキストは薄く、歪んでいて、コーヒーのシミや手書きのメモが散在していました。我々の標準的なOCRシステムはわずか62%の精度を達成しただけで、単一の桁のエラーが致命的になる医療記録にはまったく使い物にならないものでした。我々は、カスタム前処理アルゴリズムを開発し、それに3か月かけて完璧に仕上げましたが、最終的には98.7%の精度に達しました。

この課題は、コンピューターが処理しなければならない文書の多様性を考慮するとさらに複雑になります。印刷された本のページは比較的単純です。標準的なフォントで一貫した間隔のきれいなテキストです。しかし、実際の文書には、表を含む請求書、チェックボックスのあるフォーム、異なるレイアウトのレシート、手書きのメモ、何十もの言語の文書、実際のテキストを含む可能性のあるPDFやテキスト画像が含まれます。それぞれのシナリオには異なるアプローチや技術が必要です。

OCRパイプライン: ピクセルから意味へ

現代のOCRシステムは、私が何百もの実装を経て洗練させた多段階のパイプラインに従っています。このパイプラインを理解することは、文書処理に関わるすべての人にとって重要なことで、各ステージは潜在的なエラーや最適化の機会を導入します。私が開始したときに誰かが説明してくれたらよかったと思える詳細で、各ステップを説明しましょう。

最初のステージは画像取得と前処理です。ここでは、文書画像をキャプチャまたは受信し、分析のために準備します。私の経験では、このステージが最終的な精度の約40%を決定します。質の悪い画像からスタートすると、どれだけ洗練されたOCRを使用しても完全には補えません。通常、いくつかの前処理技術を適用します: 回転を修正するためのデスキュー、アーチファクトや背景パターンを除去するためのデノイズ、グレースケール画像を純粋な白黒に変換するためのバイナリゼーション、テキストを明確に際立たせるためのコントラスト強化です。

ある法律事務所と仕事をした際に、契約書を150DPIでスキャンしてストレージスペースを節約していました。彼らはなぜ自分たちのOCR精度がわずか81%なのか理解できませんでした。解像度を300DPI（業界標準）に上げると、精度は96.3%に跳ね上がりました。この教訓: ごみを入れるとごみが出る。あなたのOCRシステムは、自分の入力画像の質によって決まります。

次のステージはレイアウト分析とセグメンテーションです。個々の文字を認識する前に、文書の構造を理解する必要があります。テキストブロックはどこにありますか？どの要素がヘッダーでどれが本文ですか？表、画像、フォームはありますか？現代のシステムは、テキスト領域を検出し、異なるゾーンを分類し、リーディングオーダーを特定し、テキストをグラフィックスから分離するための洗練されたアルゴリズムを使用します。このステージは、テキストが予想外の位置に現れる可能性がある請求書やフォームなどの複雑な文書にとって特に挑戦的です。

次は文字セグメンテーションです—テキスト行を個々の文字または文字グループに分ける作業です。これは単純に聞こえますが、 cursive handwriting、接触する文字、文字が壊れたり結合されたりする劣化した文書の場合、非常に複雑になります。私は「rn」が「m」と誤読されたり、「cl」が「d」と混同されたりする一般的なシナリオでシステムが苦労するのを見たことがあります。最良のシステムは、文脈分析を使用してこれらのエラーをキャッチします。

パターン認識: OCRの脳

文字認識は魔法が起こる場所であり、私のキャリアの中でOCR技術が最も劇的に進化した分野です。初期のOCRシステムは、既知の文字シェイプのデータベースと各文字を比較するテンプレートマッチングを使用していました。これは標準フォントの印刷テキストに対してはそれなりに良く機能しましたが、あらゆるバリエーションにはうまくいきませんでした。2009年、約12種類の異なるフォントしか確実に認識できないシステムで作業していたことを覚えています。

基本的なOCRと現代のドキュメントインテリジェンスの違いは、スペルチェッカーとプロの編集者を比較するようなものです。一方は文字を認識しますが、もう一方は意味、構造、意図を理解します。

現代のOCRシステムは、機械学習、特に深層ニューラルネットワークを使用して文字を認識します。これらのシステムは、厳しいテンプレートに依存するのではなく、何百万もの例から学習します。私は200以上の言語と1,000以上のフォントを含む1億以上の文字サンプルを含むデータセットでモデルを訓練しました。その違いは顕著で、テンプレートベースのシステムがきれいな印刷テキストで85-90%の精度を達成するのに対し、ニューラルネットワークベースのシステムは99%を超え、手書き、珍しいフォント、劣化した文書を処理できます。

その突破口は2015年頃に、畳み込みニューラルネットワーク（CNN）や再帰的ニューラルネットワーク（RNN）が登場したことでした。CNNは視覚パターンの認識に優れており、特定のパターンを認識できます。