Ich habe 500 Seiten durch 6 OCR-Engines laufen lassen — die Ergebnisse waren demütigend

Die E-Mail kam um 23:47 Uhr an einem Donnerstag. Betreff: "Rechnungsabweichung — Rechtsstreit zurückhalten." Ich war drei Monate dabei, fünf Jahrzehnte Papierunterlagen für Hartwell & Associates, eine mittelgroße Wirtschaftsrechtskanzlei in Chicago, zu digitalisieren. Allein in dieser Woche hatten wir 500 Seiten gescannt: Verträge mit Kaffeeflecken, handschriftliche Randnotizen aus den 90ern, thermische Quittungen, so verblasst, dass man den Text kaum noch erkennen konnte. Standardzeug für ein Dokumenten-Digitalisierungsprojekt. Aber diese E-Mail war nicht standardmäßig. Ein Vertragsstreit über 2 Millionen Dollar war gerade eskaliert, weil unsere OCR-Software eine einzige Ziffer auf einer gescannten Rechnung falsch gelesen hatte. Das Originaldokument zeigte "$847.250" — unser System las es als "$947.250." Dieser Hunderttausend-Dollar-Fehler hatte es in eine rechtliche Stellungnahme geschafft. Die Gegenseite bemerkte es. Jetzt sah unser Kunde inkompetent aus, und ich war derjenige, der für die Genauigkeit unserer OCR-Pipeline bürgte. Ich verbrachte die ganze Nacht damit, das Dokument mit jeder OCR-Engine, die ich bekommen konnte, erneut zu scannen und beobachtete, wie jede von ihnen leicht unterschiedliche Ergebnisse lieferte, keine von ihnen perfekt. Da wurde mir klar: Ich hatte OCR wie ein gelöstes Problem behandelt. Ist es nicht.

Warum ich sechs verschiedene OCR-Engines getestet habe (und warum du das auch tun solltest)

Nach dem Rechnungsvorfall konnte ich nicht mehr auf eine einzige OCR-Lösung vertrauen. Ich musste die Landschaft verstehen. Hier ist, was ich getestet habe und was ich von jedem gelernt habe:

1. Google Cloud Vision API — Ich begann hier, weil jeder sagte, dass es der Goldstandard sei. Die Ergebnisse waren beeindruckend bei sauberen, modernen Dokumenten. Gescanntes PDF aus dem letzten Jahrzehnt? Nahezu fehlerfrei. Aber gib ihm einen Dot-Matrix-Ausdruck aus dem Jahr 1987 oder ein gefaxtes Dokument, das dreimal kopiert wurde, und die Genauigkeit fiel auf etwa 73%. Die API ist schnell und die Preise sind mit 1,50 USD pro 1.000 Seiten angemessen, aber sie hatte Schwierigkeiten mit genau den Dokumenten, die ich benötigte: alten, abgenutzten, realen Geschäftsdaten.
2. Amazon Textract — Das hat mich überrascht. Ich erwartete, dass es ähnlich wie das Angebot von Google funktionieren würde, aber Textract hat einen spezifischen Vorteil: Es ist darauf ausgelegt, die Dokumentenstruktur zu verstehen. Es extrahiert nicht nur Text; es erkennt Tabellen, Formulare und Schlüssel-Wert-Paare. Für die Verträge, die ich bearbeitete, war das riesig. Es konnte den Unterschied zwischen einem Unterschriftblock und Fließtext, zwischen einem Datumsfeld und einem Absatz unterscheiden. Die Genauigkeit bei sauberen Dokumenten war vergleichbar mit Google (ca. 98%), aber bei abgenutzten Dokumenten schnitt es tatsächlich etwas besser ab und erreichte 76-78%. Die Kosten sind höher mit 1,50 USD pro Seite für Formulare und 15 USD pro 1.000 Seiten für Tabellen, aber für strukturierte juristische Dokumente war es das wert.
3. Microsoft Azure Computer Vision — Solide durchschnittliche Leistung. Nichts Spektakuläres, nichts Schreckliches. Es handhabte handschriftliche Notizen besser als Google oder Amazon, was für die Randannotationen bei Verträgen wichtig war. Ich schätze, dass es etwa 65% des handschriftlichen Textes korrekt erkannte, im Vergleich zu 40-50% bei den anderen. Die Preise sind wettbewerbsfähig mit 1,00 USD pro 1.000 Transaktionen. Was ich am meisten schätzte, war die Konsistenz — es gab keine wilden Schwankungen in der Genauigkeit, basierend auf dem Alter oder der Qualität des Dokuments. Es war durchweg "ziemlich gut".
4. Tesseract (Open Source) — Ich habe fast nicht getestet. Es ist kostenlos, Open Source, und ich nahm an, dass es von den kommerziellen Angeboten übertroffen werden würde. Ich hatte teilweise recht. Bei modernen, sauberen Dokumenten lag es mit etwa 92% Genauigkeit zurück. Aber hier ist, was mich schockierte: Bei bestimmten Arten von abgenutzten Dokumenten, insbesondere alten maschinengeschriebenen Seiten, übertraf Tesseract manchmal alles andere. Ich denke, es liegt daran, dass Tesseract seit den 80ern existiert und buchstäblich auf die Arten von Dokumenten trainiert wurde, die damals verbreitet waren. Bei einer Lösung, die nichts kostet, 70% Genauigkeit bei verblassten thermischen Quittungen zu erreichen, war bemerkenswert. Der Nachteil ist die Komplexität der Einrichtung und die Verarbeitungszeit — es dauerte 3-4 Mal länger als die Cloud-Lösungen.
5. ABBYY FineReader — Dies ist die Unternehmenslösung, die echtes Geld kostet: 199 USD pro Lizenz für die Desktop-Version. Ich testete es, weil zwei andere Kanzleien, mit denen ich gearbeitet hatte, darauf schworen. Die Genauigkeit war ausgezeichnet — konstant 96-99% bei sauberen Dokumenten und 80-85% bei abgenutzten. Es hat auch die besten Vorverarbeitungswerkzeuge, die ich je gesehen habe: Schräglagenkorrektur, Rauschreduzierung und Kontrastverbesserung, die tatsächlich die OCR-Ergebnisse verbesserten. Aber der eigentliche Wert liegt in der Bearbeitungsoberfläche. Wenn die OCR Fehler macht (und das wird sie), erleichtert FineReader es, diese zu korrigieren und die Engine zu trainieren. Für ein einmaliges Digitalisierungsprojekt ist der Preis schwer zu rechtfertigen. Für die laufende Dokumentenverarbeitung ist es jeden Cent wert.
6. Adobe Acrobat Pro DC — Ich testete dies zuletzt, weil ich dachte, es wäre mittelmäßig — nur ein Feature, das zu einem PDF-Editor hinzugefügt wurde. Ich lag falsch. Adobes OCR ist wirklich gut und erreicht 95-97% Genauigkeit bei sauberen Dokumenten. Es ist nicht so stark bei abgenutzten Dokumenten (ca. 68%), aber es hat ein Killerfeature: Es ist bereits in den Workflow integriert, den die meisten Unternehmen verwenden. Wenn du bereits für Adobe Creative Cloud oder Document Cloud bezahlst, hast du Zugang zu anständiger OCR, ohne ein weiteres Werkzeug hinzufügen zu müssen. Das Abonnement kostet 14,99 USD/Monat, was teuer ist, wenn OCR das einzige ist, was du brauchst, aber angemessen, wenn du bereits Produkte von Adobe verwendest.

Die Lektion aus all diesen Tests? Es gibt keine einzig beste OCR-Engine. Jede hat Stärken und Schwächen, und die "beste" Wahl hängt ganz von deinen spezifischen Dokumenten und dem Anwendungsfall ab.

Das Problem mit verblassten Quittungen (und warum es mein Projekt fast beendet hätte)

Drei Wochen in das Hartwell-Projekt stieß ich auf eine Wand, die ich nicht kommen sah: thermische Quittungen. Die Kanzlei hatte Kisten mit Ausgabenquittungen aus den 90ern und den frühen 2000ern, als thermisches Papier der Standard für Kreditkartentransaktionen und Quittungen war. Wenn du jemals eine alte Quittung in einer Schublade gefunden hast, weißt du, was passiert: Der Text verblasst. Thermisches Papier verwendet eine wärmeempfindliche Beschichtung, die sich beim Kontakt mit Wärme vom Druckkopf verdunkelt. Im Laufe der Zeit verschlechtert sich diese Beschichtung. Licht, Wärme und sogar die Öle von deinen Fingern beschleunigen den Prozess.

Ich hatte 127 Quittungen, die mit bloßem Auge fast völlig leer waren. Aber die Kanzlei benötigte sie für eine Prüfungsnachverfolgbarkeit eines Falles aus dem Jahr 2003. Ich versuchte, sie mit unseren Standard-Einstellungen zu scannen: 300 DPI, Farbmodus, automatische Kontrastanpassung. Die OCR-Engines lieferten größtenteils Müll zurück. Google Vision: 12% Genauigkeit. Textract: 9%. Sogar ABBYY, das meine zuverlässigste Engine gewesen war, konnte nur etwa 15% des Textes korrekt extrahieren.

Ich verbrachte zwei Tage mit der Recherche von Lösungen. Ich versuchte, in höheren Auflösungen zu scannen — 600 DPI, dann 1200 DPI. Marginale Verbesserung. Ich versuchte Graustufenmodus anstelle von Farbe. Schlechtere Ergebnisse. Ich versuchte jeden Vorverarbeitungsfilter, den ich finden konnte: Schärfen, unscharfe Maske, Hochpassfilter, Kontrastverbesserung. Nichts funktionierte konstant.

Dann fand ich einen Forenbeitrag von einem Genealogen, der versucht hatte, verblasene Handschrift auf alten Briefen zu lesen. Sie erwähnte die Verwendung von Infrarotscanning. Thermisches Papier, das im sichtbaren Licht leer aussieht, hat manchmal noch lesbaren Text im Infrarotspektrum. Ich hatte keinen Infrarotscanner, aber ich hatte eine modifizierte Digitalkamera, die nahe Infrarot erfassen konnte. Ich baute eine Lichtbox, positionierte die Kamera und begann, Quittungen unter IR-Beleuchtung zu fotografieren.

Es funktionierte. Nicht perfekt — ich schätze, wir haben lesbaren Text von etwa 60% der verblassten Quittungen wiederhergestellt. Aber das waren 60% mehr, als wir vorher hatten. Ich lief diese IR-Bilder durch Tesseract (das die ungewöhnlichen Lichtverhältnisse besser handhabte als die kommerziellen Engines), korrigierte manuell die Fehler und lieferte ein Dataset, das die Kanzlei tatsächlich verwenden konnte. Der Partner, der mich eingestellt hatte, nannte es "archivierende Magie." Ich nannte es "drei Tage meines Lebens, die ich nie zurückbekomme." Aber es rettete das Projekt.

Genauigkeitsraten: Was die Anbieter dir nicht sagen

Jeder OCR-Anbieter behauptet, 99% Genauigkeit zu haben. Einige behaupten 99,9%. Diese Zahlen sind technisch wahr und praktisch bedeutungslos. Hier ist, was ich über 500 Seiten realer Dokumente gemessen habe:

Einige Dinge stechen aus diesen Daten hervor. Erstens, die Lücke zwischen "sauberen" und "abgenutzten" Dokumenten ist massiv — oft 20-30 Prozentpunkte. Zweitens ist handschriftlicher Text für die meisten Engines immer noch eine Katastrophe. Drittens korreliert der Preis nicht perfekt mit der Qualität. Tesseract ist kostenlos und übertrifft manchmal kostenpflichtige Lösungen bei bestimmten Dokumenttypen.

Aber hier ist die echte Erkenntnis: Genauigkeit