Saya Menjalankan 500 Halaman Melalui 6 Mesin OCR — Hasilnya Sangat Menggugah

Email tersebut tiba pada pukul 11:47 malam di hari Kamis. Subjek: "Ketidakcocokan faktur — penahanan litigasi." Saya sudah tiga bulan mengubah lima dekade catatan kertas menjadi digital untuk Hartwell & Associates, sebuah firma hukum perusahaan menengah di Chicago. Kami telah memindai 500 halaman hanya minggu ini: kontrak dengan noda kopi, catatan marginn yang ditulis tangan dari tahun '90-an, kwitansi thermal yang saking memudarnya Anda hampir tidak bisa melihat teksnya. Ini adalah hal standar untuk proyek digitalisasi dokumen. Namun email ini tidak standar. Sengketa kontrak senilai $2 juta baru saja meningkat karena perangkat lunak OCR kami salah membaca satu digit pada faktur yang dipindai. Dokumen asli menunjukkan "$847,250" — sistem kami membacanya sebagai "$947,250." Kesalahan seratus ribu dolar itu sudah masuk ke dalam dokumen hukum. Pengacara pihak lawan menyadarinya. Kini klien kami terlihat tidak kompeten, dan saya adalah orang yang menjamin akurasi alur kerja OCR kami. Saya menghabiskan malam itu untuk memindai ulang dokumen tersebut dengan setiap mesin OCR yang bisa saya dapatkan, menyaksikan masing-masing menghasilkan hasil yang sedikit berbeda, dan tidak ada yang sempurna. Saat itulah saya menyadari: saya telah memperlakukan OCR sebagai masalah yang sudah terpecahkan. Itu tidak benar.

Mengapa Saya Menguji Enam Mesin OCR Berbeda (Dan Mengapa Anda Juga Harus)

Setelah insiden faktur, saya tidak bisa lagi hanya mengandalkan satu solusi OCR. Saya perlu memahami lanskapnya. Berikut adalah apa yang saya uji dan apa yang saya pelajari dari masing-masing:

1. Google Cloud Vision API — Saya mulai di sini karena semua orang mengatakan ini adalah standar emas. Hasilnya mengesankan pada dokumen bersih dan modern. PDF yang dipindai dari dekade terakhir? Hampir sempurna. Tapi jika Anda memberinya cetakan dot-matrix tahun 1987 atau dokumen yang telah difaksir dan diphotocopy tiga kali, akurasinya turun menjadi sekitar 73%. API ini cepat dan harga yang wajar sebesar $1,50 per 1.000 halaman, tetapi ia mengalami kesulitan dengan jenis dokumen yang saya butuhkan: catatan bisnis dunia nyata yang sudah tua dan terdegradasi.
2. Amazon Textract — Yang ini mengejutkan saya. Saya mengharapkannya berkinerja mirip dengan penawaran Google, tetapi Textract memiliki keunggulan khusus: ia dibangun untuk memahami struktur dokumen. Ia tidak hanya mengekstrak teks; ia mengidentifikasi tabel, formulir, dan pasangan kunci-nilai. Untuk kontrak yang saya proses, ini sangat penting. Ia bisa membedakan antara blok tanda tangan dan teks utama, antara bidang tanggal dan paragraf. Akurasinya pada dokumen bersih sebanding dengan Google (sekitar 98%), tetapi pada dokumen terdegradasi, ia berhasil sedikit lebih baik, mencapai 76-78%. Biayanya lebih tinggi pada $1,50 per halaman untuk formulir dan $15 per 1.000 halaman untuk tabel, tetapi untuk dokumen hukum yang terstruktur, ini sepadan.
3. Microsoft Azure Computer Vision — Kinerja yang solid di tengah jalan. Tidak ada yang spektakuler, tidak ada yang buruk. Ini menangani catatan yang ditulis tangan lebih baik daripada Google atau Amazon, yang penting untuk anotasi margin pada kontrak. Saya akan memperkirakan ia berhasil mengidentifikasi sekitar 65% teks yang ditulis tangan, dibandingkan dengan 40-50% untuk yang lainnya. Harganya bersaing, $1,00 per 1.000 transaksi. Apa yang paling saya hargai adalah konsistensinya — ia tidak memiliki fluktuasi acak dalam akurasi berdasarkan usia atau kualitas dokumen. Itu selalu "cukup baik" secara konsisten.
4. Tesseract (open source) — Saya hampir tidak menguji yang satu ini. Ini gratis, open-source, dan saya mengasumsikan ini akan kalah dari penawaran komersial. Saya setengah benar. Pada dokumen modern yang bersih, akurasinya tertinggal di kisaran 92%. Tapi inilah yang mengejutkan saya: pada jenis dokumen terdegradasi tertentu, terutama halaman yang diketik lama, Tesseract kadang-kadang mengungguli yang lainnya. Saya rasa ini karena Tesseract telah ada sejak tahun '80-an dan dilatih secara harfiah pada jenis dokumen yang umum kala itu. Untuk solusi tanpa biaya, mencapai 70% akurasi pada kwitansi thermal yang pudar sangat mengesankan. Kekurangannya adalah kompleksitas pengaturan dan kecepatan pemrosesan — itu memerlukan waktu 3-4 kali lebih lama dibandingkan solusi cloud.
5. ABBYY FineReader — Ini adalah solusi perusahaan yang memerlukan biaya nyata: $199 per lisensi untuk versi desktop. Saya mengujinya karena dua firma hukum lain yang pernah saya ajak kerja sama sangat merekomendasikannya. Akurasi sangat baik — selalu 96-99% pada dokumen bersih dan 80-85% pada dokumen terdegradasi. Ini juga memiliki alat preprocessing terbaik yang pernah saya lihat: perbaikan kemiringan, pembersihan bintik, dan peningkatan kontras yang benar-benar meningkatkan hasil OCR. Tetapi nilai sebenarnya ada pada antarmuka editor. Ketika OCR membuat kesalahan (dan pasti akan), FineReader memudahkan untuk memperbaiki dan melatih mesin. Untuk proyek digitalisasi sekali saja, biayanya sulit untuk dibenarkan. Untuk pemrosesan dokumen berkelanjutan, ini sepadan dengan setiap sen yang dikeluarkan.
6. Adobe Acrobat Pro DC — Saya menguji ini terakhir karena saya mengira ini akan mediocre — hanya fitur tambahan pada editor PDF. Saya salah. OCR Adobe benar-benar baik, mencapai 95-97% akurasi pada dokumen bersih. Tidak sekuat itu pada dokumen terdegradasi (sekitar 68%), tetapi memiliki satu fitur luar biasa: sudah terintegrasi ke dalam alur kerja yang kebanyakan bisnis gunakan. Jika Anda sudah membayar untuk Adobe Creative Cloud atau Document Cloud, Anda memiliki akses ke OCR yang cukup baik tanpa menambahkan alat lain. Biaya langganan adalah $14,99/bulan, yang mahal jika OCR adalah satu-satunya yang Anda butuhkan, tetapi wajar jika Anda sudah menggunakan produk Adobe.

Pelajaran dari semua pengujian ini? Tidak ada satu mesin OCR terbaik. Masing-masing memiliki kelebihan dan kekurangan, dan pilihan "terbaik" tergantung sepenuhnya pada dokumen dan kasus penggunaan spesifik Anda.

Masalah Kwitansi Pudar (Dan Mengapa Itu Hampir Membunuh Proyek Saya)

Tiga minggu dalam proyek Hartwell, saya menemui tembok yang tidak saya duga: kwitansi thermal. Firma tersebut memiliki kotak kwitansi biaya dari tahun '90-an dan awal 2000-an, kembali ketika kertas thermal adalah standar untuk transaksi kartu kredit dan kwitansi kasir. Jika Anda pernah menemukan kwitansi lama di dalam laci, Anda tahu apa yang terjadi: teksnya memudar hingga tidak terlihat. Kertas thermal menggunakan pelapis sensitif panas yang menggelap ketika terpapar panas dari kepala printer. Seiring waktu, lapisan tersebut akan terdegradasi. Paparan cahaya, panas, dan bahkan minyak dari jari Anda mempercepat prosesnya.

Saya memiliki 127 kwitansi yang hampir sepenuhnya kosong di mata telanjang. Tapi firma membutuhkan mereka untuk jejak audit pada kasus yang kembali ke tahun 2003. Saya mencoba memindainya dengan pengaturan standar kami: 300 DPI, mode warna, kontras otomatis. Mesin OCR mengembalikan sebagian besar sampah. Google Vision: 12% akurasi. Textract: 9%. Bahkan ABBYY, yang menjadi mesin paling andal saya, hanya dapat mengekstrak sekitar 15% teks dengan benar.

Saya menghabiskan dua hari mencari solusi. Saya mencoba memindai dengan resolusi lebih tinggi — 600 DPI, lalu 1200 DPI. Peningkatan marginal. Saya mencoba mode grayscale alih-alih warna. Hasilnya lebih buruk. Saya mencoba setiap filter preprocessing yang bisa saya temukan: penajaman, masker tajam, filter high-pass, peningkatan kontras. Tidak ada yang bekerja secara konsisten.

Lalu saya menemukan pos forum dari seorang jurnalis yang telah mencoba membacakan tulisan tangan pudar pada surat-surat lama. Dia menyebutkan menggunakan pemindaian inframerah. Kertas thermal yang tampak kosong dalam cahaya yang terlihat terkadang masih memiliki teks yang dapat dibaca dalam spektrum inframerah. Saya tidak memiliki pemindai inframerah, tetapi saya punya kamera digital yang dimodifikasi yang dapat menangkap near-infrared. Saya merakit box cahaya, memposisikan kamera, dan mulai memotret kwitansi di bawah pencahayaan IR.

Ini berhasil. Tidak sempurna — saya memperkirakan kami berhasil memulihkan teks yang dapat dibaca dari sekitar 60% kwitansi yang pudar. Tapi itu 60% lebih banyak daripada yang kami miliki sebelumnya. Saya menjalankan gambar IR tersebut melalui Tesseract (yang menangani kondisi pencahayaan yang tidak biasa lebih baik daripada mesin komersial), secara manual memperbaiki kesalahan, dan menyerahkan dataset yang benar-benar bisa dipakai oleh firma tersebut. Partner yang merekrut saya menyebutnya "sihir arsip." Saya menyebutnya "tiga hari dalam hidup saya yang tidak akan pernah kembali." Tapi itu menyelamatkan proyek.

Tingkat Akurasi: Apa yang Tidak Diberitahukan Vendor kepada Anda

Setiap vendor OCR mengklaim akurasi 99%. Beberapa mengklaim 99.9%. Angka-angka ini secara teknis benar dan praktis tidak berarti. Berikut adalah apa yang saya ukur pada 500 halaman dokumen dunia nyata:

Beberapa hal mencolok dari data ini. Pertama, kesenjangan antara dokumen "bersih" dan "degradasi" sangat besar — sering kali 20-30 poin persentase. Kedua, teks yang ditulis tangan masih menjadi bencana bagi sebagian besar mesin. Ketiga, biaya tidak berkorelasi dengan kualitas secara sempurna. Tesseract gratis dan terkadang mengungguli solusi berbayar pada jenis dokumen tertentu.

Tapi inilah wawasan sebenarnya: akurasi...