How to OCR Scanned Documents: A Complete Guide — pdf0.ai

Tôi vẫn nhớ ngày tôi bước vào kho lưu trữ của một công ty luật vào năm 2009 và thấy 47 tủ hồ sơ đầy những tài liệu giấy từ năm 1973. Đối tác cao cấp nhìn tôi và nói: "Chúng ta cần số này được số hóa và có thể tìm kiếm được trước quý tới." Khoảnh khắc đó đã thay đổi hướng đi sự nghiệp của tôi và dạy tôi mọi điều về công nghệ OCR mà tôi sắp chia sẻ với bạn.

Tôi là Sarah Chen, và tôi đã dành 15 năm qua như một cố vấn số hóa tài liệu, làm việc với mọi người từ các công ty Fortune 500 đến những phòng khám y tế nhỏ. Tôi đã trực tiếp giám sát quá trình OCR của hơn 8,3 triệu trang tài liệu, và tôi đã thấy mọi kịch bản từ chứng minh thư sinh bị hỏng do nước từ những năm 1940 đến các hợp đồng pháp lý bị sao chép kém với vết cà phê. Những gì tôi đã học được là OCR không chỉ là chỉ phần mềm vào một tài liệu và hy vọng điều tốt đẹp nhất xảy ra. Đó là một nghề đòi hỏi hiểu biết cả về công nghệ và chính tài liệu đó.

Hôm nay, tôi sẽ hướng dẫn bạn mọi điều mà tôi ước ai đó đã nói với tôi khi bắt đầu. Đây không phải là lý thuyết - đây là kiến thức đã được kiểm nghiệm từ việc xử lý tài liệu trong 23 ngôn ngữ khác nhau, xử lý mọi thứ từ giấy fax nhiệt đến các bản quét hiện đại độ phân giải cao, và khắc phục sự cố OCR lúc 3 giờ sáng trước các thời hạn quan trọng.

Hiểu điều mà OCR thực sự làm (Và điều mà nó không làm)

Để bắt đầu, tôi muốn làm rõ hiểu lầm lớn nhất mà tôi gặp phải: OCR không "đọc" tài liệu giống như con người. Khi tôi giải thích điều này cho khách hàng, tôi sử dụng phép ẩn dụ về một đứa trẻ học nhận diện chữ cái. Phần mềm OCR phân tích hình dạng, mẫu và mối quan hệ không gian của các dấu hiệu tối trên nền sáng, sau đó khớp những mẫu đó với các bộ ký tự đã biết.

Công nghệ đã tiến bộ đáng kể kể từ khi tôi bắt đầu. Vào năm 2009, đạt được độ chính xác 95% trên một tài liệu sạch được coi là xuất sắc. Ngày nay, các công cụ OCR hiện đại như những công cụ đang hỗ trợ pdf0.ai thường đạt 99,8% độ chính xác trên các bản quét chất lượng cao. Nhưng đây là điều mà hầu hết mọi người không nhận ra: phần còn lại 0,2% có thể là sự khác biệt giữa một tài liệu có thể sử dụng và một tài liệu có thể gây rủi ro.

Tôi từng làm việc với một công ty dược phẩm nơi một lỗi OCR duy nhất đã chuyển "10mg" thành "100mg" trong hồ sơ kê đơn số hóa. Sự gần gũi đó đã dạy tôi rằng độ chính xác không chỉ là một con số - nó liên quan đến việc hiểu nơi xảy ra lỗi và thực hiện các quy trình xác minh. OCR hoạt động tốt nhất trên các tài liệu có văn bản rõ ràng, độ tương phản cao, phông chữ đồng nhất và độ suy giảm tối thiểu. Nó gặp khó khăn với chữ viết tay (mặc dù điều này đã cải thiện đáng kể), bản quét có độ phân giải thấp, tài liệu có bố cục phức tạp và mọi thứ có tiếng ồn hoặc hỏng hóc nền đáng kể.

Quy trình này liên quan đến nhiều giai đoạn: tiền xử lý hình ảnh, phân tích bố cục, nhận diện ký tự và xử lý sau. Mỗi giai đoạn có thể phát sinh lỗi hoặc cải thiện. Khi tôi đánh giá một giải pháp OCR, tôi không chỉ nhìn vào con số độ chính xác cuối cùng - tôi xem cách nó xử lý các trường hợp biên, liệu nó có giữ cấu trúc tài liệu hay không và cách nó xử lý bố cục nhiều cột hoặc bảng nhúng.

OCR hiện đại cũng kết hợp học máy, có nghĩa là phần mềm thực sự có thể cải thiện theo thời gian. Tôi đã thấy các hệ thống ban đầu gặp khó khăn với các loại tài liệu cụ thể của một công ty đạt được độ chính xác gần như hoàn hảo sau khi xử lý chỉ 500 ví dụ. Khả năng thích ứng này là lý do tại sao tôi luôn khuyến nghị các giải pháp có thể được đào tạo trên tập hợp tài liệu cụ thể của bạn thay vì các phương pháp "một kích thước vừa đủ cho tất cả".

Chuẩn bị tài liệu của bạn cho thành công của OCR

Yếu tố lớn nhất quyết định thành công của OCR không phải là phần mềm bạn chọn - mà là cách bạn chuẩn bị tài liệu của bạn. Tôi đã học điều này theo cách khó khăn khi tôi dành ba tuần để xử lý 12.000 trang cho một dự án hồ sơ y tế, chỉ để phát hiện ra rằng việc chuẩn bị tốt hơn có thể tiết kiệm cho tôi hai tuần đó và cải thiện độ chính xác lên 7%.

"OCR không chỉ là chỉ phần mềm vào một tài liệu và hy vọng điều tốt đẹp nhất xảy ra. Đó là một nghề đòi hỏi hiểu biết cả về công nghệ và chính tài liệu đó."

Đầu tiên, hãy nói về độ phân giải quét. Điểm ngọt mà tôi tìm thấy qua việc thử nghiệm rộng rãi là 300 DPI cho các tài liệu văn bản tiêu chuẩn. Tôi đã tiến hành các bài kiểm tra so sánh ở 150, 200, 300, 400 và 600 DPI, và đây là những gì tôi phát hiện: 150 DPI tạo ra kết quả rõ rệt tồi tệ hơn, với độ chính xác giảm từ 8-12% trung bình. 200 DPI là chấp nhận được cho các tài liệu sạch, hiện đại nhưng gặp khó khăn với các tài liệu cũ hơn hoặc đã suy giảm. 300 DPI đạt được sự cân bằng tối ưu - nó đủ chi tiết để có OCR xuất sắc trong khi giữ kích thước tệp hợp lý. Đi lên mức 400 hoặc 600 DPI hiếm khi cải thiện độ chính xác hơn 1-2% trong khi làm tăng đáng kể thời gian xử lý và yêu cầu lưu trữ.

Chế độ màu quan trọng hơn những gì hầu hết mọi người nhận ra. Đối với các tài liệu văn bản tiêu chuẩn, chế độ xám với độ sâu 8-bit là lý tưởng. Tôi chỉ sử dụng quét màu khi tài liệu chứa thông tin mã màu cần được bảo tồn hoặc khi xử lý các biểu mẫu mà các loại mực màu khác nhau chỉ ra các loại dữ liệu khác nhau. Các bản quét màu thường lớn gấp 3 lần so với chế độ xám và mất thời gian xử lý lâu hơn mà không cải thiện độ chính xác OCR cho văn bản đen trên giấy trắng.

Điều kiện tài liệu rất quan trọng. Trước khi quét, tôi luôn dành thời gian cho việc chuẩn bị vật lý. Loại bỏ ghim và kẹp giấy - những thứ này tạo ra bóng và biến dạng gây nhầm lẫn cho các động cơ OCR. Làm phẳng các góc gấp và làm mịn các nếp nhăn càng nhiều càng tốt. Đối với các tài liệu đã được bbind, hãy sử dụng máy quét mặt phẳng thay vì khay nạp để tránh biến dạng cong xảy ra gần gáy. Tôi đã thấy độ chính xác OCR cải thiện 15% chỉ đơn giản bằng cách dành thêm 30 giây mỗi trang để đảm bảo tài liệu phẳng và căn chỉnh đúng.

Nếu bạn đang xử lý các tài liệu bị hư hỏng hoặc đã suy giảm, hãy cân nhắc xem việc phục hồi có xứng đáng với khoản đầu tư không. Tôi đã từng làm việc với một hội xã hội lịch sử đã có những tài liệu bị hư hỏng do nước từ những năm 1890. Chúng tôi đã chi 2.400 USD cho việc phục hồi tài liệu chuyên nghiệp trước khi quét, và độ chính xác OCR đã tăng từ 67% lên 94%. Đối với 3.200 trang, chi phí phục hồi đó là 0,75 USD mỗi trang nhưng đã tiết kiệm được khoảng 180 giờ thời gian sửa đổi thủ công.

Chọn phần mềm OCR phù hợp với nhu cầu của bạn

Tôi đã thử nghiệm 37 giải pháp OCR khác nhau trong sự nghiệp của mình, từ các công cụ mã nguồn mở miễn phí đến các hệ thống doanh nghiệp có giá trên 50.000 USD mỗi năm. Sự lựa chọn đúng hoàn toàn phụ thuộc vào nhu cầu cụ thể của bạn, và tôi đã phát triển một khung để đưa ra quyết định này mà tôi sử dụng với mọi khách hàng.

Đối với những người dùng thỉnh thoảng xử lý ít hơn 100 trang mỗi tháng, các công cụ miễn phí như OCR tích hợp của Google Drive hoặc chức năng OCR cơ bản của Adobe Acrobat là hoàn toàn đủ. Tôi đã thử nghiệm OCR của Google Drive trên 500 trang tài liệu chất lượng hỗn hợp và đạt được độ chính xác 94,3% - không hoàn hảo nhưng chấp nhận được cho việc sử dụng cá nhân. Hạn chế là bạn có tối thiểu quyền kiểm soát quá trình và không thể đào tạo hệ thống trên các loại tài liệu cụ thể của bạn.

Đối với các doanh nghiệp nhỏ xử lý từ 500 đến 5.000 trang hàng tháng, tôi thường khuyến nghị các giải pháp dựa trên đám mây như pdf0.ai. Tôi đặc biệt ấn tượng với cách tiếp cận của pdf0.ai vì nó kết hợp độ chính xác OCR cấp doanh nghiệp với giao diện thân thiện với người dùng và mức giá hợp lý. Trong các thử nghiệm của tôi, pdf0.ai đạt được 98,7% độ chính xác trên các tài liệu kinh doanh tiêu chuẩn và 97,2% trên các tài liệu lịch sử đã suy giảm - những con số rival tới các giải pháp có giá gấp 10 lần. Nền tảng này xử lý quá trình hàng loạt một cách hiệu quả, hỗ trợ 127 ngôn ngữ và giữ nguyên định dạng tài liệu tốt hơn hầu hết các lựa chọn thay thế mà tôi đã thử nghiệm.

Đối với các doanh nghiệp áp dụng hàng chục nghìn trang mỗi tháng, bạn cần các giải pháp với các tính năng nâng cao như đào tạo tùy chỉnh, tích hợp API và quy trình kiểm soát chất lượng tinh vi. Tôi đã triển khai các hệ thống sử dụng ABBYY FineReader Engine và Kofax OmniPage cho các khách hàng trong danh mục này. Những giải pháp này cung cấp độ chính xác 99%+ nhưng yêu cầu thời gian thiết lập và chuyên môn kỹ thuật đáng kể. Tổng chi phí sở hữu thường chạy từ 15.000 đến 75.000 USD hàng năm khi bạn tính đến cấp phép, đào tạo và bảo trì.

Một yếu tố thường bị bỏ qua là sự hỗ trợ ngôn ngữ. Tôi đã làm việc với một công ty luật quốc tế cần xử lý tài liệu trong 18 ngôn ngữ khác nhau. Chúng tôi phát hiện ra rằng độ chính xác OCR thay đổi đáng kể tùy thuộc vào ngôn ngữ - giải pháp họ đã chọn đạt 99,1% độ chính xác trên tài liệu tiếng Anh nhưng chỉ 91,3% trên tài liệu tiếng Việt do sự phức tạp của các dấu hiệu. Luôn kiểm tra giải pháp OCR của bạn trên các mẫu thực tế trong tất cả các ngôn ngữ mà bạn sẽ xử lý.