OCR Technology Explained: How Computers Read Documents - pdf0.ai

Ngày Tôi Nhận Ra Máy Tính Có Thể "Thấy"

Tôi vẫn nhớ khoảnh khắc vào năm 2008 khi tôi lần đầu tiên chứng kiến công nghệ nhận dạng ký tự quang học (OCR) hoạt động. Tôi là một kỹ sư phần mềm junior tại một công ty khởi nghiệp xử lý tài liệu ở Boston, và quản lý của tôi đã đưa cho tôi một tập 1.200 mẫu đơn yêu cầu bồi thường bảo hiểm viết tay. "Chúng ta cần số này được số hóa trước thứ Sáu," anh ấy nói bình thản. Tôi nhìn vào đống tài liệu, tính toán nhanh và nhận ra rằng việc gõ từng mẫu đơn bằng tay sẽ mất khoảng 160 giờ làm việc. Đó là lúc đồng nghiệp của tôi giới thiệu cho tôi công nghệ OCR, và chúng tôi đã xử lý toàn bộ lô tài liệu trong chưa đầy 4 giờ.

Trải nghiệm đó đã thay đổi hướng đi của sự nghiệp của tôi. Trong 16 năm qua, tôi đã chuyên môn hóa trong các hệ thống trí tuệ tài liệu, làm việc với tất cả mọi người từ các công ty Fortune 500 đến các công ty khởi nghiệp chăm sóc sức khỏe nhỏ. Tôi đã xử lý hơn 47 triệu tài liệu, khắc phục hàng loạt lỗi OCR và theo dõi công nghệ này tiến hóa từ việc trích xuất văn bản đơn giản đến việc hiểu tài liệu phức tạp dựa trên AI. Hôm nay, với vai trò là kiến trúc sư chính tại nền tảng tự động hóa tài liệu, tôi muốn chia sẻ những gì tôi đã học về cách máy tính thực sự đọc tài liệu—và tại sao công nghệ này phức tạp và hấp dẫn hơn những gì nhiều người nhận ra.

OCR không chỉ đơn thuần là chuyển đổi hình ảnh thành văn bản. Nó là về việc dạy cho máy tính hiểu ngôn ngữ hình ảnh mà con người đã sử dụng trong hàng ngàn năm. Mỗi lần bạn gửi tiền vào tài khoản qua điện thoại, quét biên lai để báo cáo chi phí, hoặc sử dụng Google Lens để dịch một thực đơn nước ngoài, bạn đang tận dụng công nghệ OCR. Thị trường OCR toàn cầu đạt 13,38 tỷ USD vào năm 2023 và được dự đoán sẽ tăng trưởng 16,4% hàng năm cho đến năm 2030. Nhưng mặc dù công nghệ này phổ biến, hầu hết mọi người không có ý tưởng về cách nó thực sự hoạt động.

Thách Thức Cơ Bản: Tại Sao Đọc Lại Khó Đối Với Máy Tính

Đây là điều làm bất ngờ hầu hết mọi người: đọc là một trong những nhiệm vụ phức tạp nhất mà chúng ta yêu cầu máy tính thực hiện. Khi bạn nhìn vào một tài liệu, bộ não của bạn thực hiện một kỳ công nhận diện mẫu không thể tin được chỉ trong mili giây. Bạn ngay lập tức phân biệt các chữ cái với tiếng ồn nền, nhận ra các kiểu chữ mà bạn chưa từng thấy trước đây, hiểu rằng "O" và "0" là những ký tự khác nhau tùy thuộc vào ngữ cảnh, và trích xuất ý nghĩa từ cách trình bày không gian của văn bản trên trang.

OCR không chỉ đơn thuần là so khớp mẫu—nó là việc dạy máy tính hiểu ngữ cảnh, xử lý sự mơ hồ và đưa ra quyết định thông minh về những gì chúng đang nhìn thấy, giống như cách người đọc làm theo bản năng.

Các máy tính không có sự hiểu biết trực giác này. Đối với một máy tính, một tài liệu chỉ là một lưới pixel—hàng triệu chấm màu nhỏ không có ý nghĩa. Một trang được quét ở độ phân giải 300 DPI (chấm trên mỗi inch) chứa khoảng 8,5 triệu pixel. Máy tính phải phân tích từng pixel, xác định các mẫu, nhóm chúng thành ký tự, nhận diện những ký tự đó và sau đó hiểu mối quan hệ giữa chúng. Nó giống như yêu cầu một ai đó tái tạo một câu đố mà không nhìn thấy, chỉ bằng cách đụng chạm.

Tôi đã học bài học này một cách khó khăn vào năm 2012 khi một khách hàng yêu cầu chúng tôi xử lý 50.000 hồ sơ y tế lịch sử từ những năm 1970. Những tài liệu này đã được sao chép nhiều lần, lưu trữ trong các tầng hầm ẩm ướt và được quét lại với độ phân giải thấp. Văn bản đã bị phai màu, lệch lạc và có nhiều vết bẩn do cà phê và ghi chú viết tay. Hệ thống OCR tiêu chuẩn của chúng tôi chỉ đạt độ chính xác 62%—hoàn toàn không sử dụng được cho hồ sơ y tế, nơi mà một lỗi chỉ số có thể gây nguy hiểm đến tính mạng. Chúng tôi đã phải phát triển các thuật toán tiền xử lý tùy chỉnh mất ba tháng để hoàn thiện, nhưng cuối cùng đã đạt độ chính xác 98,7%.

Thách thức trở nên phức tạp hơn khi bạn xem xét sự đa dạng của các tài liệu mà máy tính phải xử lý. Một trang sách in tương đối đơn giản—văn bản sạch sẽ trong một kiểu chữ tiêu chuẩn với cách trình bày cố định. Nhưng các tài liệu thực tế bao gồm hóa đơn có bảng, biểu mẫu có hộp kiểm, biên lai với các định dạng khác nhau, ghi chú viết tay, tài liệu bằng hàng chục ngôn ngữ và PDF có thể chứa văn bản thực tế hoặc chỉ là hình ảnh của văn bản. Mỗi tình huống yêu cầu các phương pháp và kỹ thuật khác nhau.

Quy Trình OCR: Từ Pixel Đến Ý Nghĩa

Các hệ thống OCR hiện đại tuân theo một quy trình đa giai đoạn mà tôi đã hoàn thiện qua hàng trăm lần triển khai. Hiểu biết về quy trình này là rất quan trọng đối với bất kỳ ai làm việc với xử lý tài liệu, vì mỗi giai đoạn đều tạo ra khả năng xảy ra lỗi và các cơ hội tối ưu hóa. Hãy để tôi dẫn bạn qua từng bước với các chi tiết mà tôi ước có ai đó đã giải thích cho tôi khi tôi bắt đầu.

Giai đoạn đầu tiên là thu thập hình ảnh và tiền xử lý. Đây là nơi chúng tôi chụp hoặc nhận hình ảnh tài liệu và chuẩn bị nó cho việc phân tích. Trong kinh nghiệm của tôi, giai đoạn này xác định khoảng 40% độ chính xác cuối cùng của bạn. Nếu bạn bắt đầu với một hình ảnh chất lượng kém, thì không có công nghệ OCR tinh vi nào có thể bù đắp hoàn toàn. Chúng tôi thường áp dụng một số kỹ thuật tiền xử lý: điều chỉnh góc để sửa lỗi xoay (tài liệu hiếm khi hoàn toàn thẳng), khử nhiễu để loại bỏ các hiện vật và mẫu nền, nhị phân hóa để chuyển đổi hình ảnh màu xám thành đen và trắng thuần khiết, và nâng cao độ tương phản để làm cho văn bản nổi bật rõ ràng.

Tôi từng làm việc với một công ty luật đã quét hợp đồng ở độ phân giải 150 DPI để tiết kiệm không gian lưu trữ. Họ không thể hiểu tại sao độ chính xác OCR của họ chỉ là 81%. Khi chúng tôi tăng độ phân giải lên 300 DPI—tiêu chuẩn của ngành—độ chính xác tăng lên 96,3%. Bài học: đầu vào kém thì đầu ra cũng kém. Hệ thống OCR của bạn chỉ tốt như hình ảnh đầu vào của bạn.

Giai đoạn thứ hai là phân tích bố cục và phân vùng. Trước khi chúng tôi có thể nhận diện các ký tự riêng lẻ, chúng tôi cần hiểu cấu trúc của tài liệu. Các khối văn bản ở đâu? Những yếu tố nào là tiêu đề so với văn bản chính? Có bảng, hình ảnh hay biểu mẫu không? Các hệ thống hiện đại sử dụng các thuật toán tinh vi để phát hiện các khu vực văn bản, phân loại các vùng khác nhau, xác định thứ tự đọc và tách biệt văn bản khỏi đồ họa. Giai đoạn này đặc biệt thách thức đối với những tài liệu phức tạp như hóa đơn hoặc biểu mẫu, nơi văn bản có thể xuất hiện ở những vị trí không mong đợi.

Tiếp theo là phân đoạn ký tự—chia các dòng văn bản thành các ký tự hoặc nhóm ký tự riêng lẻ. Điều này nghe có vẻ đơn giản nhưng trở nên vô cùng phức tạp với chữ viết tay nối, các ký tự chạm nhau hoặc các tài liệu bị suy thoái mà ở đó các ký tự có thể bị vỡ hoặc bị ghép lại. Tôi đã thấy các hệ thống vật lộn với các tình huống phổ biến như "rn" bị đọc sai thành "m" hoặc "cl" bị nhầm với "d". Các hệ thống tốt nhất sử dụng phân tích ngữ cảnh để phát hiện những lỗi này.

Nhận Diện Mẫu: Bộ Não Của OCR

Sự nhận diện ký tự là nơi phép màu xảy ra—và là nơi công nghệ OCR đã phát triển mạnh mẽ nhất trong sự nghiệp của tôi. Các hệ thống OCR đầu tiên sử dụng kỹ thuật so khớp mẫu, so sánh từng ký tự với một cơ sở dữ liệu về các hình dáng ký tự đã biết. Điều này hoạt động khá tốt cho văn bản in trong các kiểu chữ tiêu chuẩn nhưng thất bại thảm hại với bất kỳ biến thể nào. Tôi nhớ đã làm việc với một hệ thống vào năm 2009 mà chỉ có thể nhận diện khoảng 12 kiểu chữ khác nhau một cách đáng tin cậy.

Sự khác biệt giữa OCR cơ bản và trí tuệ tài liệu hiện đại giống như so sánh một phần mềm kiểm tra chính tả với một biên tập viên chuyên nghiệp. Một cái nhận diện các chữ cái; cái kia hiểu ý nghĩa, cấu trúc và ý định.

Các hệ thống OCR hiện đại sử dụng học máy, đặc biệt là mạng nơ-ron sâu, để nhận diện các ký tự. Những hệ thống này học từ hàng triệu ví dụ thay vì phụ thuộc vào các mẫu cứng nhắc. Tôi đã huấn luyện các mô hình trên các tập dữ liệu chứa hơn 100 triệu mẫu ký tự với hơn 200 ngôn ngữ và hơn 1.000 kiểu chữ. Sự khác biệt thật đáng kinh ngạc: trong khi các hệ thống dựa trên mẫu có thể đạt độ chính xác từ 85-90% trên văn bản in sạch, các hệ thống dựa trên mạng nơ-ron thường vượt quá 99% độ chính xác và có thể xử lý chữ viết tay, kiểu chữ bất thường và các tài liệu bị suy giảm.

Cuộc đột phá xảy ra vào khoảng năm 2015 với các mạng nơ-ron tích chập (CNN) và mạng nơ-ron hồi tiếp (RNN). CNN nổi bật trong việc nhận diện các mẫu hình ảnh—chúng có thể xác định một cách đặc biệt...