OCR PDF: Make Scanned PDFs Searchable

지난 화요일, 나는 한 주니어 애널리스트가 200페이지 스캔된 계약서의 데이터를 수작업으로 스프레드시트에 다시 입력하는 데 네 시간을 소요하는 것을 보았다. 내가 왜 그녀가 PDF에서 검색하지 않느냐고 물었을 때, 그녀는 마치 내가 마법을 제안한 것처럼 나를 쳐다보았다. "스캔이에요,"라고 그녀는 말했다. 마치 그것이 모든 것을 설명하는 듯이. 사실 맞긴 했지만, 그래서는 안 되었다.

저는 마커스 첸이며, 지난 14년간 포춘 500 기업과 정부 기관을 위한 문서 관리 컨설턴트로 활동해왔습니다. 그동안 저는 조직들이 문서 관련 비효율성으로 인해 직원당 연간 약 47,000달러를 낭비하는 것을 보았습니다. 가장 큰 원인? 검색, 복사, 또는 현대 시스템에서 처리할 수 없는 스캔된 PDF들입니다. 이러한 디지털 종이 무게는 저장소에 놓여 있으며, 기술적으로는 "디지털화"되었지만 실용적으로는 무용지물입니다.

해결책은 광학 문자 인식(OCR)—이미지의 텍스트를 실제 기계가 읽을 수 있는 텍스트로 변환하는 기술입니다. 그러나 대부분의 기사들이 말하지 않는 것은 이렇습니다: OCR은 마법의 버튼이 아닙니다. 그것은 정확도 비율이 71%에서 99.8%까지 다양한 수십 가지 변수에 따라 달라지는 미세한 과정입니다. 저는 개인적으로 320만 페이지 이상의 OCR 프로젝트를 감독했으며, 성공적인 구현과 재앙의 차이는 종종 비하인드에서 무슨 일이 벌어지는지 이해하는 것에 달려 있다는 것을 배웠습니다.

이 기사는 제가 시작할 때 누군가가 말해주었으면 했던 모든 것을 안내합니다: OCR이 어떻게 작동하는지, 왜 당신의 결과가 좋지 않을 수 있는지(그리고 그것을 어떻게 고칠 수 있는지), 어떤 도구가 실제 가치를 제공하는지 마케팅 과대광고와 차별화되는지, 그리고 아마추어 구현과 전문 수준의 시스템을 구분 짓는 웍플로우 최적화에 대해 알아보겠습니다.

스캔된 PDF의 근본적인 문제 이해하기

문서를 스캔하면 스캐너가 사진을 생성합니다. 그것이 전부입니다. PDF로 저장하든 상관없이 본질적으로 텍스트의 사진을 저장하는 것입니다. 이는 왜 단어를 검색할 수 없는지, 스크린 리더가 콘텐츠를 해석할 수 없는지, 자동화 시스템이 이러한 파일에서 데이터를 추출할 수 없는 이유입니다.

나는 한 법률 사무소와 일하면서 약 40년의 사례 파일—약 180만 페이지—을 스캔하여 "디지털화"한 적이 있습니다. 그들은 종이 없는 사무실을 자랑했지만, 특정 조항이 모든 계약서에 얼마나 포함되어 있는지를 찾아야 할 때 문제가 발생했습니다. 그들의 20만 달러 스캔 프로젝트는 물리적인 파일 캐비닛보다 유용하지 않은 디지털 파일 캐비닛을 만들었습니다. 그들은 파일 이름으로 문서를 찾을 수 있었지만, 내용으로는 찾을 수 없었습니다. 역설적이게도, 이것은 매우 고통스러운 일이었습니다.

기술적인 설명은 간단합니다: 스캔된 PDF는 래스터 이미지 데이터—격자에 배열된 픽셀—를 포함합니다. 스캔된 텍스트를 확대하면 이미지가 흐릿하고 픽셀화되는 이유는 이미지를 확대하고 있기 때문입니다. 반면, 네이티브 디지털 텍스트는 컴퓨터가 해석, 검색 및 조작할 수 있는 벡터 데이터 또는 문자 코드로 저장됩니다. 이 차이는 레시피의 사진과 실제로 입력된 레시피를 비교하는 것과 같습니다—하나는 "2컵 밀가루"를 검색할 수 있지만, 다른 하나는 단지 볼 수만 있습니다.

이 구분은 현대 비즈니스 시스템이 기계가 읽을 수 있는 데이터를 기대하기 때문에 더욱 중요합니다. 당신의 문서 관리 시스템, AI 도구, 규정 준수 소프트웨어, 접근성 요구 사항—모두가 텍스트가 실제 텍스트로 존재한다는 것을 전제로 하고 있습니다. 2023년 AIIM 연구에 따르면, 검색 가능한 문서 저장소를 보유한 조직은 정보 검색 시간이 34% 더 빠르며 중복 작업이 28% 감소한다고 합니다. 수천 또는 수백만 개의 문서를 관리할 때 이 숫자는 결코 작지 않습니다.

좋은 소식은 OCR 기술이 dramatically 성숙했다는 것입니다. 내가 이 분야에 들어온 2010년에는 95%의 정확도를 달성하기 위해서는 완벽한 조건과 비싼 소프트웨어가 필요했습니다. 오늘날에는 무료 도구조차도 깨끗한 문서에서 98%의 정확도를 달성할 수 있습니다. 도전 과제는 OCR이 잘 작동하는지 여부가 아니라, 언제, 어떻게, 그리고 어떤 접근 방식이 당신의 특정 요구 사항에 맞는지를 이해하는 것입니다.

OCR 기술이 실제로 어떻게 작동하는가

OCR은 단일 기술이 아닙니다. 여러 과정이 함께 작동하는 파이프라인입니다. 이 파이프라인을 이해하면 문제를 진단하고 결과를 최적화하는 데 도움이 됩니다. 저는 대부분의 OCR 실패가 사람들이 이것을 블랙 박스처럼 취급할 때 발생한다고 보고했습니다. 그런 다음 그들은 왜 출력 결과가 엉망인지 궁금해합니다.

"OCR은 마법의 버튼이 아닙니다—71%에서 99.8%까지의 정확도 비율을 가진 미세한 과정입니다. 대부분의 사람들이 결코 고려하지 않는 수십 가지 변수들에 따라 달라집니다."

프로세스는 이미지 전처리로 시작됩니다. 어떤 문자 인식이 발생하기 전에 소프트웨어는 이미지를 분석하고 향상시킵니다. 이에는 스캔 왜곡 수정(기울어진 스캔 수정), 잡음과 아티팩트 제거, 이진화(더 선명한 대비를 위한 흑백 변환), 해상도 정규화가 포함됩니다. 저는 전처리 단계를 개선하기만 해도 정확도가 82%에서 97%로 뛰는 문서를 본 적이 있습니다. 한 고객은 저장 공간을 줄이기 위해 200 DPI로 스캔하고 있었는데, 300 DPI로 올리니 정확도가 11포인트 상승했습니다.

다음은 레이아웃 분석입니다. 소프트웨어는 텍스트 영역, 열, 표, 이미지 및 읽기 순서를 식별합니다. 이는 생각보다 더 어렵습니다. 두 개의 열이 있는 뉴스레터, 박스가 있는 양식, 합쳐진 셀의 표—각각은 다른 처리를 필요로 합니다. 현대의 OCR 엔진은 수백만 개의 문서 레이아웃에 대해 학습된 머신 러닝 모델을 사용하지만, 여전히 특이한 형식에는 어려움을 겪습니다. 저는 1950년대의 공학 도면을 처리하면서 여백에 손글씨 노트가 있었는데, 레이아웃 분석이 그 노트를 기술 사양의 일부로 읽으려 했습니다.

실제 문자 인식은 세 번째 단계에서 발생합니다. 여기서 재미있는 점은 현대 OCR이 단순히 모양을 문자에 매칭하는 것이 아니라는 것입니다. 문맥, 언어 모델 및 확률을 사용합니다. 만약 소프트웨어가 "th_" 다음에 일반적인 단어 패턴이 오는 것을 본다면, 누락된 문자는 "c" 또는 "o"가 아니라 "e"일 가능성이 높다고 인식합니다. 이러한 문맥 분석 덕분에 영어 텍스트에서의 OCR 정확도(98%+)는 무작위 문자 문자열(91-93%) 대응에 비해 일반적으로 초과합니다.

마지막으로, 후처리 및 출력 생성이 있습니다. 소프트웨어는 인식된 텍스트가 포함된 새로운 PDF 레이어를 생성하여 원본 이미지 위에 겹쳐놓습니다. 이 "샌드위치 PDF" 또는 "이미지+텍스트 PDF"를 통해 원본 스캔을 보면서 그 아래의 OCR 텍스트를 검색하고 복사할 수 있습니다. 질 높은 후처리에는 맞춤법 검사, 서식 보존 및 각 인식된 문자에 대한 신뢰도 점수가 포함됩니다.

전체 파이프라인은 일반적으로 현대 하드웨어에서 300 DPI 페이지를 2-8초 안에 처리하지만 복잡한 레이아웃이나 낮은 이미지 품질로 인해 페이지당 15-20초까지 늘어날 수 있습니다. 프로젝트를 범위 설정할 때, 저는 보수적인 추정으로 페이지당 5초의 처리 시간을 계산합니다. 이는 약 83분의 순수 처리 시간 동안 1,000 페이지를 처리하는 것입니다. 하지만 실제 세계에서 소요되는 시간은 오버헤드를 포함합니다.

왜 당신의 OCR 결과가 좋지 않을 수 있는가

저는 수백 개의 실패한 OCR 프로젝트를 검토했으며, 문제는 대개 예측 가능한 카테고리로 나뉩니다. 실망스러운 점은 사람들이 종종 소프트웨어를 비난하지만 실제 문제는 입력 품질이나 구성이라는 것입니다.

이미지 품질은 주요 문제입니다. 스캔이 흐릿하거나, 너무 어둡거나, 밝거나 해상도가 낮으면 어떤 OCR 엔진도 구제할 수 없습니다. 저는 간단한 테스트를 사용합니다: 화면을 응시하고 있는 사람이 텍스트를 읽기 어려워한다면, 소프트웨어도 분명히 어려움을 겪을 것입니다. 표준 텍스트에 대한 최소한의 유효 해상도는 300 DPI입니다—200 DPI는 큰 글꼴에 대해 작동할 수 있지만, 더 작은 것은 신뢰할 수 없게 됩니다. 저는 조직들이 저장 비용을 절감하기 위해 150 DPI로 스캔한 후, 수동 수정에 10배 비용을 지출하는 것을 보았습니다.

기울어져 있거나 회전된 페이지는 정확도를 파괴합니다. 2도 기울기라도 인식률이 15-20 포인트 낮아질 수 있습니다. 대부분의 OCR 소프트웨어는 자동 기울이기 수정 기능을 포함하지만 완벽하지 않습니다. 저는 항상 스캐너 정렬을 확인하고 활성 등록 기능이 있는 문서 공급 장치를 사용하는 것을 추천합니다. 한 고객의 스캐너는 마모된 공급 롤러가 1.5도 기울기를 도입했는데, 그들은 육안으로는 알아차리지 못했지만, 우리의 OCR 정확도가 하드웨어 문제를 식별하고 수정할 때까지 87%에 갇혀 있었습니다.

배경 잡음과 아티팩트는 교묘합니다. 커피 자국, 구멍, 여백 노트, 도장, 워터마크—all of these confuse OCR engines. 저는 마이크로필름으로 촬영된 1970년대 정부 문서의 배치를 처리했으며, 그 다음에 마이크로필름에서 인쇄한 후 다시 스캔했습니다. 세대 간 품질 저하와 마이크로필름 입자 패턴이 결합되어 OCR 정확도를 76까지 떨어뜨렸습니다.