백 페이지 PDF도 한 요청에…바이두 OCR 2 공개

바이두가 긴 PDF의 표와 문단을 여러 페이지에 걸쳐 읽는 문서 인식 모델 ‘Unlimited OCR 2’를 10월 27일 공개했다. 모델을 내려받아 직접 실행하는 방식과 바이두 클라우드의 공개 시험 서비스가 함께 나왔다.

공개된 변환 도구 문서에 따르면 모델의 원시 출력은 문서 요소를 표시한 문자열이다. 별도 후처리 도구가 이를 Markdown으로 바꾸면서 페이지를 넘는 표 조각을 합치고 반복되는 머리글을 덜어낸다. 빈 페이지는 남겨 원래 쪽수가 밀리지 않게 하고, 그림은 페이지 번호와 위치가 담긴 참조로 옮긴다. 긴 문서에서 찾은 글·표·그림을 후속 검색이나 검토에 쓸 수 있도록 정리하는 과정이다. 제목은 표시된 단계에 맞는 소제목으로 변환한다. 표의 셀 구조는 HTML로 남기며, 같은 페이지에서 열로 나뉜 내용도 읽는 순서에 맞춰 묶는다.

공개 모델은 약 30억 개 매개변수를 갖췄다. 공식 모델 카드는 여러 페이지 이미지를 순서대로 한 번의 요청에 넣는 실행 방식을 제공한다. 문서 전체의 앞뒤 관계를 이용하면서 결과를 파일로 저장할 수 있다.

기술 보고서는 문서를 겹치는 페이지 묶음으로 나눠 차례로 처리하는 방식을 설명한다. 경계 페이지의 계산 기록은 다음 묶음으로 넘겨 앞뒤 연결에 사용하고, 사용을 마친 기록은 비운다. 원격 페이지에서도 필요한 시각 정보만 골라 참조하도록 설계했다.

저자들은 한 문서를 처리하는 조건에서 임시 계산 기록인 KV 캐시의 최대 메모리를 47.00GB에서 1.77GB로 줄였다고 보고했다. 이 수치는 캐시만 측정한 값이며, 모델 가중치를 포함한 장치 전체의 메모리 요구량은 별도로 고려해야 한다.

함께 공개한 MarathonDocBench는 약 100~300페이지짜리 문서 100개로 구성됐다. 중국어·영어가 섞인 약 1만 8천 페이지에 제목 구조, 읽기 순서, 표와 문단의 페이지 간 연결을 주석으로 달았다. 바이두가 공개한 종합 점수는 77.06점이며, 여덟 평가 지표의 평균이다.

이 비교에서는 외부 모델에 문서 전체를 한 번에 보내고, 입력 크기나 응답 제한으로 실패한 문서도 빈 결과로 남겨 전체 100개를 분모로 계산한다. 점수에는 인식 품질과 서비스의 입력 제한이 함께 영향을 준다. 평가 자료의 주석·도구 참조는 Apache 2.0으로 공개했으며, 원본 페이지 이미지는 학술·연구용으로 제공한다.

모델 카드가 표시한 라이선스는 MIT다. 저장소의 실제 이용허락문은 소프트웨어의 사용·수정·복제·재배포와 판매를 허용한다. 사본이나 상당 부분을 배포할 때 저작권·이용허락 고지를 함께 남겨야 한다. 제공자는 상품성이나 특정 목적 적합성 등에 관한 보증을 하지 않는다고 명시했다.

직접 실행의 공식 시험 환경은 엔비디아 A800 80GB였다. 바이두는 간단한 시험용 실행과 서비스 운영용 실행을 따로 안내한다. 운영용 문서에는 작은 페이지 묶음이 메모리 사용을 낮추는 대신 페이지 사이의 병합 품질에 영향을 줄 수 있다고 적었다. 공개 자료가 확인한 시험 장치와 실제 배치에 필요한 최소 사양은 구분해 살펴볼 조건이다.

설치 없이 쓰는 클라우드 API는 JSON이나 Markdown 형식으로 결과를 반환한다. PDF는 최대 500페이지를 받으며, 파일 주소로 전달할 때 용량 한도는 100MB다. 자료를 제출하면 작업 번호를 받고, 처리가 끝났는지 조회하는 비동기 방식이다. 문서를 올린 시점과 결과가 완성된 시점이 나뉜다. 완료 뒤 받는 JSON·Markdown 결과 링크의 유효 기간은 30일이다. 파일을 데이터로 직접 보내는 방식은 50MB를 한도로 둔다.

바이두는 이 API를 한시적으로 무료 제공한다고 안내했다. 실명 인증한 개인의 시험 한도는 200페이지, 기업은 1천 페이지다. 무료 기간의 종료일이나 이후 요금은 해당 문서에서 확인되지 않았다. 공개 모델을 직접 돌리는 경로와 호스팅 서비스의 페이지·인증 조건은 각각 적용된다.

보고서에는 남은 과제도 담겼다. 필요한 일부 정보에 집중하는 처리 방식은 문서 전체 정보를 잃을 수 있어 제목의 상하위 관계를 복원하는 데 제약이 있다. 학습 자료의 다양성을 늘리는 것도 후속 과제로 제시했다.