Wordflow, 매번 달랐던 문서 주제 분류 고쳤다

같은 문서·설정·시드로 분석해도 주제 묶음이 달라지던 Wordflow의 오류가 수정됐다. LDaCA는 10월 24일 안정 버전 0.7.18을 공개했다. 이전에는 약 8,000개가 넘는 텍스트 조각을 여러 스레드로 처리할 때 실행마다 결과가 달라질 수 있었다.

Wordflow는 코드를 쓰지 않고 문서 모음의 주제를 찾는 텍스트 분석 도구다. 단어 빈도와 검색어 주변 문맥, 시기별 변화, 주제별 원문을 같은 작업 공간에서 살핀다. 분석 결과는 데이터 블록으로 남아 필터링하거나 다음 분석에 연결할 수 있다. 이번 변경은 그중 문서를 주제별로 묶는 계산에 관한 것이다.

개발진이 문제를 기록한 사례는 의회 기록 Hansard의 GST 관련 문단 4만860개였다. 문서를 숫자로 표현한 임베딩은 같은 캐시에서 읽고 난수 초기값인 시드도 0으로 고정했다. 그런데 기존 polars-text 0.7.1을 8개 스레드로 세 번 실행하자 주제 수가 308개, 305개, 313개로 달랐다. 한 스레드에서는 세 번 모두 302개였다.

원인은 문서를 배치하는 PaCMAP 계산에 있었다. 가까운 항목을 찾는 색인을 여러 스레드가 동시에 채우고, 계산 조각도 스레드가 끝나는 순서대로 더했다. 수정본은 색인을 고정된 네 묶음으로 나눠 각 묶음을 행 순서대로 채우고, 병렬 계산 결과도 정해진 순서로 합친다.

수정 후 개발진은 같은 캐시를 사용한 GST 자료를 1·3·8개 스레드로 각각 세 번 돌려 모두 주제 302개와 미분류 문서 2만5,049개를 얻었다고 기록했다. 속도에는 비용이 따랐다. 별도의 주거 관련 자료 8만1,431개 조각을 8개 스레드로 배치하는 단계는 4.5초에서 6.0초로 늘었다. 이는 전체 분석 시간이 아닌 한 단계의 비교다.

이 버전에는 마지막 결과 정리 단계의 메모리 개선도 들어갔다. 기존 코드는 각 문서에 모든 주제의 비중 항목을 만들었다. 개발진은 첫 실행의 집계에는 양수 비중만 필요하다며 해당 주제를 실제로 가진 문서의 항목만 남겼다.

주거 관련 Hansard 문단 7만6,312개를 임베딩 캐시와 8개 스레드로 처리하며 메모리 수정만 비교했을 때 비중 항목은 2,915만1,184개에서 7만8,195개로 줄었다. 추가 메모리는 약 7.8GB에서 1.9GB, 전체 실행은 27.0초에서 19.7초였다. 이 최적화의 주제별 합계와 미분류 집계는 기존 양수 비중을 그대로 사용한다는 설명이다.

재현성 수정과 메모리 최적화는 결과에 미치는 영향이 다르다. 릴리스는 재현성 수정 때문에 0.7.18로 다시 실행한 주제가 이전 버전과 조금 달라질 수 있다고 명시했다. 메모리 정리만 바꾼 부분은 주제와 크기를 바꾸지 않는다고 밝혔다.

프로젝트의 현재 목록은 0.7.18을 안정 버전으로, 0.8을 베타로 구분한다. Windows와 Apple Silicon 맥용 배포 파일이 공개돼 있으며 온라인·Binder·Python 실행 방식도 안내한다. Binder 링크는 버전별로 고정돼 있다. 내려받은 프로젝트는 실행 방식 사이에서 옮겨 열 수 있지만, 온라인 서비스가 어느 버전으로 갱신됐는지는 이 목록만으로 확정되지 않는다.