humans&, 정밀도 높인 4비트 AI로 처리량 10% 개선

humans&가 4비트 AI의 연산 정밀도를 높여 추론 처리량을 개선했다고 밝혔다. 10월 23일자 기술 글에 따르면 동시 요청 8개인 시험에서 처리량은 10% 늘고 출력 토큰 사이 시간은 7% 줄었다.

시험은 B300 GPU 여덟 대에서 GLM-5.2와 EAGLE을 사용했다. 입력 1,024개·출력 8,192개 토큰의 긴 응답 조건이며 처리량에는 입력 처리도 포함됐다. 높은 동시 요청 수에서는 두 경로의 성능이 비슷해졌다. AI Ping이 재현한 측정은 아니다.

FlashInfer 구현은 가중치를 NVFP4로 압축해 저장하고 계산할 때 BF16으로 풀어 쓴다. 계산 중간값인 활성값도 BF16으로 유지하는 W4A16 방식이다. 활성값을 매번 4비트로 바꿔 다음 계산에 넘기는 단계를 없앴다.

앞선 계산이 활성값을 완성하기 전에 다음 계산용 가중치를 불러와 변환한다. 독립적으로 준비할 수 있는 작업은 먼저 진행하고, 활성값을 읽는 작업만 앞 단계의 완료를 기다린다. 복원된 가중치는 GPU 내부의 텐서 메모리에 바로 놓아 별도 재배열 파일을 만들지 않는다.

분산 MoE용 MegaMoE는 GPU 사이 입력 전달, 두 행렬 계산, 결과 반환과 합치기를 하나의 지속 커널로 묶는다. 이때도 기존 NVFP4 압축 가중치 배열을 이용한다. 가중치 복원에는 두 작업 그룹을 배정한다. 이 구현은 9월 28일 FlashInfer에 병합됐다.

작은 입력 묶음에 맞춘 후속 최적화는 10월 14일 병합됐다. 32토큰 폭의 계산 타일과 16개 자동 선택 후보를 추가했다. 해당 PR의 단일 GLM-5 계층 측정은 일부 크기에서 개선되고 다른 크기에서는 느려졌다. 준비 실행 세 번 뒤 표본 100개를 모아, 각 표본에서 가장 오래 걸린 GPU 시간의 중앙값을 비교했다. 어텐션과 공유 전문가, 경로 준비를 제외한 시험이어서 앞의 전체 서빙 처리량과 측정 범위가 다르다.

서빙 연동도 이미 공개 코드에 들어가 있다. SGLang은 10월 16일 W4A16 MegaMoE 지원을 병합했으며 FlashInfer 0.7.1을 사용한다. 기본 경로는 W4A4로 유지하고 W4A16은 선택적으로 켠다. 지원 대상은 SM100·SM103이며 BF16 모델 자료형과 어텐션 데이터 병렬도·텐서 병렬도·전문가 병렬도가 같은 조건을 요구한다.

같은 가중치 표현은 강화학습 연동에도 쓰인다. 9월 11일 병합된 Miles의 QDQ 커널은 가중치를 양자화했다 복원하는 계산을 합쳐 BF16 또는 FP16 결과를 낸다. 압축 중간값과 블록별 배율을 레지스터 안에 유지해 메모리 왕복을 줄인다. 훈련 예제는 BF16 행렬 계산에 복원한 가중치를 사용하고, 응답 생성 엔진은 W4A16을 쓴다.

Miles가 기록한 통합 시험은 GLM-5.2의 다섯 계층 구성에서 B200 여덟 대로 두 차례 GRPO 응답을 생성하고 학습하는 조건이다. 일부 수치 일치 검사는 꺼져 있고 다른 진단값은 기록했다. PR은 이 시험을 통합 동작 확인으로 구분하며, 학습기와 응답 생성기의 수치 일치를 입증한 결과로 제시하지 않는다.