인클링 2 스몰 가중치 공개…자체 실행에 GPU 메모리 500GB부터

싱킹머신즈랩(Thinking Machines Lab)이 11월 12일 인클링 2 스몰(Inkling 2 Small)의 가중치를 허깅페이스에 공개했다. 가중치는 모델이 학습한 값을 담은 파일이다. 11월 5일 모델을 처음 선보였을 때는 싱킹머신즈랩의 팅커(Tinker)에서 실행하거나 추가 학습할 수 있었다. 이번에는 개발자가 아파치 2.0 라이선스로 공개된 파일을 받아 자체 환경에서 실행할 수 있다.

공개된 파일은 기본 NVFP4와 대체 MXFP8 두 종류다. 싱킹머신즈랩의 모델 카드는 NVFP4를 실행하는 GPU 클러스터에 비디오 메모리(VRAM) 합계 500GB 이상을 요구한다. 엔비디아 B300 두 장이나 H200 네 장이 예시다. 이 수치는 개발사가 안내한 실행 요건이다. 허깅페이스에서 파일을 받을 때 필요한 디스크 공간은 별도로 계산해야 한다.

활성 매개변수와 서버 메모리

모델 카드에 따르면 인클링 2 스몰의 전체 매개변수는 5,940억 개이고, 토큰 하나를 처리할 때 활성화되는 매개변수는 약 170억 개다. 토큰은 모델이 텍스트 등을 처리하는 단위다. 혼합 전문가(MoE) 구조는 입력에 따라 전문가라고 부르는 계산 모듈 384개 중 8개를 고른다. 어느 모듈을 쓸지는 토큰에 따라 달라진다. 서버에 올릴 모델의 크기를 파악하려면 토큰당 활성 매개변수와 함께 가중치 파일 전체를 봐야 한다.

두 저장소의 파일 목록을 대조했다. NVFP4의 본체 가중치 파일은 24개로, 합계 약 390GB다. MXFP8은 48개에 약 619GB다. 이 합계는 저장소에 표시된 바이트를 10억으로 나눈 값으로, 토크나이저나 별도 보조 파일을 제외했다. 실행 중에는 가중치를 GPU에 올리는 것 외에도, 앞서 처리한 토큰의 계산 결과를 재사용하는 캐시 등에 메모리가 쓰인다. 디스크에서 본 파일 합계와 모델 카드가 제시한 VRAM 요건의 차이를 설명하는 요소다.

MXFP8판은 GPU 메모리 800GB 이상이 필요하다. 싱킹머신즈랩은 B300 네 장 또는 H200 여덟 장을 예로 들었다. 회사는 자체 평가에서 MXFP8판이 NVFP4판보다 1~2%포인트 높았다고 설명했고, 공개 파일 중에는 NVFP4판을 권장한다. 회사가 제시한 차이는 답변 성능 평가 점수에서 나왔다. 처리량과 응답 속도는 배포 환경의 영향을 받는다.

vLLM의 공개 당일 기술 글은 기본판의 내부 정밀도를 구분해 설명한다. 48개 층 가운데 앞 40개 층의 전문가 가중치에는 NVFP4를, 마지막 8개 층의 전문가 가중치에는 MXFP8을 사용한다. vLLM은 이 층별 구성이 추론 엔진이 계산 방식을 선택할 때도 적용된다고 설명한다. 엔진이 기본판을 지원한다고 할 때는 파일을 읽는 기능과 이 정밀도 조합의 처리까지 포함한다.

자체 실행과 API 이용

자체 실행 지원은 파일 공개와 함께 나왔다. SGLang과 vLLM은 인클링 2 스몰을 자사 추론 엔진에서 구동하는 문서를 냈다. 이 엔진은 가중치를 GPU에 올리고 요청을 받아 응답을 생성하는 소프트웨어다. 개발사는 토큰스피드와 언슬로스 연동도 명시했다. vLLM의 실행 문서는 NVFP4 예시로 B200 여덟 장을 제시하고, 일반 릴리스에 지원이 포함되기 전까지 전용 컨테이너 이미지를 안내한다. SGLang은 AMD GPU용 ROCm에서 MI350X와 MI355X를 검증 대상으로 명시했다. 엔진마다 안내하는 장비와 소프트웨어 조건이 다르다.

파일을 내려받지 않고 서비스를 통해 쓰는 경로도 늘었다. 클라우드플레어는 12일 워커스 AI(Workers AI)에서 인클링 2 스몰을 호출할 수 있게 했다. 워커스 유료 플랜 또는 선불 AI 게이트웨이 크레딧이 필요하다. 클라우드플레어가 공지한 기본 한도는 일반 워커스 AI 과금에서 분당 20건, 선불 크레딧에서 분당 50건이다. 기존 팅커는 모델 카드를 기준으로 실행과 추가 학습을 계속 지원한다.

모델은 텍스트와 이미지를 입력받아 텍스트를 출력하며, 개발사가 제시한 최대 문맥 길이는 약 100만 토큰이다. 클라우드플레어는 워커스 AI에서 제공하는 모델의 문맥 길이를 104만8,576토큰으로 명시했다. 분당 요청 건수는 별도로 적용된다.