Kimi K3.1 Pro 가중치 공개…1.56TB, 자체 서버로 돌린다

문샷 AI가 11월 4일 Kimi K3.1 Pro의 모델 가중치를 공개했다. 지난달 앱·API 출시 때 예고했던 다운로드가 실제로 열리면서, 서버를 갖춘 기업과 연구팀이 문샷의 호스팅 서비스 외에 자체 운영 경로를 선택할 수 있게 됐다.

공식 Hugging Face 저장소는 로그인 승인 없이 읽을 수 있다. 공개 파일 목록을 대조한 결과 가중치는 safetensors 파일 96개, 합계 약 1.56TB였다. 학습한 수치를 담은 이 파일들과 함께 모델 설정, 토크나이저, 처리 코드와 라이선스가 올라왔다. 파일 목록·용량은 확인했으며 전체 가중치를 내려받아 실행하지는 않았다.

문샷의 모델 카드에 따르면 전체 매개변수는 2조8천억 개, 토큰 하나를 처리할 때 활성화하는 매개변수는 1,040억 개다. 텍스트와 이미지 입력을 지원하며 최대 문맥 길이는 1,048,576토큰이다. 가중치를 낮은 정밀도로 표현하는 MXFP4와 연산 중간값을 위한 MXFP8을 반영해 학습했다고 회사는 설명했다. 모델 카드에는 긴 문맥의 처리 효율을 높이기 위해 이전 K3에서 전체를 살피던 어텐션 계층을 희소 어텐션으로 바꿨다는 설명도 있다. 필요한 부분을 추려 참조하는 방식으로, 공개된 구성 중 24개 계층에 적용했다.

이번 공개는 10월의 서비스 출시와 별개인 가중치 배포 단계다. 당시 문샷은 K3를 추가 학습한 모델이라며 코딩·3D 제작·금융 분석의 개선을 소개하고, 11월 4일까지 전체 가중치를 내놓겠다고 밝혔다. 빠른 응답을 위한 Highspeed 서비스도 함께 발표했지만 이번에 직접 확인한 다운로드는 K3.1 Pro 저장소다.

가중치 배포를 준비하며 적용한 사이버 역량 조정도 10월 기술 글에서 설명했다. 문샷은 일반 학습 자료와 강화학습 환경에서 사이버 관련 자료를 찾아 제거했다고 밝혔다. 자체 취약점 평가에서 이 조치를 뺀 모델은 최대 세 번의 시도 중 한 번 이상 성공한 과제 비율이 90.5%, 최종 Pro는 81.0%였다고 보고했다. 이 비교는 회사의 내부 평가 결과이며, 공개 모델의 악용 가능성이 사라졌다는 뜻으로 제시한 수치가 아니다.

자체 운영은 여러 GPU를 묶는 서버 규모

공식 모델 카드가 연결한 vLLM 배포 문서는 NVIDIA B300 한 노드 또는 GB300 트레이 두 개에 걸친 GPU 8개 구성을 기본 예로 제시한다. 문서는 이를 NVIDIA에서 동작하는 가장 단순한 기준 구성으로 설명하고 처리량 최적화는 하지 않았다고 명시했다. 약 1.56TB라는 파일 크기와 함께 보면 개인용 노트북보다 여러 가속기를 연결한 서버가 출발점인 배포 안내다.

vLLM 문서의 AMD MI355X 한 노드는 동시 요청 48개를 위한 특정 구성에서 실행한 상태다. GPU 종류와 요청량이 다른 환경으로 처리 성능을 일반화할 근거는 제시하지 않았다.

SGLang의 별도 배포 문서는 각 명령에 검증 완료, 최종 검증 진행 중, 미검증 상태를 표시한다. B300에서는 응답 생성 단계의 일부 구성이 검증됐으며 다른 조합은 검증 중이라고 설명했다. 모든 조합을 같은 수준으로 확인한 것처럼 표시하지 않고, 하드웨어와 명령이 정확히 일치하는 경우를 검증 단위로 삼았다.

이 문서는 코딩 에이전트처럼 대화를 이어가며 도구를 쓰는 작업에서 앞부분이 반복되는 긴 입력을 재활용하는 것이 중요하다고 설명한다. 연산에 쓰는 GPU 메모리 밖으로 대화 캐시를 옮기거나 같은 세션을 같은 작업 서버로 보내는 구성도 다룬다. 표의 검증 상태와 실제 작업 형태가 함께 배포 조건을 정한다.

배포 파일에는 문샷의 자체 Kimi K3.1-Pro 라이선스가 포함됐다. 사용·수정·미세조정·재배포를 허용하면서 저작권 고지 유지 등의 조건을 둔다. 제3자에게 모델 추론·학습을 서비스하는 사업자가 계열사 합산으로 연속 12개월 매출 2천만 달러를 넘으면 상업적 사용 전 별도 계약이 필요하다고 적었다.

월간 이용자 1억 명 또는 월 매출 2천만 달러를 넘는 상업 제품·서비스에는 모델명 표시 조건도 있다. 제3자에게 모델·출력·기능을 제공하지 않는 내부 사용과 문샷 공식 제품·인증 추론 파트너를 통한 사용은 이 두 추가 조건의 예외다. 허용 범위와 예외는 공개 저장소의 라이선스 전문에 함께 실려 있다.