7,700억개 Hy4 가중치 내려받는다…텐센트 주력 모델 공개
편집·검토: AI Ping 편집팀
3줄 요약
- 지시 수행용 Hy4·FP8·사전 학습 베이스 가중치를 함께 공개했다.
- 대규모 MaaS 사업에는 매출·이용자 기준에 따른 별도 서면 허가 조건이 붙는다.
- 배포·미세 조정 안내는 GPU 여러 개를 쓰는 서버 구성을 기준으로 제시했다.
텐센트가 주력 AI 모델 Hy4의 가중치를 다운로드할 수 있도록 공개했다. 11월 20일 확인한 공식 저장소에는 지시 수행용 Hy4, 용량을 줄인 Hy4-FP8, 추가 학습의 출발점인 사전 학습 베이스 모델이 함께 올라왔다. 개발자는 클라우드 API 호출 외에 자체 서버에 모델을 올리는 경로를 갖게 됐다.
언어 모델 본체는 전체 7,700억 개 매개변수 가운데 토큰마다 490억 개를 사용하는 전문가 혼합 구조다. 최대 문맥 길이는 104만8,576토큰이며 텍스트·이미지·영상 이해를 지원한다. Hy4 베이스는 대화 지시에 맞춰 조정하기 전의 모델이고, 챗봇용 예제는 Hy4와 FP8 버전에 적용된다. 앞서 공개된 소형 Hy4 flash와도 별도 모델이다. 본체와 별개로 12억3,000만 개 매개변수의 시각 인코더와 33억 개 규모의 DFly2 예측 보조 모델을 갖췄다. 보조 모델은 다음 출력을 미리 제안하는 데 쓰이며 본체의 문맥 저장 공간을 공유한다. 텐센트는 어려운 연구 수준의 수학·장기 코딩·고급 시각 질의에서는 최상위 비공개 모델과 격차가 남는다고 명시했다.
대규모 모델 API 사업자에는 별도 이용 조건
공개 파일에는 아파치 2.0에 상업 조건을 더한 텐센트 Hy 라이선스 1.0이 적용된다. 모델 추론·미세 조정 서비스를 제3자에게 제공하는 MaaS 사업자는 전 세계 총매출이 연속 12개월간 5,000만 달러를 넘거나 해당 제품의 월간 활성 이용자가 1억 명을 넘으면 별도 서면 허가가 필요하다.
총매출에는 Hy4 이외의 수익도 포함된다. 범용 모델 접근을 주지 않는 특정 기능·업무용 제품은 MaaS 정의에서 제외했다. 모델·파생물·출력을 외부에 제공하지 않는 내부 전용 이용에는 별도 허가 조항의 예외가 적용된다.
자체 운영에는 큰 메모리 공간이 필요하다. vLLM의 Hy4 배포 문서는 NVIDIA GPU 8개짜리 단일 노드를 기준으로 FP8에 총 GPU 메모리 약 944GB, BF16에 약 1,859GB를 요구한다고 적었다. 저장 공간 안내는 각각 786GB·1,549GB다. 이는 해당 배포 구성의 안내값이며 이번 취재에서 직접 가동해 측정한 수치는 아니다.
같은 문서는 안정 버전 0.34.0에서 Hy4 구조를 인식하지 못하며 전용 이미지나 11월 20일 이후의 나이틀리 빌드가 필요하다고 설명한다. 기본 구성은 문맥 13만1,072토큰·동시 요청 32개로 시작한다. 모델이 명시한 최대 문맥과 배포 예제의 검증 범위에는 차이가 있다. 문서는 이 구성으로 100만 토큰 요청 전체를 검증하지 않았다고 밝혔다.
미세 조정에 관한 텐센트 공식 안내는 LoRA 학습의 시험상 최소 자원으로 서버 8대·GPU 64개를, 전체 미세 조정에는 서버 16대·GPU 128개를 제시했다. GPU당 메모리는 96GB 이상, 서버당 CPU 메모리는 2TB 이상이다. 학습 문맥과 배치, 이미지 해상도·영상 프레임 수가 늘면 실제 요구량도 커진다. 텍스트·이미지·영상 자료를 섞어 학습하는 형식과 DeepSpeed·LLaMA-Factory·ms-swift용 경로를 함께 공개했다. 학습 자료에 추론 방식을 지정하지 않으면 빠른 응답을 기본값으로 쓰지만, 추론 시 대화 템플릿의 기본값은 깊은 사고 모드다. 같은 설정 이름도 학습과 실행의 기본 동작이 다르다.
클라우드에서 사용하는 경로도 있다. 투게더AI는 11월 19일 Hy4를 서버리스 추론으로 제공한다고 밝혔다. 입력 100만 토큰당 0.83달러, 캐시된 입력은 0.042달러, 출력은 2.50달러다. 이 가격은 투게더AI의 API 요금으로, 자체 서버를 확보해 가중치를 운영하는 비용과는 계산 기준이 다르다. 제공 기능에는 이미지 입력·도구 호출·JSON 출력이 포함된다.
투게더AI는 자사 차트 한 장에서 제목과 세 값을 읽어 JSON으로 추출한 뒤 HTML로 재현하고, 별도 텍스트 요청으로 브라우저 게임을 만든 예시를 공개했다. 업체 설명에 따르면 게임 코드를 고치지 않고 한 판을 진행해 종료한 뒤 다시 시작했다. 두 예시는 업체가 선택한 입력에 대한 시연으로, 여러 업무에서의 성공률이나 자체 배포 환경의 성능을 측정한 비교 시험은 아니다.
출처
- Hy4 official repository and model specifications — Tencent
- Tencent Hy License, Version 1.0 — Tencent
- Hy4 serving recipe — vLLM
- Hy4 Model Fine-tuning guide — Tencent
- Tencent Hy4 is live on Together AI — Together AI
- Hy4 public checkpoint metadata — Tencent / Hugging Face