네이버클라우드, B200용 Mamba-2 커널 최적화… 학습 속도 1.12배
3줄 요약
- 네이버클라우드가 최신 GPU인 NVIDIA B200에 맞춰 Mamba-2 연산 커널을 다시 최적화한 결과를 공개했습니다.
- 가장 느린 커널은 최대 3.18배, Mamba-2 레이어 하나는 약 1.33배 빨라졌고, 실제 모델 사전 학습 전체 속도는 약 1.12배 개선됐습니다.
- 새 알고리즘보다 A100 시절에 맞춰져 있던 설정값을 B200에 맞게 바꾼 것이 핵심이었습니다.
네이버클라우드는 10월 7일 기술 시리즈 '클로바 시선' 59번째 글에서 NVIDIA Blackwell(B200) GPU를 위한 Mamba-2 커널 최적화 결과를 공개했습니다. 커널은 GPU에서 개별 연산을 실제로 수행하는 프로그램으로, GPU가 새 세대로 바뀌면 그 위의 소프트웨어도 함께 바뀌어야 성능을 제대로 낼 수 있다는 것이 출발점입니다.
Mamba-2는 긴 문맥을 적은 연산과 메모리로 처리하는 구조로, NVIDIA Nemotron·Alibaba Qwen·Moonshot AI Kimi 같은 최신 모델이 기존 셀프 어텐션과 섞어 쓰는 '하이브리드' 구조에 들어가고 있습니다. 그런데 널리 쓰이는 오픈소스 커널(mamba-ssm)은 B200의 새 하드웨어 기능을 활용하지 못했고, A100 기준 설정값이 남아 있어 오히려 병목이 되고 있었습니다.
연구팀은 Triton 위에서 동작하며 최적의 설정값을 자동으로 찾아 주는 Helion으로 커널을 다시 만들었습니다. 전체 연산 시간의 82%를 차지하는 상위 10개 커널을 먼저 고쳐 이 커널들이 평균 1.43배, 가장 느렸던 커널은 최대 3.18배 빨라졌습니다. 비결은 동시에 보내는 메모리 요청의 수였습니다. B200은 메모리 대역폭이 A100보다 약 4배(2TB/s→8TB/s) 넓지만 지연 시간은 그만큼 줄지 않아, 기존 규칙으로 74로 정해지던 설정값을 자동 탐색으로 찾은 2,601로 바꾸자 넓어진 대역폭을 제대로 쓸 수 있었습니다.
실제 학습에도 적용했습니다. 기존 패키지와 1:1로 바꿔 끼울 수 있게 만든 커널을 Nemotron-3 Nano 30B 사전 학습에 넣자 학습 단계당 속도가 약 1.12배 빨라졌고, 수십만 스텝 동안 손실(loss)도 안정적으로 수렴했습니다. 네이버클라우드는 이 성과를 더 큰 모델과 여러 서버에 걸친 분산 학습으로 넓혀 갈 계획입니다.
왜 중요한가
같은 GPU를 사도 소프트웨어를 얼마나 맞추느냐에 따라 학습 비용이 달라집니다. 1.12배는 작아 보여도 대규모 학습에서는 그만큼 클러스터 운영 시간과 비용이 줄어드는 것이고, 국내 기업이 최신 가속기 최적화 역량을 직접 쌓고 있다는 점에서도 의미가 있습니다.
누구에게 중요한가
- 개발자
- 새 GPU로 옮겼는데 성능이 기대만 못하다면, 커널의 병렬성 설정값이 이전 세대 기준으로 남아 있지 않은지 확인해 보세요. 이번 사례에서는 설정값 하나로 3배 넘는 차이가 났습니다.
출처
- [클로바 시선 #59] 최신 GPU의 잠재력을 깨우다: B200을 위한 Mamba-2 커널 최적화 — NAVER Cloud
