AMD, 288GB AI칩 MI450X 공개…헬리오스 선택지 추가

AMD가 11월 12일 데이터센터용 AI 가속기 인스팅트 MI450X를 공개했다. GPU 한 개에 고대역폭 메모리(HBM4) 288GB를 넣은 모델이다. AI 서버를 들이는 고객은 같은 헬리오스 랙에서 기존 432GB 모델인 MI455X와 새 288GB 모델 중에서 고를 수 있게 됐다. AMD는 두 모델의 최대 메모리 대역폭을 모두 초당 23.3TB로 제시했다.

GPU 메모리 용량은 모델을 불러오고 요청을 처리할 때 쓸 수 있는 공간을, 대역폭은 그 공간과 연산 장치 사이에서 데이터를 옮기는 속도를 뜻한다. 용량이 더 큰 모델은 긴 입력을 처리하거나 동시에 여러 요청을 받을 때 남겨 둘 공간이 많다. 288GB에 맞는 작업이라면 같은 랙 설계와 소프트웨어를 쓰면서 GPU의 메모리 용량을 달리 선택할 수 있다. 발표문과 제품 사양표에서 MI450X 가격과 납품 일정은 확인되지 않았다.

메모리 288GB와 432GB, 대역폭은 같아

AMD의 제품 사양표에 따르면 MI450X에는 HBM4 메모리 스택 8개, MI455X에는 12개가 들어간다. 스택은 여러 메모리 칩을 층으로 쌓은 부품이다. GPU당 용량 차이는 144GB로, MI455X를 기준으로 하면 새 모델의 용량이 3분의 1 작다. 두 사양표에 적힌 최대 메모리 대역폭과 GPU끼리 데이터를 주고받는 연결의 최대 대역폭은 각각 같다. 이 숫자는 사양표상의 최대치다.

두 가속기는 직접 액체 냉각을 쓰는 모듈이다. AMD는 추론과 모델 학습, 추가 학습에 쓰도록 두 제품을 설계했고 두 사양표에 파이토치와 JAX 지원을 명시했다. 헬리오스의 7월 공개 구성은 MI455X 72개와 EPYC 서버 CPU 18개를 연결했다. AMD는 이번에 MI450X도 같은 개방형 랙 설계와 ROCm 소프트웨어에서 지원한다고 밝혔다. 새 GPU로 구성한 랙의 총 메모리와 구체적인 판매 구성은 11월 공지에 나오지 않았다.

초당 2만 1,333토큰은 MI455X 자체 시험

AMD는 같은 날 헬리오스의 기존 MI455X로 딥시크 R1을 실행한 결과도 공개했다. AMD 성능 연구소가 10월에 진행한 시험에서 GPU 한 개당 초당 2만 1,333토큰을 처리했다고 밝혔다. MLPerf의 오프라인 시험 구성을 사용했으며, AMD는 엔비디아 베라 루빈 NVL72의 공개 기록과 대조해 처리량이 최대 30% 높았다고 발표했다.

비교 대상은 엔비디아가 MLPerf Inference 6.1에 낸 6.1-0106번 결과다. 엔비디아 개발자 자료에 따르면 루빈 GPU 72개를 쓴 구성은 오프라인 시험에서 초당 118만 3,327토큰을 처리했다. GPU 수로 나누면 약 1만 6,435토큰이다. AMD가 발표한 값과 이 환산치를 비교하면 차이는 약 29.8%다. 벤치마크 주관 기관인 MLCommons는 엔비디아 장비를 프리뷰로 분류했다. AMD는 이번 발표에서 자사 시험의 MLPerf 제출 번호와 시험에 동원한 GPU 수를 공개하지 않았다.

오프라인 시험은 처리할 입력을 한꺼번에 넘겨 전체 작업이 얼마나 빨리 끝나는지 본다. 서버 시험에서는 요청이 나뉘어 들어오고 응답 지연 조건도 적용된다. AMD 발표의 수치는 일정 시간에 생성한 토큰 수를 비교한 값이다. 발표에 포함된 오프라인 결과는 처리량이며, 첫 답변 대기 시간과 전력 사용량은 공개 범위에서 빠졌다. 새 MI450X로 딥시크 R1을 실행한 측정값도 제시되지 않았다.

같은 제품군의 MI430X는 정밀한 과학 계산을 위한 모델이다. AMD는 제품 문서에 432GB HBM4와 배정밀도 부동소수점 연산 지원을 명시했다. 배정밀도 연산은 시뮬레이션에서 작은 값의 차이를 유지해야 할 때 사용된다. 회사는 이 모델의 설명을 11월 12일 게시물에 최초 공개 이후 추가했다고 밝혔다. 별도 기술 글에서 AMD는 시뮬레이션용 시스템에 이 칩 네 개를 서버 CPU 한 개와 직접 연결하는 구성을 설명했다.

기존 MI455X의 공급은 이미 시작됐다. AMD는 11월 3일 3분기 실적 설명에서 해당 분기에 MI455X를 대량 출하하기 시작했고 앤트로픽, 메타, 마이크로소프트, 오픈AI, 오라클이 첫 헬리오스 랙을 가동했다고 밝혔다. MI450X 제품 페이지에는 11월 12일이 출시일로 기재돼 있다. AMD는 3분기 실적 발표에서 헬리오스 전체의 생산과 공급 확대 계획을 밝혔고, 이번 발표에서는 새 모델의 고객 인도 시점을 공개하지 않았다.