SK하이닉스, 공유 메모리 시험서 AI 첫 응답 80초→15초

SK하이닉스가 11월 12일 서울 코엑스에서 여러 AI 서버가 별도의 메모리 랙을 함께 쓰는 설계를 제시했다. 이날 인텔 AI 서밋 서울에서 공개한 연속 질의 시험에서, 앞서 처리한 문맥을 원격 메모리에서 다시 불러오자 답변의 첫 단위가 나오기까지 평균 15.45초가 걸렸다. 같은 문맥을 처음부터 다시 계산한 경우에는 80.76초였다.

주영표 SK하이닉스 부사장이 제시한 구조에서는 각 서버가 자체 메모리를 유지하고, 필요할 때 공용 랙에서 이전 계산 결과를 가져온다. AI를 운영하는 팀은 대화나 문서가 길어져 GPU 메모리가 부족할 때 그 중간 결과를 어디에 보관할지 선택할 수 있다. SK하이닉스는 인텔 등 파트너와 시스템 설계 단계부터 이 방식을 논의하고 있다.

같은 문맥을 다시 계산하는 데 드는 시간

언어모델이 긴 문서를 검토하고 이어서 질문을 받으면, 앞부분에서 수행한 계산의 일부를 다음 답변에 재사용할 수 있다. 이때 보관하는 중간 데이터를 키·값 캐시, 줄여서 KV 캐시라고 한다. 이전에 계산해 둔 부분이 후속 요청의 앞부분과 같으면, 모델을 실행하는 소프트웨어는 그 부분의 계산을 건너뛰고 새로 들어온 내용부터 처리할 수 있다.

여러 요청이 동시에 들어오거나 각 요청의 문맥이 길어지면, GPU 가까이에 둔 메모리에서 이 데이터를 담을 공간도 더 필요해진다. 예를 들어 같은 보고서를 두고 여러 차례 질문하는 서비스에서는 보고서 부분의 계산을 보관해 둘 수 있다. 메모리를 다른 요청에 내주기 위해 그 캐시를 비웠다면, 후속 요청이 들어올 때 해당 부분을 다시 처리하거나 다른 곳에 보관한 사본을 불러와야 한다.

서울 발표 자료는 이 상황에서 첫 토큰을 내기까지 걸린 시간을 세 가지 방식으로 비교했다. 이전 문맥을 재계산하면 평균 80.76초, 캐시를 원격 SSD에 보관했다가 읽으면 33.56초였다. CXL로 연결한 원격 D램에서 불러오면 15.45초였다. 재계산 기준과 비교해 평균 대기 시간이 약 81% 줄었다. 첫 토큰은 화면에 답변이 나타나기 시작하는 시점과 관련된 지표다. 뒷부분까지 모두 생성하는 데 걸린 시간은 따로 측정해야 한다.

세 수치는 SK하이닉스와 파트너가 수행한 연속 질의 평가에서 나왔다. 공개 슬라이드에는 이 비교에 쓴 모델, 입력 길이, 동시에 처리한 요청 수가 적혀 있지 않았다. 이미 GPU 메모리에 캐시가 남아 있는 상황도 그래프의 비교 조건에 포함되지 않았다. 서비스별로 앞 문맥을 다시 쓰는 빈도와 저장 위치에 따라 실제로 줄일 수 있는 대기 시간은 달라진다. 추론 소프트웨어 vLLM의 문서도 후속 요청에 공통된 앞부분이 있을 때 그 계산을 줄일 수 있다고 설명한다. 앞부분이 매번 달라지거나 답변 자체가 길어 생성에 시간이 집중되는 서비스에서는 효과가 작다.

서버 여러 대가 추가 메모리를 함께 쓰는 방식

발표 자료에는 GPU 서버 랙과 메모리 랙에 각각 네트워크 스위치를 두고 두 랙 사이에서 캐시를 옮기는 구성이 그려졌다. 주 부사장은 GPU와 CPU 서버 랙 외에 수십~수백 테라바이트를 담을 별도 메모리 랙을 두는 방안을 설명했다. 랙 안에서는 프로세서와 추가 메모리 장치를 잇는 표준인 CXL을 활용하고, 분리된 랙 사이에서는 네트워크로 데이터를 전달하는 구상이다. 연산은 GPU 서버가 맡고, 장시간 보관이 필요한 캐시는 별도 랙으로 옮길 수 있다. 여러 서버가 그 용량을 나눠 쓰면, 서버마다 예상 최대 사용량에 맞춰 별도의 여유 공간을 확보해야 하는 부담도 줄어든다.

SK하이닉스는 10월 오픈컴퓨트프로젝트 글로벌 서밋에서도 여러 서버가 CXL 메모리를 함께 쓰는 시연을 했다. 당시 회사는 전체 캐시를 SSD에 두면서, 다음 대화에 필요할 것으로 예상한 부분은 D램으로 미리 읽어들이는 구성도 선보였다. 저장량을 확보하는 SSD와 읽어들이는 시간을 줄이는 D램에 서로 다른 역할을 맡긴 방식이었다. 서울에서는 원격 SSD와 CXL D램을 각각 썼을 때 첫 응답까지 걸린 시간을 비교해 공개했다.

메모리 용량을 함께 쓰더라도 캐시를 가져오는 속도에는 메모리 위치와 연결 방식이 영향을 준다. CXL 컨소시엄은 별도 장치에서 할당한 메모리의 성능 특성이 서버 내부 메모리와 다를 수 있다고 설명한다. GPU까지 데이터를 옮기는 시간이 앞부분을 다시 계산하는 시간보다 짧을 때, 캐시를 꺼내 쓰는 방식으로 답변을 더 일찍 시작할 수 있다. SK하이닉스는 서울에서 이 방식을 시험한 결과를 공개했고, 고객 도입 일정과 판매 조건은 공개 자료에 담지 않았다.