베이스텐, 딥시크 추론 엔진 공개… B300 8개서 초당 2,060토큰

미국 AI 인프라 기업 베이스텐(Baseten)이 11월 13일(UTC) 딥시크 V4.1 플래시를 구동하는 추론 엔진 ‘딥시크 울트라패스트’의 코드를 공개했다. 베이스텐은 엔비디아 B300 GPU 8개를 쓴 코딩 시험에서 초당 2,060토큰을 생성했다고 밝혔다. 이 수치는 테트리스 게임 코드를 한 번에 생성하는 요청에서 나온 베이스텐의 측정값이다.

이번 공개로 자체 GPU 서버를 운용하는 팀은 같은 딥시크 모델의 가중치를 내려받아 베이스텐 엔진에서 실행하고 자사 요청의 처리 시간을 잴 수 있다. 딥시크가 이미 공개한 V4.1 플래시는 텍스트와 이미지를 입력받고 텍스트를 생성하는 모델이다. 자체 배포에서는 모델이 학습 과정에서 얻은 수치인 가중치와, 그 가중치로 실제 응답을 계산하는 엔진을 각각 준비한다.

모델이 한 요청에서 참고할 수 있는 입력 길이는 최대 100만 토큰이다. 토큰은 모델이 읽고 쓰는 텍스트 조각이다. 코딩 에이전트에 큰 저장소의 파일과 수정 기록을 함께 넘기면 입력을 처리하는 시간이 늘어날 수 있다. 출력이 짧은 질문도 앞에 붙는 자료가 길다면 응답을 시작하기까지 걸리는 시간이 전체 대기에서 큰 비중을 차지한다.

답변을 쓰기 전과 쓰는 중의 속도

베이스텐은 입력을 처리하는 프리필과 이후 새 토큰을 만드는 디코딩을 따로 측정했다. B300 8개 구성에서 100만 입력 토큰의 프리필에는 11.7초가 걸렸다. GB300 4개 구성에서는 입력에 13.2초가 걸렸고, 코딩 요청의 디코딩 속도는 초당 1,740토큰이었다. 회사의 소셜 게시물은 4개 구성을 B300으로 적었으며, 공개 시험표는 GB300으로 표기한다.

코딩 시험은 추가 추론을 끈 상태에서 테트리스 게임의 HTML 코드를 출력하도록 요청했다. 공개된 측정 예제는 첫 응답이 도착한 뒤 출력을 받는 동안의 속도와 첫 응답까지의 대기 시간을 따로 보여 준다. 표의 두 구성은 장비 이름과 수가 함께 달라진다. 두 수치만으로 같은 장비를 두 배로 늘렸을 때의 효과를 계산하기는 어렵다.

실제 서비스에서 이용자가 느끼는 대기에는 요청이 서버에 도착한 뒤 순서를 기다리는 시간과 네트워크 지연도 들어간다. 한 요청에 대한 초당 출력량과, 여러 요청을 받아 장비 전체가 처리하는 초당 출력량은 측정 단위가 다르다. 공개 자료의 초당 2,060토큰은 단일 요청에 해당한다. 동시 접속 상황에서의 처리량과 요청마다 기다리는 시간은 이 시험표의 범위 밖이다.

서버가 바뀌어도 앞선 대화의 계산을 재사용

공개 문서가 안내하는 장비는 GB300 4개, 또는 B300이나 B200 4개·8개 구성이다. 실행 환경에는 CUDA 13과 딥시크 모델 가중치가 필요하다. 베이스텐은 러스트와 CUDA로 엔진을 작성했으며, 공개 서버는 OpenAI API 형식과 호환되는 요청을 받는다. 이 형식을 지원하는 코드 도구는 모델을 호출할 서버 주소를 자체 인프라로 지정할 수 있다.

베이스텐은 여러 서버에서 대화의 계산 결과를 재사용하는 방식도 문서에 적었다. 각 서버는 앞서 읽은 토큰을 다음 응답에서 참조하는 데 쓰이는 키·값 데이터, 즉 KV 캐시를 메모리에 보관한다. 이어지는 요청이 다른 서버에 도착하면 그 서버는 Redis에 기록된 위치를 확인하고, RDMA로 기존 캐시를 가져온다. 자사 저장소에는 추론 서버 두 개와 Redis를 함께 두는 쿠버네티스 설정 예제가 들어 있다.

베이스텐이 배포한 엔진 코드에는 Elastic License 2.0이 적용된다. 조건을 지키는 범위에서 코드를 실행하고 수정하거나 배포할 수 있다. 라이선스는 소프트웨어의 주요 기능을 제3자에게 제공하는 호스팅·관리형 서비스에 이 코드를 쓰는 데 제한을 둔다. 모델 가중치는 딥시크가 별도로 배포하며, 딥시크의 모델 카드에는 MIT 라이선스로 표시돼 있다.

자체 GPU 서버를 운용할 때와 베이스텐의 유료 API를 쓸 때는 비용을 계산하는 방식이 다르다. 베이스텐은 ‘DeepSeek V4.1 Flash Fast’ API를 10월 8일에 출시했다. 이 서비스의 가격표에는 100만 토큰당 일반 입력 0.60달러, 캐시 입력 0.014달러, 출력 2.40달러가 적혀 있다. 자체 서버에 공개 엔진을 올리는 경우에는 이 API 요율 대신 팀이 확보한 GPU와 운영 환경의 비용이 든다.