맥북 에어에서 학습한 소형 딥시크 V3 재현 모델 공개

독립 개발자 바이바브 티와리가 딥시크 V3의 설계를 가져와 맥북 에어에서 학습한 3,620만 매개변수 모델을 공개했다. 11월 14일 깃허브에 학습 코드와 가중치를 올렸고, 15일에는 다른 개발자가 AMD 라데온 그래픽카드에서 같은 학습을 재현한 환경이 저장소에 추가됐다. 맥에서 시작한 실험의 데이터와 설정을 라데온을 장착한 리눅스 PC에서도 재사용할 수 있게 됐다.

티와리가 공개한 프로젝트의 이름은 ‘deepseek-v3-jax’다. 핵심 모델 로직은 파이썬 수치 계산 도구 JAX로 작성한 약 190줄에 들어 있다. 학습을 돌리는 스크립트와 학습용 텍스트를 준비하는 코드는 별도 파일이다. 가중치와 실행 기록도 함께 공개해 개발자가 이미 끝난 학습의 결과를 살펴보거나 같은 설정으로 새로 학습할 수 있다. 저장소는 모델 코드를 MIT 라이선스로 제공한다.

추리소설로 학습한 6개 층 모델

티와리는 메모리 24GB를 갖춘 맥북 에어 M5에서 애플의 JAX용 메탈 플러그인으로 내장 GPU를 사용했다. 학습 재료는 프로젝트 구텐베르크 등의 추리소설 207권이었다. 학습용 텍스트와 검증용 텍스트를 나누고, 학습 묶음에서는 대실 해밋의 작품을 세 번씩 넣었다. 프로젝트에서 말하는 토큰은 이 책의 문장을 모델이 읽을 수 있도록 잘게 나눈 단위다.

학습은 약 2.6시간 동안 1만2,000단계 진행됐다. 작성자가 남긴 기록에는 학습에 사용한 고유한 문장 묶음의 분량이 약 2,170만 토큰으로 잡혀 있다. 학습기가 같은 자료를 여러 차례 읽으면서 누적 처리량은 약 9,800만 토큰에 이르렀다. 공개 데이터에는 학습 입력과 검증 입력 외에 문장을 토큰 번호로 바꾸는 토크나이저도 들어 있다.

딥시크가 2024년 기술 보고서에 공개한 V3는 전체 매개변수가 6,710억 개이고, 토큰 하나를 처리할 때 370억 개를 활성화한다. 티와리의 모델은 전체 3,620만 개 가운데 토큰당 약 1,360만 개가 관여하며, 트랜스포머 층은 6개다. 입력과 모델이 이어 쓸 내용을 모두 합해 256토큰까지 처리하도록 설정했다. 공개된 생성 예시도 추리소설 문장을 짧게 이어 쓰는 형태다.

리눅스 PC에서 재현한 학습

깃허브에서 ‘joebarbere’라는 이름을 쓰는 기여자는 메모리 16GB의 라데온 RX 7600 XT와 페도라 리눅스에서 학습을 실행했다. 기존 학습 코드에 손대지 않고 JAX가 AMD GPU를 사용할 수 있도록 컨테이너 실행 환경을 추가했다. 이 변경은 11월 15일 프로젝트의 기본 브랜치에 병합됐다. 재현 기록에는 해당 그래픽카드를 인식시키고 행렬 연산에서 발생한 오류를 피하는 데 사용한 설정도 적혀 있다.

기여자의 실행에서는 1만2,000단계에 약 50분이 걸렸다. 학습에 쓰지 않은 문장에서 다음 토큰을 얼마나 잘 예측하는지 보는 지표인 검증 손실은 마지막에 3.527이었다. 같은 데이터 파일을 읽은 맥 실행은 3.507을 기록했다. 두 기록은 JAX 버전과 초기 가중치를 정하는 난수 방식이 다르다. 시간과 손실은 각각 공개된 두 실행의 조건에서 나온 값이다.

재현에 쓰인 입력은 원래 프로젝트가 배포한 학습·검증 파일이다. 기여자는 파일 해시를 대조해 학습 재료가 같다는 점을 확인했다. 프로젝트는 맥 실행의 단계별 손실 기록도 배포하고 있어, 두 실행이 학습 도중에는 어디서 차이를 보이는지 같은 단계끼리 비교할 수 있다.

딥시크 V3에서 가져온 설계 가운데 하나는 토큰을 여러 작은 신경망에 나눠 보내는 전문가 혼합 방식이다. 이 모델은 후보 전문가 16개 중 토큰마다 4개의 출력을 사용하고, 별도의 공유 전문가도 거친다. 학습 중 많이 선택된 전문가의 다음 선택 점수를 낮추는 방식으로 쏠림을 조정한다. 라데온 재현 기록에는 이 조정을 켰을 때 전문가별 처리 비중이 5.4~6.8%에 모였다고 적혔다. 같은 장비에서 조정을 끈 실험의 범위는 0.07~18.0%였다.

또 다른 설계는 앞서 읽은 토큰의 정보를 압축해 저장하는 잠재 어텐션이다. 생성 도중에는 앞 문장을 다시 받아 처리하는 대신 캐시에 저장된 정보를 활용한다. 학습에는 그다음 토큰까지 예측하는 보조 목표도 들어 있다. 공개된 샘플러는 토큰을 하나씩 이어서 생성한다. 짧은 생성 예시와 전문가별 선택 기록은 코드에 들어 있는 구성 요소가 이 학습에서 어떻게 작동했는지 보여 준다.