엣지0-145B 가중치 공개, GPU 한 장으로 돌리는 PC의 조건

엣지0가 12일 개발 도구에 연결해 코드를 생성하는 AI 모델 엣지0-145B와 엣지0-120B를 발표했다. 두 모델의 가중치는 허깅페이스에서 내려받을 수 있다. 엣지0가 공개한 실행 안내는 엔비디아 GPU 한 장과 CUDA 13을 갖춘 윈도우·리눅스 PC를 대상으로 한다. 개발자는 이 환경에서 모델을 띄워 자신이 쓰는 도구가 코드 생성 요청을 같은 컴퓨터에 보내도록 연결할 수 있다.

발표 글은 애플 실리콘 맥도 첫날부터 지원한다고 적었다. 그러나 13일자 저장소의 공개 목록에서 145B와 120B의 맥 지원 칸은 비어 있다. 모델 카드도 애플 M2 울트라에서 측정한 수치를 공개하면서 이 시험이 맥용 버전의 출시를 뜻하지 않는다고 밝혔다. 엣지0의 맥 안내서에는 앞서 공개한 8B와 35B를 내려받는 방법이 나와 있다.

GPU 메모리와 시스템 RAM, 저장 공간이 각각 필요

145B는 모델 전체 매개변수가 1,450억 개라는 뜻이다. 엣지0는 이 모델을 큐웬 3.8 플래시 넥스트를 바탕으로 개발했으며, 토큰 하나를 처리할 때 약 101억 개의 매개변수가 작동한다고 기술 문서에 적었다. 입력마다 모델 내부에서 사용할 부분을 골라 계산하고, 여러 부분에서 쓰는 큰 행렬은 공유한다. 회사는 자주 쓰는 부분을 GPU 메모리에 두고 필요에 따라 시스템 RAM에서 나머지를 가져온다고 설명했다.

GPU 메모리와 시스템 RAM 외에 모델 파일을 담을 SSD 공간도 필요하다. 145B의 Q3_K 형식은 문서상 가중치 용량이 40.81 GiB다. 허깅페이스의 파일 목록에서 전체 폴더는 약 105 GB로 표시되며, 이 가운데 모델이 입력을 처리할 때 참조하는 표 하나가 51.2 GB다. 공식 실행 안내에 따르면 기본 설정은 이 표를 SSD에서 필요한 만큼 읽는다. 전체 폴더에는 가중치와 이 표 외에도 실행에 필요한 파일이 들어 있다.

엣지0의 실행 안내서는 GPU 메모리 16 GiB와 시스템 RAM 20 GiB 이상을 제시한다. 모델 카드에서 이 두 수치가 붙은 성능 행은 24 GB짜리 RTX 5090 D의 사용량을 제한해 얻은 결과다. 엣지0는 그 행을 모든 기기의 최소 사양을 검증한 결과로 해석하지 말라고 밝혔다. 발표 글이 제시한 29 GB도 회사가 특정 노트북 설정에서 측정한 최고 메모리 사용량이다.

같은 그래픽카드에서도 모델과 설정에 따라 속도가 달랐다

엣지0는 RTX 5090 D 24 GB에서 145B의 Q3_K 형식으로 일반 채팅 응답을 생성할 때 초당 99.7토큰, 에이전트 작업에서 초당 121.2토큰을 기록했다고 밝혔다. 같은 카드에서 메모리 사용량을 제한한 실험은 각각 초당 36.8토큰과 44.9토큰이었다. 토큰은 모델이 글을 처리하는 단위다. 두 수치는 응답을 이어서 생성하는 속도이며, 모델을 처음 불러오거나 긴 요청을 읽는 시간은 따로 측정한다.

함께 공개된 120B의 Q3_K 가중치는 27.98 GiB다. 엣지0가 같은 메모리 제한을 적용해 시험한 일반 채팅에서는 초당 62.4토큰이 나왔다. 회사의 모델별 비교표에서는 145B가 소프트웨어 개발 과제를 다루는 DeepSWE 1.1에서 더 높은 점수를 받았다.

실행 도구는 컴퓨터에서 직접 채팅을 열거나 로컬 서버에 요청을 보내는 두 방식을 제공한다. 공식 문서에서 윈도우용 채팅 앱은 다운로드한 모델 폴더를 선택하는 방식이다. 개발 도구가 별도의 실행이나 파일 변경 기능을 갖고 있다면 모델이 작성한 결과를 그 도구에서 처리할 수 있다. 엣지0의 속도 표에는 일반 채팅과 이런 에이전트 작업의 수치가 따로 실려 있다.

모델과 실행 도구에 다른 라이선스 적용

엣지0는 실행 프레임워크의 소스 코드를 아파치 2.0으로 공개했다. 두 모델에 엣지0가 추가한 부분에는 별도 커뮤니티 모델 라이선스가 적용된다. 회사는 이 조건에서 개인 사용과 연구, 조직 내부 활용, 생성 결과물의 상업적 사용을 허용한다. 모델을 유료로 배포하거나 유료 추론 서비스로 제공하는 경우, 또는 이 모델을 넣은 독립형 코딩·사무 보조 도구를 상업적으로 제공하는 경우에는 별도 서면 라이선스를 요구한다.

저장소에는 기반 모델인 큐웬의 라이선스도 함께 들어 있다. 엣지0가 부여한 사용 권한과 별개로, 큐웬에서 가져온 부분에는 기존 조건이 적용된다고 엣지0의 라이선스 문서에 명시돼 있다.