어니 5.5 가중치 공개…한국은 이용 지역서 제외

바이두가 11월 5일 ‘어니 5.5 플래시 베이스’ 가중치를 공개했다. 사전훈련을 마친 모델을 출발점으로 개발자가 분야별 적응과 지시 학습, 강화학습을 이어갈 수 있도록 한 배포다. 중간훈련과 후속훈련은 거치지 않은 상태다.

이용 지역에는 제한을 뒀다. 함께 공개한 모델 라이선스 v1.0은 허용 지역에서 한국·유럽연합·영국을 제외했다. 이 지역 밖에서만 사용·수정·배포 권리를 부여하며, 제한은 파생 모델과 출력물에도 적용된다고 명시했다.

공개 모델은 텍스트를 처리하며 FP8과 BF16 두 형식의 가중치를 제공한다. 전체 매개변수는 2,800억 개, 토큰마다 활성화하는 매개변수는 140억 개다. 모델 카드가 제시한 사전훈련 길이는 12만8,000토큰이고 미세조정과 추론의 최대 문맥은 100만 토큰이다.

바이두는 긴 입력의 저장 부담을 줄이도록 대부분의 층에서 과거 128개 토큰을 하나의 항목으로 압축해 보관한다고 설명했다. 일부 층은 토큰 단위로 전체 문맥에 접근한다. 학습 자료에는 코드 저장소의 변경 과정과 검증된 수정, 긴 문서의 검색·인용형 질의응답을 포함했다고 밝혔다.

SGLang의 배포 안내는 가중치만의 메모리 규모를 FP8 약 280GB, BF16 약 560GB로 잡았다. 최소 권장 구성은 288GB GPU를 쓸 때 각각 2개와 4개다. 안내는 FP8의 단일 노드 구성들을 검증했다고 표시했으며, BF16은 B300 구성만 검증했고 다른 구성은 메모리 예산에 따른 것으로 구분했다. 100만 토큰 설정에서는 B300 두 개를 써도 동시 처리 요청 수를 한 자릿수로 낮추도록 안내했다. 긴 입력을 처리할 때 가중치 외에 임시 계산 공간과 입력의 키·값을 보관하는 캐시가 더 필요하기 때문이다. 안내는 저지연 구성과 여러 요청의 처리량을 높이는 구성도 따로 제공한다.

최대 문맥을 실제로 쓰는 데도 추가 여유가 필요하다. 바이두의 vLLM 플러그인 안내는 100만 토큰을 처리할 때 임시 메모리가 수십 GB 더 든다고 설명한다. 80GB GPU 구성에서는 최대 26만2,144토큰까지 들어가며 100만 토큰은 들어가지 않는다고 적었다. 현재 플러그인의 실행 대상은 NVIDIA GPU다.

추가 훈련 예제도 공개했다. NVIDIA의 Megatron Bridge 예제는 노드 16대에 GB300 GPU를 4개씩 둔 전체 모델 지도 미세조정을 설명한다. 데이터는 대화, 입력·출력 쌍, 이미 토큰으로 바꾼 자료를 받을 수 있다. 대화 자료에서는 보조자의 답변 부분만 학습 대상으로 삼고, 긴 표본은 26만2,144토큰 단위로 나눈다.

이 예제는 기존 가중치에서 훈련을 시작해 저장한 단계로 재개하고, 결과를 다시 Hugging Face 형식으로 내보내는 경로를 제공한다. 예제 문서는 Blackwell에서 검증한 구성과 검증하지 않은 Hopper 지원을 구분했다. 결과는 저장된 모델의 수치값을 바꾸지 않고 내보낸다. 원래 체크포인트의 구성 정보와 글을 토큰으로 나누는 설정도 사용한다. 문서는 해당 구현 코드를 Apache 2.0으로 제공한다고 명시했다.

성능 표는 바이두가 같은 평가 틀·프롬프트·예시 수로 다른 베이스 모델과 비교한 결과다. HumanEval+의 첫 시도 통과율은 82.3%, 비교 대상 DeepSeek V4 Flash Base는 69.5%였다. 반면 검색 결과 순서를 평가하는 HELMET-Rerank 점수는 56.2로 비교 대상의 60.0보다 낮았다. 이는 회사가 공개한 특정 베이스 체크포인트 비교다.

상업 이용 조건도 나눴다. 허용 지역에서 관련 제품·서비스의 직전 12개월 매출이 5,000만 달러 이하면 표시 의무와 최초 이용 통지를 조건으로 모델 사용료를 받지 않는다. 이를 넘으면 별도 사전 서면 승인이 필요하다.

현재 베이스 모델의 요청 경로는 입력 뒤의 글을 이어 쓰는 completions 방식이다. 바이두의 추론 플러그인 표는 채팅·추론·도구 호출용 후속 모델을 ‘공개 예정’으로 구분했다. 바이두는 후속훈련을 마친 어니 5.5 플래시를 뒤이어 내놓겠다고 밝혔으며 확정 날짜는 제시하지 않았다.