엣지0-145B⁠·⁠120B, PC에서 사진 질문 받는다

엣지0가 11월 15일 로컬 AI 모델 엣지0-145B와 120B에 정지 이미지를 읽는 인코더를 추가했다. 회사가 허깅페이스에 올린 변경 이력을 보면, 145B의 NVFP4 배포본에 첫 인코더 파일이 등록된 시각은 이날 12시 22분 35초(UTC)다. 같은 날 두 모델의 Q3_K와 NVFP4 배포본 네 곳에 파일이 올라왔고 이미지 입력 안내도 추가됐다.

기존 모델을 PC에서 돌리던 사람은 이미지 처리 프로그램을 준비하고 설정을 켜면 사진이나 화면 캡처를 텍스트 질문과 같이 보낼 수 있다. 모니터에서 본 배치나 사진 속 사물을 묻는 작업에서 이미지 자체를 요청에 담는 방식이다. 예를 들어 문서에 넣을 사진을 정리하면서 그 안에 어떤 물건이 보이는지 물으면, 사진을 처리한 모델이 같은 컴퓨터에서 텍스트로 답변한다. 공개 안내는 터미널 채팅과 로컬 서버에서 이 방식으로 질문하는 예를 제시한다.

이미지 처리에 CPU와 GPU 중 선택

새로 올라온 파일은 약 908MB다. 네 배포본의 파일 목록은 동일한 크기와 내용 해시를 표시한다. 인코더는 사진의 시각 정보를 숫자 벡터로 바꾸고, 기존 언어 모델은 그 정보를 텍스트 질문과 함께 읽어 답을 생성한다. 언어 모델의 가중치는 그대로 쓰는 구조다. 허깅페이스의 변경 이력에는 첫 업로드 뒤 같은 날 파일명이 정리된 과정도 남아 있다.

엣지0 안내는 사진을 먼저 처리하는 부분을 CPU에 맡기는 설정을 예로 든다. 이 방식은 인코더 몫의 그래픽 메모리를 따로 잡지 않는다. 언어 모델은 계속 원래 실행 환경에서 작동한다. 별도 그래픽 메모리가 있는 카드에서 인코더도 GPU로 실행하면, 엣지0 안내 기준으로 약 1.4GB를 인코더에 배정한다. 그만큼 언어 모델이 답변에 필요한 가중치 일부를 카드에 미리 담아 두는 공간이 줄어든다. 엔비디아 카드에 이미지 처리를 맡기려면 인코더 프로그램도 CUDA를 지원하도록 빌드돼 있어야 한다.

이미지 한 장에 배정한 처리량도 바꿀 수 있다. 회사 예시 설정은 사진 한 장을 최대 1,024토큰으로 표현한다. 이 숫자는 응답 길이나 사진 장수 대신, 사진의 정보를 모델 입력으로 얼마나 세분화할지를 정한다. 엣지0는 상한을 높이면 사진의 세부를 더 남길 수 있지만 처리 시간이 길어진다고 설명한다.

모델 폴더에 파일이 있어도 설정은 필요

엣지0가 배포하는 네 모델 폴더의 기본 설정에는 이미지 처리 항목이 아직 들어 있지 않다. 따라서 파일을 받은 다음에는 이미지 처리 프로그램을 갖춘 실행 환경에서 모델의 설정 파일에 이미지 처리 경로를 지정해야 한다. 공개 소스의 빌드 문서도 인코더 프로그램을 선택 구성 요소로 다룬다. 깃허브에서 확인한 데스크톱 앱의 최신 배포 기록은 11월 11일자 v0.2.0이다. 15일 공개 안내에서 이미지 입력 경로로 설명한 것은 터미널 채팅과 로컬 API다.

설정이 갖춰지면 터미널 채팅에서 컴퓨터에 있는 사진 파일을 지정해 질문할 수 있다. 로컬 서버를 연결한 개발 도구는 같은 채팅 요청 안에 질문과 사진을 넣는다. 제조사 안내는 그 경로에서 요청 안에 포함한 이미지 데이터, 웹 주소, 로컬 파일 경로를 입력 예로 제시한다. 손에 든 카메라나 저장장치에서 옮긴 사진은 파일로 전달할 수 있고, 외부 웹 주소를 사용하면 사진을 불러오는 단계에는 네트워크 연결이 필요하다.

공식 모델 카드의 실행 요건은 가중치 형식에 따라 갈린다. 리눅스와 윈도우에서 안내하는 엔비디아 경로는 CUDA 13을 사용한다. 애플 실리콘 맥의 실행 안내는 Q3_K 형식과 메탈을 명시하며, NVFP4 형식은 CUDA용이다. 이미지 처리 프로그램의 공개 빌드 파일에는 맥에서 CPU 또는 메탈로 시각 정보를 처리하는 선택지도 있다. 같은 인코더 파일을 받더라도 기존 언어 모델을 실행해 온 운영체제와 가중치 형식이 여전히 설치 조건을 결정한다.

사진을 보낸 뒤에는 답변에 배정하는 길이와 모델이 답변 전에 추론하는 방식을 따로 정할 수 있다. 엣지0는 로컬 API 예시에서 답변 한도가 짧을 때 추론에 토큰을 먼저 쓰면 화면에 보여 줄 텍스트가 남지 않을 수 있다고 설명했다. 사진을 입력으로 쓰는 설정과 별도로, 회사는 이 경우 추론 단계를 끄고 바로 답을 받는 선택지를 문서에 실었다.