선택지 확률로 답하는 사르밤 프리즘 공개

사르밤 AI가 11월 3일 고정된 선택지에 확률을 매기는 판단 모델 프리즘을 공개했다. 기반은 사르밤 105B이며 가중치와 호스팅 API를 함께 제공한다. 개발자가 업무 상황과 질문을 보내면 각 선택지의 확률을 받아 분류·평가에 연결할 수 있다.

공식 API 예제는 고객 문의 하나에 담당 부서, 심각도, 긴급 여부를 함께 묻는다. 부서는 정해 둔 후보 중 하나를 고르고, 심각도는 순서가 있는 척도에서 점수를 내며, 긴급 여부는 예일 확률로 돌려준다. 세 질문의 결과가 각각 돌아오므로 같은 문의에서 여러 판단을 얻는 방식이다. 사례는 사르밤이 제공한 문서 예제다.

사르밤은 자체 평가한 세 지수의 평균이 71.8점이며 B200 한 대에서 응답 시간 중앙값이 44밀리초였다고 밝혔다. 공개 Jev 평가, 회사가 재구성한 Artificial Analysis 평가, 내부 인도 언어 평가의 평균이다. API로만 제공되는 비교 모델 일부는 업체가 발표한 시간을 사용했다. 따라서 이 표는 모든 모델을 같은 서버에서 독립 시험한 결과로 제시되지 않았다.

선택 확률과 환산 신뢰도는 다른 값

API의 선택형 응답에는 각 후보의 확률과 별도의 신뢰도 값이 실린다. 세 후보 중 가장 높은 확률이 0.8이면 신뢰도 필드는 0.7이다. 균등한 확률을 0, 확실한 선택을 1로 환산하기 때문이다. 사르밤 문서는 자동 처리 기준을 설명할 때 최상위 후보의 확률을 사용하며, 환산된 신뢰도 필드와 구분한다.

회사 문서는 확률 기준을 0.9로 잡으면 영어 답변의 약 68.5%, 인도 언어 답변의 약 38.4%가 이를 넘는다고 적었다. 나머지를 사람에게 넘기는 예시도 제시했다. 같은 요청의 확률은 조금 달라질 수 있으나 가장 높은 후보는 안정적으로 유지된다는 설명이다.

공개된 실행 코드에서도 선택지 순서를 맞추는 처리를 확인했다. 선택형은 후보 이름을 기준으로 순서를 통일해 계산하고 결과를 같은 이름에 연결한다. 입력 목록을 재배열해도 후보와 확률의 대응 관계를 유지하는 방식이다. 점수형은 낮은 단계부터 높은 단계까지 받은 순서를 보존하고 단계별 확률로 평균 점수를 계산한다. 평균이 두 단계 사이에 걸리면 소수 값으로 돌아오며, 가장 높은 확률을 받은 단계도 별도 항목으로 제공한다. 따라서 점수형에서 단계의 순서는 척도의 의미를 정하고, 선택형에서 후보를 나열하는 순서는 정렬 처리로 통일된다.

요금표는 모든 요금제에서 입력 100만 토큰당 4인도루피, 출력은 0루피로 안내한다. 금액은 GST를 제외한 값이다. 같은 상황에 질문을 여러 개 붙여도 상황 설명은 요청당 한 번 계산하고, 질문마다 지시와 선택지 분량을 더한다. 공통 입력을 매번 다시 보내는 요청과 한 요청에 여러 질문을 담는 경우의 과금 범위가 달라진다. 문서는 1,000토큰의 상황 설명에 짧은 질문 세 개를 붙인 경우를 약 0.004루피로 예시한다.

서버 API의 한도는 질문당 32,768토큰이다. 상황 설명·질문·선택지를 모두 포함하며 선택형은 후보 2~255개, 점수형은 단계 2~10개를 받는다. 질문 하나가 한도를 넘으면 전체 요청이 거절된다. 입력을 조용히 잘라 처리하지 않으며, 요청 처리 제한 시간은 60초다. 응답은 JSON 한 번으로 돌아오고 이미지·스트리밍은 지원 범위에서 빠져 있다.

공개 가중치를 직접 실행할 때의 문맥 한도는 모델 카드상 질문당 131,072토큰이다. 이는 위의 호스팅 API 한도와 다르다. 카드의 지연 측정은 적재를 마친 뒤 요청 1,000개를 하나씩 보내는 조건이며, 중앙값 44밀리초와 함께 95백분위 420밀리초도 공개했다. 이번 취재에서는 모델을 실행하거나 지연을 직접 측정하지 않았다.

자체 운영에는 FP8을 지원하며 약 120GB의 여유 메모리를 가진 엔비디아 GPU 한 대와 가중치용 저장 공간 약 106GB가 필요하다고 안내한다. B200에서 시험했으며 H200도 예시 장비로 들었다. 가중치는 전용 FP8 배열을 사용하므로 배포된 전용 로더로 읽는다. 범용 텍스트 생성 서버에 그대로 올리는 형식은 지원하지 않는다.

가중치의 라이선스는 아파치 2.0이다. 자체 운영용 실행 코드와 모델 파일을 같은 공개 저장소에서 제공한다.