구글 제미나이 Decisions API 공개…한 요청에 최대 1,000개 판단

구글이 11월 11일 제미나이 Decisions API를 공개 베타로 내놨다. 개발자는 사진이나 문서 같은 자료를 한 번 보내고, 그 자료에 대해 서로 독립적인 질문을 최대 1,000개까지 평가할 수 있다. 새 모델 ‘제미나이 디시전 1(Gemini Decision 1)’은 개발자가 미리 정한 선택지의 확률이나 채점 기준에 따른 점수를 돌려준다.

가령 배송 문의를 처리하는 서비스는 고객 메시지와 첨부 사진을 한 요청에 넣어 포장 파손 여부와 문의 유형을 각각 판단할 수 있다. 앱은 응답에 담긴 수치를 바로 읽어 파손 신고를 확인하거나 문의 유형을 분류할 수 있다. 구글 AI 스튜디오에서 발급한 제미나이 API 키로 이용할 수 있다. 무료 구간이 있으며, 유료 요금은 입력 100만 토큰당 0.10달러다.

한 요청에 예·아니오, 선택, 채점을 섞는다

공통 자료에는 텍스트와 이미지, 오디오, 동영상, PDF를 넣을 수 있다. 구글이 모델 문서에 명시한 요청당 입력 상한은 26만2144토큰이다. 질문마다 첨부 자료를 다시 보낼 필요가 없으므로, 같은 사진을 보고 상자가 있는지와 봉인 상태가 어떤지를 각각 물을 수 있다. 질문은 독립적으로 처리된다. 앞선 답이 다음 질문의 조건이라면 앱이 첫 답을 받은 뒤 다음 요청을 보내거나, 두 답을 받아 필요한 결과만 골라 쓰는 방식이다.

응답 형식은 세 가지다. 예·아니오 질문은 ‘예’일 확률을 0.01~0.99로 돌려준다. 단일 선택은 미리 정한 후보 2~255개 가운데 하나를 고르고 각 후보의 확률도 보여 준다. 채점은 순서를 매긴 기준 2~255개를 받는다. 가령 상자 상태를 ‘손상 없음’, ‘표면 눌림’, ‘내용물 노출’로 나누면 API는 각 단계의 확률을 반영한 점수와 단계별 확률을 함께 반환한다.

확률로 문의를 분류하고 애매한 건은 검토로

예·아니오 질문에서 ‘예’의 확률과 답의 신뢰도는 다른 값일 수 있다. 예를 들어 모델이 포장 파손 가능성을 0.10으로 매겼다면, 더 가능성이 큰 답인 ‘아니오’의 신뢰도는 0.90이다. 구글이 설명한 계산식을 적용한 가상의 수치다. 선택형 질문에서는 확률이 가장 높은 후보의 확률이 신뢰도로 표시된다. 서로 비슷한 확률을 받은 후보가 있는지도 응답에서 확인할 수 있다.

배송 문의를 나누는 앱이라면 모델이 반환한 유형에 따라 접수 부서를 정하고, 신뢰도가 낮은 건만 담당자에게 보낼 수 있다. 자동 분류에 사용할 기준값은 앱이 정한다. 구글은 실제로 분류 결과가 알려진 사례로 기준값을 검토하도록 문서에 안내했다. 사내 적용 사례로는 제미나이 노트북을 들었다. 이 서비스는 들어온 질문을 분류해 일상적인 질문에는 응답이 빠른 모델을, 복잡한 질문에는 더 깊이 추론하는 모델을 배정한다.

사진을 한 번 보내도 질문에 쓰는 토큰은 더해진다

여러 질문이 공통으로 읽는 사진이나 문서의 토큰은 요청당 한 번 계산한다. 개별 질문의 지시, 선택지, 채점 기준과 그 형식에 쓰인 토큰은 입력에 더해진다. 같은 자료라도 별개의 요청으로 다시 보내면 각 요청의 입력량에 포함된다. 모델이 확률과 점수를 담은 구조화된 응답을 보내는 데는 출력 토큰 요금이 붙지 않는다. 구글 요금표는 유료 입력 단가를 텍스트, 이미지, 오디오, 동영상, 문서에 동일하게 적용한다.

무료 구간에는 분당 200요청, 분당 5만 토큰, 하루 1만 요청 한도가 있다. 가장 낮은 유료 등급인 티어 1은 분당 1,500요청, 분당 100만 토큰, 하루 5만 요청이다. 자료가 긴 서비스에서는 요청 횟수보다 분당 토큰 한도에 먼저 닿을 수 있다. 한 요청에 여러 질문을 넣는 기능은 실시간 요청에 적용된다. 여러 요청을 모아 나중에 처리하는 구글의 별도 Batch API는 이 모델을 지원하지 않는다.

구글은 자체 시험에서 입력이 1만6000토큰 이하일 때 요청부터 응답까지 걸린 시간의 중앙값이 150~250밀리초였다고 밝혔다. 질문 수에 따른 속도 비교는 요청당 1~100개 범위였다. 최대 입력 길이와 최대 질문 수는 모델의 규격이며, 발표에서 공개한 속도 측정 범위는 이보다 작다.

공개 베타의 요청 경로는 /v1beta/decisions다. 11월 11일자 제미나이 API 변경 내역에는 이 API와 디시전 1 모델이 함께 올라왔다. 구글은 구글 클라우드의 제미나이에도 지원을 추가할 예정이라고 밝혔으며 제공 시작일은 공개하지 않았다.