허깅페이스, 언어 모델 호출을 오픈라우터로 전환…공급자 키 지원 종료
편집·검토: AI Ping 편집팀
3줄 요약
- 허깅페이스 인퍼런스 프로바이더가 11월 16일부터 언어 모델 요청을 오픈라우터로 보낸다.
- 기존 허깅페이스 토큰을 쓸 수 있다. 첫 공급자가 실패하면 같은 모델을 제공하는 다른 공급자에 재시도한다.
- 언어 모델에서 공급자 자체 API 키 사용을 끝내고 허깅페이스 계정 또는 조직에 청구한다.
허깅페이스가 11월 16일 인퍼런스 프로바이더(Inference Providers)의 언어 모델 호출을 자체 경로에서 오픈라우터(OpenRouter)로 전환했다. 이미 허깅페이스 토큰으로 호출하던 개발자는 같은 주소와 토큰을 쓴다. 요청을 받은 공급자에 장애가 있으면 오픈라우터가 같은 모델을 실행하는 다른 공급자에 다시 요청할 수 있다.
전환의 영향을 바로 받는 쪽은 모델 호스팅 회사에서 직접 받은 API 키를 허깅페이스에 등록해 쓰던 개발자다. 허깅페이스는 언어 모델에서 이 인증 방식을 종료하고 개인 계정이나 조직에 사용료를 청구한다. 채팅 모델에 사진을 보내 설명을 받는 요청은 전환 범위에 들어간다. 이미지나 동영상, 오디오를 생성하는 요청은 기존 경로를 쓰며 이미지·동영상의 공급자 키도 계속 지원한다.
허깅페이스는 2025년 1월 외부 호스팅 회사 네 곳과 인퍼런스 프로바이더를 시작했다. 개발자는 허깅페이스에서 모델을 고르고 외부 회사가 운영하는 서버에서 실행할 수 있었다. 오픈라우터는 이번 연동으로 두 서비스에 걸쳐 제공되는 모델이 출시일 기준 38개 개발사의 160개라고 밝혔다. 공급자 수는 모델마다 다르며, 허깅페이스 모델 페이지의 공급자 목록에서 확인할 수 있다.
첫 공급자가 응답을 거절하면 같은 호출에서 재시도
이전 인퍼런스 프로바이더는 공급자 하나를 골랐고, 그곳이 요청에 실패하면 오류를 호출한 앱에 반환했다. 새 경로는 공급자의 요금과 응답 속도, 최근 실패율을 반영해 요청을 배분한다. 한 공급자가 처리 용량을 초과해 거절하면, 가능한 경우 같은 API 호출을 마치기 전에 다른 공급자로 보낸다. 허깅페이스가 인증과 결제를 맡고 오픈라우터가 실행할 서버를 고르는 방식이다.
호출할 모델 이름 끝에 붙이는 옵션으로 처리량이 높은 곳이나 요금이 낮은 곳을 우선할 수 있다. 공급자 한 곳을 지정한 요청은 그곳에만 간다. 지정한 공급자가 장애를 일으키거나 해당 모델을 제공하지 않으면 오류가 반환된다. 대화가 이어질 때는 이전 입력의 계산 결과를 보관한 공급자를 다시 쓰는 기능도 적용된다. 같은 대화가 같은 서버로 가면 긴 대화 기록을 매 차례 처음부터 처리해야 하는 부담을 덜 수 있다.
오픈라우터는 10월 자사 서비스에서 새 방식과 이전 방식을 번갈아 적용해 일주일 동안 2,400만 건이 넘는 요청을 비교했다. 처리 한도 오류를 한 번이라도 만난 요청 비중은 7.1%에서 3.8%로 줄었다. 답변이 시작되기까지 걸린 시간의 중앙값은 16.9% 낮아졌고 요청당 비용은 6.0% 높아졌다. 허깅페이스가 전환한 뒤의 실측치와는 별개인 오픈라우터 자체 비교다.
공급자 요금은 허깅페이스 청구서에
허깅페이스는 공급자가 책정한 요금을 추가 수수료 없이 청구한다고 밝혔다. 같은 언어 모델에도 공급자별 입력·출력 요금이 다를 수 있다. 기본 경로는 가격과 함께 속도와 실패율을 따지기 때문에 가장 싼 공급자가 매번 선택되는 방식은 아니다. 모델 페이지에는 공급자별 가격과 속도, 최근 24시간 가동률이 표시되고 사용 내역은 모델과 공급자별로 나뉜다.
유료 프로(Pro) 계정에는 월 2달러, 팀과 엔터프라이즈에는 구독 인원 1명당 월 2달러의 컴퓨팅 크레딧이 포함된다. 팀·엔터프라이즈 크레딧은 조직 안에서 공유된다. 무료 계정은 인퍼런스 프로바이더 사용을 위해 크레딧을 구입할 수 있으며, 유료 계정에 포함된 크레딧은 추론 외 다른 허깅페이스 컴퓨팅 서비스에도 쓰인다.
팀 비용으로 처리할 요청은 청구 받을 조직을 지정한다. 개발자 개인의 토큰으로 인증하더라도 그 요청에는 조직의 공급자 설정이 적용된다. 예를 들어 조직이 제외한 공급자를 팀원이 개인 설정에서 허용해도 조직 청구 요청은 그곳에 가지 않는다. 허깅페이스 요금 문서에 따르면 관리자는 조직의 지출 한도와 공급자 목록을 설정할 수 있다.
모델 페이지에서 확인할 수 있는 실행 경로
허깅페이스의 보안 문서는 자체 경로를 지나는 요청 본문과 응답을 회사가 저장하지 않는다고 설명한다. 요청을 실제로 처리하는 외부 업체는 각자의 데이터 정책을 적용한다. 모델을 선택한 뒤 공급자 목록을 보면 가능한 실행 업체를 알 수 있고, 공급자 문서에서는 업체별 개인정보 처리 정책을 확인할 수 있다.
허깅페이스는 다음 단계로 사용자의 오픈라우터 계정을 연결하는 기능과 추가 작업의 전환을 예고했다. 공지에는 두 변경의 적용 날짜가 따로 제시되지 않았다.
출처
- November 16 announcement and end of custom keys for language models — Hugging Face
- Hugging Face integration and supported model count at launch — OpenRouter
- Routing policies, failover and provider pinning — Hugging Face
- Supported providers and task boundaries — Hugging Face
- January 2025 Inference Providers launch — Hugging Face
- October experiment methodology and routing results — OpenRouter
- Monthly compute credits and organization billing — Hugging Face
- Personal and organization settings on the Hub — Hugging Face
- How a conversation reuses a provider’s prompt cache — Hugging Face
- What Hugging Face stores when routing requests — Hugging Face
