클라우드플레어, 워커스에 지출 한도 도입…AI 모델 호출료는 별도

클라우드플레어가 11월 13일 사용량에 따라 요금을 내는 고객에게 지출 관리(Spend Management) 베타를 열었다. 먼저 적용되는 제품은 서버리스 코드 실행 환경인 워커스(Workers)와 대화 상태처럼 여러 요청에 걸쳐 쓰는 데이터를 유지할 수 있는 듀러블 오브젝트(Durable Objects)다. 고객이 제품에 지출 한도를 설정하면 클라우드플레어가 기준액에 도달한 제품의 새 작업을 차단한다. 알림만 설정하면 이메일을 보내고 작업은 계속 처리한다.

예를 들어 워커스에서 챗봇의 요청을 받고 듀러블 오브젝트에 대화 상태를 저장한다면, 두 제품의 사용료는 각각의 한도에서 계산된다. 챗봇이 답변을 생성할 때 드는 모델 호출료는 별도다. 클라우드플레어는 AI 게이트웨이를 거치는 모델 호출에는 기존의 게이트웨이 지출 한도를 적용할 수 있다고 설명했다. 한 챗봇에서도 웹 요청을 받아 코드가 실행되는 지점과 모델에 질문을 보내는 지점에 각기 다른 규칙이 적용되는 셈이다.

개발용 워커와 운영용 워커가 한도를 공유한다

워커스는 계정에 있는 모든 워커의 요청과 CPU 사용료를 합산한다. 같은 계정에서 개발용 워커의 사용량이 늘어 기준액을 채우면 고객용 AI 앱의 새 요청도 실패할 수 있다. HTTP 요청 외에 예약 실행과 큐 메시지를 처리하는 워커 실행도 대상이다. 워커 코드의 실행 없이 제공하는 정적 파일은 계속 열릴 수 있어, 화면이 보이더라도 답변을 생성하는 요청에서는 오류가 발생할 수 있다.

듀러블 오브젝트를 쓰는 앱에서는 지출 한도가 적용된 뒤 새 객체 요청과 SQLite 읽기·쓰기가 거부될 수 있다. 이미 대기 중인 예약 작업은 보류되며, 예약한 지 7일이 넘은 알람은 보류 중 삭제된다. 이미 열려 있는 웹소켓 연결의 메시지는 계속 전달될 수 있고, 기존에 저장한 데이터의 보관료도 계속 부과된다. 같은 앱에서 워커스와 듀러블 오브젝트가 모두 한도에 걸렸다면 두 서비스의 차단 상태가 각각 영향을 준다.

클라우드플레어는 변경 기록에서 워커스 사용료가 5달러와 9달러에 도달할 때 이메일을 보내고, 10달러에서 실행을 차단하는 예를 들었다. 지출 한도를 켜도 기준액 도달을 기록한 뒤 차단이 적용될 때까지 시차가 생긴다. 청구 문서는 집계 지연과 진행 중인 작업, 구독료나 데이터 보관료 때문에 설정한 금액보다 실제 청구액이 커질 수 있다고 안내한다.

계정의 청구 화면은 제품별로 집계한 사용료와 한도 도달 여부를 보여준다. 설정을 바꾼 사람과 변경 시각은 감사 로그에 남는다. 클라우드플레어는 임곗값에 도달했다는 기록만으로 차단이나 이메일 전송이 완료됐는지 판단할 수 없다고 설명한다.

모델 호출 예산은 게이트웨이에서 계산

AI 게이트웨이에서는 게이트웨이별로 예산을 설정하고, 모델이나 공급자 또는 요청에 붙은 사용자 식별값을 기준으로 적용 범위를 좁힐 수 있다. 사내 챗봇이라면 한도를 적용한 모델에 여러 사람이 함께 쓰는 예산을 둘 수도 있고, 요청을 보낸 사용자를 구분해 각자에게 예산을 부여할 수도 있다. 게이트웨이는 단가를 파악할 수 있는 모델의 토큰 사용량을 바탕으로 호출 비용을 집계한다.

기본 차단 설정에서는 예산을 소진한 모델의 후속 요청에 정해진 집계 기간이 끝날 때까지 HTTP 429가 반환된다. 사용자마다 별도 예산을 두면 이 제한은 배정액을 소진한 사용자에게 적용된다. 같은 모델을 쓰는 다른 사용자는 자신의 한도 안에서 호출할 수 있다. 게이트웨이 예산에는 해당 게이트웨이로 보낸 호출만 집계된다.

한도가 풀리는 시점은 구독 갱신일

이번 베타의 제품별 지출은 구독 청구 주기 안에서 계산되고, 플랜에 포함된 기본 사용량을 뺀 뒤 달러로 표시된다. 구독 갱신일이 매월 15일인 계정은 해당 날짜에 새 청구 주기가 시작되며, 지출 한도 설정은 다음 주기에도 유지된다. 새 한도를 지정할 때는 그 전에 같은 주기에 이미 기록된 사용료도 포함된다. 한도 변경으로 기존 차단을 해제할 때는 적용까지 수분이 걸릴 수 있다.

클라우드플레어는 향후 여러 제품에 걸친 지출을 앱이나 에이전트별로 묶어 제어하는 방안을 공개했다. 예를 들어 한 에이전트가 모델 호출과 코드 실행, 데이터 보관에 쓴 금액을 합산하는 방식이다. 앱·에이전트 단위 예산의 출시일은 발표에 제시되지 않았다.