클로드, 긴 대화는 새 메시지만 전송…첫 응답 대기 줄인다

앤트로픽이 긴 대화에서 새 메시지만 보내도록 하는 ‘메시지 스레드’를 11월 2일 공개 베타로 내놨다. 클로드 Messages API가 대화 기록을 서버에 잠시 보관해, 개발자가 도구 실행 결과나 새 요청을 보낼 때 누적 기록 전체를 다시 올리는 부담을 줄이는 기능이다. 에이전트는 모델이 도구를 실행하고 그 결과를 받아 다음 행동을 이어가는 프로그램을 말한다.

회사는 클로드 코드 대부분의 이용자에게 이미 기본 적용했다고 밝혔다. 이 서비스에서 50만~100만 토큰 규모 요청의 첫 토큰 대기 시간 중앙값이 약 35% 줄었다는 설명이다. 첫 토큰 대기는 클로드가 답변을 내보내기 시작하기까지의 시간으로, 코드 작성이나 전체 작업 완료에 걸리는 시간과 구분된다.

첫 요청에는 대화 전체와 시스템 지시·도구 정의가 들어간다. 이후에는 추가된 메시지와 직전 응답의 식별자만 보낸다. API는 서버에 남아 있는 대화와 새 내용을 합친 뒤 모델에 전달한다. 파일 수정과 도구 결과가 쌓이는 코딩 작업이나 이미지·문서를 여러 번 다루는 대화에서 반복 업로드하는 양이 줄어드는 방식이다.

클로드가 매번 읽는 대화의 범위는 유지된다. 앤트로픽은 토큰 사용량·기존 요금·호출 한도가 그대로라고 밝혔다. 별도의 ‘프롬프트 캐싱’은 재사용할 입력 부분을 지정해 계산 결과를 활용하는 기능으로, 캐시 읽기·쓰기와 일반 입력이 각각 과금된다. 프롬프트 캐시의 기본 수명은 5분이고, 추가 비용을 내는 1시간 옵션도 있다. 1시간 캐시를 골라도 메시지 스레드의 5분 만료가 함께 늘어나는 것은 아니다. 메시지 스레드의 전송 축소와 비용 절감을 함께 계산하려면 두 기능을 따로 구분해야 한다.

대화 원본은 앱에, 서버 스레드는 짧게

서버 스레드는 마지막 요청 뒤 5분이 지나면 만료된다. 계속 이어갈 수 없는 스레드에 새 내용을 보내면 전체 기록을 넣어 새 스레드를 만드는 복구 경로가 필요하다. 공식 파이썬 SDK 구현에는 저장된 응답 식별자를 이용한 이어 보내기와, 서버가 스레드를 찾지 못했을 때 전체 기록으로 다시 시작하는 처리가 들어 있다. 이어 보내기가 이미 처리됐거나 아직 처리 중이라는 오류를 받았을 때도 저장한 전체 기록으로 새 스레드를 시작하는 경로가 있다. SDK의 순차 수신 도우미는 응답 스트림이 끝나거나 닫힐 때까지 해당 차례를 진행 중으로 다룬다.

앱은 대화의 원본을 계속 관리한다. SDK는 보낸 메시지와 받은 답변을 로컬 상태에 보관하며, 다음 요청에 새로 추가된 내용만 골라 담는다. 공식 예제는 같은 주문 상담 기록을 복사해 취소와 대기라는 두 방향으로 나누는 모습도 보여 준다. 복사본의 첫 요청은 전체 기록으로 별도 서버 스레드를 만들고, 이후 두 대화는 독립적으로 이어진다. 이는 회사가 제공한 코드 예제이며 실제 주문 처리 사례는 아니다.

서버 보관 정책도 일반 메시지 호출과 다르다. 앤트로픽의 데이터 보관 표에 따르면 스레드에는 대화·시스템 지시·도구가 포함되고, 서버 관리 키로 암호화한 메모리에 저장한다. 영구 저장 장치에 기록하지 않으며 마지막 이용 후 최대 1시간 안에 삭제한다. 이어 보내기가 끝나는 5분 만료 시점과 삭제 완료의 최장 시점은 별개다. 이 기능은 제로 데이터 보관(ZDR)과 HIPAA 적격 대상에서 제외된다. 표준 메시지 API의 적격 여부와 별도로, 이용하는 기능별 보관 조건을 적용하는 정책이다.

베타 적용에는 메시지 요청의 스레드 항목과 전용 헤더를 사용한다. 릴리스 노트에 적힌 헤더 이름은 ‘message-threads-2026-08-12’로, 이 문자열 속 날짜는 이번 공개 베타 발표일인 11월 2일과 다르다. 일반 클로드 대화 화면에 장기 보관함을 추가하는 제품으로 발표된 기능은 아니다.

공개 문서는 한 스레드 안에서 모델과 시스템 지시 등 일부 설정을 고정하도록 한다. 대화 앞부분을 수정하거나 요약으로 교체할 때는 전체 기록 또는 요약을 넣은 새 스레드를 만든다. 메시지 일괄 처리와 요청형 문맥 압축 등은 지원 범위에서 빠진다. 공개 베타 제공 경로는 클로드 API, Claude Platform on AWS, 마이크로소프트 파운드리, 앤트로픽이 관리하는 구글 클라우드의 클로드 모델이다.