AI에 자료 보내기 전 서버부터 검증… 코히어 베타

코히어가 AI에 보낼 자료를 처리할 서버부터 검증하는 기업용 추론 서비스의 공개 베타를 내놨다. 22일자 공식 발표에 따르면 새 Model Vault 기능은 마이크로소프트 애저의 엔비디아 H100 GPU에서 작동한다. 회사는 AI가 문서와 질문을 처리하는 동안에도 서비스 운영자의 원문 접근을 막도록 설계했다고 밝혔다.

Model Vault는 고객마다 전용 인프라를 배정하고 코히어가 모델 배포·유지보수·확장을 맡는 서비스다. 기존 Standard 유형이 전송 중이거나 저장된 데이터를 보호한다면, Encrypted 유형은 모델이 데이터를 사용하는 단계의 보호와 실행 환경 검증을 추가한다. 베타 참여를 원하는 기업은 코히어에 접근을 문의해야 한다.

자료를 보내기 전 고객 측 소프트웨어가 서버의 하드웨어·펌웨어·실행 코드 정보를 담은 서명된 증거를 확인한다. CPU와 GPU가 요구한 보안 상태인지, 소프트웨어가 승인된 구성과 맞는지를 대조하는 절차다. 검증에 실패하면 연결을 거부하고 요청 내용을 전송하지 않는다.

검증을 통과한 뒤에는 고객 측 프록시가 요청 내용을 암호화해 보낸다. Oblivious HTTP라는 전송 방식을 사용해 중간의 부하 분산 장치와 네트워크가 문서나 질문의 원문을 읽지 못하게 한다. 요청을 해독하는 곳은 검증된 실행 환경 내부이며, 답변도 돌아오는 경로에서 암호화된다.

추론 서버는 CPU와 GPU를 아우르는 신뢰 실행 환경, 즉 TEE 안에서 작동한다. 내부의 추론 소프트웨어는 원문을 처리하지만 외부의 호스트 운영체제·가상화 계층·운영 도구는 그 메모리를 읽을 수 없다는 것이 코히어의 설명이다. 보호 대상에는 질문뿐 아니라 생성된 답변도 포함된다.

요청을 해독하는 비밀키는 이 환경 안에서 생성되고 보호된 메모리에 머문다. 서버를 여러 복제본으로 늘릴 때도 검증을 통과한 환경끼리만 키를 공유한다. 회사 문서는 데이터 무보관 기능인 ZDR을 활성화하면 추론에 사용한 질문과 답변을 이후 보관하지 않는다고 설명한다.

보호 범위에 포함되지 않는 정보도 있다. 요청 시각과 크기, 호출하는 모델 등 트래픽 정보는 외부에서 관측될 수 있다. 인프라 운영자는 여전히 작업을 중단하거나 서버를 다시 시작할 수 있으며, 하드웨어의 시간 차이 등을 이용하는 부채널 공격 위험도 완전히 없어지지는 않는다.

코히어는 보안 경계 내부에서 돌아가는 애플리케이션의 취약점도 별도로 다뤄야 한다고 밝혔다. 악성 지시를 끼워 넣는 프롬프트 주입이나 잘못된 권한 설정은 이 기능만으로 해결되지 않는다. 모델은 보호된 환경 안에서 원문을 처리하므로, 암호문을 그대로 계산하는 동형암호와도 방식이 다르다.

검증 방식은 서버 구성에 따라 다르다. AMD SEV-SNP에서는 고객 측 프록시가 CPU 증거를 검사하고 GPU 검증에 엔비디아의 서비스를 이용한다. Intel TDX에서는 Intel Trust Authority가 발급한 전자서명이 담긴 검증 결과를 프록시가 확인한다.

Encrypted 유형 요금은 Standard와 별도로 책정되며, 제공 가능한 모델·용량·지역도 확인 대상이다. 회사는 정식 제공 단계에 맞춰 엔비디아 B200을 포함한 블랙웰 인프라 지원을 준비하고 있다고 밝혔다.