AI 답변의 모델 지문 대조…앤트로픽 FlashProve 공개

앤트로픽이 AI 답변과 특정 모델의 연결을 암호학적으로 검사하는 연구용 시제품 ‘플래시프루브(FlashProve)’를 11월 2일 공개했다. API 중계 서비스에서 자신이 선택한 모델이 응답했는지 확인하려는 이용자와 독립 평가자가 대상이다. 모델의 내부 수치인 가중치를 직접 내려받아 다시 실행하는 대신, 제공자가 만든 증명 파일을 검사하는 방식을 제시했다. 연구진의 대형 모델 시험 대상은 공개 모델인 라마4 매버릭이다.

검사의 기준은 제공자가 미리 공개하는 모델의 ‘약정 식별자’다. 특정 가중치 묶음에 대한 암호학적 지문에 해당하며, 이용자는 신뢰하는 주체에게 이 식별자를 확보해야 한다. 검사 대상 서버가 함께 보낸 식별자만 믿으면 다른 모델의 유효한 증명을 받아들일 수 있다. 공개 문서는 입력과 받은 답변으로 검사할 요청을 직접 구성하고, 증명이 다루는 출력 위치도 확인하도록 명시했다.

일치 판정과 허용 범위 판정

현재 검사는 양자화와 고정소수점 계산을 적용한 정수 모델을 기준으로 한다. 소수점 계산을 쓰는 원래 모델과 이 정수 모델의 출력 차이는 별도 측정 대상이다. 엄격한 일치 정책에서 ‘YES’가 뜻하는 것은 검사한 토큰, 즉 텍스트 처리 단위가 각 위치에서 약정된 정수 모델의 최우선 선택과 일치한다는 것이다. 답변 문장의 사실성이나 조언의 품질은 이 검사가 판단하는 항목에 포함되지 않는다.

일반적인 서비스 연결에 상정한 ‘클립드 갭’ 정책은 판정 범위가 더 느슨하다. 각 토큰의 점수가 최우선 선택에서 얼마나 벗어났는지 계산하고, 설정한 한도를 충족하면 ‘WITHIN LIMITS’를 반환한다. 한도를 크게 잡거나 후보 토큰의 점수가 비슷하면 매우 다양한 출력이 통과할 수 있다. 프로젝트는 권장 한도 값을 제시하지 않았으며, 이를 평가할 수 없는 경우 엄격한 일치 판정만 수용하도록 안내한다. 두 판정 모두 프로그램 종료 코드가 0이어서 결과 문구를 읽어야 한다.

연구진이 제시한 대표 속도는 프롬프트를 읽으며 증명을 만드는 처리량이다. 공개된 제3자 변환본의 라마4 매버릭 4비트 가중치, H100 80GB 한 대와 호스트 CPU 코어 24개를 사용했다. 요청마다 프롬프트 1,024토큰을 넣고 다음 토큰 하나를 증명하는 조건에서, 24개 요청을 묶었을 때 평균 초당 111.23토큰을 기록했다. 시작·모델 약정 비용과 검증 시간은 제외했다. 새 답변을 초당 111토큰씩 생성한 속도로 읽어서는 안 된다.

같은 측정에서 첫 묶음 이후 증명 파일이 나오기까지 걸린 시간은 묶음당 220.7~225.9초였고, 요청당 증명 크기는 평균 18.78MB였다. 제공자는 GPU로 증명을 만들고 이용자는 가중치 없이 CPU로 검사한다. 기술 보고서는 증명 생성에 드는 GPU 시간을 일반 추론 엔진 vLLM의 프롬프트 처리와 비교해 약 70~95배로 제시했다. 비교 대상은 H100 여덟 대에서 실행한 FP8 모델이며, GPU 수로 정규화한 계산 비용이다.

검증의 수학적 보장도 구현별로 범위가 정해져 있다. 연구진은 증명 보조 언어 린(Lean)으로 작성한 검증기에 대해 엄격한 일치 정책의 건전성을 증명했다고 설명했다. 해시 함수를 이상적인 무작위 함수로 가정한 수학적 모형에서 거짓 주장을 통과시키는 확률을 제한한다는 뜻이다. 빠른 C++ 검증기와 GPU 증명 생성기는 테스트로 대조한 구현이며, 그 프로그램 자체의 동등성까지 형식 증명한 것은 아니다.

운영 문서가 지원 대상으로 명시한 대형 모델 구조는 라마4 매버릭 하나이며 문맥창은 1,024토큰이다. 통상적인 추론 엔진의 답변에 정수 모델의 증명을 나중에 붙이는 방식은 문서에 예상 이용 형태로 제시됐다. 프로젝트는 학습된 모델에서 이 둘을 하나의 서비스로 묶어 실시간 실행한 상태에는 이르지 않았다고 설명한다. 증명은 지정한 출력 위치를 다루므로 검증자는 검사 범위와 답변의 끝도 확인해야 한다.

가중치 보호는 공개 값에 무작위 수치를 섞거나 별도 난수를 결합한 해시로 바꾸는 설계에 의존한다. 모델 구조·처리 시간·실패 여부 등은 공개되는 정보에 속한다. 프로젝트 문서는 실제 프로그램의 가중치 은닉을 제한된 조건 아래 기대하는 성질로 표현하고, 독립 보안 감사는 없었다고 밝혔다. 운영 지침은 비밀 상태의 복사·복원을 금지하고 모든 증명을 검증한 뒤 응답을 내보내도록 요구한다.

연구진은 코드와 기술 보고서, 프로토콜 명세 및 린 증명 자료를 공개했다. 저장소는 아파치2.0 라이선스의 연구 산출물이며 유지보수와 외부 기여 접수는 하지 않는다고 명시한다.