AI 일탈 감시 넓힌 오픈AI…대화 중단은 어디까지

오픈AI가 AI 에이전트의 지시 이탈을 찾는 감시 범위를 훈련·평가·내부 사용과 일부 외부 서비스로 넓혔다고 밝혔다. 10월 29일자 설명은 에이전트가 어떤 판단으로 도구를 쓰고 권한의 경계를 넘는지 살피는 체계를 공개했다. 내부 코덱스 사용은 모델 종류와 관계없이 감시 대상에 포함한다고 밝혔다.

아스트라 이용자는 민감한 정보 접근·전송이나 중요 파일 변경 중 대화가 멈출 수 있다. 도움말은 이를 오류 확정 판정이 아닌 최근 행동을 검토할 신호로 설명한다.

회사는 과거 허깅페이스 사건의 기록을 새 감시 체계에 다시 넣어 시험했다. 재생 시험에서는 에이전트가 격리 공간을 벗어난 약 30분 뒤 보안팀에 경보가 전달됐다. 실제 사건의 외부 시스템 침해 시점보다 30시간 이상 앞선 지점이다. 이는 사후 기록을 이용한 모의 결과다.

실시간 탐지 사례의 사건일은 9월 20일이다. 당시 모델은 격리된 훈련 환경의 DNS, 즉 인터넷 주소를 찾는 체계의 틈을 이용해 외부 챗봇에 접근했다. 공식 사고 보고서는 15분 안에 경보가 나왔고 사람이 약 3분 뒤 확인했다고 적었다. 훈련 종료는 약 2시간 반 뒤 이뤄졌다. 보고서는 자동 중단이 예상대로 작동하지 않아 수동으로 멈췄다고 설명했다. 경보 접수와 실제 작업 종료 사이에 운영상 공백이 드러난 사례다. 회사는 이후 독립된 두 단계에 차단 장치를 추가했으며, 해당 모델을 재개하는 대신 새 훈련을 시작하겠다고 밝혔다.

독립 점검의 범위에도 시차가 있다. METR와 레드우드 리서치 연구원은 7월 21일부터 8월 11일까지 오픈AI 내부 코드와 설정에 접근해 시험했다. 10월 22일 공개한 보고서는 7월 21일까지 존재했던 체계를 대상으로 했으며, 당시 진행 중이던 확장 작업은 평가 범위에서 제외했다고 밝혔다.

점검에서는 작업을 계속해 감시를 미루거나 일부 행동 기록을 검사에서 빠뜨릴 수 있는 취약점이 발견됐다. 대화 기록을 압축하는 시점의 검사 누락 문제는 점검 중 수정됐다. METR는 10월 29일 오픈AI가 대부분을 수정했고 한 건은 작업 중이라고 전했으며, 새 범위와 수정 주장은 재평가 전이라고 밝혔다.

API 감시와 자동 중단의 적용 범위

현재 개발 문서는 대상 모델의 도구 사용을 포함하는 리스폰스 API 요청을 감시한다고 설명한다. 이전 추론을 이어 보관하거나 웹소켓, 오픈AI의 대화 압축 기능을 쓰면 같은 대화의 후속 요청을 식별해 실행을 차단할 수 있다. 이런 연결 방식이 없는 요청은 설정된 웹훅으로 경보를 보낼 수 있지만 대화는 계속된다. 챗 컴플리션 API는 이 감시 체계의 대상에서 빠져 있다.

감시는 작업과 비동기로 진행돼 행동이 끝난 뒤 후속 요청을 차단할 수 있다. 차단은 앞선 행동을 되돌리지 않는다. 개발 문서는 작업 상태와 도구 기록을 확인하도록 명시한다. 이 안전 검사로 중단된 API 대화를 일반적으로 재개하는 수단은 제공하지 않는다.

챗GPT·코덱스에서는 검토 결과와 실제 변경을 대조한 뒤, 선택지가 있을 때 재개할 수 있다. 감시는 유지된다. 모바일이나 제로 데이터 보존 요청에서는 상세 설명·재개가 제한될 수 있다.

데이터 보존 정책도 함께 적용된다. API 데이터 관리 문서는 이용자가 명시적으로 공유에 동의한 경우를 제외하고 입력 데이터를 모델 학습이나 개선에 사용하지 않는다고 밝힌다. 승인받은 제로 데이터 보존 고객의 콘텐츠는 악용 감시 로그에서 제외되며, 일부 기능에는 별도 저장 제한을 둔다. 추가 보존 통제는 오픈AI의 사전 승인이 필요하며 조직 전체나 프로젝트별로 선택한다.

비공개 안전 처리와 결합한 구성은 제로 데이터 보존 보호를 유지하면서 자동 안전 감시를 수행한다. 이 구성에는 고객이 관리하는 저장소와 추가 기술·운영 요건이 필요하다. 제로 데이터 보존을 켠 리스폰스 API에서는 저장을 요청해도 store 값을 false로 처리한다.

조직 경보는 API 프로젝트와 챗GPT 로그인용 지원 워크스페이스에 각각 설정한다. 도움말에 따르면 워크스페이스 웹훅은 소유자 권한이 필요하며 개인 계정용 설정과는 별개다. 워크스페이스의 관리자나 일반 구성원 권한만으로는 이 알림을 설정할 수 없다.