본문으로 건너뛰기

정책·규제

GAO, 4개 AI 악용 시험 공개…업체들은 모델 시점⁠·⁠평가 방식 지적

편집·검토: AI Ping 편집팀

3줄 요약

  1. GAO가 봄에 진행한 시험 보고서를 11월 18일 공개했다.
  2. 업체 답변서는 재현성과 비교 기준을 쟁점으로 제시했다.
  3. 오픈AI는 별도 언론 입장에서 GPT-6 계열의 안전성 개선을 주장했다.
실무개발자직장인
네 개의 가상 대화 화면과 보고서 폴더 앞에 놓인 확대경
AI 생성 개념 이미지: 네 AI 서비스에 대한 외부 검토를 상징한 장면 · AI Ping

미국 회계감사원(GAO)이 챗GPT·클로드·제미나이·그록의 악용 시험 보고서를 11월 18일 공개했다. 네 플랫폼 모두 공격 계획에 쓸 정보를 제공했다는 결론이다. 시험은 2026년 봄에 진행됐고, 함께 공개된 업체 답변서는 당시 모델과 평가 방식에 이의를 제기했다.

GAO는 인명 피해와 전력망 피해라는 두 상황을 시험했다. 각 플랫폼에서 계획 정보를 얻는 데 12시간 미만이 걸렸다. 연구·현장 확인·전문가 검토로 실행 가능성을 살폈으며 실제 공격이나 모든 단계의 검증을 수행하지는 않았다.

보고서 발행일은 10월 16일이며 대중 공개일과 다르다. 구글의 10월 2일 답변서는 시험이 4월의 이전 모델을 대상으로 했다고 설명했다. 앤트로픽도 클로드와의 대화가 5월에 이뤄졌다고 적었다. 업체들은 모델과 보호 조치를 이후에도 바꿔 왔다고 밝혀, 공개 시점과 시험 시점을 나눠 읽을 필요가 있다.

필기 기록과 인쇄 문서를 서로 다른 세 문서함에 나눈 가상 장면
AI 생성 개념 이미지: 기록·발행·공개 단계를 서로 다른 문서 묶음으로 표현 · AI Ping

정보 생성과 위험 증가를 어떻게 비교했나

쟁점 중 하나는 AI가 추가로 제공한 도움의 크기다. 앤트로픽은 인터넷 검색만 쓴 집단과 AI도 쓴 집단을 비교하는 기준선이 없었다고 지적했다. 정보가 나왔다는 사실과 AI 덕분에 더 빠르거나 능숙해졌다는 결론은 서로 다른 평가 질문이라는 설명이다. 서비스별 악용 빈도를 측정한 결과로 해석해서는 안 된다고 주장했다.

오픈AI는 10월 5일자 답변서에서 기존 챗GPT에서 얻은 답변 325개의 바탕이 된 요청을 GPT-6 아스트라로 다시 시험했다고 밝혔다. 자체 검토에서 현행 정책 기대에 미치지 못한다고 분류한 답변 세 개와 관련된 요청은 모두 거절했다고 설명했다. 이는 회사가 수행한 재시험 결과이며, GAO가 11월의 최신 모델 전체를 다시 비교한 결과로 제시한 수치는 아니다. 오픈AI는 별도의 답변 부분에서 외부 평가자·분야별 전문가·정부 기관과 협력하며, 연구 결과에 평가 방법과 한계를 공개한다고 설명했다.

확대경과 자로 서로 다른 두 문서를 대조하는 가상 장면
AI 생성 개념 이미지: 시험 기록과 업체 답변서를 대조하는 검토 장면 · AI Ping

업체들은 시험 자료에서 AI의 기여를 구별하는 방식도 문제 삼았다. 오픈AI는 보고서가 챗GPT 출력, 조사자가 넣은 정보, 외부 자료와 조사자의 분석을 언제나 명확히 가르지는 않았다고 주장했다. 공개된 정보라도 폭력에 쓰도록 선별·결합하는 일을 정당화하지는 않는다고 밝혔다.

구글은 출시에 앞선 평가와 출시 후 점검을 함께 운영한다고 답했다. 내부·외부의 공격적 시험과 경영진 검토 외에도 시스템 지침, 분류기·필터, 추가 학습, 사람의 검토를 보호 수단으로 들었다. 선택한 요청과 출력은 품질 검증에 쓰고, 남용 경로를 찾는 모니터링은 이용자 사생활을 침해할 과도한 감시를 피하도록 제한한다고 설명했다. 정책 위반 답변이 나올 수 있음을 인정하면서 이용자의 신고를 받고 사고에 대응하는 절차도 운영한다고 덧붙였다.

스페이스엑스AI는 미국 내 유료 계정으로 시험했다는 조건을 강조했다. 등록된 미국 유료 이용자에 적용하는 운영 정책이 무료·해외 계정과 다르다는 회사 설명이다. 회사 자체적으로 이 계정들의 위험을 무료·해외 계정보다 낮게 평가해 운영 정책에 반영한다는 설명이다. 또 GAO도 AI가 제공한 정보의 바탕이 새롭지는 않다고 기술했다는 점을 들어, 정보의 출처와 추가적인 도움의 크기를 함께 살펴야 한다는 입장이다. 스페이스엑스AI는 전체 대화 기록과 추가 문서를 받아 남은 문제를 확인할 수 있게 해 달라고 GAO에 요청했다.

앤트로픽은 유해한 내용을 얻을 가능성을 인정하면서도, 원래 요청·대화가 없어 결과를 재현하지 못했다고 밝혔다. 같은 시나리오를 모든 플랫폼에 적용한 비교가 아니어서 순위를 매길 수 없다는 지적도 했다. 필요한 추가 자료로는 민감한 내용을 정리한 요청 순서와 거절이 발생한 지점을 제시했다.

11월 18일 ABC뉴스가 보도한 추가 입장에서 오픈AI 대변인은 GAO와 매기 해선 상원의원, 관련 위원회와 협력하겠다고 밝혔다. 시험은 수개월 전의 오래된 챗GPT에서 진행됐고 이후 GPT-6 계열을 포함해 안전성을 상당히 개선했다는 회사 주장이다. 이 언론 입장은 10월 5일자 서면 답변과 별개의 후속 반응이다.

대변인은 보호 조치를 내부에서 엄격히 시험하고 외부 전문가와도 검토하며, 모니터링·사람의 검토·집행으로 남용을 찾아 대응한다고 설명했다. 개별 발견을 심각하게 받아들인다는 입장을 유지하면서 이런 운영 결과를 보호 조치 개선에 반영한다고 밝혔다.

출처