아폴로, 오픈AI 안전성 4개월 평가해 보고서 2건 낸다
편집·검토: AI Ping 편집팀
3줄 요약
- 아폴로 리서치 연구진 6명이 오픈AI 내부에서 모델 학습과 사내 사용을 살핀다. 오픈AI가 외부 4곳과 맺은 첫 현장 평가 협약의 하나다.
- 아폴로는 항목별 결론과 접근 제한을 공개한다. 오픈AI는 기밀 근거의 삭제를 요청할 수 있고 재단 이사회 산하 위원회는 삭제 전 보고서를 받는다.
- 트랜스루스는 12월 초부터 6주간 별도 평가에 나선다. 내부 전용 모델도 볼 수 있지만 공개 결과는 출시된 모델로 한정된다.
아폴로 리서치가 오픈AI 내부에서 6명으로 4개월간 인공지능(AI) 모델의 안전성을 평가하고 결과 보고서 두 건을 공개하겠다고 16일 밝혔다. 오픈AI가 외부 평가기관 네 곳과 맺은 첫 현장 평가 협약의 하나다. 아폴로는 모델 학습과 사내 사용 기록을 살펴 모델이 안전 통제에 어긋나는 행동을 하는지, 회사의 감시 체계가 그 행동을 포착하는지 검증할 계획이다.
공개 보고서에는 아폴로가 평가한 항목별 결론과 자료 접근의 한계가 담긴다. 오픈AI는 회사 기밀이 섞인 근거의 삭제를 요구할 수 있고, 삭제 전 보고서는 오픈AI 재단 이사회의 안전·보안위원회에 전달된다. AI 도입을 검토하는 조직과 외부 연구자는 평가 결과와 함께 판단에 사용한 자료의 범위도 확인할 수 있다.
학습 도중의 모델까지 검토
아폴로가 이전에 진행한 외부 평가는 주로 모델의 후속 학습이 끝난 뒤, 제품으로 공개되기 전에 이뤄졌다. 이번에는 학습 중간에 저장한 모델과 해당 시점의 학습 기록도 첫 평가에 포함된다. 최종 모델만으로는 확인하기 어려운 학습 과정에 초점을 둔다. 처음에는 학습에서 성과를 판단하는 기준이 안전 통제에 어긋나는 행동을 부추겼는지 살핀다. 안전 시험과 내부 사용에 관한 나머지 검토의 세부 접근 조건은 추가로 합의할 예정이다.
전체 접근 범위는 사전에 합의한 모델과 기간, 평가 항목으로 정해진다. 그 범위에 들어가는 자료도 기술적으로 제공하기 어렵거나 보안과 지식재산 보호에 필요하다고 판단하면 오픈AI가 제공을 제한할 수 있다. 이 경우 아폴로는 제한된 자료가 있다는 사실과 그 이유를 서면으로 받는다. 추가 접근을 요청하고 거절에 이의를 제기할 수 있다.
직원과의 면담도 자료의 일부다. 아폴로가 문의할 전문가를 제안할 수 있으며 면담 대상자는 오픈AI가 정한다. 직원의 설명에서 얻은 내용을 공개하려면 별도 근거로 확인하거나 오픈AI로부터 공식 확인을 받아야 한다. 회사가 확인을 거절했다는 사실과 그로 인해 결론이 받은 영향은 보고할 수 있다.
결론은 공개하고 기밀 근거는 위원회에
아폴로의 첫 공개 보고서는 학습에서 어떤 행동을 유도했는지 다룬다. 두 번째 보고서에는 안전 시험과 사내 사용, 문제 행동의 징후를 감지할 수 있었는지에 관한 평가가 담길 예정이다. 각 보고서에는 평가 방법, 답을 내리기 어려웠던 질문, 공개 가능한 근거를 함께 싣는다.
오픈AI는 보고서 공개 전에 내용을 검토한다. 아폴로에 따르면 평가 항목별 결론은 삭제 대상이 아니며, 부정적인 결과라는 이유만으로 삭제를 요청할 수도 없다. 회사가 영업상 민감한 근거를 삭제하거나 평가에 필요한 자료 제공을 늦춘 경우, 아폴로는 그 사실과 결론에 미친 영향을 설명할 수 있다. 평가 조건과 공개 권한 자체도 오픈AI의 사전 검토 없이 설명할 수 있다.
수정 없이 보고서를 받는 안전·보안위원회는 오픈AI를 지배하는 비영리 재단의 이사회 산하다. 오픈AI는 평가자와 위원회가 진행 중 따로 대화할 수 있고, 회사와 평가자가 접근·공개 문제에 합의하지 못할 때 위원회가 해결을 맡는다고 밝혔다. 회사는 안전이나 보안 문제를 시정할 시간이 필요한 경우 공개 시점을 미뤄 달라고 요청할 수 있다고도 했다.
트랜스루스의 공개 범위와 후속 검토
함께 참여하는 트랜스루스는 12월 초부터 6주간 오픈AI가 후속 학습을 마친 모델의 안전성을 어떻게 시험하는지 살핀다. 내부 전용 모델을 최소 한 개 볼 수 있지만, 공개 보고서에는 출시된 모델에 관한 평가만 담기로 했다. 트랜스루스는 AI 평가자 포럼의 기준을 적용해 어떤 접근을 요청하고 받았는지와 평가에 영향을 준 제한을 기록할 예정이다. 포럼은 기준을 채우지 못한 항목과 이유도 결과와 함께 공개하도록 한다.
평가 비용의 부담 방식도 기관마다 다르다. 오픈AI는 아폴로와 굿파이어가 평가 보수를 받되 금액은 결과와 연동되지 않는다고 밝혔다. 트랜스루스는 보수는 받지 않고 오픈AI가 연산 비용과 현장 장비를 제공한다고 설명했다. 굿파이어는 학습 중 모델 내부에서 나오는 신호를 분석하며, 결과는 주로 오픈AI 연구진에게 전달하고 협업 과정에서 일부를 공개할 계획이라고 했다.
오픈AI는 METR이 회사의 가장 큰 강화학습 실행을 대상으로 기존 시험이 놓쳤을 수 있는 문제 행동을 살필 예정이라고 밝혔다. 별도로 논의하는 감시 체계 평가의 범위는 합의가 남아 있다. 트랜스루스와는 2027년 초 약 8주 동안 더 많은 모델과 자료를 검토하는 후속 평가를 추진하기로 했다. 두 기관이 공개한 문서에는 이 후속 평가의 세부 조건이 확정되지 않았다고 적혀 있다.
출처
- 오픈AI 현장 평가 시범사업의 접근·공개 조건 · A Pilot Towards Embedded Evaluations — Apollo Research
- 외부 4곳의 1차 현장 평가 · Our first phase of embedded assessments — OpenAI
- 현장 안전성 평가의 검증 질문 · Towards embedded evaluations for scheming propensities — Apollo Research
- 재단과 이사회 감독 구조 · Our structure — OpenAI
- 6주 평가와 공개 조건 · Announcing an Embedded Assessment Pilot with OpenAI — Transluce
- 학습 중 모델 검토 협업 · Announcing our collaboration with OpenAI — Goodfire
- 평가 작업 조건을 공개하는 기준 · AEF-1 Minimum Operating Conditions — AI Evaluator Forum
