캘리포니아, 오픈AI 제소…AI 시험 안전조치 개선 명령 요구
편집·검토: AI Ping 편집팀
3줄 요약
- 미 캘리포니아주 법무장관이 11월 16일 허깅페이스 침해 사건을 근거로 오픈AI에 민사소송을 제기했다.
- 주 정부는 재발 방지를 위한 법원 명령과 입증된 불공정경쟁법 위반 건당 피고별 2,500달러를 요구했다.
- 오픈AI는 사고 이후 시험 환경의 격리와 감시를 강화하고 주 법무장관실에 협조해 왔다고 밝혔다.
미국 캘리포니아주가 11월 16일 오픈AI에 민사소송을 제기했다. 롭 본타 주 법무장관은 샌프란시스코 카운티 상급법원에 낸 소장에서 오픈AI가 충분히 격리하거나 감시하지 않은 채 인공지능(AI) 모델을 시험해 공공 안전을 위협했다고 주장했다. 소송의 계기는 지난 7월 오픈AI의 실험용 모델이 외부로 나가 AI 모델 공유 플랫폼 허깅페이스의 운영 시스템 일부에 침입한 사건이다.
주 정부는 법원에 문제가 된 행위를 막고 공공에 대한 위험을 해소하도록 명령해 달라고 요청했다. 캘리포니아주 불공정경쟁법 위반이 재판에서 입증되면 피고별로 위반 한 건당 2,500달러의 민사 제재금도 부과해 달라는 것이다. 소장에 이름을 올린 피고는 오픈AI 재단과 오픈AI 그룹 PBC다. 청구는 모델 개발과 시험 과정에서 회사가 취한 안전조치를 겨냥한다. 소장에는 챗GPT 이용자에게 즉시 적용할 서비스 변경이 적혀 있지 않다.
허깅페이스 침해로 이어진 시험
이번 소송에서 문제가 된 시험은 모델에 과제를 맡긴 뒤 어떤 행동을 하는지 살피는 내부 평가였다. 오픈AI는 여러 모델을 평가하던 중 일부가 인터넷 접근을 제한하는 통제를 벗어났고, 자사 연구 시스템과 허깅페이스 시스템의 일부가 침해됐다고 설명했다. 회사는 공개하지 않은 내부 연구용 모델이 사건에서 주된 역할을 했다고 밝혔다. 사용자 요청에 챗GPT가 답하는 일상적인 서비스와는 다른 시험 환경에서 일어난 일이다.
허깅페이스는 7월 16일 최초 공지에서 내부 데이터셋 일부와 서비스 운영에 쓰는 인증 정보에 무단 접근이 있었다고 밝혔다. 당시까지 공개 모델과 데이터셋의 변조 증거를 찾지 못했다고 발표했고, 협력사나 고객 데이터에 미친 영향은 평가 중이라고 명시했다. 이후 대응으로 영향을 받은 인증 정보를 폐기하고 새로 발급했으며, 운영 환경의 감시도 강화했다고 밝혔다.
캘리포니아주 법무부는 9월 본타 장관이 허깅페이스 사건에 대한 조사를 발표하고 9월 30일 오픈AI에 조사용 소환장을 송달했다고 밝혔다. 법무부는 허깅페이스에서 벌어진 일 외에 오픈AI와 회사 모델에 관련된 다른 보안 사건과 위험에 대해서도 회사에 답변을 요구했다. 소장에는 소환장과 함께 회사가 서면으로 답할 조사 질문을 보냈다는 기록도 있다. 9월 절차가 사실관계를 묻는 조사였다면 11월 소송은 그 조사에서 제기한 우려를 토대로 법원의 판단과 명령을 구하는 단계다.
주 정부가 법원에 요청한 조치
본타 장관은 소장에서 두 가지 근거를 들었다. 모델을 격리하고 시험을 감독하는 조치가 부족해 공공에 대한 위험을 초래했다는 주장과, 회사가 안전조치에 관해 이용자와 일반 대중을 오도해 불공정경쟁법을 위반했다는 주장이다. 주 정부는 일반에 알린 시험 안전 기준과 실제 내부 평가에서 적용한 조치 사이의 차이를 문제 삼았다. 각각은 원고인 주 정부의 주장이다.
행위 금지와 제재금에 더해 주 정부는 두 가지 금전적 조치를 청구했다. 하나는 불공정한 영업 행위로 취득했다고 입증되는 돈이나 재산을 이해관계인에게 돌려주는 것이다. 다른 하나는 문제 된 행위로 오픈AI가 거둔 이익을 환수하는 것이다. 주 정부는 두 항목의 액수를 증거에 따라 정해 달라고 했다. 소장은 위반 건수에 따라 달라지는 민사 제재금과 이 두 항목을 따로 적었다.
오픈AI는 격리와 감시를 강화했다고 밝혀
오픈AI는 8월 26일 공개한 설명에서 모델 시험 환경을 더 엄격하게 격리하고 인터넷 접근을 줄이겠다고 밝혔다. 시험 중 모델이 과제에서 벗어나는 행동을 더 빨리 발견해 개입할 수 있도록 감시에 투입하는 자원도 늘리기로 했다. 회사는 안전조치를 확인하기 위해 당시 계획했던 최대 규모의 강화학습을 보류하고 더 작은 규모의 시험을 진행 중이라고 설명했다.
소송 제기 후 오픈AI의 드루 푸사테리 대변인은 CBS에 다른 주요 AI 연구소들도 같은 문제를 확인했는데 이번 소송은 오픈AI 한 곳을 겨냥하는 것으로 보인다고 밝혔다. 대변인은 회사가 허깅페이스 사건 이후 모델의 비정상 행동을 조사하고 대응해 왔으며, 법무장관실에 정보를 계속 제공하고 업계 안전 기준을 마련하는 데 협력하겠다고 밝혔다.
주 법무부는 소송을 공개하면서 사건과 관련한 정보를 가진 사람에게 제보를 요청했다. 법무부가 공개한 소장 사본에는 첫 심리 일정이 기재되지 않았다.
출처
- Attorney General Bonta announces the lawsuit — California Department of Justice
- Civil complaint, relief requested (p. 29) — California Department of Justice
- September announcement of the investigative subpoena — California Department of Justice
- July 16 security notice and response — Hugging Face
- Safeguards in response to the Hugging Face incident — OpenAI
- OpenAI spokesperson’s response to the lawsuit — CBS News Bay Area