본문으로 건너뛰기

도구·서비스

챗GPT, 아동 성착취물 탐색에 24시간 이용 제한 도입

편집·검토: AI Ping 편집팀

3줄 요약

  1. 오픈AI가 챗GPT에서 아동 성착취물을 찾으려는 요청을 감지하면 대화를 중단하고, 경우에 따라 계정 이용을 24시간 제한하는 기능을 도입했다.
  2. 개인 계정의 웹·모바일 대화에 전 세계에서 순차 적용된다. 일시 정지에 이의를 제기하려면 안내 이메일에서 검토를 요청할 수 있다.
  3. 오픈AI는 새 이미지 분류기도 발표했다. 심사를 통과한 기관이 무료로 사용해 의심 이미지를 사람이 먼저 검토하도록 분류하는 도구다.
실무직장인개발자
반투명 유리 가림막 앞에 놓인 어두운 스마트폰
AI 생성 개념 이미지: 유리 가림막 앞 스마트폰으로 챗GPT가 유해 요청이 담긴 대화를 중단하는 조치를 표현했다. · AI Ping

오픈AI가 11월 16일 챗GPT에서 아동 성착취물(CSAM)을 찾으려는 요청을 감지하면 대화를 중단하고, 경우에 따라 계정 이용을 24시간 멈추는 기능을 발표했다. 오픈AI 고객지원 문서에 따르면 경고와 일시 정지는 전 세계에 순차적으로 도입된다. 적용 대상은 개인 계정으로 웹이나 모바일에서 나누는 일반 대화와 워크 모드의 대화다.

같은 날 오픈AI는 아동 보호 업무를 담당하는 조직에 의심 이미지를 가려내는 분류기를 제공한다고 밝혔다. 챗GPT의 경고는 대화 중에 작동하고, 별도로 제공하는 분류기는 기관이 다루는 이미지 가운데 사람이 먼저 확인할 대상을 고르는 데 쓰인다.

오픈AI는 이미 아동 성착취물을 금지하고, 관련 요청을 거부하도록 모델을 훈련해 왔다. 이번에는 답변을 거절하는 데 그치지 않고 특정 대화를 닫거나 계정 이용을 제한하는 조치가 추가됐다. 제품 경고에는 아동을 성적으로 대상화하는 행위의 피해를 알리는 설명과, 유해 행동을 멈추도록 돕는 전문 지원 안내가 포함된다.

경고가 뜬 대화는 종료, 계정 정지에는 이메일 안내

고객지원 문서에 따르면 경고가 표시된 대화는 그 자리에서 끝난다. 로그인 상태였다면 대화는 기록에서 숨겨지고 다시 열 수 없다. 경고를 받는 경우 중에는 계정 일시 정지가 함께 적용될 수 있다. 오픈AI가 발표한 일시 정지 기간은 24시간이다. 고객지원 문서는 경고가 표시되는 방식이 국가에 따라 달라질 수 있다고 안내했다.

계정이 일시 정지되면 챗GPT는 사용자를 로그아웃시킨다. 오픈AI는 정지 사유, 기간, 가능한 대응을 적은 이메일을 보낸다. 조치에 이의가 있는 이용자는 이메일의 링크에서 검토를 요청할 수 있다. 이의를 제기해도 정지는 자동으로 풀리지 않는다. 기간이 끝나고 다른 제한이 없다면 같은 계정으로 다시 로그인할 수 있다.

일시 정지와 영구 폐쇄는 별도 결정이다. 오픈AI는 위반이 반복되면 이용 제한 기간을 늘리거나 계정을 폐쇄할 수 있다고 밝혔다. 고객지원 문서에는 별도의 검토가 이용 정책 위반을 확인해 영구 폐쇄를 결정할 수 있다고 적혀 있다. 일시 정지와 별개로 계정 폐쇄 통지를 받은 경우에는 해당 통지에 따른 검토 절차가 적용된다.

닫힌 노트북 옆에 푸른 모래가 든 모래시계
AI 생성 개념 이미지: 닫힌 노트북과 모래시계로 한시적인 챗GPT 계정 이용 정지를 표현했다. · AI Ping

새 이미지 분류기는 사람이 검토할 순서를 정한다

오픈AI는 심사를 거친 기관에 새 이미지 분류기를 API로 무료 제공한다. 이전에 발견된 이미지는 알려진 파일의 특징값과 대조해 식별할 수 있다. 새 도구는 여기에 이미지를 분석해 의심 정도를 점수로 매기는 방법을 더한다. 이미 알려진 자료와 일치하지 않는 새 이미지와 AI 생성 이미지도 분석 대상이다.

분류기는 아동 성착취물일 가능성을 점수로 제시하며, AI로 생성된 성착취물일 가능성을 따로 평가한다. 새 이미지를 매일 많이 확인하는 플랫폼이라면, 검토 대기 목록에서 담당자가 우선 볼 항목을 정하는 데 이 점수를 쓸 수 있다. 오픈AI는 미국 실종·학대아동방지센터(NCMEC)의 도움을 받아 모델을 학습·평가하고 배포 방식을 설계했다고 밝혔다.

모델 설명서는 의심 이미지의 점수가 신고해야 할 자료인지 확정하는 증거가 될 수 없다고 명시한다. 모델 기반으로 신고하는 절차에서는 해당 업무를 맡을 권한과 훈련을 갖춘 담당자의 확인을 거쳐야 한다는 게 오픈AI의 지침이다. 기존에 확인된 자료와의 대조, 사람의 검토, 신고 절차는 조직의 대응 체계에서 계속 쓰인다.

무늬 없는 회색 카드가 든 서류함과 따로 놓인 적갈색 카드
AI 생성 개념 이미지: 서류함 옆에 따로 놓인 카드로 사람이 먼저 살필 항목을 고르는 과정을 표현했다. · AI Ping

검토량 추정치와 조직 간 협력

오픈AI가 챗GPT 업로드 이미지로 실시한 비교 평가에서는 기존 도구와 비슷한 수의 성착취물을 찾으면서 검토 대상으로 표시하는 전체 이미지 수를 48% 줄일 수 있을 것으로 추정했다. 모델 설명서는 평가용 자료와 실제 서비스의 이미지 구성이 다르면 결과가 달라질 수 있다고 밝혔다. 이 수치는 챗GPT에서 새 분류기를 비교한 추정치이며 다른 기관에서 확인된 검토량 감소 실적은 아니다.

함께 공개된 개발자 지침은 이용자 신고 창구를 마련하는 일, 담당자가 제보를 확인하는 절차, 검토 인력을 지원하는 방법을 다룬다. 오픈AI는 새로 대응 체계를 마련하는 조직과 기존 절차를 운영 중인 곳을 모두 지침의 대상으로 삼았다.

오픈AI는 업계 단체 테크 코얼리션의 ‘랜턴’에 참여하기 시작했다고 밝혔다. 랜턴 참여 기업은 각 서비스에서 관찰한 아동 성착취 관련 위험 신호를 공유한다. 테크 코얼리션은 신호를 받은 기업이 자체 정책에 따라 사안을 조사하고 조치 여부를 판단한다고 설명한다.

출처