AI 학습 거부 한 규칙으로…구글⁠·⁠오픈AI 등 4사 지원 추진

오픈AI·구글·마이크로소프트(MS)·앤스로픽이 웹사이트의 AI 학습 허용 여부를 한 번에 전달하는 공통 신호를 지원하기로 했다. 네 회사는 10월 30일 각각 발표와 공개 메일로 참여 방침을 밝혔다. 사이트 운영자가 회사별로 따로 적던 학습 거부 의사를 robots.txt 파일의 공통 규칙으로 전달하도록 하는 자율적 도입이다.

적용 시점은 회사마다 다르다. 오픈AI는 앞으로 수개월, 구글의 크롤러 문서는 2027년 초를 목표로 적었다. MS는 2027년 2월 1일부터 페이지를 다시 수집하면서 반영한다. 앤스로픽의 케빈 켈리는 구현을 시작했다고 밝혔으며, 여러 서비스에 지원을 추가하고 예외 상황을 처리하는 데 시간이 필요하다고 설명했다.

공통 표기는 __usage_ai-training이다. 인터넷 기술 표준화 단체 IETF에 제출된 초안은 robots.txt의 User-Agent 자리에 이 표기를 넣고 기존 Allow·Disallow 규칙으로 경로별 의사를 나타내도록 했다. 초안의 예시는 사이트 전체의 학습 활용을 거부하면서 보도자료 폴더만 허용한다. 기존 파일의 경로 비교 방식과 가장 구체적인 경로가 우선하는 원칙을 재사용한다. User-Agent: *처럼 모든 봇을 지정한 규칙은 이 공통 학습 의사를 전달하는 표기로 해석하지 않는다.

여기서 말하는 학습은 콘텐츠를 사용해 생성형 AI 모델이 학습한 매개변수를 바꾸는 작업이다. 공통 표기 초안이 참조한 IETF 작업반의 용어 문서는 AI 학습, AI 활용, 검색을 별도 범주로 다룬다. 용어 문서는 의사를 표현하고 전달하는 방법을 정의하며, 그 의사가 실제 지켜지도록 보장하는 집행 장치까지 규정하지는 않는다.

학습·검색·답변 활용의 설정은 따로

오픈AI의 현재 크롤러 안내도 검색과 학습 설정을 독립적으로 설명한다. GPTBot은 기반 모델 학습에 쓸 수 있는 콘텐츠를 수집하고, OAI-SearchBot은 챗GPT 검색 결과에 사이트를 표시하는 데 쓰인다. 운영자는 검색용 접근을 허용하면서 학습용 수집은 거부할 수 있다. 오픈AI는 두 용도가 모두 허용된 경우 중복 수집을 줄이기 위해 한 번 수집한 결과를 함께 쓸 수 있다고 설명한다.

구글은 공통 신호로 학습을 거부하고 Google-Extended를 별도로 지정하지 않은 사이트를 Google-Extended 거부로 취급할 계획이다. 기존 회사별 설정도 함께 작동한다. 구글은 Google-Extended를 명시적으로 허용한 사이트가 제미나이 앱 답변의 근거로 쓰이고 클릭을 받을 자격을 유지한다고 설명했다. 공통 규칙과 개별 회사 규칙을 함께 둘 수 있는 방식이다.

Google-Extended의 실제 적용 범위에는 향후 제미나이 모델 학습과 제미나이 앱·Vertex AI의 검색 근거 활용이 들어 있다. 구글 크롤러 문서는 이 설정이 구글 검색 포함 여부나 순위 신호에 영향을 주지 않는다고 명시한다. 또한 Google-Extended는 별도 방문자 이름으로 접속하는 크롤러가 아니라 콘텐츠 사용을 관리하는 표기다. 수집은 기존 구글 접속 식별자로 이뤄진다.

MS는 학습·답변 활용을 독립적으로 설정하게 한다. 페이지별 AI Grounding의 DisallowExtended는 MS 자체 서비스만 허용하고 외부 사업자용 근거 서비스는 제외한다. 일반 빙 검색 자격은 유지된다.

MS의 NoArchive·NoCache는 2027년 3월 1일 이후 학습·답변 활용 의사로 읽히지 않는다. 임시 전환 설정은 2026년 12월 15일 기준 구표기를 쓰는 사이트에 열린다. 답변 활용 제한에는 새 페이지 설정과 임시 빙 웹마스터 설정이 필요하며, 임시 설정은 재수집 또는 2027년 9월 30일 중 먼저 오는 때까지 적용된다.

이번 공통 표기 문서는 앤스로픽 소속 케빈 켈리가 10월 30일 제출한 개인 Internet-Draft다. IETF 데이터트래커는 IETF의 승인을 받은 문서나 확정 표준으로 분류하지 않는다. 이 초안의 현재 만료일은 2027년 5월 3일이다. 켈리는 작업반에 첨부 방식 논의를 위한 제안으로 냈다고 설명했고, 앤스로픽의 기존 크롤러 제어를 보완하면서 구현 경험을 향후 표준 논의에 반영하겠다고 밝혔다.