클라우드플레어, 개인 AI 비서별 접속 허용⁠·⁠차단

클라우드플레어가 11월 4일 웹사이트를 방문하는 개인 AI 에이전트를 구별해 보고, 지원하는 에이전트마다 접속 허용 여부를 정하는 기능을 공개했다. 상품 비교나 고객 지원 자료 검색을 사람 대신 수행하는 AI가 어떤 페이지를 읽는지 운영자가 확인하는 기능이다. 기존의 에이전트 전체 정책에 개별 예외를 둘 수 있게 됐다.

사이트 운영자는 특정 에이전트를 허용하거나 차단하고, 광고가 있는 페이지에서만 차단할 수도 있다. 회사가 안내한 분석 화면에는 개인 비서를 뜻하는 Personal Assistants 분류와 에이전트별 요청 수가 추가된다. 한 에이전트를 선택하면 요청 경로·응답 상태 코드·접속 네트워크를 좁혀 볼 수 있다.

정책은 자동 접속의 목적에 따라 나뉜다. Search는 나중에 답변할 자료를 수집·색인하는 활동이고, Agent는 사람의 요청에 맞춰 실시간으로 페이지를 읽거나 조작하는 활동이다. Training은 모델 학습과 미세 조정에 쓰는 수집을 가리킨다. 검색과 학습을 겸하는 수집기는 Training에도 포함된다. 회사 문서는 각 정책이 해당 행동의 검증된 봇과 일치하는 미검증 봇에 적용된다고 설명한다.

개인 에이전트는 기본적으로 전체 Agents 정책을 물려받는다. 전체 정책을 다시 바꾸면 각 에이전트의 설정도 함께 갱신되며, 이후 개별 선택을 다시 지정할 수 있다. 이번 확장에서도 기존 Search·Training 정책은 유지된다. 광고 페이지 차단은 클라우드플레어가 광고를 감지한 페이지를 기준으로 작동한다. 허용 항목의 이름은 Allow (do not block)이며, AI 접속 정책에서 해당 요청을 막지 않는다는 뜻이다.

접속을 막는 설정과 수집 선호를 알리는 파일도 역할이 다르다. 사이트의 robots.txt는 수집기가 따라야 할 경로 규칙을 전달하지만 준수 여부는 수집기 운영자에게 달려 있다. 클라우드플레어의 Bot Preference Sync는 차단 정책이 설정돼 있을 때 해당 지시를 기존 파일 앞에 덧붙인다. 실제 파일이 있는 사이트는 원래 내용과 관리 지시를 한 응답에 합쳐 제공한다.

분석 결과를 읽을 때는 표본도 확인해야 한다. 공식 Security Analytics 문서는 상위 통계가 선택한 기간의 요청 표본으로 계산되며 항목 옆에서 표본 비율을 확인할 수 있다고 설명한다. 이 화면은 보안 규칙에 걸린 요청과 정상 처리된 요청을 함께 다룬다. 도메인 단위 분석은 모든 요금제에 포함되지만 보관 기간·조회 범위·통계와 필터는 요금제마다 다르다.

로그인 계정과 연결되는 범위

어느 사용자 계정에서 AI가 로그인했는지 보는 기능은 Account Abuse Protection의 조기 접근 범위다. 이 서비스는 Bot Management Enterprise 고객이 신청할 수 있으며 정식 출시 전 제한된 기간 동안 추가 비용 없이 제공된다. 사이트는 로그인·가입 요청에서 계정 식별자가 들어 있는 위치를 설정하고 User ID 기능을 켜야 한다. 클라우드플레어는 이를 사이트별 해시 식별자로 바꿔 활동을 연결한다.

인식된 AI의 로그인·가입은 해당 계정 이력에 기록된다. 운영자는 계정에 연결된 AI와 활동 수를 보고, 의심스러운 계정만 대상으로 조치할 수 있다. AI를 인식하지 못한 요청은 일반 트래픽으로 표시된다. 계정과 연결하는 이 조회 범위는 로그인·가입 이벤트이며, 다른 사이트 고객은 해당 사용자 프로필에 접근할 수 없다.

봇의 신원을 검증하는 기준에는 암호학적 서명, 공개 IP 목록과 일정한 사용자 에이전트, 역방향 DNS가 포함된다. 회사는 신원 표시 외에도 수집 지시 준수와 적정 요청 빈도 등 비남용 행동을 요구한다. 여러 사람이 이용하는 중개형 에이전트에서는 운영 회사와 최종 사용자가 서로 다른 주체다. 따라서 에이전트 사업자 확인과 그 에이전트를 호출한 사람의 계정 권한 확인은 각각 필요한 정보다.

클라우드플레어는 다음 과제로 개인 에이전트를 거쳐서도 이용자의 기존 고객·구독자 관계와 허용한 행동의 맥락을 전달하는 방식을 제시했다. 이번 발표에는 개별 제어가 가능한 에이전트의 구체적인 목록이나 그 후속 기능의 출시 날짜가 제시되지 않았다.