클라우드플레어, 검색 노출 유지하며 AI 학습 거부하는 새 설정 도입

클라우드플레어는 15일 웹사이트 운영자가 검색 노출은 유지하면서 AI 모델 학습 목적의 콘텐츠 이용을 거부할 수 있는 ‘Disallow AI Training’ 설정을 공개했다. 새 설정은 검색과 AI 학습을 하나의 크롤러가 함께 수행하는 혼합용도 크롤러를 대상으로 사이트 운영자의 선택권을 분리하는 데 초점을 맞췄다.

클라우드플레어는 해당 설정을 선택하면 Bot Preference Sync를 통해 robots.txt에 학습 거부 의사를 반영하고, 검색 목적의 접근은 계속 허용할 수 있다고 설명했다. 회사는 애플·구글·마이크로소프트가 검색과 학습 목적을 구분할 수 있는 기준을 충족하거나 관련 지원을 약속한 사업자라고 밝혔다.

기존의 ‘Block AI Bots’ 설정은 검색·학습·에이전트 등 목적별 제어로 대체될 예정이다. 사이트가 ‘Block’을 선택하면 Googlebot·Bingbot·Applebot 같은 혼합용도 크롤러의 검색 접근까지 차단될 수 있지만, ‘Disallow AI Training’을 사용하면 검색 접근과 학습 거부를 분리할 수 있다는 것이 회사 설명이다.

클라우드플레어는 지난 7월부터 9월 15일을 기준으로 혼합용도 크롤러 정책을 바꾸겠다고 예고해 왔다. 당시에는 광고가 있는 페이지에서 학습·에이전트 용도의 접근을 제한하고 검색 접근은 유지하는 기본 정책을 발표했으며, 이번 설정은 그 정책을 보다 세분화한 형태다.

새 제어 기능은 사이트 운영자가 콘텐츠의 검색 발견 가능성과 AI 학습 허용 여부를 따로 결정할 수 있게 한다는 점에서 웹 크롤링 정책의 변화로 평가된다. 다만 실제 적용 범위는 각 크롤러 운영자의 지원 방식과 사이트별 설정에 따라 달라질 수 있다.