클라우드플레어는 웹사이트 콘텐츠를 무단 수집하거나 보상 없이 접근하는 것을 기본 설정으로 차단한다고 2일 밝혔다.
클라우드플레어 인프라를 사용하는 웹사이트 소유자는 사이트 내용을 긁어가는 AI 크롤러의 접근 여부를 직접 설정할 수 있게 된다. 새로 클라우드플레어에 가입하는 모든 도메인은 AI 크롤러 허용 여부를 처음부터 선택해야 하며, 기본 설정은 ‘차단’이다.
이를 통해 웹사이트 소유자가 별도로 설정하지 않아도 자동으로 보호받을 수 있다. 사용자는 언제든 설정을 변경해 크롤링을 허용할 수도 있다.

[자료: 클라우드플레어]
클라우드플레어 사용자는 AI 크롤러가 웹사이트에서 콘텐츠를 긁어갈 때마다 과금할 수 있는 기능 ‘크롤링당 결제’(Pay per Crawl)도 추가했다.
또 웹사이트 운영자는 AI 기업이 자사 콘텐츠를 어떤 목적으로 활용할 수 있는지 선택할 수 있게 된다. AI 기업은 자사 크롤러가 학습, 추론, 검색 중 어떤 용도로 콘텐츠를 수집하는지 명확히 밝혀야 하며, 웹사이트 소유자는 이를 바탕으로 허용 여부를 판단할 수 있다.
현재 인터넷은 검색 엔진이 콘텐츠를 색인하고, 사용자에게 원본 웹사이트를 안내함으로써 웹사이트는 트래픽과 광고 수익을 얻는 상호 보상 구조로 작동해 왔다.
그러나 최근 AI 모델은 크롤러를 통해 텍스트, 기사, 이미지 등 다양한 콘텐츠를 수집해 자체적으로 답변을 생성하면서 원 출처 방문하지 않고도 정보를 소비하도록 유도하고 있다. 콘텐츠에 대한 보상 문제는 인터넷 생태계의 미래를 좌우할 주요 과제로 떠올랐다.
매튜 프린스 클라우드플레어 CEO는 “AI시대에 인터넷이 지속 가능하려면, 퍼블리셔에게 정당한 통제권을 주고 창작자, 소비자, 미래의 AI 창업자 및 웹 생태계 전체가 상생할 수 있는 새로운 경제 모델이 필요하다”며 “창작자에게 권한을 돌려주는 동시에 AI 혁신은 지속할 수 있도록 균형을 잡는 새로운 모델을 통해 자유롭고 역동적인 인터넷의 미래를 보호하겠다”고 밝혔다.
[한세희 기자(boan@boannews.com)]
<저작권자: 보안뉴스(www.boannews.com) 무단전재-재배포금지>