robots.txt 한 줄로 AI 학습 거부…구글·오픈AI 등 4곳 수용

웹사이트를 AI 학습에 쓰지 못하게 하려면 지금까지는 업체마다 별도의 규칙을 작성해야 했다. GPTBot, ClaudeBot, Google-Extended 같은 이름을 하나씩 알아둬야 했다. 이제 Google, OpenAI, Anthropic, Microsoft는 모두 같은 한 줄을 읽겠다고 밝혔다. 초기 웹 시대부터 검색엔진이 어디에 접근하지 말아야 하는지 알려온 작은 텍스트 파일 robots.txt에 공통 ‘정책 토큰’을 넣는 방식이다. 한 번 작성하면 AI 개발사 네 곳에 같은 뜻을 전달할 수 있다.

이 제안은 Anthropic에서 표준 기술 업무를 맡고 있는 케빈 켈리(Kevin Kelley)가 내놓아 인터넷 기술 규칙을 만드는 기구인 Internet Engineering Task Force에 제출했다. 핵심은 새로운 문법을 만들지 않는다는 점이다. 사이트 운영자는 일반적인 규칙 그룹을 작성하되, User-Agent 줄에 크롤러가 아니라 사용 목적을 적는다. 바로 __usage_ai-training이다. 그 아래에 “Disallow: /”라고 쓰면 사이트의 모든 콘텐츠를 학습에 사용하지 말라는 뜻이며, “Allow” 줄을 추가하면 예외를 지정할 수도 있다. 예를 들어 회사가 모델의 학습에 쓰여도 좋다고 여기는 보도자료 묶음은 허용할 수 있다.

블로그나 쇼핑몰, 언론사 입장에서 가장 유용한 점은 이 설정이 건드리지 않는 부분이다. 콘텐츠를 누가 방문할 수 있는지가 아니라 콘텐츠가 어떻게 사용되는지에 대한 의사를 표시하므로 검색 기능은 계속 작동한다. Google은 사이트가 공통 토큰으로 학습을 거부하면서 Google-Extended를 별도로 언급하지 않으면, 이를 Google-Extended 차단으로 해석하겠다고 밝혔다. 이 설정은 Gemini 학습을 막으면서 해당 페이지는 Google 검색에 계속 노출되도록 한다. Microsoft도 Bing에 관해 같은 약속을 내놨다. 이 설정은 페이지가 Bing 검색 결과에 나타날 수 있는지에는 영향을 주지 않는다.

Microsoft는 다른 업체보다 한 걸음 더 나아간다. 학습 설정과 별도로, 페이지마다 메타 태그나 HTTP 헤더를 통해 지정하는 그라운딩 선호 설정을 추가한다. 이 설정은 Bing, Copilot, Microsoft 365가 즉석에서 답변을 생성할 때 해당 페이지를 참고 자료로 활용할 수 있는지를 결정한다. 사이트는 학습은 거부하면서 그라운딩은 허용해 AI 답변에 인용과 링크가 포함되도록 할 수 있다. Microsoft는 그라운딩을 거부하면 해당 서비스에서 사이트의 노출이 “상당히 줄어든다”고 경고하면서도, 어느 쪽을 선택하든 콘텐츠가 답변에 포함되거나 트래픽 또는 대가를 얻으리라는 보장은 없다고 밝혔다.

다만 대부분의 사이트가 이미 사용하는 파일 속에 함정이 하나 있다. 켈리의 초안은 익숙한 와일드카드 규칙인 “User-agent: *”가 새 토큰을 인식하지 못하도록 의도적으로 설계했다. 따라서 현재 모든 봇을 차단하는 robots.txt를 운영하는 사이트도 AI 학습에 관한 선호를 전혀 표시하지 않은 셈이 된다. 학습을 거부하려는 운영자는 새 규칙 그룹을 이름을 명시해 추가해야 한다. 이 신호는 앞으로의 크롤링에만 적용된다는 점도 중요하다. 해당 규칙이 추가되기 전에 업체들이 수집한 콘텐츠는 이미 학습 데이터에 들어가 있으며, 초안에는 어느 업체든 이 신호를 반드시 따라야 한다는 조항이 없다. 네 업체가 존중하겠다고 약속한 요청이지, 차단 장치는 아니다.

가장 눈에 띄는 불참자는 Meta다. Meta의 커뮤니케이션 책임자 앤디 스톤(Andy Stone)은 The Verge에 여러 제공업체에 동시에 전달되는 공통 신호는 “중요한 진전”이라고 말했지만, Meta가 이를 따를지는 밝히지 않았다. 시점도 묘하다. 네 업체가 지지 의사를 발표한 바로 그날, Meta의 개정된 비즈니스 약관이 발효됐다. 이에 따라 Meta는 Facebook, Instagram, WhatsApp 비즈니스 계정과 연결된 웹사이트에 크롤러를 보내고, 수집한 정보를 자사 제품 학습에 사용할 수 있게 됐다.

도입 일정은 업체마다 다르다. Anthropic은 이미 토큰 적용에 착수했지만, 켈리는 모든 서비스에 적용하기까지 시간이 걸릴 것이라고 썼다. Microsoft는 2027년 2월 1일부터 크롤링 과정에서 이 설정을 존중하고, 3월 1일 이후에는 기존 NoArchive 및 NoCache 태그를 학습이나 그라운딩 신호로 해석하지 않을 예정이다. Google은 2027년 토큰 지원을 목표로 진행 상황을 알리겠다고 했으며, OpenAI는 앞으로 몇 달 안에 적용하겠다고만 약속했다. 이 제안은 공식 표준이 되기 전에 IETF의 AI Preferences 작업 그룹 심사를 거쳐야 한다. Google은 이 제안이 범용 AI 모델에 관한 EU 실천 규범에도 부합한다고 밝혔다. 해당 규범 역시 robots.txt를 게시자가 기계가 읽을 수 있는 선호를 표시하는 주요 수단으로 다루고 있다.

이번 변화가 주목할 만한 이유는 해결책이 놀라울 만큼 간단하기 때문이다. 개방형 웹의 소유권을 둘러싸고 수년간 소송과 라이선스 분쟁이 이어진 끝에, 처음으로 제시된 공통 해법은 누구나 1분이면 수정할 수 있는 일반 텍스트 파일 속 몇 글자다. 실제로 얼마나 보호 효과가 있을지는 앞으로 누가 참여하느냐에 달려 있다. 플랫폼에 가장 많은 비즈니스 페이지를 보유한 회사는 아직 동참 의사를 밝히지 않았다.

태그: 인공지능, OpenAI, Google, Anthropic, meta, microsoft