AI

robots.txt 한 줄로 AI 학습 거부…구글·오픈AI 등 4곳 수용

Susan Hill
Google에서 추가하기

Google, OpenAI, Anthropic, Microsoft가 robots.txt의 단일 토큰 __usage_ai-training을 AI 학습에 관한 웹사이트의 의사 표시로 읽기로 합의했다. 지금처럼 크롤러마다 일일이 나열하는 방식보다 간단하지만, 자율적인 약속이고 앞으로의 수집에만 적용되며 업체마다 의미가 완전히 같지도 않다.

웹사이트를 AI 학습에 쓰지 못하게 하려면 지금까지는 업체마다 별도의 규칙을 작성해야 했다. GPTBot, ClaudeBot, Google-Extended 같은 이름을 하나씩 익히고, 다른 개발사가 크롤러를 새로 공개할 때마다 목록을 고쳐야 했다. 10월 30일(금) Google, OpenAI, Anthropic, Microsoft는 앞으로 모두 같은 한 줄을 읽겠다고 밝혔다. 초기 웹 시절부터 검색엔진에 접근하지 말아야 할 곳을 알려온 작은 텍스트 파일 robots.txt에 넣는 공통 ‘정책 토큰’(policy token)이다. 한 번 작성하면 그 항목 하나가 대형 AI 개발사 네 곳에 같은 답을 전달한다.

이 아이디어는 Anthropic에서 표준 기술 업무를 이끄는 케빈 켈리(Kevin Kelley)가 내놓았다. 켈리는 이를 인터넷 기술 규칙을 만드는 기구인 Internet Engineering Task Force(IETF)에 Internet-Draft로 제출했다. Google은 Search Advocate인 존 뮬러(John Mueller) 명의로 Search Central 블로그에 지지 입장을 올렸고, Microsoft는 수석 제품 관리자 크리슈나 마다반(Krishna Madhavan)을 통해 Bing 블로그에 같은 입장을 밝혔다. OpenAI는 짧은 회사 성명을 게시했다. 켈리는 같은 날 오후 AIPREF로 불리는 IETF AI Preferences 작업 그룹의 메일링 리스트에 초안을 알리면서, Anthropic이 이미 이 토큰에 대한 “지원 구현을 시작했다”고 썼다.

한 줄의 작동 방식

이 방식의 묘수는 새로운 문법을 만들지 않는다는 데 있다. 사이트 운영자는 평범한 robots.txt 규칙 그룹(rule group)을 작성하되, User-Agent 줄에 크롤러 대신 사용 목적을 적는다. 바로 __usage_ai-training이다. 그 아래 “Disallow: /”는 이곳의 어떤 콘텐츠도 학습에 쓰지 말라는 뜻이고, “Allow” 줄로 예외를 둘 수 있다. 초안이 직접 든 예시는 /press-kit/ 폴더를 열어 두는 경우로, 회사로서는 모델이 오히려 학습해 주기를 바랄 만한 자료다. 일치 여부는 RFC 9309의 경로 규칙과 최장 일치 우선(longest-match precedence) 원칙을 따른다. RFC 9309는 로봇 배제 프로토콜(Robots Exclusion Protocol)로, 마르테인 코스터(Martijn Koster)가 1994년 이 관행을 제안한 지 30년 가까이 지난 2022년 9월 IETF가 공식 규격으로 정리했다.

앞에 붙은 이중 밑줄은 의도된 것이다. 실제로 쓰이는 robots.txt 파서(parser) 가운데 일부는 봇 이름을 느슨하게 대조하는데, 이 접두어 덕분에 실제 크롤러와 우연히 일치할 가능성이 낮아진다. 한 그룹에 여러 정책 토큰을 나열할 수 있고, 정책 토큰을 일반 크롤러 이름과 나란히 둘 수도 있다. 켈리는 현장에 배포된 파서들의 동작을 오랫동안 연구했으며, 파서마다 해석이 갈리는 영역을 피하도록 이 방식을 설계했다고 썼다. 그래서 이 토큰을 모르는 소프트웨어는 인식하지 못하는 봇에게 보낸 그룹을 대할 때처럼 해당 그룹을 그냥 건너뛴다.

무엇을 학습으로 볼지는 새로 만든 개념이 아니라 빌려 온 것이다. 초안은 Open Future의 폴 켈러(Paul Keller)와 Mozilla의 마틴 톰슨(Martin Thomson)이 편집한 AIPREF 작업 그룹의 용어 문서에서 정의를 가져왔다. 이에 따르면 AI 학습은 어떤 자산을 “생성형 AI 모델의 학습된 매개변수를 수정하기 위해” 사용하는 것을 뜻한다. 분류, 순위 매기기, 점수 산정에만 쓰이는 모델은 결과에 대한 설명을 생성하더라도 여기에 해당하지 않는다. 한 페이지에 적용되는 선호는 그 페이지를 가져온 시점에 유효했던 robots.txt 파일에 적힌 내용이다.

검색은 그대로

블로그나 쇼핑몰, 언론사에 가장 유용한 대목은 이 한 줄이 건드리지 않는 부분이다. 초안은 이 토큰이 “크롤링 동작에 대한 지시가 아니다”라고 분명히 적었다. 누가 방문할 수 있는지가 아니라 콘텐츠가 어떻게 쓰이는지에 대한 선호를 밝히는 것이어서 검색은 계속 작동한다. Googlebot, Bingbot 등 이름을 지정한 크롤러에게 보내는 규칙은 지금과 똑같은 의미를 유지한다. 특정 봇의 접근을 아예 막고 싶은 사이트는 여전히 그 봇의 이름으로 된 그룹에 그렇게 적어야 한다.

Microsoft는 이 설정이 페이지가 Bing 검색 결과에 나타날 수 있는지에는 영향을 주지 않는다고 밝혔다. Google은 사이트가 공통 토큰으로 학습을 거부(opt out)하면서 Google-Extended를 따로 언급하지 않으면 이를 Google-Extended 차단으로 해석하겠다고 했다. Google이 2023년부터 제공해 온 Google-Extended는 Google 검색 노출에는 영향을 주지 않지만, 적용 범위가 학습에 그치지 않는다. Google 크롤러 문서에 따르면 Google-Extended는 Gemini Apps와 Vertex AI에서 페이지를 그라운딩(grounding)에 쓸 수 있는지도 결정한다. 그라운딩은 모델이 답변하는 동안 검색 색인의 페이지를 모델에 넘겨주는 과정이다. 따라서 Google이 밝힌 계획대로라면 공통 학습 거부 설정은 그라운딩을 거친 Gemini 답변에서도 사이트를 빼게 된다. 사이트가 Google-Extended에 대한 명시적 허용 그룹을 추가하면 예외가 되는데, Google은 이를 더 구체적인 규칙으로 취급한다. Google 검색의 AI Overviews와 AI Mode는 별개 문제로, Googlebot 규칙과 회사가 8월 모든 사이트에 배포한 Search Console 설정이 적용된다.

Microsoft, 학습과 답변 분리

Microsoft는 다른 업체보다 한 걸음 더 나아간다. 학습과 별도로 메타 태그나 HTTP 헤더를 통해 페이지마다 지정하는 그라운딩 선호 설정을 추가하는데, 이 설정은 Bing, Copilot, Microsoft 365가 즉석에서 생성하는 답변에 해당 페이지를 쓸 수 있는지를 정한다. 값은 세 가지다. 기본값인 Allow, Disallow, 그리고 새로 생긴 DisallowExtended다. DisallowExtended는 페이지를 Microsoft 자체 AI 서비스에는 계속 제공하되, Web IQ처럼 Microsoft가 다른 회사에 판매하는 그라운딩 서비스에서는 제외한다. 사이트는 학습은 거부하면서 그라운딩은 허용해 AI 답변 속 인용과 링크를 유지할 수 있다. Microsoft는 학습 선호도 페이지 단위로 지정할 수 있게 했으며, 페이지 단위 설정이 robots.txt보다 우선한다.

Microsoft는 그라운딩을 제한하면 해당 서비스에서 사이트의 노출이 줄어든다고 경고하면서 “어느 쪽을 선택하든 노출, 트래픽, 대가가 보장되지는 않는다”고 밝혔다. 회사는 2023년 AI 제어 수단으로 도입한 NoArchive와 NoCache 태그도 폐지한다. 새 선호 설정은 2027년 2월 1일부터 크롤링 과정에서 존중하고, 3월 1일 이후에는 기존 태그를 학습이나 그라운딩 신호로 읽지 않는다. 그라운딩에서 빠지기 위해 기존 태그에 의존해 온 사이트는 12월 15일부터 Bing Webmaster Tools에 임시 선호를 등록할 수 있다. Microsoft는 사이트에서 새 선호 설정 중 하나라도 감지하면 남아 있는 기존 태그는 모두 무시하겠다고 덧붙였다. 따라서 공통 학습 거부 줄만 추가한 게시자는 이전에 설정한 그라운딩 제한을 잃을 수 있다.

와일드카드의 함정

대부분의 사이트가 이미 가진 파일 속에 함정이 숨어 있다. 켈리의 초안은 익숙한 와일드카드 규칙(wildcard rule)인 “User-agent: *”가 새 토큰을 인식하지 못하도록 의도적으로 설계했다. 또 __usage_ai-training 그룹이 없는 파일은 아무런 선호도 표시하지 않은 것이 되는데, 켈리가 지적했듯 이는 지금까지 게시된 모든 robots.txt 파일에 해당한다. 오늘 모든 봇을 차단하는 사이트도 초안 기준으로는 AI 학습에 대해 아무 말도 하지 않은 셈이다. 학습에서 빠지고 싶은 운영자는 새 그룹을 이름으로 직접 추가해야 한다. 업체별 기존 토큰도 이어지지 않는다. Google-Extended 차단은 Google에서는 의미를 유지하지만 OpenAI나 Microsoft에 대한 공통 거부 설정이 되지는 않는다.

이 신호는 앞으로의 일에만 적용된다. 해당 줄이 생기기 전에 업체들이 수집한 콘텐츠는 이미 학습 데이터에 들어가 있고, 초안에는 어느 업체에도 이를 따르도록 강제하는 내용이 없다. 초안은 개별 라이선스 계약이 이 신호보다 우선할 수 있다고도 덧붙였다. 따라서 콘텐츠 계약을 맺은 게시자는 전면 거부를 게시하면서도 특정 개발사와의 관계는 그 계약에 맡길 수 있다. OpenAI도 자사의 참여를 “자발적인 노력”이라고 부른다. 네 업체가 존중하겠다고 약속한 요청이지, 자물쇠는 아니다.

빠진 업체들

가장 눈에 띄는 불참자는 Meta다. Meta의 커뮤니케이션 책임자 앤디 스톤(Andy Stone)은 The Verge에 여러 제공업체에 한꺼번에 닿는 공통 신호는 “중요한 진전”이라고 말했지만, Meta가 이를 따를지는 밝히지 않았다. 시점도 공교롭다. Meta의 개정 비즈니스 약관은 Facebook, Instagram, WhatsApp 비즈니스 계정과 연결된 웹사이트에 Meta가 크롤러를 보내고 수집한 정보를 자사 제품 학습에 쓸 수 있도록 하는 내용으로, 원래 발표 당일인 10월 30일 발효될 예정이었다. 게시자들이 EU와 영국 경쟁 당국에 문제를 제기하자 Meta는 10월 23일 Reuters에 발효일을 11월 20일로 미뤘다고 밝혔다.

이번 약속 밖에 있는 대기업은 Meta만이 아니다. Amazon도 네 곳에 포함되지 않았고, 기존의 많은 거부 목록에 Applebot-Extended 토큰이 올라 있는 Apple도 빠졌다. 다만 초안의 긴 감사의 글 표에는 Meta와 Amazon 직원의 이름도 올라 있으며, Google, Microsoft, OpenAI 관계자, News Corp, Financial Times, BBC 같은 언론사, Electronic Frontier Foundation, Creative Commons, Internet Archive, Common Crawl 등 단체 관계자와 나란히 적혀 있다. 초안은 IETF 참여자가 개인 자격으로 기여하기 때문에 소속은 신원 확인 용도로만 표기했다고 밝히고 있다.

아직 공식 지위 없는 초안

도입 속도는 제각각이다. Anthropic은 토큰 적용에 착수했지만, 켈리는 모든 서비스에 적용하기까지 시간이 걸리고 표준이 발전하면서 이런 신호에 대한 회사의 해석이 바뀔 수 있다고 썼다. 기존 ClaudeBot, Claude-User, Claude-SearchBot 제어 수단은 그대로 유지된다. 일정이 확정된 곳은 Microsoft뿐이다. Google 블로그 글은 2027년을 목표로 제시했고 크롤러 문서에는 2027년 초로 적혀 있다. OpenAI는 “앞으로 몇 달”이라고만 약속했으며, 새 신호가 GPTBot 등 이미 제공 중인 robots.txt 제어 수단을 대체하지는 않는다고 밝혔다. OpenAI 게시물은 이 신호가 “기초적인 생성형 AI 학습”을 대상으로 한다고 설명했는데, 이 표현이 용어 초안의 더 넓은 정의를 좁히는 것인지 회사는 밝히지 않았다.

토큰에는 아직 공식 지위도 없다. IETF datatracker는 켈리의 문서를 작업 그룹 문서가 아닌 개인 제출 문서로 분류하고 있으며, 새 버전으로 대체되지 않으면 2027년 5월 3일 만료된다. 켈리는 이 문서를 콘텐츠에 선호를 붙이는 방법을 다루는 작업 그룹의 별도 초안에 참고 자료로 제공했다. 이 별도 초안의 공동 저자에는 RFC 9309 저자 중 한 명인 Google의 게리 일리시(Gary Illyes)도 있다. Google은 이 계획이 2025년 7월 발표된 EU 범용 AI 모델 실천 규범(code of practice)에 부합한다고 밝혔다. 이 규범은 이미 robots.txt를 게시자가 기계가 읽을 수 있는 선호를 밝히는 주요 수단으로 다루며, 서명 기업에 이를 따르는 크롤러를 쓰도록 요구한다.

이번 변화가 주목할 만한 이유는 해법의 크기에 있다. 개방형 웹의 소유권을 둘러싼 수년간의 소송과 라이선스 분쟁 끝에 처음 나온 공통 해법은 누구나 1분이면 고칠 수 있는 일반 텍스트 파일 속 몇 글자다. 대부분의 사이트 운영자가 실제로 할 일은 간단하다. __usage_ai-training 그룹을 추가하고, 기존 크롤러 규칙은 그대로 두고, Google의 해석 방식이 Gemini 인용에 어떤 영향을 주는지 확인한 뒤에 이 설정에 기대면 된다. 이 한 줄이 얼마나 보호해 줄지는 다음에 누가 참여하느냐에 달려 있다. 플랫폼에 가장 많은 비즈니스 페이지를 보유한 회사는 아직 동의하지 않았다.

태그: , , , , ,

Google에서 추가하기

토론

댓글 0개가 있습니다.