OpenAI·Google 등, AI 학습 거부 의사를 robots.txt에서 공통으로 표시하는 방안 지지
10월 30일 OpenAI와 Google은 웹사이트 운영자가 여러 AI 사업자에게 공통으로 학습 거부 의사를 알릴 수 있는 robots.txt 정책 토큰을 지원하겠다고 발표했습니다.
10월 30일 OpenAI와 Google은 웹사이트 운영자가 여러 AI 사업자에게 공통으로 학습 거부 의사를 알릴 수 있는 robots.txt 정책 토큰을 지원하겠다고 발표했습니다. 기존의 업체별 크롤러 설정을 즉시 없애거나 실제 접속을 기술적으로 차단하는 기능은 아닙니다.
OpenAI는 수개월 내 이 신호를 구현하겠다고 밝혔고, 현재의 별도 크롤러 제어도 계속 존중하겠다고 설명했습니다. Google도 2027년 지원 계획을 공개했으며, 기존 Google-Extended와 새 정책의 해석 관계를 안내했습니다. 여러 사업자가 공동 방향에 동의했다는 사실과 모든 사업자 시스템에 이미 적용됐다는 주장은 구분해야 합니다.
배경
지금까지 웹 운영자는 검색 색인, AI 학습, AI 제품의 답변 근거 수집을 제한하려면 업체별 크롤러나 제품 토큰을 따로 관리해야 했습니다. 새 초안의 토큰은 '생성형 모델의 매개변수 학습'에 관한 사용 선호를 나타내며 검색 엔진의 일반 색인이나 모든 AI 검색·답변 사용을 일괄 통제하는 장치와는 범위가 다릅니다.
의미
콘텐츠 제공자의 선택을 기계가 읽을 수 있는 공통 형식으로 표시하려는 진전입니다. 크롤러와 출판사 사이 운영비가 줄어들 수 있지만 실제 효력은 사업자의 준수, 크롤링 목적의 구분, 법률과 계약에 좌우됩니다.