OpenAI는 웹 운영자가 robots.txt에서 생성형 AI 학습 이용 선호를 여러 참여 업체에 공통으로 전달하는 신호를 존중하겠다고 밝혔습니다. IETF에 제출된 초안은 새 문법 대신 목적별 User-Agent 토큰과 기존 Allow 및 Disallow 경로 규칙을 사용합니다. OpenAI는 앞으로 몇 달 안에 구현할 예정이며 기존 개별 크롤러 제어는 유지한다고 설명했습니다. 따라서 이미 완성된 표준이나 모든 AI의 수집을 기술적으로 차단하는 장치가 아닙니다. 운영자는 기존 규칙을 유지하면서 실제 참여 업체별 적용 안내를 확인해야 합니다.