Google, Microsoft, Anthropic ve OpenAI, yapay zeka tarayıcılarını engelleyen yeni standardı destekliyor

Google, Microsoft, Anthropic ve OpenAI, 30 Ekim 2026'da, yayıncıların yapay zeka şirketlerinin içeriklerini model eğitiminde kullanmasını engellemesini kolaylaştırmak amacıyla yeni bir web tarama standardını destekleyeceklerini duyurdu.

Mevcut sistemde, yapay zeka eğitim tarayıcılarını engellemek isteyen bir web sitesi sahibinin robots.txt dosyasına her tarayıcı için ayrı bir satır eklemesi gerekiyor; yapay zeka sağlayıcıları birden fazla tarayıcı çalıştırdıkça bu süreç gittikçe daha karmaşık hale geliyor. Yeni standart, tek bir robots.txt girişinin, üretken yapay zeka modeli eğitimi için veri toplayan tüm tarayıcıları aynı anda engellemesine olanak tanıyacak. Bu ayar, yalnızca üretken olmayan görevler yürüten modeller için geçerli olmayacak.

Dört şirket, robots.txt dosyalarının yapısını belirleyen standart format olan Robots Exclusion Protocol'ü yöneten kâr amacı gütmeyen kuruluş Internet Engineering Task Force'a şimdiden bir taslak öneri sundu. Yeni tarama standardını bu formata dahil etmeyi planlıyorlar.

OpenAI ve Microsoft önümüzdeki aylarda standardı desteklemeyi planlarken, Google'ın gelecek yıl içinde bunu takip etmesi bekleniyor. Meta, fikri desteklediğini belirtti ancak uygulamaya geçme konusunda taahhütte bulunmadı.

Microsoft ayrıca, farklı bir senaryoyu hedefleyen AI Grounding adlı ayrı bir özellik duyurdu: bir yapay zeka modelinin eğitim verisi toplamak yerine bir kullanıcının sorusunu yanıtlamak için bir web sayfasına erişmesi durumu. Web sitesi sahipleri, bu ayarı kullanarak Microsoft'un hizmetlerinin — ve Microsoft teknolojilerine dayanan üçüncü taraf yapay zeka araçlarının — bu tür isteklerde bulunmasını engelleyebilecek.