غوغل ومايكروسوفت وأنثروبيك وأوبن إيه آي تدعم معيارًا جديدًا لحجب زاحفات الذكاء الاصطناعي

أعلنت غوغل ومايكروسوفت وأنثروبيك وأوبن إيه آي في 30 أكتوبر 2026 أنها ستدعم معيارًا جديدًا لزحف المواقع الإلكترونية، صُمم لتسهيل مهمة الناشرين في منع شركات الذكاء الاصطناعي من استخدام محتواها لتدريب نماذجها.

وفق النظام الحالي، يتعين على مشغل الموقع الذي يريد حجب زاحفات تدريب الذكاء الاصطناعي إضافة إدخال منفصل في ملف robots.txt لكل زاحف على حدة، وهي عملية تزداد تعقيدًا مع تشغيل مزودي الذكاء الاصطناعي زاحفات متعددة. وسيتيح المعيار الجديد لإدخال واحد في ملف robots.txt حجب جميع الزاحفات التي تجمع بيانات لتدريب نماذج الذكاء الاصطناعي التوليدي دفعة واحدة. ولن ينطبق هذا الإعداد على النماذج التي تؤدي مهام غير توليدية حصرًا.

وقد قدمت الشركات الأربع بالفعل مسودة اقتراح إلى فريق مهندسي الإنترنت (Internet Engineering Task Force)، المنظمة غير الربحية التي تشرف على بروتوكول استبعاد الروبوتات (Robots Exclusion Protocol) — الصيغة الموحدة التي تحكم بنية ملفات robots.txt. وتخطط الشركات لدمج معيار الزحف الجديد في تلك الصيغة.

تعتزم أوبن إيه آي ومايكروسوفت إضافة دعم للمعيار في الأشهر المقبلة، بينما تخطط غوغل لاتباع الخطى في وقت ما من العام المقبل. وأعربت ميتا عن تأييدها للفكرة لكنها لم تلتزم بتطبيقها.

كما أعلنت مايكروسوفت عن ميزة منفصلة تحمل اسم "AI Grounding"، تستهدف سيناريو مختلفًا: عندما يصل نموذج ذكاء اصطناعي إلى صفحة ويب للإجابة عن سؤال مستخدم بدلًا من جمع بيانات التدريب. وسيتمكن مشغلو المواقع من استخدام هذا الإعداد لمنع خدمات مايكروسوفت — وكذلك أدوات الذكاء الاصطناعي التابعة لجهات خارجية التي تعتمد على تقنيات مايكروسوفت — من تقديم مثل هذه الطلبات.