گوگل، مایکروسافت، آنتروپیک و اوپن‌ای‌آی از استاندارد جدید مسدودسازی خزنده‌های هوش مصنوعی حمایت کردند

گوگل، مایکروسافت، آنتروپیک و اوپن‌ای‌آی در ۳۰ اکتبر ۲۰۲۶ اعلام کردند که از یک استاندارد جدید خزش وب‌سایت حمایت خواهند کرد که هدف آن ساده‌تر کردن کار ناشران برای جلوگیری از استفاده شرکت‌های هوش مصنوعی از محتوای آن‌ها برای آموزش مدل‌ها است.

در سامانه کنونی، گرداننده وب‌سایتی که می‌خواهد خزنده‌های آموزشی هوش مصنوعی را مسدود کند، باید برای هر خزنده به‌طور جداگانه یک ورودی به فایل robots.txt خود اضافه کند؛ فرایندی که با افزایش تعداد خزنده‌های هر شرکت هوش مصنوعی، پیچیده‌تر می‌شود. استاندارد جدید اجازه می‌دهد یک ورودی واحد در robots.txt تمام خزنده‌هایی را که برای آموزش مدل‌های هوش مصنوعی مولد داده جمع‌آوری می‌کنند، یکجا مسدود کند. این تنظیم شامل مدل‌هایی که صرفاً وظایف غیرمولد انجام می‌دهند، نخواهد شد.

این چهار شرکت پیش‌نویس پیشنهادی را به گروه ویژه مهندسی اینترنت (Internet Engineering Task Force)، سازمان غیرانتفاعی نگهدارنده پروتکل استثنای ربات‌ها (Robots Exclusion Protocol) — قالب استانداردشده‌ای که ساختار فایل‌های robots.txt را تعیین می‌کند — ارائه کرده‌اند. آن‌ها قصد دارند استاندارد خزش جدید را در این قالب بگنجانند.

اوپن‌ای‌آی و مایکروسافت قصد دارند در ماه‌های آینده از این استاندارد پشتیبانی کنند، در حالی که گوگل برنامه دارد در طول سال آینده این کار را انجام دهد. متا از این ایده حمایت کرده اما تعهدی برای اجرای آن نداده است.

مایکروسافت همچنین از ویژگی جداگانه‌ای به نام AI Grounding خبر داد که سناریوی دیگری را هدف قرار می‌دهد: زمانی که یک مدل هوش مصنوعی برای پاسخ به پرسش کاربر به یک صفحه وب دسترسی پیدا می‌کند، نه برای جمع‌آوری داده‌های آموزشی. گردانندگان وب‌سایت‌ها خواهند توانست از این تنظیم برای جلوگیری از چنین درخواست‌هایی از سوی خدمات مایکروسافت — و همچنین ابزارهای هوش مصنوعی شخص ثالث که به فناوری‌های مایکروسافت متکی‌اند — استفاده کنند.