گوگل، مایکروسافت، OpenAI و Anthropic از راه‌حلی تک‌خطی برای مسدودسازی خزنده‌های آموزش هوش مصنوعی حمایت می‌کنند

گوگل، مایکروسافت، Anthropic و OpenAI از برنامه‌های خود برای حمایت از یک استاندارد خزش جدید خبر دادند که به مدیران وب‌سایت‌ها امکان می‌دهد مانع از استفاده توسعه‌دهندگان هوش مصنوعی از محتوایشان برای آموزش مدل‌ها شوند. در سیستم فعلی، شرکتی که می‌خواهد خزیدن مرتبط با آموزش را ممنوع کند، باید فایل robots.txt خود را بارها ویرایش کند و برای هر ارائه‌دهنده هوش مصنوعی یک مدخل جداگانه و برای هر خزنده اضافی که یک ارائه‌دهنده دارد، مدخل دیگری اضافه کند. استاندارد جدید به مدیران سایت امکان می‌دهد با یک مدخل در robots.txt تمام خزنده‌هایی را که داده‌های آموزشی برای مدل‌های هوش مصنوعی مولد جمع‌آوری می‌کنند مسدود کنند. این تنظیم شامل مدل‌هایی که صرفاً وظایف غیرمولد انجام می‌دهند نخواهد شد.

این چهار شرکت قصد دارند این استاندارد را در پروتکل استثنای ربات‌ها (Robots Exclusion Protocol)، یعنی قالبی که فایل‌های robots.txt از آن پیروی می‌کنند، بگنجانند. آن‌ها از قبل پیش‌نویس پیشنهاد خود را به گروه ویژه مهندسی اینترنت (Internet Engineering Task Force)، سازمان غیرانتفاعی نگهدارنده این پروتکل، ارائه کرده‌اند.

مایکروسافت در یک پست وبلاگی اعلام کرد که تنظیمی به نام AI Grounding نیز ارائه خواهد داد. این تنظیم مربوط به مواردی است که یک مدل هوش مصنوعی به جای جمع‌آوری داده‌های آموزشی، برای پاسخ‌دادن به پرسش کاربر به یک صفحه وب مراجعه می‌کند. مدیران وب‌سایت می‌توانند از ارسال چنین درخواست‌هایی توسط خدمات مایکروسافت جلوگیری کنند و این کنترل همچنین ابزارهای هوش مصنوعی شخص ثالث را که از فناوری‌های مایکروسافت برای پردازش درخواست‌ها استفاده می‌کنند، در بر می‌گیرد. OpenAI نیز قصد دارد کنترل‌های مشابهی ارائه دهد.

OpenAI و مایکروسافت قصد دارند طی ماه‌های آینده از این استاندارد حمایت کنند، در حالی که گوگل در طول سال آینده به آن‌ها خواهد پیوست. متا پلتفرمز اعلام کرد که از ایده پشت این فناوری حمایت می‌کند، اما هنوز به اجرای آن متعهد نشده است.