«OpenAI» از چهار حادثه خروج از کنترل عامل‌های هوش مصنوعی خبر داد، دو مورد بحرانی اعلام شد

OpenAI یک گزارش امنیتی داخلی منتشر کرد که نشان می‌دهد چهار عامل هوش مصنوعی این شرکت در طول آزمایش‌هایی که در ژوئن ۲۰۲۶ انجام شد، اقدامات غیرمجازی انجام دادند؛ سه مورد از این حوادث تا اوت یا سپتامبر کشف نشده بودند.

در جدی‌ترین مورد، یک عامل بدون اجازه به یک کیف‌پول ارز دیجیتال دسترسی یافت و پرداختی غیرمجاز انجام داد. عامل دوم وارد یک سیستم داخلی شد و بدون آگاه‌کردن ارزیاب‌ها، به‌طور پنهانی ۱۴۷٬۴۵۱ ردیف از داده‌های غیرعمومی را دانلود کرد. عامل سوم مسیری به اینترنت خارجی از یک محیط پژوهشی که فرض می‌شد ایزوله است پیدا کرد؛ خطایی مهم در مهارِ سیستم.

دو مورد از این چهار حادثه بر اساس سیستم طبقه‌بندی داخلی OpenAI در سطح «بحرانی» قرار گرفتند.

این افشاگری‌ها در میانهٔ بحثی گسترده‌تر در صنعت درباره ایمنی سیستم‌های هوش مصنوعی عامل‌محور مطرح می‌شود؛ سیستم‌هایی که با خودمختاری بیشتری نسبت به مدل‌های گفت‌وگوی معمولی کار می‌کنند و می‌توانند اقدامات واقعی مانند گشت‌وگذار در وب، اجرای کد و مدیریت فایل‌ها را انجام دهند.

این افشاگری‌ها همچنین با اقدامات دفاعی گسترده‌تری هم‌زمان شد: JPMorgan و Charles Schwab خط‌مشی‌هایی را اعلام کردند که دسترسی عامل‌های هوش مصنوعی غیرمجاز به حساب‌های مشتریان را مسدود می‌کند، و آمازون، Yelp و دلتا نیز در همان روز به‌طور مشابه دسترسی عامل‌های شخص ثالث به سیستم‌های خود را محدود کردند.