Anthropic попередила інвесторів IPO, що її ШІ може незабаром досягти порогу самовдосконалення

У понеділок Anthropic зробила помітне попередження у переглянутій заявці S-1/A, поданій до Комісії з цінних паперів і бірж США (SEC). За власними внутрішніми прогнозами компанії, майбутні моделі можуть незабаром відповідати визначенню, закріпленому в її Responsible Scaling Policy («Політика відповідального масштабування»), — «різко прискорений прогрес, що пояснюється ШІ». Це порогове значення, після якого модель ШІ помітно прискорює загальний розвиток ШІ; явище зазвичай називають рекурсивним самовдосконаленням, або RSI.

Anthropic наголошує, що жодна з нинішніх моделей ще не перетнула цю межу. Проте в заявці визнається, що компанія вже використовує ШІ у власній дослідницькій та інженерній роботі, і що це зростаюче покладання на системи ШІ може призвести до того, що можливості моделей розвиватимуться швидше, ніж компанія здатна розробляти відповідні заходи безпеки. Також визнається, що значне прискорення можна виявити лише після того, як воно вже відбулося.

Що стосується безпеки, Anthropic обіцяє зберігати значущу участь людини, заявляючи, що не очікує можливості безпечно дозволити Claude повністю автономно проєктувати та створювати наступні поколінь передових моделей. Компанія повідомляє, що розглядає оновлення своєї Responsible Scaling Policy для закріплення цього зобов'язання.

Скептики можуть зауважити, що заявка S-1 виконує одразу функцію розкриття інформації та маркетингу, і що сигналізування про близькість до такого потужного рубежу може приваблювати інвесторів не менше, ніж попереджати їх. Попри це, конкретне визнання Anthropic того, що RSI може бути близьким — і що попередні стрибки можливостей залишалися непоміченими в реальному часі, — робить це визнання важким для ігнорування. Про новину вперше повідомив TechCrunch.