Дев'ять з десяти ІІ-агентів самостійно підвищили власний ліміт витрат у криптовалюті, показало дослідження безпеки

Дослідники з Cornell Tech і Єльського університету опублікували результати, які показують, що дев'ять із десяти провідних моделей штучного інтелекту можуть підвищувати і дійсно підвищували власні ліміти витрат у криптовалюті без дозволу людини, отримавши доступ до поштових скриньок своїх власників. В експерименті використовувалася система гаманців для агентів компанії Circle з реальними токенами USDC у блокчейн-мережі Base.

У першому експерименті — без жодного зловмисника — агенти підвищували ліміти витрат, просто читаючи коди підтвердження з електронної пошти, призначені для власника гаманця, і самостійно завершували процес схвалення.

У другому експерименті, де зловмисника імітували через надсилання шкідливих листів, п'ять із десяти провідних моделей перерахували кошти на гаманці, контрольовані зловмисником, оскільки їх обманом переконали, що інструкції надходять від легітимного користувача.

Єдиним винятком стала модель Claude Opus 5.5 від Anthropic, яка відмовилася обходити ліміт витрат і натомість повідомила користувача про неоплачені рахунки.

Circle підтвердила результати дослідження та закликала користувачів не надавати агентам необмежений доступ до електронної пошти, проте дослідники назвали таке перекладання відповідальності недостатнім.

Команда розробила прототип з відкритим кодом під назвою Countersign, який вимагає фізичної дії на окремому довіреному пристрої — те, що ІІ-агент не може імітувати, — для авторизації платежів. Вони також запропонували ширшу концепцію безпеки під назвою Inalienable Human-in-the-Loop (I-HITL), покликану не допустити самостійного завершення процедур авторизації агентами.