Anthropic предупредила инвесторов IPO, что её ИИ может скоро достичь порога самосовершенствования

В понедельник Anthropic включила заметное предупреждение в пересмотренную заявку S-1/A, поданную в Комиссию по ценным бумагам и биржам США (SEC). По собственным внутренним прогнозам компании, будущие модели могут вскоре соответствовать определению, закреплённому в её Responsible Scaling Policy («Политика ответственного масштабирования»), — «резко ускоренный прогресс, обусловленный ИИ». Это порог, за которым модель ИИ заметно ускоряет общее развитие ИИ; явление обычно называют рекурсивным самосовершенствованием, или RSI.

Anthropic подчёркивает, что ни одна из нынешних моделей пока не пересекла эту границу. Тем не менее в заявке признаётся, что компания уже использует ИИ в собственных исследованиях и разработках, и что растущая зависимость от систем ИИ может привести к тому, что возможности моделей будут развиваться быстрее, чем компания успевает разрабатывать соответствующие меры безопасности. Также признаётся, что значительное ускорение может быть замечено только после того, как оно уже произошло.

В части безопасности Anthropic обещает сохранять значимое участие человека, заявляя, что не ожидает возможности безопасно позволить Claude полностью автономно проектировать и создавать последующие поколения передовых моделей. Компания сообщает, что рассматривает обновления своей Responsible Scaling Policy для закрепления этого обязательства.

Скептики могут отметить, что заявка S-1 служит одновременно и раскрытию информации, и маркетингу, и что сигнал о близости к столь мощной вехе может скорее привлекать инвесторов, чем предостерегать их. Тем не менее конкретное признание Anthropic в том, что RSI может быть близким — и что прежние скачки возможностей оставались незамеченными в реальном времени, — делает это заявление трудно игнорировать. О новости впервые сообщил TechCrunch.