Anthropic предупредила в заявке на IPO, что ИИ может скоро научиться создавать сам себя

В пересмотренной форме S-1/A, опубликованной в понедельник, Anthropic предупредила инвесторов, что компания может приближаться к рубежу, который она называет порогом рекурсивного самосовершенствования (recursive self-improvement, RSI). RSI означает момент, когда ИИ становится настолько способен обучать сам себя, что это вызывает резкое и стремительное ускорение роста возможностей ИИ — развитие событий, которое исследователи в области безопасности ИИ считают критической и потенциально неконтролируемой точкой перелома. В своей Политике ответственного масштабирования (Responsible Scaling Policy) Anthropic определяет этот порог как «резко ускоренный прогресс, обусловленный ИИ».

Компания заявила, что ни одна из её текущих моделей пока не пересекла эту черту, но добавила, что внутренние прогнозы относительно моделей ближайшего будущего указывают на то, что порог может быть достигнут «в скором времени». В неожиданном признании Anthropic отметила, что ранее не раз не замечала существенных скачков в возможностях собственных моделей до тех пор, пока они уже не произошли, и заявила, что это может повториться.

Помимо раскрытия информации об RSI, в заявке отмечается, что, хотя выручка компании стремительно растёт, вместе с ней растут и расходы. Anthropic также заявила, что намерена сохранять значимое участие людей в разработке передовых моделей в обозримом будущем, и сообщила, что рассматривает обновление своей Политики ответственного масштабирования для поддержания человеческого контроля.

Скептики могут заметить, что форма S-1 служит одновременно и для раскрытия информации, и для маркетинга, и что заявления о приближении к столь мощному рубежу можно трактовать одновременно и как предупреждение, и как рекламный аргумент. Тем не менее стремительный рост возможностей компании за последний год в области программирования, математики и кибербезопасности придаёт этому предупреждению реальный вес.