Anthropic попередила в заявці на IPO, що ШІ може невдовзі навчитися створювати себе сам

У зміненій формі S-1/A, опублікованій у понеділок, Anthropic попередила інвесторів, що компанія може наближатися до рубежу, який вона називає межею рекурсивного самовдосконалення (recursive self-improvement, RSI). RSI означає момент, коли ШІ стає настільки здатним навчати сам себе, що це спричиняє різке та швидке прискорення розвитку можливостей ШІ — явище, яке дослідники безпеки ШІ вважають критичною і потенційно неконтрольованою точкою перелому. У своїй Політиці відповідального масштабування (Responsible Scaling Policy) Anthropic визначає цей порог як «різко прискорений прогрес, зумовлений ШІ».

Компанія заявила, що жодна з її поточних моделей ще не перетнула цю межу, але додала, що внутрішні прогнози щодо моделей найближчого майбутнього свідчать про те, що цей порог може бути досягнутий «невідкладно». У несподіваному визнанні Anthropic зазначила, що раніше вже траплялося, що вона не помічала суттєвих стрибків у можливостях власних моделей, доки вони вже не відбувалися, і заявила, що це може повторитися.

Окрім розкриття інформації щодо RSI, у заявці зазначено, що хоча доходи компанії стрімко зростають, разом із ними зростають і витрати. Anthropic також зобов'язалася зберігати значущу участь людей у розробці передових моделей у найближчому майбутньому та повідомила, що розглядає оновлення своєї Політики відповідального масштабування для підтримання людського контролю.

Скептики можуть зауважити, що форма S-1 слугує одночасно і для розкриття інформації, і для маркетингу, і що заяви про наближення до такого потужного рубежу можна тлумачити і як попередження, і як рекламний аргумент. Тим не менш, стрімке зростання можливостей компанії за останній рік у сфері програмування, математики та кіберзахисту надає цьому попередженню справжньої ваги.