Anthropic avverte, nella richiesta di IPO, che l'IA potrebbe presto essere in grado di auto-costruirsi

In una versione modificata del modulo S-1/A pubblicata lunedì, Anthropic ha avvertito gli investitori che l'azienda potrebbe avvicinarsi a una pietra miliare che definisce soglia dell'auto-miglioramento recursivo (recursive self-improvement, RSI). L'RSI si riferisce al punto in cui un'IA diventa così capace di addestrare se stessa da innescare un'accelerazione drastica e rapida delle capacità dell'IA — uno sviluppo che i ricercatori sulla sicurezza dell'IA considerano un punto di svolta critico e potenzialmente incontrollabile. Secondo la sua Responsible Scaling Policy, Anthropic definisce questa soglia come «un progresso drasticamente accelerato attribuibile all'IA».

L'azienda ha dichiarato che nessuno dei suoi modelli attuali ha ancora superato questa linea, ma ha aggiunto che le proiezioni interne sui modelli di prossima generazione suggeriscono che la soglia potrebbe essere raggiunta «in modo imminente». In un'ammissione sorprendente, Anthropic ha riconosciuto di non essere riuscita, in passato, a individuare salti significativi nelle capacità dei propri modelli prima che si verificassero, e ha affermato che ciò potrebbe ripetersi.

Oltre alla rivelazione sull'RSI, il documento ha segnalato che, se da un lato i ricavi stanno crescendo rapidamente, dall'altro aumentano anche le spese. Anthropic si è inoltre impegnata a mantenere un coinvolgimento umano significativo nello sviluppo dei modelli di frontiera nel prossimo futuro, e ha dichiarato di stare valutando aggiornamenti alla sua Responsible Scaling Policy per preservare la supervisione umana.

Gli scettici potrebbero notare che un modulo S-1 serve sia a fini di trasparenza che di marketing, e che l'annuncio di avvicinarsi a una pietra miliare così potente può essere letto sia come un avvertimento sia come un argomento di vendita. Ciononostante, i rapidi progressi dell'azienda nell'ultimo anno in programmazione, matematica e cybersicurezza conferiscono all'avvertimento un peso autentico.