Centinaia di app sugli store di Apple e Google nascondevano una rete di strumenti deepfake abusivi

I ricercatori di AI Forensics, in collaborazione con WIRED, hanno scoperto una rete coordinata di oltre 400 app e domini collegati che celava un livello nascosto per generare deepfake sessualmente abusivi e violenti.

Centinaia di queste app erano disponibili direttamente sull'App Store di Apple e su Google Play, dove si presentavano come servizi legittimi — strumenti per ritratti di animali domestici, tutor linguistici, coach di allenamento basati sull'IA — superando i controlli di sicurezza delle piattaforme.

Una volta installata, ogni app contattava un server remoto che verificava segnali dell'utente, tra cui la posizione, gli identificatori del dispositivo e se l'utente fosse arrivato tramite un annuncio pubblicitario di Meta. Gli utenti che soddisfacevano determinati criteri vedevano apparire l'interfaccia nascosta, che offriva decine di modelli espliciti di deepfake, permettendo di inserire foto reali in scene esplicite o minacciose.

Una sola app popolare ha superato i 100.000 download prima che Google la rimuovesse, nonostante avesse una classificazione adatta a tutte le età.

WIRED ha ricondotto la rete in gran parte a sviluppatori cinesi e a un'azienda di Hong Kong chiamata KeLing Technology Limited, che ha eliminato la propria presenza online dopo essere stata contattata.

In seguito alla denuncia, Apple ha rimosso 19 app — tra cui l'app di ritratti per animali domestici Viefur — e ha aggiornato le politiche dell'App Store per vietare esplicitamente le app di "nudificazione" e quelle del tipo "bait-and-switch" (esca e sostituzione).

Meta aveva già vietato a KeLing di fare pubblicità nel 2025 e successivamente ha agito contro 11.600 account pubblicitari collegati e 5.200 utenti, oltre a bloccare 209 app legate allo schema.