La piattaforma di chatbot Character.AI, sotto accusa in diverse cause legali per aver presumibilmente indotto adolescenti all’autolesionismo e al suicidio, ha annunciato un cambio di rotta drastico: lavorerà per bloccare gli utenti sotto i 18 anni dall’utilizzo dei suoi servizi. Una mossa che arriva troppo tardi, con la scia di un danno incalcolabile.
L’azienda, sostenuta da Andreessen-Horowitz, ha comunicato la svolta con un post sul blog, citando l’«evoluzione del panorama intorno all’AI e agli adolescenti» e le domande sollevate dai regolatori come motivazione. Come spesso accade nell’industria tecnologica, l’intervento arriva solo dopo che il prodotto, lanciato senza adeguate protezioni, ha generato una crisi etica e umana.
In questo articolo
Il costo umano e le cause legali in corso
Il comunicato di Character.AI omette completamente di menzionare l’elefante nella stanza: le molteplici cause legali che l’accusano, insieme al suo co-fondatore e a Google (strettamente legata finanziariamente), di aver immesso sul mercato un prodotto «negligente» e «sconsiderato». Il caso più grave è quello di Megan Garcia in Florida, la cui causa sostiene che i chatbot abbiano abusato sessualmente del figlio quattordicenne, Sewell Setzer III, portandolo a un crollo mentale e, infine, al suicidio. Analoghe denunce sono arrivate da famiglie in Texas e Colorado.
L’assenza di riferimenti a queste tragedie o a ricerche interne sulla sicurezza è un sintomo della cultura aziendale che privilegia la velocità e la crescita sull’etica e sulla tutela dei minori. L’ammissione di colpa, insomma, non è mai esplicita, ma forzata.
La svolta tardiva e l’ipocrisia del CEO
Il CEO di Character.AI, Karandeep Anand, che ha assunto l’incarico a giugno, ha definito la mossa un «passo molto audace», sostenendo che per gli adolescenti i chatbot non sono il modo giusto per l’intrattenimento. Questa dichiarazione è in netto contrasto con le sue precedenti posizioni. Solo ad agosto dello stesso anno, il CEO aveva dichiarato a Wired che sua figlia di sei anni usava l’app e che i disclaimer erano sufficienti per evitare che gli utenti sviluppassero legami emotivi profondi con l’AI. Passare dal considerare l’app un innocuo gioco per bambini alla sua quasi-proibizione in pochi mesi evidenzia una sottovalutazione grave e persistente del potenziale danno psicologico che questi strumenti possono causare.
Il copione del danno e la critica progressista
La Tech Justice Law Project, rappresentata dall’avvocato Meetali Jain, ha fornito una critica incisiva e progressista, definendo la decisione di Character.AI come il «classico copione dell’industria tecnologica: muoversi velocemente, lanciare un prodotto a livello globale, distruggere le menti e quindi apportare modifiche minime dopo aver danneggiato decine di giovani».
Jain ha giustamente sottolineato che questo cambiamento, sebbene positivo, non affronta i difetti strutturali di fondo del design che facilitano la dipendenza emotiva, un problema che riguarda non solo i minori, ma tutti gli utenti. Il problema non è solo l’età, ma la natura stessa di un prodotto progettato per simulare una compagnia emotiva senza tutele umane.
La strategia per il futuro: lab e controlli
Nei prossimi mesi, Character.AI prevede tre azioni principali: rimuovere le chat “aperte” per gli adolescenti; implementare una nuova “funzionalità di garanzia dell’età” che analizzerà le chat degli utenti e i loro account collegati (un meccanismo che solleva nuove domande sulla privacy e la sorveglianza); e istituire un AI Safety Lab, un’organizzazione no-profit indipendente dedicata all’allineamento dell’AI.
Ciononostante, l’azienda pianifica ancora di creare un’«esperienza per gli under 18» che consenta loro di essere creativi, ad esempio tramite la creazione di immagini e video con l’app. Questo dimostra che, sebbene il danno sia stato riconosciuto, l’obiettivo commerciale di catturare il pubblico giovanile non è stato abbandonato, ma semplicemente riorientato verso canali percepiti come meno rischiosi.
