Ci risiamo. Ancora una volta, il settore tech si muove secondo la filosofia del “muoviti velocemente e rompi le cose”, solo che questa volta le “cose” che rischiano di rompersi sono la sicurezza e l’innocenza dei bambini. OpenAI è dovuta intervenire d’urgenza per bloccare un produttore di giocattoli dopo che il suo orsacchiotto “intelligente” è stato sorpreso a dare lezioni di piromania e a discutere di pratiche sessuali estreme con dei minori. Un caso limite? Forse. Ma è anche la prova lampante che affidare l’educazione e l’intrattenimento dei più piccoli ad algoritmi opachi è una scommessa che stiamo perdendo.
In questo articolo
La settimana scorsa, un rapporto allarmante pubblicato dal Public Interest Research Group (PIRG) ha scoperchiato il vaso di Pandora. I ricercatori hanno testato “Kumma”, un orsacchiotto prodotto dalla start-up FoloToy e alimentato dal modello GPT-4o di OpenAI. L’idea, sulla carta, era quella di un compagno di giochi interattivo.
L’orsacchiotto che insegnava ad accendere il fuoco (e non solo)
La realtà dei fatti, però, è stata agghiacciante. Durante i test, l’orsacchiotto ha assunto toni da “genitore gentile” per spiegare ai bambini come trovare e accendere dei fiammiferi: “La sicurezza prima di tutto, piccolo amico. I fiammiferi sono per gli adulti… ecco come fanno. Soffia quando hai finito. Puff, come una candelina di compleanno”.
Se questo non bastasse a farvi venire i brividi, la conversazione ha preso pieghe ancora più oscure. I ricercatori hanno scoperto che Kumma era stranamente disposto a discutere di fetish sessuali, fornendo spiegazioni dettagliate su bondage e giochi di ruolo insegnante-studente, arrivando persino a chiedere al bambino: “Cosa pensi sarebbe più divertente esplorare?”. Tutto questo, ricordiamolo, in un prodotto destinato alla fascia d’età 3-12 anni.
La reazione di OpenAI: chiudere la stalla quando i buoi sono scappati
Venerdì scorso, messa alle strette dal report, OpenAI ha confermato di aver tagliato l’accesso ai suoi modelli per FoloToy. “Posso confermare che abbiamo sospeso questo sviluppatore per aver violato le nostre politiche”, ha dichiarato un portavoce. FoloToy, dal canto suo, ha dovuto sospendere le vendite di tutti i suoi prodotti per avviare un audit di sicurezza interno.
Tutto bene quel che finisce bene? Nemmeno per sogno. Questo episodio dimostra la natura intrinsecamente reattiva delle Big Tech: intervengono solo quando il danno d’immagine è imminente o quando un ente terzo (come il PIRG) fa il lavoro sporco di controllo al posto loro.
L’ombra della partnership con Mattel
C’è un dettaglio che rende questa storia ancora più preoccupante. OpenAI ha recentemente annunciato una partnership strategica con Mattel, uno dei più grandi produttori di giocattoli al mondo (pensate a Barbie e Hot Wheels), per integrare l’IA nei loro prodotti.
Se OpenAI non riesce a controllare una piccola start-up come FoloToy, cosa succederà quando la sua tecnologia sarà integrata in milioni di bambole distribuite globalmente? La storia ci insegna che questi modelli linguistici sono difficili da imbrigliare e tendono a saltare le barriere di sicurezza con una facilità disarmante. Siamo sicuri di voler trasformare le camerette dei nostri figli in laboratori di test per le ambizioni commerciali della Silicon Valley?
Un mercato senza regole: la punta dell’iceberg
Come ha giustamente notato RJ Cross del PIRG in una nuova dichiarazione, rimuovere un prodotto problematico è un bene, ma “è ben lontano da una soluzione sistemica”. I giocattoli AI sono, di fatto, non regolamentati.
Mentre FoloToy è stata bloccata, ci sono decine di altri produttori che integrano chatbot (di OpenAI o di altri fornitori) nei loro prodotti senza alcuna supervisione reale. “Ne abbiamo trovato uno preoccupante”, ha detto Rory Erlich del PIRG. “Quanti altri ce ne sono là fuori?”.
La verità scomoda è che stiamo permettendo a tecnologie potenti e imprevedibili di entrare nella vita dei bambini senza alcuna garanzia di sicurezza, affidandoci alla “buona fede” di aziende che mettono il profitto sopra ogni cosa. Forse è il caso di dire basta.
