In questo articolo
Se non fosse tragico, ci sarebbe quasi da ridere. Immaginate la scena: un dipartimento di polizia nello Utah, agenti seri, distintivi lucidati, e un software di intelligenza artificiale che, con la massima autorità burocratica, mette a verbale che un ufficiale si è trasformato in una rana. Non è una metafora kafkiana e non è un episodio di X-Files. È successo davvero a Heber City.
A quanto pare, il software “Draft One” di Axon (sì, quelli dei Taser, e ne riparleremo tra un attimo) ha ascoltato un po’ troppo attentamente i rumori di fondo. Nello specifico, ha captato l’audio del film Disney La Principessa e il Ranocchio che andava in tv in sottofondo e ha deciso che quella narrazione fiabesca era un fatto giuridicamente rilevante da inserire in un rapporto di polizia.
Ora, potremmo liquidare tutto come un aneddoto divertente su quanto l’AI sia ancora stupida. Ma se guardiamo appena sotto la superficie, questa storia è un campanello d’allarme assordante per chiunque si preoccupi di diritti civili, sorveglianza e giustizia sociale.
Un poliziotto o un anfibio? Il glitch che fa scuola
La notizia, riportata inizialmente da Fox 13, ha costretto le forze dell’ordine locali a spiegare l’inspiegabile. Il sergente Rick Keel ha ammesso candidamente: “È stato allora che abbiamo capito l’importanza di correggere questi rapporti generati dall’intelligenza artificiale”.
Ah, ecco. Magari accorgersene prima che l’agente diventasse un anfibio sarebbe stato meglio. Il software in questione utilizza i modelli GPT di OpenAI per trasformare l’audio delle body cam in rapporti scritti completi. L’obiettivo? Ridurre la burocrazia. Keel sostiene che lo strumento gli fa risparmiare “dalle sei alle otto ore alla settimana” ed è molto “user-friendly”.
Ed è qui che casca l’asino (o la rana). In un sistema ossessionato dall’efficienza e dalla performance, la velocità viene scambiata per competenza. Accettiamo acriticamente strumenti che promettono di liberarci dal “lavoro sporco” della documentazione, dimenticando che in quei documenti si decide la libertà o la detenzione delle persone.
La promessa dell’automazione e i suoi mostri
Non è la prima volta che le forze dell’ordine si buttano a capofitto sull’AI, usandola per tutto, dalla stesura dei rapporti fino al riconoscimento facciale. Il pattern è sempre lo stesso: l’industria tecnologica vende una soluzione magica per gestire la complessità del reale, e le istituzioni comprano a scatola chiusa.
Il problema è che le allucinazioni dell’AI – quei momenti in cui il modello inventa fatti di sana pianta – non sono bug risolvibili con una patch. Sono intrinseche al funzionamento statistico di questi modelli. Oggi l’errore è palese (un uomo che diventa una rana), e quindi lo correggiamo ridendo. Ma cosa succede quando l’allucinazione è plausibile? Se l’AI “sente” una confessione che non c’è stata? O se interpreta un’espressione slang come una minaccia violenta?
Andrew Ferguson, professore di legge all’American University, aveva già avvertito l’anno scorso tramite l’AP: “Sono preoccupato che l’automazione e la facilità della tecnologia rendano gli agenti di polizia meno attenti nella scrittura”. Si chiama automation bias: tendiamo a fidarci della macchina più che dei nostri sensi. E se la macchina dice che sei colpevole, buona fortuna a dimostrare il contrario.
Il bias: il problema non è la rana, è il sistema
C’è poi l’aspetto strutturale. Axon, l’azienda che produce Draft One, è la stessa che ha monopolizzato il mercato dei Taser e delle body cam. Stiamo appaltando pezzi enormi dell’amministrazione della giustizia a corporation private che operano come “scatole nere”.
Una recente indagine della Electronic Frontier Foundation (EFF) ha evidenziato come Draft One sembri “deliberatamente progettato per evitare controlli che potrebbero fornire una qualsiasi responsabilità pubblica”. Spesso è impossibile distinguere quali parti di un rapporto siano state scritte da un umano e quali dall’algoritmo.
Inoltre, non possiamo ignorare l’intersezione con le discriminazioni razziali e di classe. Sappiamo già che l’AI generativa tende a perpetuare bias contro le donne e le persone non bianche. Se addestriamo questi sistemi su decenni di rapporti di polizia che contengono già pregiudizi sistemici (un fatto storico documentato), non stiamo facendo altro che automatizzare e velocizzare l’ingiustizia.
La responsabilità diluita nell’algoritmo
Alla fine, la questione non è tecnologica, è politica. L’uso di questi strumenti crea uno scudo di “negabilità plausibile”. Se un rapporto è falso e porta a un arresto ingiusto, di chi è la colpa? Dell’agente che non ha riletto bene? Del software che ha allucinato? O dell’azienda che ha venduto il prodotto?
Nel dubbio, la responsabilità si diluisce fino a scomparire. E mentre a Heber City stanno valutando se continuare a usare Draft One o passare a un concorrente come Code Four, noi restiamo con una certezza amara: finché considereremo la velocità più importante della verità, continueremo a vedere rane dove dovrebbero esserci cittadini.
Insomma, siamo sicuri di voler affidare la narrazione della nostra sicurezza a un sistema che non distingue un film Disney dalla realtà operativa?
