L’intelligenza artificiale può essere razzista?

Chiedersi se l’intelligenza artificiale possa soffrire di razzismo sembra una domanda poco sensata, e in un’epoca in cui è forte lo scontro del politically correct sembra perfino una provocazione, eppure non lo è perché davvero l’intelligenza artificiale può essere non solo razzista ma anche sessista, omofoba, transfobica, o più generalmente xenofoba.

Casi reali di Intelligenza Artificiale razzista e intollerante

Il caso di Tay, il “bot nazista”

Un caso che ha fatto molta notizia è stato quello di Tay, un sistema automatizzato creato da Microsoft con lo scopo di studiare appunto l’intelligenza artificiale e l’apprendimento automatico. Il risultato atteso era che Tay avrebbe dovuto essere in grado di prendere da diverse fonti il maggior numero di informazioni possibili per essere in grado di rispondere a qualunque domanda gli venisse posta in maniera il più possibile naturale e realistica. Microsoft aveva dichiarato che lo scopo fosse “coinvolgere e incuriosire le persone” attraverso “conversazioni giocose e informali”.

L’esperimento però non è andato esattamente come atteso: Tay nel giro di pochi minuti ha iniziato a rispondere con insulti razzisti, e affermazioni negazioniste sull’olocausto ebraico.

Microsoft all’epoca ha spiegato che “purtroppo, nelle sue prime 24 ore in cui è stata online” il bot è stato vittima di “uno sforzo coordinato fatto da alcuni utenti per abusare delle sue capacità di risposta”. In pratica Tay funzionava raccogliendo informazioni in rete, quindi di fatto quasi per imitazione. Per rispondere a una data domanda non era in grado di fare un ragionamento complesso ma di simularlo copiando risposte analoghe a domande analoghe. Alcuni utenti resisi conto di questo hanno iniziato a fare domande esca per far cadere il bot in errore. Per esempio, è più probabile che sia un negazionista a chiedere se davvero è avvenuto l’olocausto, di conseguenza se un sistema automatico cerca risposte in rete a questo tipo di domande troverà facilmente risposte negazioniste.
Tay non dava solamente risposte di questo genere, ha dato comunque migliaia di messaggi normali, che effettivamente sembrano scritti da un umano e molto credibili, altri meno chiari o in cui alla stessa domanda il bot ha mostrato opinioni diverse.

Si è trattato in ogni caso di un esperimento interessante che ci ha insegnato molto.

Il riconoscitore di volti “razzista”

Un altro caso famoso è stato quando Google Photos scambiava gli afroamericani per gorilla (https://tinyurl.com/3aj5nwcj). Google Photos, quando vengono caricate foto sul servizio si occupa di creare dei tag, serve per le ricerche a posteriori, ad esempio se vogliamo cercare nelle nostre vecchie foto quelle che contengono gatti, basterà cercare gatti per trovarle.
Il problema è che in una delle sue prime versioni taggava come gorilla le persone di colore.

Ovviamente non era una funzione desiderata, né prevista. Tali meccanismi funzionano inviando all’intelligenza artificiale milioni di foto gatti dicendole che sono gatti, milioni di foto di pesci dicendole che sono pesci, milioni di foto di umani dicendole che sono umani, eccetera. Il problema è che se tutti gli umani che le sono stati sottoposti sono di pelle chiara, non è detto che il sistema sia in grado di riconoscere un umano con la pelle di colore diverso. Non si tratta in sé di razzismo, quando di apprendimento scorretto dovuto a una scelta sbagliata di input.

Il distributore di sapone “suprematista bianco”

Una situazione analoga è accaduta perfino con un’intelligenza molto meno evoluta. Quella di un distributore di sapone diventato famoso grazie al video di un dipendente Facebook (https://tinyurl.com/crcfh4bm).
Anche in questo caso si tratta “semplicemente” di un sensore che evidentemente è stato testato solo da persone con la pelle chiara e nessuno ha pensato di provarne il funzionamento su persone con la pelle più scura.

Perché l’intelligenza artificiale può essere razzista?

Come per ogni tecnologia il problema non è in sé la tecnologia ma come viene usata, o in questo caso come viene istruita. Nel momento in cui un sistema smette di essere puramente iterativo ma acquisisce la capacità di apprendimento comincia a soffrire degli stessi problemi di cui soffre qualunque intelligenza: i bias cognitivi.

I bias cognitivi sono costrutti fondati, al di fuori del giudizio critico, su percezioni errate o deformate, su pregiudizi e ideologie; utilizzati spesso per prendere decisioni in fretta e senza fatica.

Bias ed euristiche: cosa sono e quali sono i più frequenti (stateofmind.it)

Se chi alimenta un’intelligenza soffre di un bias e non ragiona su come escluderlo, anche l’intelligenza ne soffrirà, nello stesso modo in cui un bambino educato in una famiglia con certo preconcetto avrà alte probabilità di crescere con lo stesso preconcetto, a meno che trovi altre fonti di conoscenza che lo aiutino a rimuoverlo.

L’esempio del distributore di sapone e del riconoscitore di volti sono emblematici, in entrambi i casi i sistemi sono stati sviluppati e testati da esseri umani che avevano caratteristiche comuni e a nessuno di loro è venuto in mente di coinvolgerne altri con caratteristiche diverse per evitare che il sistema sviluppato cadesse in questo genere di bias cognitivo.

Può succedere con team di soli uomini che non pensino alle differenze fisiche o psicologiche dell’altro sesso, può succedere se un team è formato di soli appartenenti a una qualunque specifica categoria che non ragioni e non faccia test su qualsiasi altra categoria. Può succedere per qualunque preconcetto conosciuto o no, visibile o latente che chi sviluppa un certo prodotto o chi ne alimenta i dati possa avere. Può succedere anche semplicemente perché ci si trova ad avere una fonte di dati parziale. Prendiamo ad esempio studi sociali fatti su utenti di un grosso social network, abbiamo la certezza che quegli utenti siano rappresentativi dell’umanità? O dovremmo prevedere scarti e differenze dovuti alla grande massa che non può accedere al sito, o che non vuole accedervi perché lo ritiene poco interessante.

Fare in modo che le varie intelligenze artificiali siano correttamente istruite sarà una delle più importanti sfide nel nostro futuro. Uno strumento estremamente potente che richiede grandissima responsabilità.

L’immagine in evidenza è tratta dal gioco Wolfenstein 3D

Voi fare una domanda per uno dei prossimi articoli? Falla qui!

Qui puoi trovare tutte le domande semplici: https://short.staipa.it/ledomandesemplici