Per diversi anni negli anni '80, i candidati alla St George's Hospital Medical School di Londra sono stati selezionati utilizzando un metodo high-tech. Un programma per computer, uno dei primi nel suo genere, riprende a scansione di curriculum, selezionando tra tutte le candidature circa 2.000 candidati all'anno. Il programma ha riesaminato i record di ammissione, esaminando le caratteristiche dei candidati selezionati e adattato fino a quando le sue decisioni non corrispondevano al parere del comitato di ammissione.
Tuttavia, il programma ha imparato a trovare voti più che buoni e segni di successo accademico. Quattro anni dopo l'implementazione del programma, due medici dell'ospedale hanno scoperto che il programma tendeva a rifiutare candidati di sesso femminile e individui con nomi non europei, indipendentemente dal loro merito accademico. I medici hanno scoperto che a circa 60 richiedenti veniva semplicemente negato il colloquio ogni anno a causa del loro sesso o razza. Il programma ha incorporato i pregiudizi di genere e razziali nei dati utilizzati per la sua formazione - infatti, ha appreso che i medici e gli stranieri non sono i migliori candidati per i medici.
Trent'anni dopo, ci troviamo di fronte a un problema simile, ma i programmi con pregiudizi intrinseci sono ora più diffusi e prendono decisioni con una posta in gioco ancora più alta. Gli algoritmi di intelligenza artificiale basati sull'apprendimento automatico sono utilizzati da qualsiasi cosa, dalle agenzie governative all'assistenza sanitaria, prendendo decisioni e facendo previsioni basate su dati storici. Esaminando i modelli nei dati, assorbono anche le distorsioni nei dati. Google, ad esempio, mostra più annunci per lavori poco pagati alle donne che agli uomini; La spedizione di un giorno di Amazon aggira i quartieri neri e le fotocamere digitali fanno fatica a riconoscere i volti non bianchi.
È difficile sapere se l'algoritmo è parziale o equo, e anche gli esperti di computer lo pensano. Uno dei motivi è che i dettagli della creazione dell'algoritmo sono spesso considerati informazioni proprietarie, quindi sono attentamente custoditi dai proprietari. In casi più complessi, gli algoritmi sono così complessi che anche i creatori non sanno esattamente come funzionano. Questo è il problema della cosiddetta "scatola nera" dell'IA: la nostra incapacità di vedere l'interno dell'algoritmo e capire come si arriva a una soluzione. Se lasciata rinchiusa, la nostra società potrebbe essere gravemente danneggiata: l'ambiente digitale incarna la discriminazione storica che abbiamo combattuto per molti anni, dalla schiavitù e la servitù alla discriminazione contro le donne.
Queste preoccupazioni, precedentemente espresse nelle piccole comunità di informatica, stanno ora guadagnando slancio. Negli ultimi due anni sono apparse parecchie pubblicazioni in quest'area sulla trasparenza dell'intelligenza artificiale. Insieme a questa consapevolezza cresce il senso di responsabilità. "C'è qualcosa che non dovremmo costruire?", Chiede Keith Crawford, ricercatore presso Microsoft e co-fondatore di AI Now Insitute a New York.
"Il machine learning è finalmente arrivato alla ribalta. Ora stiamo cercando di usarlo per centinaia di attività diverse nel mondo reale ", afferma Rich Caruana, scienziato senior di Microsoft. “È possibile che le persone saranno in grado di implementare algoritmi dannosi che influenzeranno in modo significativo la società a lungo termine. Ora, sembra, all'improvviso, tutti si sono resi conto che questo è un capitolo importante nel nostro campo ".
Video promozionale:
Algoritmo non autorizzato
Utilizziamo algoritmi da molto tempo, ma il problema della scatola nera non ha precedenti. I primi algoritmi erano semplici e trasparenti. Ne usiamo ancora molti, ad esempio per valutare l'affidabilità creditizia. Ad ogni nuovo utilizzo entra in gioco la regolamentazione.
"Le persone hanno utilizzato algoritmi per valutare l'affidabilità creditizia per decenni, ma queste aree hanno avuto alcuni accordi piuttosto solidi che sono cresciuti parallelamente all'uso di algoritmi predittivi", afferma Caruana. Le regole normative garantiscono che gli algoritmi predittivi forniscano una spiegazione per ogni punteggio: sei stato rifiutato perché hai molto credito o troppo poco reddito.
In altri settori, come il sistema legale e la pubblicità, non esistono regole che vietino l'uso di algoritmi deliberatamente illeggibili. Potresti non sapere perché ti è stato rifiutato un prestito o non assunto, perché nessuno costringe il proprietario dell'algoritmo a spiegare come funziona. "Ma sappiamo che, poiché gli algoritmi sono addestrati su dati del mondo reale, devono essere di parte, perché il mondo reale è di parte", dice Caruana.
Considera, ad esempio, il linguaggio, una delle più ovvie fonti di pregiudizio. Quando gli algoritmi vengono addestrati dal testo scritto, formano alcune associazioni tra le parole che appaiono insieme più spesso. Ad esempio, imparano che "per un uomo essere un programmatore di computer è come per una donna essere una casalinga". Quando questo algoritmo ha il compito di trovare un curriculum adatto per un lavoro di programmatore, è probabile che venga selezionato tra i candidati maschi.
Problemi come questi sono abbastanza facili da risolvere, ma molte aziende semplicemente non lo faranno. Invece, nascondono tali incongruenze dietro uno scudo di informazioni protette. Senza l'accesso ai dettagli dell'algoritmo, gli esperti in molti casi non saranno in grado di determinare se esiste o meno un bias.
Poiché questi algoritmi sono segreti e rimangono al di fuori della giurisdizione delle autorità di regolamentazione, è quasi impossibile per i cittadini citare in giudizio i creatori degli algoritmi. Nel 2016, la Corte Superiore del Wisconsin ha respinto la richiesta di una persona di riesaminare il funzionamento interno di COMPAS. L'uomo, Eric Loomis, è stato condannato a sei anni di carcere in parte perché la COMPAS lo considerava "ad alto rischio". Loomis afferma che il suo diritto a un giusto processo è stato violato dalla dipendenza del giudice da un algoritmo opaco. La domanda finale alla Corte Suprema degli Stati Uniti è fallita nel giugno 2017.
Ma le aziende riservate non godranno della loro libertà a tempo indeterminato. Entro marzo, l'UE approverà leggi che richiederanno alle aziende di essere in grado di spiegare ai clienti interessati come funzionano i loro algoritmi e come vengono prese le decisioni. Gli Stati Uniti non hanno una legislazione del genere in cantiere.
Forense scatola nera
Indipendentemente dal fatto che i regolatori siano coinvolti in tutto questo, un cambiamento culturale nel modo in cui gli algoritmi sono progettati e implementati potrebbe ridurre la prevalenza di algoritmi distorti. Poiché sempre più aziende e programmatori si impegnano a rendere i loro algoritmi trasparenti e spiegabili, alcuni sperano che le aziende che non lo fanno perderanno la loro buona reputazione agli occhi del pubblico.
La crescita della potenza di calcolo ha permesso di creare algoritmi precisi e spiegabili, una sfida tecnica che gli sviluppatori storicamente non sono riusciti a superare. Ricerche recenti suggeriscono che è possibile creare modelli spiegabili che prevedono la ricorrenza di criminali con la stessa precisione di una scatola nera di scienziati forensi come COMPAS.
"Abbiamo finito: sappiamo come creare modelli senza scatole nere", afferma Cynthia Rudin, assistente professore di informatica ed ingegneria elettrica alla Duke University. “Ma non è così facile attirare l'attenzione della gente su questo lavoro. Se le agenzie governative smettessero di pagare per i modelli della scatola nera, sarebbe d'aiuto. Se i giudici si rifiutano di utilizzare modelli di scatola nera per la condanna, anche questo aiuterà ".
Altri stanno lavorando per trovare modi per testare la validità degli algoritmi creando un sistema di controlli e contrappesi prima che l'algoritmo venga rilasciato al mondo, proprio come viene testato ogni nuovo farmaco.
“I modelli vengono realizzati e distribuiti troppo rapidamente ora. Non esiste una convalida adeguata prima che l'algoritmo venga rilasciato , afferma Sarah Tan della Cornell University.
Idealmente, gli sviluppatori dovrebbero spazzare via i pregiudizi noti, come sesso, età e razza, ed eseguire simulazioni interne per testare i loro algoritmi per altri problemi.
Nel frattempo, prima di arrivare al punto in cui tutti gli algoritmi saranno accuratamente testati prima del rilascio, è già possibile determinare quali soffriranno di bias.
Nel loro lavoro più recente, Tan, Caruana ei loro colleghi hanno descritto un nuovo modo per capire cosa potrebbe succedere sotto il cofano degli algoritmi della scatola nera. Gli scienziati hanno creato un modello che imita l'algoritmo della scatola nera, imparando a stimare il rischio di recidività utilizzando i dati COMPAS. Hanno anche creato un altro modello che si è addestrato sui dati del mondo reale per mostrare se la recidiva prevista si è effettivamente verificata. Il confronto dei due modelli ha consentito agli scienziati di valutare l'accuratezza del punteggio previsto senza analizzare l'algoritmo. Le differenze nei risultati dei due modelli possono indicare quali variabili, come razza o età, possono essere più importanti in un particolare modello. I loro risultati hanno mostrato che COMPAS discrimina i neri.
Algoritmi ben progettati possono eliminare pregiudizi di vecchia data nella giustizia penale, nella polizia e in molti altri settori della società.
Ilya Khel
