Fuori dalla finestra è il 2022. Guidi un'auto a guida autonoma, come al solito, per la città. L'auto si avvicina a un segnale di stop, che è passato più volte, ma questa volta non si ferma davanti ad esso. Per te questo segnale di stop è come gli altri. Ma per un'auto è completamente diverso. Qualche minuto prima, senza avvertire nessuno, l'aggressore aveva incollato sul cartello un piccolo piatto, invisibile all'occhio umano, ma che la tecnologia non può non notare. Cioè, un piccolo adesivo sul segnale ha trasformato il segnale di stop in qualcosa di completamente diverso dal segnale di stop.
Tutto questo può sembrare incredibile. Ma un'area di ricerca in crescita sta dimostrando che l'intelligenza artificiale può essere ingannata in qualcosa di simile se vede qualche minuscolo dettaglio completamente invisibile agli umani. Poiché gli algoritmi di apprendimento automatico appaiono sempre più sulle nostre strade, le nostre finanze, il nostro sistema sanitario, gli informatici sperano di saperne di più su come proteggerli da tali attacchi, prima che qualcuno cerchi davvero di ingannarli.
"Questa è una preoccupazione crescente nella comunità dell'apprendimento automatico e dell'intelligenza artificiale, soprattutto perché questi algoritmi vengono utilizzati sempre di più", afferma Daniel Lode, assistente professore presso il Dipartimento di informatica e scienza dell'informazione presso l'Università dell'Oregon. “Se lo spam passa o viene bloccato da più email, questa non è la fine del mondo. Ma se ti affidi a un sistema di visione in un'auto a guida autonoma che dice all'auto come guidare senza sbattere contro nulla, la posta in gioco è molto più alta ".
Sia che la macchina si guasti o venga hackerata, gli algoritmi di apprendimento automatico che "vedono" il mondo ne soffriranno. E così alla macchina, il panda sembra un gibbone e lo scuolabus sembra uno struzzo.
In un esperimento, scienziati francesi e svizzeri hanno mostrato come tali disturbi possano indurre un computer a scambiare uno scoiattolo per una volpe grigia e una caffettiera per un pappagallo.
Com'è possibile? Pensa a come tuo figlio sta imparando a riconoscere i numeri. Guardando i simboli uno per uno, il bambino inizia a notare alcune caratteristiche comuni: alcuni sono più alti e più magri, sei e nove contengono un anello grande, e otto ne contengono due e così via. Una volta che vedono un numero sufficiente di esempi, possono riconoscere rapidamente i nuovi numeri come quattro, otto o terzine, anche se, grazie al carattere o alla grafia, non sembrano esattamente come gli altri quattro, otto o tre che abbiano mai avuto. visto prima.
Gli algoritmi di apprendimento automatico imparano a leggere il mondo attraverso un processo in qualche modo simile. Gli scienziati forniscono al computer centinaia o migliaia di esempi (solitamente etichettati) di ciò che vorrebbero trovare sul computer. Quando la macchina passa al setaccio i dati - questo è un numero, questo non lo è, questo è un numero, questo non lo è - inizia a notare le caratteristiche che portano a una risposta. Presto potrebbe guardare la foto e dire: "Sono cinque!" con alta precisione.
Video promozionale:
Così, sia i bambini umani che i computer possono imparare a riconoscere una vasta gamma di oggetti, dai numeri ai gatti, dalle barche ai singoli volti umani.
Ma, a differenza di un bambino umano, un computer non presta attenzione ai dettagli di alto livello, come le orecchie pelose dei gatti o la caratteristica forma angolare dei quattro. Non vede l'intera immagine.
Invece, guarda i singoli pixel in un'immagine e il modo più veloce per separare gli oggetti. Se la stragrande maggioranza delle unità ha un pixel nero in un certo punto e pochi pixel bianchi in altri punti, la macchina imparerà molto rapidamente a determinarli per pochi pixel.
Ora torniamo al segnale di stop. Correggendo impercettibilmente i pixel nell'immagine - gli esperti chiamano questa interferenza "perturbazioni" - puoi ingannare il computer facendogli credere che in realtà non ci sia alcun segnale di stop.
Studi simili dall'Evolutionary Artificial Intelligence Lab presso l'Università del Wyoming e la Cornell University hanno prodotto alcune illusioni ottiche per l'intelligenza artificiale. Queste immagini psichedeliche di motivi e colori astratti non assomigliano a nulla per gli esseri umani, ma vengono rapidamente riconosciute dal computer come serpenti o fucili. Ciò suggerisce come l'IA possa guardare qualcosa e non vedere l'oggetto, o invece vedere qualcos'altro.
Questa debolezza è comune a tutti i tipi di algoritmi di apprendimento automatico. "Ci si aspetterebbe che ogni algoritmo abbia un buco nell'armatura", afferma Yevgeny Vorobeychik, assistente professore di informatica e informatica alla Vanderbilt University. "Viviamo in un mondo multidimensionale molto complesso e gli algoritmi, per loro natura, ne influenzano solo una piccola parte."
Sparrow è "estremamente fiducioso" che se queste vulnerabilità esistono, qualcuno scoprirà come sfruttarle. Probabilmente qualcuno l'ha già fatto.
Considera i filtri antispam, programmi automatici che filtrano le email scomode. Gli spammer possono tentare di aggirare questa barriera modificando l'ortografia delle parole (invece di Viagra - vi @ gra) o aggiungendo un elenco di "buone parole" che di solito si trovano in lettere normali: come "aha", "me", "contento". Nel frattempo, gli spammer possono provare a rimuovere le parole che spesso compaiono nello spam, come "mobile" o "win".
Dove possono arrivare i truffatori un giorno? Un'auto a guida autonoma ingannata da un adesivo del segnale di stop è uno scenario classico pensato da esperti del settore. Dati aggiuntivi possono aiutare la pornografia a passare attraverso filtri sicuri. Altri possono provare ad aumentare il numero di controlli. Gli hacker possono modificare il codice del software dannoso per eludere le forze dell'ordine.
Gli aggressori possono capire come creare i dati mancanti se ottengono una copia di un algoritmo di apprendimento automatico che vogliono ingannare. Ma non deve essere per superare l'algoritmo. Si può semplicemente romperlo con forza bruta lanciando versioni leggermente diverse di e-mail o immagini finché non passano. Nel tempo, potrebbe anche essere utilizzato per un modello completamente nuovo che sa cosa cercano i bravi ragazzi e quali dati produrre per ingannarli.
"Le persone hanno manipolato i sistemi di apprendimento automatico sin dalla loro prima introduzione", afferma Patrick McDaniel, professore di informatica e ingegneria presso l'Università della Pennsylvania. "Se le persone usano questi metodi, potremmo anche non saperlo".
Questi metodi possono essere utilizzati non solo dai truffatori: le persone possono nascondersi dagli occhi a raggi X delle moderne tecnologie.
"Se sei una sorta di dissidente politico sotto un regime repressivo e desideri condurre eventi all'insaputa dei servizi di intelligence, potresti dover evitare metodi di osservazione automatica basati sull'apprendimento automatico", afferma Lode.
In un progetto pubblicato a ottobre, i ricercatori della Carnegie Mellon University hanno creato un paio di occhiali che possono fuorviare sottilmente il sistema di riconoscimento facciale, facendo sì che un computer confonda l'attrice Reese Witherspoon per Russell Crowe. Sembra ridicolo, ma una tale tecnologia potrebbe tornare utile per chiunque cerchi disperatamente di evitare la censura da parte di chi è al potere.
Cosa fare con tutto questo? "L'unico modo per evitarlo completamente è creare un modello perfetto che sarà sempre corretto", afferma Lode. Anche se potessimo creare un'intelligenza artificiale che supera gli umani in ogni modo, il mondo può ancora far scivolare un maiale in un posto inaspettato.
Gli algoritmi di apprendimento automatico vengono generalmente giudicati in base alla loro accuratezza. Un programma che riconosce le sedie il 99% delle volte sarà chiaramente migliore di uno che riconosce 6 sedie su 10. Ma alcuni esperti suggeriscono un altro modo per valutare la capacità dell'algoritmo di far fronte a un attacco: più è difficile, meglio è.
Un'altra soluzione potrebbe essere che gli esperti siano in grado di stabilire il ritmo dei programmi. Crea i tuoi esempi di attacchi in laboratorio in base alle capacità dei criminali secondo te, quindi mostrali all'algoritmo di apprendimento automatico. Questo può aiutarlo a diventare più resiliente nel tempo, a condizione, ovviamente, che gli attacchi di prova siano del tipo che verrà testato nel mondo reale.
“I sistemi di apprendimento automatico sono uno strumento per pensare. Dobbiamo essere intelligenti e razionali su ciò che diamo loro e su ciò che ci dicono ", ha detto McDaniel. "Non dovremmo trattarli come perfetti oracoli di verità."
ILYA KHEL
