Sulla costa occidentale americana, le aziende più preziose del mondo stanno cercando di rendere l'intelligenza artificiale più intelligente. Google e Facebook si vantano di esperimenti che utilizzano miliardi di foto e migliaia di processori ad alte prestazioni. Ma alla fine dell'anno scorso, un progetto nel Tennessee orientale ha tranquillamente superato le dimensioni di qualsiasi laboratorio di intelligenza artificiale aziendale. Ed era gestito dal governo degli Stati Uniti.
Il supercomputer del governo degli Stati Uniti batte i record
Il progetto da record ha coinvolto il supercomputer più potente del mondo, Summit, presso l'Oak Ridge National Laboratory. Questa vettura ha vinto la corona lo scorso giugno, restituendo il titolo agli Stati Uniti cinque anni dopo, quando la Cina era in cima alla lista. Come parte di un progetto di ricerca sul clima, un gigantesco computer ha lanciato un esperimento di apprendimento automatico che è stato più veloce che mai.
Il Summit, che copre un'area equivalente a due campi da tennis, ha utilizzato più di 27.000 potenti GPU in questo progetto. Ha usato il loro potere per addestrare algoritmi di apprendimento profondo, la stessa tecnologia alla base dell'intelligenza artificiale avanzata. Nell'apprendimento profondo, gli algoritmi eseguono esercizi a un miliardo di miliardi di operazioni al secondo, noto nei circoli di supercalcolo come exaflop.
"Il deep learning non ha mai raggiunto questo livello di prestazioni prima", afferma Prabhat, team leader di ricerca presso il National Energy Research Center del Lawrence Berkeley National Laboratory. Il suo team ha collaborato con i ricercatori presso la sede del Summit, l'Oak Ridge National Laboratory.
Come puoi immaginare, la formazione sull'IA del computer più potente del mondo si è concentrata su una delle sfide più grandi del mondo: il cambiamento climatico. Le aziende tecnologiche addestrano algoritmi per riconoscere volti o segnali stradali; scienziati governativi li hanno addestrati a riconoscere i modelli meteorologici come i cicloni dai modelli climatici che comprimono le previsioni centennali dell'atmosfera terrestre in tre ore. (Non è chiaro, tuttavia, quanta energia ha richiesto il progetto e quanto carbonio è stato rilasciato nell'aria in questo processo).
Video promozionale:
L'esperimento del Summit ha implicazioni per il futuro dell'intelligenza artificiale e della climatologia. Il progetto dimostra il potenziale scientifico dell'adattamento del deep learning ai supercomputer che tradizionalmente simulano processi fisici e chimici come esplosioni nucleari, buchi neri o nuovi materiali. Mostra anche che l'apprendimento automatico può trarre vantaggio da una maggiore potenza di calcolo, se riesci a trovarla, e fornire scoperte in futuro.
"Non sapevamo che si potesse fare su questa scala fino a quando non l'abbiamo fatto", afferma Rajat Monga, CTO di Google. Lui e altri googler hanno aiutato il progetto adattando il software di machine learning open source TensorFlow dell'azienda per la gigantesca scala di Summit.
Gran parte del lavoro sul ridimensionamento del deep learning è stato svolto nei data center delle società Internet, dove i server lavorano insieme sui problemi, separandoli perché sono relativamente disgiunti piuttosto che raggruppati in un gigantesco computer. I supercomputer come Summit hanno un'architettura diversa, con connessioni specializzate ad alta velocità che collegano le loro migliaia di processori in un unico sistema che può funzionare nel suo insieme. Fino a poco tempo fa, si è lavorato relativamente poco per adattare l'apprendimento automatico al funzionamento con questo tipo di hardware.
Monga afferma che il lavoro per adattare TensorFlow alla scala Summit sosterrà anche gli sforzi di Google per espandere i suoi sistemi interni di intelligenza artificiale. Anche gli ingegneri Nvidia hanno preso parte a questo progetto, assicurandosi che decine di migliaia di GPU Nvidia in questa macchina funzionassero senza intoppi.
Trovare modi per sfruttare una maggiore potenza di calcolo negli algoritmi di apprendimento profondo è stato determinante nell'attuale sviluppo della tecnologia. La stessa tecnologia che Siri utilizza per il riconoscimento vocale e le auto Waymo per leggere i segnali stradali è diventata utile nel 2012 dopo che gli scienziati l'hanno adattata per funzionare su GPU Nvidia.
In un'analisi pubblicata lo scorso maggio, gli scienziati dell'OpenAI, un istituto di ricerca di San Francisco fondato da Elon Musk, hanno stimato che la quantità di potenza di calcolo nei più grandi esperimenti pubblici di apprendimento automatico è raddoppiata circa ogni 3,43 mesi dal 2012; ciò rappresenterebbe un aumento di 11 volte in un anno. Questa progressione ha aiutato il bot Alphabet a battere i campioni in impegnativi giochi da tavolo e videogiochi e ha anche migliorato significativamente la precisione del traduttore di Google.
Google e altre società stanno attualmente creando nuovi tipi di chip abilitati all'intelligenza artificiale per continuare questa tendenza. Google afferma che i pod con migliaia dei suoi chip AI ravvicinati - processori tensoriali duplicati o TPU - possono fornire 100 petaflop di potenza di elaborazione, un decimo della velocità raggiunta da Summit.
I contributi del Summit alla scienza del clima mostrano come un'intelligenza artificiale gigantesca possa migliorare la nostra comprensione delle condizioni meteorologiche future. Quando i ricercatori generano previsioni meteorologiche secolari, leggere le previsioni risultanti diventa difficile. "Immagina di avere un film di YouTube in corso da 100 anni. Non c'è modo di trovare manualmente tutti i cani e gatti in questo film ", dice Prabhat. Di solito il software viene utilizzato per automatizzare questo processo, ma non è perfetto. I risultati del Summit hanno mostrato che l'apprendimento automatico può farlo molto meglio, il che dovrebbe aiutare a prevedere tempeste come inondazioni.
Secondo Michael Pritchard, professore presso l'Università della California, Irvine, il lancio del deep learning sui supercomputer è un'idea relativamente nuova che è arrivata in un momento conveniente per i ricercatori sul clima. Il rallentamento nello sviluppo dei processori tradizionali ha portato gli ingegneri a dotare i supercomputer di un numero crescente di chip grafici per migliorare le prestazioni in modo più coerente. "È arrivato il punto in cui non è più possibile aumentare la potenza di calcolo nel modo consueto", afferma Pritchard.
Questo cambiamento ha portato la modellazione tradizionale a un punto morto e quindi ha dovuto adattarsi. Inoltre apre le porte allo sfruttamento del potere del deep learning, che si presta naturalmente ai chip grafici. Forse avremo un quadro più chiaro del futuro del nostro clima.
Ilya Khel