Il campo dell'intelligenza artificiale è spesso paragonato all'industria petrolifera: una volta estratti e raffinati, i dati, come il petrolio, possono diventare una merce molto redditizia. Tuttavia, ora sta diventando evidente che questa metafora si sta espandendo. Come i combustibili fossili, l'apprendimento profondo ha un enorme impatto sull'ambiente. In un nuovo studio, gli scienziati dell'Università del Massachusetts Amherst hanno valutato il ciclo di vita dell'apprendimento di diversi modelli di IA di grandi dimensioni comuni.
Ha scoperto che questo processo può generare oltre 626.000 libbre (circa 300.000 kg) di anidride carbonica equivalente, quasi cinque volte le emissioni di un'auto tipica in cinque anni (compresa la produzione dell'auto stessa).
Come vengono addestrati i modelli di intelligenza artificiale
Questa è una sorprendente quantificazione di ciò che i ricercatori di intelligenza artificiale sospettavano da tempo.
Impronta di carbonio dell'elaborazione del linguaggio naturale
Video promozionale:
Il documento affronta specificamente il processo di formazione di un modello per l'elaborazione del linguaggio naturale (PNL), un sottocampo dell'IA che si occupa di macchine di addestramento per lavorare con il linguaggio umano. Negli ultimi due anni, la comunità della PNL ha raggiunto diversi traguardi importanti nei settori della traduzione automatica, del completamento delle frasi e di altre attività di valutazione standard. Il famigerato modello OpenAI GPT-2, ad esempio, è riuscito a scrivere convincenti notizie false.
Ma tali progressi hanno richiesto l'addestramento di modelli sempre più grandi su set di dati estesi da frasi estratte da Internet. Questo approccio è computazionalmente costoso e molto dispendioso in termini di energia.
I ricercatori hanno esaminato i quattro modelli nell'area responsabili dei maggiori balzi in termini di prestazioni: Transformer, ELMo, BERT e GPT-2. Hanno addestrato ciascuno di loro su una singola GPU per un giorno per misurare il consumo energetico.
Hanno quindi impiegato il numero di ore di formazione specificato nei documenti del modello originale per calcolare l'energia totale consumata durante l'intero processo di formazione. Tale importo è stato convertito nell'equivalente di libbre di anidride carbonica, che era coerente con il mix energetico AWS di Amazon, il più grande fornitore di cloud al mondo.
Ha rilevato che i costi computazionali e ambientali della formazione sono aumentati in proporzione alle dimensioni del modello, per poi aumentare in modo esponenziale quando è stata regolata la precisione finale del modello. Una ricerca dell'architettura neurale che tenta di ottimizzare un modello modificando gradualmente la struttura della rete neurale attraverso tentativi ed errori comporta costi estremamente elevati con scarso guadagno di prestazioni. Senza di essa, il modello BERT più costoso ha lasciato un'impronta di carbonio di 1.400 libbre (635 kg), vicino a un viaggio di andata e ritorno transamericano.
Inoltre, queste cifre dovrebbero essere considerate solo come valori di riferimento.
In totale, gli scienziati stimano che il processo di creazione e verifica del modello finale degno di pubblicazione abbia richiesto la formazione di 4.789 modelli in sei mesi. In termini di CO2 equivalente, si tratta di circa 35.000 kg.
Il significato di questi numeri è colossale, soprattutto considerando le tendenze attuali nella ricerca sull'IA. In generale, la ricerca sull'intelligenza artificiale trascura l'efficienza perché le reti neurali di grandi dimensioni sono riconosciute utili per vari compiti e le aziende con risorse di calcolo illimitate le utilizzeranno per ottenere un vantaggio competitivo.
Ilya Khel
