Immediatamente quando il dottor Blake Richards ha sentito parlare del deep learning, si è reso conto che stava affrontando qualcosa di più di un semplice metodo che avrebbe rivoluzionato l'intelligenza artificiale. Si rese conto che stava guardando qualcosa di fondamentale dal cervello umano. Erano i primi anni 2000 e Richards insegnava in un corso all'Università di Toronto con Jeff Hinton. A Hinton, che ha creato l'algoritmo che ha conquistato il mondo, è stato offerto un corso introduttivo al suo metodo di insegnamento, ispirato al cervello umano.
Le parole chiave qui sono "ispirato al cervello". Nonostante la convinzione di Richards, la scommessa è stata giocata contro di lui. Il cervello umano, come si è scoperto, non ha una funzione importante programmata negli algoritmi di apprendimento profondo. In superficie, questi algoritmi hanno violato i fatti biologici di base già dimostrati dai neuroscienziati.
Ma cosa succede se l'apprendimento profondo e il cervello sono effettivamente compatibili?
E così, in un nuovo studio pubblicato su eLife, Richards, lavorando con DeepMind, ha proposto un nuovo algoritmo basato sulla struttura biologica dei neuroni nella neocorteccia. La corteccia, la corteccia cerebrale, ospita funzioni cognitive superiori come il ragionamento, la previsione e il pensiero flessibile.
Il team ha combinato i loro neuroni artificiali in una rete a più livelli e l'ha sfidata al compito della visione computerizzata classica: identificare i numeri scritti a mano.
Il nuovo algoritmo ha fatto un ottimo lavoro. Ma un'altra cosa è importante: ha analizzato gli esempi per l'apprendimento allo stesso modo degli algoritmi di apprendimento profondo, ma è stato costruito interamente sulla biologia fondamentale del cervello.
"L'apprendimento profondo è possibile in una struttura biologica", hanno concluso gli scienziati.
Poiché questo modello è attualmente una versione per computer, Richards spera di passare il testimone a neuroscienziati sperimentali che potrebbero verificare se un tale algoritmo funziona in un cervello reale.
Video promozionale:
In tal caso, i dati possono essere forniti agli scienziati informatici per sviluppare algoritmi massicciamente paralleli ed efficienti su cui le nostre macchine funzioneranno. Questo è il primo passo verso la fusione delle due aree in una "danza virtuosa" di scoperta e innovazione.
Trovare il capro espiatorio
Anche se probabilmente hai sentito che l'IA ha recentemente battuto il meglio del meglio in Go, difficilmente sai esattamente come funzionano gli algoritmi alla base di questa intelligenza artificiale.
In poche parole, l'apprendimento profondo si basa su una rete neurale artificiale con "neuroni" virtuali. Come un alto grattacielo, la rete è strutturata in una gerarchia: i neuroni di basso livello elaborano l'input, ad esempio le barre orizzontali o verticali che compongono il numero 4, mentre i neuroni di alto livello elaborano aspetti astratti del numero 4.
Per addestrare la rete, fornisci esempi di ciò che stai cercando. Il segnale si propaga attraverso la rete (sale i gradini dell'edificio), e ogni neurone cerca di vedere qualcosa di fondamentale nel lavoro dei "quattro".
Quando i bambini imparano cose nuove, all'inizio la rete non funziona bene. Distribuisce tutto ciò che, secondo lei, assomiglia al numero quattro - e ottieni immagini nello spirito di Picasso.
Ma è proprio così che procede l'apprendimento: l'algoritmo abbina l'output all'input ideale e calcola la differenza tra i due (leggi: errori). Gli errori si "propagano" attraverso la rete, allenando ogni neurone, dicono, non è quello che stai cercando, guarda meglio.
Dopo milioni di esempi e ripetizioni, il web inizia a funzionare senza problemi.
Il segnale di errore è estremamente importante per l'apprendimento. Senza un'efficace "propagazione dell'errore", la rete non saprà quale dei suoi neuroni è sbagliato. Alla ricerca di un capro espiatorio, l'intelligenza artificiale migliora se stessa.
Anche il cervello lo fa. Ma come? Non ne abbiamo idea.
Un vicolo cieco biologico
La cosa ovvia è che la soluzione di deep learning non funziona.
La retropropagazione di un errore è una caratteristica estremamente importante. Richiede una certa infrastruttura per funzionare correttamente.
Innanzitutto, ogni neurone della rete deve ricevere una notifica di errore. Ma nel cervello, i neuroni sono collegati solo a pochi (se ce ne sono) partner a valle. Affinché la backpropagation funzioni nel cervello, i neuroni ai primi livelli devono percepire le informazioni da miliardi di connessioni nei canali a valle - e questo è biologicamente impossibile.
E mentre alcuni algoritmi di apprendimento profondo adattano una forma locale di propagazione dell'errore, essenzialmente tra i neuroni, richiede che le loro connessioni avanti e indietro siano simmetriche. Nelle sinapsi del cervello, questo non accade quasi mai.
Algoritmi più moderni adattano una strategia leggermente diversa implementando un percorso di feedback separato che aiuta i neuroni a trovare gli errori a livello locale. Anche se questo è più biologicamente fattibile, il cervello non dispone di una rete informatica separata dedicata alla ricerca di capri espiatori.
Ma ha neuroni con strutture complesse, in contrasto con le "sfere" omogenee che sono attualmente utilizzate nell'apprendimento profondo.
Reti di ramificazione
Gli scienziati prendono ispirazione dalle cellule piramidali che riempiono la corteccia umana.
"La maggior parte di questi neuroni ha la forma di alberi, con le loro" radici "in profondità nel cervello e" rami "che affiorano in superficie", afferma Richards. "Sorprendentemente, le radici ricevono una serie di input ei rami diventano diversi".
È curioso, ma la struttura dei neuroni spesso risulta essere "esattamente come è necessaria" per risolvere efficacemente un problema computazionale. Prendiamo ad esempio l'elaborazione sensoriale: le parti inferiori dei neuroni piramidali sono dove dovrebbero essere per ricevere input sensoriali e le parti superiori sono convenientemente posizionate per trasmettere errori attraverso il feedback.
Questa struttura complessa potrebbe essere una soluzione evolutiva per affrontare il segnale sbagliato?
Gli scienziati hanno creato una rete neurale multistrato basata su algoritmi precedenti. Ma invece di neuroni omogenei, le hanno dato neuroni negli strati intermedi - inseriti tra input e output - simili a quelli reali. Imparando dai numeri scritti a mano, l'algoritmo ha funzionato molto meglio di una rete a strato singolo, nonostante l'assenza della classica propagazione all'indietro dell'errore. Le stesse strutture cellulari potrebbero identificare l'errore. Quindi, al momento giusto, il neurone ha combinato entrambe le fonti di informazione per trovare la soluzione migliore.
C'è una base biologica per questo: i neuroscienziati sanno da tempo che i rami di input di un neurone eseguono calcoli locali che possono essere integrati con segnali di backpropagation dai rami di output. Ma non sappiamo se il cervello funzioni davvero in questo modo, quindi Richards ha incaricato i neuroscienziati di scoprirlo.
Inoltre, questa rete gestisce il problema in modo simile al tradizionale metodo di apprendimento profondo: utilizza una struttura a strati per estrarre idee progressivamente più astratte su ciascun numero.
"Questa è una caratteristica dell'apprendimento profondo", spiegano gli autori.
Cervello di apprendimento profondo
Senza dubbio ci saranno più colpi di scena in questa storia poiché gli scienziati informatici stanno portando più dettagli biologici negli algoritmi di intelligenza artificiale. Richards e il suo team esaminano una funzione predittiva top-down, in cui i segnali provenienti da livelli più alti influenzano direttamente il modo in cui i livelli più bassi rispondono all'input.
Il feedback dai livelli superiori non solo migliora la segnalazione degli errori; può anche incoraggiare i neuroni a bassa elaborazione a funzionare "meglio" in tempo reale, dice Richards. Finora, la rete non ha superato le altre reti di apprendimento profondo non biologico. Ma non importa.
"L'apprendimento profondo ha avuto un enorme impatto sull'intelligenza artificiale, ma fino ad ora il suo impatto sulle neuroscienze è stato limitato", affermano gli autori dello studio. Ora i neuroscienziati avranno una scusa per condurre un test sperimentale e scoprire se la struttura dei neuroni è alla base dell'algoritmo naturale dell'apprendimento profondo. Forse nei prossimi dieci anni inizierà uno scambio di dati reciprocamente vantaggioso tra neuroscienziati e ricercatori di intelligenza artificiale.
Ilya Khel
