La più grande lezione da imparare da 70 anni di ricerca sull'IA è che i metodi generali che utilizzano il calcolo sono in definitiva i più efficienti e con un ampio margine. La ragione ultima di ciò è la legge di Moore. O meglio, la sua generalizzazione: la continua ed esponenziale riduzione del costo dei processori informatici. Questa "amara lezione" è stata condivisa da Richard Sutton, un informatico canadese. Inoltre - dalla prima persona.
Perché la ricerca sull'intelligenza artificiale è ferma da 70 anni?
La maggior parte della ricerca sull'IA è stata condotta come se i calcoli disponibili all'agente fossero persistenti (e in questo caso, l'utilizzo della conoscenza umana sarebbe uno degli unici modi per migliorare le prestazioni). Ma nel tempo, molto più di quanto necessiti un tipico progetto di ricerca, inevitabilmente diventano disponibili molti più calcoli. Alla ricerca di miglioramenti che possano aiutare a breve termine, gli scienziati stanno cercando di massimizzare la conoscenza umana in questo settore, ma l'unica cosa che conta a lungo termine è l'uso crescente dei computer. Questi due aspetti non dovrebbero essere in contrasto tra loro, ma in pratica lo fanno. Il tempo trascorso su uno di essi non è uguale al tempo trascorso sull'altro. Ci sono obblighi psicologici da investire in un approccio o nell'altro. E l'approccio della conoscenza umana tende a complicare i metodi in modo tale da renderli meno adatti per trarre vantaggio dai metodi generali che utilizzano il calcolo.
Ci sono stati molti esempi di ricercatori di intelligenza artificiale che hanno compreso tardivamente questa amara lezione. Sarà istruttivo considerare alcuni degli esempi più importanti.
Negli scacchi al computer, i metodi che hanno sconfitto il campione del mondo Kasparov nel 1997 erano basati su una ricerca massiccia e profonda. A quel tempo, erano visti con sgomento dalla maggior parte dei ricercatori di scacchi al computer che usavano metodi basati sulla comprensione umana della struttura specifica degli scacchi. Quando un approccio più semplice e basato sulla ricerca con hardware e software specializzati si è rivelato molto più efficace, i ricercatori che si basano sulla comprensione umana degli scacchi non hanno ammesso la sconfitta. Dissero: “Questa volta l'approccio della forza bruta potrebbe aver vinto, ma non diventerà una strategia globale e certamente le persone non giocano a scacchi in quel modo. Questi scienziati volevano che i metodi basati sull'uomo vincessero e sono rimasti molto delusi quando non lo hanno fatto.
Video promozionale:
Un quadro simile del progresso della ricerca è stato visto in computer go, solo con un ritardo di altri 20 anni. Inizialmente, sono stati fatti grandi sforzi per evitare la ricerca utilizzando la conoscenza umana o il gameplay, ma tutti questi sforzi sono stati inutili o anche peggio una volta che la ricerca è stata applicata in modo efficace e su larga scala. Era anche importante utilizzare l'apprendimento nel processo di gioco indipendente per apprendere la funzione valore (come nel caso di molti altri giochi e anche negli scacchi, solo l'apprendimento non ha avuto un ruolo importante nel programma nel 1997, che ha battuto il campione del mondo per la prima volta). Imparare a giocare con se stessi, imparare nel suo insieme, è come una ricerca che ti permette di applicare enormi matrici di calcoli. La ricerca e l'apprendimento sono due delle classi più importanti di tecniche che implicano enormi quantità di calcolo nella ricerca sull'IA. Nel computer vaiCome negli scacchi al computer, gli sforzi iniziali dei ricercatori erano volti a utilizzare la comprensione umana (in modo che ci fosse meno ricerca), e molto più successo fu ottenuto solo molto più tardi attraverso l'uso della ricerca e dell'apprendimento.
Nel campo del riconoscimento vocale, negli anni '70 si tenne un concorso sponsorizzato dalla DARPA. I partecipanti hanno presentato vari metodi che hanno sfruttato la conoscenza umana: conoscenza di parole o fonemi, tratto vocale umano e così via. Dall'altro lato delle barricate, c'erano metodi più nuovi, di natura statistica e che facevano più calcoli, basati su Hidden Markov Models (HMM). Ancora una volta, i metodi statistici hanno prevalso sui metodi basati sulla conoscenza. Ciò ha portato a importanti cambiamenti in tutta l'elaborazione del linguaggio naturale che sono stati gradualmente introdotti nel corso dei decenni, fino a quando alla fine la statistica e il calcolo hanno iniziato a dominare il campo. Il recente aumento dell'apprendimento profondo nel riconoscimento vocale è l'ultimo passo in questa direzione coerente. L'apprendimento profondo si basa ancora meno sulla conoscenza umana e utilizza ancora più calcoli, insieme alla formazione su enormi set di campioni, e produce incredibili sistemi di riconoscimento vocale.
Richard Sutton, scienziato informatico canadese.
Come nei giochi, gli scienziati hanno sempre cercato di creare sistemi che funzionassero come immaginavano nelle loro teste - hanno cercato di mettere questa conoscenza nei loro sistemi - ma tutto è risultato estremamente improduttivo, gli scienziati stavano solo perdendo tempo mentre - a causa della legge di Moore - si rendevano disponibili calcoli sempre più massicci e trovavano applicazioni eccellenti.
Un quadro simile era nel campo della visione artificiale. I primi metodi erano percepiti come una ricerca di determinati contorni, cilindri generalizzati o utilizzando le capacità di SIFT (trasformazione invariante di scala delle caratteristiche). Ma oggi tutto questo è stato gettato nella fornace. Le moderne reti neurali di apprendimento profondo utilizzano solo il concetto di convoluzione e alcune invarianti e funzionano molto meglio.
Questa è una grande lezione.
Ovunque guardiamo, continuiamo a fare gli stessi errori ovunque. Per vederlo e affrontarlo in modo efficace, è necessario capire perché questi errori sono così attraenti. Dobbiamo imparare l'amara lezione che costruire come pensiamo da come pensiamo non funzionerà a lungo termine. Un'amara lezione basata sull'osservazione storica mostra che: 1) i ricercatori di intelligenza artificiale hanno spesso cercato di integrare la conoscenza nei loro agenti; 2) ha sempre aiutato a breve termine e ha portato soddisfazione agli scienziati; 3) ma a lungo termine tutto si è arrestato e ha ostacolato ulteriori progressi; 4) il progresso dirompente è arrivato inevitabilmente con l'approccio opposto, basato sul calcolo in scala attraverso la ricerca e l'apprendimento. Il successo aveva un sapore amaro e spesso non veniva completamente assorbito.perché è il successo dell'informatica, non il successo degli approcci incentrati sull'uomo.
Una cosa da imparare da questa amara lezione è l'enorme potenza dei metodi generici, metodi che continuano a scalare con la crescita del calcolo anche se il calcolo disponibile diventa molto grande. Due metodi che sembrano scalare arbitrariamente in questo modo sono la ricerca e l'apprendimento.
La seconda cosa da imparare da questa amara lezione è che il contenuto effettivo della mente è estremamente e inutilmente complesso; dovremmo smettere di cercare di trovare modi semplici per dare un senso al contenuto della mente, simili a modi semplici per dare un senso allo spazio, agli oggetti, agli agenti multipli o alle simmetrie. Fanno tutti parte di un mondo esterno arbitrariamente complesso. Non dovremmo provare a costruire su di loro, perché la loro complessità è infinita; dovremmo basarci su meta-metodi in grado di trovare e catturare questa complessità arbitraria. Questi metodi possono trovare buone approssimazioni, ma la loro ricerca dovrebbe essere eseguita con i nostri metodi, non da noi. Abbiamo bisogno di agenti di intelligenza artificiale che possano scoprire nello stesso modo in cui possiamo noi e non contenere ciò che abbiamo scoperto. Basarsi sulle nostre scoperte complica solo il processo di scoperta e ricerca.
Ilya Khel
