Cerebras Systems, una giovane azienda di intelligenza artificiale, è pronta a mostrare al mondo il Cerebras WSE (Cerebras Wafer Scale Engine), il chip semiconduttore più grande, potente e intelligente della storia.
Cerebras WSE ha 1.2 trilioni di transistor, interruttori elettronici di base, che sono gli elementi costitutivi dei chip di silicio. In confronto, il primo processore Intel 4004, rilasciato nel 1971, aveva 2.300 transistor, mentre l'ultimo processore Advanced Micro Devices ha 32 miliardi di transistor. Tuttavia, il problema qui non riguarda affatto il numero di transistor.
La maggior parte dei chip nel mondo sono in realtà un set di chip, creati sulla base di un wafer di silicio da 12 pollici - vengono prodotti in fabbriche speciali in enormi lotti. Ma il chip Cerebras Systems è composto da 400.000 core collegati su una piastra. Le connessioni sono progettate per funzionare ad alta velocità, motivo per cui un trilione di transistor lavorano insieme come uno solo. Ma non è tutto.
Ad oggi, il chip più grande del mondo è stato creato da Samsung: la sua struttura è costruita su 2 trilioni di transistor. Tuttavia, il chip Samsung è solo un'enorme scheda di memoria e il chip Cerebras è la rete neurale più complessa creata appositamente per l'addestramento dell'intelligenza artificiale. Il chip Cerebras vanta 400.000 core in 42.225 millimetri quadrati. È 56,7 volte più grande della GPU più grande di Nvidia con solo 21,1 miliardi di transistor.
Un'altra caratteristica di Cerebras WSE è che il chip è progettato per essere instradato attorno ad aree difettose.
Non è possibile perfezionare l'intero wafer di silicio durante la produzione del chip, quindi il processo di produzione crea aree inutilizzabili. Nvidia, Intel e altri produttori di chip risolvono il problema semplicemente: intagliano i chip "giusti" nel wafer di produzione e buttano via il resto. Ma questo non può essere fatto se ogni chip del wafer di silicio fa parte di un circuito comune. Pertanto, Cerebras ha dovuto costruire circuiti ridondanti in modo che, in caso di guasto o esaurimento di uno di essi, il resto assumesse le sue funzioni. Cioè, in effetti, il chip Cerebras è una Internet in miniatura con i propri server e workstation. E tutte queste stazioni sono progettate per servire un'intelligenza artificiale.
Le aziende che sviluppano la propria AI sono oggi i principali consumatori della tecnologia dei chip, acquistando parti in grandi quantità. E la dimensione dei chip utilizzati è di fondamentale importanza nel processo di formazione AI.
Video promozionale:
Google, Facebook, OpenAI, Tencent, Baidu e molti altri sostengono che un limite fondamentale dell'IA moderna è che ci vuole troppo tempo per addestrare i modelli. Ad esempio, il supercomputer di Nvidia, composto da dozzine di GPU all'avanguardia, impiega diverse settimane a modificare il codice, ovvero ad apprendere la rete di neutroni.
La soluzione al problema sarebbe aumentare il numero di chip nel computer, tuttavia, quando vengono assemblati più di otto chip, le prestazioni del computer non aumentano, ma diminuiscono, poiché gli errori si accumulano durante lo scambio di informazioni.
Gli stessi sviluppatori descrivono il loro progetto come segue: “La parte più difficile per l'IA è il movimento dei dati. L'addestramento di una rete neurale richiede l'esecuzione di migliaia di operazioni in parallelo in un dato momento e i chip devono comunicare costantemente mentre eseguono queste operazioni parallele. Ma i computer con più circuiti integrati si guastano nel tentativo di trasferire dati tra circuiti integrati su cavi lenti che li legano insieme su un PCB. Avevi bisogno di qualcosa che potesse spostare i dati alla velocità del chip stesso. La soluzione era prendere la piastra più grande che riesci a trovare e tagliarne il truciolo più grande.
La memoria è un componente chiave di qualsiasi architettura di computer. La memoria più vicina alle unità di calcolo fornisce calcoli più veloci, minore latenza e migliore efficienza energetica durante lo spostamento dei dati. Tuttavia, la dimensione del dado è limitata e la maggior parte della memoria nel computer è al di fuori del dado. Cerebras Systems ha aggirato questo problema dando a ciascun core l'accesso a 18 gigabyte di memoria interna. Di conseguenza, il Cerebras Wafer Scale Engine dispone di una memoria integrata 3.000 volte superiore rispetto al processore grafico più avanzato, offrendo una larghezza di banda 10.000 volte maggiore.
I primi campioni del nuovo chip saranno in vendita a settembre, mentre Cerebras Systems, avendo violato tutte le regole esistenti dell'industria informatica, ha violato anche il principio di separare la produzione di unità di calcolo e chip. Il Cerebras Wafer Scale Engine sarà commercializzato come un singolo dispositivo sviluppato dall'azienda integrato in una complessa rete di raffreddamento ad acqua, poiché il chip genera calore estremo, consumando 15 kilowatt in un'area così piccola.
Il fondatore di Cerebras Systems e CEO ad interim della società afferma: "Progettato da zero per lavorare con l'IA, Cerebras WSE contiene innovazioni fondamentali che stanno finalmente rompendo la stagnazione di lunga data dell'attuale stato dell'arte. Di conseguenza, Cerebras WSE offre miglioramenti delle prestazioni centinaia o migliaia di volte rispetto alle moderne soluzioni modulari. E tutto questo con un consumo energetico ridicolo e poco spazio."
Commento editoriale
I primi test di intelligenza artificiale basati su Cerebras WSE mostrano che i compiti che la migliore intelligenza artificiale di Nvidia risolve per settimane e mesi, Cerebras WSE risolve in un minuto, il che è, per così dire, motivo di gioia. Tuttavia, i teorici della cospirazione hanno poca gioia a questo riguardo.
Ricordiamo tutti (in ogni caso, la vecchia generazione dei nostri lettori) il boom dei computer del modello degli "anni 90", quando in un paio d'anni la potenza dei computer salì di ordini di grandezza. Non appena una persona, raggiante di orgoglio, ha acquistato un computer con 16 megabyte di memoria, dopo poco tempo questa memoria è passata alla cache L2.
Tuttavia, dall'inizio degli anni 2000, l'industria dei computer sembrava essersi fermata: se i computer dei tipi 1990 e 2000 non erano comparabili, allora non c'era alcuna differenza particolare tra i computer dei modelli 2000 e 2010 - la potenza è aumentata in modo significativo, ma non di ordini di grandezza. E ora stiamo assistendo alla nascita del secondo Intel 8086, e ora le capacità della linea Cerebras WSE salteranno allo stesso ritmo: tutti i problemi con le impurità e le connessioni core sono stati risolti.
Non conosciamo tutte le capacità dell'IA moderna dei principali produttori, ma, secondo l'opinione generale, questi prodotti non sono ancora AI e sono ancora lontani dall'essere un dispositivo pensante a tutti gli effetti. Tuttavia, Cerebras WSE non ha fatto solo un passo nella giusta direzione, ma ha fatto un salto di dieci anni, se non di più, e ora SkyNet è già una prospettiva abbastanza prevedibile che può essere realizzata quest'anno nel 2025.
Inoltre, in SkyNet, a differenza dei noiosi omosapiens, non è necessario molto tempo per un ulteriore sviluppo: una rete neurale deve solo iniziare a pensare un po 'da sola - e si modifica in un istante, dopodiché inizia una guerra nucleare o qualcosa del genere. E sarà comunque un'ottima opzione.
Quando una unità flash con un trilione di transistor viene prodotta da Samsung o Nvidia, tutto ciò può ancora essere spiegato in qualche modo, poiché i circuiti logici di memoria sono relativamente semplici e dello stesso tipo quasi in tutta l'area. Ma lo sviluppo di 400.000 core che arano allo stesso tempo, e ci sono anche alcuni duplicati, e alcune stazioni server e l'inferno sa cosa. E devi anche scrivere programmi di controllo per questo, che sono stati scritti per anni. Quindi i programmi devono essere testati. Ma su cosa sono stati testati se il dispositivo è stato realizzato solo ora?
In altre parole, sembra che i "marziani" abbiano di nuovo aperto i loro cassonetti per i nativi locali. E ci sono grandi dubbi che ciò sia stato fatto per accontentare i giocatori - molto probabilmente qui c'è qualche altro compito. E ci sembra come segue.
Negli ultimi decenni, le persone intelligenti si stanno ponendo sempre più la questione dell'origine della tecnologia elettronica, la questione della chipizzazione universale, che non è chiaro perché sia necessaria, e così via. Per ingannare in qualche modo i loro cervelli, hanno inventato una favola su un "computer quantistico", i cui principi non sono stati compresi nemmeno dalle persone che sono state nominate dagli "sviluppatori" ufficiali. E ora immagina l'orrore della casalinga messicana media, il cui nuovo telefono cellulare non solo penserà meglio di lei, ma porterà anche a bordo una sorta di "computer quantistico". Cioè, un tale stupido è inaccettabile per i nativi locali: inizieranno a impazzire a frotte.
Pertanto, alcuni intelligenti "marziani" hanno deciso di mostrare agli aborigeni bipedi del pianeta Terra un miracolo più semplice - i principi di cui gli anziani della NASA possono almeno in qualche modo spiegare. E se i nativi accettano il racconto, i "marziani" mostreranno ai popoli altre magiche meraviglie. Ad esempio, metteranno questo Cerebras WSE in un telefono cellulare e lo venderanno per cento dollari. Per gli acquirenti di gadget alla moda, questo sarà, ovviamente, molto bello e buono, ma la gente penserà subito in modo un po 'più intelligente: cosa c'è allora nelle sale server di varie organizzazioni serie, ad esempio, come la NSA, l'FBI e la CIA? Quali sono le possibilità per controllare i pensieri e il comportamento della popolazione?
