Un paio di giorni fa, il portale di preprint bioRxiv.org ha pubblicato il lavoro dei ricercatori russi dell'Istituto di fisica e tecnologia di Mosca e delle società Neurobotics e Neuroassistive Technologies, che sono impegnate nella creazione di interfacce per neurocomputer. Il documento sostiene che scienziati e sviluppatori sono riusciti a insegnare un algoritmo in tempo reale per ricostruire un video visualizzato da una persona utilizzando segnali EEG. Sembra davvero interessante e interessante, quasi come leggere nel pensiero. In effetti, tutto, ovviamente, non è così semplice: i computer non hanno imparato a leggere i pensieri. In breve, il computer ha imparato dalla registrazione EEG per determinare quale immagine di cinque diverse classi precedentemente note il soggetto ha visto. Su come è stato costruito l'esperimento, quali compiti hanno impostato gli scienziati e perché è improbabile che la lettura del pensiero venga realizzata nel prossimo futuro, diciamo nel nostro blog.
In generale, l'idea di leggere il segnale elettrico del cervello e decifrarlo in modo da poter vedere cosa sta pensando o facendo una persona in un dato momento, visti i ritmi del progresso tecnologico attuale, non sembra così difficile. Ecco un segnale, ed ecco cosa significa questo segnale: aggiungi due più due, addestra il classificatore e ottieni il risultato di cui abbiamo bisogno.
Il risultato è ciò che i futuristi e gli ignoranti chiamerebbero "lettura della mente". E sembra che una tale tecnologia possa trovarsi in una varietà di applicazioni: dalle perfette interfacce cervello-computer che ti consentono di controllare protesi intelligenti, alla creazione di un sistema che finalmente racconta cosa sta pensando il tuo gatto lì.
In realtà, ovviamente, tutto non è affatto così semplice, e l'idea di creare un simile algoritmo si rompe quasi immediatamente sull'ostacolo principale: dobbiamo fare i conti con il cervello. Il cervello è una cosa molto complessa: ha più di 80 miliardi di neuroni e le connessioni tra loro sono diverse migliaia di volte di più.
Anche per un laico è chiaro: questo è troppo per noi per capire di cosa è responsabile ogni cellula e il suo aggregato. Gli scienziati non hanno ancora decifrato il connettoma umano, anche se stanno cercando di farlo con relativo successo.
Sorge una domanda logica: è assolutamente necessario comprendere le funzioni di ciascun neurone per rappresentare accuratamente ciò che sta accadendo nel cervello? Non ci sono davvero abbastanza mappe funzionali, per esempio?
La risposta a questa domanda, infatti, dovrebbe essere "sì", ma anche qui non è così semplice. Se l'umanità si affidasse alla decodifica del connettoma come unica chiave per svelare il mistero del cervello, oggi saremmo molto vicini. Tuttavia, sappiamo qualcosa su come funziona il nostro cervello e, naturalmente, possiamo usarlo con successo.
Video promozionale:
Uno degli esempi più brillanti e ovvi dell'utilizzo della conoscenza accumulata dagli scienziati sul lavoro del cervello sono, ovviamente, le neurointerfacce. In generale, oggi esistono davvero tecnologie che consentono di leggere l'attività cerebrale e di utilizzarla per controllare, ad esempio, il cursore del mouse di un computer o anche i movimenti di una protesi.
Esistono due modi per ottenere un funzionamento efficiente dell'interfaccia neurale. Il primo metodo è quello dei potenziali evocati: guardiamo la curva di attività elettrica di alcune parti del cervello e selezioniamo su di essa quei cambiamenti nel segnale che, come sappiamo per certo, compaiono in un certo momento dopo la presentazione dello stimolo.
Il secondo modo è non fare affidamento sulla stimolazione, ma usare l'immaginazione della persona per generare un segnale elettrico che può essere letto. Ad esempio, a una persona potrebbe essere chiesto di visualizzare come muovono la gamba o il braccio.
Entrambi i metodi presentano svantaggi significativi. Il primo è ostacolato dal fatto che il numero di potenziali evocati in modo affidabile a noi noti non è così grande: il loro numero non può coprire esattamente tutte le possibili azioni compiute da una persona. Lo svantaggio di quest'ultimo è che è necessario un lungo allenamento per ottenere almeno un certo effetto.
Gli autori del preprint hanno deciso di combinare entrambi gli approcci per creare interfacce neurocomputer, credendo giustamente che ciò salverebbe entrambi i metodi da limitazioni significative e consentirebbe di sviluppare un metodo nuovo e più efficace per lavorare con le neurointerfacce oggi.
Si presumeva anche che questo metodo sarebbe stato chiuso (circuito chiuso), ovvero il risultato ottenuto con il suo aiuto, a sua volta, influenzerà il funzionamento dell'algoritmo. Ma ne riparleremo più avanti.
All'inizio, l'algoritmo scompone tutte le immagini in segni componenti separati, distribuiti nello spazio vettoriale, con l'aiuto del quale possono quindi essere correlati con determinati segnali cerebrali registrati utilizzando l'EEG.
In questa fase iniziale, viene utilizzato un classificatore binario - grosso modo, il "due più due": avendo un segnale abbastanza pulito (la registrazione EEG è stata cancellata dagli artefatti motori), puoi scegliere l'uno o l'altro con una precisione superiore a un colpo casuale.
Nei loro esperimenti, gli scienziati hanno utilizzato video di oggetti di cinque classi: immagini di persone, cascate, forme geometriche astratte, sport estremi e auto Goldberg. Da un lato, un simile set sembra strano, ma dall'altro sembra che tutti questi oggetti siano molto diversi tra loro. In effetti, c'è qualcosa in comune tra volti umani e forme geometriche astratte?
Nel frattempo, secondo il classificatore binario, figure astratte e volti umani sono indistinguibili tra loro: i risultati di nove partecipanti allo studio su 17 mostrano che l'interfaccia neurale, a quanto pare, non è riuscita a distinguerli. Ma le macchine di Goldberg e le stesse facce, dal punto di vista del cervello, al contrario, differiscono molto l'una dall'altra.
Risultati della classificazione. Un - forme astratte, W - cascate, HF - volti umani, GM - Macchine Goldberg, sport estremi.
A prima vista, non è molto chiaro il motivo per cui questo sta accadendo: piuttosto, le stesse macchine e le stesse forme geometriche non possono essere distinte l'una dall'altra. Tutto diventa un po 'più chiaro se guardi un esempio di frame dei video utilizzati.
Immagini di esempio da cinque classi.
Molto probabilmente (noi, ovviamente, possiamo solo supporre qui), il successo del classificatore dipende da quanto le immagini utilizzate nelle due classi differiscono l'una dall'altra in alcune caratteristiche superficiali e di base - prima di tutto, nel colore. Ciò si correla bene anche con il fatto che la dimensione dello spazio latente nell'autoencoder è 10.
In generale, per classificare le immagini di cinque classi, è sufficiente una dimensione di cinque, ma in questo caso sarà fatto con un massimo dell'istogramma del colore - il che significa che la dimensione 10 non migliorerà troppo e chiarirà il risultato.
Non è molto chiaro perché gli autori non usassero un classificatore lineare per cinque classi contemporaneamente invece di dieci classificatori binari: molto probabilmente, sarebbe stato meglio.
Poi arriva la fase di ricostruzione dell'immagine risultante. Il fatto che risulti macchiato è comprensibile: il punto è nella stessa dimensione dello spazio latente. Ma qui due cose confondono.
Il primo è che le immagini originali e quelle ricostruite sono molto simili tra loro. Qui, ovviamente, non voglio turbare nessuno (incluso noi stessi - siamo tutti favorevoli al progresso), ma questo non è dovuto al fatto che il segnale sia così ben registrato e decodificato (e anche in tempo reale!), Ma dovuto al fatto che l'algoritmo ripristina esattamente le immagini che aveva già.
Inoltre, questo non sempre funziona come vorremmo: se, ad esempio, guardi il video del sistema, noterai che nel video con un uomo che piange l'interfaccia neurale per qualche motivo vede una donna. Questo perché l'algoritmo non ricostruisce immagini, ma oggetti di una certa classe: anche se lo fa in modo abbastanza efficiente, nulla impedisce all'algoritmo di vedere una barca nell'immagine di una motocicletta, semplicemente perché appartengono alla stessa classe.
Pertanto, ciò che appare sullo schermo durante la ricostruzione è spesso solo un'immagine media di tutti gli oggetti di classe utilizzati.
Per quanto riguarda la significatività dell'uso di un sistema chiuso, allora tutto non è molto chiaro con esso: quando si esegue un'attività, una persona vede sia una registrazione di segnali EEG che un'immagine che emerge gradualmente dalla sua testa. È difficile dire se questo aiuti effettivamente: gli autori non hanno confrontato le prestazioni dell'interfaccia con e senza rinforzo. Ma a prima vista sembra che non sia proprio così. Se aiuta, voglio davvero sapere come.
In generale, possiamo tranquillamente concludere che i computer non hanno imparato a leggere i pensieri. E non hanno nemmeno imparato a ricreare il video. Tutto quello che hanno imparato a fare, sulla base del lavoro degli scienziati, è classificare gli oggetti che hanno visto in cinque classi sulla base di alcuni criteri di base. I computer sono stati in grado di farlo prima? Certo che potrebbero. C'è un cervello qui? Certo che c'è: ma è il cervello che vede, non il cervello che capisce cosa ha visto esattamente.
Elizaveta Ivtushok
