Utilizzando la tecnologia per scansionare l'attività cerebrale, l'intelligenza artificiale e un sintetizzatore vocale, gli scienziati della Columbia University (USA) hanno creato un dispositivo in grado di tradurre i pensieri umani in un discorso articolato. I risultati della ricerca, pubblicati su Scientific Reports, rappresentano un passo importante nel miglioramento delle interfacce cervello-computer. In futuro, tali dispositivi possono essere utilizzati da persone che hanno perso la capacità di parlare a causa di lesioni o malattie.
Per sviluppare un dispositivo che combini le capacità di un sintetizzatore vocale e l'intelligenza artificiale, l'autore dello studio, il neuroscienziato Nima Mesgarani e i suoi colleghi si sono rivolti agli ultimi progressi nelle tecnologie di apprendimento automatico profondo e sintesi vocale. Il risultato del loro lavoro è un vocoder basato sull'intelligenza artificiale in grado di interpretare abbastanza accuratamente l'attività cerebrale direttamente dalla corteccia uditiva del cervello e quindi tradurla in un discorso intelligibile. Gli autori del lavoro notano che il discorso in questo caso risulta essere molto computerizzato, ma le persone possono riconoscere le parole nella maggior parte dei casi.
Secondo i creatori, il nuovo dispositivo utilizzato per riprodurre il discorso risultante utilizza la stessa tecnologia utilizzata negli assistenti digitali come Alexa, Siri e Google Assistant.
Innanzitutto, gli esperti hanno addestrato il vocoder a interpretare correttamente l'attività del cervello umano. Per questo, gli scienziati hanno invitato cinque volontari in trattamento per l'epilessia a partecipare all'esperimento. A tutti e cinque erano stati impiantati elettrodi nella corteccia uditiva per leggere l'elettroencefalogramma.
“Abbiamo chiesto ai pazienti epilettici che stanno già subendo un intervento chirurgico al cervello di ascoltare frasi che vengono dette da persone diverse. Allo stesso tempo, abbiamo analizzato i modelli dell'attività cerebrale dei pazienti. Il vocoder è stato addestrato sui modelli neurali ottenuti”, spiega Mesgarani.
Ai pazienti è stato chiesto di ascoltare le registrazioni in cui gli attori leggevano sequenze di numeri da 0 a 9. Allo stesso tempo, gli scienziati hanno registrato i segnali dal cervello, quindi li hanno passati attraverso il vocoder, i cui segnali sono stati corretti per migliorare la chiarezza da una rete neurale che analizzava i suoni del vocoder stesso, che produceva suoni in risposta a questi segnali. Di conseguenza, si poteva sentire una voce robotica che ripeteva una sequenza di numeri pronunciati. Per valutare i risultati, gli scienziati hanno invitato 11 persone con un udito eccellente.
“Si è scoperto che le persone possono riconoscere le parole circa il 75% delle volte, il che è di gran lunga superiore a qualsiasi tentativo precedente. Il vocoder sensibile e le potenti reti neurali hanno generato i suoni che i pazienti hanno ascoltato con incredibile accuratezza”, commenta Mesgarani.
Video promozionale:
In futuro, il team di Mesgarani insegnerà alla rete neurale a pronunciare parole, frasi e persino intere frasi più complesse. Successivamente, vogliono sviluppare un impianto in grado di tradurre i pensieri di una persona in un discorso completo.
"Ad esempio, se il proprietario dell'impianto pensa:" Ho bisogno di un bicchiere d'acqua ", il nostro sistema legge i segnali cerebrali e li traduce in parole. Questo darà a chiunque abbia perso la capacità di parlare a causa di un infortunio o di una malattia una nuova opportunità di comunicare con il mondo che lo circonda”, aggiunge Mesgarani.
Nikolay Khizhnyak
