Di recente, le reti neurali sono state sorprendenti con le loro capacità: avreste potuto credere dieci anni fa che un computer potesse "animare" i ritratti di Dostoevskij e Marilyn Monroe? Preparati a stupirti ulteriormente, perché i ricercatori del MIT hanno creato una rete neurale Speech2Face che è in grado di disegnare ritratti di persone semplicemente ascoltando le loro voci. La tecnologia è tutt'altro che ideale, ma la sua capacità di determinare il sesso, la nazionalità e l'età di una persona è impressionante.
Per addestrare la rete neurale, il kit AVSpeech è stato utilizzato con un milione di brevi video con migliaia di persone che parlano. Le tracce con video e audio sono separate, quindi il sistema è stato in grado di studiare ogni tipo di materiale nel maggior dettaglio possibile. Nella prima fase del lavoro, l'algoritmo VGG-Face ha studiato frammenti di video e ha creato ritratti delle persone su di essi con espressioni facciali facciali e neutre. Un'altra parte dell'algoritmo ha studiato lo spettrogramma della voce e ha applicato ulteriori modifiche ai ritratti risultanti: di conseguenza, è stato ottenuto un ritratto approssimativo di ogni persona che parlava.
Una rete neurale per la creazione di ritratti basati sulla voce è già una realtà
Se confronti il volto di una persona con un video e l'opzione proposta dall'algoritmo, puoi trovare molte differenze. Tuttavia, i ricercatori assicurano che inizialmente non volevano creare il ritratto più simile di una persona: molti fattori influenzano il tono e l'intonazione della voce umana, quindi non avrebbero comunque ottenuto un risultato ideale. Ma la rete neurale svolge un ottimo lavoro di ciò che è importante per i ricercatori, vale a dire la determinazione precisa di sesso, nazionalità ed età.
Gli autori del lavoro hanno notato che al momento l'algoritmo è debole nel determinare l'età, ma possono migliorare la precisione. È stato anche scoperto che l'algoritmo ricrea meglio i volti europei e asiatici, ma ciò è dovuto solo al fatto che i video di formazione avevano un numero diseguale di volti di diverse nazionalità.
Video promozionale:
Perché hai bisogno di una rete neurale?
In che modo questa tecnologia può essere utile in futuro? In alternativa, con l'aiuto di esso, un giorno potrebbe essere creato un servizio in cui l'avatar virtuale di un utente viene creato automaticamente, in base alla sua voce. Il nuovo studio ha anche grandi vantaggi scientifici: studiando i dati, gli scienziati possono trovare la relazione tra l'aspetto di una persona e la sua voce. Puoi ascoltare le voci e guardare i ritratti ricreati sulla loro base sul sito web del progetto.
Ramis Ganiev
