L'intelligenza artificiale si sta sviluppando attivamente in Russia e nel mondo, anche emotiva. È interessato alle grandi aziende e alle startup ambiziose che stanno introducendo nuovi sviluppi nella vendita al dettaglio, nel marketing, nell'istruzione, nel settore bancario e nel reclutamento. Secondo Mordor Intelligence, il mercato del riconoscimento delle emozioni è stato valutato a $ 12 miliardi nel 2018 e crescerà fino a $ 92 miliardi entro il 2024.
Cos'è l'IA emotiva
Emotion AI (Emotion AI) è un'intelligenza artificiale che consente a un computer di riconoscere, interpretare e rispondere alle emozioni umane. Una telecamera, un microfono o un sensore indossabile legge lo stato di una persona e una rete neurale elabora i dati per determinare un'emozione.
Esistono due modi principali per analizzare le emozioni:
- Contatto. Una persona viene messa su un dispositivo che legge il suo polso, gli impulsi elettrici del corpo e altri indicatori fisiologici. Tali tecnologie possono determinare non solo le emozioni, ma anche il livello di stress o la probabilità di un attacco epilettico.
- Senza contatto. Le emozioni vengono analizzate sulla base di registrazioni video e audio. Il computer apprende espressioni facciali, gesti, movimenti degli occhi, voce e linguaggio.
Per addestrare una rete neurale, i data scientist raccolgono un campione di dati e contrassegnano manualmente il cambiamento nello stato emotivo di una persona. Il programma studia i modelli e comprende quali segni appartengono a quali emozioni.
La rete neurale può essere addestrata su dati diversi. Alcune aziende e laboratori utilizzano videocassette, altri studiano la voce e alcuni traggono vantaggio da più fonti. Ma più diversi sono i dati, più accurato è il risultato.
Considera due fonti principali:
Video promozionale:
Foto e immagini fisse da video
Le immagini vengono elaborate per prime per facilitare il lavoro con l'IA. I tratti del viso - sopracciglia, occhi, labbra e così via - sono contrassegnati da punti. La rete neurale determina la posizione dei punti, li confronta con i segni delle emozioni dal modello e conclude quale emozione si riflette: rabbia, paura, sorpresa, tristezza, gioia o calma.
C'è anche un altro approccio. I segni delle emozioni vengono immediatamente notati sul viso, ad esempio un sorriso o le sopracciglia aggrottate. Quindi la rete neurale cerca i marker sull'immagine, analizza le loro combinazioni e determina lo stato della persona.
Lo studio dei marker emotivi è iniziato nel 20 ° secolo. È vero, quindi sono stati considerati separatamente dalle reti neurali. Gli scienziati Paul Ekman e Wallace Friesen hanno sviluppato il Facial Action Coding System (FACS) nel 1978. Scompone le espressioni facciali in singoli movimenti muscolari o unità di azione. Il ricercatore studia le unità motorie e le confronta con l'emozione.
Voce e discorso
La rete neurale estrae molti parametri della voce dal segnale acustico, ad esempio tono e ritmo. Studia il loro cambiamento nel tempo e determina lo stato di chi parla.
A volte per l'allenamento viene utilizzato uno spettrogramma, un'immagine che mostra la forza e la frequenza di un segnale nel tempo. Inoltre, l'AI analizza il vocabolario per risultati più accurati.
Dov'è la tecnologia utilizzata
Vendite e pubblicità
L'uso più ovvio della tecnologia di riconoscimento delle emozioni è nel marketing. Con il loro aiuto, puoi determinare in che modo un video pubblicitario influisce su una persona. Per fare ciò, puoi, ad esempio, installare una struttura con una telecamera che cambierà la pubblicità a seconda dell'umore, del sesso e dell'età delle persone che passano.
Un design simile è stato sviluppato dalle startup Cloverleaf e Affectiva. Hanno introdotto un annuncio shelfpoint elettronico chiamato shelfPoint che raccoglie dati sulle emozioni degli acquirenti. Nuove tecnologie sono state testate da Procter & Gamble, Walmart e altre grandi aziende. Secondo Cloverleaf, le vendite sono aumentate del 10-40%, mentre il coinvolgimento dei clienti è aumentato 3-5 volte.
Un'opzione più insolita è un consulente di robot con intelligenza artificiale. Interagirà con i clienti, leggerà le loro emozioni e li influenzerà. E fai anche offerte personalizzate.
Il robot di servizio è stato presentato dalla startup russa Promobot. Utilizza una rete neurale sviluppata da Neurodata Lab, che determina le emozioni da più fonti contemporaneamente: registrazioni di un viso, voce, movimenti, respirazione e frequenza cardiaca.
Promobot vende attivamente i suoi robot all'estero. Nel 2018, la startup ha firmato un contratto con la società americana Intellitronix per $ 56,7 milioni, e nel prossimo ha accettato di fornire dispositivi ad Arabia Saudita, Israele, Kuwait e Svezia - per loro la società riceverà $ 1,1 milioni. Secondo Promobot, oggi 492 robot sono al lavoro in 34 paesi del mondo come guide, portieri, consulenti e promotori.
Banche
Le tecnologie di riconoscimento delle emozioni aiutano le banche a ottenere il feedback dei clienti senza sondaggi e a migliorare il servizio. Le videocamere sono installate nei reparti e gli algoritmi per la registrazione determinano la soddisfazione dei visitatori. Le reti neurali possono anche analizzare la voce e il parlato del cliente e dell'operatore durante una chiamata al contact center.
In Russia, hanno cercato a lungo di implementare l'intelligenza artificiale emotiva: è stato testato a Sberbank nel 2015 e tre anni dopo Alfa-Bank ha lanciato il suo pilota per analizzare le emozioni dai video. Oltre alle registrazioni dalle telecamere di sorveglianza, vengono utilizzate anche le registrazioni delle chiamate. VTB ha lanciato un progetto pilota per implementare l'IA emotiva nel 2019. E Rosbank, insieme a Neurodata Lab, ha già testato la determinazione delle emozioni dei clienti con la voce e il discorso. Il cliente ha chiamato la banca e la rete neurale ha analizzato il suo stato e il significato della conversazione. Inoltre, l'IA ha notato pause nel discorso dell'operatore, nel volume della voce e nel tempo di comunicazione. Ciò ha consentito non solo di verificare la soddisfazione del servizio, ma anche di monitorare l'operato degli operatori del contact center.
Ora Rosbank ha implementato la propria soluzione per il riconoscimento delle emozioni. Invece di un segnale acustico, il sistema analizza il testo, mentre l'accuratezza rimane alta.
Lo Speech Technology Center è anche coinvolto nel riconoscimento delle emozioni nel discorso (Sberbank possiede una quota di maggioranza). Il servizio Smart Logger analizza la voce e il vocabolario di clienti e operatori, i tempi di conversazione e le pause per scoprire la soddisfazione del servizio.
Sfera di intrattenimento
I sistemi di riconoscimento delle emozioni possono essere utilizzati per valutare la reazione del pubblico a un film. Disney nel 2017, in collaborazione con scienziati, ha condotto un esperimento: ha installato telecamere in un cinema e ha collegato algoritmi di deep learning per valutare le emozioni degli spettatori. Il sistema potrebbe prevedere le reazioni delle persone osservandole per pochi minuti. Durante l'esperimento, abbiamo raccolto un set di dati impressionante: 68 marcatori da ciascuno dei 3.179 spettatori. In totale, sono state ottenute 16 milioni di immagini di volti.
Per lo stesso scopo, l'hosting di video di YouTube ha creato la propria AI chiamata YouFirst. Consente ai video blogger e alle aziende di testare i contenuti prima del rilascio sulla piattaforma. Gli utenti fanno clic su un collegamento speciale, accettano di girare un video e guardano il video. A questo punto, la rete neurale determina le loro reazioni e invia i dati al proprietario del canale.
Tra le aziende russe, le reazioni ai video possono essere analizzate, ad esempio, da Neurobotics. L'azienda ha sviluppato il programma EmoDetect che riconosce gioia, tristezza, sorpresa, paura, rabbia, disgusto e neutralità. Il programma studia fino a 20 caratteristiche facciali locali in immagini fisse e una serie di immagini. Il sistema analizza le unità motorie e utilizza la tecnologia di codifica facciale FACS. È possibile registrare video da una webcam. L'API EmoDetect consente di integrare il prodotto con applicazioni esterne.
L'intelligenza artificiale emotiva sta iniziando ad essere applicata anche nel settore dei giochi. Aiuta a personalizzare il gioco e ad aggiungere più interazione con il giocatore.
Ad esempio, la società americana di intelligenza artificiale emotiva Affectiva ha contribuito a creare il thriller psicologico Nevermind. La tensione dipende dallo stato del giocatore: la trama diventa più cupa quando è sotto stress e viceversa.
Formazione scolastica
Il riconoscimento delle emozioni si applica anche all'istruzione. Può essere utilizzato per studiare l'umore e l'attenzione degli studenti durante le lezioni.
Gli sviluppatori russi hanno applicato l'intelligenza artificiale emotiva a Perm. L'impulso per lo sviluppo della tecnologia sono stati gli attacchi degli studenti agli studenti delle scuole elementari e all'insegnante. Rostelecom e la startup New Vision hanno sviluppato il programma Smart and Safe School per monitorare lo stato emotivo dei bambini. Questo aiuterà a identificare gli adolescenti asociali prima che si verifichi la tragedia.
Era basato sul sistema Paul Ekman. La rete neurale ha analizzato i minimi movimenti muscolari utilizzando 150 punti sul viso. Durante la lezione è stata raccolta una grande quantità di dati: 5-6mila frame per ogni studente. Il programma ha studiato il set di dati e calcolato lo stato emotivo di ogni bambino. Secondo i creatori, la precisione era del 72%.
HR
L'intelligenza artificiale emotiva può essere utile nel lavoro con il personale. Aiuta a determinare lo stato del dipendente, a notare la sua stanchezza o insoddisfazione nel tempo e ridistribuire i compiti in modo più efficiente.
Inoltre, la tecnologia aiuta con il reclutamento. Con l'aiuto dell'intelligenza artificiale emotiva, puoi controllare un candidato per un lavoro o mentire durante un colloquio.
L'azienda americana HireVue utilizza l'intelligenza artificiale per valutare i candidati. Il richiedente esegue un'intervista video e la rete neurale determina le sue condizioni mediante parole chiave, intonazione vocale, movimenti ed espressioni facciali. L'intelligenza artificiale evidenzia le caratteristiche importanti per il lavoro e assegna i voti, mentre il responsabile delle risorse umane seleziona i candidati giusti.
La startup londinese Human utilizza il video per identificare le emozioni e abbinarle ai tratti del carattere. Dopo l'intervista video, i reclutatori ricevono un rapporto che dice quanto fosse onesto, curioso, eccitato, entusiasta o fiducioso il candidato e come ha risposto alle domande.
Medicinale
In quest'area saranno utili non solo il non contatto, ma anche i metodi di contatto per determinare le emozioni. Sono attivamente implementati da startup straniere, ad esempio Affectiva e Brain Power. Gli sviluppi delle aziende includono occhiali AI che aiutano i bambini e gli adulti con autismo a riconoscere le emozioni degli altri e a sviluppare abilità sociali.
Ma le reti neurali possono aiutare i pazienti senza sensori indossabili. Gli scienziati del Massachusetts Institute of Technology hanno creato una rete neurale che rileva la depressione analizzando il discorso di una persona. La precisione del risultato è stata del 77%. E la startup Beyond Verbal sta usando l'AI per analizzare la salute mentale dei pazienti. In questo caso, la rete neurale seleziona solo biomarcatori vocali dalla registrazione audio.
Macchine
Il Massachusetts Institute of Technology sta sviluppando un'intelligenza artificiale chiamata AutoEmotive che determinerà le condizioni del conducente e dei passeggeri. Non solo monitorerà il livello di stress, ma cercherà anche di ridurlo, riproducendo musica soft, regolando la temperatura in cabina o prendendo un percorso meno trafficato.
Limitazioni dell'IA emotiva
La rete neurale non può tenere conto del contesto
L'intelligenza artificiale ha imparato a identificare le emozioni e gli stati umani di base, ma finora non è in grado di far fronte a situazioni più complesse. Gli scienziati notano che le espressioni facciali non mostrano sempre accuratamente come si sente veramente una persona. Il suo sorriso può essere finto o sarcastico e questo può essere determinato solo dal contesto.
Gli esperti di NtechLab ritengono che sia ancora difficile determinare con precisione la ragione di questa o quella emozione.
NtechLab sottolinea che è necessario riconoscere non solo le espressioni facciali, ma anche i movimenti umani. Dati diversi renderanno l'IA emotiva molto più efficiente. Daniil Kireev, uno dei principali ricercatori presso la società di sviluppo di prodotti di riconoscimento facciale VisionLabs, è d'accordo con questo. A suo avviso, con una grande quantità di dati, la precisione degli algoritmi aumenta.
“Ci sono errori, il loro numero dipende da molti fattori: la qualità del campione di addestramento, la rete neurale addestrata, i dati su cui lavora il sistema finale. Aggiungendo informazioni da diverse fonti, ad esempio la voce, è possibile migliorare la qualità del sistema. Allo stesso tempo, è importante capire che dal viso determiniamo piuttosto la sua espressione piuttosto che l'emozione finale. L'algoritmo può tentare di determinare l'emozione simulata, ma per questo lo sviluppo della tecnologia deve fare un piccolo passo avanti , afferma Daniil Kireev.
Cattiva attrezzatura
I fattori esterni influenzano la qualità degli algoritmi. Affinché la precisione del riconoscimento delle emozioni sia elevata, le videocamere e i microfoni devono essere di alta qualità. Inoltre, il risultato è influenzato dall'illuminazione, dalla posizione della telecamera. Secondo Daniil Kireev, condizioni incontrollate complicano il processo di determinazione degli stati di una persona.
Affinché l'IA emotiva si sviluppi, hai bisogno di hardware di qualità. Se trovi una buona attrezzatura e la configuri correttamente, la precisione dei risultati sarà molto alta. E quando diventerà più accessibile e diffuso, le tecnologie di riconoscimento delle emozioni saranno migliorate e implementate più attivamente.
“La precisione del sistema dipende da molti fattori. La principale è la qualità dei fotogrammi della fotocamera, che vengono forniti al sistema per il riconoscimento. La qualità dei fotogrammi fissi, a sua volta, è influenzata dalle impostazioni e dalle caratteristiche della fotocamera, dalla matrice, dall'illuminazione, dalla posizione del dispositivo, dal numero di volti nell'inquadratura. Con la corretta configurazione dell'hardware e del software, è possibile ottenere la precisione dell'emozione rilevata fino al 90-95%”, osserva Vitaly Vinogradov, product manager del servizio di videosorveglianza cloud e analisi video Ivideon.
Prospettiva tecnologica
Ora in Russia, l'intelligenza artificiale emotiva sta solo guadagnando slancio. Le startup sviluppano la tecnologia e commercializzano i loro prodotti, ei clienti li testano con cautela.
Ma Gartner stima che entro il 2024 più della metà degli annunci online verrà realizzata utilizzando l'IA emotiva. La visione artificiale, utilizzata per rilevare le emozioni, diventerà una delle tecnologie più importanti nei prossimi 3-5 anni. E MarketsandMarkets prevede che il mercato dell'analisi delle emozioni raddoppierà entro il 2024, da $ 2,2 miliardi a $ 4,6 miliardi.
Inoltre, le grandi aziende mostrano interesse per il riconoscimento delle emozioni, ad esempio Procter & Gamble, Walmart, VTB, Rosbank, Sberbank e Alfa-Bank. E le startup nazionali stanno sviluppando progetti pilota che diventeranno soluzioni pronte per il business in futuro.
Evgeniya Khrisanfova
