L’era dell’Emotion AI nei videogiochi. Analisi delle espressioni facciali e processori per la simulazione delle emozioni.

Nel futuro della game industry, una nuova generazione di giochi e giocatori. «Influenzati dai sentimenti, personaggi auto-animati da intelligenza emotiva e sviluppo della personalità».

Quella appena conclusa è stata sicuramente un’annata ricca per gli appassionati di videogame. Dal successo inarrestabile di Nintendo Switch, all’ultima classifica di Digital Foundry (pubblicata nella sezione Videogames su MondoFOX), secondo la quale il primo premio per la miglior grafica nel 2017 è andato al videogioco Horizon Zero Dawn. Da Barbie nel Mondo dei Videogame (Barbie – Video Game Hero), la più bella e celebre bambola bionda finita anche lei nel mondo dei videogiochi, al remake di un fan di Tomb Raider 3 con The Adventures of Lara Croft. Dagli 11,5 milioni di spettatori in livestream in tutto il mondo per The Game Awards 2017 (con il 202% di crescita rispetto al record del 2016) all’uscita del film The LEGO Ninjago Movie, al quale, come per The LEGO Movie, è stato affiancato un videogioco che ne ha promosso l’uscita nelle sale cinematografiche: The LEGO Ninjago Movie Videogame.

‘The Game Awards 2017 – Full Show with Death Stranding, Zelda and More‘ trasmesso dal vivo in streaming il 7 dicembre 2017. (Fonte: canale YouTube thegamewards).

Insomma, potremmo parlarne per mesi. Reale e virtuale. Uomini e macchine. L’eterno conflitto. Diventeremo come le macchine o le macchine diventeranno come gli esseri umani? In questo scambio continuo in cui prendiamo qualcosa e perdiamo qualcos’altro, questa è la volta dei videogiochi.

‘The LEGO Ninjago Movie – Trailer’ dal canale YouTube Warner Bros. Pictures.

Siamo nel 2999. Sempre più robotici, sempre meno umani. E allora cosa ci distinguerà dalle macchine?

In futuro parleremo più con le macchine che con altri esseri umani, sostengono quelli di EmoShape, società impegnata nell’insegnamento delle emozioni a oggetti intelligenti. EmoShape ha annunciato tre mesi fa il lancio del primo processore per la simulazione delle emozioni nei videogiochi: Emotion Processing Unit (EPU), giunto già alla terza versione. E insieme all’EPU, dichiarano, due nuovi plugin per Unity 3D e Unreal Engine per rendere emotivamente interattiva l’esperienza di gioco, con l’intelligenza artificiale e la realtà virtuale. Dream è il nome del primo gioco pionieristico in VR che utilizza ExoLife Emotion Engine di EmoShape, senza interfaccia grafica. Utilizzeremo giochi in grado di reagire e modificare il corso degli eventi in base alle reazioni dei giocatori. Le esperienze di gioco saranno sempre più personalizzate, emotivamente reattive e interattive, perché basate sulle emozioni provate in un momento specifico e in tempo reale da chi gioca.

Ma se tutto questo fosse già realtà? Flying Mollusk, studio indipendente di produzione di videogiochi, ha lanciato due anni fa Nevermind, il suo cavallo di battaglia.

nevermind-flyingmollusk ai videogame

Da Nevermind di Flying Mollusk.

Nevermind è stato definito un «biofeedback-enhanced thriller adventure game that indirectly teaches players how to manage feelings of stress and anxiety». Flying Mollusk ha integrato in Nevermind la tecnologia di rilevamento delle emozioni di proprietà di Affectiva (di Affectiva abbiamo parlato più volte, come in questo articolo).

La logica di gioco cambia, quindi, in base ai dati emotivi raccolti e alle reazioni emotive del giocatore, il quale a sua volta è coinvolto nella modifica della trama e del livello di difficoltà del gioco. Persino l’avatar è in grado di adattarsi alla reazioni e cambiare il suo aspetto in tempo reale. Conseguentemente, gli sviluppatori sperimentano la creazione di giochi più divertenti, i giocatori conducono il gioco con le proprie emozioni verso direzioni inaspettate: ogni giocatore scrive la storia del videogioco a cui stai giocando. Cambia direzione, inventa una nuova narrazione. Giocatore e protagonista. Protagonista e sceneggiatore, insieme alle proprie emozioni. E tutto questo, visto da un’altra prospettiva, permette una profilazione più accurata, tassi di conversione più alti, fidelizzazione e intercettazione immediata dei problemi di usabilità.

Inutile aspettare il 2999.

Il trailer di Nevermind dal canale su Vimeo di Flying Mollusk.

Videogame: grafica 3D, intelligenza artificiale e VR

A SIGGRAPH2017 – la conferenza annuale più influente al mondo nel campo della computer grafica – NVIDIA ha presentato la sua ultima ricerca: ‘Production-Level Facial Performance Capture Using Deep Convolutional Neural Networks‘. Così, alla lunga esperienza nella computer grafica, NVIDIA sta affiancando una nuova sperimentazione sull’intelligenza artificiale. Nata nel 1995, Remedy Entertainment  la società finlandese produttrice di videogame -, si è avvicinata al progetto di ricerca con l’idea di aiutare NVIDIA Research a produrre animazioni facciali realistiche, a costi più bassi e con uno sforzo minore. Portata avanti da ricercatori di NVIDIA Research (Samuli Laine, Tero Karras, Timo Aila), NVIDIA e Aalto University (Jaakko Lehtinen), Remedy Entertainment (Antti Herva) e Pinscreen con la University of Southern California (Shunsuke Saito, Ronald Yu, Hao Li), la ricerca ha prodotto una rete neurale per la creazione di animazioni facciali partendo dai video già registrati degli attori coinvolti.

Personalità ed emozioni: computer umanizzati

«Siamo fatti della stessa sostanza dei sogni», scriveva il drammaturgo, scrittore, poeta inglese – forse italiano? – più autorevole nella cultura occidentale. E tutti proviamo emozioni. In contesti diversi, per ragioni differenti, con manifestazioni più o meno esplicite. C’è chi lotta per imparare a gestirle e chi lo sa fare benissimo, da sempre. Chi crede di non riuscire a provarle e chi di non averne bisogno. La verità è che tutti proviamo emozioni. E guai se così non fosse, sono le emozioni che ci aiutano a scandire i momenti migliori – e peggiori – della nostra vita. O semplicemente, che ci permettono di sentirci vivi. Ma qui non vogliamo parlare di noi, esseri umani.

Quindi sogni ed emozioni.

Sembra difficile da credere, ma le emozioni oggi sono fondamentali. Anche nell’informatica. Altrimenti perché questa ossessiva ricerca di introduzione di personalità, emozione, umanità, in qualcosa che per antonomasia non solo ne è privo, ma ne rappresenta l’esatto alter ego, come una macchina?

Così, due mondi lontani fin dalla nascita, hanno forse trovato il modo di ricongiungersi. Cosa proveranno i computer e come lo percepiranno è la nuova sfida. Anche se, in un articolo di Daniela Mangini di Wired Italia, il ricercatore Marco Muselli dell’Istituto di Elettronica e Ingegneria dell’Informazione e delle Telecomunicazioni dell’Università di Genova – nonché cofondatore insieme ad Andrea Ridi ed Ester Pescio di Rulex Inc, società di analisi di big data – spiega come le macchine siano in grado oggi di imitare molti dei caratteri tipici dell’intelligenza umana e come, al contrario, non sia possibile far provare loro le emozioni umane.

Le macchine possono imitare la percezione umana: nel riconoscimento dei volti o nell’interpretazione del linguaggio. Ma non le emozioni. Semplicemente perché gli ormoni non sono riproducibili.

Le emozioni oggi sono fondamentali. Non solo oggi, in realtà. In determinati periodi storici si è attribuito un valore predominante alla ‘ragione’ a discapito di tutto ciò che invece veniva considerato irrazionale, non misurabile, non utilizzabile. Oggi invece, come dimostra la vasta letteratura scientifica sull’argomento, questo approccio è decisamente cambiato. Solo per citare un esempio, negli acquisti d’impulso – come evidenzia già la classificazione – quando scegliamo, non lo facciamo in base alla ragione: a guidarci sono le nostre emozioni, quindi il nostro sistema limbico. Solo successivamente, nel nostro cervello cerchiamo una risposta, una giustificazione alla nostra scelta. Razionalizziamo la nostra decisione, cercando motivi a posteriori. Entra in funzione la neocorteccia.

L’emozione nell’AI porterà notevoli vantaggi non solo nel settore dei videogame e dei giochi in generale, ma anche in quello pubblicitario e soprattutto in ambito medico-sanitario.