Environ 700 000 personnes en France sont affectées de troubles du spectre de l’autisme (TSA). L’autisme se manifeste en particulier, dès le plus jeune âge, par une difficulté à reconnaître et à exprimer des émotions complexes telles que l’ironie, la gêne, la tendresse… L’application pour tablette numérique Emoface, mise au point au Gipsa-Lab1, est conçue pour aider des enfants autistes à mieux percevoir et exprimer l’une des 412 émotions complexes recensées2.
Emoface est un logiciel ludique qui exploite des animations émotionnelles produites par un avatar numérique (ton de la voix, regard, expressions du visage…). Son utilisateur peut ainsi apprendre à reconnaître des expressions émotionnelles et à les reproduire en contrôlant l’avatar. Emoface, à vocation pédagogique, favorise l’apprentissage en faisant varier l’intensité et la complexité des émotions générées. Son développement s’inscrit dans les études menées au Gipsa-Lab sur la modélisation des expressions paralinguistiques qui accompagnent la parole (ton de voix, expressions du visage, regards, attitudes, comportements…), dans le but générer les comportements verbaux et coverbaux d’avatars numériques, voire de robots.
Les chercheurs ont commencé par un travail d’observation avec l’aide de deux acteurs. Une série de phrases ont été extraites d’une pièce de théâtre3 riche en attitudes et comportements émotionnels variés. Ces phrases ont ensuite été prononcées par les acteurs, avec différentes attitudes (pensive, dubitative, embarrassée, ironique…), à la manière des Exercices de style de Raymond Queneau. Les enregistrements réalisés ont constitué la base de données permettant de construire un modèle d’animation d’avatars4. « Des techniques de machine learning (apprentissage automatique) ont permis de créer un modèle capable de générer un type précis de comportement (ironique, gêné, séducteur…) sur un texte libre », explique Gérard Bailly, directeur de recherche CNRS au Gipsa-Lab.
Un prototype d’Emoface a été testé auprès d’enfants autistes, en collaboration avec des associations et des établissements médico-sociaux, afin de vérifier la bonne compréhension des consignes et de l’interface par les utilisateurs (patients et thérapeutes). Les chercheurs disposent maintenant d’une version « Bêta » de l’application. Une première évaluation des effets de l’usage d’Emoface sur le comportement d’enfants autistes a été lancée. « Ces tests nous permettront d’aboutir à une version opérationnelle de l’application au début de 2020 », indique Adela Barbulescu, dont la thèse5 est à l’origine d’Emoface. Cette version sera enrichie de nouvelles palettes d’émotions mais aussi par l’animation 3D de situations sociales quotidiennes (achat chez un commerçant, rencontre dans la rue….). Le projet Emoface, en incubation à la Satt Linksium, débouchera en 2020 sur la création d’une start-up qui commercialisera l’application auprès des familles et des professionnels de santé.
De son côté, l’équipe de Gérard Bailly poursuit ses recherches et s’intéresse particulièrement à la variabilité des attitudes émotionnelles qui accompagnent la parole, en fonction des interlocuteurs. L’objectif est de développer des modèles de comportements multimodaux de plus en plus proches des comportements humains, applicables notamment à l‘interaction humain-robot.
1 Laboratoire Grenoble images parole signal automatique (GIPSA-lab – CNRS/Grenoble INP/Université Grenoble Alpes).
2 Classification élaborée par Simon Baron-Cohen, chercheur en psychologie de Cambridge, spécialiste de l’autisme.
3 Dialogues extraits de « La Ronde », d’Arthur Schnitzler.
4 A Generative Audio-Visual Prosodic Model forVirtual Actors. Adela Barbulescu, Rémi Ronfard, Gérard Bailly. IEEE Computer Graphics and Applications, Institute of Electrical and Electronics.Engineers, 2017, 37 (6), pp.40-51. 10.1109/MCG.2017.4031070. hal-01643334.
5 Thèse d’Adela Barbulescu, «Génération de la prosodie audio-visuelle pour les acteurs virtuels expressifs», co-dirigée par Rémi Ronfard (Inria) et Gérard Bailly (CNRS).