La branche émotion, un modèle conceptuel pour l’intégration de la reconnaissance multimodale d’émotions dans des applications interactives : application au mouvement et `a la danse augmentée

oN d’ordre : 3935
`THESE
PRESENTEE A
´L’UNIVERSITE BORDEAUX I
ECOLE DOCTORALE DE MATHEMATIQUES ET
D’INFORMATIQUE
Par Alexis CLAY
POUR OBTENIR LE GRADE DE
DOCTEUR
SPECIALITE : INFORMATIQUE
La branche ´emotion, un mod`ele conceptuel pour l’int´egration de la
reconnaissance multimodale d’´emotions dans des applications interactives :
application au mouvement et `a la danse augment´ee
Soutenue le : 7 decembre 2009
Apr`es avis des rapporteurs :
Alice Caplier .............. Professeur
Jean-Claude Martin ....... Professeur
Devant la commission d’examen compos´ee de :
Alice Caplier .............. Professeur .......... Rapporteur
Jean-Claude Martin ....... Professeur .......... Rapporteur
Nadine Couture ........... Enseignant-chercheur Directrice
Maylis Delest ............. Professeur .......... Directrice
Guy Melanco n ............ Professeur .......... President
Laurence Nigay ........... Professeur .......... Directrice
Jean-Baptiste de la Riviere Docteur ............. Examinateur
Wilfrid Lefer .............. Professeur .......... Examinateur
2009R´esum´e
La reconnaissance d’´emotions est un domaine jeune mais dont la maturit´e grandissante
implique de nouveaux besoins en termes de mod´elisation et d’int´egration dans des mod`eles
existants. Ce travail de th`ese expose un mod`ele conceptuel pour la conception d’applications
interactives sensibles aux ´emotions de l’utilisateur. Notre approche se fonde sur les r´esultats
conceptuels issus de l’interaction multimodale : nous red´efinissons les concepts de modalit´e
et de multimodalit´e dans le cadre de la reconnaissance passive d’´emotions. Nous d´ecrivons
ensuite un mod`ele conceptuel `a base de composants logiciels s’appuyant sur cette red´efini-
tion : la branche ´emotion, facilitant la conception, le d´eveloppement et le maintien d’applica-
tions reconnaissant l’´emotion de l’utilisateur. Une application multimodale de reconnaissance
d’´emotions par la gestuelle a´et´e d´evelopp´ee selon le mod`ele de la branche´emotion et int´egr´ee
dans un syst`eme d’augmentation de spectacle de ballet sensible aux ´emotions d’un danseur.
Mots-cl´es. Interaction homme-machine,´emotion, reconnaissance, mod`ele conceptuel, com-
posants logiciels, multimodalit´e, gestuelle, mouvement, r´ealit´e augment´ee, danse.
Computer-based emotion recognition is a growing field which develops new needs in terms
of software modeling and integration of existing models. This thesis describes a conceptual
framework for designing emotionally-aware interactive software. Our approach is based upon
conceptual results from the field of multimodal interaction : we redefine the concepts of mo-
dality and multimodality within the frame of passive emotion recognition. We then describe
a component-based conceptual model relying on this redefinition. The emotion branch facili-
tates the design, development and maintenance of emotionally-aware systems. A multimodal,
interactive, gesture-based emotion recognition software based on the emotion branch was de-
veloped. This system was integrated within an augmented reality system to augment a ballet
dance show according to the dancer’s expressed emotions.
Keywords. Man-machine interaction, emotion, recognition, conceptual model, software
components, multimodality, gesture, movement, augmented reality, dance.
iRemerciements
Il est amusant pour moi de me souvenir que cette th`ese ne fut en aucun cas due `a une
quelconque vocation mais `a une suite de circonstances inattendues. Si le DRH avait lu le CV
etlalettredemotivationquej’avaisenvoy´epourunposteenVIE`aTaiwan(ilm’a´et´econfirm´e
plustardqueleCVn’avaitpas´et´elu,oumacandidatureaurait´et´eaccept´ee);sienattendant
cette r´eponse je n’´etais pas all´e `a la fac pour m’inscrire, dans le but d’avoir la mutuelle
´etudiante;siquelqu’unavait´et´epr´esentpourm’inscrireauxBeaux-ArtsdePau(monpremier
choix), puis en fili`ere Langues Etrang`eres Appliqu´ees (mon second choix); si, errant dans le
bˆatimentInformatiquedel’UFRdeSciencesdelafacult´edePau,jen’´etaistomb´esurlam`ere
d’un excellent ami, secr´etaire du doyen des Sciences, qui me permit de m’inscrire en DEA;
si je n’avais pas assist´e aux cours, pr´ef´erant une derni`ere ann´ee estudiantine `a l’effroi de la
vie active; si enfin, je n’´etais pas tomb´e, totalement par hasard et au gr´e de mes lectures
bibliographiques de mon sujet de stage, sur une id´ee qui tout de suite enchanta Nadine
Couture, mon encadrante... alors je n’aurais pas fait de th`ese, de cela j’en suis certain.
Mespremiersremerciementsluisontdonctoutnaturellementadress´es,ainsiqua’`mesautres
encadrantesdeth`ese,LaurenceNigayetMaylisDelest.MerciNadinepouravoir,`apartird’une
simple id´ee jet´ee en l’air, mis en place cette th`ese, d´efini un sujet de recherche, trouv´e des
financements,toutcecipendantquejeparcouraisTa ¨ıwana(`larecherchedecontacts!);merci
`a toutes les trois d’avoir accept´e de co-diriger cette th`ese, de m’accompagner et de me faire
profiter de vos diverses exp´eriences dans des domaines vari´es tout au long de cette aventure.
Mercienfindem’avoirdonn´ecegouˆtpourlarecherche;Vousavezr´eussicesurquoijen’aurais
pas pari´e un sou quelques mois auparavant.
La r´ealisation de ce travail a bien ´evidemment n´ecessit´e des moyens et un financement. Je
tiens `a remercier l’ESTIA et son directeur Jean-Roch Guiresse de m’avoir accueilli au sein de
leur ´equipe de recherche. Je remercie bien surˆ ´egalement Didier Borotra et la Communaut´e
d’Agglom´eration Bayonne-Anglet-Biarritz, qui a financ´e ce travail de th`ese.
J’adresse mes sinc`eres remerciements `a l’ensemble du jury : son pr´esident Guy M´elan¸con,
Jean-Baptiste de la Rivi`ere, et Wilfrid Lefer. Je remercie particuli`erement les rapporteurs de
cem´emoire,AliceCaplieretJean-ClaudeMartin,pourleurregardcritiqueetleursremarques
avis´ees.
Je tiens `a exprimer mes profonds remerciements `a Thierry Malandain et au Centre Chor´e-
graphique National Malandain Ballet Biarritz pour s’ˆetre joint `a nous dans cette aventure. La
iiicollaboration que nous avons mis en place m’a permis d’aborder un monde dont j’avais une
totale ignorance, et a permis d’associer pleinement `a nos travaux Gael Domenger, danseur et¨
chor´egraphe au CCN d’Aquitaine.
Un paragraphe sp´ecifique ´etait d’ailleurs n´ecessaire, me semble-t-il, pour pleinement re-
mercier cet ´energum`ene extra-terrestre dont l’imagination et la cr´eativit´e se le disputent `a la
rigueur et `a la raison. Ga¨el, tu es un geek, sache-le; si tu n’avais ´et´e danseur, tu aurais du
ˆetre scientifique fou. Il n’en fallait pas moins pour que nous nous entendions aussi bien et que
tu appr´ehendes avec une telle facilit´e un monde qui n’´etait pas le tien.
Un grand merci bien surˆ `a tout le personnel de l’ESTIA et aux membres du laboratoire,
permanents comme doctorants. Comment ne pas citer les compagnons d’infortunes, gal´eriens
harass´es par le triste labeur du doctorant?
– La bande des hispanos tout d’abord : David et Alvaro qui m’ont permis de partager
les frais (´elev´es) de logement sur la otcˆ e basque, Ric, Carmen, Keny, pour toutes les
soir´ees,labonnehumeur,l’espritfestifdespaisas,ettoutcequivabien...sansoublierce
voyage `a Medellin, m´emorable! Et Livier, bien ´evidement, pour ses concours d’insultes
Shakespeariennes, nos d´ebats Pratchettiens, et pour m’avoir prouv´e avec Keny que
l’ingestion d’une demi-bouteille de tabasco ´etait une prouesse humainement r´ealisable.
– Guillaume R., motard dans le plus pur esprit Joe BAR Team, pour ses conseils, ainsi
que pour sa double capacit´e `a pouvoir s’endormir en soir´ee et ensuite travailler plus de
50 heures d’affil´ee.
– Olivier P., compagnon de r´edaction, et dont les multiples th´eories ont lanc´e des d´ebats
qui ont´egay´e nos pauses caf´e-clope. La th`ese, un tour du monde en solitaire? C’est pas
si pire, mais c’est pas non plus d´econnant.
– `a Elric D., pour avoir pris sur lui du travail suppl´ementaire afin de me laisser r´ediger
sans distractions.
– `a Emilie C., Olivier Z., Ionel V., et tous les autres pour tous ces super moments que
nous avons pu passer ensemble!
Nearly last but not least, je remercie bien ´evidemment ma famille - mon p`ere et mes fr`ere
etsoeurs,mesamis.JeremercieGaelledem’avoirsupport´ependantcesann´eesdeth`eseeten¨
particuliers les mois de r´edaction, ces mois difficiles ou` une´epaule compr´ehensive sur laquelle
pleurer l’infortune du doctorant en r´edaction est inestimable.
Enfin, je d´edie ce m´emoire `a ma m`ere, d´ec´ed´ee le 31 mars 2009, `a 13h31. Une seule phrase
de d´edicace me vient `a l’esprit aujourd’hui pour lui rendre dignement hommage.
A ta sant´e.Table des mati`eres
R´esum´e i
Remerciements iii
In