La multimodalité en sortie et son application à la ...

UNIVERSITE JOSEPH FOURIER – GRENOBLE 1 U.F.R. EN INFORMATIQUE ET MATHEMATIQUES APPLIQUEES THESE pour obtenir le grade de DOCTEUR DE L'UNIVERSITE JOSEPH FOURIER - Grenoble I Discipline : Informatique Présentée et soutenue publiquement par Frédéric Vernier Le 21/02/2001 Titre : La multimodalité en sortie et son application à la visualisation de grandes quantités d’information Directeur de thèse : Laurence Nigay JURY Mr Michel Adiba, Président Mme Jocelyne Nanard, Rapporteur Mr Guy Melançon, Rteur Mme Joëlle Coutaz, Examinateur Mr Giorgio Faconti, Examinateur Mr Eric Lecolinet, Examinateur Thèse préparée au sein du laboratoire de Communication Langagière et Interaction Personne-Système Fédération IMAG – Université Joseph Fourier – Grenoble IRemerciements, A celles et ceux qui ont contribué à l'aboutissement de ce document, à ma famille, à mes collègues et à tous mes amis. Tous les citer serait trop long mais comment pourrais-je ne pas remercier ... en tout premier Laurence qui m'a encadré pendant de nombreuses années, du magistère à la Thèse, toute l'équipe IIHM, Joëlle chef de l'équipe, Dan, Pépé, Eric, Dave, Manu, Gaëlle, Chaouki, Yann, Philou, Kris, Léon, Nick, Lisette, Julie et tous les autres ... tiens d'ailleurs j'en aurais pas oublié un ? ... Mais non Fanf, je ne vais pas oublier de te remercier de ta présence, au lab, rue Ampère, au bagatel, au transbo et à l'entrepôt mais aussi merci pour ton absence qui m'a permis de prendre le temps de rédiger ;-). Remercier les amis qui ne sont pas des collègues de travail serait encore plus long ... mais dans un mémoire de Thèse, il y a de la place. Merci donc à Delphine, Christine, Ninie (relectrice), Galou, Jean-Luc, Stella, Eric, Marie- Claude, Arnaud, Franck, Françoise, Jean-Philippe, Christèle, Mathias, Magalie, Olivier, Anne- Lyse, Nils, Alex, Doms, Laure, Nicole, Anne l'italienne, Anne la tahitienne, Céline l'américaine, Céline l'anglaise et Céline l'africaine (ma relectrice la plus acharnée) et puis tous les autres. Je voudrais enfin remercier ma famille qui m'a permis, que dis-je, poussé à faire des études et particulièrement à Papi Joe qui verra d'en haut la Thèse de son pillou. Merci aussi à mes parents, Hélène (ma plus fidèle supportrice) et André (mon plus fidèle relecteur), à ma sœur Isabelle, mon frère Ezana et à ma cousine Lili qui étudiait à Grenoble pendant ma Thèse et qui a participé à la relecture du manuscrit. A mes grands parents Mamie Paulo, Mami Simone et Papi Charlie. Aux cousins suisses, Marc, Barbara, Annick et Adrien. Aux cousins cannois, Annette, Olivier, Nino, Sydney, April, Nico et Françoise. Aux cousins montpelliérains, Flo, Thierry, Sophie, Violaine, Gabi, Pacôme et Valdo. Aux valentinois Joe et Françoise, ma marraine et enfin aux cousins bordelais. Cette Thèse est un peu la vôtre. Cette image a une longue histoire, je l'ai produite en mettant au point un de mes programmes. La plupart des personnes que je viens de remercier (et d'autres encore) ont joué le jeu et ont produit de telles grimaces (certaines sont de vraies œuvres d'art). Parce que ma Thèse fut aussi un plaisir et un amusement, voici l'adresse : http://iihm.imag.fr/vernier/grimaces. [;---}La multimodalité en sortie et son application à la visualisation de grandes quantités d’information CHAPITRE I INTRODUCTION ............................................................................................................ 7 1S UJET............................................................................................................................................... 9 2O BJECTIFS....... 10 3S TRUCTURE DU MÉMOIRE .............................................................................................................. 11 CHAPITRE II PATRONS DE CONCEPTION ................................................................................... 15 4H ISTORIQUE.... 17 5T ERMINOLOGIE .............................................................................................................................. 20 5.1 Auteur et concepteur................................................................................................................. 20 5.2 Patron et langage de patrons.................................................................................................... 20 6F ORMAT DE PATRONS..................................................................................................................... 22 6.1 Exemples illustratifs.................................................................................................................. 25 6.2 Description du problème et du contexte 26 6.3 Motivations ............................................................................................................................... 26 6.4 Contre-exemple........... 26 6.5 Solution proposée ..................................................................................................................... 27 7P RINCIPE D'ORGANISATION ............................................................................................................ 27 7.1 Critères d'ergonomie mis en jeu par le patron ......................................................................... 28 7.2 Choix des modalités préconisé par le patron ........................................................................... 30 7.3 Niveaux d'abstraction du patron............................................................................................... 30 8C ONCLUSION ................................................................................................................................. 30 CHAPITRE III MULTIMODALITÉ EN SORTIE............................................................................. 33 1T ERMINOLOGIE : MODALITÉ ET MULTIMODALITÉ EN SORTIE.......................................................... 35 1.1 Modalité.................................................................................................................................... 36 1.2 Multimodalité en sortie............................................................................................................. 38 2C ONCEPTION D'INTERFACES MULTIMODALES................................................................................. 42 2.1 Typologie de la multimodalité en sortie.................................................................................... 42 2.2 Cadre de conception................................................................................................................. 46 2.3 Cadrn et patrons de conception......................................................................... 48 3E SPACES DE CONCEPTION EXISTANTS ............................................................................................ 49 3.1 Espaces de composition de modalités....................................................................................... 49 3.2 Espaces de caractérisation d'une modalité............................................................................... 55 3.3 Synthèse .................................................................................................................................... 59 4N OUVEL ESPACE DE COMPOSITION DE MODALITÉS DE SORTIE........................................................ 59 4.1 Aspect temporel d’une composition de modalité ...................................................................... 62 4.2 Aspect spatial d’une composition de modalités ........................................................................ 63 4.3 Aspect articulatoire d’une composition de modalités............................................................... 65 4.4 Aspect syntaxique d’une composition de modalités.................................................................. 65 4.5 Aspect sémantique d’une composition de modalités................................................................. 66 4.6 Aspects et schémas : un espace unificateur .............................................................................. 67 5C ARACTÉRISATION DES MODALITÉS DE SORTIE ............................................................................. 68 5.1 Caractérisation des dispositifs.................................................................................................. 68 5.2 Caractérisation des langages ................................................................................................... 69 5.3 Synthèse................ 72 6P ATRONS DE CONCEPTION.............................................................................................................. 72 6.1 Patron N°1 : Test du dispositif.... 73 6.2 Patron N°2 : Préférence du canal le moins occupé.................................................................. 76 6.3 Patron N°3 : Adaptabilité des modalités de sortie ................................................................... 786.4 Patron N°4 : Modalités complémentaires et simultanées .........................................................83 7C ONCLUSION..................................................................................................................................85 CHAPITRE IV VISUALISATION D’UNE GRANDE QUANTITÉ D’INFORMATION ...............87 1E SPACES DE CONCEPTION DES INTERFACES DE VISUALISATION......................................................89 1.1 Cadre d'étude de Ed. Chi ..........................................................................................................90 1.2 Taxonomie de Leung.................................................................................................................92 1.3 Te de Shneiderman..93 1.4 Taxonomie de Bruley ................................................................................................................94 1.5 Espace de conception de Stuart Card .......................................................................................96 1.6 Synthèse : un cadre d'étude fédérateur .............................