Présentation opportuniste et multimodale d'informations dans ...

Numéro d’ordre : 8511 Université Paris XI Faculté des sciences d’Orsay THÈSE présentée par Christophe Jacquet pour obtenir le grade de DOCTEUR EN SCIENCES de l’Université de Paris Sud XI Orsay Spécialité : INFORMATIQUE Présentation opportuniste et multimodale d’informations dans le cadre de l’intelligence ambiante Soutenue le 14 décembre 2006 devant la commission d’examen suivante : M. Yacine Bellik, encadrant Mme Yolaine Bourda, encadrante M. Joseph Jean Mariani, examinateur M. Philippe Palanque, rapporteur M. Jean Paul Sansonnet, directeur de thèse M. Jean Vanderdonckt, rapporteurACe document a été mis en page avec le logiciel LT X2 et la classe memoir.εE Numéro de révision du document : 228. Fichier PDF généré le 26 janvier 2007.Remerciements Je tiens à remercier : Yacine Bellik et Yolaine Bourda, mes deux encadrants de thèse, qui m’ont guidé et conseillé au quotidien. Yacine m’a notamment fait découvrir le domaine de la communication homme- machine multimodale, et Yolaine m’a apporté son éclairage sur les aspects liés à la représen- tation des connaissances. Jean-PaulSansonnet, mondirecteurdethèse, responsabledugroupeArchitectureetModèles pour l’Interaction (AMI) du LIMSI, pour ses conseils, son inventivité, sa grande culture scientifique, et pour ses apports toujours originaux à nos discussions. Joseph Mariani, directeur de recherche CNRS, ancien directeur du LIMSI, ancien directeur du département Technologies de l’Information et de la Communication du ministère de la recherche, pour s’être intéressé à mes travaux et avoir accepté de faire partie du jury de thèse. Philippe Palanque, professeur en informatique à l’université de Toulouse 3 (Paul Sabatier), chercheur à l’IRIT (Institut de Recherche en Informatique de Toulouse) où il est responsable de l’équipe LIIHS (Logiciels Interactifs et Interaction Homme-Système), pour avoir accepté d’être rapporteur de ce travail. Jean Vanderdonckt, professeur en informatique à l’université catholique de Louvain, direc- teur du Laboratoire belge d’Interaction Homme-Machine (BCHI), pour avoir accepté d’être rapporteur de ce travail. Tous les membres du Département d’Informatique et du Centre de Ressources Informatiques de Supélec, pour leur bonne humeur, leur soutien et les discussions fructueuses que nous avons eues sur des sujets divers. En particulier, l’aide du technicien, Gilbert Dahan, m’a été précieuse pour la réalisation des circuits imprimés du système de badges présenté en annexe C. Les personnes qui m’ont accueilli au LIMSI, et tout spécialement les membres du groupe AMI, qui m’ont permis d’évoluer dans un environnement scientifique très riche et diversifié. iiiÀ Séverine, à ma famille, à mes amis.Table des matières Table des matières v 1 Introduction 1 1.1 Motivations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1.2 Objectifs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 1.3 Structure du mémoire . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 1.4 Collaboration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 I État de l’art 5 2 Techniques des interactions homme-machine 7 2.1 Modèles d’architecture logicielle . . . . . . . . . . . . . . . . . . . . . . . . . . 7 2.2 Multimodalité . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11 2.2.1 Définitions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11 2.2.2 Taxonomie des modalités . . . . . . . . . . . . . . . . . . . . . . . . . 12 2.2.3 Relations entre modalités . . . . . . . . . . . . . . . . . . . . . . . . . 16 2.2.3.1 Propriétés CARE . . . . . . . . . . . . . . . . . . . . . . . . 16 2.2.3.2 Multimodalité exclusive . . . . . . . . . . . . . . . . . . . . . 17 2.2.4 Élaboration d’une présentation multimodale . . . . . . . . . . . . . . . 18 2.2.4.1 Sélection des modalités . . . . . . . . . . . . . . . . . . . . . 18 2.2.4.2 Instanciation des modalités . . . . . . . . . . . . . . . . . . . 19 2.2.4.3 Sélection des dispositifs . . . . . . . . . . . . . . . . . . . . . 20 2.3 Prise en compte des handicaps sensoriels . . . . . . . . . . . . . . . . . . . . . 20 vvi 2.3.1 Importance du handicap . . . . . . . . . . . . . . . . . . . . . . . . . . 20 2.3.2 Handicap visuel . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 2.3.3 Handicap auditif . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22 2.3.4 Conclusion : importance des handicaps sensoriels . . . . . . . . . . . . 23 2.4 Vers l’intelligence ambiante . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23 2.5 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27 3 Le contexte : caractéristiques et accès 29 3.1 Définition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29 3.2 La localisation : une composante majeure du contexte . . . . . . . . . . . . . 31 3.2.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31 3.2.2 Triangulation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33 3.2.3 Détection de proximité . . . . . . . . . . . . . . . . . . . . . . . . . . . 36 3.2.3.1 Infrarouges, ultrasons et réseaux radio . . . . . . . . . . . . . 36 3.2.3.2 Systèmes RFID . . . . . . . . . . . . . . . . . . . . . . . . . 39 3.2.4 Reconnaissance d’empreintes . . . . . . . . . . . . . . . . . . . . . . . 40 3.2.5 Analyse de scènes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41 3.2.6 Navigation à l’estime . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42 3.2.6.1 Odométrie et podométrie . . . . . . . . . . . . . . . . . . . . 43 3.2.6.2 Centrales inertielles . . . . . . . . . . . . . . . . . . . . . . . 44 3.2.7 Récapitulatif . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44 3.2.8 Amélioration des résultats par des méthodes mathématiques . . . . . 44 3.2.8.1 Recalage sur une carte . . . . . . . . . . . . . . . . . . . . . 44 3.2.8.2 Localisation markovienne . . . . . . . . . . . . . . . . . . . . 46 3.2.8.3 Localisation Monte-Carlo . . . . . . . . . . . . . . . . . . . . 48 3.2.9 Combinaison de plusieurs techniques . . . . . . . . . . . . . . . . . . . 50 3.3 Applications contextuelles . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51 3.4 Plates-formes d’accès au contexte . . . . . . . . . . . . . . . . . . . . . . . . . 53 3.4.1 Plates-formes existantes . . . . . . . . . . . . . . . . . . . . . . . . . . 54TABLE DES MATIÈRES vii 3.4.1.1 Approches de type « tableau noir » . . . . . . . . . . . . . . 54 3.4.1.2 Plates-formes à composants . . . . . . . . . . . . . . . . . . . 57 3.4.2 Notre proposition de plate-forme . . . . . . . . . . . . . . . . . . . . . 60 3.4.2.1 Modèle et plate-forme . . . . . . . . . . . . . . . . . . . . . . 61 3.4.2.2 Composants et typage . . . . . . . . . . . . . . . . . . . . . . 62 3.4.2.3 Ruche d’objets . . . . . . . . . . . . . . . . . . . . . . . . . . 64 3.4.2.4 Solutions technologiques . . . . . . . . . . . . . . . . . . . . 65 3.4.2.5 Conclusion sur notre plate-forme . . . . . . . . . . . . . . . . 67 3.5 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68 II Le modèle 69 4 Motivations 71 4.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71 4.2 Problèmes à traiter . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73 4.2.1 Mise en contexte dynamique . . . . . . . . . . . . . . . . . . . . . . . 73 4.2.1.1 Mobilité des utilisateurs . . . . . . . . . . . . . . . . . . . . . 73 4.2.1.2 Mobilité des dispositifs de présentation . . . . . . . . . . . . 74 4.2.1.3 Accrochage sémantique entre informations . . . . . . . . . . 76 4.2.1.4 Priorités entre informations . . . . . . . . . . . . . . . . . . . 77 4.2.2 Différences entre utilisateurs . . . . . . . . . . . . . . . . . . . . . . . 77 4.2.2.1 Identification des différences . . . . . . . . . . . . . . . . . . 77 4.2.2.2 Multimodalité . . . . . . . . . . . . . . . . . . . . . . . . . . 79 4.2.2.3 Priorités entre utilisateurs . . . . . . . . . . . . . . . . . . . 80 4.2.3 Aspects relatifs à la vie privée . . . . . . . . . . . . . . . . . . . . . . . 81 4.3 Conclusion : problèmes retenus dans ce travail . . . . . . . . . . . . . . . . . . 81 5 Le modèle KUP 83 5.1 Information (Knowledge), Utilisateur et dispositif de Présentation . . . . . . 83 5.2 Proximité . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86viii 5.2.1 Espace, positions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86 5.2.2 Espace perceptuel . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87 5.2.3 Espace de rayonnement . . . . . . . . . . . . . . . . . . . . . . . . . . 90 5.2.4 Récapitulatif sur les espaces perceptuels et de rayonnement . . . . . . 92 5.2.5 Cas des sources d’information . . . . . . . . . . . . . . . . . . . . . . . 93 5.3 Unités sémantiques . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 96 5.3.1 Définition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 96 5.3.2 Contenu concret des u.s. . . . . . . . . . . . . . . . . . . . . . . . . . . 96 5.3.3 Métadonnées . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97 5.4 Un système opportuniste pour la présentation d’informations . . . . . . . . . 99 5.4.1 Fonctionnement global . . . . . . . . . . . . . . . . . . . . . . . . . . . 99 5.4.2 Précisions sur les interactions entre entités logicielles . . . . . . . . . . 101 5.5 Modèle à agents . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103 5.5.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103 5.5.2 Caractéristiques des agents . . . . . . . . . . . . . . . . . . . . . . . . 104 5.5.3 Retour sur la structure du modèle . . . . . . . . . . . . . . . . . . . . 106 5.6 Exemples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .