Thèse

ACADÉMIED’AIX-MARSEILLE UNIVERSITÉD’AVIGNONETDESPAYSDEVAUCLUSE THÈSE présentée à l’Université d’Avignon et des Pays de Vaucluse pour obtenir le diplôme de DOCTORAT SPÉCIALITÉ : Informatique École Doctorale 166 I2S « Mathématiques et Informatique» Laboratoire d’Informatique (EA 4128) Reconnaissance automatique de la parole guidée par des transcriptions a priori par Benjamin LECOUTEUX Soutenue publiquement le 5 décembre 2008 devant un jury composé de : M. François YVON Professeur, LIMSI, Paris 11, France Président, rapporteur M. Jan CERNOCKY Pr, Université de Brno, République Tchèque Rapporteur M. Renato DE MORI Professeur, LIA, Avignon, France Examinateur M. Yannick ESTÈVE Maître de Conférences, LIUM, Le Mans, France M. Jean-François BONASTRE Professeur, LIA, Avignon, France Directeur de thèse M. Georges LINARÈS Maître de Conférences, LIA, Avignon, France Co-Encadrant Laboratoire d'Informatique Laboratoire d’Informatique d’Avignon Université d'Avignon2Remerciements Finalement, ces trois années de thèse sont passées extrêmement vite. Quatre an- nées auparavant, je n’aurai pas imaginé me lancer dans ce long et passionnant travail. Mon intérêt pour l’informatique s’est principalement développé au cours de mes an- nées d’études, du deug au master, au sein de l’IUP GMI d’Avignon. Mes balbutiements en reconnaissance automatique de la parole se sont faits au cours de mon stage de maî- trise, sous la direction de Georges LINARES ; ce domaine qui me paraissait si mystique m’a immédiatement passionné. J’ai eu la chance de travailler avec l’équipe parole du LIA, qui m’a beaucoup apporté tant dans la connaissance que sur le plan humain. Je tiens particulièrement à remercier Jean-François BONASTRE et Georges LINARES qui sont les instigateurs de mon sujet de thèse et qui m’ont soutenu tout au long de ce tra- vail. Jean-François a dirigé ma thèse et m’a aidé dans toutes les démarches relatives à celle-ci. Georges l’a encadrée au long des trois années ; il a su habilement me remotiver dans les passages à vide, et m’a fait partager énormément de connaissances et d’expé- riences. Je remercie également Pascal NOCERA, Driss MATROUF, Frédéric BECHET, Benoît FAVRE, Dominique MASSONIE qui, au sein du laboratoire, ont été patients vis- à-vis de mes nombreuses interrogations. Je remercie M. François YVON et M. Yan Cernocky d’avoir accepté d’être les rap- porteurs de ma thèse, mais également pour leurs corrections et remarques pertinentes vis-à-vis de mon document. Je remercie également les membres de mon jury : Yannick ESTEVE et Rénato De MORI. Yannick ESTEVE et Guillaume GRAVIER m’ont apporté une précieuse aide lors de mes deux dernières années de thèse, dans le cadre de nos travaux sur la combinaison de systèmes en partenariat avec les laboratoires du LIUM et de l’IRISA. Un grand merci également à l’ensemble des thésards et personnels avec qui j’ai partagé ces trois années (dans le désordre) : Nicolas, Laurianne, Nathalie, Loïc, Co- rinne, Frédéric D., Christoph L., Christophe S., Zac, Philou, Fabrice, Anthony, Thierry S., Pierre J., Marc, Jean-Pierre, Mickaël, Claire, Juliette, Rémy, Marie-Jean, Stanislas, Eric, Dominique S., Alexandre, William, Cathy, Gilles, Vladimir, Nimaan, Hugo, Raphaël. Je tiens aussi à remercier mes proches Cécile, Christine et Claude, ma sœur, qui m’ont apporté leur soutien au cours de ces trois dernières années et qui m’ont supporté dans les moments de stress. 34Résumé L’utilisation des systèmes de reconnaissance automatique de la parole nécessite des conditions d’utilisation contraintes pour que ces derniers obtiennent des résultats convenables. Dans de nombreuses situations, des informations auxiliaires aux flux au- dio sont disponibles. Le travail de cette thèse s’articule autour des approches permet- tant d’exploiter ces transcriptions a priori disponibles. Ces informations se retrouvent dans de nombreuses situations : les pièces de théâtre avec les scripts des acteurs, les films accompagnés de sous-titres ou de leur scénario, les flashes d’information asso- ciés aux prompts des journalistes, les résumés d’émissions radio... Ces informations annexes sont de qualité variable, mais nous montrerons comment ces dernières peuvent être utilisées afin d’améliorer le décodage d’un SRAP. Ce document est divisé en deux axes liés par l’utilisation de transcriptions a priori au sein d’un SRAP : la première partie présente une méthode originale permettant d’ex- ploiter des transcriptions a priori manuelles, et de les intégrer directement au cœur d’un SRAP. Nous proposons une méthode permettant de guider efficacement le système de reconnaissance à l’aide d’informations auxiliaires. Nous étendons notre stratégie à de larges corpus dénués temporelles. La seconde partie de nos travaux est axée sur la combinaison de SRAP. Nous proposons une combinaison de SRAP basée sur le décodage guidé : les transcriptions a priori guidant un SRAP principal sont fournies par des systèmes auxiliaires. Les travaux présentés proposent d’utiliser efficacement une information auxiliaire au sein d’un SRAP. Le décodage guidé par des transcriptions manuelles permet d’amé- liorer sensiblement la qualité du décodage ainsi que la qualité de la transcription a priori. Par ailleurs, les stratégies de combinaison proposées sont originales et obtiennent d’excellents résultats par rapport aux méthodes existantes à l’état de l’art. 5Abstract Robustness in speech recognition refers to the need to maintain high recognition accuracies even when the quality of the input speech is degraded. In the last decade, some papers proposed to use relevant meta-data in order to enhance the recognition process. Nevertheless, in many cases, an imperfect a priori transcript can be associa- ted to the speech signal : movie subtitles, scenarios and theatrical plays, summaries and radio broadcast. This thesis addresses the issue of using such imperfect transcripts for improving the performance figures of automatic speech recognition (ASR) systems. Unfortunately, these a priori transcripts seldom correspond to the exact word utterances and suffer from a lack of temporal information. In spite of their varying quality, we will show how to use them to improve ASR systems. In the first part of the document we propose to integrate the imperfect transcripts inside the ASR search algorithm. We propose a method that allows us to drive an auto- matic speech recognition system by using prompts or subtitles. This driven decoding al- gorithm relies on an on-demand synchronization and on the linguistic rescoring of ASR hypotheses. In order to handle transcript excerpts, we suggest a method for extracting segments in large corpora. The second part presents the Driven Decoding Algorithm (DDA) approach in combining several speech recognition (ASR) systems : it consists in guiding the search algorithm of a primary ASR system by the one-best hypotheses of auxiliary systems. Our work suggests using auxiliary information directly inside an ASR system. The driven decoding algorithm enhances the baseline system and improves the a priori transcription. Moreover, the new combination schemes based on generalized-DDA si- gnificantly outperform state of the art combinations. 6Table des matières Résumé 5 Abstract 6 Introduction 11 I Principes des SRAP Markoviens 15 1 Définitions, modèles et algorithmes des systèmes de reconnaissance Marko- viens 17 1.1 Fonctionnement général d’un SRAP . . . . . . . . . . . . . . . . . . . . . 18 1.2 Modèles et paramètres acoustiques . . . . . . . . . . . . . . . . . . . . . . 18 1.2.1 Modèles de Markov Cachés (MMC) . . . . . . . . . . . . . . . . . 19 1.2.2 Apprentissage et adaptation des modèles acoustiques . . . . . . . 21 1.3 Modèles de langage n-grammes . . . . . . . . . . . . . . . . . . . . . . . . 25 1.3.1 Estimation des modèles de langage . . . . . . . . . . . . . . . . . 25 1.3.2 Évaluation des de . . . . . . . . . . . . . . . . . 26 1.4 Algorithmes et stratégies de décodage . . . . . . . . . . . . . . . . . . . . 27 1.4.1 Décodage avec extension dynamique du graphe . . . . . . . . . . 27 1.4.2 Recherche synchrone basée sur un arbre réentrant . . . . . . . . . 28 1.4.3cheone basée sur des arbres synchrones . . . . . . . 28 1.4.4 Recherche asynchrone à pile . . . . . . . . . . . . . . . . . . . . . 28 1.4.5 Décodages multi-passes . . . . . . . . . . . . . . . . . . . . . . . . 30 1.5 Graphes de décodage . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30 1.5.1 Les réseaux de confusion . . . . . . . . . . . . . . . . . . . . . . . 30 1.5.2 Décodage par fWER . . . . . . . . . . . . . . . . . . . . . . . . . . 30 1.5.3 Probabilités a posteriori . . . . . . . . . . . . . . . . . . . . . . . . . 33 1.5.4 Les mesures de confiance . . . . . . . . . . . . . . . . . . . . . . . 34 1.6 Évaluation d’un système de reconnaissance automatique de la parole . . 36 II Exploitation de transcriptionsapriori 39 2 État de l’art : Exploiter des transcriptionsapriori 41 72.1 Qualité des prompts ou des sous-titres . . . . . . . . . . . . . . . . . . . . 42 2.2 Problèmes de synchronisation et alignement . . . . . . . . . . . . . . . . 42 2.3 Méthodes d’alignement . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43 2.3.1 DTW, dérivés et améliorations . . . . . . . . . . . . . . . . . . . . 43 2.3.2 Alignement de segments audio sur transcriptions parfaites . . . . 44 2.3.3 de sur imparfaites . . 45 2.3.4 Exploitation de sous-titres . . . . . . . . . . . . . . . . . . . . . . . 45 2.3.5 Correction de transcriptions manuelles . . . . . . . . . . . . . . . 48 2.3.6 Alignement de longs segments imparfaits . . . . . . . . . . . . . . 49 2.3.7 de segments très . . . . . . . . . . . . . . . 51 2.4 Points d’ancrage et segmentation . . . . . . . . . . . . . . . . . . . . . . . 51 2.4.1 Recherche d’information basée sur des clusters . . . . . . . . . . . 53 2.5 Adaptation des systèmes de SRAP via des transcriptions a priori . . . . . 54 2.6 Synthèse . . . . . . . . . . . . . . . .