Analyse statistique MATH 2440

Analyse statistique MATH 2440 I. Gijbels et R. von Sachs 3e Edition, Août 2005Table des matières 1 Introduction 1 1.1 Le rôle de la statistique mathématique . . . . . . . . . . . . . . . . . . . . 1 1.2 Modélisation- estimationdes quantitéscaractéristiques dumodèle 2 1.3 Problèmes statistiques courants . . . . . . . . . . . . . . . . . . . . . . . . 6 1.4 Les grandes optiques statistiques . . . . . . . . . . . . . . . . . . . . . . . 7 1.5 Statistique - estimateur . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 1.6 Autres modèles importants . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 2 Principes d’estimation (ponctuelle) dans des modèles paramétriques 12 2.1 Méthodes pour la comparaison d’estimateurs; propriétés d’estimateurs . . 12 2.1.1 Choix d’une règle de décision . . . . . . . . . . . . . . . . . . . . . 15 2.1.2 Le risque de Bayes . . . . . . . . . . . . . . . . . . . . . . . . . . . 17 2.1.3 Le quadratique moyen . . . . . . . . . . . . . . . . . . . . . 17 2.2 Estimateurs sans biais . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18 2.3 Principes asymptotiques . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20 2.4 Les familles exponentielles . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 2.5 Les réductions admissibles . . . . . . . . . . . . . . . . . . . . . . . . . . . 25 2.6 Estimation sans biais; estimateur avec variance minimale . . . . . . . . . . 33 2.7 Les familles exponentielles et les réductions admissibles . . . . . . . . . . . 37 3 Méthode du maximum de vraisemblance 41 3.1 Principe, fonction de vraisemblance, estimateur du maximum de vraisem- blance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41 3.2 Autres exemples d’EMV : Estimation des paramètres de localisation et d’échelle. . . . . . . . . . . . . 44 3.3 Quelques propriétés théoriques de l’EMV . . . . . . . . . . . . . . . . . . . 46 3.3.1 Rapport avec les modèles exponentiels . . . . . . . . . . . . . . . . 47 3.4 Information de Fisher; Borne de Rao-Cramer . . . . . . . . . . . . . . . . 50 3.5 Propriétés asymptotiques de l’estimateur du maximum de vraisemblance . 60 3.6 Estimateurs asymptotiquement équivalents . . . . . . . . . . . . . . . . . . 65 4 Régions de confiance 69 4.1 Régions exactes, fonctions pivotales . . . . . . . . . . . . . . . . . . . . . . 69 4.2 Exemples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70 4.2.1 Intervalle de confiance pour la moyenne d’une variable aléatoire de loi normale avec variance connue . . . . . . . . . . . . . . . . . . . 71 4.2.2 Propriétés fondamentales des populations normales . . . . . . . . . 72 i4.2.3 Intervalle de confiance pour la moyenne d’une variable aléatoire de loi normale avec variance inconnue . . . . . . . . . . . . . . . . . . 74 4.2.4 Intervalle de confiance pour la variance d’une variable aléatoire de loi normale . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75 24.2.5 Région de confiance pour le paramètre („; ) d’une variable aléa- toire de loi normale . . . . . . . . . . . . . . . . . . . . . . . . . . . 75 4.3 Optimalité des régions de confiance . . . . . . . . . . . . . . . . . . . . . . 77 4.4 Régions de confiance asymptotiques . . . . . . . . . . . . . . . . . . . . . . 78 4.4.1 Exemples et application . . . . . . . . . . . . . . . . . . . . . . . . 80 5 Théorie des tests 83 5.1 Généralités et test d’une hypothèse simple . . . . . . . . . . . . . . . . . . 83 5.1.1 Définitions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83 5.1.2 Un premier exemple . . . . . . . . . . . . . . . . . . . . . . . . . . 87 5.1.3 Test d’une hypothèse simple contre une alternative simple . . . . . 87 5.2 Tests UPP et UPPS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92 5.2.1 Familles à rapport de densités monotone . . . . . . . . . . . . . . . 92 5.2.2 Tests UPP . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93 5.2.3 Tests UPP bilatéraux et point de la situation pour les tests UPP . . 95 5.2.4 Tests UPPS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97 5.2.5 Tests dans un modèle exponentiel . . . . . . . . . . . . . . . 98 5.2.6 Plusieurs exemples pour des tests UPPS . . . . . . . . . . . . . . . 100 5.2.7 Quelques aspects de la théorie des tests avec paramètres nuisibles . 101 5.3 Relation entre tests et régions de confiance . . . . . . . . . . . . . . . . . . 103 5.4 Tests du rapport de vraisemblance . . . . . . . . . . . . . . . . . . . . . . 106 25.5 Tests du ´ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107 5.5.1 Tests d’adéquation à une loi donnée . . . . . . . . . . . . . . . . . . 107 5.5.2 Problème à une famille de lois . . . . . . . . . . . . . 110 25.5.3 Exemple pour un test d’adéquation du ´ . . . . . . . . . . . . . . 111 25.5.4 Tests d’indépendance du ´ . . . . . . . . . . . . . . . . . . . . . . 111 5.6 Test de Wald et du rapport de vraisemblance . . . . . . . . . . . . . . . . . 113 Références 115 Exercices 116 E.1 Exercices sur le Chapitre 1 . . . . . . . . . . . . . . . . . . . . . . . . . . . 116 E.1.1 Modèle statistique, estimateur . . . . . . . . . . . . . . . . . . . . . 116 E.2 Exercices sur le Chapitre 2 . . . . . . . . . . . . . . . . . . . . . . . . . . . 116 E.2.1 Risque, perte, décision . . . . . . . . . . . . . . . . . . . . . . . . . 116 E.2.2 Statistique suffiante, complète, minimale, ESVM . . . . . . . . . . . 117 E.2.3 Propriétés asymptotiques . . . . . . . . . . . . . . . . . . . . . . . . 118 E.3 Exercices sur le Chapitre 3 . . . . . . . . . . . . . . . . . . . . . . . . . . . 119 E.4 sur le 4 . . . . . . . . . . . . . . . . . . . . . . . . . . . 120 E.5 Exercices sur le Chapitre 5 . . . . . . . . . . . . . . . . . . . . . . . . . . . 121Chapitre 1 Introduction 1.1 Le rôle de la statistique mathématique Un des points de vue communs entre la théorie de la probabilité et la théorie de la statistique est le fait que ces deux théories sont utiles lorsqu’on étudie des phénomènes aléatoires ou des phénomènes trop complexes pour utiliser une description déterministe. Elles utilisent toutes les deux des éléments mathématiques comme les espaces mesu- rables (›;A) et, plus particulièrement, les espaces probabilisés (›;A;P), où A dénote une tribu (ou une sigma algèbre) et P est une loi de probabilité donnée. Les phéno- mènes sont décrits à l’aide de variables aléatoires (v.a.) ou de vecteurs aléatoires (ve. a.) X = (X ;:::;X ). La loi de probabilité d’une v.a. X est donnée par P = L(X)1 k X» (L pour “loi”). Rappelons que la loi de probabilité d’une v.a X est complètement dé- notterminée via sa fonction de répartition (F (x) = P [X • x] = P[X • x]), ou via saX X 0densité de probabilité (si elle existe, avec f = F , dans le cas d’une v.a. continue),X X itXou encore via sa fonction caractéristique (’ (t) = E(e )). De la même façon la loiX de probabilité d’un vecteur aléatoire peut être spécifiée via sa fonction de répartition (F (x ;:::;x ) = P[X • x ;X • x ;:::;X • x ]), sa densité de probabilité ou saX 1 k 1 1 2 2 k k » i(t X +¢¢¢+t X1 1 k kfonction caractéristique (’ (t ;:::;t )=E(e )). Remarquons que dans le casX 1 k » d’un vecteur aléatoire toutes ces fonctions sont des fonctions de k variables. Dans la suite nous parlerons souvent uniquement de la variable aléatoire X, mais tout reste valable pour des vecteurs aléatoires. Voir [1]–[5] pour les points de la théorie de probabilité à connaître pour ce cours. Un moyen de distinguer probabilité et statistique est de remarquer que, en général, dans la théorie de probabilité la loiL(X) est donnée a priori, alors, que, dans l’analyse statistique, onveutladécouvrir–enobservanteteninterprétantlesdonnéesqu’onaobservéescomme réalisations des v. a. dans ce modèle probabiliste. Dans ce cours nous nous intéresserons à l’analyse statistique. Le but de cette analyse est de trouver (par exemple par les théories d’inférence inductives) soit la loi L(X) de X, soit seulement quelques quantités qui caractérisent cette loi (puisque, souvent, il est trop difficile de trouver toute la loi de X). Des exemples de quantités caractéristiques sont : la moyenne, la variance, la médiane, etc. De plus, on aimerait pouvoir donner des réponses à des questions pratiques posées. 1MATH 2440 2005-2006 Chapitre 1. Introduction 2 Exemples : (1). Sondage d’opinion : population Echantillon p est un pourcentage inconnu, pbest un ptage observé. Question qui se pose : peut-on apprendre quelque chose sur p en utilisant pb? (2). Nombre de pannes par jour sur un réseau d’ordinateurs. „ = nombre moyen des pannes par jour (inconnu) On prend un échantillon de 10 jours et on arrive à un estimateur x (moyenne observée). Peut-on faire de l’inférence sur „ à l’aide de x? 1.2 Modélisation statistique - estimation des quantités caractéristiques du modèle Rappelons qu’une variable aléatoire est une fonction mesurable X : (›;F;P) ¡! (X;A;P )X ! 7¡! X(!); 8 ›= l’ensemble des résultats possibles d’une expérience aléatoire>< F = une tribu associée à › où P = une probabilité sur (›;F),>: 8 X= l’ensemble des résultats possibles de X< et A= une tribu associée à X : P = la mesure image de P par X:X Rappelons aussi la définition de “X est une application mesurable” : ¡18A2A: X (A)=f! :X(!)2Ag2F:MATH 2440 2005-2006 Chapitre 1. Introduction 3 Exemple : variable aléatoire réelle univariée et multivariée (1). Cas d’une variable aléatoire réelle univariée (c’est-à dire, à valeurs dans IR) sur (›;F;P). Dans ce cas, l’ensemble total est X = IR et la tribu est donnée par A =B =la tribuIR des boréliens dans IR. k(2). Cas d’une variable aléatoire réelle k-variée (c’est-à dire, à valeurs dans IR ) sur (›;F;P). kDans ce cas, l’ensemble total estX=IR et la tribu est donnée parA=B k =la tribuIR kdes boréliens dans IR . Dans la suite, on s’intéressera uniquement à l’espace (X;A;P ), et de plus, on ne suppo-X serapasqueP est(complètement)connue.Aucontraire,onsupposeraqueP appartientX X a une