MAITRISE de MATHEMATIQUES STATISTIQUE

´MAITRISE de MATHEMATIQUES
STATISTIQUE
M. Gradinaru
2002-20052
Avant propos
Ces notes sont une r´edaction du cours oral en amphith´eˆatre. Il s’agit d’un document
de travail et pas d’un ouvrage ; il est destin´e `a la distribution aux ´etudiants de Maˆıtrise
de Math´ematiques de l’Universit´e de Nancy. Certaines parties de ces notes sont inspir´ees
de notes de cours (et je remercie vivement leurs auteurs) r´edig´ees par F. Castell et B.
Roynette. Je remercie B. Roynette pour la lecture attentive des formes pr´eliminaires du
manuscrit.
Vandœuvre-l`es-Nancy, janvier 2002 - mai 2005 M. GradinaruTable des mati`eres
1 Estimation des param`etres 1
´1.1 Echantillon . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.2 Familles param´etriques . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
1.3 Distribution empirique . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.4 M´ethodes d’estimation ponctuelle . . . . . . . . . . . . . . . . . . . . . . . 13
1.4.1 M´ethode des moments . . . . . . . . . . . . . . . . . . . . . . . . . 13
1.4.2 M´ethode du maximum de vraisemblance . . . . . . . . . . . . . . . 16
1.5 Comparaison des estimateurs. Efficacit´e. In´egalit´e de Cramer-Rao . . . . . 25
1.5.1 Param`etre scalaire . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
1.5.2 Param`etre vectoriel . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
1.6 Statistiques exhaustives . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
1.6.1 Rappels sur les lois conditionnelles . . . . . . . . . . . . . . . . . . 33
1.6.2 Statistiques exhaustives . . . . . . . . . . . . . . . . . . . . . . . . 34
1.6.3 Statistique exhaustive minimale . . . . . . . . . . . . . . . . . . . . 38
1.7 Construction d’estimateurs efficaces . . . . . . . . . . . . . . . . . . . . . . 40
1.7.1 Am´eliorer un estimateur . . . . . . . . . . . . . . . . . . . . . . . . 40
1.7.2 Statistiques compl`etes . . . . . . . . . . . . . . . . . . . . . . . . . 42
1.8 Familles exponentielles . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
1.9 In´egalit´e de Cramer-Rao et mod`ele exponentiel . . . . . . . . . . . . . . . 51
1.10 Estimation par intervalle (ou r´egion) de confiance . . . . . . . . . . . . . . 55
1.11 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
1.11.1 Lois de probabilit´e . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
1.11.2 Convergence des variables al´eatoires r´eelles . . . . . . . . . . . . . . 63
1.11.3 Statistiques d’ordre. Information de Kullback-Leibler. . . . . . . . . 65
1.11.4 Estimateurs : construction, propri´et´es asymptotiques, R-efficacit´e . 66
1.11.5 Statistiques exhaustives compl`etes, th´eor`eme de Lehmann-Scheff´e,
mod`eles exponentiels . . . . . . . . . . . . . . . . . . . . . . . . . . 68
1.11.6 Intervalles de confiance . . . . . . . . . . . . . . . . . . . . . . . . . 70
2 Th´eorie des tests d’hypoth`ese 73
2.1 Introduction et d´efinitions g´en´erales . . . . . . . . . . . . . . . . . . . . . . 73
2.2 Comparaison des tests . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75
2.2.1 Tester une hypoth`ese simple contre une alternative simple . . . . . 75
3`4 TABLE DES MATIERES
2.2.2 Tests u.p.p. pour certains hypoth`eses composites . . . . . . . . . . . 79
2.2.3 Tests u.p.p.s.b. pour certains hypoth`eses composites . . . . . . . . . 86
2.3 Tester les param`etres des lois gaussiennes . . . . . . . . . . . . . . . . . . . 89
2.4 M´ethode de construction des tests . . . . . . . . . . . . . . . . . . . . . . . 91
2.5 Tests et intervalles de confiance . . . . . . . . . . . . . . . . . . . . . . . . 97
2.6 Mod`ele lin´eaire gaussien . . . . . . . . . . . . . . . . . . . . . . . . . . . . 98
2.7 Tests non param´etriques d’ajustement . . . . . . . . . . . . . . . . . . . . 105
22.7.1 Test du χ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105
2.7.2 Test de Kolmogorov-Smirnov . . . . . . . . . . . . . . . . . . . . . 109
2.8 Tests non-param´etriques de comparaison . . . . . . . . . . . . . . . . . . . 113
2.8.1 Comparaison de deux ´echantillons ind´ependants . . . . . . . . . . . 114
2.8.2 Comparaison de deux ´echantillons appari´es . . . . . . . . . . . . . . 117
2.9 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 119
2.9.1 Tests statistiques : construire et comparer . . . . . . . . . . . . . . 119
2.9.2 Tests statistiques : mod`ele lin´eaire, tests non-param´etriques . . . . 122
3 Sujets d’examens 2002-2005 125Chapitre 1
Estimation des param`etres
´1.1 Echantillon
On associe `a une exp´erience al´eatoire une variable al´eatoire X, d´efinie sur un espace
de probabilit´e (Ω,F,P). Sans perte de g´en´eralit´e on regardera l’espace mesurable d’arriv´ee
deX, not´e (E,B(E)), muni de la probabilit´eQ loi deX. Typiquement E estR si X estX
dune variable r´eelle ouR siX est un vecteur al´eatoired-dimensionnel ;B(E) est une tribu
sur E, par exemple la tribu bor´elienne de E.
On r´ep`ete l’exp´erience dans les mˆemes conditions n fois et on observe les valeurs
obs obsx ,...,x . On regardera ces valeurs comme les valeurs des variables ind´ependantes,1 n
de mˆeme loi que X, (X ,...,X ). Les valeurs possibles de (X ,...,X ) seront not´ees1 n 1 n
(x ,...,x ). On dit que X = (X ,...,X ) est un n-´echantillon de loi Q . Il s’agit d’un1 n 1 n X
nvecteur al´eatoire `a valeurs dans E de loi donn´ee par
nY
P(X∈B) =P(X ∈B ,...,X ∈B ) = P(X ∈B ), B =B ×...×B .1 1 n n i i 1 n
i=1
Soit S une fonction mesurable de n arguments. Alors S = S(X) = S(X ,...,X ) est1 n
obs obsappel´ee statistique. Lorsqu’on effectue l’exp´erience on observe s =S(x ).
La loi Q est enti`erement ou partiellement inconnue. Dans ce chapitre on ´etudieraX
l’estimation des param`etres inconnus. Ainsi siθ est un param`etre dont la loiQ d´epende,X
on cherche une statistique fonction d’´echantillon
∗ ∗θ =θ (X).n
obs obs obs ∗ obsLorsqu’on observe l’´echantillon x = (x ,...,x ), la valeur θ (x ) est une estima-1 n n
tion et devrait ˆetre assez proche de la vraie valeur du param`etre θ, lorsque n est assez
∗grand. On verra plus loin quand cela est possible. La statistique θ (X) s’appelle esti-n
mateur du param`etreθ. Un estimateur est une r`egle de construction d’estimations. Nous
∗appellerons estimateurθ les seules statistiques destin´ees `a remplacer le param`etre inconnun
θ.
1`2 CHAPITRE 1. ESTIMATION DES PARAMETRES
Souvent, dans un probl`eme d’estimation, on sp´ecifie l’ensemble Θ des valeurs possibles
du param`etre θ. C’est l’espace des param`etres. Aussi, dans des nombreux cas, on sait `a
l’avance que la loiQ de l’´echantillon ne peut ˆetre arbitraire, mais appartient `a une familleX
bien d´efinie de loisP.
Exemple. L’un des principaux param`etres caract´erisant la qualit´e d’un syst`eme (machine,
ampoule, ordinateur, etc) est la dur´ee de service. Mais cette dur´ee est en principe al´eatoire
et impossible `a d´eterminer `a l’avance. Il est toutefois raisonnable (si la fabrication est en
quelque sorte homog`ene) de penser que les dur´ees de service X ,X ,... sont des variables1 2
al´eatoires ind´ependantes de mˆeme loi. Il est naturel d’identifier le param`etre dur´ee de ser-
vice au nombre θ = E(X ). On veut d´eterminer la valeur de θ. On observe n syst`emes eti
obs obson trouve x ,...,x . On sait que, lorsque n→∞,1 n
nX1 p.s.¯X = X−→θ.i
n
i=1
Pnobs 1 obsIl est donc intuitif que le nombre x¯ = x soit proche de θ pour n assez grand.i=1 in
Un exemple de famille de lois estP ={E(λ) :λ> 0}, θ = 1/λ∈ Θ =]0,∞[.
1.2 Familles param´etriques
1. Distribution gaussienne sur R.
2N (m,σ ) de densit´e
2
(x−m)1 − 22σg 2(x) = √ em,σ
σ 2π
et
2X∼N (m,σ )⇔X =σG +m, avec G∼N (0, 1)
On a
2 2 2
λ σ λ 2k!λX λm+ λG 2k+1 2k
2 2E(e ) =e , E(e ) =e , E(G ) = 0, E(G ) =
kk!2
et
2 2λ σ
iλX iλm−
2E(e ) =e .
2. Distribution gaussienne multidimensionnelle. Pd
N (m,K), ou`K est une matriced×d sym´etrique positive, c’est-`a-dire telle que θK θ >d i ij ji,j=1
d0, et ou` m∈R . On a
1 ∗i<t,X> i<t,m>− t Kt
2X∼N (m,K)⇔ E(e ) =e .d
Si K est inversible, la densit´e est

1 1
∗ −1 dg (x) := √ exp − (x−m) K (x−m) , x∈R .m,K d
22(2π) detK´1.2. FAMILLES PARAMETRIQUES 3
3. Distribution gamma.
γ(p,λ), p,λ> 0 de densit´e
pλ p−1 −λxγ (x) := x e 1l ,p,λ x>0
Γ(p)
R∞ p−1 −xou` Γ(p) := x e dx.
0
Si X∼γ(p,λ), alors
p
λitXE(e ) =
λ−it
et
p p(p + 1) p2E(X) = , E(X ) = , Var(X) = .
2 2λ λ λ
4. Distribution de chi-deux.
2 ∗χ (k), ou` k∈N de densit´e
k
1 2
k x−1 −2
2 2f(x) := x e 1lx>0kΓ
2
2 2 2 k 1SiX =ξ +...+ξ , avecξ ind´ependantes de mˆeme loiN (0, 1), alorsX∼χ (k) =γ( , ).j1 k 2 2
2 2 2Si X∼χ (k) et Y∼χ (`) sont ind´ependantes alors X +Y∼χ (k +`).
∗ −1 2Si X∼N (m,K) avec K inversible, alors Q(X) :=