Problèmes sparses en statistique
25
pages
Français
Documents
Le téléchargement nécessite un accès à la bibliothèque YouScribe Tout savoir sur nos offres
25
pages
Français
Documents
Le téléchargement nécessite un accès à la bibliothèque YouScribe Tout savoir sur nos offres
Mode`le line´aire et se´lection de variables
Minimisation de la normeℓ1
Quelques simulations
Discussion
Proble`mes sparses en statistique
GDR MASCOT NUM - IHP, Paris
Je´re´mie Bigot
Institut de Mathe´matiques de Toulouse, UPS
Avril 2008
`Problemes sparses en statistique Mode`le line´aire et se´lection de variables
Minimisation de la normeℓ1
Quelques simulations
Discussion
1 Mode`le line´aire et se´lection de variables
2 Minimisation de la norme ℓ1
3 Quelques simulations
4 Discussion
`Problemes sparses en statistique Mode`le line´aire et se´lection de variables
Minimisation de la normeℓ1
Quelques simulations
Discussion
Mode`le line´aire
tObservations : Y = (Y ,..., Y ) telles que1 n
∗ 2Y = Xβ +ǫ, avecǫ∼ N(0,σ I ),n
∗ pX = [X ,..., X ] matrice n× p connue, etβ ∈R vecteur de1 p
parame`tres a` estimer.
´ ´ ´Exemple : regression nonparametrique et decomposition dans une
base de Fourier
ℓj
Y = f(x )+ǫ, j = 1,..., n, x = , ou` ℓ ∈{1,..., p}j j j j j
p
p p
j∗ −i2π(k−1)x ∗j= β e +ǫ = β X +ǫ,j jk k k
k=1 k=1
j −i2π(k−1)xjavec X = e .k
Cas orthogonal : n = p et X matrice orthogonale
`Problemes sparses en statistique Mode`le line´aire et se´lection de variables
Minimisation de la normeℓ1
Quelques simulations
Discussion
De´composition en Fourier (sans bruit)
702
1.5 60
1
50
0.5
40
0
30
−0.5
20
−1
10
−1.5
−2 0
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 0 10 20 30 40 50 60 70
n = p = 128
∗Remarque : #{k ;β = 0} est petit !k
∗Le vecteurβ est dit sparse (creux) dans ce cas.
`Problemes ...
Voir
Minimisation de la normeℓ1
Quelques simulations
Discussion
Proble`mes sparses en statistique
GDR MASCOT NUM - IHP, Paris
Je´re´mie Bigot
Institut de Mathe´matiques de Toulouse, UPS
Avril 2008
`Problemes sparses en statistique Mode`le line´aire et se´lection de variables
Minimisation de la normeℓ1
Quelques simulations
Discussion
1 Mode`le line´aire et se´lection de variables
2 Minimisation de la norme ℓ1
3 Quelques simulations
4 Discussion
`Problemes sparses en statistique Mode`le line´aire et se´lection de variables
Minimisation de la normeℓ1
Quelques simulations
Discussion
Mode`le line´aire
tObservations : Y = (Y ,..., Y ) telles que1 n
∗ 2Y = Xβ +ǫ, avecǫ∼ N(0,σ I ),n
∗ pX = [X ,..., X ] matrice n× p connue, etβ ∈R vecteur de1 p
parame`tres a` estimer.
´ ´ ´Exemple : regression nonparametrique et decomposition dans une
base de Fourier
ℓj
Y = f(x )+ǫ, j = 1,..., n, x = , ou` ℓ ∈{1,..., p}j j j j j
p
p p
j∗ −i2π(k−1)x ∗j= β e +ǫ = β X +ǫ,j jk k k
k=1 k=1
j −i2π(k−1)xjavec X = e .k
Cas orthogonal : n = p et X matrice orthogonale
`Problemes sparses en statistique Mode`le line´aire et se´lection de variables
Minimisation de la normeℓ1
Quelques simulations
Discussion
De´composition en Fourier (sans bruit)
702
1.5 60
1
50
0.5
40
0
30
−0.5
20
−1
10
−1.5
−2 0
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 0 10 20 30 40 50 60 70
n = p = 128
∗Remarque : #{k ;β = 0} est petit !k
∗Le vecteurβ est dit sparse (creux) dans ce cas.
`Problemes ...
