cours-modelisation
10
pages
Français
Documents
Le téléchargement nécessite un accès à la bibliothèque YouScribe Tout savoir sur nos offres
10
pages
Français
Documents
Le téléchargement nécessite un accès à la bibliothèque YouScribe Tout savoir sur nos offres
Chapter 4Rappels sur les chaˆınes de Markov `aespace d’´etat finiSoit(Ω,F,P)unespace deprobabilit´e. Onappelle processus (en tempsdiscret)unecollection devariables al´eatoires (X ) d´efinies sur (Ω,F,P)et a` valeurs dans un mˆeme espace S, appel´en n∈Nespace d’´etat. On interpr`ete (X ) comme l’´evolution au cours du temps d’une certainen n∈Ngrandeur al´eatoire.B Exemple: (X ) v.a.i.id: ce cas n’est pas passionnant en tant que processus, puisqu’iln n∈Nn’y a aucune d´ependance entre ce qui se passe au temps n et ce qui se passe au temps n+1.BExemple: (X ) marche al´eatoire surunegrille: a`chaque pas, on choisit la direction dansn n∈Nlaquelle on avance de fac¸on ´equiprobable. Ici, X d´epend `a la fois de la position pr´ec´edenten+1X et d’un certain al´ea: c’est un cas typique de chaˆıne de Markov .n4.1 D´efinitionsSoit S un ensemble fini, de cardinal k≥ 2, dont les ´el´ements sont not´es s ,...,s .1 k4.1.1 Chaˆıne de Markov (homog`ene)On dit que la suite de variables al´eatoires (X ) est une chaˆıne de Markov a` valeurs dans Sn n∈Nsi et seulement si1. (X ) est un processus `a valeur dans S.n n∈N2. (Propri´et´e de Markov) La position X `a l’instant n+1 ne d´epend des positions pass´eesn+1X ,...,X que par la derni`ere position X . Autrement dit, pour tout n∈N, pour tout0 n nn+2(i ,...,i )∈S , on a0 n+1P(X =i |X =i ,X =i ,...,X =i ) =P(X =i |X =i ).n+1 n+1 0 0 1 1 n n n+1 n+1 n n3. (Homog´en´eit´e) Pour tout n∈N, pour tous i,j ∈S,P(X =j|X =i) =P(X =j|X =i) ...
Voir
Publié par
Langue
Français
Chapter
4
Rappels sur les chaˆınes espaced’e´tatfini
de
Markov
`a
Soit (Ω,F,Pnesp)ueproacedil´tabibpaep.enOellprocessus(en temps discret) une collection de variablesal´eatoires(Xn)n∈NinfieusseΩr(´d,F,Pemsemneˆnausrudspace`aetleva)Sepel´,ap espaced’e´tat.Oninterpr`ete(Xn)n∈Nocuadsrumetu’dspmeom´el’luvoontiuncecertaine grandeural´eatoire.
BExemple:(Xn)n∈Nv.a.i.id: ce cas n’est pas passionnant en tant que processus, puisqu’il n’yaaucuned´ependanceentrecequisepasseautempsnet ce qui se passe au tempsn+ 1.
BExemple:(Xn)n∈Nsanquepachanchoas,oalidsitioidnertcle:`grilruneresutaiolae´creham laquelleonavancedefa¸cone´quiprobable.Ici,Xn+1ladesipoonti´eprde´cetnede´epdna`alofsi Xn.vokraMedenıˆahctenu’dc:e’´laeiaanectruedeypiqcaststun
4.1
D´efinitions
SoitSun ensemblefini, de cardinalk≥me´lstneltnoe´sees2,dntsot´nos1, . . . , sk.
4.1.1
ChaˆınedeMarkov(homoge`ne)
Onditquelasuitedevariablesal´eatoires(Xn)n∈Nest unerkovahcenıˆaMeds`avaleursdanS si et seulement si
1. (Xn)n∈Nurleva`ausssceropnutseadsnS.
2.)rkovdeMaet´erp´iP(orLa positionXn+1`i’latansntnss´eestioisnapdnedpssoed1npe´e+ X0, . . . , Xnerni`erequeparladopisitnoXndit, pour tout. Autrement n∈N, pour tout n+2 (i0, . . . , in+1)∈S, on a
P(Xn+1=in+1|X0=i0, X1=i1, . . . , Xn=in) =P(Xn+1=in+1|Xn=in).
3.´en´eit´e)H(mogoPour toutn∈N, pour tousi, j∈S,
P(Xn+1=j|Xn=i) =P(X1=j|X0=i) =pi,j.
34
La matriceP= (pi,j)1≤i≤k,1≤j≤kest lamatrice de transitionnı.ehcˆaedalmentcileitfaOnvo quePest unematrice stochastiqueeocsessusstneicffid`atestoueeqirest,’contpositifsounul que les sommes des coefficients sur chacune des lignes vaut 1. Autrement dit, les deux conditions suivantes sont satisfaites:
1.∀i∈[1..k]∀j∈[1..k]pi,j≥0.
k X 2.∀i∈[1..k]pi,j= 1. j=1 Danstoutelasuite,unechaıˆnedeMarkovseratoujoursimplicitementneemog`ho`tvaerlaue dans un ensembleSfiniedstnepourra,quitte`arnemoemlrsee´´lme.ruoPpmisefiilno,rS, supposer queS= [1..k].
BExemple:uesrrahcUmnasareauhplaced´euqeemmo’dstrusdssele.onhaAcpeunagnt pas,illanceunepi`ecee´quilibr´eeetvaausommetsuivantdanslesenstrigonom´etriquesipile sort,etsuivantdanslesensantitrigonome´triquesinon.Lasuitedespositionsdumarcheurest unechaıˆnedeMarkov`avaleurdansl’ensembledessommetsdupentagone.
♣Exercice 1: pentagone.
4.1.2
Ecrirelamatricedetransitiondelamarcheale´atoiresurlessommetsdu
D´efinitionalgorithmiqueetfonctiondemise`ajour
SoitPune matrice de transition surS= [1..k]. u∈]0,1[, latcoidnmesi`ejauorassoci´eeonf:
Onde´finit,pourtousi, j∈S, pour tout
j−1j X X Φ(i, u) =j⇔pi,l≤u < pi,l. l=0l=0
SoitUaviruenlae´baelredeatoiunri[f0orlmoeisu,1]. Pour tousi, j∈S, ! j−1jj j −1 X X X X P(Φ(i, U) =j) =Ppi,l≤U < pi,l=pi,l−pi,l=pi,j. l=0l=0l=0l=0 X Remarque:Soiti∈SitinednoraP.fie´d´efixn,itiortcialamarsndetepi,jδjest une j∈S probabilit´esurS, qui donne la loi de la position de la chaˆıne de Markov partant deis`erpa un pas. Ainsi, Φ(i, U), quandUformiunidelooire0[serutuestae´laelbairaven,1], n’est rien d’autre que la simulation standard de cette loi. Proposition 4.1.1SoitX0adsnravenu´laelbaie`irtoearseualavSet(Un)n≥1des vaiid de loi uniforme sur[0,1],´dnienepntdadeesX0dne´nfitiaprre´ucrrenceunprocessus.O(Xn)n∈Nen posant, pour toutn∈N Xn+1= Φ(Xn, Un+1).
Alors(Xn)n∈Nest une chaˆıne de Markov de matrice de transitionP.
35
De´monstration: 1. CommePest une matrice de transition surS, le processus (Xn)n∈Nase`t valeurs dansS. 2. On constate que pour construireXn, on utiliseX0et lesUipour 1≤i≤n. Soit n+2 n∈Net (i0, . . . , in+1)∈S. CommeUn+1dentadnepe´dnitseX0, . . . , Xn, on a
= = =
P(X0=i0, X1=i1X. . , , . n=in, Xn+1=in+1) P(X0=i0, X1=i1X. . , , . n=in,Φ(in, Un+1) =in+1) P(X0=i0, X1=i1. . , , . Xn=in)P(Φ(in, Un+1) =in+1) P(X0=i0, X1=i1. . , X, . n=in)pin,in+1.
Un calcul analogue montre queP(Xn=in, Xn+1=in+1) =P(Xn=in)pin,in+1. Onend´eduitalorsque
P(Xn+1=in+1|X0=i0, X1=i1X, . . . , n=in) =P(Xn+1=in+1|Xn=in) =pin,in+1,
cequidonne`alafoislaproprie´te´deMarkov,l’homog´en´eit´eetlamatricede transitionP.
Remarque:rtnoeuqeere`mno,meˆenimaDamel
P(X0=i0, X1=i1, . . . , Xn=in, Xn+1=in+1) =P(X0=i0)pi0,i1. . . pin,in+1.
Remarque:ptsanuqieu!aLcnofnoitmide`aseurjoesn’
♦En pratique:Cetteprop’dnuitevıˆenceahrkovdeMa,dnoitisodenuennoioitfin´enaerltna et donne aussi le moyen de la simuler. Si on se donne une matrice de transitionP, on construit unefonctionΦdemisea`jourassoci´ee,onsimuleunesuite(Un)n≥1des vaiid de loi uniforme sur [0,1]. Pour simulerXn:
•on simuleX0,
•pouri∈[0..n−1], on poseXi+1= Φ(Xi, Ui+1),
•on afficheXn.
Cetteme´thodemarchetoujours.Maissouvent,lesparticularit´esdelachaıˆnedeMarkova` simuler permettent de trouver un algorithme bien plus simple.
♣Exercice 2:Ecrire une fonctiony=suivant(x,u),fndiocton`ejamesiuolruoprcheamar al´eatoiresurlessommetsdupentagone.Simuleralorsetrepre´sentergraphiquementplusieurs trajectoiresdelachaıˆnedeMarkovpartantdusommet1.
36
