Chapitre1 001 Version Etudiant

mardi 2 janvier 2007

1Chane de Markov

1 Chane de Markov 1

1.1 Processus stochastiques

1 Chane de Markov1.1 Processus stochastiques . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11.2 Chanes de Markov . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2

1.2.1 Calculs sur les chanes de Markov . . . . . . . . . . . . . . . . . . . . . . . . . 51.2.2 Promenade au hasard sur Z . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71.2.3 Problme de la ruine du joueur . . . . . . . . . . . . . . . . . . . . . . . . . . . 81.2.4 Un modle de bonus-malus . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9

1.3 quations de Chapman-Kolmogorov . . . . . . . . . . . . . . . . . . . . . . . . . . . 101.4 Modification de la matrice de transition . . . . . . . . . . . . . . . . . . . . . . . . 141.5 Classification des tats . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 171.6 tats rcurrents et transitoires . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 201.7 Priodicit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 231.8 Promenade alatoire non symtrique sur Z . . . . . . . . . . . . . . . . . . . . . 251.9 Analyse des premiers pas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 291.10 Probabilits limites et stationnaires . . . . . . . . . . . . . . . . . . . . . . . . . . . 381.11 Application: promenade alatoire entre barrires absorbantes . . . . . 471.12 Chanes de Markov rductibles . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 541.13 Chanes de Markov temps rversible . . . . . . . . . . . . . . . . . . . . . . . . . 581.14 Temps moyen pass dans les tats transitoires . . . . . . . . . . . . . . . . . . 611.15 Application: loi de Hardy-Weinberg . . . . . . . . . . . . . . . . . . . . . . . . . . . 631.16 Rsultats vu en exercice . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68

Dernire modificationmardi 2 janvier 2007

mercredi 10 janvierO cours 2 O

1.1 Processus stochastiques

Un processus stochastique {X(t), t T} est une famille de variables alatoires X(t),Ross p83Karlin p5 o le paramtre t est lindice du processus. Lindice t peut reprsenter le temps, ou

une coordonne le long dun chemin par exemple. Ainsi, chaqueX(t) est une variablealatoire, et T est lensemble des indices du processus.

Exemple 1 X(t) peut tre:

le nombre dtudiants lUQAM au temps t; le nombre de vhicule sur une autoroute au kilomtre t.

1 Chane de Markov 2

1.2 Chanes de Markov

la taille dune population au temps t. le prix dune action au temps t.

Quand lensemble T est dnombrable, le processus est dit temps discret, alors quesi T est un intervalle de nombre rels, il est temps continu. Par exemple, T estsouvent lensemble N, R ou Z, mais il peut aussi tre R2, R3...

Exemple 2

{Xn, n = 0, 1, . . .} est temps discret; {X(t), t 0} peut tre le nombre de vhicule sur une autoroute au kilomtre

t.

Lensemble des valeurs que peut prendre le processus est lespace des tats, quelon note habituellement S. Cet ensemble peut tre fini ou infini. Les processusstochastiques se distinguent par leur ensemble dtats S, par leur ensemble dindicesT , et par la relation de dpendance entre les variables alatoires.

Exemple 3 Si nous considrons la suiteX1, X2, . . . des rsultats successifs du lancdune pice de monnaie, lensemble T est N = {1, 2, 3, . . .}, les variables alatoiresX(t) sont indpendantes et chaque X(t) a la mme loi, Bernoulli.


Considrons un processus stochastique {Xn, n = 0, 1, . . .} qui prend un nombreRoss p181Karlin p95 de valeur fini ou dnombrable. Il est pratique de dnoter lespace des tats par

lensemble des entiers non ngatifs {0, 1, 2, . . .}. On dit le processus est ltat i autemps n (ou ltape n) si Xn = i. Ltat au temps 0, cest--dire X0 est ltatinitial de la chane; il peut tre connu, ou alatoire (il a alors une distribution deprobabilit). La probabilit que le processus ltape n + 1 soit ltat j sachantquil est ltat i ltape n est appele probabilit de transition en une tape, etest dfinie comme:

Pn,n+1ij = P [Xn+1 = j | Xn = i]

Cette notation montre que la probabilit de transition dpend non seulement destats de dpart et darrive (i et j) mais aussi du temps auquel la transition se fait.Quand les probabilits de transition ne dpendent pas de n, on dit que le processusa des probabilits de transition stationnaires, ou quil est homogne. Comme leschanes de Markov que nous tudierons seront dans cette catgorie, nous noteronsPn,n+1ij = Pij , et Pij est alors la probabilit daller de i j en une tape.

1 Chane de Markov 3


Une chane de Markov est un processus stochastique o la probabilit que le proces-sus soit ltat j au temps n + 1, sachant quil est ltat i au temps n, nest pasmodifi par la connaissance du pass, cest--dire:

1 Chane de Markov 4


Dfinition 1Un processus stochastique {Xn, n = 0, 1, . . .} est une chane de Markov si pourtout n 0 et pour les tats i0, . . . , in1, i, j S,

P [Xn+1 = j|Xn = i,Xn1 = in1, . . . , X0 = i0] = P [Xn+1 = j|Xn = i]

Ainsi, la distribution conditionnelle de nimporte quel Xn+1 sachant les tats passsX0, X1, . . . , Xn1 et le prsent Xn est indpendante du pass et ne dpend que deltat prsent. En ce sens, le processus est dit sans mmoire. Les probabilits Pijsont positives ou nulles, et le processus doit faire une transition vers un autre tat;ainsi:

Pij 0, (i, j 0)jS

Pij = 1, (i = 0, 1, . . .)

On prsente les probabilits de transition sous la forme dune matrice de transitionP (aussi appele matrice stochastique, ou matrice de passage), o le terme (i, j) dela matrice P est la probabilit de transition de i j en une tape:

P =

P00 P01 P02 . . . P0j . . .P10 P11 P12 . . . P1j . . .P20 P21 P22 . . . P2j . . .... ... ... . . . ...Pi0 Pi1 Pi2 . . . Pij . . .... ... ... ... . . .

Ainsi la ime ligne de P est la distribution conditionnelle de Xn+1 sachant queXn = i. Notons que si le nombre dtats est fini, la matrice P est carre, et le nombrede lignes et de colonnes correspond au nombre dtats de la chane de Markov. Unechane de Markov, comme nous le verrons plus loin, est compltement dfinie par samatrice de transition et la distribution de X0.

Il est souvent commode dassocier un graphe la matrice de transition dune chanede Markov. Les sommets du graphe sont les tats de la chane, et les sommets i et jsont relis par des arrtes orientes tiquetes par Pij si Pij est strictement positive.Quand le nombre dtats est fini, lanalyse du graphe associ est trs utile afin decaractriser les proprits de la chane.

Exemple 4 Supposons que le temps quil fera demain ne dpend que du tempsquil fait aujourdhui, et que la mto peut ainsi tre modlise par une chane deMarkov. Supposons de plus que soit il pleut, soit il ne pleut pas. Aprs plusieurstudes, on sait que la probabilit quil pleuve demain est de p sil pleut aujourdhui,

1 Chane de Markov 5


et que la probabilit quil ne pleuve pas demain est q sil ne pleut pas aujourdhui.Construisons la matrice de transition de cette chane de Markov.

Soient les tats ={

0 il pleut1 il ne pleut pas P =

[ 0 10 p 1 p1 1 q q

]

0 1p

1 p

1 qq

1.2.1 Calculs sur les chanes de MarkovSoit pi P (X0 = i). On peut valuer nimporte quelle probabilit de la formeP [X0 = i0, X1 = i1, . . . , Xn = in] en utilisant la proprit de Markov (df. d1c) sinous connaissons la distribution de X0. Ainsi:

P [X0 = i0, X1 = i1, . . . , Xn = in]= P [Xn = in|X0 = i0, X1 = i1, . . . , Xn1 = in1]

P [X0 = i0, X1 = i1, . . . , Xn1 = in1]= P [Xn = in|Xn1 = in1]P [X0 = i0, X1 = i1, . . . , Xn1 = in1]= Pin1inP [X0 = i0, X1 = i1, . . . , Xn1 = in1]= Pin1inPin2in1P [X0 = i0, X1 = i1, . . . , Xn2 = in2]

= ...= Pin1inPin2in1 . . . Pi0i1P [X0 = i0]= Pin1inPin2in1 . . . Pi0i1pi0= pi0Pi0i1 . . . Pin2in1Pin1in

o pi0 = P [X0 = i0]. Ainsi, comme lon sy attend, la probabilit dune trajectoireparticulire i0, i1, . . . , in1, in est simplement la probabilit de partir en i0, dallerde i0 vers i1, puis de i1 vers i2, etc.

1 Chane de Markov 6


Exemple 5 Illustrons le calcul de quelques simples probabilits avec la chanede Markov {Xn} ayant la matrice de transition P qui suit. Calculons (a) P [X2 =1, X3 = 1|X1 = 0] et (b) P [X4 = 1, X5 = 1|X3 = 0].

P =

0 1 2

0 0.1 0.2 0.71 0.9 0.1 02 0.1 0.8 0.1

(a) P [X2 = 1, X3 = 1|X1 = 0].Pour arriver au rsultat intuitif, on peut utiliser le fait que:

P (A B|C) = P (A|B C)P (B|C)Ainsi, on a

P [X2 =1, X3 = 1|X1 = 0]= P [X3 = 1|X2 = 1 X1 = 0] P [X2 = 1|X1 = 0]= P [X3 = 1|X2 = 1] P [X2 = 1|X1 = 0]= P11 P01 = P01 P11 = 0.2 0.1 = 0.02

(b) On a aussi (absence de mmoire) P [X4 = 1, X5 = 1|X3 = 0] = P01 P11Si le systme que lon tente de modliser nest pas markovien, il est parfois possiblede le rendre markovien. Revisitons lexemple 4 (p. 4).

Exemple 6 Supposons que le temps quil fait aujourdhui dpende du temps quila fait les deux derniers jours. Ainsi, supposons que si il pleut aujourdhui et si ilpleuvait hier il pleuvra demain avec probabilit x, si il pleut aujourdhui mais il nepleuvait pas hier, il pleuvra demain avec probabilit z, si il ne pleut pas aujourdhuiet il ne pleuvait pas hier alors il pleuvra demain avec probabilit w, et enfin si il nepleut pas aujourdhui et il pleuvait hier, il pleuvra demain avec probabilit y.

Si le processus considr est ltat du temps demain en fonction du temps quil faitaujourdhui, il ne sagit pas dune chane de Markov. Par contre on peut transformerle problme en posant que ltat du processus un temps donn est dtermin parltat du temps dans les deux derniers jours. Ainsi notons un tat par Xi1Xi ouXi est le temps quil fait le jour i. On a ainsi 4 tats:

S = {PP, P P , PP, P P}Notons quentre les tats Xi1Xi et XiXi+1 il y a un jour en commun. Ainsi, parexemple, ltat PP un lundi signifie quil pleut dimanche et lundi, et ltat PP unetransition plus tard signifie quil pleut lundi mais pas mardi.

1 Chane de Markov 7


PP

P PPP

PP

x

1x

y

1y

z

1z

w

1w

P =

PP PP PP P P

PP x 1 x 0 0PP 0 0 y 1 yPP z 1 z 0 0P P 0 0 w 1 w

Notons que de pour transformer un processus en chane de Markov par cette m-thode, il nest pas forcment ncessaire de doubler ou tripler le nombre des tats; ilarrive quun seul tat supplmentaire soit suffisant.

1.2.2 Promenade au hasard sur ZSoit une chane de Markov dont lespace des tats S est Z, cest--dire S = 0,1,2 . . .,de matrice de transition P = (Pij) telle que, pour tout (i, j) dans Z2,

Pij ={p si j = i+ 1,1 p si j = i 1,0 sinon.

et p est un rel entre 0 et 1. Une telle chane de Markov est une promenade alatoiresur Z. . Le graphe associ cette chane de Markov est le suivant:

i2 i1 i i+1 i+2

p p p p p

1p1p1p1p1p

1 Chane de Markov 8


Si p = 1/2, alors la promenade alatoire est dite symtrique, sinon elle est diteasymtrique. Lexemple classique de promenade alatoire symtrique est lanalogieavec un individu saoul marchant sur le bord dun trottoir, et faisant un pas en avantou en arrire avec la mme probabilit.

1.2.3 Problme de la ruine du joueurSupposons que deux joueurs A et B jouent un jeu o chaque partie du jeu lejoueur A a une probabilit p de gagner et q = 1 p de perdre (0 < p < 1). Quandil perd, il perd $ 1 quil donne B, et quand il gagne, il gagne $ 1 que B lui donne.La fortune totale des deux joueurs est constante de $ N . Le jeu sarrte quand undes deux joueurs est ruin.

On modlise ce problme en prenant pour tat de la chane de Markov, Xn, lecapital de A aprs la nme partie (n 0). Lensemble des tats est donc S ={0, 1, 2, . . . , N 1, N}. Les probabilits de transition sont alors:

Pi,i+1 = p = 1 Pi,i1, i = 1, 2, . . . , N 1P00 = PNN = 1

Le graphe de cette chane de Markov est donc:

0 1 2 3 N2 N1 N1q

p

1

p p p p

qqqq

La matrice de transition de cette chane de Markov est:

P =

1 0 0 . . . 0 0 0q 0 p . . . 0 0 00 q 0 . . . 0 0 0... ... ... . . . ... ... ...0 0 0 . . . 0 p 00 0 0 . . . q 0 p0 0 0 . . . 0 0 1

1 Chane de Markov 9


Ltat 0 correspond la ruine de A, donc une victoire de B, et ltat N correspond une victoire de A, donc la ruine de B. Remarquez quune fois que le systme entredans lun des tats 0 ou N , il ne peut en sortir: de tels tats sont dits absorbants.

Ce problme est une marche alatoire avec un nombre dtats finis et des barriresabsorbantes.

lundi 13 janvierO cours 3 O

1.2.4 Un modle de bonus-malusUne compagnie dassurance a un systme de bonus-malus pour calculer les primesdassurance de ses clients. La prime de chaque client est valu selon le niveau derisque du client. Il existe un nombre infini de ces niveaux; le niveau 0 correspond la prime la plus basse, et plus le niveau augmente, plus la prime augmente. Leniveau de risque dun client est valu chaque anne. Si un client est actuellementau niveau i (i 0), on sait que le nombre daccident dans une anne est une loi dePoisson de paramtre i. Un client passe du niveau i au niveau i + j (j 1) sil aeu j accidents durant lanne. Si son niveau de risque est i > 1 et sil na eu aucunaccident, son niveau de risque baisse de 1. Notons que la probabilit quun client auniveau i est j accidents durant une anne est:

Pi(j) = ei i

j

j! , i = 0, 1, 2, . . . , j = 0, 1, 2, . . .

Dfinissons une chane de Markov {Xn} pour dcrire ce problme, o ltat de lachane est le niveau de risque du client. Lespace des tats est S = {0, 1, 2, . . .}.

0 1 2 3 4P1(0) P2(0) P3(0) P4(0)

P0(1)

P0(2)P0(3)

P0(4)

P1(1)P1(2)

P1(3)

P2(1)

P2(2)

P3(1)

1

1 Chane de Markov 10

1.3 quations de Chapman-Kolmogorov

P =

P0(0) P0(1) P0(2) P0(3) . . .P1(0) 0 P1(1) P1(2) . . .

0 P2(0) 0 P2(1) . . .0 0 P3(0) 0 . . .... ... ... ... . . .


Soit P (n)ij la probabilit de transition en n tapes, cest--dire la probabilit, partantRoss p185Karlin p101 de ltat i ltape k dtre ltat j ltape n+ k.

P(n)ij = P [Xn+k = j|Xk = i], n 0, j 0

Si n = 1, on a P 1ij = Pij . Les quations de Chapman-Kolmogorov permettent dedcomposer ces probabilits de transition. Notons tout dabord que

P(0)ij =

{ 1 si i = j0 sinon

Thorme 1quations de Chapman-Kolomogorov. n,m 0, i, j S

P(n+m)ij =

kS

P(n)ik P

(m)kj .

La probabilit daller de i j en n+m tapes est donc la probabilit daller de i k en n tapes et de k j en m tapes en sommant sur toutes les valeurs possiblesde k.

Preuve

P(n+m)ij = P [Xn+m = j|X0 = i]

=kS

P [Xn+m = j,Xn = k|X0 = i]

=kS

P [Xn+m = j|Xn = k,X0 = i]P [Xn = k|X0 = i] (car P (AB|C)=P (A|BC)P (B|C))

=kS

P [Xn+m = j|Xn = k]P [Xn = k|X0 = i] (par Markov)

=kS

P(m)kj P

(n)ik =

kS

P(n)ik P

(m)kj



Soit P(n) la matrice de transition en n tapes, cest--dire la matrice le terme dontle terme (i, j) est la probabilit daller de i j en n tapes.

Thorme 2Corrolaire des quations de Chapman-Kolomogorov. n,m 0

P(n+m) = P(n) P(m).P(n) = Pn.

Preuve Le fait que P(n+m) = P(n) P(m) est une consquence directe duthorme prcdent. En effet, le terme (i, j) de la matrice P(n+m), P (n+m)ijscrit comme

kS P

(n)ik P

(m)kj , qui est en fait le produit scalaire de la ligne i

de la matrice P(n) par la colonne j de la matrice P(m):

P(n+m) = P(n) P(m)

j

i P(n+m)ij

=i

j

...

...

...

Pour la seconde partie de la preuve, on fait une dmonstration par induction. Onsait dj que P(1) = P = P1.

P(2) = P(1+1) = P(1) P(1) = P P = P2.Supposons que P(n1) = Pn1:

P(n) = P(n1+1) = P(n1) P(1) = Pn1 P1 = Pn

Afin dallger la notation nous pourrons utiliser Pnij au lieu de P(n)ij ; notez cependant

que la notation standard est celle que lon a employe jusqu prsent, et que P (n)ijnest pas le produit n fois de Pij .

Exemple 7 Revisitons lexemple 4 (p. 4). Supposons que p = 0.8 et q = 0.9.Cherchons (a) la probabilit quil pleuve dans 2 jours sachant quil pleut aujourdhui,et (b) la probabilit quil pleuve dans 4 jours sachant quil pleut aujourdhui. Alorsla matrice de transition est:



Soient les tats ={

0 il pleut1 il ne pleut pas P =

[ 0 10 0.8 0.21 0.1 0.9

]

0 10.8 0.90.2

0.1

(a) On cherche:

P [Xn+2 = 0|Xn = 0] = P (2)00 =

k{0,1}P0kPk0 = P00P00 + P01P10

= 0.8 0.8 + 0.2 0.1 = 0.66

(b) Comme on cherche P (4)00 , il est plus simple dutiliser le calcul matriciel. Ainsi:

P(2) = P2 =[0.8 0.20.1 0.9

] [0.8 0.20.1 0.9

]=[0.66 0.340.17 0.83

]P(4) = P4 = P2 P2 =

[0.66 0.340.17 0.83

] [0.66 0.340.17 0.83

]=[0.493 0.5070.253 0.747

]

videmment, on aurait pu dcomposer le calcul par tous les chemins possibles, ce quiest quivalent, mais un peu plus long. Ainsi, comme il y a 8 chemins (ou trajectoires)de longueur 4 de 0 0, on a:



0

0

0

0

0

0

0

0

0

1

0

1

0

1

0

1

0

1

0

1

0

1

0

JJ+1 J+2 J+3 J+4

P00

P01

P00

P01

P10

P11

P00

P01

P10

P11

P00

P01

P10

P11

P00

P10

P00

P10

P00

P10

P00

P10

Ainsi, P 400 = P00P00P00P00 + P01P10P00P00+ P00P01P10P00 + P00P00P01P10+ P01P11P10P00 + P00P01P11P10+ P01P11P11P10 + P01P10P01P10.

On peut sintresser des probabilits non conditionnelles, par exemple la probabi-lit quil pleuve dans 4 jours. Il faut alors utiliser la distribution de probabilit deltat initial. Ainsi, si pi = P [X0 = i], et si

iS pi = 1:

P [Xn = j] =iS

P [Xn = j|X0 = i]P [X0 = i]

=iS

piPnij

Exemple 8 Si nous revenons lexemple prcdent, quelle est la probabilit quilpleuve dans 4 jours si p0 = 0.1 et p1 = 0.9 ?

P [X4 = 0] = p0P 400 + p1P 410= 0.1 0.492 + 0.9 0.253 = 0.2769


1.4 Modification de la matrice de transition

1.4 Modification de la matrice de transitionOn sintresse savoir si une chane de Markov passe, ou ne passe pas dans unensemble dtats A. cette fin, on peut utiliser une simple mthode numrative(longue), ou on peut modifier la matrice de transition et rendre les tats de lensembleA absorbants:

i A, P [Xn+1 = j|Xn = i] ={

1 si i = j0 si i 6= j

Ainsi, ds que le processus entre dans un tat de A, il y reste. Comme la chane deMarkov originale et la chane modifie ont mme probabilit de transition tant queA nest pas atteint, la probabilit que la chane soit dans un tat de A au temps nest la probabilit que la chane modifie soit dans un tat de A au temps n. Illustronsceci avec deux exemples.

Exemple 9 Considrons la chane de Markov suivante sur lensemble dtatsS = {0, 1, 2}, avec la matrice de transition P suivante, et cherchons la probabilitdaller de ltat 0 2 en n transitions sans passer par ltat 1, pour n = 1, 2 et 3.

P =

1/4 1/2 1/41/2 0 1/21/2 0 1/2

0 1

2

1/4 1/2

1/4 1/2

1/21/2

1/2

En utilisant une mthode numrative, on peut nnumrer tous les chemins pourse rendre ltat 2 en partant de ltat 0 sans passer par ltat 1; dnotons cetteprobabilit Pn02

n = 1 : P 102 = P02 =14

n = 2 : P 202 = P00P02 + P02P22

= 14 14 +

14

12 =

316

n = 3 : P 302 = P00P00P02 + P00P02P22 + P02P22P22 + P02P20P02

= 14 14

14 +

14

14

12 +

14

12

12 +

14

12

14

= 964



En appliquant la mthode propose dans cette section, on dfinit A comme tantltat 1: A = {1}. Ainsi, nous obtenons une matrice de transition modifie que nousnoterons Q.

P =

1/4 1/2 1/41/2 0 1/21/2 0 1/2

Q = 1/4 1/2 1/40 1 01/2 0 1/2

Il ne nous reste qu calculer Q(2) et Q(3):

Q(2) =

3/16 5/8 3/160 1 03/8 1/4 3/8

Q(3) = 9/64 23/32 9/640 1 09/32 7/16 9/32

et nous retrouvons bien les mmes rsultats: P (2)02 = Q

(2)02 = 3/16, et P

(3)02 = Q

(3)02 =

9/64

0 1

2

1/4 1/2

1/4

1/2

1/21/2

1/2

0 1

2

1/41/2

1/4

1

1/2

1/2

Que reprsente Q(3)01 ?

mercredi 17 sep-tembreO cours 4 OConsidrons un autre exemple.

Exemple 10 Un retrait reoit $ 2 au dbut de chaque mois. Le montant dargentquil a besoin de dpenser durant un mois est indpendant du montant quil possde.De plus, il dpense $ i avec probabilit pi (i = 1, . . . , 4 et

i pi = 1). Si le retrait

a plus de trois $ la fin du mois, il donne le surplus son fils. Si aprs avoir reuson paiement au dbut du mois, il a un capital de $ 5, quelle est la probabilit queson capital soit $ 1 ou moins nimporte quel moment durant les quatre prochainsmois ? (a) Dterminer les tats de la chane de Markov. (b) Dterminez la matricede transition. Chercher la probabilit en question si pi = 1/4 pour i = 1, . . . , 4.



(a) Dterminons les tats de la chane. Soit Xn le capital du retrait la fin du moisn. Le plus simple est de considrer 3 tats:

Xn =

1 si le capital est $ 12 si le capital est $ 23 si le capital est $ 3(b) Comme on cherche savoir si le capital atteint ltat 1, on rend ltat 1 absorbant,cest--dire que lon dfinit notre ensemble A comme A = {1}. Ainsi on a queQ11 = 1, Q12 = 0 et Q13 = 0.

Q21: Il a $ 2 et il gagne $ 2, il a donc $ 4. Il atteint $ 1 ou $ 0 la fin du mois il dpense 3 ou 4. Q21 = p3 + p4Q22: Il a $ 2 et il gagne $ 2, il a donc $ 4. Il atteint $ 2 la fin du mois ildpense 2. Q22 = p2Q23: Il a $ 2 et il gagne $ 2, il a donc $ 4. Il atteint $ 3 la fin du mois ildpense 1. Q23 = p1Q31: Il a $ 3 et il gagne $ 2, il a donc $ 5. Il atteint $ 1 la fin du mois ildpense 4. Q31 = p4Q32: Il a $ 3 et il gagne $ 2, il a donc $ 5. Il atteint $ 2 la fin du mois ildpense 3. Q32 = p3Q33: Il a $ 3 et il gagne $ 2, il a donc $ 5. Il atteint $ 3 la fin du mois il dpense 2 ou 1 (car sil dpense $ 1, il donnera aussi $ 1 son fils).Q33 = p1 + p2

Ainsi la matrice de transition est:

Q =

1 2 3

1 1 0 02 p3 + p4 p2 p13 p4 p3 p1 + p2

On cherche Q(4)3,1.(c) Application numrique; supposons que pi = 1/4 pour i = 1, . . . , 4, Alors Q est:

Q =

1 2 3

1 1 0 02 1/2 1/4 1/43 1/4 1/4 1/2

et Q4 =

1 2 31 1 0 02 222/256 13/256 21/2563 201/256 21/256 34/256

et on cherche Q(4)3,1 = 201/256 0.7852.


1.5 Classification des tats


On peut classifier les tats dune chane de Markov en classes, et ces classes sontRoss p189Karlin p235 dtermins par la matrice de transition de la chane.



Dfinition 2On dit que ltat j est accessible de ltat i, sil existe un entier n 0 tel queP(n)ij > 0. On note alors i j.

Dans certains manuels, on trouve aussi la notation i j pour laccessibilit. Donc sii j, alors il est possible que le processus atteigne ventuellement ltat j. Notonsque si i9 j (ltat j nest pas accessible de ltat i), alors:

P [atteindre ltat j|partant de i] = P[ n=0

(Xn = j)|X0 = i]

n=0

P [Xn = j|X0 = i]

=n=0

Pnij = 0

Notez que la relation de la dfinition prcdente est valide dans lautre sens: ainsi,sil existe en entier n 6= 0 tel que P (n)ij > 0 alors i j.

Dfinition 3On dit que des tats i et j communiquent si i j et j i . On note alors i j.

Notez que les manuels utilisant la notation i j pour laccessibilit, utilisent alorsla notation i! j pour la communication entre deux tats. Par ailleurs, de par ladfinition, i i, car P 0ii = P [X0 = i|X0 = i] = 1.

Thorme 3La relation de communication entre tats est une relation dquivalence, elle est:a. rflexive: i i.b. symtrique: si i j, alors j i.c. transitive: si i j et j k, alors i k.

Preuve Les proprits de rflexivit et de symtrie sont videntes, montronsla proprit de transitivit. Si i j et j k, alors il existe deux entiers n,mtel que P (n)ij > 0 et P

(m)jk > 0. Par les quations de Chapman-Kolmogorov

(thorme d1c), on a:



Pm+nik =rS

PnirPmrk PnijPmjk > 0

De la mme faon, si i j et j k, il existe des entiers n et m tel quePn

ji > 0 et Pm

kj > 0, donc

Pm+n

ki =rS

Pn

krPmri Pn

kjP

mji > 0

La relation dquivalence permet de partager les tats dune chane de Markov enclasses dquivalence, disjointes et non vides, ou dans chaque classe tous les tatscommuniquent, et les tats de deux classes diffrentes ne communiquent pas.

Dfinition 4Si une chane de Markov est telle quelle ne possde quune seule classe, cest--dire que tous les tats communiquent entre eux, la chane est dite irrductible.

Exemple 11 Considrons la chane de Markov dont lensemble des tats estS = {0, 1, 2} de matrice de transition:

P =

0 1 2

0 3/4 1/4 01 1/8 3/4 1/82 0 1/4 3/4

0 1 2

On voit que 0 1, 1 2 et 0 2 donc tous les tats communiquent. Cette chanede Markov est irrductible.

Exemple 12 Considrons la chane de Markov dont lensemble des tats estS = {0, 1, 2, 3} de matrice de transition:

P =

0 1 2 3

0 0 1 0 01 3/4 1/4 0 02 1/8 0 7/8 03 0 0 1/9 8/9

0

1 2

3

1

1/4

3/4

1/8

7/8

1/9

8/9


1.6 tats rcurrents et transitoires

On voit que 0 1, 09 2 et 29 3; les tats 2 et 3 sont inaccessibles des tats 0 et1, ltat 3 est inaccessible de ltat 2. On a donc trois classes:

{0, 1}, {2}, {3}.

1.6 tats rcurrents et transitoiresPour une chane de Markov {Xn, n 0}, soit Tj le temps datteinte de ltat j partir de la premire transition, cest--dire:

Tj inf{n 1 : Xn = j}Ainsi, Tj est le temps o lon atteint ltat j pour la premire fois.

Dfinition 5Pour des tats i et j, et n 1, on dfinit:

f(n)ij P [Tj = n|X0 = i]

De plus, soit:

fij P [Tj



Ainsi la probabilit que le processus soit ltat i exactement n fois est la probabilitque le processus retourne ltat i (n 1) fois et quil ny retourne pas ensuite,donc fn1ii (1 fii). Donc si i est transitoire, en partant de i, le nombre de foisque le processus sera ltat i suit une distribution gomtrique de moyenne finie1/(1 fii) (voir df. d1c p. 70 ).

Thorme 4Ltat i est rcurrent, si et seulement si, en partant de i, le nombre moyen depriodes de temps que le processus est dans ltat i est infini.

Preuve

i. rcurrent retour infini: le processus revient 1 fois, puis 2, ...ii. retour infini rcurrent: si le nombre moyen de visites est infini, il ne

peut tre transitoire, donc ltat est rcurrent.

Soit In ={

1 si Xn = i,0 si Xn 6= i.

Alors

n=0 In reprsente le nombre de fois que le processus visite ltat i. Et

E

[ n=0

In

]=

n=0

E[In|X0 = i]

=n=0

P [Xn = i|X0 = i]

=n=0

P(n)ii

On a donc dmontr le thorme suivant.

Thorme 5 Un tat i est rcurrent si

n=1

P(n)ii = +

transitoire sin=1

P(n)ii < +

Thorme 6Si une chane de Markov a un nombre fini dtats, elle a au moins un tat rcurrent.



Preuve Supposons que la chane de Markov possde N tats, 0, 1, . . . , N .Supposons que tous ces tats soient transitoires. Aprs un certain temps, disonst0, ltat 0 ne sera plus visit. Puis ltat 1 ne sera plus visit aprs le tempst1, et ainsi de suite pour les autres tats 2, . . . , N . Aprs un temps fini T =max{t0, t1, . . . , tn}, aucun tat ne sera visit, mais le processus doit pourtant setrouver dans un tat (quelconque); on a donc contradiction avec lhypothse dedpart. Une chane de Markov avec un nombre fini dtats doit donc possderau moins un tat rcurrent.

Remarquons que, comme nous le verrons par la suite, une chane de Markov ayant unnombre infini dtats peut avoir des tats tous transitoires. Considrons par exemplela chane ayant pour espace dtats S = Z, et dont les probabilits de transition sontpi,i+1 = 1 et pij = 0 si j 6= i+ 1.

i2 i1 i i+1 i+2

1 1 1 1 1

Thorme 7La rcurrence est une proprit de classe: si i j et si i est rcurrent, alors j estaussi rcurrent.

Preuve

Comme i j, il existe k et m tel que P (k)ij > 0 et P (m)ji > 0.

P(m+n+k)jj =

kS

P(m)jk P

(n+k)kj =

kS

P(m)jk

lS

P(n)kl P

(k)lj

=kS

lS

P(m)jk P

(n)kl P

(k)lj , en prenant k = l = i

P (m)ji P (n)ii P (k)ijEn sommant sur n,

n=1

P(m+n+k)jj P (m)ji P (k)ij

n=1

P(n)ii = +

car P (m)ji et P(n)ij sont positifs par hypothse, et

n=1 P

(n)ii est infini car ltat

i est rcurrent, donc par le thorme 5 ltat j est aussi rcurrent.


1.7 Priodicit

Comme tous les tats dune chane de Markov finie ne peuvent tre transitoires, siune chane est irrductible (une seule classe, tous les tats communiquent entre eux),alors tous les tats sont rcurrents.

Exemple 13 Considrons la chane de Markov dont lensemble des tats estS = {0, 1, 2, 3} de matrice de transition:

P =

0 1 2 3

0 0 0 1/2 1/21 1 0 0 02 0 1 0 03 0 1 0 0

0

32

2

On voit que 0 1, 2, 3, 1 0, 2, 3, 2 0, 1, 3 et 3 0, 1, 2. Ainsi, tous les tats communiquent, la chane est irrductible, et comme la chane est finie, tous les tats sont rcurrents.

Exemple 14 Considrons la chane de Markov dont lensemble des tats estS = {0, 1, 2, 3, 4} de matrice de transition:

P =

0 1 2 3 40 1/2 1/2 0 0 01 1/2 1/2 0 0 02 0 0 1/2 1/2 03 0 0 1/2 1/2 04 1/4 1/4 0 0 1/2

0

1

23

4

On voit que 0 1, et 1 0, mais 0, 19 2, 3, 4, donc 0 1; 2 3, et 3 2, mais2, 39 0, 1, 4, donc 2 3; 4 0, 1 mais et 0, 19 4. On a donc 3 classes:

{0, 1} rcurrente , {2, 3} rcurrente , {4} transitoire.

lundi 22 janvierO cours 5 O

1.7 PriodicitLtat i est un tat de retour si il existe un n 1 pour lequel Pnii > 0. Si pour ltatRoss p200

Karlin p237i, pour tout n 1, P (n)ii = 0, alors ltat i est un tat de non-retour.On introduit ici la notion de priode.


1.7 Priodicit

Dfinition 7Soit i un tat de retour. On appelle priode de ltat i le p.g.c.d. des tous lesentiers n 1 pour lesquels P (n)ii > 0, et on la note d(i). Si d(i) 2, ltat i estdit priodique; sinon, si d(i) = 1, ltat i est dit apriodique. Si i est un tat denon-retour, on pose d(i) = +.

La proprit de priodicit est une proprit de classe:

Thorme 8Si i est priodique de priode d finie et si i j (j 6= i), alors j est aussi priodiquede priode d.

Remarque. Si ltat i a priode d(i), alors il existe un entier N dpendant de i telque pour tous les entiers n N ,

Pnd(i)ii > 0

Exemple 15 Considrons une chane de Markov dcrite par le graphe ci-dessous,ou toutes les arrtes du graphe rfrent des probabilits de transition strictementpositives. Determinez les priodes des tats.

2

10

On a que P (2)00 > 0, P(3)00 > 0, et le p.g.c.d. de 2 et 3 est 1. Donc ltat 0 est aprio-

dique. Comme la chane est irrductible, les tats 1 et 2 sont aussi apriodiques.Remarquons quen partant de ltat 2, on peut y revenir en 3, 5, 6 , 7, 8 , 9...transitions, donc ici pour tout n 5, Pnd(2)22 = Pn22 > 0.Exemple 16 Considrons la chane de Markov dont lensemble des tats estS = {0, 1, 2, 3} de matrice de transition P. Determinez les priodes des tats.

P =

0 1 2 3

0 0 0 1/2 1/21 1 0 0 02 0 1 0 03 0 1 0 0

3 2

10


1.8 Promenade alatoire non symtrique sur Z

On voit que tous les tats communiquent, la chane est donc irrductible. En partantde ltat 0, on y revient en passant par le chemin 0 2 1 0 ou le chemin0 3 1 0, ainsi P (3)00 > 0, et il impossible de se rendre de 0 0 en 2 coups parexemple. On a donc P (3n)00 > 0 (n 1), cest--dire que lon reviendra ltat 0 en3, 6, 9 transitions. La chane est donc de priode 3.


Soit une chane de Markov dont lespace des tats S est Z = {. . . ,2,1, 0,+1,+2, . . .},Ross p194Karlin p242 de matrice de transition P = (Pij) telle que, pour tout (i, j) dans Z2,

Pij ={p si j = i+ 11 p si j = i 10 sinon

et p est un rel entre 0 et 1. On a vu quune telle chane de Markov est une promenadealatoire sur Z. Le graphe associ cette chane de Markov est le suivant:

i2 i1 i i+1 i+2

p p p p p

1p1p1p1p1p

On peut remarquer que lon a quune seule classe car tous les tats communiquent.Ainsi, ils sont tous rcurrents ou tous transitoires. Afin de trouver sils sont rcurrentsou transitoires, prenons un tat, disons ltat 0, et cherchons si

n=1 P

(n)00 est finie

ou infinie.

En partant de ltat 0, on y revient en 2, 4, 6, . . . transitions, donc P (2n1)00 = 0(n 1). La chane est priodique de priode 2. Ainsi, en partant de 0, on y revienten 2n transitions; mais cela veut dire que le processus a fait n pas droite et n pas gauche. Chaque pas droite se fait avec probabilit p et chaque pas gauche avecprobabilit 1 p. Ainsi, P (2n)00 est binomiale: lexpression est

binomiale nest pasgniale. corriger.

P(2n)00 =

(2nn

)pn(1 p)n

Illustrons ce dernier point en prenant par exemple 2n = 4. Les chemins pour revenir ltat 0 sont:



DDGG avec prob. p p (1 p) (1 p)DGDG p (1 p) p (1 p)DGGD p (1 p) (1 p) pGGDD (1 p) (1 p) p pGDGD (1 p) p (1 p) pGDDG (1 p) p p (1 p)

et on a 6 chemins, cest--dire:(42

)= 4!(4 2)!2! =

4 3 22 2 = 6.

Revenons notre problme. On a

P(2n)00 =

(2nn

)pn(1 p)n = (2n)!

n!(2n n)! pn(1 p)n

= (2n)!n!n! p

n(1 p)n

On peut utiliser la formule de Stirling:

n! nnn en2pi, o an bn si lim

nanbn

= 1

P(2n)00

(2n)(2n)2n e2n

2pi

nnn en

2pinn

n en

2pi

pn(1 p)n

= 4n

npipn(1 p)n

= [4p(1 p)]n

pin

Notons que si an bn, alors

n an <

n bn < . Donc

n=1 P(n)00 conver-

gera si et seulement sin=1

[4p(1 p)]npin

converge.

Deux cas sont considrer:

Si p 6= 12 : on a 4p(1 p) < 1. Cette srie peut tre majore par une sriegomtrique, donc elle converge:

n=1 P

(2n)00



1pi

1

x12 = 1

pi

[2x

12]n=1

=

Ainsi la srie diverge, donc, daprs le thorme d5c ltat 0 est rcurrent, etcomme lon a quune seule classe, tous les tats sont rcurrents. Chaque tatsera visit une infinit de fois avec probabilit 1.

Intuitivement, si p > 12 la promenade tendance aller vers +, si p < 12 lapromenade tendance aller vers . Si p = 12 , la promenade reviendra sonpoint de dpart, de l, elle y reviendra encore, et encore... Une autre faon de voirles choses est de considrer un nombre de lancs infini dune pice de monnaie; sielle est quilibre, il y aura galit entre le nombre de piles et de faces encore etencore, ternellement !;-)

Considrons maintenant une promenade alatoire symtrique en deux dimensions,cest dire sur un plan au lieu dune droite comme prcdemment. Lespace des tatsest alors S = Z2. Cette promenade peut tre dcrite par le graphe et les probabilitsde transition qui suivent. Soit (i, j) un point de Z2.

14 = P(i,j)(i+1,j)= P(i,j)(i,j+1)= P(i,j)(i,j1)= P(i,j)(i1,j)

1/41/4

1/41/4

Il est clair que tous les tats communiquent dans cette chane de Markov. Posons0 = (0, 0), et cherchons P (n)00 . La chane est encore priodique de priode 2. Aprs2n pas, le processus sera revenu son point de dpart si il a fait i pas gauche, ipas droite, n i pas en haut et n i pas en bas (0 i n). Chacun de ces passe fait avec probabilit 1/4. Ainsi la probabilit cherche est multinomiale (cf. df 2p. 70). Ici, on fait 2n expriences.



P(2n)00 =

ni=0

(2n)!i!i!(n i)!(n i)!

(14

)2n=

ni=0

(2n)!n!n!

n!(n i)!i!

n!(n i)!i!

(14

)2n=(14

)2n(2nn

) ni=0

(n

i

)(n

n i)

=(14

)2n(2nn

)(2nn

)?=(14

)2n(2nn

)2?: pour voir que

ni=0

(ni

)( nni)=(2nn

), il faut imaginer un groupe de n garons et

de n filles. Il y a(2nn

)faons de choisir n personnes; il y a

(ni

)( nni)faons de choisir

i garons et n i filles.De plus, en utilisant la formule de Stirling (n! nnn en2pi):(

2nn

)= (2n)!

n!n! =4npin

(voir rsultat prcdent)

donc P (2n)00 (14

)2n 42npin

= 1pin

Par ailleurs, la srie

n=1 P(2n)00 , cest--dire

n=1

1pin diverge (cest une srie har-

monique). Donc ltat 0 est rcurrent, de mme que tous les autres tats.

Considrons maintenant une promenade alatoire dans Z3. Ainsi, les probabilits detransition pour un point (i, j, k) de Z3 sont de la forme:

P(i,j,k)(i,j,k+1) =16 .

En faisant un raisonnement similaire celui fait pour les promenades alatoires dansZ et Z2, et en notant ltat 0 par 0 = (0, 0, 0), la formule de Stirling donne:

P(2n)00

33

2pi 32n 32

et la srie est convergente. Ainsi, dans une promenade alatoire dans Z3 tous lestats sont transitoires: il est tout fait possible quun point (i, j, k) particulier nesoit jamais visit. Notons que lon observe une rsultat similaire pour Z4, Z5 etc.


1.9 Analyse des premiers pas

Figure 1. llustrations de promenades alatoires en une et deux dimensions.mercredi 24 janvierO cours 6 O


Beaucoup de problmes de chanes de Markov peuvent tre rsolus par une techniqueKarkinp116 plutt simple, appele analyse des premiers pas. Brivement, il sagit de conditionner

sur les vnements possibles la fin dune transition.

Considrons une chane de Markov {Xn} dont lensemble des tats est S = {0, 1, 2}de matrice de transition P, o p, q, r > 0 et p+ q + r = 1:

P =

0 1 2

0 1 0 01 p q r2 0 0 1

2

1

0

1

q

1

r

p

Si le processus commence ltat 1, il peut y rester un certain temps, mais il va finirpar tre absorb dans les tats 0 ou 1. Nous allons rpondre deux questions:

Dans quel tat, 0 ou 2, le processus sera absorb?Combien de temps cela prendra t-il pour rejoindre un de ces tats?

Soit T = min{n 0 tel que Xn = 0 ou Xn = 2} le temps dabsorption du processus.Notons



u = P [XT = 0|X0 = 1]v = E[T |X0 = 1]

Supposons pour le moment que le processus est ltat 1 au temps 0. Au temps 1,le processus peut tre dans un des trois tats 0, 1 ou 2. Considrons donc les troiscas X1 = 0, X1 = 1 et X1 = 2, qui se produisent respectivement avec probabilit p,q et r.

Si X1 = 0 (avec prob. p), alors T = 1 et XT = 0. Si X1 = 2 (avec prob. r), alors T = 1 et XT = 2. Si X1 = 1 (avec prob. q), alors le processus retourne ltat 1, et le problme

se rpte comme il a commenc.

Ainsi,

P [XT = 0|X1 = 0] = 1 P [XT = 0|X1 = 2] = 0 P [XT = 0|X1 = 1] = u En effet, P [XT = 0|X1 = 1] = P [XT = 0|X0 = 1] = u

Alors, u = P [XT = 0|X0 = 1]

=2

k=0P [XT = 0, X1 = k|X0 = 1]

=2

k=0P [XT = 0|X0 = 1, X1 = k]P [X1 = k|X0 = 1]

=2

k=0P [XT = 0|X1 = k]P [X1 = k|X0 = 1]

= 1 p+ u q + 0 rdonc u = p+ qu u = p1 q =

p

p+ r

Notons que p/(p + r) est la probabilit conditionnelle que le processus fasse unetransition vers ltat 0, sachant quune transition vers les tats 0 ou 2 se produise.

Comme lon connat u, la probabilit dabsorption dans ltat 0, il est facile dedduire la probabilit dabsorption dans ltat 2:

P [XT = 2|X0 = 1] = 1 P [XT = 0|X0 = 1] = 1 u = 1 pp+ r =

r

p+ r



Intressons-nous maintenant au temps moyen v pour labsorption; encore en analy-sant la premire tape de la chane de Markov. Notons tout dabord que le tempsdabsorption est toujours au moins 1: il faut faire au moins une transition pour quele processus soit absorb.

Si X1 = 0 (prob. p), alors aucune autre transition nest ncessaire. Si X1 = 2 (prob. r), alors aucune autre transition nest ncessaire. Si X1 = 1 (prob. q), alors le processus retourne au point de dpart,

et en moyenne v = E[T |X0 = 1] pas supplmentairessont ncessaires pour labsorption.

Ainsi, v = E[T |X0 = 1]

=2

k=0E[T |X1 = k]P [X1 = k|X0 = 1]

= (1 + 0) p+ (1 + v) q + (1 + 0) r= (p+ q + r) + 0 p+ v q + 0 r= 1 + 0 p+ v q + 0 r= 1 + vq

donc v = 11 q

Remarquez que lon aurait pu trouver ce rsultat dune autre faon. chaque tran-sition, la probabilit que le processus soit absorb est la probabilit que lon fasseune transition vers les tats 0 ou 2, cest--dire p+ r = 1 q. Ainsi, en dnotant Yle nombre de transitions ncessaires pour labsorption, la distribution de Y est:

P [Y = y] = qn1(1 q)

et lon reconnat une distribution gomtrique de paramtre 1q (cf df. d1c p. 70),donc E[Y ] = 1/(1 q). Notons que de faon gnrale, seule lanalyse des premierspas permet de rsoudre ce genre de questions.

Compliquons un peu le problme et considrons une chane de Markov {Xn} dontlensemble des tats est S = {0, 1, 2, 3} de matrice de transition:



P =

0 1 2 3

0 1 0 0 01 P10 P11 P12 P132 P20 P21 P22 P233 0 0 0 1

1

0

2

31 1

On a absorption dans les tats 0 ou 3; si le processus commence dans les tats 1 ou 2,il peut rester un temps entre ces tats transitoires, mais il va finir par tre absorb.Cherchons la probabilit dabsorption en 0. Cette probabilit dpend maintenant deltat transitoire dans lequel le processus dmarre (1 ou 2). Soit:

T = min{n 0;Xn = 0 ou Xn = 3}ui = P [XT = 0|X0 = i]vi = E[T |X0 = i]

Notons que u0 = 1, u3 = 0 et v0 = v3 = 0. Nous devons considrer sparment lestats de dpart X0 = 1 et X0 = 2. Considrons X0 = 1 pour commencer.

On a: u1 = P [XT = 0|X0 = 1]= P [XT = 0|X1 = 0]P [X1 = 0|X0 = 1]+ P [XT = 0|X1 = 1]P [X1 = 1|X0 = 1]+ P [XT = 0|X1 = 2]P [X1 = 2|X0 = 1]+ P [XT = 0|X1 = 3]P [X1 = 3|X0 = 1]= 1 P10 + u1 P11 + u2 P12 + 0 P13

De faon similaire, considrons X0 = 2; on obtient:

u2 = P20 1 + P21 u1 + P22 u2 + P23 0Ainsi on obtient le systme:{

u1 = P10 + P11u1 + P12u2u2 = P20 + P21u1 + P22u2

Le temps moyen dabsorption dpend aussi de ltat de dpart. Avec un raisonnementsimilaire au prcdent, on obtient:{

v1 = 1 + P10 0 + P11v1 + P12v2 + P13 0v2 = 1 + P20 0 + P21v1 + P22v2 + P23 0



car au moins une transition est ncessaire. Si la premire transition ce fait vers ltat1, alors en moyenne v1 transitions supplmentaires seront ncessaires, et si la pre-mire transition ce fait vers ltat 2, alors en moyenne v2 transitions supplmentairesseront ncessaires. On obtient en simplifiant:{

v1 = 1 + P11v1 + P12v2v2 = 1 + P21v1 + P22v2.

Prenons un exemple, et cherchons les probabilits dabsorption.

P =

0 1 2 3

0 1 0 0 01 0.4 0.3 0.2 0.12 0.1 0.3 0.3 0.33 0 0 0 1

Par les rsultats prcdents, on a:

{u1 = 0.4 + 0.3u1 + 0.2u2u2 = 0.1 + 0.3u1 + 0.3u2

et on trouve u1 =3043 , u2 =

1943 .

Si la chane de Markov dmarre ltat 2, elle sera absorb dans ltat 0 avecprobabilit 19/43 et dans ltat 3 avec probabilit 1 u2 = 1 19/43 = 24/43.Cherchons maintenant les temps moyens dabsorption. On sait que v1 et v2 vrifient:

{v1 = 1 + 0.3v1 + 0.2v2v2 = 1 + 0.3v1 + 0.3v2

et on trouve v1 =9043 , v2 =

10043 .

1

0

2

31

.3

.3

1

.4.1

.1.3

.2.3



Exemple 17 [Suite ex. 6, sance dexercice 2] On lance une pice de monnaiequilibre jusqu obtenir successivement FFP , cest--dire jusqu obtenir 2 facesde suite suivi dun pile. Pour calculer les proprits de ce jeu, on construit unechane de Markov despace dtats S = {0, F, FF, FFP} o ltat 0 reprsente lepoint de dpart, F reprsente un rsultat face au dernier lanc (le lancer davanttait pile), FF reprsente 2 faces successifs, et FFP la squence que vous cherchez(le jeu sarrte alors). Notez que si vous obtenez un pile suivi dun face, un nouveaursultat pile vous fait recommencer dans votre qute de la squence FFP . On a vuque la matrice de transition de ce processus, que nous nommerons chane de Markovno1 tait:

P1 =

0 F FF FFP

0 1/2 1/2 0 0F 1/2 0 1/2 0FF 0 0 1/2 1/2FFP 0 0 0 1

Dfinissons un jeu similaire: on lance encore la pice de monnaie, mais jusqu ceque lon obtienne successivement FPF , cest--dire un face suivi dun pile, suivilui-mme dun face. Le principe du jeu reste videmment le mme. Ce jeu peut sedcrire par une chane de Markov despace dtats S = {0, F, FP, FPF}, que nousnommerons chane no2. La question que lon se pose: en moyenne, laquelle des deuxchanes ncessitera moins de lancs: FFP ou FPF ? Cest--dire combien de lancsen moyenne sont ncessaires pour que la chane no1 atteigne ltat absorbant FFP ,et combien de lancs en moyenne sont ncessaires pour que la chane no2 atteigneltat absorbant FPF ?

Ch. no1 0 F FF FFP12

12

1

12

12

12

12

Ch. no2 0 F FP FPF12

12

112

12

12

12

Commenons par trouver la matrice de transition de la chane no2.



P2 =

0 F FP FPF

0 1/2 1/2 0 0F 0 1/2 1/2 0FP 1/2 0 0 1/2FPF 0 0 0 1

Utilisons la technique de lanalyse des premiers pas pour trouver la moyenne dunombre de pas ncessaires pour atteindre labsorption pour chacune des chanes.Dfinissons vi le temps moyen pour labsorption en partant de ltat i cest--direE[T |X0 = i], pour la chane no2. Par commodit, notons les tats 0, F, FP et FPF0,1,2 et 3. On a v3 = 0. Pour la chane no2, on a:

v0 = 1 + 12v0 +12v1

v1 = 1 + 12v1 +12v2

v2 = 1 + 12v0

Dfinissons wi le temps moyen pour labsorption en partant de ltat i pour la chaneno1. Notons que w3 = 0. On a:

w0 = 1 + 12w0 +12w1

w1 = 1 + 12w0 +12w2

w2 = 1 + 12w2

On trouve:

Ch. no1: w0 = 8, w1 = 6, w2 = 2Ch. no2: v0 = 10, v1 = 8, v2 = 6

On voit donc que plus de lancs sont ncessaires pour que la chane no2 atteignelabsorption, par rapport la chane no1. Lanalyse des graphes permet de com-prendre ce phnomne. Pourtant, atteindre FFP ou FPF aux trois premiers coupsse fait avec probabilit 1/8 dans les deux cas.

lundi 29 septembreO cours 7 O

P =[Q R0 I

]

o 0 est une matrice (N r+ 1) r dont toutes les entres sont 0, I est la matriceidentit de taille (N r + 1) (N r + 1). La matrice Q contient les probabilitsde transition entre tats transitoires, R contient les probabilits de transition des



tats transitoires vers les tats absorbants, et I contient les probabilits de transitiondes tats absorbants vers eux mmes; enfin la matrice 0 contient les probabilits detransition des tats absorbants vers les tats transitoires.

En partant dun tat transitoire X0 = i (0 i < r), le processus peut rester unmoment dans lensemble des tats transitoires, mais il finira par atteindre un tatabsorbant (r k N); soit uik cette probabilit. En partant de i, le processus peutaller immdiatement ltat k avec probabilit Pik et y rester; il peut aussi allervers un autre tat absorbant j 6= k, ou aller vers un tat transitoire j < r. Une foisrendu ltat j la probabilit dabsorption dans k est ujk par dfinition. Soit T letemps dabsorption. Ainsi:

uik = P [XT = k|X0 = i]

=Nj=0

P [XT = k|X1 = j]P [X1 = j|X0 = i]

=Nj=0

P [XT = k|X1 = j]Pij

= Pik +N

j=r(j 6=k)Pij 0 +

r1j=0

Pijujk

Ainsi, pour un tat absorbant k, il faut rsoudre un systme dquations:

uik = Pik +r1j=0

Pijujk, i = 0, . . . , r 1

Exemple 18 Un souris est mise dans un labyrinthe, o se trouve de la nourrituredans une case (7), et une amie souris dans une autre case (8). La position de lasouris est indtermine: elle est dans une case du labyrinthe, mais pas dans la case7 ni la 8).



0 1

2 3 4

5 6

7

8

La souris se dplace au hasard dans le labyrinthe tel que si il y a k portes dansla case ou elle se trouve, la souris prend une des portes avec probabilit 1/k. Ondemande la probabilit quelle rencontre le morceau de fromage avant de trouverson amie souris. La matrice de transition est (les coorespondent des 0):

P =

0 1 2 3 4 5 6 7 80 1/2 1/2 1 1/3 1/3 1/3 2 1/3 1/3 1/33 1/4 1/4 1/4 1/4 4 1/3 1/3 1/3 5 1/3 1/3 1/36 1/2 1/2 7 1 8 1

Soit ui la probabilit dabsorbtion dans la case 7, en partant de la case i (i =1, . . . , 6).


1.10 Probabilits limites et stationnaires

u0 =12u1 +

12u2

u1 =13u7 +

13u0 +

13u3

u2 =13u0 +

13u3 +

13u8

u3 =14u1 +

14u2 +

14u4 +

14u5

u4 =13u7 +

13u3 +

13u6

u5 =13u3 +

13u6 +

13u8

u6 =12u4 +

12u5

u7 = 1 et u8 = 0

Par la symtrie du labyrinthe, on a que u0 = u6, u1 = u4 et u2 = u5. De plus, ona que u3 = 1/2, car la case 3 est au centre du labyrinthe, et la souris a autant dechances, en partant de 3, de finir en 7 ou en 8. Le systme devient:

u0 =12u1 +

12u2

u1 =12 +

13u0

u2 =16 +

13u0

On trouve alors que u0 = 1/2. u1 = 2/3 et u2 = 1/3.


Reprenons la chane de Markov dcrivant le temps quil fera demain en fonction duRoss p200Karlin p245 temps quil fait aujourdhui (7 p. 11). Elle est dcrite par la matrice de transition:

P =[ 0 1

0 0.8 0.21 0.1 0.9

]Cherchons les probabilits daller des tats i et j pour quelques valeurs de n:

P(4) =[ 0 1

0 0.49 0.511 0.25 0.75

]P(8) =

[ 0 10 0.37 0.631 0.31 0.69

]



P(12) =[ 0 1

0 0.34 0.661 0.33 0.67

]P(20) =

[ 0 10 0.33 0.671 0.33 0.67

]Il semble que P(n) converge vers une certaine matrice lorsque n. Cela voudraitdire quil existe une probabilit limite que le processus soit ltat j aprs une grandnombre de transitions, et notons quil semble que cest probabilit soit indpendantede ltat initial: en effet P (20)00 P (20)10 . Afin dtudier ce phnomne, nous avonsbesoin que quelques dfinitions supplmentaires.

On a vu que fii tait:

fii = P [revenir i|part de i],et quun tat est rcurrent si fii = 1, sinon il est transitoire. Soit

i = E[Ti|part de i] = E[temps de premier retour i|part de i]

Dfinition 8Un tat rcurrent i est rcurrent nul si i =, sinon il est rcurrent positif.

Cela veut dire que pour un tat rcurrent i , si le temps moyen avant de retourner cet tat est fini, il est rcurrent positif. Notons que la rcurrence positive (ounulle) est une proprit de classe. De plus, un tat rcurrent i est rcurrent nul si etseulement si P (n)ii 0 quand n; sinon il est rcurrent positif.

Dfinition 9Un tat ergodique est un tat rcurrent positif apriodique.

Dans une chane de Markov (ou une classe ferme) avec un nombre fini dtats, tousles tats rcurrents sont rcurrents positifs.

Thorme 9Pour une chane de Markov (ou une classe ferme) irrductible et ergodique , la i.e. dont un et

donc tous les tatssont ergodiqueslim

nP(n)ij existe et est indpendante de i. Soit

pij = limnP

(n)ij , j S

alors les pij sont lunique solution non ngative de

pij =iS

piiPij , j SjS

pij = 1



La distribution pi est dite distribution stationnaire. Ce terme vient du fait quunechane de Markov dmare selon cette distribution gardera cette distribution pi nimporte quel moment. Cest--dire que si P [X0 = i] = pii, alors P [Xn = i] = piipour tout n = 1, 2, . . .. On peut le montrer par induction; montrons le pour n = 1:

P [X1 = i] =jS

P [X1 = i|X0 = j]P [X0 = j]

=jS

Pjipij = pii

Notons que quand ltat initial X0 est choisi selon la distribution stationnaire, alorsla probabilit conjointe de (Xn, Xn+1) est

P [Xn = i,Xn+1 = j] = piiPij

Exemple 19 Reprenons encore la chane de Markov dcrivant le temps quil ferademain en fonction du temps quil fait aujourdhui. Elle est dcrite par la matricede transition:

P =[ 0 1

0 810210

1 110910

]Ainsi la distribution stationnaire pi = (pi0, pi1) peut tre trouve en solutionnant:[Rappel: pij =

i piiPij et

j pij = 1]

pi0 =810pi0 +

110pi1

pi1 =210pi0 +

910pi1

1 = pi0 + pi1En remplaant pi1 = 1 pi0 dans la premire quation, on a:

pi0 =810pi0 +

110(1 pi0)

pi0(1 810 +

110

)= 110

pi0 310 =110

pi0 = 13donc pi1 = 1 pi0 = 1 13 = 23 . Ainsi, pi = (1/3, 2/3), ce qui correspond bien auxvaleurs obtenues quand nous examinions P (20).



Remarques:

i. Comme

P [Xn+1 = j] =iS

P [Xn+1 = j|Xn = i]P [Xn = i]

=iS

PijP [Xn = i]

Quand n , si on suppose que lon peut rentrer la limite dans la somme,on obtient:

pij =iS

Pijpii

ii. pij =

iS piiPij scrit sous forme matricielle comme pi = piP

iii. Dans le cas irrductible rcurrent priodique, les pij sont encore la solutionunique non ngative des expressions du thorme prcdent, et pij est la pro-portion du temps long terme que le processus passe ltat j, mais nestplus la probabilit limite.

Exemple 20 Considrons la chane de Markov dont lensemble des tats estS = {0, 1} de matrice de transition:

P =[ 0 1

0 0 11 1 0

]0 1

1

1

Vrifions que pi est (12 ,12): {

pi0 = 1 pi1pi1 = 1 pi0pi0 + pi1 = 1

On a bien pi = (12 ,12). Cependant, la limite de P

(n)ij quand n nexiste pas, car

P(2n)ij = 1 et P

(2n+1)ij = 0 (n, pour i 6= j).

Exemple 20b. Considrons la chane de Markov dont lensemble des tats est S ={0, 1} de matrice de transition:



P =[ 0 1

0 1 01 0 1

]0 1

1

1

La chane possde deux tats rcurrents positifs apriodiques, mais deux classes: {0}et {1}, elle nest donc pas irrductible. Cherchons nanmoins pi:{

pi0 = 1 pi0pi1 = 1 pi1pi0 + pi1 = 1

Pour une constante c quelconque dans [0, 1], pi0 = c, pi1 = 1 c est une solution dusystme, et la solution nest pas unique.La premire interprtation de la distribution pipi est la distribution stationnaire:

pij = limnP

(n)ij = limnP [Xn = j|X0 = i]

Donc si le processus a fonctionn longtemps, la probabilit dtre ltat j est pij ,et cette probabilit est indpendante de ltat de dpart.

mercredi 31 janvierO cours 8 OIl existe une seconde interprtation que nous utiliserons souvent. La distribution piKarlin,p 207

donne la proportion du temps long terme que le processus est ltat j. Montrons lavalidit de cette interprtation. Si une suite a0, a1, . . . de nombres rels converge versune limite a, alors la moyenne de ces nombres converge aussi (cest la convergenceau sens de Cesaro):

limm

1m

m1k=0

ak = a

En appliquant ce rsultat la convergence limnPij(n) = pij , on obtient:

limm

1m

m1k=0

P(k)ij = pij

En notant

I(Xk=j) ={

1 si Xk = j0 si Xk 6= j

Alors la proportion du temps pass ltat j est



1m

m1k=0

I(Xk=j)

Donc la proportion moyenne du temps pass ltat j est:

E

[1m

m1k=0

I(Xk=j)|X0 = i]= 1

m

m1k=0

E[I(Xk=j)|X0 = i

]= 1

m

m1k=0

P [Xk = j|X0 = i]

= 1m

m1k=0

P(k)ij

Comme limnP

(n)ij = pij , la proportion moyenne du temps long termedu temps

pass ltat j est:

limmE

[1m

m1k=0

I(Xk=j)|X0 = i]= lim

m1m

m1k=0

P(k)ij = pij

Cette interprtation nous permet de calculer des cots: si chaque visite ltat jse fait au cot cj , alors le cot moyen long terme par unit de temps de la chaneest:

jSpijcj

Exemple 21 Soit une chane de Markov dont lensemble des tats est S = {0, 1, 2}de matrice de transition donne ci-dessous. Sachant que chaque priode de tempsque le processus passe ltat 0 cote $2, et le cot de chaque priode de tempspasse aux tats 1 et 2 cote $1, quel est le cot moyen par priode de temps longterme de cette chane ?

P =

0 1 2

0 0 1 01 12 0

12

2 1313

13

10

2

1

12

12

13

13

13



Commenons par trouver la distribution stationnaire. Il faut rsoudre le systme:pi0 = 0 pi0 + 12pi1 + 13pi2pi1 = 1 pi0 + 0 pi1 + 13pi2pi2 = 0 pi0 + 12pi1 + 13pi2pi0 + pi1 + pi2 = 1

pi0 = 12pi1 +

13pi2

pi1 = pi0 + 13pi2pi2 = 12pi1 +

13pi2

pi0 + pi1 + pi2 = 1

On trouve:

pi =(

310 ,

25 ,

310

)Ainsi, le cot moyen par priode de temps long terme est:

310 $2 +

25 $1 +

310 $1 = $1.3

Une matrice est dite doublement stochastique si les colonnes somment 1, commeles lignes. Plus formellement:

Pij 0, etjS

Pij =iS

Pij = 1, i, j S

Proposition 1Pour une chane de Markov irrductible et apriodique N tats dcrite par unematrice de transition doublement stochastique, la distribution stationnaire pi est

pi =(

1N,1N, . . . ,

1N

)

La preuve sera faite en exercice.

Exemple 22 Soit la chane de Markov dcrivant le temps quil fera demain enfonction du temps quil fait aujourdhui. La matrice de transition de cette chaneest:

P =

0 1 2

0 0.2 0.5 0.31 0.1 0.2 0.72 0.7 0.3 0

On voit que

jS Pij =

iS Pij = 1 donc pi =

(13 ,

13 ,

13)



Notons que que comme f (n)ii est la probabilit que, en partant de i, lon retournepour la premire fois ltat i en n tapes, il en suit que, i, le temps moyen depremier retour en i:

i =n=1

nf(n)ii

Thorme 10[Thorme ergodique] Si ltat i est rcurrent apriodique alors

limnP

(n)ii =

1n=0 nf

(n)ii

= 1i

Si la distribution stationnaire existe, alors limnP

(n)ii = pii, donc pii = 1/i. Suppo-

sons que la chane parte ltat i, et que nous observons le comportement de lachane sur N priodes de temps, o N est grand. Sur ces N priodes de temps, soitni le nombre de fois que la chane visite ltat i. Comme N est grand, on sattend ce que ni/N soit approximativement pii, et donc devrait converger vers pii si N tendvers linfini.

Dun autre cot, si les temps auquels la chane retourne ltat i sont distribusuniformment entre les temps 0 et N , alors chaque fois que la chane visite ltati, la chane devrait y revenir ltat i aprs N/ni transitions. Par exemple, si lachane visite ltat i 10 fois en 100 transitions et si les temps pour revenir ltat isont distribus uniformment, la chane va revenir ltat i chaque 100/10 = 10transitions. Bien entendu, les temps de retour varient, mais en moyenne, les tempsde retour doivent tre proche de N/ni. Si N tend vers linfini, ce ratio doit doncconverge vers i, le temps de retour moyen ltat i.

Donc, comme pii doit tre proche de ni/N et que i doit tre proche de N/ni, leurproduit doit tre 1, soit piii = 1, donc pii = 1/i. Si pii > 0, alors i doit tre fini,et ltat i est rcurrent positif.

Ceci permet de retrouver quun tat i est rcurrent nul si et seulement si P (n)ii 0Corrolairequand n.Note: Le cas i = et pii = 0, pour tout i, peut seulement se produire si lespacedes tats est infini, et alors la chane de Markov est nulle rcurrente. Si i < etpii > 0 pour tout i, alors la chane de Markov est rcurrente positive.

Dans le cas priodique, on a vu que la distribution pi est encore solution des quations



pij =iS

piiPijjS

pij = 1

mais la limP (n)ij nest pas pij . Par contre, si la chane est rcurrente positive, prio-dique ou apriodique, alors:

limn

1n

n1m=0

P(m)ji = pii =

1i

Voyons un exemple, qui utilise plusieurs des concepts vu dans cette section.

Exemple 23 Considrons une chane de Markov sur S = {0, 1} dont la matricede transition est

P =[ 0 1

0 1 p p1 q 1 q

]0 11p

p

q

1q

o 0 < p, q < 1.

a. Vrifiez que (pi0, pi1) =(

qp+q ,

pp+q

)est la distribution stationnaire.

b. Trouvez la distribution du temps de retour de ltat 0.c. Calculez le temps moyen de rcurrence 0.

a. On a que

pi0P00 + pi1P10 =q

p+ q (1 p) +p

p+ q q

= q pq + pqp+ q

= qp+ q = pi0

pi0P01 + pi1P11 =q

p+ qp+p

p+ q (1 q)

= pq + p pqp+ q

= pp+ q = pi1

pi0 + pi1 =p

p+ q +q

p+ q = 1.


1.11 Application: promenade alatoire entre barrires absorbantes

b. On a que:

f(1)00 = 1 p f (2)00 = pq

f(3)00 = p(1 q)q f (4)00 = p(1 q)2qf(n)00 = p(1 q)n2q, pour n 2

c. On a que:

0 =n=1

nf(n)00

= 1 p+n=2

np(1 q)n2q

= 1 p+ pqn=2

n(1 q)n2 [Posons s = n 2 ]

= 1 p+ pqs=0

(s+ 2)(1 q)s

On utilise alors le fait que

k=0(k + 1)xk = 11x2 si |x| < 1.

0 = 1 p+ pq[ s=0

(s+ 1)(1 q)s +s=0

(1 q)s]

= 1 p+ pq[1q2

+ 1q

]= 1 p+ pq1 + q

q2

= 1q[q pq + p+ pq] = q + p

q= 1

pi0

lundi 5 fvrierO cours 9 O

1.11 Application: promenade alatoire entre barrires absorbantesSupposons que deux joueurs A et B jouent un jeu o chaque partie du jeu lejoueur A a une probabilit p de gagner et q = 1 p de perdre (0 < p < 1). Quandil perd, il perd $ 1 quil donne B, et quand il gagne, il gagne $ 1 que B lui donne.La fortune totale des deux joueurs est constante de $ N . Le jeu sarrte quand undes deux joueurs est ruin.



On modlise ce problme en prenant pour tat de la chane de Markov, Xn, lecapital de A aprs la nme partie (n 0). Lensemble des tats est donc S ={0, 1, 2, . . . , N 1, N}. Les probabilits de transition sont alors:

Pi,i+1 = p = 1 Pi,i1, i = 1, 2, . . . , N 1P00 = PNN = 1

Le graphe de cette chane de Markov est donc:

0 1 2 3 N2 N1 N1q

p

1

p p p p

qqqq

La matrice de transition de cette chane de Markov est:

P =

1 0 0 . . . 0 0 0q 0 p . . . 0 0 00 q 0 . . . 0 0 0... ... ... . . . ... ... ...0 0 0 . . . 0 p 00 0 0 . . . q 0 p0 0 0 . . . 0 0 1

0

N

k

1 2 3 4 5 Ltat 0 correspond la ruine de A, donc une victoire de B, et ltat N correspond une victoire de A, donc la ruine de B. Remarquez que les tats 0 ou N sontabsorbants. Il est facile de voir que cette chane de Markov a trois classes:

{0}, {1, 2, . . . , N 1}, {N}La classe {1, 2, . . . , N 1} est transitoire, alors que les classes {0} et {N} sontrcurrentes. videmment, si la chane dmarre dans un des tats 1, 2, . . . , N 1,elle finira par atteindre une des classes rcurrentes, correspondant la victoire dujoueur A (en N), ou la sa ruine (en 0). Dfinissons Pi la probabilit quen partantde ltat i le joueur atteigne ltat N . En reprenant les notations prcdentes, notonsT le temps dabsorption et XT ltat dans lequel le processus est absorb. Alors:

Pi = P [XT = N |X0 = i]1 Pi = P [XT = 0|X0 = i]

On cherche donc Pi en fonction de N , p et i. Notons que



P0 = 0 et PN = 1

On rsout le problme par une analyse des premiers pas: on conditionne Pi sur lersultat du premier coup du jeu:

Pi = P [XT = N |X0 = i]= P [XT = N |X1 = i 1]P [X1 = i 1|X0 = i]+ P [XT = N |X1 = i+ 1]P [X1 = i+ 1|X0 = i]= qPi1 + pPi+1

De plus, comme p+ q = 1,(p+ q)Pi = qPi1 + pPi+1

pPi + qPi = pPi+1 + qPi1 q(Pi Pi1) = p(Pi+1 Pi) Pi+1 Pi = q

p(Pi Pi1) i = 1, 2, . . . , N 1

De plus, comme P0 = 0, nous obtenons, pour diffrentes valeurs de i:

i = 1 : P2 P1 = qp(P1 P0) = q

pP1

i = 2 : P3 P2 = qp(P2 P1) = q

p

q

pP1 =

(q

p

)2P1

...

i 1 : Pi Pi1 = qp(Pi1 Pi2) =

(q

p

)i1P1

...

i = N 1 : PN PN1 = qp(PN1 PN2) =

(q

p

)N1P1

En additionnant les i 1 premires quations, nous obtenons:

Pi P1 = P1[q

p+(q

p

)2+ . . .+

(q

p

)i1]

= P1

[i1k=1

(q

p

)k]= P1

[i1k=0

(q

p

)k 1

]

Afin de simplifier lcriture, notons r = q/p. Ainsi, Pi P1 = P1[i1

k=1 rk]. Il faut

alors distinguer deux cas: si r = 1 ou si r 6= 1:



B si r = 1, alors Pi P1 = (i 1)P1Pi = iP1

B si r 6= 1, alors Pi P1 = P1[1 ri1 r 1

](srie go., cf. 3 p. 70)

Pi = P1[1 ri1 r

]Notons que (p/q) = 1 si p = q = 12 , et que (p/q) 6= 1 si p 6= 12

donc Pi ={P1[1ri1r

]si p 6= 1/2

iP1 si p = 1/2

pour i = N, PN ={P1[1rN1r

]si p 6= 1/2

NP1 si p = 1/2

mais PN = 1 : P1 ={[

1r1rN

]si p 6= 1/2

1N si p = 1/2

Nous avons une expression pour P1, et nous avons dj obtenu une expression de Pien fonction de P1, nous sommes donc prt obtenir une expression gnrale pourPi:

Pi ={P1[1ri1r

]si p 6= 1/2

iP1 si p = 1/2Pi =

{[1r1rN

] [1ri1r

]si p 6= 1/2

i 1N si p = 1/2

Ainsi, Pi ={

1ri1rN si p 6= 1/2iN si p = 1/2

La figure qui suit illustre Pi en fonction de la fortune initiale du joueur, pour diff-rentes valeurs de p, pour une une fortune totale N de 20.



0

0.2

0.4

0.6

0.8

1

0 5 10 15 20

Pi

i, fortune initiale du joueur

p=0.3p=0.45p=12

p=0.55

p=0.7

Quand N :

B si p > 12 , q/p < 1, r < 1, donc Pi 1(q

p

)iB si p = 12 , Pi 0

B si p < 12 , q/p > 1, r > 1, donc Pi 0

Si N , et si p > 1/2, il y a une probabilit positive que la fortune du joueurcroisse indfiniment. Si p 1/2, le joueur va, avec probabilit 1, perdre contre unjoueur infiniment riche.Proposition 2Soit une marche alatoire entre deux barrires absorbantes 0 etN , dans une chanede Markov N + 1 tats: S = {0, 1, . . . , N}. Si les probabilits de transition sontdonnes par:

Pi,i+1 = p = 1 Pi,i1 si i = 1, 2, . . . , N 1, P00 = PNN = 1alors si Pi est la probabilit dabsorption en N en partant de ltat i,

Pi =

1(qp

)i1(qp

)N si p 6= 1/2iN si p = 1/2



Exemple 24 Jean-Claude a $5 en poche, alors que Robert a $10. Chacun parie$1 sur le rsultat dun jeu pile ou face et le jeu se poursuit jusqu la ruine dundes deux joueurs. Quelle est la probabilit que Jean-Claude gagne ?

Il suffit de convenir quune victoire de Jean-Claude est un pas droite, et unevictoire de Robert un pas gauche. Ltat Xn est donc la fortune de Jean-Claudeau temps n. Alors {Xn} est une chane de Markov, ayant deux tats absorbants: 0et N . Soit T le temps dabsorption. On prends N = 15 et on cherche P5, cest direP [XT = 15|X0 = 5]. Labsorption en 0 est une victoire de Robert, et labsorptionen 15 est une victoire de Jean-Claude. Pour un temps n quelconque, les capitaux deJean-Claude et de Robert sont respectivement Xn et 15Xn.

0 1 2 3 4 5 6 13 14 1511/2

1/21/2

1/2 1/2 1/2 1/2 1/2 1/2 1/2

1/21/21/21/21/21/21/2

Victoire

deRob

ert

Victoire

deJean-C

laude

On suppose que la pice est quilibre, donc p = q = 12 . On utilise alors le rsultatprcdent pour obtenir:

P [ Jean-Claude gagne ] = P [ absorption en 15 ] = P5 =515 =

13

P [ Robert gagne ] = P [ absorption en 0 ] = 1 P5 = 1 515 =23

Supposons maintenant que le jeu nest pas quitable: p = 3/5. Alors q/p = 2/3:

P5 =1 (2/3)51 (2/3)15 =

0.86830.9977 = 0.8703

Remarque. Considrons une promenade alatoire sur Z ou Pi,i+1 > 12 . On a vu quetous les tats taient transitoires; ainsi, quelque que soit X0, la promenade finira +. Cherchons :

Qi = P [promenade visite ltat 0 au moins une fois |X0 = i]Nous pouvons utiliser les rsultats de cette section afin de rpondre cette question.Considrons trois cas:



Si i < 0, alors Qi = 1 car en allant se perdre vers + la promenade passerapar ltat 0.

Si i = 0, alors Qi = 1 (en supposant que lon considre le passage initial en 0). Si i > 0, il faut considrer les points 0 etN comme absorbants, tel queN .

Alors:

Qi = 1 limN

1(qp

)i1

(qp

)N = (qp)i

Intressons-nous maintenant la dure du jeu. Considrons un jeu quitable, cest--dire p = q = 1/2. On a donc:

Pi,i+1 =12 = 1 Pi,i1, i = 1, 2, . . . , N 1

P00 = PNN = 1

Soit vi le temps moyen avant absorption en partant de ltat i. On a videmmentv0 = vN = 0. Pour 0 < i < N , on a, par une analyse des premiers pas:

vi = 1 +12vi1 +

12vi+1,

que lon peut recrire:

2vi = 2 + vi1 + vi+1 vi+1 vi = 2 + vi vi1 d1.1cAinsi, pour i allant de 1 N 1:

i = 1 : v2 v1 = 2 + v1 v0i = 2 : v3 v2 = 2 + v2 v1

...i = N 2 : vN1 vN2 = 2 + vN2 vN3i = N 1 : vN vN1 = 2 + vN1 vN2

En sommant des quations, on obtient:

vN v1 = 2(N 1) + vN1 v0Mais comme v0 = vN = 0, alors lquation prcdente scrit v1 = 2(N 1) +vN1, et dautre part, par symtrie, on doit avoir v1 = vN1. Alors on obtientv1 = 2(N 1) + vN1 2v1 = 2(N 1) v1 = N 1. Alors, en utilisant 1.1:

v2 v1 = 2 + v1 v0 = 2 + (N 1)v3 v2 = 2 + v2 v1 = 2 2 +N 1 = 4 + (N 1)


1.12 Chanes de Markov rductibles

et en gnral vi+1 vi = 2i+ (N 1)En sommant ces quations pour i = 0 x 1, on obtient:

vi = x(x 1) + x(N 1) = x(N x)

cark

i=1 i = k(k + 1)/2.

Proposition 3Dans un jeu quitable entre deux joueurs, le temps moyen avant absorption est laproduit de la fortune des deux joueurs:

vi = i(N i)

mercredi 7 fvrierO cours 10 O

1.12 Chanes de Markov rductiblesKarlin, p258 Considrons la chane de Markov de probabilit de transition:

P =

12

12 0 0

14

34 0 0

0 0 1323

0 0 2313

que nous pouvons noter [P1 00 P2]

0 1 2 3

On voit facilement que cette chane de Markov possde deux classes: {0, 1} et {2, 3}.Calculons P2:

P2 =

12

12 0 0

14

34 0 0

0 0 1323

0 0 2313

12

12 0 0

14

34 0 0

0 0 1323

0 0 2313

=

38

58 0 0

516

1116 0 0

0 0 5949

0 0 4959

En fait, P2 =

[P21 00 P22

], et en gnral, Pn =

[Pn1 00 Pn2

](n 1)



La forme de la matrice Pn a comme consquence quil nest pas possible daller duneclasse lautre: P est rductible en deux matrices irrductibles P1 et P2. Alors,

limnP

n =

pi(1)0 pi

(1)1 0 0

pi(1)0 pi

(1)1 0 0

0 0 pi(2)0 pi(2)1

0 0 pi(2)0 pi(2)1

Revenons la matrice P dfinie plus haut, et cherchons pi(1) = (pi(1)0 , pi

(1)1 ):

comme: P1 =[ 1

212

14

34

]alors

pi(1)0 = 12pi

(1)0 + 14pi

(1)1

pi(1)1 = 12pi

(1)0 + 34pi

(1)1

pi(1)0 + pi

(1)1 = 1

{pi(1)0 = 13pi(1)1 = 23

comme: P2 =[ 1

323

23

13

]alors

{pi(2)0 = 12pi(2)1 = 12

car elle est doublement stochastique.

Ces deux chanes se comportent de faon indpendante. Considrons un second casplus intressant o lon a un tat transitoire.

P =

0 1 2 3

0 1/2 1/2 01 1/4 3/4 0 02 1/4 1/4 1/4 1/43 0 0 0 1

0

1

2 3

Il y a 3 classes: {0, 1} rcurrente; {2}, transitoire, et la classe {3} rcurrente. Enpartant de ltat 2, le processus sera absorb dans la classe {0, 1} ou la classe {3}.La premire question laquelle nous allons rpondre est vers quel classe le processussera-t-il absorb, et avec quelle probabilit ? Soient:

u = P [absorption dans {0, 1}|X0 = 2]1 u = P [absorption dans {3}|X0 = 2]

La rponse cette question est trouve par une analyse des premiers pas. Ainsi,tant habitus ce type danalyses, nous pouvons crire directement:



u =1 14 + 114 + u

14 + 0

14

=12 +14u

alors on a 34u =12 u =

43

12 =

23

Donc, avec probabilit 2/3, le processus sera absorb dans la classe {0, 1}. On avu prcdemment que la distribution stationnaire dans cette classe tait pi(1) =(1/3, 2/3). Alors :

limnP

(n)20 = P [absorption dans {0, 1}|X0 = 2] pi(1)0

= 23 13 =

29

limnP

(n)21 = P [absorption dans {0, 1}|X0 = 2] pi(1)1

= 23 23 =

49

Ainsi, on peut crire la limite de P (n)ij quand n:

limnP

(n) =

0 1 2 3

0 1/3 2/3 0 01 1/3 2/3 0 02 2/9 4/9 0 1/33 0 0 0 1

Considrons un dernier cas, ou lon a une classe dtats transitoires, et deux classesrcurrentes.

P =

0 1 2 3 4 50 1/2 1/2 0 0 0 01 1/3 2/3 0 0 0 02 1/3 0 0 1/3 1/6 1/63 1/6 1/6 1/6 0 1/3 1/64 0 0 0 0 0 15 0 0 0 0 1 0



0

1

2

3

4

5

P =

0 1 2 3 4 50 1/2 1/2 0 0 0 01 1/3 2/3 0 0 0 02 1/3 0 0 1/3 1/6 1/63 1/6 1/6 1/6 0 1/3 1/64 0 0 0 0 0 15 0 0 0 0 1 0

Dans cette chane de Markov, il y a trois classes:

C1 = {0, 1} C2 = {2, 3} C3 = {4, 5}La distribution stationnaire de C1 est (pi0, pi1), donne par: pi0 =

12pi0 +

13pi1

pi1 = 12pi0 +23pi1

pi0 + pi1 = 1{pi0 = 25pi1 = 35

La classe C3 est priodique et P (n)ij ne converge pas pour i, j dans C3 = {4, 5}. Parcontre on peut vrifier que pi4 = pi5 = 12 .

Pour la classe transitoire C2 = {2, 3}, soit ui la probabilit dabsorption dans C1 enpartant de i = 2, 3. Par analyse des premiers pas:

u2 = P [absorption dans C1|X0 = 2]=k

P [absorption dans C1|X1 = k]P [X1 = k|X0 = 2]

= 1 13 + 1 0 + u2 0 + u3 13 + 0

16 + 0

16

= 13 +13u3

u3 = 1 16 + 116 + u2

16 + u3 0 + 0

13 + 0

16

= 13 +16u2

on trouve u2 =817 u3 =

717


1.13 Chanes de Markov temps rversible

limn

P(n)=

0 1 2 3 4 5

0 2/5 3/5 0 0 0 01 2/5 3/5 0 0 0 02 ( 817 )(

25 ) (

817 )(

35 ) 0 0

3 ( 717 )(25 ) (

717 )(

35 ) 0 0

4 0 0 0 0 5 0 0 0 0

limn

1n

n1m=0P

(m)=

0 1 2 3 4 5

0 2/5 3/5 0 0 0 01 2/5 3/5 0 0 0 02 ( 817 )(

25 ) (

817 )(

35 ) 0 0 (

917 )(

12 ) (

917 )(

12 )

3 ( 717 )(25 ) (

717 )(

35 ) 0 0 (

1017 )(

12 ) (

1017 )(

12 )

4 0 0 0 0 1/2 1/25 0 0 0 0 1/2 1/2


Considrons une chane de Markov ergodique ltat stationnaire (i.e. le processusRoss, p232a fonctionn trs longtemps). Cette chane a pour probabilits de transition Pij(i, j S), et pour probabilits stationnaires pii (i S). Supposons qu partir duncertain moment, nous suivons la squence des vnements en arrire dans le temps.Cest--dire, partir du temps n, on considre la squence:

Xn, Xn1, Xn2, . . .

Afin de montrer que cette squence dtats est elle mme une chane de Markov,nous devons montrer que:

P [Xn = j|Xn+1 = in+1, Xn+2 = in+2, Xn+3 = in+3, . . .] = P [Xn = j|Xn+1 = in+1]Supposons que le temps actuel est n+ 1.

n1 n n+1 n+2 n+3

Comme X0, X1, X2, . . . est un chane de Markov, la distribution conditionnelle desfuturs Xn+2, Xn+3, . . . sachant le temps prsent n+1 est indpendant de ltat passXn. Cependant, lindpendance est une relation symtrique. Ainsi, cela veut dire quesachantXn+1,Xn est indpendant deXn+2, Xn+3, . . ., et la suiteXn, Xn1, Xn2, . . .est donc une chane de Markov.



Les probabilits de transition de cette chane, que nous noterons Qij , sont dfiniespar:

Qij = P [Xn = j|Xn+1 = i]= P [Xn = j,Xn+1 = i]

P [Xn+1 = i]

= P [Xn = j]P [Xn+1 = i|Xn = j]P [Xn+1 = i]

= pijPjipii

Si Qij = Pij , la chane est dite temps rversible. Ceci nous amne la propositionsuivante.

Proposition 4Soit une chane de Markov {Xn} despace dtats S possdant une distributionstationnaire pij (j S). La chane {Xn} est dite temps rversible si

piiPij = pijPji, (i, j) S

Le taux avec lequel le processus va de i j (soit piiPij) est gal au taux avec lequel leprocessus va de j i (soit pijPji). Si Xn = i et Xn+1 = j, on observe une transitionde i j si on regarde le processus dans le sens du temps (en avant), mais on observeune transition de j i si on regarde le processus dans le sens inverse du temps (enarrire).

Si il existe des nombres non ngatifs xi qui satisfont xiPij = xjPji, et qui somment 1, alors la chane est temps rversible et ces nombres sont les probabilits sta-tionnaires. Ceci est vrai car:

si xiPij = xjPji eti

xi = 1 (i, j) S,

en sommant sur i, on obtient:

j,iS

xiPij =iS

xjPji = xjiS

Pji = xj .

Alors les xi sont les probabilits stationnaires, car lon a vu que la distributionstationnaire est unique; donc xi = pii pour tout i dans S.Exemple 25 Considrons une marche alatoire sur les tats 0, 1, . . . ,M avecprobabilits de transition:



Pi,i+1 = i = 1 Pi,i1, i = 1, . . . ,M 1P0,1 = 0 = 1 P0,0PMM = M = 1 PM,M1

Le graphe de ce processus est le suivant:

0 1 2 i1 i i+1 M1 M10

11

01M1

M

1 2

1M1 1M2

i1 i1 i1

1i+11i1i1

On peut voir que la chane est temps rversible simplement en tudiant son com-portement. Entre deux transitions de i i + 1, il y a forcment une transition dei+1 i, car le seul chemin pour revenir i en partant dun tat j > i est de passerpar i + 1. Donc le nombre de transitions de i i + 1 diffre de 1 du nombre detransitions de i + 1 i. Le taux de transitions de i vers i + 1 est gal au taux detransitions de i+ 1 vers i, et donc la chane de Markov est temps rversible.

lundi 12 fvrierO cours 11 O

Exemple 26 Considrons un graphe dont tous les nuds sont connects aumoins un autre nud. Chaque arrte (i, j) du graphe, reliant les nuds i et j a unvaleur wij . Un exemple de tel graphe est donn dans la figure qui suit.

5

1

3 4 22 3

1

8

Considrons une particule allant dun nud un autre de la faon suivante: si laparticule est au nud i, elle va au nud j avec probabilit:

Pij =wijj wij

o wij = 0 si larrte (i, j) nexiste pas. Par exemple, partir du graphe ci-dessus,

P42 =8

8 + 3 + 1 =23

Supposons que la chane est temps rversible, alors:


1.14 Temps moyen pass dans les tats transitoires

piiPij = pijPji pii wijj wij

= pijwjiiwji

piij wij

= pijiwji

car wij = wji. On peut donc crire quepiij wij

= c, ou pii = cj

wij .

On somme sur i: i

pii =i

cj

wij c = 1i

j wij

do

pii =

j wiji

j wij

Alors les quations de reversibilit scrivent:

piiPij =

j wiji

j wij

wijj wij

=

iwjii

j wji

wjiiwji

= pijPji

Donc le processus est bien temps rversible. Pour lexemple considr ici, on trouve:

pi1 =128 , pi2 =

828 , pi3 =

528 , pi4 =

1228 , pi5 =

228 .


Supposons une chane de Markov ayant un nombre fini dtats, dont t sont transi-Ross p 226Karlin p124/171 toires. Ces tats transitoires sont numrots de 1 t, et T dnote lensemble de ces

tats. Notons PT la matrice contenant les probabilits des tats transitoires vers lestats transitoires:

PT =

1 2 . . . t

1 P1,1 P1,2 . . . P1,t2 P2,1 P2,2 . . . P2,t... ... ... . . . ...t Pt,1 Pt,2 . . . Pt,t

Pour deux tats (i, j) T , soit sij le nombre moyen de priodes de temps quele processus est dans ltat j en partant de i. Soit i,j = 1 si i = j, 0 sinon. Enconditionnant sur la premire transition, on obtient:



si i 6= j : sij = E[nb visites j aprs ltat initial]si i = j : sij = 1 + E[nb visites j aprs ltat initial]

sij = i,j+k

Pikskj

= i,j +t

k=1Pikskj

d1.2c

car il est impossible daller dun tat rcurrent vers un tat transitoire, donc skj = 0si k est rcurrent. Soit S la matrice des sij :

S =

1 2 . . . t

1 s11 s12 . . . s1t2 s21 s22 . . . s2t... ... ... . . . ...t st1 st2 . . . stt

Lquation 1.2 scrit sous forme matricielle:

S = I+PTS

o I est la matrice identit de taille t t. Alors:SPTS = I(IPT )S = I(IPT )1(IPT )S = (IPT )1S = (IPT )1

Notons que linverse existe.

Exemple 27 Soit une chane de Markov sur les tats {0, 1, 2, 3} de matrice detransition:

P =

0 1 2 3

0 0 9/10 0 1/101 3/4 0 1/4 02 0 4/5 0 1/53 0 0 0 1

12

0

3

110

15

910

34

14

45

1

Calculez le temps moyen pass ltat 2 en partant de ltat 1.


1.15 Application: loi de Hardy-Weinberg

PT =

0 1 2

0 0 9/10 01 3/4 0 1/42 0 4/5 0

S = (IPT )1 =

0 1 20 6.4 7.2 1.81 6 8 22 4.8 6.4 2.6

Ainsi, le temps moyen pass ltat 2 en partant de ltat 1 est 2 (s12).

On se rappelle que fij est la probabilit quune chane de Markov fasse une visite ltat j en partant de ltat i. Alors:

sij =E[nb de visites en j|part de i passe par j]fij+ E[nb de visites en j|part de i passe pas par j](1 fij)

=(ij + sjj)fij + ij(1 fij)=ijfij + sjjfij + ij ijfij=ij + sjjfij

donc

fij =sij ijsjj

Exemple 28 (suite de lexemple 27 ) Quelle est la probabilit quen partant deltat 2, on visite ltat 1, cest--dire f21 ?

f21 =s21s11

= 6.48 = 0.80

Dans ce cas simple, on aurait pu trouver directement cette probabilit: en partantde ltat 2, on visite ltat 1 seulement si on nest pas absorb dans la classe {3},donc avec probabilit 1 1/5 = 4/5.


Considrons une trs grande population dindividus diplodes (cest--dire que chaqueRoss p203individus possde une paire de gnes) ou les accouplements se font au hasard, et oles mutations nexistent pas. Intressons nous un gne en particulier ayant deuxallles A et a (cest--dire quil existe deux variantes du gne). Ainsi chaque individude la population possde un gnotype AA, aa ou Aa; supposons que les proportionsde ces trois types de gnotype dans la population sont respectivement p0, q0 et r0(tel que p0 + q0 + r0 = 1).

Pour chaque enfant, un de ses gnes provient au hasard dun des deux gnes de sonpre, et lautre provient au hasard dun des deux gnes de sa mre, tel quillustrdans le figure ci-dessous.



3 4

1 2Aa aa

Aa aa

Figure 2. Illustration de la transmission des gnes dune gnration lautre. Le pre (individu2) a deux gnes aa, ainsi il transmet a ses enfants un gne a avec probabilit 1. La mre (individu1) a un gne A et un gne a, et elle transmet lun dentre eux avec probabilit 1/2 chaque enfant.

Sachant les proportions des trois gnotypes AA, aa et Aa une certaine gnration,on veut dterminer ces mmes proportions la gnration suivante. Considrons unindividu de la population. Notons que choisir un parent dabord, puis un de ses deuxgnes ensuite est quivalent choisir au hasard un gne de la population. Ainsi, laprobabilit quun enfant reoive un gne de type A est:

P [A] = P [A|AA]P [AA] + P [A|aa]P [aa] + P [A|Aa]P [Aa]= 1 p0 + 0 q0 + 12 r0

= p0 +12r0

De la mme faon, la probabilit quil reoive un gne de type a est:

P [a] = P [a|AA]P [AA] + P [a|aa]P [aa] + P [a|Aa]P [Aa]= 0 p0 + 1 q0 + 12 r0

= q0 +12r0

Avec lhypothse des accouplements alatoires, un enfant de la prochaine gnrationsera de type AA, aa ou Aa avec probabilit que nous noterons p, q et r respective-ment:

p = P [AA] = P [A]P [A] =(p0 +

12r0

)2q = P [aa] = P [a]P [a] =

(q0 +

12r0

)2r = P [Aa] = P [A]P [a] = 2

(p0 +

12r0

)(q0 +

12r0

)



Ainsi la proportion des individus de la prochaine gnration de gnotypes AA, aaou Aa sera p, q et r respectivement.

On a vu que si les proportions des gnotypes AA, aa ou Aa taient p0, q0 et r0,alors P [A] tait (p0 + 12r0). Avec le mme raisonnement, comme les proportions desgnotypes AA, aa ou Aa sont maintenat p, q et r, alors P [A] est (p+ 12r). Remarquonsde plus que la proportion des gnes A est constante (ceci est du aux hypothses dumodle, notamment labsence de mutation):

p+ r2 =(p0 +

12r0

)2+ 22

(p0 +

12r0

)(q0 +

12r0

)=(p0 +

12r0

)[p0 +

12r0 + q0 +

12r0

]=(p0 +

12r0

)(p0 + q0 + r0)

=(p0 +

12r0

)soit la proportion des gnes A dans la premire gnration. Ainsi, dans toutes lesgnrations suivantes, ces proportions resteront stables. Ce phnomne, trs utilisen gntique, est la loi de Hardy-Weinberg

Exemple 29 Supposons que dans la gnration initiale, les frquences des troisgnotypes sont:

P [AA] = p0 = 0.5 P [aa] = q0 = 0.2 P [Aa] = r0 = 0.3

la gnration 1:

P [A] = p0 +r02 = 0.65 P [a] = q0 +

r02 = 0.35

P [AA] = P [A]P [A] = 0.65 0.65 = 0.4225= pP [aa] = P [a]P [a]= 0.35 0.35 = 0.1225= qP [Aa] = 2P [A]P [a] = 2 0.65 0.35 = 0.455= r

la gnration 2:

P [A]= p+ r2 = 0.65 P [a]= q +r

2 = 0.35

et videmment la proportion des gnotypes AA, aa et Aa est encore la mme.

U

Documents

Chapitre1 001 Version Etudiant