Cha®ne de Markov - 2 - LI323 - baskiotisn/wiki/uploads/Teaching/   Toute cha^ ne

  • View
    214

  • Download
    0

Embed Size (px)

Text of Cha®ne de Markov - 2 - LI323 - baskiotisn/wiki/uploads/Teaching/   Toute cha^ ne

  • Chane de Markov - 2LI323

    Hugues Richard(notes de cours: Pierre-Henri Wuillemin)

    Universite Pierre et Marie Curie (UPMC)Laboratoire genomique des microorganismes (LGM)

  • Classements des etats

    Definition (Periodicite)

    Soit Ki ={

    n 0 tel que P(n)ii > 0}

    ,

    Un etat i est periodique si et seulement si Ki 6= et pgcd(Ki ) 6= 1.La periode de i est alors ki = pgcd(Ki ).

    Definition (Instant de premier retour)

    Pour tout etat i , avec X0 = i , i =

    {min{n 1,Xn = i | X0 = i }+ sinon

    Definition (Etat recurrent, etat transient)

    Pour tout etat i , avec X0 = i ,

    i recurrent P(i

  • Classement des etats, suite

    DefinitionOn note et nomme :

    la probabilite que le premier retour en i soit en n etapes : f(n)

    ii = P(i = n)

    la probabilite de revenir en i : fii =

    n=1f(n)

    ii = P(i

  • Transience, recurrence, recurrence positive

    Exemple

    Soit la chane de Markov (infinie) suivante :

    1 2 3

    q q q

    p p1

    Chane de Markov irreductible donc tous les etats de meme type.

    Si p > q alors fii < 1 : etat transient

    Si p = q alors fii = 1 mais Mi = : etat recurrent nulSi p < q alors fii = 1 mais Mi

  • Suite de la souris

    souris et labyrinthe

    6

    50.25

    0.25

    0.25

    0.25

    0.5

    0.5

    0.5

    0.5

    2

    43

    1

    Questions sachant qua n = 0, la souris est en 2 :

    Nbr de deplacements moyens pour revenir en 2 ?

    M2 =

    n=1

    (n f (n)22

    )

    f(1)

    22 = P22 = 0

    f(n)

    22 = P21 P(n1)12 + P24 P

    (n1)42 (cf. Chapman-Kolmogorov)

    H. Richard (UPMC, LGM) Chane de Markov - 2 5 / 16

  • Le monopoly

    Modelisation du Monopoly

    Principe du Monopoly :

    on jette a chaque etape deux des a 6 faces.

    on achete des proprietes et on construit deshotels...

    Case prison : deux doubles de suite ou la case enhaut a gauche

    Y a-t-il une strategie optimale ?

    Chaque case du plateau est un etat de la chane.

    les probabilites de transition sont donnees par les jets de de.

    H. Richard (UPMC, LGM) Chane de Markov - 2 6 / 16

  • Le monopoly

    Le Monopoly et chane de Markov

    Principe du Monopoly

    on peut facilement integrer la case prison et les cartes chance et caisse de communaute.

    Peut on decrire le systeme apres quelques tours de jeu ?

    H. Richard (UPMC, LGM) Chane de Markov - 2 7 / 16

  • Etude en regime permanentCe qui nous interesse ici est le comportement de la chane de Markov si on laisse se derouler leprocessus durant un temps tres important.Que peut-on dire de la possition du systeme ? Suit-il une loi de probabilite particuliere ?En notant (n) le vecteur de probabilite du systeme a linstant n, on se rappelle que :

    (n+1) = (n) P = (0) Pn

    Definition (distribution de probabilite invariante)

    Une distribution de probabilite est invariante pour la chane de Markov siet seulement si elle secrit comme le vecteur et :

    = Pi.e. : est un vecteur propre de PT pour la valeur propre 1

    En supposant que ((n))nN converge vers alors :

    = limn(n) = (0) limnPn = (0) PPropriete

    ((n))nN converge vers independamment de (0) si et seulement si

    limnP(n) = P, matrice dont toutes les lignes sont egales entre elles (etegalent a ).

    H. Richard (UPMC, LGM) Chane de Markov - 2 8 / 16

  • Ergodicite

    Definition (Chane de Markov ergodique)

    Une chane de Markov est ergodique si et seulement si elle est irreductible,aperiodique et recurente positive.

    Theoreme (theoreme ergodique)

    Une chane de Markov ergodique est telle que ((n))nN converge, quelquesoit (0), vers verifiant : {

    P = 1 = 1

    De plus, j =1

    MjAutrement dit, la proportion des instants ou la chane se trouve dans letait j tend vers j avecprobabilite 1. Pour presque toutes les trajectoires, la moyenne temporelle est identique a lamoyenne spatiale.

    H. Richard (UPMC, LGM) Chane de Markov - 2 9 / 16

  • Exemple 1

    P =

    0.25 0 0.750.25 0.25 0.50.25 0.5 0.25

    2

    0.25

    0.75

    0.25

    0.25

    0.250.50.5

    0.25

    1 3

    1 2 3n = 0 1 0 0n = 1 0.25 0 0.75n = 2 0.25 0.375 0.375n = 3 0.25 0.28125 0.46875n = 4 0.25 0.30469 0.44531n = 5 0.25 0.29883 0.45117n = 6 0.25 0.30029 0.44971n = 7 0.25 0.29993 0.45007n = 8 0.25 0.30002 0.44998n = 9 0.25 0.30000 0.45000

    0.25 0.30000 0.45000 0.25 0.30000 0.45000

    irreductible, aperiodique, a etat fini recurrente positive.P = limnPn =

    0.25 0.3 0.450.25 0.3 0.450.25 0.3 0.45

    = [0.25, 0.3, 0.45]

    H. Richard (UPMC, LGM) Chane de Markov - 2 10 / 16

  • Exemple 2

    P =

    (0 11 0

    )

    1 2

    1 2n = 0 1 0n = 1 0 1n = 2 1 0n = 3 0 1n = 4 1 0

    0 1 1 0

    irreductible, periodique,

    P2k =

    (0 11 0

    )et P2k+1 =

    (1 00 1

    ): pas de P.

    = [0.5, 0.5] est bien une distribution invariante.

    Aucune convergence vers , sauf si (0) = (processus stationnaire)

    H. Richard (UPMC, LGM) Chane de Markov - 2 11 / 16

  • Exemple 3

    P =

    1 0 0 00.5 0 0.5 00 0.5 0 0.50 0 0 1

    1

    0.5

    0.5

    0.5

    3

    0.5

    2 4

    1 2 3 4n = 0 0.25 0.25 0.25 0.25n = 1 0.375 0.125 0.125 0.375n = 2 0.4375 0.0625 0.0625 0.4375n = 3 0.46875 0.03125 0.03125 0.46875n = 4 0.484375 0.015625 0.015625 0.484375

    0.5 0 0 0.5

    reductible composantes irreductibles : {1},{23},{4}. absorbants : {1} et {4}

    P = limnPn =

    1 0 0 00.67 0 0 0.330.33 0 0 0.670 0 0 1

    = (0) P =1 +232 +

    133, 0, 0, 4 +

    233 +

    132

    Depend de (0) !

    H. Richard (UPMC, LGM) Chane de Markov - 2 12 / 16

  • Le monopoly

    Monopoly et chane de Markov

    Le calculs des premieres puissance de la matrice de transition permettent de voirloccupation attendue des cases pendant les premiers tours de jeu

    La chane de markov associee au Monopoly est bien irreductible et aperiodique, la loistationnaire permet de connatre les meilleurs investissements en moyenne.

    H. Richard (UPMC, LGM) Chane de Markov - 2 13 / 16

  • Utilisation des chanes de Markov : introduction a MCMC

    Probleme : Estimer EP(f )La solution theorique : EP(f ) =

    x f (x) P(x).

    Comment faire sur un espace de grande taille, difficile a enumerer ?

    Les methodes MCMC creent une longue chane de Markov ergodique(Xn)nN, dont la loi

    est la loi P requise. On peut alors utiliser lesdifferents Xn comme des v.a. distribues suivant P :

    Si Xn P, EP(f ) =1N

    n f (xn).

    Convergence dapres la loi des grands nombres : il faut que N soit suffisamment grand.

    H. Richard (UPMC, LGM) Chane de Markov - 2 14 / 16

  • Historique

    Les methodes MCMC sont apparues dans les annees 50-60 pour laphysique statisitque. [Metropolis et al. 1953]

    1970 : article precurseur de Hastings.

    1984 : Echantillonneur de Gibbs [Geman and Geman, 1984]

    1990 : apparition des methodes MCMC dans la litterature statistique etdanalyse du signal [Gelfand and Smith, 1990]

    H. Richard (UPMC, LGM) Chane de Markov - 2 15 / 16

  • Extension des chanes de Markov : Chane de MarkovcacheeLes modeles de Markov caches (HMM) sont une autre evolution possible des chanes de Markov.Ces nouveaux modeles se basent cette fois sur deux processus stochastiques dependants lun delautre.Letat du systeme nest plus directement observable ; il est cache par un processus dobservation.

    Un ou deux des ?Un joueur peut lancer un de (avec un resultat de 1 a 6) ou deux des (avec un resultat de 2 a 12).Sachant le lancer choisi, il est donc facile de predire le resultat attendu. Si, maintenant, lelanceur se trouve derriere un rideau, et annonce simplement le resultat, comment peut-ondeterminer sil a lance 1 ou 2 des ?A partir dune sequence dobservations, quelle est la sequence detats correspondante ?

    modelisation

    Une chane de Markov cachee est definie par :

    S : ensemble detats

    P(Xt | Xt1) : la matrice de transition pour letat

    P(O | X ) : la distribution de probabilite de lobservation, sachantletat.

    H. Richard (UPMC, LGM) Chane de Markov - 2 16 / 16