38
MÉTHODE DE MONTE C ARLO PAR CHAÎNE DE MARKOV . Alexandre Popier Université du Maine, Le Mans A. Popier (Université du Maine) MCMC. 1 / 31

Méthode de Monte Carlo par chaîne de Markov.perso.univ-lemans.fr/~apopier/enseignement/cours_div/...matrice de transition P sur espace d’étatsfini ou dénombrable E, (Xx n) 2N:

  • Upload
    others

  • View
    1

  • Download
    0

Embed Size (px)

Citation preview

Page 1: Méthode de Monte Carlo par chaîne de Markov.perso.univ-lemans.fr/~apopier/enseignement/cours_div/...matrice de transition P sur espace d’étatsfini ou dénombrable E, (Xx n) 2N:

MÉTHODE DE MONTE CARLO PAR CHAÎNE DE

MARKOV.

Alexandre Popier

Université du Maine, Le Mans

A. Popier (Université du Maine) MCMC. 1 / 31

Page 2: Méthode de Monte Carlo par chaîne de Markov.perso.univ-lemans.fr/~apopier/enseignement/cours_div/...matrice de transition P sur espace d’étatsfini ou dénombrable E, (Xx n) 2N:

PLAN DU COURS

1 RAPPELS SUR LES CHAÎNES DE MARKOVThéorème ergodiqueVitesse de convergence ?

2 ALGORITHME DE PROPP-WILSON

3 ALGORITHME DE METROPOLIS-HASTINGS

4 ÉCHANTILLONNAGE DE GIBBS

A. Popier (Université du Maine) MCMC. 2 / 31

Page 3: Méthode de Monte Carlo par chaîne de Markov.perso.univ-lemans.fr/~apopier/enseignement/cours_div/...matrice de transition P sur espace d’étatsfini ou dénombrable E, (Xx n) 2N:

INTRODUCTION.

BUT

Calculer une espérance E(X ) avec X de loi donnée (dite cible).

REMARQUE : pas nécessaire de simuler un échantillon suivant la loicible (échantillonnage d’importance).LOIS MAL CONNUES.

Modèles avec probabilité connue à constante près : mécaniquestatistique, Ising :

f (s) ∝ exp

−H∑

i

si − J∑

(i,j)∈E

sisj

, si ∈ {−1,1}.

A. Popier (Université du Maine) MCMC. 3 / 31

Page 4: Méthode de Monte Carlo par chaîne de Markov.perso.univ-lemans.fr/~apopier/enseignement/cours_div/...matrice de transition P sur espace d’étatsfini ou dénombrable E, (Xx n) 2N:

INTRODUCTION.

BUT

Calculer une espérance E(X ) avec X de loi donnée (dite cible).

LOIS MAL CONNUES.

Inférence statistique : soit X = (X1, . . . ,Xn) un n-échantillon de loide densité connue à un paramètre θ près.Approche bayésienne : θ v.a. de loi - appelée loi a priori - dedensité π(θ).Loi de θ sachant X dite loi a posteriori :

π(θ|X=x)(θ) =π(θ)f(X |θ)(x)∫

Θ π(θ)f(X |θ)(x)dθ∝ π(θ)f(X |θ)(x),

avec f(X |θ) densité conditionnelle de X sachant θ.

A. Popier (Université du Maine) MCMC. 3 / 31

Page 5: Méthode de Monte Carlo par chaîne de Markov.perso.univ-lemans.fr/~apopier/enseignement/cours_div/...matrice de transition P sur espace d’étatsfini ou dénombrable E, (Xx n) 2N:

INTRODUCTION.

BUT

Calculer une espérance E(X ) avec X de loi donnée (dite cible).

LOIS MAL CONNUES.

Inférence statistique : soit X = (X1, . . . ,Xn) un n-échantillon de loide densité connue à un paramètre θ près.Approche bayésienne : Estimateur bayésien :

T ∗(x) = argminT

∫Θ

L(θ,T (x))π(θ|X=x)dθ, p.p.

Exemple : L(θ,T (x)) = ‖θ − T (x)‖2 ⇒ T ∗(x) = E(θ|X = x).

A. Popier (Université du Maine) MCMC. 3 / 31

Page 6: Méthode de Monte Carlo par chaîne de Markov.perso.univ-lemans.fr/~apopier/enseignement/cours_div/...matrice de transition P sur espace d’étatsfini ou dénombrable E, (Xx n) 2N:

MÉTHODE MCMC.

DÉFINITION

On appelle algorithme MCMC (pour Monte Carlo Markov Chain) touteméthode produisant une chaîne de Markov (X (n)) ergodique de loistationnaire la distribution cible.

REMARQUE : structure lourde, maisnaturelle dans algorithmes d’optimisation stochastique(Robbins-Moro, recuit simulé, algorithmes génétiques) ;parfois seule possibilité (inférence statistique) ou plus efficacequ’un algorithme de rejet.

A. Popier (Université du Maine) MCMC. 4 / 31

Page 7: Méthode de Monte Carlo par chaîne de Markov.perso.univ-lemans.fr/~apopier/enseignement/cours_div/...matrice de transition P sur espace d’étatsfini ou dénombrable E, (Xx n) 2N:

PLAN

1 RAPPELS SUR LES CHAÎNES DE MARKOVThéorème ergodiqueVitesse de convergence ?

2 ALGORITHME DE PROPP-WILSON

3 ALGORITHME DE METROPOLIS-HASTINGS

4 ÉCHANTILLONNAGE DE GIBBS

A. Popier (Université du Maine) MCMC. 5 / 31

Page 8: Méthode de Monte Carlo par chaîne de Markov.perso.univ-lemans.fr/~apopier/enseignement/cours_div/...matrice de transition P sur espace d’étatsfini ou dénombrable E, (Xx n) 2N:

PLAN

1 RAPPELS SUR LES CHAÎNES DE MARKOVThéorème ergodiqueVitesse de convergence ?

2 ALGORITHME DE PROPP-WILSON

3 ALGORITHME DE METROPOLIS-HASTINGS

4 ÉCHANTILLONNAGE DE GIBBS

A. Popier (Université du Maine) MCMC. 6 / 31

Page 9: Méthode de Monte Carlo par chaîne de Markov.perso.univ-lemans.fr/~apopier/enseignement/cours_div/...matrice de transition P sur espace d’étatsfini ou dénombrable E, (Xx n) 2N:

THÉORÈME ERGODIQUE.

NOTATIONS :

matrice de transition P sur espace d’états fini ou dénombrable E ,(X x

n )n∈N : chaîne de Markov d’état initial x et de matrice detransition P.Une mesure π sur E est un vecteur dont tous les termes sontpositifs. Elle est invariante si πP = π.

Une probabilité π est une mesure telle que∑

E

π(x) = 1.

Une probabilité π est réversible si

∀(x , y) ∈ E2, πyP(y , x) = πxP(x , y).

Alors elle est invariante.

A. Popier (Université du Maine) MCMC. 7 / 31

Page 10: Méthode de Monte Carlo par chaîne de Markov.perso.univ-lemans.fr/~apopier/enseignement/cours_div/...matrice de transition P sur espace d’étatsfini ou dénombrable E, (Xx n) 2N:

THÉORÈME ERGODIQUE.

NOTATIONS :matrice de transition P sur espace d’états fini ou dénombrable E ,(X x

n )n∈N : chaîne de Markov d’état initial x et de matrice detransition P.

THÉORÈME ERGODIQUE

Soit P une matrice de transition irréductible. On suppose qu’il existeune probabilité invariante π. Alors :

1 π est l’unique probabilité invariante et π(x) > 0 pour tout x ∈ E .2 Tous les états sont récurrents (chaîne dite récurrence positive).3 Pour tout état x ∈ E et toute fonction f : E → R telle que∑

E |f (x)|π(x) < +∞

limn→+∞

1n

n∑k=1

f (X xk ) =

∑E

f (x)π(x), P− p.s.

A. Popier (Université du Maine) MCMC. 7 / 31

Page 11: Méthode de Monte Carlo par chaîne de Markov.perso.univ-lemans.fr/~apopier/enseignement/cours_div/...matrice de transition P sur espace d’étatsfini ou dénombrable E, (Xx n) 2N:

PRINCIPE.

MÉTHODE

Pour calculer une intégrale par rapport à π,remplacer la simulation d’une suite de v.a. i.i.d. de loi π par celled’une chaîne de Markov irréductible de probabilité invariante π,puis la loi forte des grands nombres par le théorème ergodique.

PROBLÈME : il n’existe pas d’analogue du théorème central limite,permettant d’obtenir la vitesse de convergence dans le théorèmeergodique ("toutes" les vitesses sont possibles !).

A. Popier (Université du Maine) MCMC. 8 / 31

Page 12: Méthode de Monte Carlo par chaîne de Markov.perso.univ-lemans.fr/~apopier/enseignement/cours_div/...matrice de transition P sur espace d’étatsfini ou dénombrable E, (Xx n) 2N:

PLAN

1 RAPPELS SUR LES CHAÎNES DE MARKOVThéorème ergodiqueVitesse de convergence ?

2 ALGORITHME DE PROPP-WILSON

3 ALGORITHME DE METROPOLIS-HASTINGS

4 ÉCHANTILLONNAGE DE GIBBS

A. Popier (Université du Maine) MCMC. 9 / 31

Page 13: Méthode de Monte Carlo par chaîne de Markov.perso.univ-lemans.fr/~apopier/enseignement/cours_div/...matrice de transition P sur espace d’étatsfini ou dénombrable E, (Xx n) 2N:

THÉORÈME CENTRAL LIMITE.

THÉORÈME

Soient(Xn)n∈N chaîne irréductible de matrice de transition P,π l’unique probabilité invariante.

Alors il existe σf ≥ 0 tel que la suite√

n

(1n

n−1∑k=0

f (Xk )−∑

E

f (x)π(x)

)converge en loi vers σf Z , avec Z ∼ N (0,1).

A. Popier (Université du Maine) MCMC. 10 / 31

Page 14: Méthode de Monte Carlo par chaîne de Markov.perso.univ-lemans.fr/~apopier/enseignement/cours_div/...matrice de transition P sur espace d’étatsfini ou dénombrable E, (Xx n) 2N:

THÉORÈME CENTRAL LIMITE.

CALCUL DE σf : f doit vérifier les hypothèses du théorème ergodique.On pose

f̄ = f −∑

E f (x)π(x),et pour i ∈ E ,

(Qf )x =+∞∑n=0

Ex (f̄ (Xn)).

Alors (I − P)Qf̄ = f̄ et

σ2f =

∑x∈E

µx ((Qf̄ )x )2 −∑x∈E

µx (PQf̄ )2x

= 2∑x∈E

µx (Qf̄ )x f̄x −∑x∈E

µx f̄ 2x .

A. Popier (Université du Maine) MCMC. 10 / 31

Page 15: Méthode de Monte Carlo par chaîne de Markov.perso.univ-lemans.fr/~apopier/enseignement/cours_div/...matrice de transition P sur espace d’étatsfini ou dénombrable E, (Xx n) 2N:

APÉRIODICITÉ.

DÉFINITION

Un état x est apériodique s’il existe N ∈ N tel que (Pn)(x , x) > 0 pourtout n ≥ N.

LEMME

Si P est irréductible et s’il existe un état apériodique x, alors pour tout(y , z) ∈ E2, il existe M ∈ N tel que (Pn)(y , z) > 0 pour n ≥ M. Enparticulier tous les états sont apériodiques.

THÉORÈME (KOLMOGOROV)Soient P une matrice irréductible, récurrente positive et apériodique etπ l’unique probabilité invariante. Alors pour tout x ∈ E ,

limn→+∞

P(Xn = x) = πx .

A. Popier (Université du Maine) MCMC. 11 / 31

Page 16: Méthode de Monte Carlo par chaîne de Markov.perso.univ-lemans.fr/~apopier/enseignement/cours_div/...matrice de transition P sur espace d’étatsfini ou dénombrable E, (Xx n) 2N:

DANS LE CAS FINI.

THÉORÈME

Soient(Xn)n∈N irréductible apériodique sur un espace d’états E fini,de matrice de transition P avec λ1 = 1 > λ2 > . . . > λd > −1valeurs propres de P,α = sup{|λi |, 2 ≤ i ≤ d} ∈]0,1[,et π l’unique probabilité réversible.

Alors pour tout x ∈ E , tout n ≥ 1 et tout f : E → R, avec

Eπ(f ) =∑x∈E

f (x)π(x), Var π(f ) =∑x∈E

[f (x)− Eπ(f )]2 π(x),

on obtient : [E(f (Xn)|X0 = x)− Eπ(f )]2 ≤ α2n

π(x)Var π(f ).

A. Popier (Université du Maine) MCMC. 12 / 31

Page 17: Méthode de Monte Carlo par chaîne de Markov.perso.univ-lemans.fr/~apopier/enseignement/cours_div/...matrice de transition P sur espace d’étatsfini ou dénombrable E, (Xx n) 2N:

CONDITION DE DOEBLIN.

Pour tout (x , y) ∈ E2, limn→+∞

(Pn)(x , y) = µy .

CONDITION DE DOEBLIN : il existe une mesure non nulle π sur E etn0 ∈ N tels que :

∀(x , y) ∈ E2, (Pn0)(x , y) ≥ my .

NOTATION : β =∑x∈E

mx .

I Si E est fini :

LEMME

Soit P irréductible et apériodique. La condition de Doeblin estsatisfaite.

I Quand E est infini, en général pour tout n ∈ N et tout y ∈ E ,inf

x∈E(Pn)(x , y) = 0.

A. Popier (Université du Maine) MCMC. 13 / 31

Page 18: Méthode de Monte Carlo par chaîne de Markov.perso.univ-lemans.fr/~apopier/enseignement/cours_div/...matrice de transition P sur espace d’étatsfini ou dénombrable E, (Xx n) 2N:

CONVERGENCE EXPONENTIELLE.

THÉORÈME

Supposons P irréductible et vérifiant la condition de Doeblin. Alors Pest récurrente positive et apériodique, et si π désigne sa probabilitéinvariante, pour tout i ∈ E et n ∈ N :∑

y∈E

|(Pn)(x , y)− πy | ≤ 2(1− β)[n/n0].

Pour α ∈ R, [α] est la partie entière de α.

A. Popier (Université du Maine) MCMC. 14 / 31

Page 19: Méthode de Monte Carlo par chaîne de Markov.perso.univ-lemans.fr/~apopier/enseignement/cours_div/...matrice de transition P sur espace d’étatsfini ou dénombrable E, (Xx n) 2N:

MCMC.

MÉTHODE

Pour calculer une intégrale par rapport à π,simuler une chaîne irréductible de probabilité réversible π,utiliser le théorème ergodique,contrôler l’erreur via un des résultats précédents.

PROBLÈME : σf , n0, β, α, Var π(f ) ne sont pas calculables.

EN PRATIQUE :simuler en faisant démarrer d’un état quelconque, jusqu’à uninstant N : préchauffage ;évaluer f (XN+κM), κ ≥ 1 (M inférieur à N) : les XN+κM sont"presque" indépendantes (propriété de mélange) ;

poser1K

K∑κ=1

f (XN+κM).

A. Popier (Université du Maine) MCMC. 15 / 31

Page 20: Méthode de Monte Carlo par chaîne de Markov.perso.univ-lemans.fr/~apopier/enseignement/cours_div/...matrice de transition P sur espace d’étatsfini ou dénombrable E, (Xx n) 2N:

PLAN

1 RAPPELS SUR LES CHAÎNES DE MARKOVThéorème ergodiqueVitesse de convergence ?

2 ALGORITHME DE PROPP-WILSON

3 ALGORITHME DE METROPOLIS-HASTINGS

4 ÉCHANTILLONNAGE DE GIBBS

A. Popier (Université du Maine) MCMC. 16 / 31

Page 21: Méthode de Monte Carlo par chaîne de Markov.perso.univ-lemans.fr/~apopier/enseignement/cours_div/...matrice de transition P sur espace d’étatsfini ou dénombrable E, (Xx n) 2N:

RAPPEL.

PROPOSITION

Soit (Xn)n∈N la chaîne de Markov de matrice de transition P. Alors ilexiste une application f : [0,1]× E → E t.q. pour tout n

Xn+1 = f (Xn,Un), avec Un uniforme sur [0,1].

Alors P(x , y) = P(f (Un, x) = y).

Pour (Un)n suite de v.a. i.i.d. : fn = fUn = f (Un, .) : E → E et

Dn = fU1 ◦ . . . ◦ fUn , Gn = fUn ◦ . . . ◦ fU1 .

ALGORITHMES CLASSIQUES : simuler Gn.ALGORITHME DE PROPP-WILSON : simuler Dn !

A. Popier (Université du Maine) MCMC. 17 / 31

Page 22: Méthode de Monte Carlo par chaîne de Markov.perso.univ-lemans.fr/~apopier/enseignement/cours_div/...matrice de transition P sur espace d’étatsfini ou dénombrable E, (Xx n) 2N:

L’ALGORITHME.

ALGORITHME DE PROPP-WILSON

1 D0(x) = x pour tout x .2 Si pour 0 ≤ k ≤ n, Dk simulée, et si Dn n’est pas constante, alors

tirer Un+1 uniforme sur [0,1],Dn+1 = Dn ◦ fn+1.

RÉSULTAT : si l’algorithme s’arrête, le résultat est la v.a. Z = DT (x)avec

T = inf {n ∈ N,Dn constante} .

C’est le temps de coalescence de Dn.

A. Popier (Université du Maine) MCMC. 18 / 31

Page 23: Méthode de Monte Carlo par chaîne de Markov.perso.univ-lemans.fr/~apopier/enseignement/cours_div/...matrice de transition P sur espace d’étatsfini ou dénombrable E, (Xx n) 2N:

ÉTUDE THÉORIQUE.

THÉORÈME

Si P est irréductible et apériodique, et si T < +∞ p.s., alors Z estdistribuée selon la probabilité invariante π.

PROBLÈMES :Coalescence de Dn ?

I Pas toujours vérifiée.I Hypothèse suffisante :∀A ⊂ E , |A| > 1 =⇒ P(|f (A,Un)| < |A|) ≥ α > 0.

Pour E de grande taille, difficile à mettre en œuvre (calculsd’images longs).En pratique ne calculer que l’image de quelques points ets’arrrêter lorsque les images de ces points sont les mêmes.

A. Popier (Université du Maine) MCMC. 19 / 31

Page 24: Méthode de Monte Carlo par chaîne de Markov.perso.univ-lemans.fr/~apopier/enseignement/cours_div/...matrice de transition P sur espace d’étatsfini ou dénombrable E, (Xx n) 2N:

PLAN

1 RAPPELS SUR LES CHAÎNES DE MARKOVThéorème ergodiqueVitesse de convergence ?

2 ALGORITHME DE PROPP-WILSON

3 ALGORITHME DE METROPOLIS-HASTINGS

4 ÉCHANTILLONNAGE DE GIBBS

A. Popier (Université du Maine) MCMC. 20 / 31

Page 25: Méthode de Monte Carlo par chaîne de Markov.perso.univ-lemans.fr/~apopier/enseignement/cours_div/...matrice de transition P sur espace d’étatsfini ou dénombrable E, (Xx n) 2N:

L’ALGORITHME : LES DONNÉES.

DONNÉES :

matrice de transition Q sur espace d’états fini ou dénombrable E ,avec

Q(x , y) > 0 =⇒ Q(y , x) > 0.

π probabilité sur E ,h :]0,+∞[→]0,1] t.q. h(u) = uh(1/u). Exemples

h(u) = min(1,u), h(u) =u

1 + u.

On définit

α(x , y) =

h(π(y)Q(y , x)

π(x)Q(x , y)

)si Q(x , y) 6= 0,

0 sinon.

A. Popier (Université du Maine) MCMC. 21 / 31

Page 26: Méthode de Monte Carlo par chaîne de Markov.perso.univ-lemans.fr/~apopier/enseignement/cours_div/...matrice de transition P sur espace d’étatsfini ou dénombrable E, (Xx n) 2N:

L’ALGORITHME : DESCRIPTION.

PAR RÉCURRENCE :1 Choisir x0 ∈ E fixé t.q. π(x0) > 0.2 Si pour 0 ≤ k ≤ n, Xk = xk a été calculé, alors :

ALGORITHME

A. Simuler Yn et Un indépendantes de Xk , k ≤ n, et indépendantes t.q.

Yn de loi Q(xn, .), i.e. : ∀y ∈ E , P(Yn = y) = Q(xn, y) ;Un uniforme sur [0, 1].

B. Calculer Xn+1 par la règle :

si Un ≤ α(Xn,Yn), Xn+1 = Yn : transition acceptée ;si Un > α(Xn,Yn), Xn+1 = Xn : transition rejetée.

A. Popier (Université du Maine) MCMC. 22 / 31

Page 27: Méthode de Monte Carlo par chaîne de Markov.perso.univ-lemans.fr/~apopier/enseignement/cours_div/...matrice de transition P sur espace d’étatsfini ou dénombrable E, (Xx n) 2N:

L’ALGORITHME : REMARQUES.

La chaîne ainsi créée ne visite que les états t.q. π(x) > 0.Pas de problème de division par zéro dans h.Choix de Q :

I doit respecter les propriétés qui suivent,I doit faire en sorte que les Yn "faciles" à simuler.

Choix de x0 : sans véritable importance.

A. Popier (Université du Maine) MCMC. 23 / 31

Page 28: Méthode de Monte Carlo par chaîne de Markov.perso.univ-lemans.fr/~apopier/enseignement/cours_div/...matrice de transition P sur espace d’étatsfini ou dénombrable E, (Xx n) 2N:

ÉTUDE DE LA CHAÎNE CONSTRUITE.

PROPOSITION

Le processus (Xn) est une chaîne de Markov de matrice de transitionP définie par

P(x , y) = Q(x , y)α(x , y) = Q(x , y)h(π(y)Q(y , x)

π(x)Q(x , y)

), si x 6= y ,

P(x , x) = 1−∑y 6=x

P(x , y).

De plus π est une probabilité réversible pour P.

PROPOSITION

Si Q est irréductible, alors la matrice de transition P est irréductible.Si Q est apériodique, ou si h < 1, alors P est apériodique.

A. Popier (Université du Maine) MCMC. 24 / 31

Page 29: Méthode de Monte Carlo par chaîne de Markov.perso.univ-lemans.fr/~apopier/enseignement/cours_div/...matrice de transition P sur espace d’étatsfini ou dénombrable E, (Xx n) 2N:

DIFFÉRENTS CAS.

ALGORITHME DE METROPOLIS ou symétrique :

PROPOSITION (ALGORITHME DE METROPOLIS)Soit π une probabilité non constante sur E, Q une matrice de transitionsymétrique irréductible. Alors la matrice de transition P est irréductibleapériodique.

PROCÉDURE DE TEST :

α(x , y) = min(

1,π(y)

π(x)

).

"Optimal" si π(Yn)/π(Xn) pas trop petit...

A. Popier (Université du Maine) MCMC. 25 / 31

Page 30: Méthode de Monte Carlo par chaîne de Markov.perso.univ-lemans.fr/~apopier/enseignement/cours_div/...matrice de transition P sur espace d’étatsfini ou dénombrable E, (Xx n) 2N:

DIFFÉRENTS CAS.

ALGORITHME INDÉPENDANT : Q(x , y) = q(y) (toutes les lignes sontégales).

α(x , y) = min(

1,π(y)q(x)

π(x)q(y)

).

Valeur de Yn indépendante de Xn ;mais rejet dépendant de Xn.

PROPOSITION

Si q est strictement positive (presque partout sur le support de π), lamatrice de transition P est irréductible apériodique.

A. Popier (Université du Maine) MCMC. 25 / 31

Page 31: Méthode de Monte Carlo par chaîne de Markov.perso.univ-lemans.fr/~apopier/enseignement/cours_div/...matrice de transition P sur espace d’étatsfini ou dénombrable E, (Xx n) 2N:

DIFFÉRENTS CAS.

ALGORITHME À MARCHE ALÉATOIRE : Q(x , y) = q(y − x).

α(x , y) = min(

1,π(y)q(x − y)

π(x)q(y − x)

).

Si q est symétrique, q(t) = q(−t),

α(x , y) = min(

1,π(y)

π(x)

).

EXEMPLE : q(t) =12

(δ1 + δ−1).

PROPOSITION

Si q est non nulle sur un "voisinage" de 0, la matrice de transition P estirréductible apériodique.

A. Popier (Université du Maine) MCMC. 25 / 31

Page 32: Méthode de Monte Carlo par chaîne de Markov.perso.univ-lemans.fr/~apopier/enseignement/cours_div/...matrice de transition P sur espace d’étatsfini ou dénombrable E, (Xx n) 2N:

CAS DES MESURES DE GIBBS.

DÉFINITION

Soit E fini, β > 0 constante et V : E → R fonction. La mesure de Gibbsassociée à β et V est définie par :

π(x) =exp(−βV (x))

où Zβ est la constante de normalisation : Zβ =∑x∈E

exp(−βV (x)).

PROPOSITION

Ces probabilités maximisent l’entropie

H(µ) = −∑x∈E

µ(x) ln(µ(x)), avec y ln(y) = 0 si y = 0,

parmi les probabilités µ t.q.∑

x∈E V (x)µ(x) = C fixée.

A. Popier (Université du Maine) MCMC. 26 / 31

Page 33: Méthode de Monte Carlo par chaîne de Markov.perso.univ-lemans.fr/~apopier/enseignement/cours_div/...matrice de transition P sur espace d’étatsfini ou dénombrable E, (Xx n) 2N:

CAS DES MESURES DE GIBBS.

DÉFINITION

Soit E fini, β > 0 constante et V : E → R fonction. La mesure de Gibbsassociée à β et V est définie par :

π(x) =exp(−βV (x))

où Zβ est la constante de normalisation : Zβ =∑x∈E

exp(−βV (x)).

Choisir Q symétrique et irréductible ;alors :

α(x , y) = min(1, π(y)/π(x)) = exp(−β(V (y)− V (x))+).

A. Popier (Université du Maine) MCMC. 26 / 31

Page 34: Méthode de Monte Carlo par chaîne de Markov.perso.univ-lemans.fr/~apopier/enseignement/cours_div/...matrice de transition P sur espace d’étatsfini ou dénombrable E, (Xx n) 2N:

EXTENSION À DES ESPACES NON DÉNOMBRABLES.

DÉFINITION

L’algorithme de Metropolis-Hastings associé à la loi cible de densité fet à la loi instrumentale q produit une chaîne de Markov (x (n)) detransition : pour x (n) donné,

1 générer y ∼ q(y |x (n)),2 prendre

x (n+1) =

{y avec probabilité α(x (n), y),

x (n) avec probabilité 1− α(x (n), y),

où α(x , y) = h

(f (y)q(x (n)|y)

f (x (n))q(y |x (n))

).

A. Popier (Université du Maine) MCMC. 27 / 31

Page 35: Méthode de Monte Carlo par chaîne de Markov.perso.univ-lemans.fr/~apopier/enseignement/cours_div/...matrice de transition P sur espace d’étatsfini ou dénombrable E, (Xx n) 2N:

PLAN

1 RAPPELS SUR LES CHAÎNES DE MARKOVThéorème ergodiqueVitesse de convergence ?

2 ALGORITHME DE PROPP-WILSON

3 ALGORITHME DE METROPOLIS-HASTINGS

4 ÉCHANTILLONNAGE DE GIBBS

A. Popier (Université du Maine) MCMC. 28 / 31

Page 36: Méthode de Monte Carlo par chaîne de Markov.perso.univ-lemans.fr/~apopier/enseignement/cours_div/...matrice de transition P sur espace d’étatsfini ou dénombrable E, (Xx n) 2N:

DISTINCTION AVEC METROPOLIS-HASTINGS.

Taux d’acceptation uniformément égal à 1. Critères sur tauxd’acceptation optimaux non valables. Convergence à établirsuivant d’autres crières.

Limitations fortes sur le choix des paramètres des loisinstrumentales. Connaissance préalable de certaines propriétés(probabilistes ou analytiques) de la loi cible.

Nécessairement multidimensionnel.

Ne fonctionne pas lorsque le nombre de variables est variable.

A. Popier (Université du Maine) MCMC. 29 / 31

Page 37: Méthode de Monte Carlo par chaîne de Markov.perso.univ-lemans.fr/~apopier/enseignement/cours_div/...matrice de transition P sur espace d’étatsfini ou dénombrable E, (Xx n) 2N:

STRUCTURE DE L’ALGORITHME.

HYPOTHÈSES :

il existe p > 1 t.q. x dans l’espace d’états se décompose en(x1, x2, . . . , xp) ;les densités conditionnelles correspondantes sont simumlables.

ALGORITHME D’ÉCHANTILLONNAGE DE GIBBS.Transition de x (n) à x (n+1) :

1. x (n+1)1 ∼ f1(x1|x

(n)2 , . . . , x (n)

p ),

2. x (n+1)2 ∼ f2(x2|x

(n+1)1 , x (n)

3 , . . . , x (n)p ),

....P. x (n+1)

p ∼ fp(xp|x (n+1)1 , . . . , x (n+1)

p−1 ).

A. Popier (Université du Maine) MCMC. 30 / 31

Page 38: Méthode de Monte Carlo par chaîne de Markov.perso.univ-lemans.fr/~apopier/enseignement/cours_div/...matrice de transition P sur espace d’étatsfini ou dénombrable E, (Xx n) 2N:

ANALYSE DE L’ALGORITHME.

THÉORÈME.L’algorithme d’échantillonnage de Gibbs admet f comme loi invariante,donc limite si la chaîne produite est ergodique.

THÉORÈME.L’algorithme d’échantillonnage de Gibbs correspond à la compositionde p algorithmes de Metropolis-Hastings de probabilités d’acceptationuniformément égales à 1.

LEMME (HAMMERSLEY-CLIFFORD)La connaissance de toutes les lois conditionnelles permet de calculerla loi jointe (sous une condition dite de positivité).

A. Popier (Université du Maine) MCMC. 31 / 31