Appunti sulle

Catene di Markov

Calcolo delle Probabilita, L.S. in Informatica, A.A. 2006/2007

A.Calzolari

1

Indice

1 Definizioni di base 3

2 Classificazione degli stati 20

3 Misure invarianti e proprieta ergodiche 49

4 Esercizio di riepilogo 80

2

1 Definizioni di base

1 Richiami sull’indipendenza stocasticaper eventi e variabili aleatorie

Dato uno spazio di probabilita (Ω,F , P), due eventi A e B in F sonoindipendenti se e solo se

P(A ∩B) = P(A)P(B).

Allora una condizione sufficiente per l’indipendenza e che almeno unodei due eventi abbia probabilita nulla; la condizione diventa anchenecessaria se gli eventi sono incompatibili, ovvero A ∩B = ∅.

Se P(B) 6= 0, si definisce la probabilita condizionata di A dato B

P(A|B) =P(A ∩B)

P(B)

e A e B sono indipendenti se solo se P(A|B) = P(A).

Sia Ai, i = 1, . . . , n una famiglia di eventi: essi si dicono indipen-denti se per ogni k ≤ n e per ogni scelta di indici i1, . . . , ik

P( k⋂

j=1

Aij

)=

k∏

j=1

P(Aij ).

L’indipendenza implica per ogni k ≤ n e per ogni scelta di indicii1, . . . , ik

P(Aik | Aik−1∩ . . . ∩Ai1) = P(Aik),

quando la probabilita condizionata ha senso. Una famiglia numer-abile di eventi si dice costituita da eventi indipendenti se ogni suasottofamiglia finita lo e.

Vale la seguente formula (formula del prodotto): se e n ≥ 2

P(A1 ∩A2 ∩ . . . ∩An) =

P(An | An−1∩An−2∩. . .∩A1)P(An−1 | An−2∩. . .∩A1) . . .P(A2 | A1)P(A1)

(se le probabilita condizionate hanno senso). Si usera la seguentenotazione:

P(A ∩B) = P(A,B)

cosı p.es.

P(A1, A2, A3) = P(A3 | A2, A1)P(A2 | A1)P(A1).

3

Si dimostra la formula del prodotto per induzione: per n = 2 e imme-diata dalla definizione di probabilita condizionata; assunta vera per n,vale per n+1, infatti applicando la formula del prodotto ai due eventiA1 ∩A2 ∩ . . . ∩An e An+1

P(A1, A2, . . . , An, An+1) = P(An+1 | An, . . . , A1)P(An, . . . , A1)

e si conclude applicando l’ipotesi induttiva.

X1, . . . , Xm variabili aleatorie reali definite sullo stesso spazio di prob-abilita (Ω,F , P ) sono indipendenti:nel caso discreto (cioe quando le v.a. assumono una quantita al piu nu-merabile di valori) se e solo se comunque scelti i valori reali x1, . . . , xm,

P(X1 = x1, . . . , Xm = xm) =m∏

j=1

P(Xj = xj);

nel caso continuo (cioe quando la funzione di distribuzione e una fun-zione continua che si ottiene integrando una funzione densita) se e solose comunque scelti i valori reali x1, . . . , xm

P(X1 ≤ x1, . . . , Xm ≤ xm) =m∏

j=1

P(Xj ≤ xj).

Si puo facilmente dimostrare che questo equivale a dire che sono in-dipendenti nel caso discreto gli eventi della forma Xi = xi e nel casocontinuo gli eventi della forma Xi ≤ xi, al variare comunque di ie xi. Cosı, p.es., nel caso discreto l’indipendenza implica, per ognik ≤ m e per ogni scelta di indici i1, . . . , ik e di valori xi1 , . . . , xik,

P(Xik = xik | Xik−1= xik−1

, . . . , Xi1 = xi1) = P(Xik = xik).

Indipendenza di famiglie infinite di variabili: e quando qualsiasi sot-tofamiglia finita verifica l’indipendenza.

Variabili aleatorie indipendenti e tutte con la stessa legge di probabilitasi dicono indipendenti e identicamente distribuite e questo si abbreviacon i.i.d.

Si puo dimostrare ([1]) che:

Teorema Se le variabili aleatorie reali X1, . . . , Xm, Y1, . . . , Yk sono in-dipendenti, allora sono indipendenti le variabili aleatorie Φ(X1, . . . , Xm)e Ψ(Y1, . . . , Yk) definite tramite le funzioni Φ : Rm → Rl e Ψ : Rk → Rh.

4

2 Definizione di catena di Markov

Sia S un insieme finito o numerabile. Una famiglia (Xn)n di vari-abili aleatorie a valori in S definite tutte sullo stesso spazio di proba-bilita e una catena di Markov se qualsiasi sia n (quando le probabilitacondizionate hanno senso)

P(Xn+1 = j | Xn = i,Xn−1 = in−1, . . . , X0 =i0)= P(Xn+1 = j | Xn = i).

Interpretazione: la conoscenza del valore di Xn puo dare informazionisul valore di Xn+1, ma la conoscenza dei valori di (Xn−1, . . . , X0) nonda ulteriori informazioni.

Gli elementi di S sono gli stati possibili della catena e si puo sempreassumere S ⊆ Z. Si pone

pij(n) = P(Xn+1 = j | Xn = i).

Il parametro n e interpretato come tempo e il numero pij(n) e dettoprobabilita di transizione dallo stato i al tempo n allo stato j al temposuccessivo, n + 1.

Si definiscono catene di Markov omogenee quelle in cui qualsiasi sia ne per ogni i, j

pij(n) = pij .

La matrice (eventualmente infinita) P = (pij)(i,j) e detta matrice delleprobabilita di transizione della catena (o piu brevemente matrice ditransizione) e i suoi elementi soddisfano

pij ≥ 0

e qualsiasi sia i ∑

j

pij = 1.

Una matrice i cui elementi soddisfano le precedenti proprieta si dicematrice stocastica.

3 Esempio di due successioni di variabili aleatorierelative ad un unico esperimento, una Markov e l’altra no

Si estrae una pallina da un bussolotto contenente N palline, di cui NB

sono bianche e NR sono rosse; l’estrazione e casuale con reimmissionedella pallina estratta e di c palline del colore estratto e d del colorenon estratto.

5

a) (Xn)n≥1, con Xn=risultato della n-ma estrazione non e in generaleuna catena di Markov. Qui S = B, R. Si dimostra p.es. che se c 6= d

P(X3 = B | X2 = R) 6= P(X3 = B | X2 = R, X1 = R).

Si haP(X3 = B | X2 = R,X1 = R) =

NB + 2d

N + 2(c + d),

e

P(X3 = B | X2 = R)

=P(X3 = B,X2 = R, X1 = R) + P(X3 = B,X2 = R,X1 = B)

P(X2 = R)

=1

P(X2 = R)

( NB + 2d

N + 2(c + d)NR + c

N + c + d

NR

N+

NB + (c + d)N + 2(c + d)

NR + d

N + c + d

NB

N

),

dove per calcolare ciascuno dei due addendi del numeratore si e utiliz-zata la formula del prodotto, p.es.

P(X3 = B, X2 = R, X1 = R) =

P(X3 = B | X2 = R,X1 = R) P(X2 = R | X1 = R) P(X1 = R).

Poiche P(X2 = R) coincide con

P(X2 = R | X1 = R)P(X1 = R) + P(X2 = R | X1 = B)P(X1 = B)

=NR + c

N + c + d

NR

N+

NR + d

N + c + d

NB

N,

semplificando si ottiene

P(X3 = B | X2 = R)

=(NB + 2d)(NR + c)NR +

(NB + (c + d)

)(NR + d)NB(

N + 2(c + d))(

(NR + c)NR + (NR + d)NB

) .

Dall’uguaglianza P(X3 = B | X2 = R,X1 = R) = P(X3 = B | X2 =R) con semplici passaggi si ottiene

(NB+2d)(1− (NR + c)NR

(NR + c)NR + (NR + d)NB

)=

(NB + (c + d)

)(NR + d)NB

(NR + c)NR + (NR + d)NB.

Risolvendo si trova che l’uguaglianza sussiste solo se c = d. Se fosseper esempio c > d, allora si troverebbe, coerentemente con l’intuizione,P(X3 = B | X2 = R, X1 = R) < P(X3 = B | X2 = R).

6

b) (Xn)n≥1, con Xn=numero di palline bianche nel bussolotto dopola n-ma estrazione e una catena di Markov non omogenea.

Qui S = 0, 1, . . . , NB ed e immediato dalla definizione che

P(Xn+1 = j | Xn = i,Xn−1 = in−1, . . . , X1 = i1) = P(Xn+1 = j | Xn = i)

e in particolare, qualsiasi sia n, la probabilita di transizione pij(n)e nulla se j 6= i + c, i + d, vale i

N+n(c+d) quando j = i + c e vale1− i

N+n(c+d) quando j = i + d.

4 Passeggiata aleatoria sugli interi

Siano ξ1, ξ2, . . . , ξn, . . . variabili aleatorie a valori interi sullo stessospazio di probabilita e i.i.d. di densita f(·) (e quindi f(·) una den-sita discreta su Z). Sia X0 una variabile aleatoria sullo stesso spaziodi probabilita e a valori in Z indipendente dalle altre (p.es. X0 unacostante in Z). Se si definisce

Xn+1 = X0 + ξ1 + ξ2 + . . . + ξn+1, n ≥ 0

allora (Xn)n≥0 e una catena di Markov omogenea detta passeggiataaleatoria in Z.

Questo e il modello per la posizione di una particella che si muove suZ secondo la regola: inizialmente e in Z distribuita secondo la legge diX0 e poi se e in i salta in j con probabilita f(j − i).

Infatti poiche Xn+1 = Xn + ξn+1

P(Xn+1 = j | Xn = i) =P(Xn + ξn+1 = j,Xn = i)

P(Xn = i)= P(ξn+1 = j − i | Xn = i)= P(ξn+1 = j − i | X0 + ξ1 + ξ2 + . . . + ξn = i)= P(ξn+1 = j − i)= f(j − i),

dove nella penultima uguaglianza si utilizza il teorema del paragrafo1 applicato alle variabili ξn+1 e (X0, ξ1, ξ2, . . . , ξn) dunque con m =1, l = 1, k = n + 1, h = 1,Φ(x) = x,Ψ(y1, . . . , yk) = y1 + . . . + yk.

Analogamente si puo calcolare

P(Xn+1 = j | Xn = i,Xn−1 = in−1, . . . , X0 = i0) = f(j − i),

dimostrando cosı che (Xn)n≥0 e una catena di Markov con probabilitadi transizione pij = f(j − i). Un caso semplice e il seguente: f(1) =p, f(−1) = q, f(0) = r con r, p, q ≥ 0 e r+p+q = 1 e quindi pij = p, r, qo 0 a seconda che sia j = i + 1, i, i− 1 o altro.

7

5 Catene di Markov per ricorrenza

Teorema Siano ξ1, ξ2, . . . , ξn, . . . variabili aleatorie i.i.d. a valori in unsottoinsieme U dei reali e X0 variabile aleatoria a valori in S sottoin-sieme discreto dei reali, definita sullo stesso spazio di probabilita eindipendente dalle altre. Sia h : S × U → S. Posto per n ≥ 0

Xn+1 = h(Xn, ξn+1),

(Xn)n≥0 e una catena di Markov omogenea a valori in S.

Dimostrazione Per ricorrenza esiste gn+1 : S × U × . . . × U → S taleche

Xn+1 = gn+1(X0, ξ1, . . . ξn+1),

dove

g1(x, y1) = h(x, y1)

gn+1(x, y1, . . . , yn+1) = h(gn(x, y1, . . . , yn), yn+1

).

Segue che

P(Xn+1 = j | Xn = i) =P(h(Xn, ξn+1) = j,Xn = i)

P(Xn = i)

= P(h(i, ξn+1) = j | gn(X0, ξ1, . . . , ξn) = i

)

= P(h(i, ξn+1) = j

)= P

(h(i, ξ1) = j

),

dove la penultima uguaglianza segue dal teorema del paragrafo 1 ap-plicato alle variabili ξn+1 e (X0, ξ1, . . . , ξn) dunque con m = 1, l = 1,k = n + 1, h = 1, Φ(x) = h(i, x) e Ψ(y1, . . . , yk) = gn(y1, . . . , yk) el’ultima dal fatto che le variabili xi1 e ξn+1 hanno la stessa legge.

Allo stesso modo vale

P(Xn+1 = j | Xn = i,Xn−1 = in−1, . . . , X0 = i0)

= P(h(i, ξn+1) = j | gn(X0, ξ1, . . . , ξn) = i, . . . , g1(X0, ξ1) = i,X0 = i0

)

= P(h(i, ξ1) = j

)

per il teorema del paragrafo 1 applicato in modo opportuno alle vari-abili ξn+1 e (X0, ξ1, . . . , ξn). Si e cosı dimostrato che

P(Xn+1 = j | Xn = i) = P(Xn+1 = j | Xn = i,Xn−1 = in−1, . . . , X0 = i0)

= P(h(i, ξ1) = j

),

8

ovvero che il processo e una catena di Markov omogenea con proba-bilita di transizione pij = P

(h(i, ξ1) = j

). La passeggiata aleatoria

sugli interi e un esempio di catena per ricorrenza con S = U = Z eh(x, y) = x + y e quindi, come gia mostrato, pij = P(i + ξ1 = j) =P(ξ1 = j − i) = f(j − i).

Esercizio 1

Dimostrare che il numero dei successi su n prove bernoulliane e unacatena.

SoluzioneIndicata con Sn la v.a. numero dei successi su n prove bernoulliane,n ≥ 1, vale Sn = ξ1 + ξ2 + . . . + ξn con ξ1, ξ2, . . . , ξn, . . . variabilialeatorie i.i.d. definite sullo spazio di Bernoulli cosı ξi(ω) = ωi = 1o 0con probabilita 1 o 1− p.

Dunque, posto S0 ≡ 0, la successione di variabili aleatorie (Sn)n≥0 euna catena di Markov per ricorrenza con S = N, U = 0, 1 e h(x, y) =x + y. Le probabilita di transizione sono dunque pij = p, 1 − p o 0rispettivamente per j = i+1, i o altro e quindi la matrice di transizionecon infinite righe e infinite colonne e

P =

1− p p 0 0 0 . . . 0 0 0 0 . . .0 1− p p 0 0 . . . 0 0 0 0 . . .0 0 1− p p 0 . . . 0 0 0 0 . . .· · · · · . . . · · · · . . .· · · · · . . . · · · · . . .· · · · · . . . · · · · . . .· · · · · . . . · · · · . . .· · · · · . . . · · · · . . .· · · · · . . . · · · · . . .· · · · · . . . · · · · . . .0 · · · · . . . 0 1− p p 0 . . .· · · · · . . . · · · · . . .

(Sn)n≥0 e un caso particolare di passeggiata aleatoria su Z: il valoreiniziale S0 e costante pari a 0, la densita di salto f(·) e la densita diBernoulli di parametro p ovvero f(1) = p e f(0) = 1− p.

6 Legge al tempo 0 e legge al tempo 1

Introdotta la notazione

π0(i) = P(X0 = i), i ∈ S,

9

π0 e la densita di probabilita di X0 che induce una misura di probabilitasui sottoinsiemi di S, ovvero la legge di X0, detta legge iniziale dellacatena o legge al tempo 0. Puo esistere i0 ∈ S tale che π0(i0) = 1e quindi π0(i) = 1 per qualsiasi i 6= i0; in tal caso la legge inizialeassegna valore 1 ai sottoinsiemi che contengono i0 e valore 0 agli altrie si chiama delta di Dirac in i0.

Per la densita al tempo 1 definita da

π1(j) = P(X1 = j), j ∈ S,

si puo ricavare la formula

π1(j) =∑

i∈Spijπ0(i).

Infatti per la formula delle probabilita totali

π1(j) = P(X1 = j) =∑

i∈SP(X1 = j | X0 = i)P(X0 = i).

Si puo scrivere con notazione matriciale

π1 = π0 P

dove qui e in seguito si intende esteso il concetto di moltiplicazionedi due matrici anche a matrici con un numero infinito di righe e/ocolonne e i vettori sono pensati come vettori riga, p.es.

π0 =(π0(0) π0(1) . . . π0(card(S)

).

La densita al tempo 1 induce una misura di probabilita sui sottoinsiemidi S detta legge al tempo 1, che e la legge della variabile X1.

7 Matrice di transizione in piu passi

E facile dimostrare che se (Xn)n≥0 e una catena di Markov omogeneavale anche per ogni n ≥ 0, r > 1

P(Xn+r = j | Xn = i,Xn−1 = in−1, . . . , X0 = i0) = P(Xn+r = j | Xn = i).

Nel caso r = 2:

P(Xn+2 = j | Xn = i, . . . , X0 = i0) coincide con

∑

k∈S

P(Xn+2 = j, Xn+1 = k,Xn = i, . . . ,X0 = i0)P(Xn = i, . . . ,X0 = i0)

10

e, moltiplicando e dividendo il termine generale della serie per

P(Xn+1 = k, Xn = i, . . . , X0 = i0),

si ottiene∑

k∈SP(Xn+2 = j | Xn+1 = k,Xn = i, . . . , X0 = i0)

· P(Xn+1 = k | Xn = i, . . . , X0 = i0)

che per la proprieta di Markov coincide con∑

k∈Spikpkj .

L’espressione precedente e l’elemento di posto i, j del prodotto righeper colonne di P per se stessa, cioe di P2 = P · P.

In modo analogo si calcola

P(Xn+2 = j | Xn = i),

ottenendo lo stesso risultato. Si indica con p(2)ij l’elemento generico

di P2, cioe (P2)ij : dunque esso rappresenta la probabilita di passaredallo stato i allo stato j in 2 passi.

Si consideri ora il caso generale: si dimostra per induzione che

P(Xn+r = j | Xn = i) = P(Xn+r = j | Xn = i, . . . ,X0 = i0) = (Pr)ij ,

assumendolo vero per r−1 e utilizzando l’ipotesi di Markov (corrispon-dente al caso r = 1). Qui con ovvia notazione Pr e il prodotto di Pper se stessa r volte.

Si ha che P(Xn+r = j | Xn = i, . . . , X0 = i0) coincide con

∑

k∈S

P(Xn+r = j, Xn+r−1 = k,Xn = i, . . . , X0 = i0)P(Xn = i, . . . ,X0 = i0)

e quindi moltiplicando e dividendo il termine generale della serie per

P(Xn+r−1 = k, Xn = i, . . . , X0 = i0),

coincide con∑

k∈SP(Xn+r = j | Xn+r−1 = k,Xn = i, . . . , X0 = i0)

· P(Xn+r−1 = k | Xn = i, . . . , X0 = i0)

11

cioe con ∑

k∈SpkjP(Xn+r−1 = k | Xn = i, . . . , X0 = i0).

Per l’ipotesi induttiva l’espressione precedente coincide con∑

k∈Spkj(Pr−1)ik = (Pr)ij .

Dunque Pr, la potenza r−ma di P, e la matrice di transizione in r

passi e il suo generico elemento (Pr)ij si denota con p(r)ij . E facile

verificare che si tratta di una matrice stocastica, cioe

0 ≤ p(r)ij ≤ 1

∑

j∈Sp(r)ij = 1.

La seconda proprieta segue osservando che∑

j∈Sp(r)ij =

∑

j∈SP(Xr = j | X0 = i) =

P( ⋃

j∈SXr = j | X0 = i

)= P(Xr ∈ S | X0 = i) = 1.

8 Leggi ad un tempo e leggi congiunte

Se (Xn)n≥0 e una catena allora per ogni n ≥ 0 la densita di Xn sidenota con πn, cioe

πn(i) = P(Xn = i), i ∈ S

e la legge di Xn si dice legge al tempo n.

La densita al tempo n > 0 si calcola in termini della densita iniziale edella matrice di transizione in n passi:

πn(i) =∑

i0∈SP(Xn = i | X0 = i0)P(X0 = i0)

=∑

i0∈Sp(n)i0i π0(i0),

dove al primo passaggio si e usata la formula delle probabilita totali.

12

Fissati m > 1 e n1 < n2 < . . . < nm, la legge del vettore aleato-rio (Xn1 , . . . , Xnm) e la legge congiunta ai tempi n1, . . . , nm e la suadensita definita da

P(Xn1 = i1, . . . , Xnm = im), i1, i2, . . . , im ∈ S × S × . . .× S

e detta densita congiunta ai tempi n1, . . . , nm.

Si calcola la densita congiunta ai tempi n1, . . . , nm utilizzando la for-mula del prodotto del paragrafo 1 applicata agli eventi

Xn1 = i1, . . . , Xnm = im

e la proprieta di Markov:

P(Xn1 = i1, . . . , Xnm = im)= P(Xnm = im | Xnm−1 = im−1) . . . P(Xn2 = i2 | Xn1 = i1)P (Xn1 = i1)

= p(nm−nm−1)im−1im

. . . p(n2−n1)i1i2

πn1(i1)

Dunque concludendo si puo affermare che, conoscendo la legge inizialee la matrice di transizione, si calcolano le leggi ad un tempo e tutte leleggi congiunte.

9 Matrice di transizione in due passiper la catena della rovina del giocatore

Due giocatori A e B di capitali a e b rispettivamente, scommettono ognivolta 1 euro e ogni volta A vince con probabilita p e quindi B vincecon probabilita q = 1 − p. Il gioco termina se uno dei due esaurisceil capitale. Se Xn e il capitale di A dopo la n-ma scommessa, postod = a + b, si puo scrivere

Xn+1 =(Xn + ξn+1

)I1,...,d−1(Xn) + XnI0,d(Xn), n ≥ 0

dove IA(x) = 1 se x ∈ A e 0 altrimenti e le ξn, n ≥ 1 sono variabilialeatorie tra loro indipendenti che valgono 1 con probabilita p e −1con probabilita q = 1− p .

Posto X0 ≡ a, (Xn)n≥0 e una catena di Markov per ricorrenza con: π0

la delta di Dirac in a, S = 0, 1, . . . , d, U = −1, 1 e

h(x, y) = (x + y)I1,...,d−1(x) + xI0,d(y).

13

La matrice di transizione e una matrice di ordine d+1 e ha la forma

P =

1 0 0 0 0 . . . 0 0 0 0q 0 p 0 0 . . . 0 0 0 00 q 0 p 0 . . . 0 0 0 0· · · · · . . . · · · ·· · · · · . . . · · · ·· · · · · . . . · · · ·· · · · · . . . · · · ·· · · · · . . . · · · ·· · · · · . . . · · · ·· · · · · . . . · q 0 p0 · · · · . . . 0 0 0 1

Se assumiamo d = 4, la matrice P e di ordine 5 e coincide con

P =

1 0 0 0 0q 0 p 0 00 q 0 p 00 0 q 0 p0 0 0 0 1

e il suo quadrato e

P2 =

1 0 0 0 0q qp 0 p2 0q2 0 2qp 0 p2

0 q2 0 qp p0 0 0 0 1

.

Si osservi che per ogni i4∑

j=0

p(2)ij = 1

come deve essere.

Cosı se, per esempio X0 = a = 2, essendo π0(2) = 1 e π0(i) = 0 perogni i 6= 2, vale

P(X2 = 0) =∑

i∈S

p(2)i0 π0(i) = p

(2)20 = q2,

come ci si aspetta dovendo P(X2 = 0) coincidere con la probabilita didue perdite consecutive.

14

10 La catena di nascita e morte e l’urna di Ehrenfest

Una catena su S = 0, 1, . . . , d con matrice di transizione

P =

r0 p0 0 . . . 0 . . . 0q1 r1 p1 0 0 . . . 00 q2 r2 p2 0 . . . 0· · · · · · ·0 0 . . . 0 qd−1 rd−1 pd−1

0 0 . . . 0 0 qd rd

dove 0 ≤ qi, ri, pi ≤ 1 e qi + ri + pi = 1, e chiamata catena di nascita emorte. Il nome deriva dal fatto che questa catena puo essere pensatacome modello per la consistenza numerica di una popolazione su unascala temporale in cui ad ogni unita di tempo puo accadere che unsolo individuo generi un nuovo individuo o muoia, dunque le possibilitransizioni dallo stato i sono solo in i + 1, i, i− 1 e

pi (i+1) = pi pi i = ri pi (i−1) = qi

e pi j = 0 j 6= i+, i, i − 1. Allora pi e qi prendono rispettivamenteil nome di probabilita di nascita e probabilita di morte (quando laconsistenza della popolazione e i).

La rovina del giocatore e una particolare catena di nascita e morte conparametri

r0 = 1 = rd pi = p ri = 0 qi = q, i = 1, . . . , d− 1.

Un’altra catena di nascita e morte e quella di Ehrenfest, la cui matricedi transizione e

P =

0 1 0 . . . 0 . . . 01d 0 d−1

d 0 0 . . . 00 2

d 0 d−2d 0 . . . 0

· · · · · · ·0 0 . . . 0 d−1

d 0 1d

0 0 . . . 0 0 1 0.

E modello per lo scambio di molecole tra due corpi isolati ovvero emodello per la seguente situazione: d palline numerate sono contenutein due urne, un intero tra 1 e d e estratto ripetutamente a caso e lapallina corrispondente e spostata di urna. Fissata un’urna, X0 e ilnumero di palline inizialmente nell’urna e Xn, n ≥ 1 e il numero dipalline nella stessa urna dopo la n-ma estrazione.

15

11 Un modello per una fila d’attesa

Si considera la catena per ricorrenza seguente

X0 = 0Xn+1 = max

0, Xn − 1

+ ξn+1, n ≥ 0

dove ξ1, ξ2, . . . , ξn, . . . sono i.i.d. a valori in N di densita assegnata f(·).Si puo anche scrivere per n ≥ 0

Xn+1 = I[1,+∞)(Xn)(Xn − 1 + ξn+1

)+ I0(Xn)ξn+1

Chiaramente S = N ep0j = f(j)

mentre per ogni i ≥ 1, usando la definizione di probabilita condizionatae l’indipendenza di ξn+1 da Xn, si ottiene

pij = P(Xn−1+ξn+1 = j | Xn = i) = P(ξn+1 = j−i+1) = f(j−i+1).

Questo e un modello per una fila d’attesa ad uno sportello che in ogniunita di tempo serve un cliente e riceve un numero aleatorio di clientiogni volta di stessa legge indipendentemente dal passato. Per n ≥ 1la variabile aleatoria Xn rappresenta il numero dei clienti in fila allafine della n-ma unita temporale.

Esercizio 2

a) Scrivere la matrice di transizione per la catena su S = 0, 1, 2definita da

Xn+1 = Xn + ξn+1 (modulo 3)

dove ξ1, ξ2, . . . , ξn . . . sono variabili i.i.d. a valori in S con densita f(·)e indipendenti da X0, variabile sullo stesso spazio di probabilita e avalori in S.

Per esempio se X0(ω) = 1, ξ1(ω) = 1, ξ2(ω) = 2, ξ3(ω) = 1, . . . saraX0(ω) = 1, X1(ω) = 2, X2(ω) = 1, X3(ω) = 2, . . ..

b) Calcolare π1(2) = P(X1 = 2), nel caso f(0) = 0.5, f(1) = 0.1, f(2) =0.4 e π0(0) = 0.5, π0(1) = 0.5, π0(2) = 0.

Soluzionea) La matrice di transizione e di ordine 3 e ha la forma seguente

P =

f(0) f(1) f(2)f(2) f(0) f(1)f(1) f(2) f(0)

.

16

Notare che non solo per ogni i ∈ 0, 1, 2∑

j∈Spij =

2∑

l=0

f(l) = 1,

ma anche per ogni j ∈ 0, 1, 2∑

i∈Spij =

2∑

l=0

f(l) = 1.

Una matrice stocastica tale che gli elementi di ciascuna colonna hannosomma pari a 1 si dice doppiamente stocastica.

b) Con i dati assegnati la matrice di transizione e

P =

0.5 0.1 0.40.4 0.5 0.10.1 0.4 0.5

e

π1(2) = P(X1 = 2) =2∑

i=0

pi2π0(i) = 0.5 · p02 + 0.5 · p12 = 0.25

12 Costruzione di una catenadata la matrice di transizione e la legge iniziale

E immediato verificare che una v.a. X a valori in N \ 0 con densitaassegnata (p1, p2, . . . , pN ) si costruisce cosı: se ξ e una v.a. uniformein [0, 1], posto

a(1) = 0, a(j) =j−1∑

k=1

pk, j > 1

b(1) = p1, b(j) =j∑

k=1

pk, j > 1

si definisceX :=

∑

j≥1

j I[a(j),b(j))(ξ).

Siano assegnate una densita di probabilita π0 e una matrice di tran-sizione P su N \ 0. Siano (ξn)n≥1 variabili aleatorie i.i.d. uniformi

17

in [0, 1] indipendenti da un’altra variabile aleatoria X0 definita sullostesso spazio di probabilita e con densita π0. Posto

a(i, 1) = 0, a(i, j) =j−1∑

k=1

pi k, j > 1

b(i, 1) = pi 1, b(i, j) =j∑

k=1

pi k, j > 1

h(i, y) =∑

j≥1

j I[a(i,j),b(i,j))(y),

si definiscaXn+1 :== h(Xn, ξn+1), n ≥ 0.

Allora (Xn)n≥0 e una catena di Markov per ricorrenza a valori in N\0con legge iniziale π0 e matrice di transizione e quella assegnata. Infattiricordando che per le catene per ricorrenza

P(Xn+1 = j | Xn = i) = P(h(i, ξ1) = j),

in questo caso dall’espressione di h segue che

P(Xn+1 = j | Xn = i) = P(ξ1 ∈ [a(i, j), b(i, j))

)= pi j ,

dove l’ultima uguaglianza segue dal fatto che ξ1 ha legge uniformenell’intervallo [0, 1] e l’ampiezza dell’intervallo [a(i, j), b(i, j)) e pi j .

Questa costruzione suggerisce come simulare una catena di Markovcon spazio degli stati finito 1, 2, . . . , N e con legge iniziale e matricedi transizione assegnata. Per simulazione di una catena di Markov(Xn)n≥0 fino al tempo n si intende la determinazione di una sequenzadi n valori (i1, i2, . . . , in) ⊂ 1, 2, . . . , N che costituiscano una realiz-zazione del vettore aleatorio (X1, X2, . . . , Xn), ovvero tali che si abbiaper un qualche ω ∈ Ω

(X1(ω), X2(ω), . . . , Xn(ω)) = (i1, i2, . . . , in).

Si assuma inizialmente per semplicita che la legge iniziale sia una deltadi Dirac e quindi che sia X0 = i0, dove i0 e un numero in 1, 2, . . . , N.I piu noti linguaggi di programmazione hanno in libreria una procedu-ra che genera una variabile aleatoria uniforme in [0, 1] e richiamandon volte la stessa procedura si realizza un vettore n-dimensionale lecui componenti sono i.i.d. uniformi in [0, 1], ovvero un vettore come(ξ1, ξ2, . . . , ξn): in altre parole si genera una sequenza di n numeri che

18

coincidono con (ξ1(ω), ξ2(ω), . . . , ξn(ω)) per un qualche ω ∈ Ω. Al pri-mo passo della simulazione si genera X1 come variabile aleatoria didensita assegnata pari a (pi0 1, pi0 2, . . . , pi0 N ), cioe il numero i1:

i1 = X1(ω) =N∑

j=1

j I[a(i0,j),b(i0,j))(ξ1(ω));

al secondo passo si genera X2 come variabile aleatoria di densita as-segnata pari a (pi1 1, pi1 2, . . . , pi1 N ), cioe il numero i2

i2 = X2(ω) =N∑

j=1

j I[a(i1,j),b(i1,j))(ξ2(ω));

e si ripete il procedimento fino a generare Xn come variabile aleatoriadi densita (pin−1 1, pin−1 2, . . . , pin−1 N ), cioe il numero in

in = Xn(ω) =N∑

j=1

j I[a(in−1,j),b(in−1,j))(ξn(ω)).

Nel caso in cui X0 non sia deterministico, c’e in piu il passo inizialedella generazione di X0. In tal caso occorre richiamare una volta dipiu la procedura di simulazione di un’uniforme in [0, 1] per generareξ0 indipendente da (ξ1, ξ2, . . . , ξn) e con ξ0 generare X0 come variabilealeatoria di densita (π0(1), π0(2), . . . , π0(N)), cioe il numero i0.

Esercizio 3

Per la catena dell’Esercizio 2 calcolare la densita congiunta ai tempi 1e 2 nel nel punto 2.

Soluzionea) Ricordando che

P =

0.5 0.1 0.40.4 0.5 0.10.1 0.4 0.5

e π0(0) = π0(1) = 0.5 e che dall’Esercizio 2 π1(2) = 0.25, per la formuladel prodotto segue

P(X2 = 0, X1 = 2) = P(X2 = 0 | X1 = 2)P(X1 = 2) = p20π1(2) = 0.025.

Invece

π2(2) = P(X2 = 2) =2∑

i=0

p(2)i2 π0(i) = p

(2)02 (0.5) + p

(2)12 (0.5).

19

Si devono calcolare dunque gli elementi di posto prima riga, terzacolonna e seconda riga, terza colonna del quadrato di P.

Si trova

P2 =

· · 0.41· · 0.26· · ·

e quindiπ2(2) = (0.5)(0.41 + 0.26) = 0.335.

2 Classificazione degli stati

13 Rappresentazione grafica di una catena di Markov

Il grafico di una catena di Markov si ottiene segnando un punto perogni stato della catena, una freccia orientata da un punto ad un altrose la probabilita di transizione in un passo e positiva e il valore dellaprobabilia di transizione accanto alla freccia. Cosı per esempio

Figura 1: rovina del giocatore

Figura 2: random walk modulo 3 con f(i) > 0, i = 0, 1, f(0) + f(1) = 1

20

Figura 3: coda con f(i) > 0, i = 0, 1, 2, f(0) + f(1) + f(2) = 1

La rappresentazione grafica consente di calcolare rapidamente le prob-abilita di transizione in piu passi. Per esempio se la matrice di tran-sizione e

P =

0 0.5 0.50.4 0.1 0.50.2 0.8 0

e quindi il grafico e

per calcolare p(2)12 = P(X3 = 2|X1 = 1) =

∑3k=1 p1kpk2 basta calcolare

i cammini lunghi 2 passi che dal punto 1 portano al punto 2; ciascuncammino ha probabilita pari al prodotto dei valori scritti sulle freccee occorre sommare tutte queste probabilita. Dunque

p(2)12 = (0.5)(0.1) + (0.5)(0.8) = 0.45,

mentrep(2)23 = (0.1)(0.5) + (0.4)(0.5) = 0.25.

In modo analogo si procede per esempio nel calcolo di

21

p(3)11 =

3∑

l=1

p1lp(2)l1 =

3∑

l=1

p1l

3∑

k=1

plkpk1 =3∑

l,k=1

p1lplkpk1,

ovvero si sommano le probabilita di tutti i cammini lunghi 3 passi cheda 1 riportano in 1 e che hanno ciascuno probabilita pari al prodottodei valori scritti sulle frecce

p(3)11 = (0.5)(0.1)(0.4) + (0.5)(0.8)(0.4) + (0.5)(0.5)(0.2) = 0.23.

14 Stati comunicanti

Si dice che uno stato i comunica con lo stato j se c’e un camminofinito sul grafico che porta da i a j e si scrive i → j. E immediato chequesto equivale a chiedere che esista n ≥ 1 tale che

p(n)ij > 0.

(ricorda che p(1)ij = pij).

Due stati i e j si dicono comunicanti se esiste n ≥ 1 tale che p(n)ij > 0

e esiste m ≥ 1 tale che p(m)ij > 0, ovvero se i → j e j → i, ovvero se

esiste un cammino finito che porta dall’uno all’altro e viceversa (i duecammini potrebbero avere lunghezze diverse). Si scrive i ←→ j.

Per esempio nella catena di nascita e morte con qi > 0 e pi > 0 tutti glistati sono comunicanti. Mentre nella catena della rovina del giocatoretutti gli stati in 1, . . . , d − 1 sono comunicanti, inoltre qualsiasi siai ∈ 1, . . . , d − 1 si ha che i → 0 e i → d, mentre 0 e d comunicanosolo con se stessi.

15 Classi chiuse e classi irriducibili

Un sottoinsieme C di S si dice una classe chiusa di stati se qualsiasisia i ∈ C si ha ∑

j∈Cpij = 1.

Questa condizione implica che indicato con Cc il complementare di Cnessuno stato di C comunica con uno stato di Cc :

si ha subito dalla definizione che se i ∈ C e j ∈ Cc allora pij = 0; inoltre

p(2)ij =

∑

h∈Spihphj =

∑

h∈Cpihphj = 0

22

poiche per la seconda uguaglianza si usa il fatto che per definizione diclasse chiusa se i ∈ C si ha pih = 0 qualsiasi sia h ∈ Cc e per la terzail fatto che, se j ∈ Cc, ancora per definizione di classe chiusa phj = 0qualsiasi sia h ∈ C; allo stesso modo per induzione si prova che p

(n)ij = 0

per ogni n > 2. Infatti

p(n)ij =

∑

h∈Spihp

(n−1)hj =

∑

h∈Cpihp

(n−1)hj = 0,

dove nell’ultima uguaglianza si usa l’ipotesi induttiva Il viceversa eimmediato ovvero: se nessuno stato di C comunica con uno stato inCc, essendo pij = 0 qualsiasi siano i ∈ C e j ∈ Cc, allora fissato i ∈ Csi ha ∑

j∈Cpij = 1,

cioe C e chiusa.

Se C = i e chiusa allora lo stato i si dice assorbente. Per esempionella catena della rovina del giocatore 0 e d sono stati assorbenti.

Una classe chiusa si dice irriducibile se tutti i suoi stati sono comuni-canti. Se S e l’unica classe chiusa irriducibile, allora la catena si diceirriducibile.

Nella catena rappresentata dal grafico seguente

1, 2, 3 sono stati comunicanti, 4, 5, 6, 7 e una classe chiusa non ir-riducibile, 4, 5 e una classe irriducibile, 7 e uno stato assorbente.

16 Definizione di transienza e persistenzain termini del tempo di primo ritorno

Si ricordi che p(n)ij indica la probabilita di passare da i a j in n passi.

Si introduce il simboloρ(n)ij

23

per indicare la probabilita di arrivare in j partendo da i per la primavolta dopo n passi, ovvero

ρ(n)ij = P(Xn1+n = j, Xn1+n−1 6= j, Xn1+1 6= j | Xn1 = i)

qualsiasi sia n1 (e facile verificare che per la proprieta di Markov laprobabilita precedente e indipendente da n1).

Naturalmente ρ(1)ij = p

(1)ij = pij , mentre qualsiasi sia n ≥ 2 vale ρ

(n)ij ≤

p(n)ij . Per esempio nel caso della catena con matrice di transizione

P =

0 0.5 0.50.4 0.1 0.50.2 0.8 0

facilmente si calcola

ρ(2)12 = (0.5)(0.8) = 0.4 ≤ p

(2)12 = (0.5)(0.8) + (0.5)(0.1) = 0.45.

La disuguaglianza discende dal considerare che vale la relazione seguente

p(n)ij =

n−1∑

s=1

ρ(s)ij p

(n−s)jj + ρ

(n)ij .

Si introduce il simboloρij =

∑

n≥1

ρ(n)ij

per indicare quindi la probabilita di arrivare in j in un numero finitodi passi essendo partiti da i. Immediatamente seguono ρij ≥ ρ

(n)ij ,

qualsiasi sia n ≥ 1 e quindi in particolare ρij ≥ ρ(1)ij = pij . Se si indica

con τj la variabile aleatoria tempo di primo passaggio per j, ovvero

τj(ω) :=

minn ≥ 1 t.c. Xn(ω) = j, se il minimo esiste+∞, altrimenti

allora

ρ(n)ij = P(τj = n | X0 = i) e ρij = P(τj < ∞ | X0 = i).

Naturalmenteρij > 0 ⇐⇒ i → j.

Si dimostra la condizione necessaria: infatti ρij > 0 implica che esisten ≥ 1 tale che ρ

(n)ij > 0 e questo a sua volta implica p

(n)ij > 0, essendo

ρ(n)ij ≤ p

(n)ij .

24

Si dimostra la condizione sufficiente: infatti i → j implica che esisten ≥ 1 tale che p

(n)ij > 0 e poiche p

(n)ij =

∑n−1s=1 ρ

(s)ij p

(n−s)jj + ρ

(n)ij , segue

che esiste 1 ≤ s ≤ n tale che ρ(s)ij > 0 e quindi ρij > 0.

Si definisce uno stato i persistente (o anche ricorrente) se

ρii = 1

e transiente seρii < 1,

ovvero a parole uno stato e persistente se il tempo di primo ritornoin i partendo da i e finito con probabilita 1; e transiente se la stessavariabile e finita con probabilita minore di 1 e quindi con probabilitapositiva partendo da i la catena non vi fa piu ritorno.

Banalmente ogni stato assorbente e persistente essendo

ρii ≥ pii = P(X1 = i | X0 = i) = P(τi = 1 | X0 = i) = 1.

17 Transienza e persistenza in termini del numero dei ritorni

A giustificazione della terminologia introdotta nel precedente para-grafo si dimostra il prossimo teorema.

D’ora in avanti si usera la notazione

P(· | X0 = i) = Pi(·).

Teorema

ρii < 1 ⇐⇒ Pi(Xn = i inf.nte spesso) = 0

ρii = 1 ⇐⇒ Pi(Xn = i inf.nte spesso) = 1

La dimostrazione utilizza il seguente lemma di probabilita elementare.

Lemma Se (Bk)k≥1, Bk ∈ F , e una successione crescente di even-ti (Ω,F ,P), ovvero se qualsiasi sia k ≥ 1 vale Bk ⊆ Bk+1, alloraP(∪k≥1Bk) = limk→∞ P(Bk). Se (Ak)k≥1 e una successione decres-cente di eventi (Ω,F , P), ovvero se Ak ⊃ Ak+1, allora P(∩k≥1Ak) =limk→∞ P(Ak).

25

Dimostrazione del lemma Infatti

P( ⋃

k≥1

Bk

)= P

( ⋃

k≥1

Bk \Bk−1)

=∞∑

k=1

(P(Bk)− P(Bk−1))

= limn→∞

n∑

k=1

(P(Bk)− P(Bk−1)

)

= limn→∞P(Bn).

avendo posto B0 = ∅. Infine

P(∩k≥1Ak) = 1− P(∪k≥1Ack) = 1− lim

n→∞P(Acn) = lim

n→∞P(An)

essendo la successione degli eventi complementari (Ack)k≥1 successione

crescente di eventi.

Dimostrazione del teorema L’evento Xn inf.nte spesso si puo riscri-vere come intersezione di una successione decrescente di eventi. Piuprecisamente

Xn = i inf.nte spesso = ∩k≥1Ak

con

Ak =⋃Xn1 = i,Xn2 = i, . . . , Xnk

= i, Xs 6= i, s 6= n1, n2, . . . , nk, s < nk

dove l’unione disgiunta e estesa a n1 < n2 < . . . < nk, cioe Ak el’evento definito a parole dal fatto che la catena visita almeno k voltelo stato i.

Dal lemma segue che

Pi(Xn = i inf.nte spesso) = limk→∞

Pi(Ak).

Inoltre Pi(Ak) si puo calcolare cosı:∑

n1<n2<...<nk−1

Pi(Xn1 = i,Xn2 = i, . . . , Xnk= i,Xs 6= i, s 6= n1, n2, . . . , nk, s < nk)

e l’ultima somma coincide con∑

n1<n2<...<nk

ρ(n1)ii ρ

(n2−n1)ii . . . ρ

(nk−1−nk−2)ii ρ

(nk−nk−1)ii =

∑n1<n2<...<nk−1

ρ(n1)ii ρ

(n2−n1)ii . . . ρ

(nk−1−nk−2)ii

∑nk−1<nk

ρ(nk−nk−1)ii

26

e, poiche, fissati n1 < n2 < . . . < nk−1, al variare di nk la differenzank − nk−1 varia in N \ 0, allora l’espressione precedente e uguale a

∑n1<n2<...<nk−1

ρ(n1)ii ρ

(n2−n1)ii . . . ρ

(nk−1−nk−2)ii

∞∑

h=1

ρ(h)ii =

= ρii

∑n1<n2<...<nk−1

ρ(n1)ii ρ

(n2−n1)ii . . . ρ

(nk−2−nk−3)ii ρ

(nk−1−nk−2)ii .

Fissando n1 < n2 < . . . < nk−2 e sommando su nk−1 si ottiene

ρ2ii

∑n1<n2<...<nk−2

ρ(n1)ii ρ

(n2−n1)ii . . . ρ

(nk−3−nk−4)ii ρ

(nk−2−nk−3)ii

e iterando k volte lo stesso procedimento si verifica

Pi(Ak) = ρkii.

La dimostrazione si conclude utilizzando il lemma precedente e ricor-dando che quando 0 ≤ a < 1 allora limk→∞ ak = 0 e quando a = 1allora limk→∞ ak = 1.

18 Legge e valor medio del numero dei ritorni in uno stato

In quel che segue si utilizzera la variabile aleatoria Nn(i) che conta ilnumero delle visite fatte dalla catena allo stato i in n passi. Si ha

Nn(i) =n∑

k=1

Ii(Xk),

ricordando che Ii(x) e la funzione indicatrice dell’insieme i che vale1 se x ∈ i, cioe x = i, e 0 altrimenti.

La variabile aleatoria definita da

N∞(i) = limn→∞Nn(i) =

∞∑

k=1

Ii(Xk)

conta il numero totale delle visite della catena allo stato i (attenzione:il limite si intende cosı: N∞(i)(ω) = limn→∞Nn(i)(ω) per ogni ω ∈ Ω).Osserviamo che, come la variabile aleatoria tempo di primo passaggioτi, anche N∞(i) e una variabile estesa, cioe a valori in N ∪ +∞.Si osserva che vale l’uguaglianza tra eventi

Xn = i inf.nte spesso = N∞(i) = +∞

27

e che quindi si puo enunciare il teorema precedente cosı

ρii < 1 ⇐⇒ Pi(N∞(i) = +∞) = 0

ρii = 1 ⇐⇒ Pi(N∞(i) = +∞) = 1.

La densita della variabile numero dei ritorni nello stato, ovvero delnumero dei passaggi della catena per i quando la sua legge iniziale e ladelta di Dirac in i, e dunque determinata nel caso di stati persistenti.Nel caso di stati transienti vale il seguente lemma.

Lemma

i transiente =⇒ Pi(N∞(i) = k) =

1− ρii, k = 00, k = +∞ρk

ii(1− ρii), altrimenti

Dimostrazione Il caso k = +∞ e contenuto, come gia osservato, nelteorema precedente. Il caso k = 0 deriva dalla definizione di ρii. Peril resto si osserva che

Pi(N∞(i) ≥ k) = ρkii;

infatti N∞(i) ≥ k coincide con l’evento Ak della dimostrazione delteorema precedente. Quindi

Pi(N∞(i) = k) = Pi(N∞(i) ≥ k)− Pi(N∞(i) ≥ k + 1) = ρkii(1− ρii),

che conclude la dimostrazione.

Si vuole calcolare ora il valore medio della variabile di cui si e appenatrovata la densita condizionata all’evento X0 = i; per ricordare chela catena parte da i si scrive i sotto il simbolo di media. Chiaramentenel caso persistente, per definizione di valor medio di variabile aleatoriaestesa, Ei

[N∞(i)

]= +∞. Nel caso transiente invece Ei

[N∞(i)

]<

+∞, infatti utilizzando la densita di N∞(i) del lemma precedente sitrova

Ei

[N∞(i)

]=

∞∑

k=1

kρkii(1− ρii) =

ρii

1− ρii< +∞

poiche∑∞

k=1 kρkii(1 − ρii) e media della geometrica trasformata di

parametro 1− ρii (legge del numero dei fallimenti prima del successoin uno schema di Bernoulli di parametro 1− ρii).

Si osserva ora che

Ei

[N∞(i)] = Ei

[lim

n→∞Nn(i)]

= limn→∞Ei

[Nn(i)

],

28

poiche qui e lecito scambiare il limite con il valore medio (di cio sitralascia la dimostrazione). Inoltre utilizzando la linearita della media,si ha

Ei

[Nn(i)

]=

n∑

k=1

Ei

[Ii(Xk)

].

e, essendo Ii(Xk) ∼ B(p) con p = Pi(Xk = i) = p(k)ii ,

Ei

[Nn(i)

]=

n∑

k=1

p(k)ii

poiche il valor medio di una binomiale coincide con il suo parametro.Si e cosı mostrato che Ei

[N∞(i)

]=

∑∞k=1 p

(k)ii . Si puo allora enunciare

il teorema seguente.

Teorema

i transiente ⇐⇒ Ei

[N∞(i)

]=

∞∑

k=1

p(k)ii < +∞

La parte necessaria del teorema e immediata e la parte sufficientesegue dal fatto che se i e persistente allora il numero medio dei ritornie infinito.

Naturalmente il teorema si puo anche enunciare cosı:

i persistente ⇐⇒∞∑

k=1

p(k)ii = +∞.

19 Transienza e persistenza di uno statoin termini del numero dei passaggi per esso

partendo da uno stato qualsiasi

La densita del numero dei passaggi per i condizionata all’evento X0 =j con j 6= i si calcola utilizzando l’uguaglianza

Pj(N∞(i) ≥ k) = ρjiρk−1ii ,

che si ricava similmente a Pi(N∞(i) ≥ k) = Pi(Ak) = ρkii. Se e i

persistente e j 6= i si trova

Pj(N∞(i) = k) =

1− ρji, k = 0ρjiρ

k−1ii − ρjiρ

kii = ρjiρ

k−1ii (1− ρii) = 0, k ≥ 1

ρji, k = +∞

29

mentre se i e transiente

Pj(N∞(i) = k) =

1− ρji, k = 0ρjiρ

k−1ii (1− ρii), k ≥ 1

0, k = +∞.

In entrambi i casi la densita in k = +∞ si deriva considerando chedeve essere

∞∑

k=0

Pj(N∞(i) = k) + Pj(N∞(i) = +∞) = 1.

Si noti che nel caso j = i si ritrova la densita del numero dei ritorninello stato i gia precedentemente calcolata.

Dalla densita appena calcolata si ricava il valore medio del numero deipassaggi per i condizionata all’evento X0 = j, ottenendo:

i persistente o transiente e j9 i =⇒ Ej

[N∞(i)

]= 0

i persistente e j → i =⇒ Ej

[N∞(i)

]= +∞

i transiente e j → i =⇒ Ej

[N∞(i)

]=

ρji

1− ρii< +∞

dove in particolare l’ultima implicazione segue dall’uguaglianza

∑

k≥1

kρk−1ii (1− ρii) =

11− ρii

.

Tenendo presente anche i risultati del precedente paragrafo, si puoriassumere cosı:

se i e persistente quando la catena parte da i vi ritorna infinite voltecon probabilita 1, mentre se parte da uno stato diverso da i e possibileche essa non passi mai per i, ma se raggiunge i una volta allora vipassa in media infinite volte; se i e transiente, qualsiasi sia il punto dipartenza della catena, il numero di visite a i con probabilita 1 e finito(eventualmente nullo) e anche il numero medio di visite a i e finito(eventualmente nullo).

Infine in modo simile al paragrafo precedente si dimostra

Ej

[N∞(i)

]=

∞∑

k=1

p(k)ji

e quindi da quanto esposto si deriva il teorema seguente.

30

Teorema Qualsiasi sia j ∈ S

i transiente =⇒∞∑

k=1

p(k)ji < +∞.

Utilizzando poi il fatto che il termine generico di serie convergente einfinitesimo, si ottiene immediatamente il seguente corollario.

Corollario Qualsiasi sia j ∈ S

i transiente =⇒ limk→∞

p(k)ji = 0 .

Esercizio 4

Dimostrare che vale l’equazione detta di Chapman-Kolmogorov

p(n+m)ij =

∑

h∈Sp(n)ih p

(m)hj

e dedurne che, se i comunica con l e l comunica con j, allora i comunicacon j.

Soluzione

p(n+m)ij =

∑

h∈SP(Xn+m = j, Xn = h | X0 = i)

=∑

h∈S

P(Xn+m = j, Xn = h,X0 = i)P(X0 = i)

.

Allora applicando la formula del prodotto, semplificando e usando laproprieta di Markov, si ottiene

p(n+m)ij =

∑

h∈SP(Xn+m = j | Xn = h)P (Xn = h | X0 = i).

Infine ricordando

P(Xn+m = j | Xn = h) = p(m)hj , P(Xn = h | X0 = i) = p

(n)ih ,

si ottiene l’equazione di Chapman-Kolmogorov.

Inoltre se i → l esiste n > 0 tale che p(n)il > 0 e se l → j esiste m > 0

tale che p(m)lj > 0 e poiche per Chapman-Kolmogorov

p(n+m)ij =

∑

h∈S

p(n)ih p

(m)hj ≥ p

(n)il p

(m)lj > 0,

si trova p(n+m)ij > 0 e quindi anche i → j.

31

20 Una condizione sufficiente per la transienza

Un criterio utile per verificare il carattere transiente di uno stato e

j → i, i9 j =⇒ j transiente.

Per la dimostrazione si procede cosı. Posto m = minn ≥ 1 : p(n)ji > 0,

esistono i1, i2, . . . , im−1 ∈ S e diversi da i e da j tali che Pj(A) > 0 seA e l’evento definito da

A = X1 = i1, . . . , Xm−1 = im−1, Xm = i;

dunque Pj(Ac) = 1− Pj(A) < 1. Allora se si dimostra che

Pj(τj < ∞ ∩A) = 0,

si ha come conseguenza che ρjj e minore di 1; infatti

ρjj = Pj(τj < ∞) = Pj(τj < ∞∩A)+Pj(τj < ∞∩Ac) = Pj(τj < ∞∩Ac)

e essendo τj < ∞ ∩Ac ⊆ Ac vale Pj(τj < ∞ ∩Ac) ≤ Pj(Ac).

Per dimostrare che Pj(τj < ∞ ∩A) = 0, si scrive

Pj(τj < ∞ ∩A) =∞∑

k=m+1

Pj(τj = k ∩A)

=∞∑

k=m+1

Pj(τj = k | A)Pj(A).

Poiche per la proprieta di Markov Pj(τj = k | A) = q(k−m)ij e poiche

q(k−m)ij ≤ p

(k−m)ij , con il cambio di variabile n = k −m, si ottiene

Pj(τj < ∞ ∩A) ≤∞∑

n=1

p(n)ij Pj(A)

Si conclude osservando che per ipotesi, qualsiasi sia n ≥ 1, si ha p(n)ij =

0.

21 Una condizione sufficiente per la persistenza

Un criterio utile per verificare il carattere persistente di uno stato e

i persistente e i → j −→ ρji = 1 e j persistente.

Per la dimostrazione si procede cosı. Si comincia con il mostrare cheρji = 1.

32

Sia n0 = minn ≥ 1 t.c. p(n)ij > 0, allora esistono i1, i2, . . . , in0−1 6= j, i

tali che posto

B = X1 = i1, . . . , Xn0−1 = in0−1, Xn0 = j

vale Pi(B) > 0. Poiche i e persistente vale

Pi

(B ∩ Xn 6= i , qualsiasi sia n ≥ n0 + 1) = 0;

inoltre per la proprieta di Markov e anche vero che

Pi(B∩Xn 6= i , ∀n ≥ n0+1) = Pi(B) Pj(τi = +∞) = Pi(B)(1−ρji);

dalle due affermazioni segue ρji = 1.Si fa poi vedere che vale la condizione

∑∞k=1 p

(k)jj = +∞ sufficiente per

la persistenza di j. Sia n1 ≥ 1 tale che p(n1)ji > 0 (n esiste poiche,

essendo ρji = 1 e vero che j → i).

∞∑

k=1

p(k)jj ≥

∞∑

k=n0+1+n1

p(k)jj

=∞∑

h=1

p(h+n0+n1)jj .

Utilizzando l’equazione di Chapman-Kolmogorov, con semplici mino-razioni si ottiene

∞∑

k=1

p(k)jj ≥

∞∑

h=1

∑

l∈Sp(n1)jl p

(h)ll p

(n0)lj

≥∞∑

h=1

p(n1)ji p

(h)ii p

(n0)ij

= p(n1)ji p

(n0)ij

∞∑

k=1

p(h)ii .

Poiche, essendo per ipotesi i persistente, si ha che∑∞

k=1 p(h)ii = +∞,

per confronto si deduce che anche∑∞

k=1 p(h)jj = +∞.

Come corollario di questo criterio si ottiene:

Corollario Sia C ⊆ S un classe irriducibile, allora tutti gli stati sonopersistenti o tutti transienti.

33

22 Persistenza e transienza in classi finite

Si dimostra che se C ⊆ S e una classe chiusa e finita allora in Cesiste almeno uno stato persistente. Si procede per assurdo. Infatti setutti gli stati in C fossero transienti, fissato uno di essi, j, si avrebbelimk→∞ p

(k)ji = 0 (da un risultato precedentemente dimostrato) per

ogni i in C, e quindi ∑

i∈Clim

k→∞p(k)ji = 0.

D’altro canto∑

i∈Clim

k→∞p(k)ji = lim

k→∞

∑

i∈Cp(k)ji = lim

k→∞Pj(Xk ∈ C) = 1,

infatti limite e somma si scambiano poiche la somma e su un numerofinito di termini e l’ultima uguaglianza segue dal fatto che C e unaclasse chiusa.

Due sono le conseguenze importanti: tutti gli stati di una classe ir-riducibile finita sono persistenti (segue mettendo insieme quanto ap-pena detto e il corollario del paragrafo precedente) e se una catenaha spazio degli stati finito ed e irriducibile allora tutti gli stati sonopersistenti (segue dal precedente poiche tutto lo spazio degli stati euna particolare classe chiusa).

Si consideri la catena con matrice di transizione

P =

1 0 0 0 0 014

12

14 0 0 0

0 15

25

15 0 1

50 0 0 1

613

12

0 0 0 12 0 1

20 0 0 1

2 0 12

.

Si trova facilmente che C1 = 4, 5, 6 e classe irriducibile di stati per-sistenti, C2 = 1 e classe irriducibile formata da un unico stato assor-bente, 3 e 2 comunicano con 1, ma 1 non comunica ne con 2 ne con 3e quindi gli stati 2 e 3 sono transienti.

23 Teorema di decomposizione dello spazio degli stati

Lo spazio degli stati ammette una decomposizione di questo tipo

S = T ∪ C1 ∪ C2 ∪ . . .

dove T e l’insieme degli stati transienti e Cn, n = 1, 2, . . . sono classidisgiunte irriducibili persistenti. Per dimostrarlo si considera i1 ∈

34

S \ T e si costruisce C1 come la classe che contiene tutti gli stati concui comunica i1 che, grazie al criterio sufficiente per la persistenza,sono tutti persistenti. C1 e non vuota poiche contiene i1. C1 e chiusapoiche se j ∈ C1 allora, per il criterio sufficiente per la persistenza, je persistente e i1 ↔ j e inoltre se j → h per lo stesso criterio j ↔ h eper la proprieta transitiva i1 ↔ h. C1 e irriducibile poiche se j e l sonoin C1 allora i1 ↔ j e i1 ↔ l e usando la proprieta transitiva j ↔ l.

Scelto uno stato i2 che non appartiene a C1 ne a T , si costruisce C2

nello stesso modo e cosı via. E facile verificare poi che le classi Cn, n =1, 2 . . . sono disgiunte: infatti se per esempio fosse h ∈ C1 ∩ C2, alloraogni elemento di C1, i, sarebbe tale che h → i, ma allora, poiche C2 echiuso e h ∈ C2, sarebbe anche i ∈ C2 e quindi C1 = C2.

Dunque: quando la catena parte da uno stato di un qualsiasi Cn ri-mane per sempre in Cn visitando infinitamente spesso ogni stato diCn (con probabilita 1); quando la catena parte da uno stato di T eT e numerabile, puo rimanere per sempre in T o entrare in qualcheCn e rimanere poi lı per sempre visitando ogni suo stato infinitamentespesso; se T ha cardinalita finita, invece, qualsiasi sia la legge iniziale,la catena esce prima o poi da T e non vi rientra piu. Piu precisamente,posto

N∞(T ) =∑

i∈TN∞(i),

N∞(T ) e la variabile aleatoria che conta il numero dei passaggi per Te si dimostra che

P(N∞(T ) = +∞) = 0.

Infatti, qualsiasi sia la legge iniziale, per la proprieta di Markov

P(N∞(T ) = +∞) =∑

j∈SPj(N∞(T ) = +∞)π0(j)

e quindi e sufficiente far vedere che, per ogni j ∈ S , Pj(N∞(T ) =+∞) = 0. Poiche T ha cardinalita finita,

N∞(T ) = +∞ =⇒ esiste i ∈ T t.c. N∞(i) = +∞

cioeN∞(T ) = +∞ =

⋃

i∈TN∞(i) = +∞

e quindi

Pj(N∞(T ) = +∞) ≤∑

i∈TPj(N∞(i) = +∞) = 0,

35

dove la disuguaglianza segue dal fatto che in generale la probabilitadi un’unione di eventi e minore o uguale alla somma delle proba-bilita dei singoli eventi e l’ultima uguaglianza segue dal fatto chePj(N∞(i) = +∞) = 0, per ogni j ∈ S e per ogni i ∈ T .

Esercizio 5

Studiare il carattere degli stati della matrice di transizione seguente

P =

0 12

12 0 0 0

0 23 0 0 0 1

30 0 1

2 0 12 0

0 0 12

14 0 1

40 4

5 0 0 0 15

0 0 0 0 12

12

SoluzioneGli stati 1, 3, 4 sono transienti: infatti 1 → 3 ma 3 9 1, 3 → 5 ma59 3, 4 → 3 ma 39 4. Facilmente si verifica poi che 2, 5, 6 e classeirriducibile, finita e quindi persistente.

24 Sistema di equazioni per le probabilita di assorbimento

Sia C una classe chiusa di S (si ricordi che C puo contenere anche statitransienti). Indicata con τC la variabile aleatoria che indica il tempodi ingresso della catena in C, ovvero

τC(ω) =

minn ≥ 1 t.c. Xn(ω) ∈ C, se il minimo esiste+∞, altrimenti

si definiscaλCi = Pi(τC < +∞), i ∈ S,

allora λCi e la probabilita che partendo da i la catena arrivi in un tempoaleatorio finito in C. Dopo questo istante la catena non potra piulasciare C essendo la classe chiusa e per questo λCi si chiama probabilitadi assorbimento in C partendo da i.

Allora e ovvio chei ∈ C =⇒ λCi = 1

ei ∈ C′ chiusa, C′ ∩ C = ∅ =⇒ λCi = 0.

36

Si fa vedere che le quantita λCi , i ∈ T \ C soddisfano un sistemadi equazioni lineari in tante incognite e tante equazioni quanto e lacardinalita di T \ C. Fissato i ∈ T \ C

λCi =∞∑

n=1

Pi(τC = n),

inoltre

Pi(τC = n) =∑

h∈C, hj∈T \C, j=1,...,n−1

pih1ph1h2 . . . phn−1h

e

Pi(τC = n + 1) =∑

h∈C, hj∈T \C, j=1,...,n

pih1ph1h2 . . . phnh

=∑

h1∈T \Cpih1Ph1(τC = n).

Ora, poiche

λCi = Pi(τC = 1) +∞∑

n=2

Pi(τC = n),

con il cambio di variabile n = m + 1

λCi = Pi(τC = 1) +∞∑

m=1

Pi(τC = m + 1)

e sostituendo a Pi(τC = m+1) l’espressione∑

h1∈T \C pih1Ph1(τC = m)e a Pi(τC = 1) il suo valore

∑j∈C pij , si ottiene qualsiasi sia i ∈ T \ C

λCi =∑

j∈Cpij +

∞∑

m=1

∑

h1∈T \Cpih1Ph1(τC = m)

e scambiando l’ordine delle sommatorie (cosa possibile poiche i terminisono non negativi)

λCi =∑

j∈Cpij +

∑

h1∈T \Cpih1λ

Ch1

.

Si vedra nel prossimo paragrafo che se T ha cardinalita finita il sistema

xi =∑

j∈Cpij +

∑

h1∈T \Cpih1xh1 .

ha soluzione unica, che quindi coincide con le probabilita di assorbi-mento.

37

Si osservi che, grazie al criterio sufficiente per la persistenza, la classeS \ T di tutti gli stati persistenti di una catena (finita e non) e unaclasse chiusa. In tal caso il sistema soddisfatto dalle probabilita diassorbimento diventa

xi =∑

j∈S\Tpij +

∑

j∈Tpijxj , i ∈ T .

E immediato verificare che xi = 1 qualsiasi sia i ∈ T e una soluzionedel sistema, che quindi nel caso finito coincide con la probabilita diassorbimento nella classe degli stati persistenti. Cosı nel caso T finito,qualsiasi sia la legge iniziale

P(τS\T < +∞) =∑

j∈SλS\Tj π0(j) =

∑

j∈Sπ0(j) = 1.

Lo stesso risultato si puo anche mostrare mettendo insieme il fatto che

P(τS\T < +∞) = P(N∞(T ) < +∞),

e che nel caso T finito come si e gia visto P(N∞(T ) < +∞) = 1.

25 Unicita della soluzione del sistema di equazioniper le probabilita di assorbimento nel caso stati finiti

Sia xi, i ∈ T \ C una soluzione del sistema

xi =∑

h∈Cpih +

∑

h∈T \Cpihxh ;

si dimostra che xi coincide con λi = Pi(τC < +∞). Per questo sisostituisce nell’equazione precedente il valore di xh dato dall’equazionestessa

xi =∑

h∈Cpih +

∑

h∈T \Cpih

∑

j∈Cphj +

∑

h∈T \Cpih

∑

j∈T \Cphjxj

=∑

h∈Cpih +

∑

h∈T \C

∑

j∈Cpihphj +

∑

j∈T \C

∑

h∈Spihphjxj ,

dove nella riscrittura del terzo termine si e usato il fatto che se j ∈ T \Ce h ∈ C allora phj = 0.

Si osserva che, poiche i primi due addendi insieme danno la probabilitadi passare da i in C in al piu due passi,

xi = Pi(τC ≤ 2) +∑

j∈T \Cp(2)ij xj .

38

Con analogo procedimento dall’equazione precedente si ottiene

xi = Pi(τC ≤ 3) +∑

j∈T \Cp(3)ij xj ,

e iterando n− 1 volte

xi = Pi(τC ≤ n) +∑

j∈T \Cp(n)ij xj .

Passando al limite per n → ∞ nel secondo membro e utilizzando ilfatto che T , e quindi T \ C, e finito e pertanto si possono scambiaresomma e limite, si ottiene

xi = limn→∞Pi(τC ≤ n) +

∑

j∈T \Clim

n→∞ p(n)ij xj .

Ora τC ≤ n e una successione crescente di eventi, ovvero

τC ≤ n ⊆ τC ≤ n + 1,

e inoltre ∞⋃

n=1

τC ≤ n = τC < +∞,

cosı, applicando il lemma di continuita della probabilita per successionicrescenti di eventi del paragrafo 17,

limn→∞Pi(τC ≤ n) = Pi(τC < +∞).

Inoltre si e dimostrato nel paragrafo 19 che qualsiasi sia i ∈ S perj transiente limn→∞ p

(n)ij = 0 e quindi in definitiva si ottiene come si

volevaxi = Pi(τC < +∞).

26 Probabilita di estinzioneper la catena di nascita e morte con estremi assorbenti

In questa sezione si calcola la probabilita di assorbimento in 0 peruna catena di nascita e morte con 0 e m assorbenti, ovvero r0 = 1(quindi p0 = 0) e rm = 1 (e quindi qm = 0), e con pi > 0 e qi > 0, equindi tutti gli stati intermedi comunicanti e transienti. Ponendo persemplicita di notazione λCi = λ

0i = λi, il sistema si scrive

λi = qiλi−1 + piλi+1 + riλi,

39

i ∈ 1, . . . , m − 1, dove λ0 = 1 e λm = 0. Sostituendo a ri il valore1− pi − qi, dopo facili passaggi algebrici, si trova

λi − λi+1 =qi

pi(λi−1 − λi)

(attenzione: si usa pi > 0). Si calcola in modo ricorsivo

λi − λi+1 =qiqi−1 . . . q1

pipi−1 . . . p1(1− λ1) = γi(1− λ1)

avendo postoγi =

qiqi−1 . . . q1

pipi−1 . . . p1.

Posto γ0 = 1, sommando da 0 a m−1 ambo i membri dell’uguaglianzaprecedente, si ricava

λ0 − λm =m−1∑

i=0

γi(1− λ1)

da cui, ricordando che λ0 = 1 e λm = 0, si ottiene

1− λ1 =1∑m−1

i=0 γi

(attenzione: si usa qi > 0). Sommando ora da j a m−1 ambo i membridell’uguaglianza gia utilizzata e ricordando che λm = 0, si ricava

λj − λm = λj =

∑m−1i=j γi∑m−1i=0 γi

.

Si assuma pi = p e qi = q, allora ri = r e si ottiene γi =(

qp

)ie quindi

λj =

(qp

)j+

(qp

)j+1+ . . . +

(qp

)m−1

1 +(

qp

)+ . . . +

(qp

)m−1

e se q = p = 1/2 o anche solo q = p, r 6= 0

λj =m− j

m.

Cosı nella rovina del giocatore la probabilita che A perda e

λa =b

a + b.

40

27 Persistenza per la catena di nascita e morte irriducibile

Per analizzare la persistenza e la transienza degli stati della catena dinascita e morte a valori in S = N e con pi > 0 e qi > 0 per ogni i ∈ S,si osserva che: poiche essa e irriducibile gli stati hanno tutti lo stessocarattere, in particolare il carattere dello stato 0 e inoltre

ρ00 = p00 + p01ρ10 = r0 + p0P1(τ0 < +∞).

Pertanto la catena e persistente se e solo se

1 = r0 + p0P1(τ0 < +∞)

e quindi, ricordando che r0 + p0 = 1, se e solo se

P1(τ0 < +∞) = 1.

Per calcolare P1(τ0 < +∞) si osserva che

τ0 < +∞ =∞⋃

m=1

τ0 < τm.

Infatti τ0(ω) < +∞ implica che esiste M , dipendente da ω, tale cheτ0(ω) < M ; inoltre, poiche τm(ω) + 1 ≤ τm+1(ω), allora τm(ω) divergea +∞ crescendo, e quindi esiste m, dipendente da ω, tale che τ0(ω) <M < τm(ω). Pertanto

τ0 < +∞ ⊆∞⋃

m=1

τ0 < τm.

L’inclusione inversa e immediata.

Dunque, applicando il lemma di continuita della probabilita per suc-cessioni crescenti di eventi del paragrafo 17

P1(τ0 < +∞) = limm→∞P1(τ0 < τm).

Ma P1(τ0 < τm) e pari alla probabilita di assorbimento in 0 par-tendo da 1 per la catena di nascita e morte su 0, . . . , m con le stessepi, ri, qi per i = 1, . . . , m− 1 ma con 0 e m assorbenti.

Pertanto, ricordando l’espressione di λj per j = 1 calcolata nel para-grafo precedente, si ha

P1(τ0 < +∞) = limm→∞

∑m−1i=1 γi∑m−1i=0 γi

= limm→∞

(1− 1∑m−1

i=0 γi

).

41

Concludendo, la catena e persistente se e solo se∞∑

i=0

γi = +∞.

Se qi = q, pi = p∞∑

i=0

γi =∞∑

i=0

(q

p

)i= +∞

se e solo se qp ≥ 1 ovvero se e solo se q ≥ p.

Esempio: pi = i+22i+2 e qi = i

2i+2 ; allora qi

pi= i

i+2 e

γi =1 · 2 · 3 . . . (i− 2)(i− 1)i

3 · 4 · 5 . . . i · (i + 1)(i + 2)=

2(i + 1)(i + 2)

e poiche∑

γi ha lo stesso comportamento di∑ 1

i2< +∞, la catena e

transiente.

Esercizio 6

Tre libri sono messi uno sopra l’altro a formare una pila. In ogni istantese ne sceglie uno a caso e si mette in cima alla pila lasciando invariatala posizione degli altri due. Assumendo che i libri siano contraddistinticon le lettere A,B,C: descrivere con una catena di Markov il sistemail cui stato e costituito in ogni istante dalla disposizione dei libri nellapila.

SoluzioneCi sono tanti stati quante sono le permutazioni della terna(A,B,C),ovvero 3! = 6. Inoltre da ogni stato le transizioni possibili equiprob-abili sono 3. Cosı se per esempio ordiniamo i possibili stati in questomodo:

(AB C) , (B A C) , (C A B) , (A C B) , (B C A) , (C B A)la matrice di transizione e la seguente

P =

13

13

13 0 0 0

13

13 0 0 0 1

30 0 1

313

13 0

0 13

13

13 0 0

13 0 0 0 1

313

0 0 0 13

13

13

La catena e irriducibile poiche tutti gli stati sono comunicanti e, es-sendo lo spazio di stato finito, tutti gli stati sono persistenti.

42

28 Tempi medi di assorbimento nella classe degli statipersistenti

In questa sezione si determina il sistema di equazioni al quale devonosoddisfare i valori medi dei tempi di assorbimento nella classe chiusaC di tutti gli stati persistenti. Si ricordi che qualsiasi sia i ∈ T valeλCi = Pi(τC < +∞) = 1 e qui si vogliono determinare le equazioni perEi[τC ].

Sia i ∈ T allora

Ei[τC ] = 1 · Pi(τC = 1) +∞∑

n=2

nPi(τC = n)

= Pi(τC = 1) +∞∑

l=1

(1 + l) Pi(τC = 1 + l)

e essendo Pi(τC = 1 + l) =∑

h∈T pihPh(τC = l),

Ei[τC ] = Pi(τC = 1) +∞∑

l=1

Pi(τC = 1 + l) +∞∑

l=1

l∑

h∈TpihPh(τC = l)

=∞∑

n=1

Pi(τC = n) +∞∑

l=1

l∑

h∈TpihPh(τC = l).

Dunque, potendo scambiare l’ordine delle somme nel secondo addendo,se e i ∈ T si ha

Ei[τC ] = Pi(τC < +∞) +∑

h∈Tpih

∞∑

l=1

l Ph(τC = l)

= 1 +∑

h∈Tpih Eh[τC ],

dove nell’ultimo passaggio si e usato Pi(τC < +∞) = λCi = 1.

Si puo dimostrare che il sistema

xi = 1 +∑

h∈Tpihxh, i ∈ T ,

quando T ha cardinalita finita, in particolare se lo spazio degli statidella catena e finito, ammette un’unica soluzione e dunque risolvendolosi ottengono proprio i valori medi desiderati.

Nel caso della rovina del giocatore con p = q per C = 0,m eT = 1, . . . m− 1 si calcola

Ei[τC ] = i(a + b− i)

e quindi, se il capitale iniziale di A e a, in media affinche il gioco finiscasi aspetta un tempo pari ad ab.

43

Continuazione dell’Esercizio 6

Quanto tempo in media occorre se la catena e inizialmente nello stato(A,B,C) (dall’alto verso il basso) affinche il primo libro dall’alto siaquello contraddistinto dalla lettera C?

SoluzionePer rispondere si calcola il tempo medio di assorbimento partendodallo stato 1 nella classe chiusa C = 3, 6 per la catena modificatarendendo assorbenti gli stati 3 e 6. Il grafico della nuova catena e

Il sistema da risolvere per calcolare E1[τC ] e:

x1 = 1 + 13x1 + 1

3x2

x2 = 1 + 13x2 + 1

3x1

x4 = 1 + 13x4 + 1

3x2

x5 = 1 + 13x5 + 1

3x1

le cui soluzioni sono x1 = x2 = x4 = x5 = 3. Pertanto E1[τC ] = 3.

Esercizio 7

a) Calcolare le probabilita di assorbimento nello stato 0 per la catenacon matrice di transizione

P =

1 0 0 013 0 1

313

0 14

14

12

0 0 0 1

.

b) Calcolare la probabilita che la catena sia assorbita nello stato 0se la densita iniziale e quella uniforme.

c) Calcolare i tempi medi di assorbimento in 0, 3.

44

Soluzione

a) Le probabilita di assorbimento nello stato 0 risolvono

x1 = 13 + 1

3x2

x2 = 14x1 + 1

4x2

da cui si calcola facilmente λ01 = x1 = 3

8 e λ02 = x2 = 1

8 .

b) Se poi la legge iniziale e uniforme, allora

P(τ0 < +∞) =3∑

i=0

λ0i

14

= 1 · 14

+38· 14

+18· 14

=38.

c) I tempi medi di assorbimento in C = 0, 3 risolvono

x1 = 1 + 13x2

x2 = 1 + 14x1 + 1

4x2

e quindi si calcola E1[τC ] = 138 , E2[τC ] = 15

8 .

Esercizio 8

Sia (Xn)n≥0 la catena che descrive la seguente passeggiata aleatoriasui vertici di un triangolo, numerati con 1,2,3 procedendo in sensoantiorario: ci si muove in senso antiorario con probabilita p e orariocon probabilita 1 − p e la densita iniziale e π0 = (1

5 0 45). Calcolare il

valore medio del tempo di primo arrivo nello stato 2.

SoluzioneSi osservi che la variabile aleatoria, τ2, tempo di primo arrivo nellostato 2, si puo scrivere cosı

τ2 = τ2I1(X0) + τ2I2(X0) + τ2I3(X0)

e quindi per la linearita della media

E[τ2] =3∑

i=1

E[τ2 Ii(X0)

].

La densita della variabile τ2Ii(X0) in k ≥ 1 si calcola cosı:

P(τ2 Ii(X0) = k) = P(τ2 = k, X0 = i) = P(τ2 = k|X0 = i)P(X0 = i).

45

Pertanto P(τ2 Ii(X0) = k) = Pi(τ2 = k)π0(i) se k ≥ 1 e

E[τ2 Ii(X0)] =∞∑

k=1

k Pi(τ2 = k)π0(i) = π0(i)∞∑

k=1

k Pi(τ2 = k) = π0(i)Ei[τ2].

In conclusione

E[τ2] =3∑

i=1

π0(i)Ei[τ2] =15E1[τ2] +

45E3[τ2].

Un modo per calcolare le medie E1[τ2], E3[τ2] e quello di pensare cheesse sono le stesse per la catena in cui rendiamo assorbente lo stato 2,ovvero per la catena

Questa catena ha il vantaggio di avere gli stati 1 e 3 transienti e 2unica classe persistente. Cosı si puo impostare il sistema

x1 = 1 + p13x3 = 1 + (1− p)x3

x3 = 1 + p31x1 = 1 + p x1

la cui soluzione (x1, x3) fornisce E1[τ2] e E3[τ2]. Si trova

E1[τ2] =2− p

1− p + p2, E3[τ2] =

1 + p

1− p + p2

Si noti che se p = 1 − p, ovvero nel caso simmetrico, come ci si puoaspettare, E1[τ2] = E3[τ2] e in particolare entrambi i valori sono ugualia 2. In conclusione

E[τ2] =15

2− p

1− p + p2+

45

1 + p

1− p + p2=

6 + 3p5(1− p + p2)

.

46

Esercizio 9

Quattro fratelli di eta differente giocano a tirarsi la palla: ciascunola lancia con uguale probabilita a quelli piu piccoli di lui, ma il piupiccolo di tutti non la lancia affatto e ferma il gioco.

a) Descrivere con una catena di Markov il gioco. Quanto tempo inmedia dura il gioco se ad iniziarlo e il maggiore?

b) Arriva un amico e il gioco cambia cosı: ciascuno lancia la pallaa caso al gruppo composto dai fratelli piu piccoli e dall’amico,tranne il fratello minore e l’amico che non lanciano la palla anessuno e fermano il gioco. Se ad iniziare e il maggiore, con cheprobabilita il gioco finisce con la palla nelle mani del minore? Inmedia quanto tempo dura questo secondo gioco?

Soluzione

a) Numerati con 1, 2, 3, 4 i fratelli dal piu grande al piu piccolo,la catena ha la matrice di transizione seguente

P =

0 13

13

13

0 0 12

12

0 0 0 10 0 0 1

il suo grafico e

e lo spazio degli stati e costituito dagli stati transienti T =1, 2, 3 e dallo stato assorbente 4, poiche i → 4 e 4 9 i qualsiasisia i = 1, 2, 3 e 4 comunica solo con se stesso. Allora la classe C di

47

tutti gli stati persistenti coincide con 4 e il sistema di equazionirisolto dai tempi medi di assorbimento in C e

x1 = 1 + 13x2 + 1

3x3

x2 = 1 + 12x3

x3 = 1

La soluzione e x1 = 116 , x2 = 3

2 , x3 = 1 e dunque la risposta e116 . Si sarebbe anche potuto calcolare facilmente in questo casola densita del tempo di assorbimento τC trovando

P1(τC = 1) =13, P1(τC = 2) =

13

+16

=12, P1(τC = 3) =

16.

Il tempo medio si calcolava allora cosı

E1[τC ] = 113

+ 212

+ 316

=116

b) Lo spazio degli stati diventa 1, 2, 3, 4, 5 dove come prima i fratel-li sono numerati dal piu grande al piu piccolo e l’ultimo statoindica l’amico; la matrice di transizione si modifica cosı

P =

0 14

14

14

14

0 0 13

13

13

0 0 0 12

12

0 0 0 1 00 0 0 0 1

il suo grafico e

e lo spazio degli stati e costituito dagli stati transienti T = 1, 2, 3e dagli stati assorbenti 4 e 5, poiche i → 4 e 4 9 i qualsiasi siai = 1, 2, 3 e 4 e 5 comunicano solo con se stessi. C1 = 4 e

48

C2 = 5 sono dunque ora le uniche due classi irriducibili per-sistenti. In questo caso la classe C di tutti gli stati persistenticoincide con C1 ∪ C2 = 4, 5.Le probabilita di assorbimento nella classe C1 = 4 sono lasoluzione del sistema

x1 = 14 + 1

4x2 + 14x3

x2 = 13 + 1

3x3

x3 = 12

e quindi x1 = x2 = x3 = 12 , come era da aspettarsi per ragioni di

simmetria. Dunque se ad iniziare e il maggiore, con probabilita12 il gioco finisce con la palla nelle mani del minore.Il sistema di equazioni risolto dai tempi medi di assorbimento inC e

x1 = 1 + 14x2 + 1

4x3

x2 = 1 + 13x3

x3 = 1

la cui soluzione e x1 = 1912 , x2 = 4

3 , x3 = 1 e dunque la risposta e1912 .

Del resto

P1(τC = 1) =12, P1(τC = 2) =

14

+14· 23

=512

, P1(τC = 3) =112

,

e quindi

E1[τC ] = 112

+ 2512

+ 3112

=1912

.

3 Misure invarianti e proprieta ergodiche

29 La catena a due stati:comportamento asintotico delle leggi al tempo n

Si consideri la catena con S = 0, 1 e

P =(

1− p pq 1− q

)

49

con q, p ∈ [0, 1] e si calcoli la densita al tempo n, πn. Chiaramentebastera calcolare per esempio πn(0) = P(Xn = 0). Si ha

πn(0) = P(Xn = 0 | Xn−1 = 0)πn−1(0) + P(Xn = 0 | Xn−1 = 1)πn−1(1)= (1− p)πn−1(0) + qπn−1(1)= (1− p)πn−1(0) + q(1− πn−1(0))= (1− p− q) πn−1(0) + q,

e ricorsivamente

πn(0) = (1− p− q)nπ0(0) + q

n−1∑

j=0

(1− p− q)j .

Pertanto, essendo

n−1∑

j=0

(1− p− q)j =1− (1− p− q)n

p + q,

si ottiene

πn(0) =q

p + q+ (1− p− q)n

(π0(0)− q

p + q

)

πn(1) =p

p + q+ (1− p− q)n

(π0(1)− p

p + q

).

Si osserva che, qualsiasi sia la densita iniziale π0, se p + q = 1 siottiene, per ogni n ≥ 1, πn(0) = q e πn(1) = p. Se invece si assume|1− p− q| < 1, si ha limn→∞(1− p− q)n = 0, qualsiasi sia la densitainiziale π0, e quindi

limn→∞πn(0) =

q

p + qe

limn→∞πn(1) =

p

p + q.

Dunque in entrambi i casi si puo dire che, qualsiasi sia la densitainiziale π0, la legge di questa catena al crescere del tempo si stabilizza.Ci si puo chiedere se questo comportamento sia eccezionale. Per orasi noti che posto π0(0) = q

p+q e quindi π0(1) = pp+q si ha per ogni

n ≥ 1, πn(0) = qp+q e quindi πn(1) = p

p+q , ovvero, se la legge inizialecoincide con la legge limite, la stessa legge e la legge della catena inogni tempo.

30 Definizione di misura invariante

Si definisce misura di probabilita invariante o stazionaria per unamatrice di transizione P un’applicazione v : S → [0, 1] tale che

50

i) ∑

i∈Svi = 1

ii) se (Xn)n≥0 e la catena associata a P con densita iniziale π0 = v,allora qualsiasi sia n ≥ 1

πn = vPn = v.

Condizione necessaria e sufficiente affinche v : S → [0, 1] sia una misuradi probabilita invariante e che

a)∑

i∈S vi = 1b) vP = v.

La condizione necessaria e immediata. La condizione sufficiente segueosservando che a) e i) coincidono e b) implica ii): infatti se b) e vera,allora, poiche

πn = πn−1 P,

assumendo l’ipotesi induttiva πn−1 = v si ha

πn = vP = v.

31 Esempi nel caso finito

Data P finita e bistocastica, cioe tale che per ogni i ∈ Sn∑

j=1

pji = 1

(n= cardinalita di S) si dimostra che esiste una costante k tale chevi = k per ogni i ∈ S e una misura di probabilita invariante. Affinchev sia invariante la costante k deve verificare

a)∑n

i=1 k = 1b)

∑nj=1 k pji = k per ogni i ∈ S.

La condizione b) e chiaramente vera essendo∑n

j=1 k pji = k∑n

j=1 pji

e P bistocastica. La condizione a) fornisce k = 1n .

Dunque una misura invariante per P bistocastica e la misura uniforme.

E l’unica?

Come secondo esempio si considera la catena che descrive una passeg-giata aleatoria sui vertici di un grafo: la catena ha tanti stati quantisono i vertici e la probabilita di transizione da uno stato (vertice) euniforme sugli stati adiacenti (vertici connessi al primo da un arco).

Dato per esempio il grafo

51

il grafico della catena associata e il seguente

Se ki e il numero dei vertici adiacenti a i ∈ S e

k =∑

i∈Ski,

allora v tale chevi =

ki

k

e una misura invariante per la catena. Infatti∑

j∈S

kj

kpji =

∑

j adiacenti a i

kj

k

1kj

=ki

k,

l’ultima uguaglianza usa il fatto che solo ki sono gli stati per i qualipji 6= 0.

E l’unica misura invariante?

Per la catena di nascita e morte su 0, 1, . . . , m con gli stati 0 em assorbenti e qi > 0, pi > 0 se i = 1, . . . , m − 1, e chiaro chev(1) = (1 0 . . . 0) e invariante, poiche v(1)P = v(1) e

∑mi=0 v

(1)i = 1.

Analogamente v(2) = (0 0 . . . 1) e invariante.

Sia ora il vettore w definito cosı

wi = αv(1)i + (1− α)v(2)

i

per una qualche costante α ∈ (0, 1). Allora w e invariante poichewi ≥ 0 per ogni i = 0, . . . ,m e inoltre

52

a)m∑

i=0

wi = αm∑

i=0

v(1)i + (1− α)

m∑

i=0

v(2)i = α + (1− α) = 1.

b)

wP = α v(1) P + (1− α) v(2) P = αv(1) + (1− α)v(2) = w.

La famiglia precedente definisce un’infinita di misure invarianti e dalprossimo risultato segue che ogni misura invariante appartiene allafamiglia.

Proposizione Se i e transiente e v e invariante vale vi = 0.

Dimostrazione Se v e invariante, per ogni i ∈ S

vi = πn(i) =∑

j∈Svjp

(n)ji

e passando al limite in n in entrambi i membri si ottiene per ogni i ∈ S

vi = limn→∞

∑

j∈Svjp

(n)ji =

∑

j∈Svj lim

n→∞ p(n)ji = 0

Lo scambio tra somma e limite e immediato se S e finito ed lecito ingenerale poiche si puo utilizzare il seguente risultato sulle serie ([1]):le condizioni limn→∞ anj = 0, |anj | ≤ A per ogni n, j,

∑∞j=1 |bj | < +∞

implicano limn→∞∑∞

j=1 |anjbj | = 0. Nel caso in esame: anj = p(n)ji ≤

1, bj = vj e∑∞

j=1 bj = 1.

32 Esistenza e unicita della misura invariante

Si sono trovate una o piu misure invarianti per tre diversi esempi dicatene. Ma in generale esiste sempre almeno una misura invariante?Se esiste quando e unica?

Teorema(Markov −Kakutani) ([1]) Una matrice di transizione su unospazio finito ammette sempre almeno una misura invariante.

Si e gia dimostrato nel caso della catena di nascita e morte che ognicombinazione convessa di due misure invarianti e invariante e si vedesubito che la dimostrazione non dipende ne dalla catena ne dalla formadi v(1) e v(2) e quindi il risultato vale in generale. Pertanto se esistepiu di una misura invariante allora ne esistono infinite.

Su S eventualmente infinito sia P irriducibile. Gia si e detto che lacaratterizzazione degli stati e globale, cioe o sono tutti persistenti osono tutti transienti, di conseguenza la catena si dice persistente o

53

transiente. Si ricorda che i e persistente se e solo se Pi(τi < +∞) = 1,ma se una variabile aleatoria e finita con probabilita 1 questo nonimplica necessariamente che il suo valore medio sia finito. Nel casopersistente si distinguono cosı due sottocasi:

catena persistente positiva: per ogni i ∈ S, Ei[τi] < +∞,

catena persistente nulla: per ogni i ∈ S, Ei[τi] = +∞.

Anche il carattere della persistenza nel caso irriducibile e globale (vedi[3]).

Teorema Ogni catena irriducibile persistente positiva ammette un’u-nica misura invariante data da

vi =1

Ei[τi], i ∈ S.

Le catene irriducibili transienti o persistenti nulle non ammettonomisura invariante.

Si rimanda per un’idea della dimostrazione alla fine di queste note eper maggior dettaglio a [3].

Nel caso irriducibile dunque per determinare l’esistenza della misurainvariante occorre poter stabilire se la media dei tempi di ritorno neglistati e finita e, per il carattere globale della nozioni di persistenza nullae positiva e transienza, e sufficiente verificarlo per un solo stato.

E intuitivo (ma richiederebbe una dimostrazione che qui si omette)il fatto che tutte le catene irriducibili finite sono persistenti positivee quindi hanno un’unica misura invariante. Se si calcola la misurainvariante allora automaticamente si calcolano anche i tempi medi diritorno negli stati.

33 Catene ergodiche

Una matrice di transizione P si dice ergodica se fissato j qualsiasi siai ∈ S

limn→∞ p

(n)ij = vj

per qualche v : S → [0, 1] tale che∑

j vj = 1. Si puo dimostrare chedall’ergodicita discende

i) fissato j, qualsiasi sia la misura iniziale della catena, limn→∞ πn(j) =vj

ii) v e una misura invariante

iii) v e l’unica misura invariante.

La dimostrazione si fa vedere ora nel caso finito, quando limiti e sommesi scambiano senza problema:

54

i)

limn→∞πn(j) = lim

n→∞∑

i

π0(i) p(n)ij

=∑

i

π0(i) limn→∞ p

(n)ij

=∑

i

π0(i)vj = vj

∑

i

π0(i) = vj

(La dimostrazione di questo punto nel caso infinito richiede il risultato

di scambio di limite e serie enunciato precedentemente:

limn→∞ |

∑

i

π0(i)(p(n)ij −vj)| ≤ lim

n→∞∑

i

π0(i)|p(n)ij −vj | =

∑

i

π0(i) limn→∞ |p

(n)ij −vj | = 0

e |p(n)ij − vj | ≤ 2 per ogni n, i.

)

ii) per ogni i ∈ S si ha (vP)i = vi poiche∑

j

vjpji =∑

j

limn→∞ p

(n)kj pji = lim

n→∞∑

j

p(n)kj pji = lim

n→∞ p(n+1)ki = vi

(k e arbitrario fissato)

iii) Se w fosse un’altra misura invariante, scelta π0 = w si avrebbeπn(i) = wi per ogni i, n e quindi, dovendo anche essere per il puntoprecedente limn→∞ πn(i) = vi, seguirebbe, per l’unicita del limite,wi = vi per ogni i.

34 Catene regolari

Nel caso delle catene finite esiste una condizione necessaria e sufficienteper l’ergodicita: la regolarita. Una matrice di transizione su uno spaziodi stati finito si dice regolare se esiste n ≥ 1 tale che p

(n)ij > 0 per ogni

i, j.

Una condizione sufficiente per la regolarita e che P sia irriducibilee esista h ∈ S tale che phh > 0. Infatti se m = maxn(i, j), i, j ∈S t.c. p(n(i,j))

ij > 0 (n(i, j) esiste per l’irriducibilita), allora p(2m)ij > 0

per ogni i, j poiche

p(2m)ij ≥ p

(n(i,h))ih phh . . . phhp

(n(h,j))hj > 0,

dove il prodotto di phh per se stesso e ripetuto 2m − n(i, h) − n(h, j)volte.

55

Esercizio 10

Sia Xn la catena su S = 1, 2, 3 tale che: se lanciando una monetasi ottiene testa allora X0 = 1, altrimenti X0 = 2 o X0 = 3 con ugualeprobabilita; nei tempi successivi se la catena e in 1 vi rimane, se e in3 passa in 2, se e in 2 passa in 3 con probabilita 2

3 o rimane in 2.

a) Calcolare le eventuali misure invarianti.

b) Calcolare limn→∞ p(n)ij per ogni i, j.

c) Calcolare limn→∞ πn(i) per ogni i.

SoluzioneLa catena ha matrice di transizione

P =

1 0 00 1

323

0 1 0

e misura iniziale π0 = (12

14

14) e il suo grafico e

a) Pertanto S = C1 ∪ C2 = 1 ∪ 2, 3, ovvero 1 e stato assor-bente e 2, 3 e classe persistente positiva. Esistono pertantoinfinite misure invarianti che sono tutte le combinazioni convessedi v(1) = (1 0 0) e v(2) = (0 3

525). I vettori 1 e (3

525) sono infatti le

misure invarianti della catena ristretta rispettivamente alle classi1 e 2, 3.

b) E evidente che qualsiasi sia n la matrice di transizione in n passiavra la forma

P(n) =

1 0 00 p

(n)22 p

(n)23

0 p(n)32 p

(n)33 ,

56

da cui subito si ricava che

limn→∞ p

(n)11 = 1, lim

n→∞ p(n)12 = 0, lim

n→∞ p(n)13 = 0,

limn→∞ p

(n)21 = 0, lim

n→∞ p(n)31 = 0 .

Per quanto riguarda gli altri elementi, poiche la matrice di tran-sizione ristretta agli stati 2 e 3 e regolare (in quanto irriducibilecon p22 > 0) allora e ergodica e si ha per i = 2, 3

limn→∞ p

(n)i2 = v

(2)2 =

35, lim

n→∞ p(n)i3 = v

(2)3 =

25

c) Infine poiche

πn(1) =3∑

i=1

π0(i) p(n)i1 =

12

p(n)11 +

14

p(n)21 +

14

p(n)31 =

12

πn(2) =3∑

i=1

π0(i) p(n)i2 =

14

p(n)22 +

14

p(n)32

πn(3) =3∑

i=1

π0(i) p(n)i3 =

14

p(n)23 +

14

p(n)33 ,

allora

limn→∞πn(1) =

12

limn→∞πn(2) =

14(35

+35) =

310

limn→∞πn(3) =

14(25

+25) =

15.

Esercizio 11

Sia data la matrice di transizione

P =

0.4 0.4 0.20.3 0.4 0.30.2 0.4 0.4

.

Calcolare l’unica misura invariante.

SoluzioneLa matrice e irriducibile finita e quindi persistente positiva e con

57

un’unica misura invariante soluzione del sistema

x1 + x2 + x3 = 10.4x1 + 0.3 x2 + 0.2x3 = x1

0.4x1 + 0.4 x2 + 0.4x3 = x2

0.2x1 + 0.4 x2 + 0.4x3 = x3

xi ≥ 0

equivalente a

x1 + x2 + x3 = 1−6x1 + 3 x2 + 2 x3 = 04x1 − 6x2 + 4 x3 = 02x1 + 4 x2 − 6x3 = 0xi ≥ 0.

Moltiplicando la seconda equazione per 2 e sottraendole la terza e altempo stesso moltiplicando la quarta per 2 e sottraendole la terza siottiene il sistema equivalente

x1 + x2 + x3 = 18x1 + 12x2 = 04x1 − 6x2 + 4 x3 = 012 x2 − 16x3 = 0xi ≥ 0

dal quale facilmente si ricava x1 = 34x2, x3 = 3

4x2 e infine x2 = 25 .

Esercizio 12

Assegnata la matrice di transizione

P =

0 14

34

0 12

12

0 0 1

a) calcolare la misura invariante se esiste

b) la media del tempo di primo ritorno in 1

c) la media dei tempi di assorbimento in 3.

Soluzionea) La decomposizione dello spazio degli stati e

S = 1, 2, 3 = T ∪ C = 1, 2 ∪ 3ovvero: 1 e 2 sono stati transienti poiche comunicano con 3 che noncomunica ne con 1 ne con 2; 3 e uno stato assorbente. Pertanto l’unicamisura invariante e v = (0 0 1), unica soluzione non negativa delsistema

∑xi = 1

xP = x

x1 = 0x2 = 0

58

(si ricordi: le misure invarianti valgono 0 sugli stati transienti)

b) Poiche 1 e transiente, si ha

ρ11 = P1(τ1 < +∞) < 1

ovveroP1(τ1 = +∞) > 0

e quindi E1[τ1] = +∞.

c) Per calcolare i tempi di assorbimento in 3 si puo risolvere il sistema

Ei[τ3] = 1 +∑

j∈T

pijEj [τ3], i = 1, 2

che coincide con E1[τ3] = 1 + 1

4E2[τ3]E2[τ3] = 1 + 1

2E2[τ3]

che da E2[τ3] = 2 e E1[τ3] = 3/2.

Altrimenti si puo determinare la densita di τ3, ovvero Pi(τ3 = k) perk ≥ 1 corrispondente alla legge iniziale delta di Dirac in i, e calcolarepoi

Ei[τ3] =∞∑

k=1

kPi(τ3 = k), i = 1, 2.

Per esempio, dal grafico della catena subito si calcola

P1(τ3 = 1) =34, P1(τ3 = k) =

12k+1

, k ≥ 2

e quindi

E1[τ3] =34

+∞∑

k=2

k1

2k+1=

34

+12

(E[Z]− 1

2

)=

32.

con Z variabile aleatoria geometrica di parametro 12 e quindi E[Z] = 2.

Analogamente

P2(τ3 = 1) =12, P2(τ3 = k) =

12k

, k > 1

e quindiE2[τ3] = E[Z] = 2.

Naturalmente E3[τ3] = 1.

59

Esercizio 13

Assegnata la matrice

P =

34 0 0 1

4 014

14

14

14 0

0 0 0 0 112 0 0 1

2 00 0 1

4 0 34

a) trovare tutte le misure invarianti

b) calcolare la probabilita di raggiungere l’insieme 1, 4 partendodallo stato 2. Quanto vale allora la probabilita di raggiungerel’insieme 3, 5?

Soluzionea) In questo caso

S = 1, 2, 3, 4 = T ∪ C1 ∪ C2 = 2 ∪ 1, 4 ∪ 3, 5,

ovvero vi sono due classi irriducibili persistenti positive. Risolvendo ilsistema

x1 + x2 + x3 = 1x1 = 3

4x1 + 12x4

x2 = 0x3 = 1

4x5

x4 = 14x1 + 1

2x4

x5 = x3 + 34x5.

si trova x = (2x4 0 x3 x4 4x3) con 3x4 + 5x3 = 1 dove x3 e x4

sono lasciate come parametri. Dunque le misure invarianti sono tuttii vettori della forma (2α 0 β α 4β) al variare di α e β in R+ tali che3α + 5β = 1. Si osserva che la prima e la quarta componente dellagenerica misura invariante (2α 0 β α 4β) risolvono un sistema separatodal sistema risolto dalla terza e dalla quinta e precisamente il sistemarisolto dalla misura invariante della dinamica su C1 e la la terza e laquinta componente risolvono il sistema risolto dalla misura invariantedella dinamica su C2. Segue che per β = 0 si ottiene v(1) = (2

3 0 0 13 0)

e che (v(1)1 v

(1)4 ) e la misura invariante della dinamica su C1 e per α = 0

si ottiene v(2) = (0 0 15 0 4

5) e che (v(2)3 v

(2)5 ) e la misura invariante della

dinamica su C2. Inoltre, poiche dividendo la soluzione di un sistemaomogeneo per la somma delle sue componenti si ottiene una soluzionele cui componenti hanno come somma 1, esiste una costante γ > 0

60

tale che (2α α) = γ(v(1)1 v

(1)4 ) e quindi (2α 0 0 α 0) = γv(1). Per lo

stesso motivo esiste una costante δ > 0 tale che (0 0 β 0 4β) = δv(2).Cosı poiche (2α 0 β α 4β) = (2α 0 0 α 0) + (0 0 β 0 4β) allora γ e δ

sono tali che γ(v(1)1 + v

(1)4 ) + δ(v(2)

3 + v(2)5 )=1, ovvero, ricordando che

v(1)1 + v

(1)4 = 1 = v

(2)3 + v

(2)5 , sono tali che γ = 1− δ. Si e mostrato che

ogni misura invariante si esprime come combinazione convessa di v(1)

e v(2), cioe v = γv(1) + (1− γ)v(2) con γ ∈ [0, 1].Con dimostrazione analoga si prova l’affermazione generale per cui: lemisure invarianti di una catena a valori in uno spazio finito sono tuttee sole quelle che si ottengono per combinazione convessa a partire dallemisure invarianti della dinamica ristretta alle classi persistenti.

b) Si devono calcolare le probabilita di assorbimento λC12 e λC22 . Percalcolare λC12 si risolve

x =14

+14

+14x

e si ottiene λC12 = 23 . Dal fatto che

λC22 = P2(τC2 < +∞) = P2(τC2 < τC1) = 1− P2(τC1 < τC2) = 1− λC12 ,

segue λC22 = 13 .

35 La misura invariante per l’urna di Ehrenfest

Si ricordano le probabilita di transizione dell’urna di Ehrenfest con dbiglie:

p0j = I1(j), pdj = Id−1(j),

pij = Ii+1(j)d− i

d+ Ii−1(j)

i

d, 1 ≤ i ≤ d− 1.

La catena e una catena di nascita e morte irriducibile finita e quindipersistente positiva. Esiste dunque un’unica misura invariante che ela soluzione di

x0 + x1 + . . . + xd = 1x0 = x1

d

xi = xi−1d−(i−1)

d + xi+1i+1d , 1 ≤ i ≤ d− 1

xd = xd−1

d

xi ≥ 0.

61

Scelto x0 come parametro, si verifica subito che il sistema e equivalenteal sistema

x0 + x1 + . . . + xd = 1x1 = d x0

xi = d (d−1) ... (d−i+1)i! x0 =

(d

i

)x0, 1 ≤ i ≤ d

xi ≥ 0.

Per dimostrarlo si osservi che dalla seconda equazione segue che

x1 = d x0

e sostituendo nella terza per i = 1 il valore di x1 in termini di x0 siottiene

x2 =d(d− 1)

2x0 =

(d2

)x0.

Iterando il procedimento dalla terza equazione si ricavano tutti i valoriin funzione di x0. Infatti l’equazione si riscrive anche cosı

xi+1 =d

i + 1xi − d− i + 1

i + 1xi−1,

e se si assume che valga

xi−1 =(

di− 1

)x0 =

d (d− 1) . . . (d− i + 2)(i− 1)!

x0

e

xi =(

di

)x0 =

d (d− 1) . . . (d− i + 1)i!

x0,

si ottiene

xi+1 =d

i + 1d (d− 1) . . . (d− i + 1)

i!x0 − d− i + 1

i + 1d (d− 1) . . . (d− i + 2)

(i− 1)!x0

=d(d− i) (d− 1) . . . (d− i + 1)

(i + 1)!x0 =

(d

i + 1

)x0

Per ricavare il valore di x0 si sostituiscono le espressioni ottenute nellaprima equazione ottenendo

d∑

i=0

(di

)x0 = 1

e dalla formula del binomio di Newton si ricava x0 = 12d . Concludendo

la misura invariante e v con

vi =12d

(di

)i = 0, . . . , d

62

ovvero la densita della binomiale di parametri n = d, p = 12 .

36 Non esistenza della misura invarianteper la passeggiata aleatoria simmetrica in Z

Si puo dimostrare che la passeggiata aleatoria su Z in cui sono possibilisolo le transizioni sugli stati adiacenti (pij = Ii−1(j) q + Ii+1(j) p)e persistente se e solo se e simmetrica, cioe con stessa probabilita diun passo avanti e uno indietro. Qui si dimostra che la passeggiataaleatoria simmetrica su Z non ammette misura invariante e dunque siconclude che e catena persistente nulla.

Nel caso simmetrico pij = Ii−1(j)12+Ii+1(j)1

2 e il sistema di equazioniper la misura invariante si riscrive

∑i∈Z xi = 1, xi ≥ 0

xi = xi−1

2 + xi+1

2 , i ∈ Z.

Dall’equazione generale si ricava xi+1 = 2xi−xi−1 e quindi xi+1−xi =xi − xi−1, i ∈ Z, e quindi xi+1 − xi = x1 − x0.

Pertanto per ogni i ≥ 1

xi − x0 =i−1∑

j=0

(xj+1 − xj) = i(x1 − x0)

e quindixi = i(x1 − x0) + x0.

Segue che, poiche∑

i∈Z xi = 1 < +∞, non puo essere x1 − x0 >0 altrimenti limi→+∞ xi = +∞ (mentre il termine generico di unaserie convergente e infinitesimo); ne puo essere x1 − x0 < 0 altrimentilimi→−∞ xi = −∞, mentre xi ≥ 0. Dunque x1 − x0 = 0, cioe xi =x0 per ogni i ≥ 1. Inoltre dovendo essere

∑i∈Z xi < +∞ e quindi∑

i≥1 xi < +∞, potra solo essere xi = x0 = 0 per ogni i ≥ 1. Inoltreper ragioni di simmetria vale anche per ogni i ≤ −1

xi =(|i|+ 1

)(x0 − x1) + x1

e quindi xi = 0 per ogni i ≤ −1. Dunque il sistema non ammettesoluzione poiche quella identicamente nulla non verifica

∑i∈Z xi = 1.

37 Misura invariante per le catene di nascita e morte

L’enunciato che si vuole dimostrare e il seguente: una catena di nascitae morte infinita persistente ammette una misura invariante se e solose, posto

γ0 = 1 γi =p0 · p1 · · . . . · pi−1

q1 · q2 · . . . · qi, i ≥ 1,

63

si ha ∞∑

i=0

γi < +∞

e la misura invariante si calcola cosı per ogni i ≥ 0

vi =γi∑∞i=0 γi

.

Il sistema per il calcolo della misura invariante e

x0 = x0r0 + x1q1

xi = xi−1pi−1 + xiri + xi+1qi+1, i ≥ 1∑+∞i=0 xi = 1

xi ≥ 0

e sostituendo a ri il valore 1− pi − qi si ottiene

x1q1 − x0p0 = 0xi+1qi+1 − xipi = xiqi − xi−1pi−1, i ≥ 1∑+∞

i=0 xi = 1xi ≥ 0

e quindi

xiqi − xi−1pi−1 = 0, i ≥ 1∑+∞i=0 xi = 1

xi ≥ 0

da cui

xi = pi−1

qixi−1 = pi−1

qi

pi−2

qi−1xi−2 = . . . = γix0, i ≥ 1∑+∞

i=0 xi = 1xi ≥ 0.

Dalla seconda equazione si ottiene il valore di x0:

x0 =1∑∞

i=0 γi.

e dunque contemporaneamente la condizione necessaria e sufficiente el’espressione della misura invariante.

Se la catena e irriducibile ma lo spazio e finito S = 0, 1, . . . , m alloraessendo persistente positiva ammette un’unica misura invariante che

64

risolve

x0 = x0r0 + x1q1

xi = xi−1pi−1 + xiri + xi+1qi+1, 1 ≤ i ≤ m− 1xm = xm−1pm−1 + xmqm∑+∞

i=0 xi = 1xi ≥ 0

e quindi

vi =γi∑mi=0 γi

.

Esercizio 14

Si indichi con (Xn)n la catena di Markov che descrive una coda in cuile variabili aleatorie numero dei clienti in arrivo e in partenza in ogniunita temporale sono indipendenti di legge Bernoulli rispettivamentedi parametri α = 1

4 e β = 12 .

a) Calcolare le probabilita di transizione della catena.

b) La catena e irriducibile ? E persistente? Ammette una misurainvariante unica?

c) Dare le condizioni su α e β generici che consentono di rispondereaffermativamente alle precedenti domande.

Soluzionea) Indicati con A e B rispettivamente gli eventi arriva un clientee parte un cliente, per ipotesi A e B sono eventi indipendenti e daogni stato i diverso da 0 si transita in i+1 con la probabilita di A∩Bc

che e Pi(A) Pi(Bc) = α (1 − β) = 18 e in i − 1 con la probabilita di

Ac∩B che e Pi(Ac) Pi(B) = (1−α) β = 38 e infine si rimane in i con la

probabilita di A∩B⋃

Ac∩Bc che e αβ +(1−α)(1−β) = 12 . Infine da

0 si transita in 1 con probabilita α = 14 e si resta in 0 con probabilita

1−α = 34 . Riassumendo r0 = 3

4 , p0 = 14 , e, per ogni i ≥ 1, qi = q = 3

8 ,pi = p = 1

8 , ri = r = 12 .

b) La catena e irriducibile poiche per ogni i ≥ 1 si ha pi > 0 eqi > 0. La catena e persistente poiche sappiamo che, se le probabilita dinascita e morte non dipendono dallo stato, condizione sufficiente e cheqi ≥ pi, i ≥ 1. La catena ammette un’unica misura invariante poichela condizione necessaria e sufficiente in generale e

∑∞i=0 γi < +∞ e,

se si ha come in questo caso pi = p, qi = q, i ≥ 1, allora per i ≥ 1

65

vale γi = p0

p

(pq

)ie quindi la serie e convergente se e solo se p

q < 1 cioep < q, come in questo caso. La misura invariante in generale e

vi =γi∑∞i=0 γi

e qui per i ≥ 1,

γi =1438

(13

)i−1=

23

(13

)i−1

e quindi∞∑

i=0

γi = 1 +23

∞∑

i=1

(13

)i−1= 1 +

23

32

= 2

e in conclusionev0 =

12, vi =

(13

)i, i ≥ 1.

c) Se α e β sono in (0, 1) allora pi > 0 e qi > 0, per ogni i ≥ 1, e la catenae irriducibile. La condizione per la persistenza e p = α (1 − β) ≤(1 − α) β = q ovvero α ≤ β ovvero probabilita di arrivo minore ouguale alla probabilita di partenza. La condizione per l’esistenza dellamisura invariante e p = α (1 − β) < (1 − α) β = q, ovvero α < β,ovvero probabilita di arrivo minore della probabilita di partenza. See α = 0, allora si vede subito che la catena non e irriducibile (infattinessuno stato comunica con i successivi), tutti gli stati positivi sonotransienti (1 ≥ i comunica con 0 ma 0 non comunica con i) e lo stato 0 eassorbente. Esiste un’unica misura invariante che e la delta di Dirac ini = 0. Se e β = 0 la catena non e irriducibile (nessuno stato comunicacon i precedenti), gli stati sono tutti transienti e naturalmente nonesiste misura invariante.

Esercizio 15

Trovare la misura di probabilita invariante per la catena con grafico

66

SoluzioneIn questo caso

S = 1, 2, 3, 4 = T ∪ C = 3 ∪ 1, 2, 4e pertanto la misura invariante sara della forma

v = (v1 v2 0 v4)

dove (v1 v2 v4) e la misura invariante per la matrice di transizioneirriducibile

P =

34

14 0

14

12

14

0 34

14

ottenuta da quella originaria cancellando la terza riga e la terza colon-na. Occorre risolvere dunque

x1 + x2 + x3 = 1x1 = 1

4x1 + 14x2

x2 = 14x1 + 1

2x2 + 34x3

x3 = 14x2 + 1

4x3

xi ≥ 0.

Si trova x = (37

37

17) e dunque v = (3

737 0 1

7) e l’unica misura invarianteper la catena originaria.

Esercizio 16

Assegnata la matrice

P =

0 14

34

0 12

12

1 0 0

a) calcolare la misura invariante se esiste

b) la media del tempo di primo ritorno in 1

Soluzionea) La catena e irriducibile e quindi, poiche finita, anche persistentepositiva. Esiste dunque un’unica misura invariante che si ottienerisolvendo

x1 + x2 + x3 = 1x1 = x3

x2 = 14x1 + 1

2x2

x3 = 34x1 + 1

2x2

xi ≥ 0

67

equivalente a

x1 + x2 + x3 = 1x1 = 2x2 = x3

xi ≥ 0

da cui x = (25

15

25) e la misura invariante.

b) Dal teorema sulle catene irriducibili si sa che la media del tempodi primo ritorno in uno stato e il reciproco del valore della misurainvariante nello stato e quindi

E1[τ1] =52

=1v1

.

Esercizio 17

Calcolare la misura invariante per l’urna di Ehrenfest con d = 3 mod-ificata nel modo seguente: la biglia corrispondente al numero estrattoviene inserita in una delle due urne scelta a caso e la catena conta lebiglie in un’urna fissata.

SoluzioneLa matrice di transizione della catena di Ehrenfest modificata cond = 3 e

P =

12

12 0 0

16

12

13 0

0 13

12

16

0 0 12

12 .

Infatti, indicati con A e B rispettivamente gli eventi il numero estrattocorrisponde ad una biglia dell’urna fissata e l’urna estratta e quellafissata, per ipotesi A e B sono eventi indipendenti e per esempio daogni stato i diverso da 0 e d si transita in i − 1 con la probabilitadi A ∩ Bc che e Pi(A) Pi(Bc) = i

d12 e in i + 1 con la probabilita

di Ac ∩ B che e Pi(Ac) Pi(B) = d−id

12 e infine si rimane in i con la

probabilita di A ∩B⋃

Ac ∩Bc che e 12 . In modo analogo si calcolano

le probabilita di transizione da 0 e da d. Si tratta di una catena dinascita e morte irriducibile e persistente positiva ed e facile calcolarerisolvendo il sistema di equazioni corrispondente che l’unica misurainvariante e

v =(1

838

38

18

).

Per lo stesso calcolo si possono anche utilizzare le formule generali perla misura invariante di una catena di nascita e morte finita.

68

38 Esempi di catene periodiche

Si assuma che la catena di Ehrenfest si trovi nello stato i ∈ 0, 1, . . . , d,allora certamente al tempo successivo si trovera in uno stato diverso,ma potra tornare in i in un tempo che dista dall’attuale un numeropari; sara impossibile per la catena, invece, essere in i in tempi che sonoa distanza dispari dal tempo attuale. Ovvero usando le probabilita ditransizione qualsiasi sia i

p(2n)ii > 0, n ≥ 1 p

(2n+1)ii = 0, n ≥ 0.

La stessa cosa accade per una qualsiasi catena di nascita e morte finitairriducibile a barriere riflettenti (r0 = 0, p0 = 1, rd = 0, qd = 1) e conri = 0 qualsiasi sia i = 1, . . . , d− 1.

La stessa proprieta e verificata dalla matrice di transizione della catenaassociata al grafo

ovvero la potenza Pn per n pari ha tutti gli elementi sulla diagonalepositivi e per n dispari ha tutti gli elementi sulla diagonale nulli. Siindividua subito anche un’altra particolarita:

P2n+1 =

0 + 0 ++ 0 + 00 + 0 ++ 0 + 0

P2n =

+ 0 + 00 + 0 ++ 0 + 00 + 0 +

dove il segno + indica che l’elemento corrispondente e positivo. Dunquese parto da uno stato dispari allora mi trovo in ogni tempo dispari inuno stato pari e in ogni tempo pari in uno stato dispari. E dunque

69

chiaro che pur essendo questa catena irriducibile e quindi, essendo fini-ta, persistente positiva e esistendo un’unica misura invariante v, nonpotra certo essere qualsiasi sia j

limn→∞ p

(n)ij = vj .

Infatti fissati i e j se il limite esistesse non potrebbe che essere

limn→∞ p

(n)ij = 0.

Si consideri ora la catena con grafico

E facile accorgersi che anche in questo caso c’e una regolarita in P. Inquesto caso qualsiasi sia i

p(3n)ii > 0, n ≥ 1 p

(h)ii = 0, h 6= 3n, n ≥ 1.

Cosı come prima lo spazio degli stati veniva diviso in due classi, i parie i dispari, che erano, da qualunque stato si partisse ciclicamente rivis-itati (periodo 2), anche ora lo spazio viene suddiviso in classi rivisitateciclicamente e precisamente 1, 2, 0, 3: comunque si parta dopo3 passi ci si ritrova nella classe di appartenenza dello stato iniziale.

39 Periodo di una catena irriducibile

Si definisce periodo di uno stato i in una catena generica (non a prioriirriducibile) il numero ti definito come

MCDn : p(n)ii > 0

(MCD=massimo comun divisore). Vale il seguente teorema.

Teorema In una catena irriducibile il periodo e lo stesso per ogni stato(e si chiama periodo della catena).

Dimostrazione Si dimostra che fissato i ∈ S per qualsiasi k 6= i, tie tk sono divisori l’uno dell’altro e da questo seguira la tesi. Poiche

70

la catena e irriducibile esistono m ≥ 1 e n ≥ 1 tali che p(m)ik > 0 e

p(n)ki > 0; inoltre esiste r ≥ 1 tale che p

(r)kk > 0. Dunque

p(m+n)ii > 0

e dunque ti e divisore di m+n e inoltre essendo p(m+n+r)ii ≥ p

(m)ik p

(r)kk p

(n)ki

valep(m+n+r)ii > 0

e dunque ti e divisore di m + n + r. In conclusione ti e divisore di r,che a sua volta e multiplo di tk. Ma allora ti e divisore anche di tk. Ladimostrazione e conclusa poiche l’argomento e simmetrico in ti e tk.

40 Ergodicita e periodo

Si definisce aperiodica una catena di periodo 1.

Si puo dimostrare che nel caso irriducibile e persistente positivo l’er-godicita e equivalente all’aperiodicita.

Esercizio 18

Sia (Xn)n una catena di nascita e morte su N con

pi =13

, i ≥ 0 qi =23

, i ≥ 1.

i) La catena e transiente o persistente?ii) Esiste una misura invariante? In caso affermativo calcolarla.iii) La catena e ergodica?

Soluzione

i) La catena e irriducibile essendo pi > 0 e qi > 0, per ogni i ≥ 1. Siricorda che la condizione di persistenza per una catena di nascitae morte su N irriducibile e

∞∑

i=0

γi = +∞,

doveγ0 = 1, γi =

qiqi−1 . . . q1

pipi−1 . . . p1, i ≥ 1.

Qui

γ0 = 1, γi =

(23

)i

(13

)i= 2i i ≥ 1

e quindi la serie e divergente e la catena persistente.

71

ii) La misura invariante esiste se e solo se

∞∑

i=0

γi < +∞,

doveγ0 = 1, γi =

p0p1 . . . pi−1

q1q2 . . . qi, i ≥ 1.

Qui

γ0 = 1, γi =

(13

)i

(23

)i=

12i

, i ≥ 1.

e quindi la serie e convergente come serie geometrica di ragioneminore di 1. Dunque esiste la misura invariante ed e

v0 =12, vi =

(12

)i

2=

12i+1

, i ≥ 1.

iii) La catena e ergodica perche e aperiodica: questo si deduce peresempio osservando che p00 > 0.

41 Reversibilita

La proprieta di Markov si conserva rovesciando il tempo, infatti uti-lizzando la definizione di probabilita condizionata e la formula delprodotto si ottiene

P(Xn = i | Xn+1 = j, Xn+2 = j2, . . . , Xn+k = jk)

=P(Xn+2 = j2, . . . , Xn+k = jk | Xn+1 = j, Xn = i)P(Xn+1 = j | Xn = i)P(Xn = i)

P(Xn+2 = j2, . . . , Xn+k = jk | Xn+1 = j)P(Xn+1 = j)

=P(Xn+1 = j | Xn = i)P(Xn = i)

P(Xn+1 = j)

=πn(i) pij

πn+1(j)

e allo stesso risultato si perviene calcolando

P(Xn = i | Xn+1 = j).

Una catena di Markov si dice reversibile quando si verifica che

P(Xn = i | Xn+1 = j) = P(Xn+1 = i | Xn = j)

cioe quando le probabilita di transizione (in un passo) all’indietro co-incidono con le probabilita di transizione in avanti, ovvero quando

72

il comportamento statistico della catena rimane lo stesso rovescian-do il tempo (si ricordi che le leggi congiunte sono determinate dalleprobabilita di transizione e dalla legge iniziale).

Si dice che una misura di probabilita v soddisfa l’equazione del bilanciodettagliato per una matrice di transizione P se qualsiasi siano i e j

vipij = vjpji.

Se v soddisfa l’equazione precedente allora e invariante per P. Infattiqualsiasi sia i

∑

l∈Svl pli =

∑

l∈Svi pil = vi

∑

l∈Spil = vi.

Inoltre la catena con matrice di transizione P e legge iniziale v risultareversibile; infatti per l’invarianza πn(i) = vi e πn+1(j) = vj da cui

P(Xn = i | Xn+1 = j) =πn(i) pij

πn+1(j)=

vi pij

vj=

vj pji

vj= pji.

Esempi di catene reversibili sono l’urna di Ehrenfest, la catena di ungrafo e qualsiasi catena di nascita e morte persistente positiva in regimedi stazionarieta ovvero inizializzate con la relativa misura invariante.Infatti si puo facilmente verificare l’equazione del bilancio dettagliatoin ciascun caso: per l’urna di Ehrenfest dobbiamo verificare vi pi(i+1) =

vi+1 p(i+1)i con vi =(

di

)12d e pi(i+1) = d−i

d e p(i+1)i = i+1d ; per la

catena di un grafo dobbiamo verificare vi pij = vj pji con vi = kik e

pij 6= 0 se e solo se pji 6= 0 ; per la catena di nascita e morte persistentepositiva dobbiamo verificare vi pi(i+1) = vi+1 p(i+1)i con vi = γi∑∞

i=0 γi,

γi = p0 p1 ...,pi−1

q1 q2 ...,qii ≥ 1, γ0 = 1 e pi(i+1) = pi, p(i+1)i = qi.

42 Algoritmo di Metropolis

Si dimostra ([1]) che, dato uno spazio S finito e assegnata una misuradi probabilita v su S diversa dalla uniforme tale che per qualsiasi ivalga vi > 0, si puo costruire una matrice stocastica P per la quale vsoddisfa l’equazione del bilancio dettagliato e che e regolare. Il metodoper costruire P si chiama algoritmo di Metropolis e la sua importanzaapplicativa e evidente: volendo simulare una variabile aleatoria conlegge v bastera simulare una catena di matrice di transizione P e leggeiniziale qualsiasi e poi considerarne il valore per n grande. Si sa infattiche la catena e ergodica e quindi, per n grande, πn, la densita al tempon di Xn, approssima v.

73

La matrice P non e unica ma se ne puo costruire una per ogni matricestocastica Q irriducibile e simmetrica di dimensione pari allo spazioS. Fissata Q il generico elemento pij di P e per i 6= j

pij =

qij se vi ≤ vj

qijvj

vise vi > vj;

e naturalmentepii = 1−

∑

i6=j

pij .

Per simulare una catena di Markov con la matrice di transizione Pdefinita nell’algoritmo di Metropolis e utile la seguente osservazione,che suggerisce come costruire la catena al passo n + 1 sapendo cheal passo n si trova in i. Si assuma che siano k i possibili stati dellacatena. Sia Y una variabile di densita (qi1 qi2 . . . , qik) e sia U unavariabile definita sullo stesso spazio di probabilita, uniforme in [0, 1] eindipendente da Y . Allora la variabile

X = Y I[0,vYvi

)(U) + i I[ vYvi

,1](U)

e tale che qualsiasi sia j

P(X = j) = pij

ovvero ha densita (pi1 pi2 . . . , pik). Infatti qualsiasi sia j 6= i

P(X = j) = P(Y = j, U <

vY

vi

)= P

(Y = j, U <

vj

vi

)

= P(Y = j)P(U <

vj

vi

)= qijP

(U <

vj

vi

).

Ricordando che per definizione di legge uniforme

P(U <

vj

vi

)=

1 se vi ≤ vjvj

vise vi > vj,

si ottiene il risultato.

Dunque la procedura per simulare il valore al passo (n+1)-mo dellacatena se al passo n-mo si trova in i e la seguente: si genera unavariabile di densita (qi1 qi2 . . . , qik); se si ottiene i si lascia la catena ini; se si ottiene un valore j diverso da i con vj ≥ vi si sposta la catenain j; se invece il valore j e tale che vj < vi, si simula una uniforme in[0, 1] e se questa e piu piccola di vj

visi sposta la catena in j, altrimenti

la si lascia in i.

74

Esercizio 19

Sia (Xn)n una catena di Markov su S = 1, 2, 3, 4 con matrice ditransizione

12 0 1

2 013 0 0 2

31 0 0 00 0 0 1

.

i) Determinare il carattere degli stati della catena.

ii) Calcolare le eventuali misure invarianti.

iii) Calcolare limn→∞ πn(i) , i ∈ S nel caso π0(1) + π0(3) = 1.

Soluzionei) Lo spazio degli stati S = 1, 2, 3, 4 si decompone nell’unione dis-giunta della classe transiente T = 2 e delle due classi irriducibilipersistenti positive C1 = 1, 3 e C1 = 4; dunque 2 e l’unico statotransiente e 4 e stato assorbente.

ii) Le misure invarianti sono tutte e sole le combinazioni convesse dellemisure invarianti v(1) e v(2) per la dinamica ristretta rispettivamentea C1 e C2, ovvero sono tutte e solo quelle della forma δv(1) +(1− δ)v(2)

con δ ∈ [0, 1]. Inoltre v(1) = (x1, 0, x3, 0) dove

x1 = 12x1 + x3

x3 = 12x1,

da cui v(1) = (23 , 0, 1

3 , 0). Infine facilmente si ricava v(2) = (0, 0, 0, 1).

iii) Se π0(1) + π0(3) = 1, poiche 1, 3 e classe chiusa, qualsiasi sia nvale πn(2) = 0, πn(4) = 0 e pertanto limn→∞ πn(2) = limn→∞ πn(4) =0. Per calcolare limn→∞ πn(1) e limn→∞ πn(3), osserviamo che la cate-na ristretta a C1 = 1, 3 ha matrice di transizione regolare e quindie ergodica; dunque, qualsiasi sia la densita iniziale π0 che soddisfaπ0(1) + π0(3) = 1, le densita al crescere di n convergono a v

(1)1 , v

(1)3 ,

quindi

limn→∞πn(1) =

23

limn→∞πn(3) =

13.

Esercizio 20

Si consideri una catena di Markov su N avente matrice di transizionedata pi i+1 = p e pi 0 = 1 − p dove 0 < p < 1. Determinare l’unicamisura invariante della catena. Si tratta di una misura di probabilitanota? Determinare il periodo della catena. La catena e ergodica?

75

SoluzioneLa matrice di transizione della catena e

P =

1− p p 0 0 0 . . . 0 0 0 0 . . .1− p 0 p 0 0 . . . 0 0 0 0 . . .1− p 0 0 p 0 . . . 0 0 0 0 . . .· · · · · . . . · · · · . . .· · · · · . . . · · · · . . .· · · · · . . . · · · · . . .· · · · · . . . · · · · . . .· · · · · . . . · · · · . . .· · · · · . . . · · · · . . .· · · · · . . . · · · · . . .

1− p · · · · . . . 0 0 p 0 . . .· · · · · . . . · · · · . . .

e quindi il sistema risolto dalla misura invariante e

x0 =∑

i∈N(1− p)xi

xi = pxi−1, i ≥ 1∑i∈N xi = 1

xi ≥ 0.

Si ricava x0 = (1 − p)∑

i∈N xi = 1 − p e xi = pxi−1 = p2xi−2 =. . . = pix0 = pi(1 − p), i ≥ 1. Dunque l’unica misura invariante evi = pi(1−p), i ≥ 0 e si tratta della densita di una geometrica trasfor-mata di parametro 1−p, cioe la densita del numero di fallimenti primadel primo successo in uno schema di Bernoulli infinito di parametro1− p.La catena e aperiodica come si deduce p.es. dall’irriducibilita e dalfatto che p00 > 0.Dall’unicita della misura invariante segue che esiste un’unica classepersistente positiva che per l’irriducibilita e tutto lo spazio di stato;si sa che una catena irriducibile persistente positiva e aperiodica e er-godica.Un altro procedimento consiste nel dimostrare direttamente che qual-siasi sia i

limn→∞ p

(n)ij = pj(1− p).

e questo segue subito dopo aver calcolato che per qualsiasi i ≥ 0

p(n)ij =

pj(1− p), 0 ≤ j ≤ n− 1pn, j = n + i

0, n ≤ j 6= n + i.

76

43 Schema di dimostrazionedel teorema di esistenza della misura invariante

per catene irriducibili persistenti positive

Si ricorda che v e invariante se e solo se si ha qualsiasi sia j e qualsiasisia k

vj =∑

i∈Svip

(k)ij .

Dunque v invariante implica che per ogni n

vj =1n

n∑

k=1

∑

i∈Svip

(k)ij

=∑

i∈S

( 1n

n∑

k=1

p(k)ij

)vi

e usando l’uguaglianza Ei[Nn(j)] =∑n

k=1 p(k)ij (vedi paragrafi 18 e 19)

si ottienevj =

∑

i∈S

Ei[Nn(j)]n

vi =∑

i∈SEi

[Nn(j)n

]vi.

Si osserva che la variabile aleatoria Nn(j)n = 1

n

∑nk=1 Ij(Xk) rappre-

senta la frequenza relativa di visita allo stato j su n tempi. Passandoal limite in n nell’uguaglianza precedente si ottiene

vj =∑

i∈Slim

n→∞Ei

[Nn(j)n

]vi,

dove il passaggio al limite sotto il segno di serie, ovvio nel caso S finito,e lecito in generale. Si ottiene l’esistenza e la forma dell’unica misurainvariante per catene persistenti posistive usando il fatto che per lecatene irriducibili persistenti, qualsiasi sia i vale

limn→∞Ei

[Nn(j)n

]=

1

Ej [τj ], se Ej[τj] < +∞

0, altrimenti

(vedi per un’idea della dimostrazione il paragrafo successivo e per unadimostrazione completa [3]).

44 Approssimazione della misura invariantecon la distribuzione empirica

Nel paragrafo precedente si identifica la misura invariante utilizzandoil valore del limn→∞ Ei

[Nn(j)

n

]. Questo valore si puo derivare dal risul-

tato seguente: se (Xn)n e catena irriducibile persistente allora qualsiasi

77

sia j con probabilita 1, ovvero a meno di un insieme trascurabile ditraiettorie,

limn→∞

Nn(j)n

=

1

Ej [τj ], se Ej[τj] < +∞

0, altrimenti.

E intuitivo: il rapporto tra n e il numero dei passaggi per j fino al tem-po n e vicino, quando n e grande, alla durata media degli intertempi traun passaggio e l’altro per j. Questo fatto ha la conseguenza applicativaseguente: non potendo calcolare facilmente la misura invariante (p.es.perche e grande il numero degli stati), nel caso persistente positivo, sene puo approssimare il valore in uno stato j con il valore aleatorio, pern grande, della frequenza relativa delle visite a j su n tempi, ovverocon la distribuzione empirica nello stato j. Inoltre controllando se ilvalore di frequenza relativa dei passaggi per un qualsiasi stato fissatosi avvicina a 0 per n grande, si puo dedurre la persistenza nulla dellacatena.Viceversa la frequenza di visita ad uno stato fissato si puo approssimarea regime con il valore della misura invariante nello stato.

Si da un’idea qui della dimostrazione dell’enunciato nel caso in cui lacatena parta da j: secondo le notazioni gia introdotte, si dimostra chel’enunciato vale con probabilita 1 quando la densita iniziale e la deltadi Dirac in j.

A tale scopo si utilizza la legge forte dei grandi numeri nella formu-lazione seguente:

Legge forte dei grandi numeri

Siano X1, X2, . . . , Xk, . . . variabili aleatorie definite sullo stesso spaziodi proabilita i.i.d. e di valore medio finito m. Allora con probabilita 1

limk→∞

X1 + X2 + . . . + Xk

k= m

Se Xk ≥ 0 qualsiasi sia k e E[Xk] = +∞, allora con probabilita 1

limk→∞

X1 + X2 + . . . + Xk

k= +∞

Si utilizza il risultato precedente applicato alle variabili seguenti:

τ1j , τ2

j , τkj , . . .

definite daτkj = T k

j − T k−1j , k ≥ 1

78

doveT 0

j = 0, T kj = minn ≥ 1 t.c. Nn(j) = k, k ≥ 1

e quindi τkj e il tempo che intercorre tra la k−1-ma e la k−ma visita a j

e in particolare τ1j = T 1

j = τj . Si osservi che per l’ipotesi di persistenzaT k

j e finito con probabilita 1.Le variabili aleatorie τk

j sono indipendenti e tutte con la stessa leggedi τj e dunque per la legge dei grandi numeri con probabilita 1

limk→∞

τ1j + τ2

j + . . . + τkj

k=

Ej [τj ], se Ej[τj] < +∞+∞, altrimenti.

Allora, poiche

τ1j + τ2

j + . . . + τkj

k=

T 1j + (T 2

j − T 1j ) + . . . + (T k

j − T k−1j )

k=

T kj

k,

con probabilita 1 vale

limk→∞

T kj

k=

Ej [τj ], se Ej[τj] < +∞+∞, altrimenti

Inoltre e chiaro che

TNn(j)j ≤ n < T

Nn(j)+1j

poiche la scrittura TNn(j)j indica la variabile tempo dell’ultima visita a

j prima del tempo n (n incluso) e quindi qualsiasi sia n ≥ τj (altrimentiNn(j) = 0)

TNn(j)j

Nn(j)≤ n

Nn(j)<

TNn(j)+1j

Nn(j).

Essendo j persistente con probabilita 1

limn→∞Nn(j) = +∞

e quindi si puo dedurre da quanto sopra che con probabilita 1

limn→∞

TNn(j)j

Nn(j)= lim

n→∞T

Nn(j)+1j

Nn(j)=

Ej [τj ], se Ej[τj] < +∞+∞, altrimenti.

Il teorema del confronto per le successioni di variabili reali conclude ladimostrazione.

79

4 Esercizio di riepilogo

1. Sono date due urne e 2d biglie di cui d nere e d bianche. Inizial-mente d biglie scelte a caso sono collocate nell’urna 1 e le restantid biglie sono collocate nell’urna 2. Ad ogni istante una biglia escelta a caso da ciascuna delle due urne ed e spostata nell’altraurna. Sia X0 il numero iniziale delle biglie nere nell’urna 1 e Xn

il numero delle biglie nere nell’urna 1 al tempo n. Trovare leprobabilita di transizione della catena di Markov (Xn)n≥0.

2. Sia

P =

1 0 0 0 0 014

12

14 0 0 0

0 15

25

15 0 1

50 0 0 1

613

12

0 0 0 12 0 1

20 0 0 1

4 0 34

.

matrice di transizione su S = 1, 2, 3, 4, 5, 6.i) Determinare il carattere degli stati.ii) Dimostrare che muovendosi dallo stato 4 con la dinamica

descritta da P la probabilita di raggiungere lo stato 6 in untempo finito e almeno 3

4 .iii) Calcolare la probabilita di raggiungere lo stato 1 partendo

dallo stato 2 in un tempo finito, ρ21, e dare un’interpretazioneprobabilistica del numero 1− ρ21.

iv) Calcolare le eventuali misure invarianti della catena.v) Determinare la media del tempo di ritorno nello stato 4.vi) Per la catena con matrice di transizione P e densita iniziale

uniforme su 4, 5, 6, calcolare la probabilita degli eventi A =X2 = 4, B = X2 = 4, X3 = 5 e C = X100 = 4, X101 =2. In che modo si potrebbe procedere per calcolare in modoapprossimato la probabilita dell’evento D = X50 = 5?

3. Calcola la probabilita di raggiungere in un tempo finito lo stato3 partendo dallo stato 1, per la catena con spazio degli statiS = 1, 2, 3, 4 e con matrice di transizione

P =

0 12

12 0

12 0 1

414

0 0 1 00 0 0 1

.

E se la densita iniziale fosse quella uniforme?

80

4. Un uomo possiede 2 ombrelli e ne prende uno al mattino perandare in ufficio e a sera quando torna, naturalmente se piove ese ce n’e uno disponibile. Assumi che ogni volta la probabilita chepiova sia p. Indica con (Xn)n≥1 la catena di Markov che conta gliombrelli disponibili prima dell’n-mo tragitto (senza distingueretra tragitti di andata e ritorno).

i) Scrivi la matrice di transizione della catena e determina ilcarattere degli stati.

ii) Con che probabilita l’uomo non ha ombrelli disponibili pri-ma del secondo, del terzo e del quarto tragitto se si assumeche prima del primo tragitto li abbia entrambi disponibili (lalegge iniziale, ovvero la legge di X1, e la delta di Dirac in 2)?

iii) Dopo quanto tempo in media, se si assume che prima delprimo tragitto abbia entrambi gli ombrelli disponibili, l’uomonon ha ombrelli disponibili?

iv) Calcola le eventuali misure invarianti. Cosa puoi dire sulcomportamento di p

(n)ij per n grande?

v) Come approssimeresti la probabilita con cui l’uomo si bagnaal 96-mo tragitto?

5. Un’apparecchiatura di eta j ≥ 0 all’inizio della giornata si guastadurante la giornata con probabilita pj e in tal caso e sostituitada un’apparecchiatura identica ma nuova, che entra in funzioneall’inizio della giornata successiva. L’apparecchiatura e sostitui-ta anche quando e troppo vecchia e si conviene che questo cor-risponda all’eta N (per eta di un’apparecchiatura si intende quiil numero delle giornate intere in cui l’apparecchiatura ha fun-zionato). Per n ≥ 0, si indica con Xn la v.a. che conta l’etadell’apparecchiatura funzionante all’inizio della n+1-ma giornata.

i) Scrivi la matrice di transizione della catena di Markov (Xn)n≥0

e determina il carattere degli stati.ii) Se al tempo n = 0 l’apparecchiatura e nuova, con che prob-

abilita e nuova al tempo n = 2?iii) Calcola, nell’ ipotesi del punto precedente, con che proba-

bilita l’apparecchiatura installata inizialmente viene utiliz-zata al massimo, ovvero sostituita per vecchiaia e non perguasto.

iv) Calcola le eventuali misure invarianti. Cosa puoi dire sulcomportamento di p

(n)ij per n grande?

v) Ogni quanto tempo in media avviene una sostituzione?

81

6. E assegnata la catena (Xn)n≥0 con matrice di transizione

P =

0 12 0 1

212 0 1

2 00 1 0 00 0 1 0

e misura iniziale π0(1) = 1.

i) Studiare il comportamento della legge di Xn per n grande.ii) Calcolare in modo approssimato

P(X82 = 3, X81 = 4) e P(X60 = 1, X58 = 3).

Soluzioni

1. Si vuole calcolare P(Xn+1 = j | Xn = i) per n ≥ 0, i, j ∈ S =0, 1, . . . , d. Indicati con E e F rispettivamente gli eventi labiglia scelta a caso dall’urna 1 e nera e la biglia scelta a casodall’urna 2 e nera, gli eventi sono indipendenti condizionata-mente al sapere il numero delle biglie nell’urna 1 e se nell’urna 1ci sono i biglie la probabilita di E e i

d e quella di F e d−id . Inoltre

si ha

P(Xn+1 = i + 1 | Xn = i) = Pi(Ec ∩ F ) = Pi(Ec)Pi(F ) =(d− i

d

)2

P(Xn+1 = i− 1 | Xn = i) = Pi(E ∩ F c) = Pi(E)Pi(F c) =( i

d

)2.

Poiche se j 6= i− 1, i, i + 1 si ha P(Xn+1 = j | Xn = i) = 0, segue

P(Xn+1 = i | Xn = i) = 1− (d− i)2

d2− (i)2

d2=

2i(d− i)d2

.

Dunque si tratta di catena omogenea, catena di nascita e mortecon pi = (d−i)2

d2 , ri = 2i(d−i)d2 e qi = i2

d2 . Si osservi che in particolarep0 = 1 e qd = 1, ovvero le barriere sono riflettenti.

2. i) 1 e stato assorbente, poiche comunica solo con se stesso; 2e 3 sono transienti, infatti p.es. 2 → 1 ma 2 9 1 e 3 → 6 ma6 9 3; 4,5,6 costituiscono una classe irriducibile finita e dunquecostituita da stati persistenti positivi.ii) Si tratta di dimostrare la disuguaglianza ρ46 ≥ 3

4 . Per definizione

ρ46 ≥ P4(X1 = 6) + P4(X1 6= 6, X2 = 6)

82

e, poiche P4(X1 6= 6, X2 = 6) = P4(X1 = 4, X2 = 6) + P4(X1 =5, X2 = 6), segue

ρ46 ≥ p46 + p44p46 + p45p56 =12

+16

12

+13

12

=34.

iii) Poiche 1 e stato assorbente, ρ21 coincide con la probabilita diassorbimento λ

12 nella classe 1 partendo dallo stato 2. Occorre

dunque risolvere il sistema

x1 =14

+12x1 +

14x2

x1 =15x1 +

25x2.

Facilmente si calcola x1 = λ12 = 3

5 e x2 = λ13 = 1

5 .Indicata con C la classe di tutti gli stati persistenti, poiche glistati transienti sono in numero finito, si ha

1 = P(τC < +∞) = λ12 + λ

4,5,62

e quindi1− ρ21 = 1− λ

12 = λ

4,5,62 ,

ovvero a parole 1−ρ21 e la probabilita di assorbimento nella classe4, 5, 6 partendo da 2.iv) La catena e finita e quindi le misure invarianti sono tutte esole le combinazioni convesse delle misure invarianti sulle classiirriducibili. Dunque una qualsiasi misura invariante e della formav = αv(1) + (1− α)v(2) con α ∈ [0, 1], dove v(1) = (1 0 0 0 0 0) ev(2) si calcola risolvendo il sistema

x1 + x2 + x3 + x4 + x5 + x6 = 1xi = 0, i = 2, 3x4 = 1

6x4 + 12x5 + 1

4x6

x5 = 13x4

x6 = 12x4 + 1

2x5 + 34x6

xi ≥ 0.

Si ottiene v(2) =(0 0 0 1

4112

23

).

v) Poiche 4 e nella classe irriducibile 4, 5, 6 possiamo consider-are la dinamica ristretta a questa classe (la classe e chiusa!). Enoto che per una catena persistente positiva la media del tempodi primo ritorno in uno stato e il reciproco del valore della misurainvariante nello stato. La catena ristretta a 4, 5, 6 e persistente

83

positiva (in quanto irriducibile e finita) e la sua misura invariantee (v(2)

4 v(2)5 v

(2)6 ) =

(14

112

23

)e quindi E4[τ4] = 4.

vi)

P(A) = π2(4) =∑

i∈Sπ0(i)p

(2)i4 =

13(p(2)

44 + p(2)54 + p

(2)64 ).

Per calcolare le probabilita di transizione in piu passi occorrecalcolare le potenze della matrice P. Per rendere piu agevole ilconto si osservi che le probabilita di transizione in n passi all’in-terno della classe irriducibile 4, 5, 6, coincidono con gli elementidella potenza n-ma della sottomatrice ottenuta cancellando pri-ma, seconda e terza riga e colonna della matrice P, ovvero dellamatrice

16

13

12

12 0 1

214 0 3

4

.

Si ottiene p(2)44 = 23

72 , p(2)54 = 5

24 , p(2)64 = 11

48 , da cui P(A) = 109432 .

Inoltre si ha P(B) = p45P(A) = 13P(A) = 109

1296 e infine P(C) =π100(4)p42 = 0 poiche, essendo la classe 4, 5, 6 chiusa, si hap42 = 0.La probabilita dell’evento X50 = 5 si puo approssimare con ilvalore in 5 della misura invariante della dinamica ristretta allaclasse 4, 5, 6; infatti la dinamica ristretta alla classe 4, 5, 6 eergodica poiche la sua matrice di transizione

16

13

12

12 0 1

214 0 3

4

.

e regolare essendo verificato il criterio sufficiente (almeno un ele-mento sulla diagonale positivo). Si noti invece che la probabilitadell’evento X50 = 2 e esattamente 0 in quanto coincide con∑

i∈S π0(i) p(50)i2 = 1

3 (p(50)42 p

(50)52 p

(50)62 ) e per definizione di classe

chiusa p(50)i2 = 0, i = 4, 5, 6.

3. Gli stati 3 e 4 sono assorbenti, mentre gli stati 1 e 2 sono transientipoiche p.es. entrambi comunicano con 3 ma 3 non comunica conessi. Si tratta dunque di calcolare la probabilita di assorbimentoin 3 partendo da 1, cioe il valore λ

31 che risolve insieme a λ

32

(probabilita di assorbimento in 3 partendo da 2) il sistema

λ31 = 1

2 + 12λ32

λ32 = 1

4 + 12λ31 .

84

Si trova λ31 = 5

6 , λ32 = 2

3 .Se la densita iniziale fosse uniforme, poiche vale l’uguaglianza

P(raggiungere in tempo finito 3) =∑

i

π0(i)Pi(raggiungere in tempo finito 3),

tenendo conto del risultato precedente e del fatto che essendo 3, 4assorbenti la probabilita di raggiungere 3 in tempo finito partendoda 3 e da 4 sono rispettivamente 1 e 0, si ha che la probabilitarichiesta e

14

(56

+23

+ 1)

=58.

4. i) La matrice di transizione e

P =

0 0 10 q pq p 0

,

con q = 1 − p. Tutti gli stati sono comunicanti e quindi, poichelo spazio degli stati e finito, persistenti positivi.ii) Si assume che π1(2) = 1 e quindi π1(1) = π1(0) = 0. Allora eevidente che la probabilita dell’evento

0 ombrelli disponibili prima del secondo tragitto

e q e infatti in formule

π2(0) =∑

i

π1(i)pi0 = p20 = q.

Analogamente per calcolare P(0 ombrelli disponibili prima del terzo tragitto)si procede cosı

π3(0) =∑

i

π1(i)p(2)i0 = p

(2)20 =

∑

i

p2ipi0 = 0.

E infine per calcolare P(0 ombrelli disponibili prima del quarto tragitto)

π4(0) =∑

i

π1(i)p(3)i0 = p

(3)20 =

∑

i

p2ip(2)i0

=∑

i

p2i

∑

j

pijpj0 = q∑

j

p0jpj0 + p∑

j

p1jpj0

= q2 + p2q.

85

iii) Rispondere a questo punto equivale a rispondere alla doman-da: qual e il tempo medio di assorbimento in 0 partendo da 2 perla catena corrispondente alla matrice di transizione

1 0 00 q pq p 0

,

ovvero per la dinamica modificata rendendo assorbente lo stato0 e quindi la classe 0 coincidente con la classe di tutti gli statipersistenti (in tal caso infatti 1 e 2 comunicano con 0 ma 0 noncomunica con essi e quindi sono transienti). La risposta e quindix2 dove x1, x2 risolvono il sistema dei tempi medi di assorbimento

x1 = 1 + px2 + qx1

x2 = 1 + px1,

che risolto da x1 = 1+pp−p2 e x2 = 2p

p−p2 .iv) Poiche la catena e persistente positiva esiste un’unica misurainvariante che si ottiene risolvendo il sistema

v0 = qv1

v1 = qv1 + pv2

v2 = v0 + pv1

v0 + v1 + v2 = 1

che risolto da v0 = 1−p3−p e v1 = v2 = 1

3−p . La catena soddisfa ilcriterio sufficiente per la regolarita (essere irriducibile e avere unelemento non nullo sulla diagonale di P) e quindi e ergodica edunque limn→∞ p

(n)ij = vj indipendentemente da i.

v) P(si bagna al 96−mo tragitto) = P(piove al 96−mo tragitto∩

X96 = 0)

= pP(X96 = 0) e questo per l’indipendenza tra glieventi. Inoltre per l’ergodicita si approssima P(X96 = 0) conv0 = 1−p

3−p .

5. i) Lo spazio degli stati e S = 0, 1, . . . , N e la matrice di tran-sizione e

P =

p0 q0 0 0 0 . . . 0 0p1 0 q1 0 0 . . . 0 0p2 0 0 q2 0 . . . 0 0· · · · · . . . · ·

pN−1 0 0 0 0 . . . 0 qN−1

1 0 0 0 0 . . . 0 0

,

86

con qj = 1− pj . Tutti gli stati sono comunicanti e quindi, poichelo spazio degli stati e finito, persistenti positivi.ii) Si assume che π0(0) = 1 e quindi π0(1) = . . . = π0(N) = 0 edunque si calcola

π2(0) =∑

i

π0(i)p(2)i0 = p

(2)00 =

∑

i

p0ipi0 = p20 + p1q0.

iii) Indicati con τ0 e τN i tempi di primo raggiungimento deglistati 0 e N , rispondere a questo punto equivale a calcolare P0(τN <τ0) e poiche

P0(τN < τ0) = P0(τN < τ0, X1 = 1)

e l’ultimo membro coincide con

P0(τN < τ0 | X1 = 1)P0(X1 = 1) = P1(τN < τ0)q0,

occorre calcolare P1(τN < τ0). L’ultima probabilita coincide conla probabilita di assorbimento in N partendo da 1 per la catenacorrispondente alla matrice di transizione

P =

1 0 0 0 0 . . . 0 0p1 0 q1 0 0 . . . 0 0p2 0 0 q2 0 . . . 0 0· · · · · . . . · ·

pN−1 0 0 0 0 . . . 0 qN−1

0 0 0 0 0 . . . 0 1

,

ovvero per la dinamica modificata rendendo assorbente gli stati0 e N . La risposta e quindi x1 dove x1, x2 . . . , xN−1 risolvono ilseguente sistema delle probabilita di assorbimento in N

x1 = q1x2

x2 = q2x3

. . .

xN−1 = qN−1

.

Risolvendo si ottiene xj = qjqj+1 . . . qN−1 e in particolare x1 =q1q2 . . . qN−1.iv) Poiche la catena e persistente positiva esiste un’unica misurainvariante che si ottiene risolvendo il sistema

v0 = p0v0 + p1v1 + . . . pN−1vN−1 + vN

v1 = q0v0

v2 = q1v1

. . .

vN = qN−1vN−1

v0 + v1 + v2 + . . . + vN = 1

.

87

A ritroso dalla penultima equazione si ricava vj = vNq0q1q2...qj−1

, perj = 0, . . . , N − 1 e sostituendo questi valori nell’ultima equazionesi calcola vN = q0q1q2...qN−1

1+q0+q0q1+...+q0q1q2...qN−1. Infine sostituendo il

valore ottenuto per vN nell’espressione del generico vj si trova

vj =q0q1q2 . . . qj−1

1 + q0 + q0q1 + . . . + q0q1q2 . . . qN−1, j = 1, . . . , N,

v0 =1

1 + q0 + q0q1 + . . . + q0q1q2 . . . qN−1.

La catena soddisfa il criterio sufficiente per la regolarita (essereirriducibile e avere un elemento non nullo sulla diagonale di P) equindi e ergodica e dunque limn→∞ p

(n)ij = vj indipendentemente

da i.v) Occorre calcolare il tempo medio di ritorno nello stato 0 che informule e E0[τ0]. Si sa che nelle catene persistenti positive questovalore coincide con v−1

0 e dunque in questo caso con 1+q0+q0q1+. . . + q0q1q2 . . . qN−1.

6. La catena e irriducibile e quindi il periodo e lo stesso per ognistato ed e facile verificare che e 2. Inoltre per π0 tale che π0(1) = 1si ha qualsiasi sia n ≥ 0

π2n+1(1) = π2n+1(3) = 0 π2n+2(2) = π2n+2(4) = 0.

i) Si ha

π2n+1(2) =12π2n(1)+π2n(3) =

12π2n(1)+

(1−π2n(1)

)= 1−1

2π2n(1)

e, essendo π2n(1) = 12π2n−1(2) qualsiasi sia n ≥ 1, si ottiene

qualsiasi sia n ≥ 1

π2n+1(2) = 1− 14π2n−1(2).

Dunque i valori della densita in i = 2 sui tempi dispari costituis-cono una successione per ricorrenza della forma

am+1 = 1− 1

4am

a1 = 12

Pertanto il limite, se esiste, risolve L = 1 − 14L e non puo che

essere quindi L = 45 . Si puo inoltre verificare che am per m

dispari e monotona crescente e per m pari e monotona decres-cente e che entrambe le sottosuccessioni convergono a L = 4

5 .

88

Cosı resta dimostrato che limn→∞ π2n+1(2) = 45 e di conseguenza

limn→∞ π2n+1(4) = 15 .

Inoltre poiche π2n(1) = 12π2n−1(2) si ricava limn→∞ π2n(1) = 2

5 edi conseguenza limn→∞ π2n(3) = 3

5 .In definitiva la densita di Xn quando n e grande e approssimata sen e dispari da (0 4

5 0 15) e se n e pari da (2

5 0 35 0). Si puo verificare

che (45

15) e (2

535) sono le misure invarianti per la dinamica in

due passi ristretta rispettivamente a 2, 4 e 1, 3. Infatti ladinamica in due passi e multipli di due passi su 2, 4 e datadalla matrice

Q =(

34

14

1 0

)

e il sistema soddisfatto dalla misura invariante e

x1 = 34x1 + x2

x2 = 14x1

x1 + x2 = 1 ;

mentre la dinamica in due passi e multipli di due passi su 1, 3e data dalla matrice

Q =(

14

34

12

12

)

e il sistema soddisfatto dalla misura invariante e

x1 = 14x1 + 1

2x2

x2 = 34x1 + 1

2x2

x1 + x2 = 1 .

ii)

P(X82 = 3, X81 = 4) = π81(4)p43 ≈ 15· 1 =

15

P(X60 = 1, X58 = 3) = π58(3)p(312) ≈ 3

5· 12

=310

.

Riferimenti bibliografici

[1] P.Baldi, Calcolo delle probabilita e statistica, Milano : McGraw-Hill, 1992

[2] P.Bremaud, Markov Chains, Gibbs fields, Monte Carlosimulation and queues, New York : Springer, 1999

[3] P.G.Hoel, S.C.Port, C.J.Stone, Introduction to StochasticProcesses, Boston: Houghton Mifflin, c1972

[4] S.M.Ross, Introduction to Probability Models, San Diego [etc.] :Harcourt Academic Press, 2000

89