ancuchy Markowa z czasem dyskretnym Procesy Stochastyczne, …prac.im.pwr.wroc.pl/~tb/dydak/sem_zim2011/Procesy_wyk%b3... · 2012. 3. 19. · Łańcuchy Markowa z czasem dyskretnym

Łańcuchy Markowa z czasem dyskretnym

Procesy Stochastyczne, wykład 6, T. Byczkowski,

Procesy Stochastyczne, PPT, MatematykaMAP1136

19 marzec, 2012


Przykłady procesów Markowa

(i). P = (pij) - macierz stochastyczna, tzn. pij ≥ 0,∑j pij = 1.

Definiujemy

P1(i ,A) =∑j∈Apij , (pij = P1(i , {j})).

Z równania Chapmana-Kołmogorowa macierz (P2(i , {j})) -przejścia w dwóch krokach - powinna spełniać

p(2)ij = P2(i , {j}) =∑k

pikpkj .

Stąd, macierz przejścia P(2) w dwóch krokach, będzie iloczynemmacierzy P: P(2) = P2 oraz ogólniej: P(s+k) = P(s)P(k) = Ps+k .Bezpośrednio sprawdzamy, że taka definicja prawd. przejściapociąga za sobą równość Chapmana-Kołmogorowa, więc każdamacierz stochastyczna definiuje prawd. przejścia Pt(x ,E ), gdzieT = {0, 1, . . . , }, S = {0, 1, . . . , }, BS = 2S .




Definiujemy

P1(i ,A) =∑j∈Apij , (pij = P1(i , {j})).


p(2)ij = P2(i , {j}) =∑k

pikpkj .

Stąd, macierz przejścia P(2) w dwóch krokach, będzie iloczynemmacierzy P: P(2) = P2 oraz ogólniej: P(s+k) = P(s)P(k) = Ps+k .

Bezpośrednio sprawdzamy, że taka definicja prawd. przejściapociąga za sobą równość Chapmana-Kołmogorowa, więc każdamacierz stochastyczna definiuje prawd. przejścia Pt(x ,E ), gdzieT = {0, 1, . . . , }, S = {0, 1, . . . , }, BS = 2S .




Definiujemy

P1(i ,A) =∑j∈Apij , (pij = P1(i , {j})).


p(2)ij = P2(i , {j}) =∑k

pikpkj .

Stąd, macierz przejścia P(2) w dwóch krokach, będzie iloczynemmacierzy P: P(2) = P2 oraz ogólniej: P(s+k) = P(s)P(k) = Ps+k .Bezpośrednio sprawdzamy, że taka definicja prawd. przejściapociąga za sobą równość Chapmana-Kołmogorowa, więc każdamacierz stochastyczna definiuje prawd. przejścia Pt(x ,E ), gdzieT = {0, 1, . . . , }, S = {0, 1, . . . , }, BS = 2S .


Przykłady procesów Markowa cd.

(ii). Niech T = [0,∞), S = {0, 1, . . . , }, BS = 2S . Dla λ > 0definiujemy

pi ,i+j(t) := Pt(i , {i + j}) = e−λt(λt)j/j!.

Są to prawd. przejścia w procesie Poissona o intensywności λ.

[P(Xt+h = i + j |Xh = i) = P(Xt = j) = pi ,i+j(t)].(iii). Niech T = [0,∞), S = R, BS = BR. Dla A borelowskiegona S = R kładziemy

Pt(x ,A) = 1/√

2πt∫A−xe−y

2/2tdy

Są to prawd. przejścia w procesie Wienera.[P(Xt+h ∈ A|Xh = x) = P((Xt+h − Xh) + Xh ∈ A|Xh = x) =P(Xt ∈ A− x)].





Są to prawd. przejścia w procesie Poissona o intensywności λ.[P(Xt+h = i + j |Xh = i) = P(Xt = j) = pi ,i+j(t)].

(iii). Niech T = [0,∞), S = R, BS = BR. Dla A borelowskiegona S = R kładziemy

Pt(x ,A) = 1/√

2πt∫A−xe−y

2/2tdy






Są to prawd. przejścia w procesie Poissona o intensywności λ.[P(Xt+h = i + j |Xh = i) = P(Xt = j) = pi ,i+j(t)].(iii). Niech T = [0,∞), S = R, BS = BR. Dla A borelowskiegona S = R kładziemy

Pt(x ,A) = 1/√

2πt∫A−xe−y

2/2tdy

Są to prawd. przejścia w procesie Wienera.

[P(Xt+h ∈ A|Xh = x) = P((Xt+h − Xh) + Xh ∈ A|Xh = x) =P(Xt ∈ A− x)].





Są to prawd. przejścia w procesie Poissona o intensywności λ.[P(Xt+h = i + j |Xh = i) = P(Xt = j) = pi ,i+j(t)].(iii). Niech T = [0,∞), S = R, BS = BR. Dla A borelowskiegona S = R kładziemy

Pt(x ,A) = 1/√

2πt∫A−xe−y

2/2tdy



Łańcuchy Markowa

Rozpatrujemy przypadek T = {0, 1, . . . , }, S = {0, 1, . . . , },BS = 2S . pj ,k - prawd. przejścia w jednym kroku z stanu j dostanu k ,

∑k pj ,k = 1. Prawd. przejścia z stanu j do stanu k w

(n + 1) krokach dane jest przez

p(n+1)j ,k =∑l

pj ,lp(n)l ,k , n = 1, 2, . . .

Zakładamy dalej, że S - skończony. Prawd. przejścia określająmacierz stochastyczną (n × n). Macierz przejścia w n krokach jestdana wzorem P(n) = Pn. Równania Chapmana-Kołmogorowaredukują sie do

P(n+m) = P(n)P(m) = PnPm.

Podstawowy problem - zachowanie systemu tzn. Pn w czasien→∞. Przy pewnych założeniach prawd. przejścia p(n)j ,k → gdyn→∞. Mówimy, że po upływie długiego czasu system jeststacjonarny.


Łańcuchy Markowa




p(n+1)j ,k =∑l

pj ,lp(n)l ,k , n = 1, 2, . . .





Łańcuchy Markowa




p(n+1)j ,k =∑l

pj ,lp(n)l ,k , n = 1, 2, . . .





Zbieżność Pn

Tw. 1Niech P będzie macierzą stochastyczną. Załóżmy, że dla pewnegom, p(m)i ,j > 0 dla wszystkich i , j . Wtedy

limPn = π istnieje.

i jest macierzą stochastyczną o identycznych wierszach.

Dowód.

Załóżmy, że m = 1. Wtedy pi ,j ≥ ε > 0, dla każdego i , j . Niech

mj(n) = min p(n)i ,j będzie najmniejszym elementem j-tej kolumny

Pn; analogicznie, niech Mj(n) = max p(n)i ,j . Wtedy

p(n)i ,j =∑k pi ,kp

(n−1)k,j ≥

∑k pi ,kmj(n − 1) = mj(n − 1)

dla każdego i , czyli mj(n) ≥ mj(n − 1).


Zbieżność Pn

Tw. 1Niech P będzie macierzą stochastyczną. Załóżmy, że dla pewnegom, p(m)i ,j > 0 dla wszystkich i , j . Wtedy

limPn = π istnieje.

i jest macierzą stochastyczną o identycznych wierszach.

Dowód.

Załóżmy, że m = 1. Wtedy pi ,j ≥ ε > 0, dla każdego i , j . Niech

mj(n) = min p(n)i ,j będzie najmniejszym elementem j-tej kolumny

Pn; analogicznie, niech Mj(n) = max p(n)i ,j . Wtedy

p(n)i ,j =∑k pi ,kp

(n−1)k,j ≥

∑k pi ,kmj(n − 1) = mj(n − 1)

dla każdego i , czyli mj(n) ≥ mj(n − 1).


Zbieżność Pn cd.

Analogicznie pokazujemy, że Mj(n) ≤ Mj(n − 1). Istnieją więc

granice ciągów mj(n) i Mj(n). Załóżmy, że mj(n) = p(n)i0j

oraz

Mj(n − 1) = p(n−1)i1j. Wtedy

mj(n) = p(n)i0j

=∑k

pi0,kp(n−1)k,j =

εp(n−1)i1j+ (pi0,i1 − ε)p

(n−1)i1j

+∑k 6=i1

pi0,kp(n−1)k,j ≥

εMj(n − 1) + [pi0,i1 − ε+∑k 6=i1

pi0,k ]mj(n − 1)

Stądmj(n) ≥ εMj(n − 1) + (1− ε)mj(n − 1)

Niech mj = limmj(n) ,Mj = limMj(n). Przechodzac wpoprzednim wierszu do granicy otrzymujemy

mj ≥ εMj + (1− ε)mjŁańcuchy Markowa z czasem dyskretnym

Zbieżność Pn cd.

czyli mj ≥ Mj więc mj = Mj . Oznacza to,że kolumny macierzygranicznej π są stałe, więc macierz ma identyczne wiersze.Niech teraz m > 1. Z poprzedniej cześci dowodu otrzymujemy, że

limn→∞

Pnm = π.

Gdy teraz ln →∞ to zapisując ln = mjn + kn, 0 ≤ kn < m,otrzymujemy

||Pln − π|| = ||Pmjn+kn − Pknπ|| ≤||Pkn || ||Pmjn − π|| = ||Pmjn − π|| → 0,

gdy n→∞. Tutaj π = Pknπ bo π ma stałe kolumny, a sumawyrazów każdego wiersza Pkn jest równa 1.


Zbieżność Pn cd.

Wniosek

Wiersze macierzy π spełniają relacje∑i

πipij = πj , πj > 0,∑i

πi = 1 .

Wektor π = (πi ) jest jedynym wektorem spełniającym powyższerelacje.

Dowód.

Zachodzip(n)kj =

∑i

p(n−1)ki pij .

Przechodząc do granicy otrzymujemy

πj =∑i

πipij .


Zbieżność Pn cd.

Założyliśmy pij ≥ ε > 0 więc

p(n)kj =∑i

p(n−1)ki pij ≥ ε∑i

p(n−1)ki = ε.

Zachodzi∑i p

(n)ki = 1 więc także

∑i πi = 1.

Jedyność. Przypuśćmy, że v jest wektorem spełniającym powyższezałożenia. Wtedy

v = vP = vPn = lim vPn = vπ = π,

bo π ma kolumny złożone ze stałych, zaś∑i vi = 1.

Gdy π dodatnie i zachodzi zbieżność Pn → π punktowo, to takżejednostajnie, więc p(n)kj > 0, począwszy od pewnego n, dlawszystkich k , j .


Klasyfikacja stanów

Definicja. Łańcuch Markowa nazywamy nieprzywiedlnym

gdy dla każdego i , j istnieje n = n(i , j) takie, że p(n)ij > 0.

Okres distanu i : n.w.d. zbioru {n ≥ 1; p(n)ii > 0} (n.w.d. = najwiekszywspólny dzielnik). Stan i nazywamy aperiodycznym, gdy di = 1.

Tw 2. Macierz stochastyczna P spełnia Pm > 0 dla pewn. m

(warunek dodatniości) wtedy i tylko wtedy, gdy łańcuch Markowajest nieprzywiedlny i posiada co najmniej jeden stan aperiodyczny.

Dowód. Gdy Pm > 0 to dla wszystkich dużych potęg m zachodziPm > 0 (zbieżność Pm → π > 0). Stąd p(m)ii > 0 i p(m+1)ii > 0, dladużych m, wiec di = 1. [m = kmρ, m + 1 = km+1ρ].Na odwrót, załóżmy, że stan i jest aperiodyczny. Wtedy

p(n+m)ii =∑k

p(n)ik p(m)ki ≥ p

(n)ii p

(m)ii .




gdy dla każdego i , j istnieje n = n(i , j) takie, że p(n)ij > 0. Okres distanu i : n.w.d. zbioru {n ≥ 1; p(n)ii > 0} (n.w.d. = najwiekszywspólny dzielnik).

Stan i nazywamy aperiodycznym, gdy di = 1.




p(n+m)ii =∑k

p(n)ik p(m)ki ≥ p

(n)ii p

(m)ii .




gdy dla każdego i , j istnieje n = n(i , j) takie, że p(n)ij > 0. Okres distanu i : n.w.d. zbioru {n ≥ 1; p(n)ii > 0} (n.w.d. = najwiekszywspólny dzielnik). Stan i nazywamy aperiodycznym, gdy di = 1.




p(n+m)ii =∑k

p(n)ik p(m)ki ≥ p

(n)ii p

(m)ii .




gdy dla każdego i , j istnieje n = n(i , j) takie, że p(n)ij > 0. Okres distanu i : n.w.d. zbioru {n ≥ 1; p(n)ii > 0} (n.w.d. = najwiekszywspólny dzielnik). Stan i nazywamy aperiodycznym, gdy di = 1.




p(n+m)ii =∑k

p(n)ik p(m)ki ≥ p

(n)ii p

(m)ii .



Zatem D = {n; p(n)ii > 0} jest półgrupą w N.

Zadanie (Ćwiczenia)

Z tego, że n.w.d. liczb w D wynosi 1 wynika, że od pewnego m0,D zawiera wszystkie liczby naturalne.

Ustalamy stan i ; niech j - inny stan. k oraz l wybieramy tak, abypkij > 0 oraz plji > 0. Wtedy dla wszystkich m ≥ m0,

p(m+k+l)jj ≥ pljipmii pkij > 0

czyli p(m)jj > 0 dla odpowiednio dużych m więc j też jestaperiodyczny. Analogicznie

p(m+l)ji ≥ pljipmii > 0,

dla m ≥ m0, więc także wyrazy poza przekątną główną sądodatnie, dla dużych m. Ponieważ P - macierz (n × n), więc dladużych m zachodzi Pm > 0.























Uwagi.1. Gdy łańcuch jest nieprzywiedlny ale pewien stan ma okresd > 1 to wszystkie stany mają ten okres, Pn nie musi być jużzbieżne; zachodzi jednak zbieżność średnich:

(P0 + P1 + . . .+ Pn)/n→ π;

dla Pn zachodzi zbieżność (mod d).2. Gdy założenie nieprzywiedlności nie jest spełnione to zbiórstanów rozpada się na klasy stanów wzajemnie komunikujacych sięoraz pewne stany do których nie ma powrotu (nie należą do żadnejklasy).3. Gdy S nieskończony, sytuacja bardziej skomplikowana ale dalejmożna badać nieprzywiedlność, komunikowanie się stanów,okresowość, istnienie rozkładów stacjonarnych, itd.


Documents

ancuchy Markowa z czasem dyskretnym Procesy Stochastyczne, …prac.im.pwr.wroc.pl/~tb/dydak/sem_zim2011/Procesy_wyk%b3... · 2012. 3. 19. · Łańcuchy Markowa z czasem dyskretnym