1

MARKOVLJEVI PROCESI

2

Ciljevi ovog poglavlja su slijedeći:

Razumjeti Markovljev proces kao specifičnu vrstu stohastičkog procesa

Naučiti zakon vjerovatnoće za Markovljeve lance sa diskretnim parametrom vremena

Upoznati osobine matrice prelaznih vjerovatnoća Shvatiti problem ergodičnosti Markovljevih lanaca Razumjeti Markovljev model kod kojeg se promjena

stanja mjeri efektima Naučiti opšti postupak primjene Markovljevih lanaca Na konkretnim primjerima naučiti rješavati probleme

pomoću Markovljevih lanaca

3

OSNOVE MARKOVLJEVIH PROCESA

Za stohastički proces x(t),tT se kaže da je Markovljev kada momentima t1<t2<...<tk odgovara raspored promjenljivih x(t1),x(t1),...,x(tk), tako da za realne veličine x1,x2,...,xk postoji uslovna vjerovatnoća

1k1kkk

1k1k2211kk

x)t(x/x)t(xP

x)t(x...,,x)t(x,x)t(x/x)t(xP

4

Ako se neki sistem može naći u n stanja Si, i= n1, , onda Markovljev model ima zakon vjerovatnoće determinisan sa:

- vjerovatnoćama za moment tk i stanje Si,

iikS pS)t(xPpi

,

- uslovnim vjerovatnoćama ijikj1k1kkS,S pS)t(x/S)t(xP)t,t(p

ji i

- inicijalnom vjerovatnoćom p0.

5

Vjerovatnoće pij nazivaju se prelazne vjerovatnoće i one objašnjavaju kolika je vjerovatnoća da će sistem iz stanja Si u trenutku tk preći u stanje Sj u trenutku tk+1. To se grafički može predstaviti kao na slici 2.1.

S1 p11 S1 S2 S2 Si pij Sj Sn Sn tk tk+1

Slika 2.1. Vjerovatnoće prelaska sistema iz trenutka tk u trenutak tk+1

6

Ove vjerovatnoće mogu se predstaviti matrično tzv. matricom prelaznih vjerovatnoća (Markovljeva matrica, tranzitivna ili prelazna matrica, stohastička matrica)

nnnj2n1n

inij2i1i

n2j22221

n1j11211

p...p...pp

..................

p...p...pp

..................

p...p...pp

p...p...pp

P

7

Karakteristike matrice prelaznih vjerovatnoća su slijedeće:

- 0 pij 1,

-

n

1jij n,1i ,1p i

- stepenovana matrica Pk je takođe stohastička matrica sa istim osobinama kao i matrica P i označava vjerovatnoću prelaska sistema u k koraka.

8

Posmatrajmo Markovljev lanac sa n stanja i matricom prelaznih vjerovatnoća P. Neka je vektor p(0)=p1

(0) p2(0) ... pn

(0) inicijalni vektor stanja sistema u trenutku 0 i neka vektor p(k)=p1

(k) p2(k) ... pn

(k) definiše vjerovatnoće stanja u trenutku k (vektor stanja). Ako je sistem u trenutku k-1 bio u stanju i, tada je vjerovatnoća da će u trenutku k biti u stanju j određena relacijom

n

1iik

)1k(i

)k(j 1,2,...k ,ppp

ili u matričnoj notaciji za svih n stanja (jednačina Chapman-Kolmogorova)

p(k) = p(k-1)P.

Ako se koriste izrazi p(1)=p(0)P, p(2)=p(1)P=p(0)P2,... , prethodno definisana matrična relacija može se napisati u obliku

p(k) = p(0)Pk

9

Često se Markovljevim lancima izračunavaju vjerovatnoće prelaska sistema S iz stanja Si u stanje Sj u m koraka. Na slici 2.2 taj prelaz razmatran je preko stanja Si(1),, Si(2),....

Si Sj Si(1) Si(m-1) Si(2)

Slika 2.2. Vjerovatnoće prelaska sistema u m koraka

10

Uslovne vjerovatnoće prelaska kroz opisani niz stanja su pii(1),pi(1)i(2),…,pi(m-1)j, respektivno. Zbir odgovarajućih izraza za sva moguća stanja predstavlja uslovnu vjerovatnoću da će se sistem naći u stanju Sj u trenutku t+m ako je u trenutku t

bio u stanju Si. Ovu vjerovatnoću označimo sa mji

mij )S,S(pp gdje je

m=1,2,.... Vjerovatnoća prelaska u m koraka dobiva se korištenjem jednačine

n

1r

sij

)sm(ir

mij ppp , m s 1 ili izračunavanjem elemenata matrice Pm.

11

PROBLEM ERGODIČNOSTI MARKOVLJEVIH LANACA

Neka za Markovljev lanac sa konačno mnogo stanja važi da su svi elementi

matrice P strogo pozitivni. Tada za svako j= n,1 važi da je

j

tij

tpplim

gdje vrijednosti jp ne zavise od i, te se nazivaju finalne, granične ili ergodične

vjerovatnoće (vjerovatnoće stabilnog stanja). Brojevi jp ako se postave u

obliku matrice reda, onda ujedno predstavljaju redove granične matrice P koja

se definiše relacijom t

tPlimP

.

12

Brojevi

n

1ijijj ,ppp j= n,1 i jednačine

n

1ij 1p služe za jednostavnije

izračunavanje finalne vjerovatnoće ako se koristi matrična jednačina

pP = p,

gdje je

p = p1+ p2

+ ... pn+ i 1 p...pp n21 .

13

Markovljev model kod koga se promjena stanja mjeri

efektima

Posmatrajmo skup S čija je evolucija opisana Markovljevim lancem. Neka su vjerovatnoće promjene stanja tog sistema date matricom prelaznih vjerovatnoća

P=pij, i= n,1 , j= n,1 . Neka se prelazak iz i-tog u j-to stanje mjeri efektima koje ćemo obilježiti sa kij i koji će respektivno odgovarati vjerovatnoćama promjena stanja.

14

Efekti kij obrazuju matricu efekata K=kij, i= n,1 , j= n,1 . Očekivana vrijednost ukupnih efekata W izračunava se prema Belmanovom principu za promjenu stanja poslije t vremenskih perioda. Po njemu je očekivani efekat ostvaren počev od i-tog stanja za t vremenskih jedinica jednak

n

1j1tij

n

1jijijt )j(wpkp)k(w

ili u matričnoj notaciji

wt = Q+Pwt-1, gdje je

n

2

1

q

...

q

q

Q i

n

1jijiji kpq .

15

Primjena Markovljevih lanaca

Primjer 1.: Neka se na tržištu može nabaviti artikal A od četiri različita proizvođača. Početna vjerovatnoća da će kupac kupiti artikal A od proizvođača

Pj, j= 4,1 , iznosi [0,4 0,2 0,3 0,1]. Istraživanjem tržišta mogu se utvrditi prelazne vjerovatnoće što je predstavljeno matrično.

1,01,03,05,0

1,06,02,01,0

1,02,04,03,0

0,01,02,07,0

P

Odrediti: a) učešće pojedinih proizvođača u prodaji artikla A u naredna 2 perioda i b) sve moguće vjerovatnoće prelaska sistema u 2 koraka.

16

Rješenje:

a)

1,0 3,0 2,0 4,0)0(p

06,027,025,042,0)1(p

1,01,03,05,0

1,06,02,01,0

1,02,04,03,0

01,02,07,0

1,0 3,0 2,0 4,0P)0(p)1(p

058,0 260,0 256,0 426,0P)1(p)2(p

b)

05,018,027,050,0

09,042,025,024,0

07,024,029,040,0

03,017,024,056,0

P 2

17

Ergodičnost Markovljevih lanaca

Primjer 2.: Izračunati vektor stabilnog stanja p i graničnu matricu P ako je poznata matrica prelaznih vjerovatnoća.

640,0220,0140,0

317,0600,0083,0

225,0175,0600,0

P

18

Rješenje:

Vektor stabilnog stanja p= [p1+ p2

+ p3+] (vektor finalnih vjerovatnoća) možemo

izračunati iz sistema homogenih jednačina

pP = p,

odnosno

[p1+ p2

+ p3+]·

640,0220,0140,0

317,0600,0083,0

225,0175,0600,0

= [p1+ p2

+ p3+]

i

1ppp 321 .

19

Tako dobivamo sistem jednačina

0,6p1+ + 0,083p2

+ + 0,14p3+ = p1

+ – 0,4p1+ + 0,083p2

+ + 0,14p3+ = 0

0,175p1+ + 0,6p2

+ + 0,22p3+ = p2

+ 0,175p1+ – 0,4p2

+ + 0,22p3+ = 0

0,225p1+ + 0,317p2

+ + 0,64p3+ = p3

+

p1+ + p2

+ + p3+ = 1 p1

+ + p2+ + p3

+ = 1.

20

Da bismo sistem mogli rješavati Kramerovim pravilom eliminisaćemo treću jednačinu.

D =

111

22,04,0175,0

14,0083,04,0

= 0,332

Dp1+ =

111

22,04,00

14,0083,00

= 0,074 p1+ = Dp1

+/D = 0,223

Dp2+ =

111

22,00175,0

14,004,0 = 0,113 p2

+ = Dp2+/D = 0,339

Dp3+ =

111

04,0175,0

0083,04,0

= 0,145 p3+ = Dp3

+/D = 0,438

21

Prema tome, vektor stabilnog stanja ima slijedeće elemente

p = 438,0339,0223,0 .

On nam pokazuje stanje kada će evolucija tržišta da se stabilizuje.

Pošto vektor stabilnog stanja ujedno predstavlja i redove granične matrice P , slijedi da je

438,0339,0223,0

438,0339,0223,0

438,0339,0223,0

PlimP t

t.

22

Promjene izražene efektima

Primjer 3.: Proizvođač robe široke potrošnje u svoj asortiman uvodi novi proizvod. Pretpostavimo dvije mogućnosti (stanja):

1. Postoji tražnja za proizvodom te njegovo uvođenje donosi pozitivne efekte,

2. Ne postoji tražnja za novim proizvodom te njegovo uvođenje ne donosi pozitivne efekte.

23

Nakon nekoliko lansiranja novog proizvoda utvrđena je matrica prelaznih vjerovatnoća

6,04,0

5,05,0P

što znači da ako je postojala tražnja za proizvodom vjerovatnoća je 0,5 da će i u narednom periodu postojati tražnja za proizvodom. Ako nije postojala tražnja onda je vjerovatnoća da će u narednom periodu postojati tražnja za proizvodom 0,4, a da neće postojati tražnja vjerovatnoća je 0,6. Uz pretpostavku da je

64

48K i

0

0wo

izračunati očekivanu vrijednost ukupnih efekata u toku tri perioda.

24

Rješenje:

2

1

q

qQ

645,085,0kpkpkpq 12121111

2

1jj1j11

2)6(6,044,0kpkpkpq 22222121

2

1jj2j22

w1 = Q+Pw0

2

6

0

0

6,04,0

5,05,0

2

6w1

8,0

8

2

6

6,04,0

5,05,0

2

6w2

72,0

6,9

8,0

8

6,04,0

5,05,0

2

6w3