UNIVERZITET

“Union - Nikola Tesla”

FAKULTET ZA POSLOVNE STUDIJE I PRAVO

BEOGRAD

SEMINARSKI RAD

Predmet: OPERACIONA ISTRAŽIVANJA i KVANTITATIVNE METODE

Tema:“ Slučajni (stohastički) procesi – Markovljevi lanci „

Mentor: Student:

Prof. Dr. Milun Kokanović Br.indexa:

Sarajevo, 2015.godina

Sadržaj

UVOD....................................................................................................................................2

MARKOVLJEVI LANCI....................................................................................................3

Stohatički procesi..................................................................................................................3

Markovljevi procesi...............................................................................................................4

Markovljevi lanci...................................................................................................................4

HOMOGENI MARKVLJEVI LANCI...........................................................................................4

Prijelazne vjerojatnosti za n koraka......................................................................................4

Klasifikacija stanja u Markovljevom lancu.............................................................................4

Apsorbirajući Markovljevi lanci.............................................................................................4

Regularni Markovljevi lanci i stacionarne vjerojatnosti........................................................4

Svojstva regularnog Markovljevog lanca...............................................................................4

ZAKLJUČAK............................................................................................................................4

LITERATURA..........................................................................................................................4

UVOD

Modeliranje velikog broja sistema (na primer, pomoću diferencijalnih jednačina) veoma često zahteva slučajne parametre. Takvi modeli često nastaju iz problema u prirodnim naukama ili ekonomiji gde nemamo dovoljno informacija o vrednostima parametara koji se pojavljuju. Postavlja se pitanje kako da radimo sa nekim parametrima kada ne znamo kako oni tačno izgledaju. Jedna od mogućnosti je da koristimo prilaz stohastičke analize i da posmatramo te parametre kao slučajne objekte. Druga mogućnost za prevazilaženje ovog problema moglo bi biti zamenjivanje pravih, ali nepoznatih parametara nekom vrstom prosečnih vrednosti i rad sa odgovarajućim determinističkim sistemom nadajući se da je to dovoljno „dobra“ aproksimacija polaznog problema. Tokom proteklog veka, sve češće su korišćeni metodi stohastičke analize. Takav pristup se razvijao veoma brzo i sada predstavlja važan alat u mnogim oblastima. U ovom odeljku nalaze se osnove stohastičke analize koje ćemo kasnije koristiti da bismo razvili naš stohastički ap

MARKOVLJEVI LANCI

Ponekad nas zanima kako se stanje nekog sustava mijenja s vremenom. Ako stanje sustava predstavlja vrijednost slučajne varijable, slijedi da nas zanima promjena slučajne varijable u ovisnosti o vremenu. Ponašanje promatranog sustava opisuje se stohastičkim procesom. Poseban oblik stohastičkog procesa je Markovljev proces odnosno Markovljev lanac čije ćemo osnovne ideje objasniti u nastavku.

Stohatički procesi

Postavljamo pitanje: Što je stohastički (slučajni) proces?

Promatrajmo u svakom momentu t nekog

vremenskog intervala T veličinu Xt koja nije unaprijed određena već se realizira slučajno, a predstavlja stanje sustava u promatranom trenutku t. Skup svih slučajnih veličina Xt promatramo kao slučajnu varijablu koja se mijenja u ovisnosti o vremenu t.Uvodimo definiciju:

Stohastički (slučajni) proces je skup slučajnih

varijabli {Xt : t ∈T} . T je parametarski skupstohastičkog procesa, a t ∈ T je parametar.

Ako je skup T interval, govorimo o kontinuiranom stohastičkom procesu, a u slučaju da je skup T prebrojiv tj. T ={t0 ,t1,t2 ,K} govorimo o diskretnom stohastičkom procesu. Pritom također slučajne varijable stohastičkog procesa mogu biti diskretne ili neprekidne.

Primjeri kontinuiranih stohastičkih procesa.1. Pretpostavimo da u nekom tvorničkom pogonu

koji radi kontinuirano ima r strojeva. Svaki stroj radi dok se ne pokvari, a tada dolazi ekipa za održavanje i popravlja stroj. Nakon toga se

stroj ponovno uključuje u rad. Za odvijanje procesa proizvodnje od bitnog

je značenja varijabla Xt , koja predstavlja broj strojeva koji u trenutku t ispravno rade.

Uočimo da je Xt diskretna slučajna varijabla koja poprima vrijednosti iz skupa {0,1,K, r} , dok je promatrani proces kontinuiran stohastički proces.

2. Neka je Xt slučajna varijabla koja predstavlja broj ljudi u nekom supermarketu u trenutku t. Pripadajući stohastički proces je kontinuiran, a

slučajne varijable Xt poprimaju diskretne vrijednosti.

Nadalje se stohastički procesi mogu podijeliti na stacionarne i nestacionarne. Stacionarni su oni procesi kod kojih su vjerojatnosne osobine invarijantne u odnosu na pomake vremenskog parametra, dok se kod nestacionarnih procesa te osobine mogu mijenjati.

Preciznije zapisano, stohastički proces {X t :t ∈T } je stacionaran ako za svaki prirodni brojn, svaki mogući izbor t1,t2 ,K,tn ∈T i svaki realan broj u za koji je

t1 +u,t2 +u,K,tn +u ∈T , slučajni vektori (Xt , Xt

2,K, Xt

n) i (X t +u , X

t2+ u ,K

1 1

imaju identične distribucije vjerojatnosti.

Markovljevi procesi

U nastavku ćemo promatrati stohastičke procese, koji imaju tzv. „svojstvo zaboravljivosti“, a nazivamo ih Markovljevim procesima.

Uvodimo definiciju:Stohastički proces { Xt : t ∈ T} je Markovljev ako za proizvoljan izbor vremenskih trenutaka

t1 < t2 <K< tn

∈T i proizvoljne vrijednosti x1 , x2, x3,K, xn vrijedi

P X ≤ x X = x , K, X = x= P X ≤ x X = x .

t n n

tn−1 n−1

t1 1

tn n

tn−1 n−1

Gornja relacija izražava tzv. Markovljevo svojstvo koje opisuje činjenicu da razdioba

vjerojatnosti slučajne varijable Xt u momentu t = t n ovisi samo o vrijednosti xn−1 procesa u

trenutku tn−1 , a ne ovisi o vrijednostima procesa u ranijim momentima.

Markovljevi lanci

Nadalje ćemo se ograničiti samo na diskretne stohastičke procese i pretpostaviti da je T ={t0 ,t1,t2,K}. Također ćemo, zbog jednostavnosti, stanje sustava u trenutku tn označavati

s X n i govoriti o stanju sustava u n-tom koraku.

Primjer.

Neka X 0 predstavlja vrijednost dionica poduzeća CSL Computers na burzi na početku

dana t0 . Vrijednosti dionica promatramo samo u određene dane t1 ,t2,K. X n predstavlja

vrijednost dionica početkom dana tn . Jasno je da će nam poznavanje kretanja cijena dionica

X0 , X1,K, X n−1 dati nekakve informacije o razdiobi za cijenu dionica u sljedećem

vremenskom trenutku tn , tj. razdiobi slučajne varijable X n . Pitamo se: Što nam „prošlost“

govori o stanju X n ?

Zbog jednostavnosti pretpostavimo da je skup stanja koje slučajne varijable X0 , X1,K mogu

poprimiti diskretan i konačan, te ga označimo s S ={s1 , s2,K, sr }.

Uvodimo sljedeću definiciju:

Konačni Markovljev lanac je diskretni stohastički proces X0 , X1,K kod kojeg diskretna

slučajna varijabla X n poprima vrijednosti iz skupa S, te za svaki prirodni broj n ≥2 i svaki

izbor stanja s1 , s2 ,K, sn ∈S vrijedi Markovljevo svojstvo

P X = s X = s , K, X = s = P X = s X = s .n n n−1 n−1 1 1 n n n−1 n −1

Drugim riječima, Markovljev lanac je proces koji može biti u nekom od stanja iz skupa stanja S i može prelaziti iz jednog stanja u drugo u određenim vremenskim koracima prema utvrđenim vjerojatnostima. Pritom vrijedi Markovljevo svojstvo, odnosno svojstvo zaboravljivosti. To znači da vjerojatnost da se sustav nađe u n-tom koraku u stanju sn ovisisamo o stanju u kojem se je sustav nalazio u prethodnom vremenskom koraku.

Na osnovu iznesenoga možemo definirati tzv. matricu prijelaznih vjerojatnosti u n-tomkoraku

p ( n )11

P(n ) = ( pij(n)

) r ( n )

=p

21i , j =1 M

(n)pr1

čiji su elementi definirani s

p12(n)

... p1(rn)

p22(n)

... p2(n

r)

M M Mpr

( n

2) ... prr

(n)

p( n)

:= P X = s X = sij n j n−1 i

i predstavljaju vjerojatnost prijelaza iz stanja si u stanje s j u n-tom koraku.

Uočimo da za matricu P vrijedi ∑r pij(n) =1 za svaki i =1,K, r , tj. suma elemenata po recima

j =1

jednaka je 1. Matrice s takvim svojstvom nazivaju se stohastičke matrice.

HOMOGENI MARKVLJEVI LANCI

Ograničimo se u nastavku na Markovljeve lance koji imaju svojstvo stacionarnosti, što znači da njihove prijelazne vjerojatnosti ne ovise o koraku, odnosno vremenskom trenutku tn , većvrijedi

pij(n) = pij , n = 0,1,2,K

Takvi se lanci nazivaju homogeni Markovljevi lanci.

Kod njih je matrica prijelaznih vjerojatnosti nezavisna o vremenskom koraku. Stoga uvodimo oznaku

odnosnoP = P(n) ,

p p L p11 12 1r

p21p

22L

p2r

P = M M O M.

pr1

pr 2

L p

rr

Njezini elementi

pij

= P X

n = s jX

n−1 =

si

predstavljaju vjerojatnost da sustav bude u stanju s j , ako je u prethodnom koraku bio u stanju

si .Da bi Markovljev lanac u potpunosti opisali moramo, osim matrice prijelaznih vjerojatnosti, poznavati i vektor početnih vjerojatnosti, koji predstavlja stanje Markovljevog lanca u početnom trenutku promatranja, tj. razdiobu slučajne varijable X 0 . Vektor početnihvjerojatnosti označimo s

p(0) = (p1 (0),K, pr (0)).

Vrijedipi (0) = P[X 0 = si ],

tj. vjerojatnost da se sustav u početku nalazi u stanju si .

Na isti ćemo način definirati vektor stanja u n-tom koraku (ili nakon n koraka), tj.

p(n) = (p1 (n),K, pr (n)),pri čemu je

pi (n) = P[X n = si ].

Očito je da vektori stanja moraju biti stohastički, tj. mora vrijeditir

pi (n) ≥ 0 i ∑pi (n) =1.i=1

Primjer.Prostorija je pregrađena na č etiri dijela s otvorima između (Slika 1). Sobe su označene brojevima 1, 2, 3, 4. Miš koji se nalazi u nekoj sobi može kroz otvore prijeći u druge sobe. Pritom pretpostavimo da su vjerojatnosti prolaza kroz bilo koji od otvora jednake. U svakom koraku pretpostavimo da miš prođe kroz neki od otvora. U proizvoljnom trenutku nas zanima mogući položaj miša.

2 1

3 4

Slika 1.

Opisani sustav ćemo predstaviti kao Markovljev lanac. Stanjem sustava ćemo smatrati prostoriju u kojoj se miš nalazi. Prema tome, skup stanja sustava jednak je S = {1,2,3,4}.

Slučajna varijabla X n predstavljati će položaj miša u n-tom koraku. Za tako postavljeni sustav zapisati ćemo matricu prijelaznih vjerojatnosti.

Promotrimo najprije vjerojatnosti prijelaza miša iz sobe 1 u ostale sobe. Kako soba 1 ima tri otvora, kroz koja može miš proći u sobe 2 i 4, dok u sobu 3 ne može proći, slijedi da je

p12 = 2

3 , p13 = 0 , p14 = 1

3 .

S obzirom da smatramo da miš u svakom koraku mora izaći iz trenutne prostorije, vrijedi da je p11 = 0 . Time su definirane sve vjerojatnosti prijelaza iz sobe 1, odnosno prvi redakmatrice prijelaznih vjerojatnosti. Na isti način odredimo vjerojatnosti prijelaza iz preostalih soba, te dobijemo pripadnu matricu

1 2 3 41 0 2 0 1

32 2 1

3

0 0 .P =

33 1 3 10 2 0 2

4 1 0 1 02 2

Prijelazne vjerojatnosti za n koraka

Primjer (nastavak).

Pretpostavimo sada da je miš na početku u sobi 2. Zanima nas gdje će se miš nalaziti nakon dva koraka. Jasno je da to nećemo moći sa sigurnošću reći, već ćemo moći samo odrediti s kojom vjerojatnošću će se nalaziti u nekoj od soba. Isto tako vrijedi da njegov položaj nakon dva koraka ovisi o tome gdje je bio nakon prvog koraka. Na primjer, recimo da tražimo

vjerojatnost P[X 2 = 4 X 0 = 2], tj. vjerojatnost da u dva koraka iz sobe 2 prijeđe u sobu 4.

Navedenu ćemo vjerojatnost označiti s p24 (2) i ona je jednaka4

p24 (2) = ∑(vjerojatnost da prijeđr iz 2 u sobu k) ⋅(vjerojatnost da prijeđr iz sobe k u sobu 4)k =1

4

= ∑p2k ⋅ pk 4 = 23 ⋅ 1

3 + 0 ⋅0 + 13 ⋅ 1

2 + 0 ⋅0 = 187

k =1

2 1

1

3

3

0 2 0

21 1 43 2

30 0

4

Slika 2. Prijelazne vjerojatnosti iz sobe 2 u sobu 4 u dva koraka

Na isti način možemo odrediti i preostale vjerojatnosti p2 j (2) , j =1,K,4 , tj. vjerojatnosti

prijelaza iz sobe 2 u ostale sobe u dva koraka. Prema tome ako je vektor početnih vjerojatnosti jednak

1 2 3 4

p(0) = (0 1 0 0)vektor stanja nakon dva koraka jednak je

1 2 3 4

p(2) = ( p 21 (2) p22 (2) p23 (2) p24 (2))

1 2 3 4

= (0 11 0 7 ).1818

□

Slijedeći postupak opisan na prethodnom primjeru, u općenitom ćemo slučaju pokušati naći odgovor na sljedeće pitanje:

Ako je Markovljev lanac, s pripadajućom matricom prijelaznih vjerojatnosti P, u stanju si na

m-tom koraku, kolika je vjerojatnost da će nakon n koraka biti u stanju s j ?

Tražimo dakle vjerojatnost

P[X m+n = s j X m = si ]= P[X n = s j X 0 = si ]= pij (n) ,

pri čemu prva jednakost slijedi iz homogenosti promatranog Markovljevog lanca. Navedenu

smo vjerojatnost prijelaza za n koraka označili s pij (n) .

Jasno je, da je za n =1, pij (1) = pij . Za n = 2 je, kao i u prethodnom primjeru, vjerojatnost

prijelaza između dva stanja u dva koraka tj. pij (2) , i, j =1,K, r jednaka sumi umnožaka

vjerojatnosti prijelaza iz stanja si u proizvoljno stanje sk u prvom koraku, te prijelaza iz stanja

sk u stanje s j u drugom koraku, tj.r

pij (2) = ∑pik ⋅ pkj . k

=1

Nije teško uočiti da su elementi pij (2) , i, j =1,K, r zapravo elementi matrice P2 .

Rekurzivno možemo pokazati da je

pij (n) = ij-ti element matrice Pn .

Iz toga slijedi da je Pn matrica prijelaza za n koraka.

Na osnovu navedenoga slijedi:Ako nam je poznat vektor početnih vjerojatnosti p(0) , onda za j-ti element vektora stanja u n-

tom koraku vrijedi

r r

p j (n) = P[X n = s j ]= ∑P[X n = s j X 0 = si ]⋅P[ X 0 = si ]= ∑pij (n) ⋅ pi (0) .i =1 i =1

Izraz na kraju gornje jednakosti predstavlja j-ti element umnoška vektora početnih

vjerojatnosti s matricom Pn . Iz toga slijedi da je

p(n) = p(0)Pn ,

odnosno, ako želimo odrediti vektore stanja u svim koracima imamo

p(1) = p(0)P , p(2) =p(1)P , ... , p(n) = p(n −1)P .

U nastavku navodimo sljedeće tvrdnje, kojima potvrđujemo ispravnost prethodnih zaključaka:

Tvrdnja 1. Ako je p(n) = [p1 (n), p2 (n), … , pr (n)], vektor vjerojatnosti i P stohastička

matrica, tada je i p(n)P stohastička matrica.

Tvrdnja 2: Ako su A i B stohastičke matrice, tada je i AB stohastička matrica. Štoviše,

sve potencije An su stohastičke matrice.

Klasifikacija stanja u Markovljevom lancu

Prema sljedećem primjeru klasifikacirat ćemo stanja u Markovljevom lancu.

Primjer.

Zadana je matrica prijelaznih vjerojatnosti

1 2 310.4 0.6 0

2 0.5 0.5 0P = 3 0 0 0.3

4 0 0 0.5

5 0 0 0

Na Slici 3 prikazan je pripadni graf.

4 50 0

0 00.7 0 .

0.4 0.1 0.8 0.2

0.3

0.43 0.5

1

0.5 0.7

0.64 0.4

0.1

25

0.80.5

0.2

Definicije.Slika 3

- Za dana stanja i i j , staza od i do j je niz prijelaza koji počinju u i i završavaju u j,tako da je pri svakom prijelazu u nizu vjerojatnost pozitivna.

- Stanje j je dohvatljivo iz stanja i ako postoji staza koja vodi od i do j.

Iz matrice prijelaznih vjerojatnosti u Primjeru 3 i iz grafa vidimo da postoji staza od stanja 3 do stanja 5 ( 3 – 4 – 5), pa kažemo da je stanje 3 dohvatljivo iz stanja 5. Iz stanje 5 ne postoji staza do stanja 2 pa stanje 5 nije dohvatljivo iz stanja 2.

- Dva stanja su povezana ako je stanje j dohvatljivo iz i , i ako je stanje i dohvatljivo iz j

Za stanja 3 i 4 kažemo da su povezana jer je stanje 3 dohvatljivo iz stanja 4 i obratno. Također su povezana i stanja 1 i 2 te 4 i 5.

- Skup stanja S u Markoljevom lancu je zatvoren skup ako ne postoji stanje izvan skupaS koje je dohvatljivo iz nekog stanja iz S.

Markovljev lanac dan matricom P u Primjeru 3 ima dva zatvorena skupa S1 = {1,2} i S2

= {3, 4, 5}. Na grafu se vidi da između ovih skupova nema lukova koji povezuju elementeiz tih skupova.

- Stanje i je apsorbirajuće ako je pii =1 .

U našem primjeru – nema apsorbirajućeg stanja. Treba istaknuti, ako se jednom postigneapsorbirajuće stanje iz njega se više ne može izaći. Apsorbirajuće stanje je zatvoreni skupsastavljen samo iz jednog stanja.

- Stanje i je prijelazno stanje ako postoji stanje j koje je dohvatljivo iz i, ali stanje i nije dohvatljivo iz stanja j.

Prijelazno stanje omogućuje da napustimo stanje i ali se više nikada u njega ne vraćamo.

- Stanje koje nije prijelazno, naziva se rekurentno stanje (povratno stanje).

- Stanje i je periodično sa periodom k>1 ako je k najmanji broj takav da sve staze vodeiz stanja i ponovo u stanje i te imaju duljinu jednaku višekratniku broja k. Akorekurentno stanje nije periodično, ono je aperiodočno.

PrimjerPromotrimo Markovljev lanac sa matricom prijelaza

0 1 0

P = 0 0 1 ,

1 0 0odnosno pripadnim grafom

1 1

1 2 3

1

Za promatrani Markovljev lanac, odnosno graf, vrijedi: ako krenemo iz stanja 1, stazom 1-2-3-1 ponovo ćemo se vratiti u stanje 1. No, to vrijedi iz sva ostala stanja. Zaključujemo da je ovaj Markovljev lanac periodičan sa periodom k = 3.

Apsorbirajući Markovljevi lanci

Definicija.Markovljev lanac je apsorbirajući (apsorpcijski) ako je barem jedno od njegovih stanja apsorbirajuće.

Primjer.

Slučajno pomicanjeČestica se kreć e iz jedne od točaka {0, 1, 2, ..., m} udesno s vjerojatnošću p, a ulijevo s vjerojatnošću 1 - p. Ako dospije do rubnih točaka, tada trajno ostaje u njima. Napisati matricu prijelaznih vjerojatnosti.

1-p p

0 x-1 x x+1 m

Rješenje.Opisani sustav možemo promatrati kao Markovljev lanac, gdje je stanje sustava zapravo položaj čestice na brojevnom pravcu. Skup svih mogućih stanja jednako je S={0, 1, 2, ..., m}. U svakom se koraku čestica pomiče s određenom vjerojatnošću, pa ćemo prema tome fomirati matricu prijelaznih vjerojatnosti.Promotrimo najprije rubne točke 0 i m. Kada čestica do njih dospije, ostaje trajno u njima, tj. vrijedi

p0,0 =1, pm,m =1.Prema tome, stanja 0 i m su apsorbirajuća stanja. Nadalje, za unutarnje točke vrijedi

px, x +1 = P[X n = x +1 X n −1 = x]= pi

px, x −1 = P[X n = x −1 X n −1 = x]=1− p = q . Pripadajuća matrica prijelaznih vjerojatnosti jednaka je

1 0 0 L L L

0 pq0 q 0 p

P =O

.M

M O p

M 0 1Znajući početni položaj čestice, dakle vektor početnih vjerojatnosti, možemo odrediti vektor stanja čestice u proizvoljnom koraku.

Primjer.

Kockarov problem

Igrač ima $2. Prilikom svake igre on uloži $1. Vjerojatnost dobitka jednaka je 1

2 . Kod dobitka

mu se vrati ulog i dodatno zaradi $1 s vjerojatnošću 1/2. Prestane s igrom ukoliko izgubi $2 ili dobije $4.a) Kolika je vjerojatnost da izgubi svoj novac do kraja najviše 5 partija? b) Kolika je vjerojatnost da igra traje više od 7 partija?

Rješenje.Igru možemo promatrati kao stanja sustava jednak je S vjerojatnosti je

1 0

01/ 20 1/ 2

0 0P =

0 0

0 00 0

slučajno pomicanje s apsorpcijskim barijerama 0 i 6, tj. skup ={0,1,K,6}. Prema prethodnom zadatku, matrica prijelaznih

0 0 0 0 0

1/ 2 0 0 0 00 1/ 2 0 0 0

1/ 2 0 1/ 2 0 0

0 1/ 2 0 1/ 2 0

0 0 1/ 2 0 1/ 20 0 0 0 1

Vektor početnih vjerojatnosti glasi p(0) = (0,0,1,0,0,0,0) , tj. igrač ima $2.

a) Tražimo vjerojatnost da je lanac u stanju 0 nakon 5 koraka. Nije teško izračunati da vrijedi1 1

p(1) = p(0)P = 0, ,0, ,0,0,0

2 21 ,0, 1 ,0, 1

p(2) = p(1)P =

2 4,0,0

41 1 3 1

p(3) = p(2)P = , , 0, , 0, , 0

4 4 8 83 5 1 1

p(4) = p(3)P = , 0, , 0, , 0,

8 16 4 163 5 9 1 1

p(5) = p(4)P =

8, ,0, ,0, ,

32 32 8 16

Iz vektora stanja p(5) je jasno da je vjerojatnost da nakon pet igara kockar ostane bez

novca jednaka p0 (5) = 83 . Vjerojatnost da ima $6 je p0 (6) = 16

1 .

b) Vjerojatnost da igra traje dulje od 7 igara = vjerojatnost da sustav nije u stanju $0 ili $6 u

nakon 7 koraka = 1− p0 (7) − p6 (7) . Redom računamo

29 7 13 1p(6) = p(5)P = , 0, , 0, , 0,

64 32 64 8

29 7 27 13 1p(7) = p(6)P = , ,0, ,0, ,

64 64 128 128 8

Tražena vjerojatnost je 1− 6429

− 18 = 64

7 +128

27 +128

13 =

2764 .

Regularni Markovljevi lanci i stacionarne vjerojatnosti

Definicija.Za Markovljev lanac u kome su sva stanja međusobno rekurentna, aperiodična i povezana kaže se da je ergodičan (regularan).

Svojstva regularnog Markovljevog lanca

Regularnom Markovljevom lancu pripada regularna matrica prijelaznih vjerojatnosti, što znači da postoji n >1, takav da je pij (n) > 0 , za sve i, j =1,K,r .

To znači, da Markovljev lanac iz proizvoljnog stanja si , nakon određenog broja koraka

može prijeći u bilo koje drugo stanje. Na osnovu navedenoga je jasno da apsorbirajući Markovljev lanac ne može biti regularan.

Markovljev lanac je regularan ako je λ =1 jedina svojstvena vrijednost matrice prijelaznih vjerojatnosti koja je po apsolutnoj vrijednosti jednaka 1.

Primjer0 1

Provjeriti da li je matrica A = 1 2 regularna ?3 3

Rješenje . Vidimo da je zadana matrica stohastička. Da bismo ispitali regularnost izračunat ćemo potencije matrice A.

A2 =1

2, A3=

2 73 3 9 9 .2 7 7 20

9 9 27 27

Uočimo da dobivene matrice imaju pozitivne elemente što se lako može utvrditi i za sve ostale potencije matrice A. Zaključujemo da je matrica A regularna.

1 0Provjeriti da li je matrica B = 1 2 regularna ?

3 3

Rješenje. Izračunajmo potencije stohastičke matrice B.

21 0

31 0

5 4 , 19 8B = B = .

9 279 27

Svaka potencija matrice B ima u prvom redu 0 pa zadana matrica nije regularna.

Definicija.Stohastički vektor p = (p1,K, pr ) nazivamo vektor stacionarnih vjerojatnosti ako vrijedi

p ⋅P =p .

Uočimo da vrijedi:Ako je stanje sustava u nekom trenutku porazdijeljeno prema vektoru stacionarnih vjerojatnosti, onda će stanje sustava u svakom sljedećem trenutku biti porazdijeljeno na isti način.

Ako je p(0) =p , onda je zbog gornje jednakosti p(1) =p(0) ⋅P =p(0) =p , odnosno, rekurzivno možemo pokazati da je p(n) =p , tj. stanje u svakom trenutku ravna se prema vektoru p, čime je opravdan naziv stacionarnosti (sustav se ne mijenja u vremenu).

Svojstva regularnog Markovljevog lanca (nastavak)

Kod regularnih Markovljevih lanaca je vektor stacionarnih vjerojatnosti

p = (p1,K, pr ) jedinstven (jednoznačno određen).

Ako je P matrica prijelaznih vjerojatnosti regularnog Markovljevog lanca, onda je p p

2L L p

1 rp1 p2 L L pr

lim Pn = M M O

n→∞M M O

p p2

L L p1 r

Prisjetimo se da su elementi matrice Pn jednaki pij (n) i predstavljaju vjerojatnosti

prijelaza iz stanja si u stanje s j u n koraka. Zbog gornje jednakosti slijedi da je

lim pij (n) = p jn→∞

gdje je p j j-ta komponenta vektora stacionarnih vjerojatnosti. To znači da nakon puno

koraka uopće nije važno i kojeg je početnog stanja sustav 'krenuo' već će se nakon

nekog vremena nalaziti u stanju s j s vjerojatnošću koja je jednaka ili se približava

vrijednosti p j . Ta se vjerojatnost može interpretirati i kao prosječni dio vremena koji

sustav provodi u stanju s j .

Primjer.

Na tržištu se pojavljuju dva tipa konkurentskih osvježavajućih pića: Coca Cola i Cockta. Ako se je osoba u posljednjoj kupovini opredijelila za Coca Colu, pretpostavimo da će se to dogoditi i u slijedeć oj kupovini sa vjerojatnošću 90%. Ukoliko se je osoba u posljednjoj kupovini opredijelila za Cocktu, u slijedećoj će odabrati Cocktu s vjerojatnošću 80%.a) Naći matricu prijelaznih vjerojatnosti. b) Ukoliko je lanac regularan, odredite vektor stacionarnih vjerojatnosti. c) Pretpostavimo da Coca Colu i Cocktu konzumira u svijetu 100 milijuna ljudi, te da kupuju jednom tjedno. Proizvođači za svaku bocu utroše 1€, a prodaju je po cijeni od 2€. Jedna reklamna tvrtka za 500 milijuna € na godinu garantira proizvođaču Coca Cole porast s 90% na 95% broja kupaca koji ostanu vjerni Coca Coli nakon jedne kupnje. Da li se proizvođaču isplati unajmiti tu tvrtku?

Rješenje.

a) Označimo sa S1 stanje da potrošač kupuje Coca Colu, a sa S2 da potrošač kupuje Cocktu. Ako opisani sustav promatramo kao Markovljev lanac, pripadna matrica prijelaznih vjerojatnosti glasi

SS1 S2

0.9 0.1P = 1

S2 0.2 0.8

b) S obzirom da su svi elementi matrice P pozitivni, već sada možemo zaključiti da je lanac regularan. No, prije određivanja vektora stacionarnih vjerojatnosti, pokazati ćemo da vrijedi

prije navedena konvergencija matrica Pn . Nije teško izračunati da je

20.83 0.17

100.68 0.32

P P ==

0.34 0.66 0.65 0.35

30.78 0.22

200.67 0.33

P P ==

0.44 0.56 0.67 0.33

40.75 0.25

300.67 0.33

P =P =

0.51 0.49 0.67 0.33

50.72 0.28

400.67 0.33

P P ==

0.56 0.44 0.67 0.33

Prema tome, matrice konvergiraju prema matrici u kojoj su svi retci jednaki. Redak dobivene matrice trebao bi biti jednak vektoru stacionarnih vjerojatnosti, koji ćemo kasnije izračunati.

Prije toga odredimo još svojstvene vrijednosti da bi provjerili i drugo svojstvo regularnih Markovljevih lanaca, koje nam kaže da je samo jedna svojstvena vrijednost po apsolutnoj vrijednosti jednaka 1. Svojstvene vrijednosti određujemo iz jednadžbe

det(P −λI) = 0gdje je I jedinična matrica.

det(P −λI) = 0.9 −λ 0.1 = (0.9 −λ)(0.9 −λ) −0.020.2 0.8 −λ

= 1001

(72 −170λ +λ2 −2) = 10

1 (10λ

2 −17λ +7)

= 0 Slijedi λ1 =1 i λ2 = 0.7 <1, čime smo tvrdnju pokazali.

Konačno ćemo vektor stacionarnih vjerojatnosti p = (p1 p2 ) odrediti iz matrične jednadžbe p

⋅P =p , tj.

( p10.9 0.1 p

1p2 )

0.2= .

0.8 p2

Dobijemo sustav jednadžbi

0.9 p1 +0.2 p2 = p1 . 0.1p1 +0.8 p2 = p2

Nije teško uočiti da su dobivene jednadžbe zapravo ekvivalentne, ali uz zahtjev da vektor bude stohastički, tj. da je

p1 + p2 =1 možemo jednoznačno odrediti rješenje. Dobijemo

p = ( p1 p2 )= (23

13 )= (0.67 0.33)

što smo i očekivali.Dakle, možemo zaključiti da se, dugoročno gledano, 67% ukupnog broja kupaca opredjeljuje za Coca Colu, a 33% za Cocktu.

c) Uočimo da je za trenutnu razdiobu potrošača (u stacionarnom stanju) tjedna zarada od prodaje Coca Cole jednaka

0.67 ⋅100⋅106 = 66 milijuna €,

dok je godišnja66 milijuna € x 52 = 3432 milijuna €.

Ukoliko se proizvođač Coca Cole odluči na najam reklamne tvrtke, nova matrica prijelaznih vjerojatnosti bit će jednaka

SS1 S2

0.95 0.05P = 1

S2 0.2 0.8Vektor stacionarnih vjerojatnosti će u ovom slučaju biti jednak

p = ( p p2)= ( 4 1 )= (0.8 0.2),

1 5 5

što znači da će u tom sluč aju, dugoročno gledano, 80% ljudi konzumirati Coca Colu. Time će proizvođač Coca Cole godišnje zaraditi

0.8⋅100⋅106 ⋅52 = 4160 milijuna €.

Prema tome, nova je godišnja zarada za728 milijuna €

veća od prethodne, čime je ulaganje u reklamiranje u iznosu od 500 milijuna € opravdano, jer će proizvođaču ostati 228 milijuna.

ZAKLJUČAK

Teorija vjerovatnoće je matematička disciplina koja se bavi zakonitostima u slučajnim

pojavama, odnosno teorija vjerovatnoće je zasnovana na modelima koji odražavaju pitanja i

pojave stvarnoga svijeta, na osnovu određivanja zakonitosti i predviđanja događaja. novije

vrijeme teorija vjerovatnoće (teorija vjerovatnosti) jedno je od najvažnijih i najsadržajnijih

područja savremene matematike, koje se mnogo primjenjuje i u drugim matematičkim

disciplinama, posebno u (matematičkoj statistici, kao i u raznim područjima fizikalnih i

bioloških nauka, tehnike (elektrotehnike, saobraćaja i dr.), genetike, u izučavanju različitih

slučajnih pojava, njihovih zakonitosti, njihove prirode i učinka, i drugdje. Teorija

vjerovatnoće, a i teorije koje se zasnivaju na pojmovima vjerovatnoće odnosno, koje crpe

osnovne ideje iz teorije vjerovatnoće, vrlo su značajne grane matematike i imaju primjenu u

širokom području savremenih djelatnosti. Manje je poznata činjenica da se pojmovi

vjerovatnoće sve više koriste i u društvenim naukama. Stohastičke metode, npr., primjenjuju

psiholozi u istraživanju procesa učenja.

LITERATURA

L. Arnold - Stochastic Differential Equations: Theory and Applications,John Willey and Sons, New York, 1974.2. S. Pilipović, B. Stanković - Prostori distribucija, Srpska akademijanauka i umetnosti, Ogranak u Novom Sadu, 2000.3. M. Oberguggenberger - Multiplication of Distributions and Applicationsto Partial Differential Equations, John Wiley and Sons, NewYork, 1992.4. D. Rajter - Ćirić - Konstrukcija Kolomboovih rešenja determinističkihi stohastičkih diferencijalnih jednačina, Doktorska teza, 2001.5. M. Nedeljkov, D. Rajter - Ćirić - Nonlinear Stochastic Wave Equationwith Colombeau Generalized Stochastic Processes, MathematicalModels and Methods in Applied Sciences, Vol. 12, No. 5 (2002) 665-688