TUGAS INDIVIDU

PROSES STOKASTIK

RANTAI MARKOV

RESKI MANGKAWANI

H 121 11 270

PROGRAM STUDI STATISTIKA

JURUSAN MATEMATIKA

FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM

UNVERSITAS HASANUDDIN

2014

BAB 4 RANTAI MARKOV

4. 1. Pendahuluan

Rantai markov adalah proses stokastik dimana = 0, 1, 2, (periode waktu) dan variabel acak

independen. Untuk setiap waktu , ketika kejadian adalah dan seluruh kejadian sebelumnya adalah

, 1 ,2 , ,0 yang terjadi dari proses yang di ketahui, probabilitas seluruh kejadian yang

akan datang +1 hanya bergantung pada dan tidak bergantung pada kejadian-kejadian sebelumnya

yaitu 1 ,2 , ,0. Dimana +1 adalah berdistribusi bersyarat.

Jika = , ketika proses dikatakan kejadian di waktu . Memiliki peluang transisi atau peluang

berpindahnya kejadian (pada waktu ) ke kejadian (pada waktu + 1).

+1 = = ,+1 = 1, ,1 = 1,0 = 0 = , 0 (4.1)

Oleh karena itu adalah peluang, untuk setiap dan , maka 0 dan untuk = 0, 1,

= 1

=0

Matriks peluang transisi adalah

=

00 01 02

10 11 12 0

1

2

4. 2. Persamaan ChapmanKolmogorov

Misalkan menyatakan peluang transisi -langkah suatu proses di kejadian akan berada di kejadian .

= + = = dimana , 0

Persamaan Chapman-Kolmogorov adalah alat untuk menghitung peluang transisi +-langkah:

+ =

=0

untuk , 0, semua , (4.2)

Secara formal, kita dapat

+ = + = 0 =

= + = , = 0 =

=0

= + = , = 0 =

=0

= 0 =

=

=0

Jika misalkan () menunjukkan matriks peluang transisi -langkah , persamaan (4.2) menunjukkan

(+) = ().()

Dimana tidak mewakili matriks multiplikasi. Sebab itu menerangkan bahwa

(2) = (1+1) = . = 2

Dan

() = (1+1) = 1 =

Jika distribusi tidak bersyarat dari kejadian waktu yang diinginkan, itu membutuhkan untuk menetapkan

distribusi peluang dari awal kejadian.

Misalkan kita tunjukkan seperti ini

= 0 = , 0 ( = 1)

=0

Semua peluang tak bersyarat bisa di hitung dengan pengaruh kejadian di awal kejadian.

= = = |0 =

=0

{0 = }

=

=0

Mempertimbangkan rantai markov dengan peluang transisi . Misalkan adalah kumpulan atau

himpunan kejadian dan andaikan kita berkepentingan dalam peluang rantai markov pernah mencatat

apa saja dari kejadian di dalam di waktu m. Dimana, untuk memberikan kejadian , kita

berkepentingan untuk menentukan

= ( untuk semua = 1, ,| = )

Untuk menentukkan terlebih dahulu peluang akan kita tetapkan rantai markov { , 0}kejadian yang

bukan kejadian dari ditambah dari tambahan kejadian, yang mana kita memanggil A dalam diskusi

umum . suatu kejadian {} rantai markov memasukkan kejadian A itu tetap disana selamanya.

Rantai markov baru adalah ditetapkan sebagai berikut. Misalkan menunjukkan kejadian di waktu

dari rantai markov dengan peluang transisi , , didefinisikan

= min { )

Dan misalkan = jika untuk semua . adalah waktu pertama rantai markov bagaian dari

himpunan kejadian . sekarang, didefinisikan

= , > ,

Jadi kejadian dari proses {} adalah sama untuk rantai markov sampai rantai markov asli

mencantumkan kejadian di . Dari sini dapat di deskripsikan , 0 adalah rantai markov dengan

kejadian , , A dan dengan peluang transisi , , diberikan

, = , , jika ,

, = , jika

, = 1

Karena rantai markov asli akan masuk dalam kejadian di dengan waktu jika dan hanya jika kejadian

di waktu dari rantai markov baru di , kita dapat lihat

( untuk semua = 1, ,| = )

= = = = = = = ,

Misalkan sekarang kita ingin menghitung peluang dari { , 0}rantai, dimulai dengan kejadian

, sampai kejadian di waktu tanpa perna mamasukkan suatu kejadian di , dimana tak ada atau

di dalam . bahwa ini, untuk , ,

= ( = , semua = 1, , 1| = )

Tidak ada kejadian = , , = 1, , 1 adalah persamaan untuk kejadian = , itu

untuk , ,

( = , semua = 1, , 1 = = ( = | = )

= = = = ,

Ketika tetapi kita bisa menentukkan peluang

= ( = , semua = 1, , 1| = )

Seperti terdapat

= ( = ,1 = , semua = 1, , 2| = )

= ( = | 1 = , semua = 1, , 2, = )

(1 = , semua = 1, , 2| = )

= ,( 1 = , semua = 1, , 2| = )

= ,,1

Juga, ketika kita bisa menentukkan

= ( = , semua = 1, , 1| = )

Dengan pengaruh kejadian di transisi pertama sampai mendapatkan

= ( = , , = 1, , 1| = ,1 = )(1 = | = )

= (1 = , , = 1, , 2| = ),

Untuk contoh, jika , jika persamaan hasil terdahulu

= , , = 1, , 1 = = ,1 ,

Kita biasa menghitung peluang bersyarat dari memberikan bahwa awal rantai di kejadian dan tidak

memiliki dalam suatu kejadian di di waktu , seperti terdapat.

Untuk , ,

= = , , = 1, ,

= = , , = 1, , =

, = 1, , = =

,

,

4. 3. Klasifikasi Bagian

Bagian dikatakan bisa diakses dari bagian jika > 0 untuk beberapa 0. Catatan bahwa ini

menyiratkan bahwa bagian dapat diakses dari bagian jika dan hanya jika, dimulai dengan , adalah

mungkin bahwa proses akan pernah memasuki bagian . Hal ini benar karena jika tidak dapat diakses

dari , maka

} = { =

=0

0 =

=

=0

|0 = }

=

=0

= 0

Dua bagian dan yang dapat diakses satu sama lain dikatakan berkomunikasi, dan

kita tuliskan .Perhatikan bahwa bagian apapun berkomunikasi dengan dirinya sendiri karena,

menurut definisi,

0 = 0 = 0 = = 1

Hubungan komunikasi memenuhi tiga sifat berikut:

(i) Bagian berkomunikasi dengan bagian , semua 0.

(ii) Jika bagian berkomunikasi dengan bagian , maka bagian berkomunikasi dengan bagian .

(iii) Jika bagian berkomunikasi dengan bagian , dan bagian berkomunikasi dengan bagian k, maka

bagian berkomunikasi dengan bagian k. Properti (i) dan (ii) mengikuti segera dari definisi komunikasi.

Untuk membuktikan (iii) anggaplah bahwa berkomunikasi dengan , dan berkomunikasi dengan k.

Dengan demikian, terdapat bilangan bulat n dan m sehingga > 0,

> 0. Dan sekarang dengan

Chapman-Kolmogorov, kita peroleh

+ =

> 0

=0

Anggaplah bahwa bagian i bersifat sementara. Oleh karena itu, setiap kali proses memasuki bagian i

akan ada kemungkinan positif, yaitu, 1 , sehingga prosesnya tidak akan pernah lagi masuk ke bagian

itu. Oleh karena itu, mulai bagian i, probabilitas bahwa proses akan berada dalam bagian i, misalnya n

kali pengulangan sama dengan 1(1 , 1). Dengan kata lain, jika bagian i bersifat sementara

kemudian, dimulai di bagian i, jumlah periode waktu bahwa proses akan berada dalam keadaan i

memiliki distribusi geometrik dengan mean terbatas adalah 1/(1 ).

Dapat dikatakan bahwa bagian i berulang jika dan hanya jika, dimulai di bagian bagian i, jumlah yang

diharapkan dari periode waktu bahwa proses adalah dalam keadaan i tak terbatas. Tapi, dengan

memisalkan

= 1, = 0,

kami memiliki =0 merupakan jumlah periode bahwa proses ini dalam keadaan i. juga,

|0 =

=0

= |0 =

=0

= = 0 =

0

=

=0

Kami telah demikian terbukti berikut ini. Proposisi 4.1 Bagian i berulang jika

=0

=

Sementara jika

=0

<

Dari sebelumnya kita peroleh, dengan menjumlahkan seluruh n, yang

++

=1

=

=1

Sejak

> 0

=1 tak terbatas karena bagian i berulang. Jadi, dengan Proposisi 4.1 berikut

bahwa j bagian juga berulang.

Remark.Untuk random berjalan satu dimensi pada contoh 4.18, dikatakan sebagai argument langsung

untuk membangun perulangan dalam kasus simetris, dan untuk menentukan probabilitas bahwa itu

pernah kembali ke bagian 0 dalam kasus tidak simetris. maka

= { 0}

Untuk menentukan , mulailah dengan pengkondisian pada transisi awal untuk memperoleh

= 0 1 = 1 + 0 1 = 1 (1 )

Untuk memperoleh persamaan , pada transisi berikutnya maka didapatkan

= 1 = 1,2 = 0 (1 ) + 1 = 1,2 = 2

= 1 + 1 = 1,2 = 2

= 1 + 2

Dan sekarang diperoleh p > . Dalam hal ini dapat bahwa P{pernah kembali ke 0|X1 = - 1}. Oleh karena

itu, persamaan (4.5) diperoleh

= + 1

Karena random berjalan merupakan transient dalam kasus ini kita ketahui bahwa < 1, ditunjukkan

bahwa 1. Oleh karena itu, = (1 - p) / p , diperoleh

= 2 1 , >1

2

Maka, ketika p < kita dapan menunjukkan bahwa = 2p.

= 2 min(, 1 )

Namun, Sn merupakan poisson dengan mean n, maka

= =

!

Oleh karena itu, untuk n besar

! (2)1/2

Atau ekivalen

! +1 2

Yang merupakan Pendekatan Stirling

4. 4. Limit Peluang

Keadaan i dikatakan memiliki periode d jika = 0 yang mana n tidak dapat dibagi oleh d, dan d adalah

bilangan bulat terbesar dari sifat ini. Sebagai contoh , dimulai pada keadaan i , bahwa proses hanya

mungkin masuk ke keadaan i hanya pada waktu 2,4,6,8,..., . dalam masalah ini periodenya adalah 2.

Sebuah keadaaan dengan periode 1 dikatakan aperiodik. Dapat ditunjukkan bahwa kecenderungan

waktu tertentu adalah sebuah sifat pengelompokan keadaan. Bahwa jika keadaan i memiliki perode d,

dan keadaan i dan j saling berhubungan (mempengaruhi ), maka keadaan j juga memiliki periode d.

Jika keadaan i berulang , maka dikatakan sebagai pengulangan positif jika dimulai pada keadaan i, waktu

yang diperkirakan sampai proses kembali pada keadaan i dalah terbatas. Dapat ditunjukkan bahwa

pengulangan positif adaalah sifat dari pengklasifikasian (pengelmokkan ) keadaan. Ketika terdapat

keadaan yang berulang yang bukan pengulangan positif *, dapat ditunjukkan bahwa dalam sebuah

rantai markov yang keadaannya terbatas semua keadaan ynag berulang adalah pengulangan positif.

Pengalangan positif, keadaan aperiodik disebut ergodik.

Teorema 4.1

Untuk sebuah rantai markov ergodik yang nilainya sangat kecil lim ada dan bebas terhdap i.

Sehingga diperoleh :

= lim

, 0,

Dimana merupakan solusi nonegatif tunggal dari

=

=0

, 0,

= 1

=0

Dalil 4.3

Misalkan , 1 merupakan sebuah rantai markov yang tidak dapat diperkecil lag dengan peluang

stasioner , 0 dan misalkan r adalah fungsi terbatas pada jeda keadaan maka dengan peluang 1 ,

lim

()=1

= ()

=0

Bukti

Jika kita misalkan () adalah waktu yang dihabiskan rantai markov pada keadaan selama periode

waktu 1,..., N, maka

()

=1

= ()()

=1

Karena ()/ hasilnya diperoleh dengan membagi yang sebelumnya dengan N dan kemudian

diperoleh .

Andaikan bahwa kita memperoleh sebuah hasil r(j) dimana rantai berada pada keadaan j, maka

dalil 4.3 bahwa jumlah dari pembagian setiap unit waktu adalah ()( )=1

4. 5. Beberapa aplikasi

4. 5. 1 Masalah kehancuran Penjudian

Jika kita misalkan Xn menunjukkan keberuntungan pemain pada waktu n, maka proses {Xn, n =

0, 1, 2,. . .} Adalah rantai Markov dengan probabilitas transisi

00 = = 1

,+1 = = 1 ,1 = 1, 2, , 1

Rantai Markov ini memiliki tiga kelas, yaitu, {0}, {1, 2,. . . , N -1}, dan {N}; pertama dan ketiga kelas yang

berulang dan kedua sementara. Karena bagian sementara dikunjungi hanya terbatas, maka bahwa,

setelah beberapa jumlah waktu yang terbatas, penjudi/penjudi baik akan mencapai tujuannya N atau

bangkrut.

Misalkaan Pi, i = 0, 1,. . . , N, menyatakan probabilitas bahwa dimulai dengan i, keberuntungan

penjudi/penjudi akhirnya akan mencapai N. Oleh pengkondisian pada hasil dari bermain awal permainan

kita memperoleh

= +1 + 1 = 1, 2, , 1

atau ekuivalen, karena + = 1

+ = +1 + 1

atau

+1 =

1, = 1, 2, , 1

Oleh karena itu, sejak P0 = 0, kita peroleh dari baris sebelumnya bahwa

2 1 =

1 0 =

1

3 2 =

2 1 =

2

1

1 =

1 2 =

1

1

4. 5. 2 Sebuah model untuk efisiensi algoritma

Berikut ini masalah optimasi disebut program linier:

Minimalkan cx

Subjek Ax = b,

x 0

dimana A adalah m n matriks konstanta tetap, c = (c1, . . . , cn) and b = (b1, . . . , bm) adala vector

gabungan tetap, dan x = (x1, . . . , xn) adalah n-vektor nilai-nilai non-negatif yang akan dipilih untuk

meminimalkan = =1 . Andaikan bahwa n> m, dapat ditunjukkan bahwa x optimal selalu dapat

memilih setidaknya n komponen m sama dengan 0 yaitu ia selalu dapat diambil untuk menjadi salah

satu yang disebut titik ekstrim dari wilayah kelayakan. Algoritma simpleks memecahkan program linier

ini dengan bergerak dari titik ekstrim dari wilayah kelayakan untuk lebih baik (dalam hal fungsi cx

tujuan) titik ekstrim (melalui operasi inden) sampai optimal tercapai.

Pertimbangkan rantai Markov yang P11 = 1 dan

Pij = 1

1 , j = 1, . . . , i 1, i > 1

dan misalkana Ti menunjukkan jumlah transisi yang diperlukan untuk pergi dari bagian i ke bagian 1.

Sebuah formula rekursif untuk E [Ti] dapat diperoleh dengan pengkondisian pada awal transisi:

= 1 +1

1

1

=1

Proporsi 4.4 1 , , 1 adalah bebas dan

= 1 =1 , 1 1

Corollary 4.5

(i) = 1/11 .

(ii) = (1/11 )(1 1/).

(iii) Untuk N besar, memiliki distribusi normal dengan mean dan log N dan variansi log N.

4.5.3 Menggunakan Jalan Acak Untuk Menganalisis Algoritma Peluang Dari Masalah Kepuasan.

Rantai markov memiliki daerah 0,1, ,

0,1 = 1 , ,+1 = , ,1 = = 1 1 <

dan misalkan kita tertarik untuk mempelajari waktu yang dibutuhkan untuk sebuah rantai bergerak dari

0 sampai . Salah satu pendekatan untuk mendapatkan waktu rata-rata untuk mencapai keadaan >

yang didefinisikan sebagai waktu rata-rata dari sampai ke- = 0, , 1. Jika kita kemudian

pada kondisi transisi awal, kita mengikuti dari persamaan:

0 = 1 +1

= waktu untuk keadaan |keadaan selanjutnya + 1

+ waktu untuk keadaan |keadaan selanjutnya 1

= 1 ++1 + 1 + 1

= 1 + +1 + 1 , = 1, , 1

Sedangkan persamaan sebelumnya dapat diselesaikan untuk , = 0, , 1, kita tidak mengejar

solusi mereka; kita malah memanfaatkan struktur khusus dari rantai Markov untuk mendapatkan

sebuah persamaan yang lebih sederhana . Kita juga dapat mengekspresikan 0, sebagai jumlah transisi

yang digunakan rantai untuk pergi dari keadaan 0 sampai keadaan , seperti

0, =

1

=0

Misalkan = kita peroleh, setelah pengkondisian pada transisi berikutnya setelah rantai

memasuki keadaan ,untuk = 1, , 1

= 1 + jumlah transisi tambahan untuk keadaan + 1|untuk rantai 1

= 1 + 1 +

Atau

=1

+

1 = 1, , 1

mulai dengan 0 = 1dan = / , kita peroleh dari pemanggilan sebelumnya bahwa

1 =1

+

2 =1

+

1

+ =

1

+

+ 2

3 =1

+

1

+

+ 2 =

1

+

+2

+ 3

Secara umum dapat dilihat bahwa

=1

1=0 +

= 1, , 1 (4.16)

Menggunakan persamaan (4.15), sekarang kita memperoleh

0, = 1 +1

1

=0

+ 1

=1

1

=1

Saat =1

2 dan = 1, kita melihat dari persamaan sebelumnya bahwa

0, = 1 + 1 + 1 = 2

Saat 1

2 , kita memperoleh

0, = 1 +1

1 1

1

=1

+

1

= 1 +1 +

1 1

1 +

1

= 1 +2+1 + 1 2 + 1

1 2

dimana persamaan kedua menggunakan fakta bahwa = 1 / (1 + ). Oleh karena itu, kita melihat

bahwa ketika > 1, atau ekuivalen ketika 1

2 , [0, ] adalah, untuk besar, pada dasarnya linier dalam .

Analisis kami juga membuat mengapa jelas kita mengasumsikan bahwa hanya ada dua variabel dalam

setiap klausa. Karena jika ada , > 2, variabel dalam klausul kemudian sebagai setiap klausul yang

tidak puas saat ini mungkin hanya memiliki satu pengaturan yang salah, sebuah variabel yang dipilih

secara acak yang nilainya berubah mungkin hanya meningkatkan jumlah nilai-nilai dalam perjanjian

dengan probabilitas 1 / dan jadi kami hanya bisa menyimpulkan dari sebelumnya Markov hasil rantai

kita bahwa waktu rata-rata untuk mendapatkan nilai-nilai di merupakan fungsi eksponensial dari ,

yang bukan merupakan algoritma yang efisien ketika adalah besar.

4. 6. Rataan Waktu Yang Dihabiskan Dalam Keadaan Transient

Perhatikan bahwa keadaan rantai Markov terbatas dan anggap bahwa keadaannya diberi nomor

sehingga = {1, 2, . . . , } merupakan himpunan dari keadaan transient. Misalkan

=

11 12 1. . . .. . . .1 2

dan perhatikan bahwa setelah hanya menentukan probabilitas transisi keadaan transient

ke keadaan transient, beberapa jumlah barisnya kurang dari 1 (sebaliknya, keadaan akan menjadi

kelas tertutup).

Untuk keadaan transient dan , misalkan menunjukkan jumlah yang diharapkan dari waktu periode

yaitu rantai Markov dalam keadaan , mengingat bahwa itu dimulai di keadaan . Misalkan , = 1

ketika = dan misalkan 0 lainnya. Keadaan pada transisi awal untuk mendapatkan

= , +

= , +

=1

dimana persamaan akhir berikut mustahil diperoleh untuk beralih dari rekuren ke suatu

kondisi transien, mengimplikasikan bahwa = 0 ketika k adalah keadaan berulang.

Misalkan menunjukkan matriks nilai-nilai , , = 1, . . . , . Artinya,

=

11 12 1. . . .. . . .1 2

Dalam notasi matriks, Persamaan (4.18) dapat ditulis sebagai berikut

= +

dimana adalah matriks identitas berukuran . Karena persamaan sebelumnya ekivalen

untuk

1 =

kita peroleh, setelah mengalikan kedua sisi dengan ( )1

= ( )1

Artinya, jumlah , , , dapat diperoleh dengan membalikkan matriks

. (Adanya kebalikan tersebut mudah dibentuk.)

Untuk , , jumlah , sama dengan probabilitas bahwa rantai Markov

pernah membuat transisi ke keadaan mengingat bahwa itu dimulai di keadaan , mudah

ditentukan dari . Untuk memastikan hubungan, mari kita mulai dengan menurunkan

sebuah persamaan untuk oleh pengkondisian keadaan yang pernah dimasukkan. Hal ini

menghasilkan

= [waktu di | mulai di , setelah transit ke ] + [waktu di | mulai di , tidak pernah transit

ke ]( )

= (, + ) + (1 ( )

= , +

= ,

Misalkan kita tertarik dalam waktu yang diharapkan sampai rantai Markov masuk

beberapa pasang kondisi , yang tidak perlu kondisi yang berulang. Kita bisa memperkecil

hal ini kembali pada situasi sebelumnya dengan membuat semua kondisi di keadaan baik . sehingga ,

reset probabilitas transisi dari kondisi-kondisi di untuk memenuhi

, = 1,

Hal ini mengubah dari keadaan ke keadaan yang berulang, dan mengubah setiap keadaan

di luar dari mana transisi akhirnya ke mungkin menjadi keadaan transien. Dengan demikian,

pendekatan sebelumnya dapat digunakan.

4. 7. Proses Percabangan

Berdasarkan sebuah populasi yang terdiri atas individu yang mampu menghasilkan keturunan yang baik.

Berdasarkan itu setiap individu sampai akhir hidupnya akan menghasilkan j keturunan baru dengan

peluang , 0, saling bebas dengan jumlah keturunan yang dihasilkan oleh individu lain. Dimisalkan

< 1 untuk setiap 0. Jumlah individu yang sekarang dinotasikan 0 yang disebut ukuran generasi

ke-0. Semua keturunan dari generasi ke-0 yang merupakan generasi pertama dinotasikan sebagai1.

Secara umum, dimisalkan adalah ukuran generasi ke-n maka { , = 0,1, } adalah rantai Markov

yang memiliki ruang bagian dari himpunan bilangan integer nonnegatif.

Misalkan rata-rata jumlah keturunan dari individu adalah

=

=0

Dan variansi dari jumlah keturunan yang diproduksi oleh individu adalah

2 = ( )2

=0

Misalkan 0 = 1 yang berasal dari 1 individu. Kita hitung [ ] dan () yang dapat dituliskan

=

1

=1

Dimana adalah jumlaj keturunan dari individu ke-I dari generasi ke (n-1). Dari 1 diperoleh

[ ] = [[ |1]]

= |1

1

=1

= 1

= 1

Dimana = . Karena 0 = 1 maka hasilnya

1 = ,

2 = 1 = 2 ,

= 1 =

Hampir sama untuk Var() dapat dirumuskan dengan rumus variansi bersyarat

() = ( |1) + ([ |1])

Diberikan 1 , adalah total penjumlahan dari 1 variabel acak saling bebas yang masing-masing

memiliki distribusi { , 0}. Maka,

|1 = 1, Var( |1) = 12

Maka rumus untuk variansi bersyarat adalah

() = 12 + (1)

= 21 + 2 1

= 21 + 2(22 + 2 2 )

= 2(1 + ) + 4 2

= 2(1 + ) + 4(23 + 2 3 )

= 2(1 + + +1) + 6 3

=

= 2(1 + + + 22) + 2 0

= 2(1 + + + 22)

Untuk itu

var = 21

1

1 ,

2 jika 1jika = 1

(4.19)

misalkan 0 sebagai peluang populasi akan punah (dengan asumsi 0 = 1). Selebihnya,

0 = lim

= 0 0 = 1

Pertama kita catat 0 = 1, jika < 1, maka

= = =

=0

1. =

=0

= 1

karena 0 = 1, maka 1 0 dan karenanya = 0 1

faktanya, kita masih dapat membuktikan 0 = 1 bahkan ketika = 1. Ketika < 1, itu membuat

0 < 1, dan persamaan menentukan 0 dapat berasal dengan bersyarat jumlah keturunan dari individu

awal, sebagai berikut:

0 = {populasi punah}

= populasi punah|1 =

=0

Sekarang diberikan 1 = , populasi akhirnya akan punah jika dan hanya jika tiap keluarga j dimulai dari

generasi pertama akhirnya punah. Karena setiap keluarga diasumsikan saling bebas, dan karena

peluang setiap keluarga tertentu meninggal adalah hanya 0, maka:

populasi punah|1 = = 0

Dan 0 memenuhi

0 = 0

=0 (4.20)

Faktanya ketika > 1, dapat dibuktikan bahwa 0 adalah bilangan positif terkecilyang memenuhi

persamaan (4.20)

4. 8. Waktu Keterbalikan Rantai marcov

Anggapan ergodic stasioner pada rantai Markov (yaitu, rantai Markov ergodic yang telah beroperasi

untuk waktu yang lama) yang memiliki probabilitas transisi Pij dan probabilitas stasioner i, dan

anggaplah bahwa mulai beberapa waktu kami menelusuri urutan keadaan akan mundur dalam waktu

tertentu. Artinya, mulai saat waktu n, dipertimbangkan urutan menyatakan Xn, Xn-1, Xn-2,..

Ternyata urutan kedaan ini sendiri merupakan rantai Markov dengan probabilitas transisi Qij yang

didefinisikan oleh:

= = +1 =

={ = ,+1 = }

+1 =

= = {+1 = | = }

+1 =

=

Untuk membuktikan bahwa proses kebalikan tersebut memang rantai Markov, kita harus memastikan

bahwa:

= +1 = ,+2,+3, = = {+1 = }

Dengan demikian, proses kebalikan rantai Markov dengan probabilitas transisi diberikan oleh:

=

Jika Qij = Pij untuk semua i, j, maka rantai Markov dikatakan waktu reversibel. kondisi waktu reversibilitas

yaitu Qij = Pij, juga dapat dinyatakan sebagai:

= untuk semua , (4.21)

Jika kita dapat menemukan nomor nonnegatif , menyimpulkan satu , yang memenuhi

persamaan(4.21),maka berikut bahwa rantai Markov adalah waktu reversibel dan menunjukkan peluang

terbatas . Hal ini jika:

= , , = 1 (4.22)

kemudian menjumlahkan hasil

= = ,

= 1

dan, karena probabilitas yang embatasi i adalah solusi unik dari sebelumnya, berikut bahwa

xi = i untuk semua i.

Kita dapat dengan mudah memperoleh probabilitas yang membatasi dengan menyamakan untuk setiap

keadaan = 0, 1, . . . , 1 tingkat di mana proses berjalan dari i ke i + 1 dengan tingkat di yang pergi

dari i + 1 untuk i. Hasilnya :

00 = 1 1 1 ,

11 = 2 1 2 ,

.

.

= +1 1 +1 , = 0,1, , 1

Pemecahan dalam hal hasil 0

1 =0

1 10

1 =0

1 10 =

10 1 2 1 1

0

Dan secara umum :

=1 0

1 2 1 1 0, = 1,2, ,

Maka = 1,0 kita hasilkan

0 = 1 + 1 0

1 2 1 1

=1

= 1

Atau

0 = 1 + 1 0

1 2 1 1

=1

1

Dan

=1 0

1 1 1 0, = 1, ,

Jika ,

0 = 1 +

1

=1

1

=1

1 +1

Dan secara umum

= 1

1 +1, = 0,1, ,

Dimana

=

1

Persamaan reversibilitas Waktu:

=

=

atau sama, karena wij = wji

=

Yang ekivalen dengan

=

Atau

=

Atau , jika 1 =

=

is yang diberikan oleh persamaan ini memenuhi persamaan waktu reversibilitas. Jika kita mencoba

untuk memecahkan Persamaan (4.22) untuk rantai Markov acak dengan keadaan-keadaan 0, 1,. . . , M,

maka biasanya ternyata bahwa tidak ada solusi. Sebagai contoh, dari Persamaan (4.22)

=

=

(Jika > 0) maka:

=

Secara umum tidak sama dengan / . Jadi, kita perlu melihat kondisi untuk waktu keterbalikan,

yaitu :

= , ,

Yang eqiuvalen dengan pernyataan bahwa, dimulai dari keadaan I, titik memiliki peluang

yang sama keterbalikan titik untuk lebih mengerti kebutuhan itu. Catatn bahwa waktu

keterbalikan menyiratkan laju urutan dari transisi dari ke ke ke kejadiannya harus sama dengan

laju dari . dan kita harus memiliki :

=

Pada persamaan (4.25) ketika > 0

4. 9. Rantai Markov Metode Monte Karlo

adalah vektor acak diskrit yang merupakan himpunan dari nilai yang mungkin adalah

, 1. pmf dari diberikan oleh = , 1, dan andaikan kita tertarik dalam

memperhitungkan

= = { = }

=1

Untuk suatu fungsi spesifik . Dalam situasi dimana perhitungannya sulit untuk menilai fungsi

, 1, kita sering membalik untuk simulasi perkiraan . Pendekatan/ perkiraan ini, disebut

simulasi Monte Carlo, ini digunakan untuk jumlah acak untuk membangkitkan barisan parsial dari

independen dan distribusi identik vektor acak 1,2, , diberikan pmf = , 1 (lihat Bab 11

untuk mendiskusikan bagaimana ini dapat diselesaikan). Sejak dalil kuat dari jumlah yang besar

menghasilkan

lim ()

= =1

Ini mengikuti bahwa kita dapat memperkirakan dengan memisalkan menjadi besar dan

menggunakan rata-rata nilai dari , = 1, , sebagai estimator.

Algoritma Hastings-Metropolish, dapat digunakan untuk membangkitkan waktu yang dapat dibalik

rantai Markov yang peluang tetap adalah

=

, = 1,2,

Untjk memulai, misal menjadi setiap Markov spesifik tak dapat diperkecil transisi peluang matriks

dalam integer, dengan , menunjukkan baris kolom elemen dari . Sekarang misalkan rantai

Markov { , 0}. Ketika = , pembangkit variabel acak sedemikian = = , , =

1,2, Jika = , maka himpunan +1 senilai dengan pelung (, ), dan himpunan ini senilai dengan

dengan peluang 1 (, ). Dibawa kondisi ini, mudah untuk melihat bahwa barisan dari keadaan rantai

Markov dengan transisi peluang ,

, = , , ,

, = , + , 1 ,

Rantai Markov ini dapat dibalik dan mempunyai peluang tetap () jika

, = ,

Senilai

, , = , , (4.31)

Tapi jika kita mengambil = ()/ dan himpunan

, = min ,

, , 1 4.32

Equasion (4.31) itu mudah diliat memuaskan. Jika

, = ,

,

Maka , = 1 dan mengikuti persamaan (4.31), dan jika , = 1 maka

, = ,

,

Dan lagi persamaan (4.31) memperoleh, menunjukkan bahwa rantai Marcov adalah waktu yang dapat

dibalik dengan peluang tetap . Juga, sejak = ()/, kita liat dari (4.32) bahwa

, = min ,

, , 1

Dengan menunjukkan bahwa nilai dari tidak diperlukan untuk menegaskan rantai Marcov, karena nilai

mencukupi. Juga, kasus ini sering bahwa , 1 tidak hanya menjadi peluang tetap tapi akan

selalu menjadi peluang limit.

4. 10. Proses Keputusan Markov

Dimisalkan sebuah proses yang diamati pada titik waktu diskrit berada di salah satu dari M menyatakan

mungkin,yang diberi nomor 1,2,.M.Setelah mengamati keadaan proses, suatu tindakan harus dipilih,

dan kita membiarkan A, diasumsikan terbatas, menyatakan mengatur semua tindakan yang mungkin.

Jika proses ini dalam keadaan i pada waktu dan tindakan a yang dipilih, maka negara berikutnya dari

sistem ditentukan sesuai dengan probabilitas transisi .Jika kita biarkan menunjukkan keadaan

proses pada waktu dan tindakan yang dipilih pada saat , maka sebelumnya setara dengan

menyatakan bahwa

+1 = 0.0,1,1,, = , = = ()

Dengan demikian, probabilitas transisi adalah fungsi hanya dari kondisi sekarang dan tindakan

selanjutnya.Dengan sebuah kebijakan, kita mengartikan aturan untuk memilih tindakan. Kita akan

membatasi diri kebijakan yang bentuk bahwa tindakan mereka meresepkan setiap saat hanya

bergantung pada keadaan proses pada waktu itu (dan bukan pada informasi tentang negara sebelum

dan tindakan). Namun, kami akan membiarkan kebijakan untuk "acak" dalam instruksi tersebut

mungkin memilih tindakan sesuai untuk distribusi probabilitas. Dengan kata lain, kebijakan adalah

seperangkat angka = { (), , = 1, . . . ,} dengan penafsiran bahwa jika proses ini di

negara , maka tindakan yang harus dipilih dengan probabilitas (). Tentu saja, kita perlu memiliki

0 1 untuk semua ,

= 1 untuk semua

Dalam setiap kebijakan yang diberikan, urutan negara { , = 0, 1, . . . } Merupakan

sebuah rantai Markov dengan probabilitas transisi () yang diberikan oleh

= +1 = =

= ()

dimana kesamaan yang terakhir mengikuti dengan mengkondisikan pada tindakan yang dipilih ketika di

negara . kita andaikan bahwa untuk setiap pilihan dari kebijakan , resultan Markov

rantai { , = 0, 1, . . . } Adalah ergodic. Untuk setiap kebijakan , dinyatakan membatasi (atau

steady-state) probabilitas bahwa proses akan berada dalam keadaan dan tindakan yang akan dipilih

jika kebijakan digunakan. Artinya,

= lim ( = , = )

Vector = harus memenuhi

(i) 0 untuk semua ,

(ii) = 1

(iii) = untuk semua .(4.33)

Jadi untuk setiap kebijakan , ada vektor = ( ) yang memenuhi (i) - (iii) dan dengan penafsiran bahwa

ia sama dengan probabilitas steady-state berada di negara i dan memilih tindakan ketika kebijakan

ini digunakan. Selain itu, ternyata bahwa sebaliknya ini juga berlaku. Yaitu, untuk setiap vektor = ( )

yang memenuhi (i) - (iii), ada terdapat kebijakan sehingga jika digunakan, maka probabilitas steady-

state menjadi i dan memilih tindakan yang sama ia. Untuk memverifikasi pernyataan terakhir ini,

misalkan = ( ) adalah vektor yang memenuhi (i) - (iii). Kemudian, biarkan = kebijakan ( ())

menjadi

= { | }

=

Sekarang kita andaikan menyatakan probabilitas yang membatasi berada di dan memilih ketika

Kebijakan digunakan. Kita perlu menunjukkan bahwa = .Untuk melakukannya, catatan

pertama { , = 1, . . . ,, } adalah probabilitas membatasi dari dimensi dua Markov chain

{( ,), 0}. Oleh karena itu, oleh Teorema dasar 4.1, semuanya adalah solusi khusus dari

(i) 0 untuk semua ,

(ii) = 1

(iii) = ()

di mana (iii)

+1 = ,+1 = = , = = () ()

Karena

()= =

kita melihat bahwa ( ) adalah solusi khusus dari

0

= 1

= ()

Oleh karena itu, untuk menunjukkan bahwa = , kita perlu menunjukkan bahwa

0

= 1

= ()

Atas dua persamaan mengikuti dari (i) dan (ii) dari Persamaan (4,33), dan yang ketiga,

yang setara dengan

= ()

berikut dari kondisi (iii) Persamaan (4.33). Dengan demikian kita telah menunjukkan bahwa suatu vektor

= ( ) akan memenuhi (i), (ii), dan (iii) dari Persamaan (4.33) jika dan hanya jika ada kebijakan

sehingga sama dengan probabilitas steady-state berada di negara i dan memilih tindakan ketika

digunakan. Bahkan, kebijakan didefinisikan oleh () = /

Sebelumnya cukup penting dalam penentuan kebijakan "optimal". Misalnya, bahwa reward (,)

diperoleh setiap kali tindakan yang dipilih di negara i. Karena ( ,) maka akan mewakili imbalan

yang diperoleh pada waktu , yang diharapkan imbalan rata-rata per unit waktu di bawah kebijakan

dapat dinyatakan sebagai

Perkiraan imbalan rata-rata di bawah = lim [ ( , )=1

]

Sekarang, jika ia menunjukkan probabilitas steady-state berada dalam negara i dan memilih

tindakan a, itu berikut bahwa diharapkan imbalan membatasi pada waktu n yang sama

yang menunjukan bahwa

lim

, =

(,)

Perkiraan imbalan rata-rata di bawah = (,)

Oleh karena itu, masalah penentuan kebijakan yang memaksimalkan perkiraan rata-rata

imbalan adalah

Memaksimalkan ,

= ( )

Subject 0

= 1

= () untuk semua j

akan tetapi, sebelumnya masalah mamaksimalkan adalah kasus khusus dari apa yang dikenal sebagai

program linier dan dapat diselesaikan dengan algoritma pemrograman linear standar dikenal sebagai

algoritma simpleks. * Jika = ()memaksimalkan sebelumnya, maka kebijakan yang optimal akan

diberikan oleh dimana

=

4. 11. Hidden Markov Chains

Misalkan { , = 1,2 } adalah rantai Markov dengan probabilitas transisi , dan keadaan

probabilitas awal = 1 = , 0. Misalkan ada sebuah himpunan berhingga dari sinyal-sinyal,

dan sebuah sinyal dari dipancarkan setiap kali rantai Markov memasuki keadaannya Selanjutnya,

anggaplah bahwa ketika rantai Markov memasuki pada lalu, secara independent dari keadaan rantai

Markov sebelumnya dan sinyal-sinyal, sinyal yang dipancarkan adalah dengan probabilitas

, = 1 . Artinya, jika Sn menunjukkan sinyal nth dipancarkan, maka...

1 = 1 = = ,

= |1,1 , ,1, 1, = = (|)

Sebuah model dari tipe sebelumnya di mana urutan sinyal 1, 2 ,diamati, sementara itu urutan yang

dasari keadaan rantai Markov 1,2, adalah tidak teramati, disebut sebuah model hidden rantai

Markov....

Untuk mendapatkan probabilitas ini, misalkan

= { = , = }

dan perhatikan bahwa

= = =

{ = , = }

{ = }

=

sekarang

= {1 = 1, = , = }

= {1 = 1,1 = , = , = }

= 1

= , = 1 = 1,1 =

= 1

= , = ,1 =

= 1 ,(

|)

= ( |) 1 , (4.35)

dimana sebelumnya menggunakan

= , = ,1 =

= { = |1 = } x { = | = ,1 = }

= ,{ = | = }

= ,( |)

Dimulai dengan

1 = 1 = , 1 = 1 = (1|)

kita dapat menggunakan Persamaan (4.35) untuk rekursif determinan fungsi 2 (),3 (), . . ., sampai

()

Untuk menghitung { = }, gunakan identitas = = () bersama dengan

Persamaan (4.35). Jika ada keadaan dari rantai Markov, ini membutuhkan perhitungan jumlah

(), dengan masing-masing perhitungan yang membutuhkan penjumlahan atas hal . Hal ini dapat

dibandingkan dengan perhitungan { = }, syarat pada n pertama keadaan rantai Markov untuk

mendapatkan

= = = 1 = 1, , = , 1 = 1, , =

1 ,,

= (1|1 ,

1) 11,22, 1,

Sebuah formula rekursif untuk () dapat diperoleh dengan syarat pada Xk +1

= +1 = +1, , = = ,+1 = +1 = =

= +1 = +1, , = +1 = ,

= +1 = +1 +1 = {+2 = +2, , = |+1 = +1,+1 = }

,

= +1 {+2 = +2 , , = |+1 = }

,

= +1

+1(),

Dimulai dengan

1 = = 1 =

= ,( |)

kita kemudian akan menggunakan Persamaan (4.36) untuk menentukan fungsi 2 , maka 3 ,

dan seterusnya, sampai ke 1 (). Hal ini kemudian akan menghasilkan P { = } melalui

= = {1 = 1, , = |1 = }

= 1 = 1 1 = 2 = 2, , = 1 = 1,1 =

= 1 {2 = 2, , = |1 = }

= 1

1 ()

Pendekatan lain untuk mendapatkan = adalah untuk menggabungkan kedua maju dan

pendekatan mundur. Misalkan untuk beberapa kita telah hitung kedua fungsi dan (). Karena

= , = = = , = +1 = +1, , =

= , =

= ()

Dapat kita lihat bahwa

= = ()

Keindahan menggunakan identitas sebelumnya untuk menentukan = adalah bahwa kita dapat

secara bersamaan menghitung urutan dari fungsi lanjutan, dimulai dengan F1, serta urutan dari fungsi

mundur, mulai at Bn-1. Perhitungan paralel kemudian dapat dihentikan setelah dihitung baik Fk dan Bk

untuk beberapa k.

4.11.1 Memprediksi Keadaan

Misalkan sinyal pertama diamati adalah = (1, , ), dan diberikan data ini kita ingin memprediksi

keadaan pertama dari rantai Markov. Prediktor terbaik tergantung pada apa yang kita capai. Jika

tujuan kami adalah untuk memaksimalkan jumlah yang diharapkan dari keadaan-keadaan yang

diprediksi dengan benar, maka untuk setiap k = 1, ..., n kita perlu menghitung P {Xk = j | Sn = sn} dan

kemudian memisalkan nilai j yang memaksimalkan kuantitas ini menjadi prediktor Xk. (Artinya, kita

mengambil modus dari fungsi massa probabilitas bersyarat dari Xk, mengingat urutan sinyal, sebagai

prediktor Xk.) Untuk melakukannya, pertama kita harus menghitung fungsi massa probabilitas bersyarat

ini, yang dilakukan sebagai berikut. Untuk ,

= = =

{ = , = }

{ = }

= ()

()

Dengan demikian, mengingat bahwa = , prediktor optimal dari Xk adalah nilai j yang

memaksimalkan . Misalkan Xk = (X1, ..., Xk) menjadi vektor dari keadaan k pertama,

masalahnya adalah untuk menemukan urutan keadaan 1, , yang memaksimalkan { =

(1, , )| = }. Karena

= 1, , = =

{ = 1, , , = }

{ = }

ini setara dengan menemukan urutan dari keadaan 1, , yang { = 1, , , = }.

Untuk mengatasi masalah sebelumnya misalkan , untuk ,

= max1 ,,1

{1 = 1, , 1 , = , = }

Untuk memecahkan rekursif , menggunakan

= max

max1 ,,2

{2 = 1, , 2 1 = , = , = }

= max

max1 ,,2

2 = 1, , 2 1 = , 1 = 1, = , =

= ( |) max, 1()

Dimulai dengan

1 = 1 = , 1 = 1 = (1|)

sekarang kita menggunakan identitas rekursif (4,37) ke determine 2 untuk setiap j; maka 3 untuk

setiap j; dan seterusnya, sampai dengan untuk setiap j. Untuk mendapatkan urutan

memaksimalkan keadaan, kami bekerja di arah sebaliknya. Misalkan menjadi nilai (atau nilai-nilai jika

ada lebih dari satu) dari j yang memaksimalkan Vn (j). Jadi jn adalah keadaan akhir dari urutan negara

memaksimalkan. Juga, untuk k