پشط دسع آؿا تا رثش خغ

Sharif University of Technology

79-79تشم دم ػال تحصل

، فشداد پساى )ؿاب(حؼي وشو

79992173 ،79991647

f_pouranme@yahoo.com , shahabkarimi00@yahoo.com

9هذسع 8 هخن هذ

1 http://mehr.sharif.ir/~madani/

زنجیره مارکوف : انواع و کاربردها

با رویکرد ماتریسی

چىذ

دس ػالن تشى، هاوـ دسگش فشآذا ؼتن و دس عل صهاى ت صست احتوال دس حالت تغش ه

خا ارتواػ تاؿذ. حال حالت سا فشض وذ و تاؿذ. خا اي فشآذ ه فشآذ صؼت، خا فضى

ػؼتن دس حال تغش اػت ضؼت ش حالت تا تاتؼ اص حالت لثل ه تاؿذ.ؼ تا دس دػت داؿتي

احتوال لع سخذاد دس ش حالت، ه تاى دس هسد احتوال لع آى سخذاد دس حالت تؼذ اظاس ظش

شآذ ا هاسوف اعالق ه ؿد.وشد.ت اي گ فشآذ ا،ف

دس اي همال فشاذ هاسوف تا تى تش تثي لضم اػتفاد اص صتاى هاتشغ، تا عشح سض اتتذا ت اػغ

اتضاس تشوثات تا تر ت ؿد گشاف ػپغ رثش وشدى گشاف، فضا فشآذ ا هاسوف سا تحت

.غ دس ه آسنػاى صزش هاسوف ت هذل ا رثش خ

همذه

اتتذا تا عشح چذ هؼال ػال هلوع، لضم عشح فغ ػاخت صزش هاسوف سا هحؼع ه ون

دس اتا پاػخ اي هؼائل اد ؿذ سا اسائ ه دن.

ه خاذ دس تاس احتوال فاسؽ التحصل ؿذى گش ا اص ه داـىذ ػلم ارتواػ 98هؼال

داـزاؾ اعالػات تذػت آسد.اي داـىذ تشحؼة اهتاصات و داـزاى تذػت آسد اذ، آاى سا

ت ػاى دسر ه دسر د ه ؿاػذ.داد ا اي داـىذ هثي آى اػت و اص ه تشم پاض تا

% اص آاى ت ػاى داـز دسر 19% اص داتـزاى دسر د فاسؽ التحصل ؿذ ،29تؼذ تشم پاض

% ت عس دائن تشن تحصل ه وذ.دس هسد داـزاى دسر ه تحممات ـاى ه 19د تال هاذ

% 09، % دسصذ داـز دسر ه ه ؿذ39% تا پاض آذ فاسؽ التحصل ه ؿذ 99دذ و

% اص داـزاى 39% ت عس دائن تشن تحصل ه وذ. ع ػال راس،09دسر ه تال ه هاذ

داـگا ه خاذ % دسر د.فشض ه ون و اي سذ ت عس اهؼي اداه اتذ.39دسر ه ؼتذ

اعالػات صش سا تذػت آسد.

سق التحصل ه ؿذ،دسصذ و تا ػال آذ داـز دسصذ داـزاى فؼل و تا پاض آذ فا-9

دسر د ه ؿذ، دسصذ و تا ػال آذ دسر ه تال ه هاذ، دسصذ اص داـزاى و تا پاض

آذ تشن تحصل ه وذ.

تشا پاض د ػال تؼذ. 9واى دسصذ ا لؼوت -0

حصل ه ؿذ.دسصذ داـزاى فؼل و اتا فاسؽ الت-1

8 صفات اسث سػذ ت فشصذ تػظ ه رفت طى تؼي ه ؿد و اص الذي ت اسث ه 0هؼال

واذ صفت gوااگش صفت غالة Gـاى داد ه ؿذ. طى G gسػذ.اي طى ا دع اذ و تا

gg دس ه فشصذ تا ع ساحت صفت غالة تشص ه وذ GGا Ggهغلب. دس ه فشصذ تا ع ساحت

صاحة فشصذ تا Ggصفت هغلب تشص ه وذ.ه خان تثن و احتوال آى پذس تا ع ساحت

ذس اػت؟ ش ه اص ااع ساحت ه ؿد چم

فشض وذ روؼت هسد ظش ت اذاص واف تضسي تد، رفت گش ؼثت ت ع ساحت تصادف، تصغ

ش ه اص ااع ساحت دس هاى روؼت اص رغ عل ػوش هسد اتظاس هؼتمل تاؿذ.

(Markov) آذس هاسوفصذگ گا تش .9

دس ػال همغغ دوتشا تاهالد ، تحصالت آواده خد سا 97، داـوذ سػ لشى آذس هاسوف

ظش اػذاد آالض ، تاى ت اؽ ه واسا اتتذااص پغشصتسي ت پااى سػاذ. دس داـگا ػت 9656

اؿاس وشد.ا ظش تمشة وگشا ػش

واسا هالد تحت تأحش اػتاد خد ، چثـف ، ت پـثشد ظش احتواالت پشداخت. 9799ا اص ػال

ازاهذ. لض حذ هشوض ا تشا ت احثات ال هاسوف چثـف

ت وي هثحج هـس اػت. ا تـتشتد و صزشا هاسوفاها واسا اػاػ ا وي

هذ تد پشاهى ػاختاسا ؿؼش هغالؼات ازام داد رالة اػت تذاذ و هاسوف ت ؿؼش ػالل

ام خدؽ داؿت و سا پذس سا اداه داد. تش اي اػت و هاسوف پؼش ن اػت. اها رالة

پغشصتسي دذ اص راى فشتؼت. دس ػت 9700 تؼتن رال ػشازام هاسوف دس ػال

8)تاى احتواالت( هفم صزش هاسوف .0

ا لع هختلف داسن. اگش احتوال ا اص حاالت تا احتوال فشض وذ ه فشآذ تصادف ؿاهل دثال

اهن. هاسوف ه صزشؾ تاؿذ ، آى دثال سا اتؼت ت حالت پـ فقطلع ش ه اص اي حاالت

خان داؿت 8 ساضظش احتواالت ت صتاى

دس اختاس داسن. اي هؼتمل ا اص هتغشا تصادف ذ دثال8 فشض و صزش هاسوف تؼشف

8 تشلشاس تاؿذ دثال سا صزش هاسوف گذ شگا اي ظگ تشا ش

( | = ( |

ا اص هزوػ وذ ؼت اتا ؿواسا داللت ها گؼ اي تؼشف واغس و پذاػت ، تش حالت

ؼتذ. ا فضا وؿواسا

سا حالت هؼوال دس اي تؼشف ت صهاى اعالق هـد ؛ ت اي تشتة و ش ه اس حاالت

دگش سا عل ا ش احذ فضى تاى تش حؼة واستشد احذ ها هگذ. ا kضؼت ػؼتن دس صهاى

ون. اػتفاد ه صهاىدس اي همال ها هؼادال اص ؼثت دن.

دس صهاى ت دس صهاى احتوال سد اص ضؼت ؼن ه ) ػثاست فق سا ت صست

خان . ه

هزوػ همادش هتغشا تصادف اػت 8 و وذ دس ؿشاظ صش صذق ه )

(

∑ (

∑ صشا ( تشاتش اػت تا 8

∑ (

∑ ( |

∑ (

(

∑ (

(

∑ ( (

( ∑ (

صهاى وگي تاؿذ ، خان داؿت 8 ؼثت تصزش هاسوف ، حال اگش

( | ( |

ا | ) | )

تشاتش احتوال اي تغش ضؼت دس صهاى ت صهاى ش دس ؼ احتوال سد اص ضؼت

اػت. 0ت صهاى 9اص صهاى

ؿد هگش خالفؾ روش ؿد. صزشا وگي تشسػ هاي همال دس دلت وذ و

تغش حالت اص ؿد ؛ تاتشاي ها ا تشسػ ه ا چذ هشحل اها اػاػا صزش هاسوف دس تغش حالت

تؼشف هىن 8تا اي واد سا صها هشحل ع ت ضؼت ضؼت

( ( |

| ) ) ون 8 و دس صزشا و ها تشسػ ه

تاى دذ 8 ت ػادگ هتض تا اػتفاد اص لاى ن چي

(

( | (

( (

تاتشاي تا اداه اي سذ ه تاى ت اػتمشا حاتت وشد 8

( ( ( ( (

ا استثاط والع .1

والع استثاط ػثاست اػت اص هزوػ ا اص حاالت و احتوال سد فشآذ ت آى حالت رد داسد

ا و تا y، هتـىل اص و X تواه آى حاالت تا ن هشتثظ اذ وچي والع استثاط

دس استثاط اذ. Xحالت

دس هتا هشحل ت ت آى هؼاػت و حشوت اص ت تاى فشهال ه ؼن

8 هخثت nتشا ش .دس استثاط اػت ات هوىي اػت ا ت ػثاست دگش

⟺ ( | ⟺ ∑ ( |

. ه ؼن دلت وذ و اگش داؿت تاؿن8

ت صست صش ؿت ه ؿد8 والع استثاط

( |

| ) هماتل اػت 8 و ف الالغ ن اسص گضاس

والع ا تاص تؼت8

ت والع استثاع و اهىاى تشن وشدى رد داؿت تاؿذ والع تاص گفت ه ؿد. ت ػثاست دگش، رد

. ا خاسد والع ت عسى ا ػض والع داؿت تاؿذ

آى ذ هتغش تا حالت اد ؿذ رد ذاؿت تاؿذ والع تؼت اعالق ه ؿذ.والع و دس

صزش هاسوف گا تشوثات .2

تا تر ت تشداؿت ها اص فشآذ ا هاسوف، اص وچي فشاذ ا تشه آذ و ه پشػ صها )ا

گا و ش وذام اص ػاصش حاالت، ى اص هىا( دس هحغ هاذ هزوػ دس رشاى اػت. تا اي گا

اػضا هزوػ اذ. تاتشي اگش هزوػ ها ه والع استثاط تاؿذ، تواه حاالت، لاتلت تغش ضؼت

ت ن سا داسذ تا وي تر فشآذ ا هاسوف تاص تؼت، ت تشتة رشاى ا تصادف دس ه

ؿذ. ها دس اي تخؾ دس پ آن و تا ؿد تخـذى ت اػغ اتضاس لذستوذ والع استثاط تاص تؼت ه تا

تشوث گشاف، فشآذ ا اتضاػ هاسوف سا هثذل ت ود گشاف ون.لذم ال ػاخت ه گشاف تشا

ش هضع، تثي تؼثش سئع ال ا آى گشاف اػت. تا تر ت اي هضع، ضؼت و ش ػض

ػ سا، ت ساع گشاف ؼثت ه دن هؼش تغش حالت سا ت ال رت داس. تا اي تر و احتوال هزو

تغش ضؼت آى ػض سا، س ال گشاف ه ؼن. تشا هحؼع وشدى هضع، فشض وذ ه

ػض هرد اػت و اػضا آى تصادفا دس حال تغش ضؼت ت راگا ا 3هزوػ

شذ.اي هزوػ سا ت اي صست واؾ ه دن8ىذگ

حال دس پ آن و تغشات ضؼت اواى سا تا هفان احتوال هن. اي گشاف سا ه گشاف ضؼت ه ا

وؼاى ػاص ون.

اص آزا و فضا سخذاد حالت فؼل فضا سخذاد حالت تؼذ، هؼتمل اص ىذگشذ، هغاتك ػثاست8

( | ( ( ( (

تاتشي تشا اتمال ضؼت اص حالت ت حالت دگش احتواالت حاالت تي اي هؼش دس ن ضشب ه ؿد.

تاى گشاف اي هغلة اي اػت و اگش اص ساع ال تا ػثس اص ه ال ت ساع دم)ا خد واى ساع(

س آى ازام ؿذ اػت. حال اگش ش ال دگش سا تشا تشن، تؼثشؽ اي اػت و اي اتمال تا احتوال

حشوت اتخاب ون دس الغ ت ساع ػم تشن، ه تان اػتتاد ون و احتوال اتمال ضؼت اص

ساع ال ت ساع ػم تشاتش تا ضشب احتوال ا هرد تش س ال تي ساع ال دم، ال تي ساع

وذ و ش ػ ساع هزوس ه تاذ تش ه ساع اعالق ؿد و دس اي صست، دم ػم اػت. تر

هؼا د تاس گزس ت خد آى ساع، احتوال تغش ضؼت ذادى اي حالت دس د هشحل اػت8

(

( ( ( ( (

(

( ( (

( ( (

تر دگش آى اػت و، ػذم رد ش هؼش ت هؼا آى اػت و احتوال تغش ضؼت تي ىت هسد

اي د، تشاتش تا صفش اػت.

ه تان والع ا استثاط سا ض اگ تؼثش ون و وداس گشاف اػت و تي تواه ساع ا آى،

ش سفت ه هؼش تشگـت رد داسد.ه هؼ

ىت هغشح ه ون و تمشثا ؿدا اضح اػت8 دس رل د

8 حاصلزوغ احتوال ال ا خشر اص ش ساع، واس تشاتش ه اػت.ىت

اػت. واغس و روش ؿذ ش ساع گشاف، تاگش ه حالت ضشة ؼثت تصغى اص ىات لاتل تر

ؼثت αحالت اػت. ه تاى ت ش حالت ه ضشة ؼثت تصغ Nداسا Nاػت.حال گشاف تا هشتث

∑داد ت عسى فضا تاؿذ. اي تاگش آى اػت و ش حالت چ ؼثت)ا چ دسصذ( اص

وشد اػت. ا ت ػثاس اخش چذ دسصذ اص فضا و فؼال دس اي حالت لشاس رزب فؼال ها سا و

دس ش هشحل دلخا،ضشة وذ، ت صزش هاسوف آى اػت و اػالمن تشي سػالداسذ. ف الالغ ه

ؼثت تصغ فضا و دس حاالت هختلف چگ اػت.

حال ها ه خان تشسػ ون و تا داؿتي ؼثت تصغ فؼل، چگ ه تاى اي ضشاة سا دس هشحل

تؼذ تذػت آسد.

هاسوف8-ؿابلض ال گشاف -

گشاف ضؼت اػتاذاسداتتذا اي گشاف سا ت ه هرد اػت. nفشض وذ و گشاف ضؼت تا هشتث

تثذل ه ون. ؼ اص ش ساع ت ش ساع هؼش ت عل ه رد داؿت تاؿذ، شچذ تا احتوال صفش.

دس الغ آى تغش ضؼت ا اهوىي سا تا ال هتضوي احتوال صفش ـاى ه دن. فشض ه ون

n، ان، ت اصا ش ساعاص آزا و گشاف سا اػتاذاسد وشد تاؿذ. ... ضشاة فؼل تصغ،

ال داخل ؿذ ت آى ساع رد داسد و ش وذام هشتط ت ى اص سئع اػت. تر وذ و ى اص ال

حال احتوال پػت ؿذ ت ال ن ؼت. اص واى ساع ، ال خاسد ؿذ ت ساع ا داخل ؿذ

سا ضشاة ... اگش ـاى ه دن. ) سا تا داخل ؿذ ت ساع خاسد ؿذ اص ساع

ؼثت تصغ دس هشحل تؼذ دس ظش تگشن داسن8

∑ (

ىسؽ تذػت آسد -هاسوف هػم اػت_و ت لض ال گشاف ؿاب-دس الغ ساتغ فق

ؼثت تصغ هشحل تؼذ، تا داؿتي ضشاة ؼثت تصغ هشحل فؼل سا ـاى ه دذ. ؼ دس ضشاة

احثات اي هغلة ه اػت. ام تشاتش تا iهشحل تؼذ دسصذ ا ؼثت رد فضا و دس حالت

تر تشوثات ػاد داسد و اص تحج اي همال خاسد اػت.

-دس لض دم گشاف ؿاب داسن وحذ گشاف ا ت ات، اص ت حال تشا تشسػ اي ضشاة دس

اي همال اػت. اها دس تخؾ تؼذ تا تاى حذ هاسوف هغشح ه ؿد. اها تثي اي تحج خاسد اص هضع

هاتشؼ دس تشداؿت هاتشؼ صزش هاسوف، ت اي ػال پاػخ خان داد.

صزش هاسوف تشداؿت هاتشؼ .3

هكاتك دستر سیز ارای کین : Pفزؼ کیذ هاتزیس

(

احتوال تغییز وچیي ضت ضذ است ت حالت ک تزاتز است تا احتوالی ک ری یال رساذ حالت

. ت حالت حالت سیستن اس حالت

گیذ. ( هی ...احتوال ، اتمال یا ) تػادفی چیي هاتزیسی ، یک هاتزیس ت ایي

حالت ای هوکي کین : در الغ در ایحا ها ایگ ت هاتزیس گا هی

[

ای هوکي حالت [

( را سوت راست ای همػذ ) یسین حالت ( را تاالی هاتزیس هی ای هثذأ ) یؼی گیی حالت

را همذار ، یؼی خا ، واى خا هتاظز تا حالت ت هاتزیس آگا هتاظز تا تغییز حالت

گذارین . هی

آیذ : الثت تا تج ت ع همذارگذاری در هاتزیس د ع هاتزیس ت جد هی

یکی واگ ک ایجا هؼزفی کزدین ، دیگزی ایک حالت هثذأ را درسوت چپ حالت همػذ را تاالی

تؼثیزی ک هؼزفی کزدین.( .هاتزیس تیسین )ت

است. 1ای ز ستى هاتزیس احتوال تزاتز : هجوع درای قضیه

∑ ام تزاتز است تا_ ای ستى اثثات : هجوع درای ( است 1ک لثال ثاتت کزدین تزاتز

ای ری ز ستى )تا ایي تؼزیف ک هجوع درای خد یک هاتزیس احتوال است : هاتزیس قضیه

تاضذ( 1تزاتز

: ک اؾح است ؛ سیزا اثثات : تزای

تاضذ. 1تزاتز ای ز ستى اس هاتزیس غحیح تاضذ . یؼی هجوع درای فزؼ کیذ تزای

∑

∑

∑ ∑

∑ ∑

∑ ∑

قثك لؿی لثل ∑

قثك لؿی لثل

. یا : ام اس هاتزیس _ ستى ام_ حالت تزاتز است تا درای سكز ) : قضیه

(

آرین ؛ اها تزای ت دست ضد ک ها آى را ایجا وی ثاتت هی ایي لؿی ت سادگی تا استمزا ت ری

گا خاین داضت : آى . آردى ضد ، لزؼ کیذ

∑

ي دلیما ای هختلف است ای ت اسای ت اس ت ایی است ک اس ک ت ؾح هجوع حالت

در د هزحل ! ت یؼی سیز کزدى اس حالت

تیی ؾؼیت سیستن در سهاى در هرد کارتزد سخي هاست. تاتزایي اها اغال سجیز هارکف تزای پیص

ای ت اذاس کافی ت اسای یاسهذ داضتي هاتزیس احتوال در در آیذ ت اذاس کافی در یؼی

تشرگ ستین .

دین . یي هظر هفم حذ را ت تاى هاتزیسا گستزش هیتذ

داضت وگزاست زگا ت اسای ز هاتزیست گیین هاتزیس هی ا : تؼزیف حذ هاتزیس

تاضین :

لؿی یست.آرین ؛ چى تاکیذ ها تز خد ای ػذدی هی ای تذى اثثات ضثی ت حذ دثال در سیز لؿی

ای هختلف تاضذ ک ت هاتزیس تا درای ای ای اس هاتزیس دثال فزؼ کیذ : لؿی

ای هختلف خاین داضت : تا درای وگزایذ. در ایي غرت تزای ز هاتزیس

) ت هاتزیس یا تزدار : تؼزیف تزدار تسیغ احتوال

، تزدار تسیغ احتوال گیذ ، زگا : (

∑

دذ ای را وایص هی ایي تزدار واكر ک اس اهص پیذاست ، تسیغ هتغیزای تػادفی در فؿای و

ایص در الغ فزاای سثی هتغیزاست . درای

ای پس اس گذضت یک هزحل اس تغییز سیستن در فؿای وتسیغ هتغیزای تػادفی حال هاتزیس

است. چى :

∑

(

تسیغ هتغیزا پس اس یک هزحل است. ) ک هظر اس

ای پس اس تسیغ هتغیزای تػادفی در فؿای و ) تزتیة تاتز لؿایای فق تذیي

دذ . را طاى هی هزحل گذضت

را لتی تاتزایي اگز تخاین تسیغ اػؿای سیستن را در سهاى در تزرسی کین ، تایذ حذ هاتزیس

را هحاسث وایین. ک

دین ک تزای تطخیع حذ ذاضتي یک هاتزیس هفیذ است . ای را ارای هی در سیز لؿی

،جد دارد ؛ گاهی ک تا گاهی ک ضزایف سیز اذ ایص هختلف ک درای : قضیه

تزلزار تاضذ :

|λ|تاضذ ، آگا یک همذار یژ λ)الف( اگز .

ت ػاى همذار یژ . 1تزاتز است تا تکزار 1تاضذ ، آگا تؼذ فؿای یژ ظیز همذار یژ 1)ب( اگز

تاضذ ، آگا : همذار یژ λا ک اگز ضد. سیز ضزـ لشم الف ت سادگی ثاتت هی

(

(λ )

(λ )

( (

|λ|پس لشم وگزایی ایي است ک .

تاضذ ، هحاسث حذ آى تسیار ساد هتطاتپذیز تاضذ یؼی تا یک هاتزیس لكزی الثت اگز هاتزیس لكزی

ضد : هی

اذ . رسیذ سیزا لكزایص ت تاى آیذ دست هی ت سادگی ت ک

است. 1اذاس همادیز یژ هاتزیس احتوال ، کوتز یا هسای : قضیه

λ . آگا λ اثثات : فزؼ کیذ

:

[

] (

) λ (

)

λ

ستذ ، 1ا کوتز یا هسای اها چى

|λ|اها اگز ضد تالؽ ! ، قزف راست اگزا هی

همذار یژ ز هاتزیس احتوالی ست . 1: قضیه

. ) اثثات : تایذ ثاتت کین

[

]

ای است ، درای 1ای ز ستى تزاتز تا آخز ت سكز ال جوغ درایتا اؾاف کزدى و سكزای دم

ضد . ضذ در تیج همذار دتزهیاى غفز هی سكز ال دتزهیاى وگی غفز هی

𝛱 را ثاتت گیذ ، زگا 𝛱تزدار تسیغ احتوال : تؼزیف تزدار تسیغ احتوال ثاتت 𝛱 .

𝛱 تاتزایي : 𝛱

ضد . ایت یش ویي تسیغ احتوال حفظ هی یؼی در تی ایي

ایص دست ای تزای درای ا تسیار دضار است . سیزا تایذ ت ؾاتك اها هؼوال هحاسث ایي حذد هاتزیس

یاتین یا آى را ضث لكزی کین .

رد ت سادگی اها خضثختا دست تسیار تشرگی اس سجیزای هارکف جد دارذک حذضاى جد دا

اهذ. هی هظنا را آیذ . ایي ع هاتزیس دست هی ت

گیذ ، زگا تای اس هاتزیس هجد هظنیک هاتزیس تغییز ؾؼیت را : تؼزیف هاتزیس هظن

ای هثثت تطکیل ضذ تاضذ . تاضذ ک فمف اس درای

کین . ارای هیدر تخص تؼذی ، راکاری گزافی تزای تطخیع هظن تدى گزاف

ا ارای کین . خاین راکاری تزای هحاسث حذد ایي دست اس هاتزیس حال هی

𝛱تزای سجیز هارکف هظن ، : لؿی

𝛱هجد است

یاجاب یکت ، ،

د هؼادل سیز است :

𝛱 ∑ 𝛱

[

𝛱

𝛱

] 𝛱

∑𝛱

پزداسین : ا هی در ایجا چذ کت جالة جد دارد ک ت آى

ا است فمف ت سكز تستگی دارد ؛ تییذ ، همادیز ایي حذ ، هستمل اس ضوار ستى )الف( واكر ک هی

ا تا ن تزاتزذ . یؼی در هاتزیس حذی ، ستى

ضد ک : سكزا تیج هی کار ن لزار دادى )ب( اس هؼادل ال لؿی تاال

است ! یؼی یکی اس ثاتتساسد خدش تزدار تسیغ احتوال ک و ػاغز هاتزیس حذی را هی یؼی

دذ . تاتزایي تاضذ ، حذ هاتزیس را تطکیل هی 1ک جوغ ػاغزش 1ای هتاظز تا همذار یژ تزدار یژ

را پیذا 1ای ظیز کافی است هؿزتی اس یکی اس تزدار یژ تک تؼذی تاضذ ، 1اگز فؿای یژ ظیز ػذد

تاضذ . 1ک هجوع ػاغزش کین ؛ ت قری

اتصال هفم تشوث ت تشداؿت هاتشؼ8 .4

اي صزش پشداختن. حال ه خان تاظش تي اي دگا هاتشؼ گشاف ت تشسػ دس د تخؾ لثل تا

د تاى سا هـخص ون تز تگشن و دس ش د ع هذل ػاص، ه فشآذ احذ صست ه گشد.

اتتذا ت واى گشاف اتتذا تحج تر وذ8

واغس و پذاػت، هاتشغ هزاست اي گشاف، تشاتش اػت تا8

[ ]

8 تر وذ و اي هاتشغ سا اگش ت صست

[ ]

تاؿذ. تا ه ، A ػتى Bػغش دسا ) حال احتوال تـىل ه دذ. احتوالتؼن ه هاتشغ

هتصل اػت. A Bتشن و اي دسا دلما واى احتوال الصال ت ال اػت و تي دذگا گشاف پ ه

تاس n، دس گشاف تا تد Bت حالت Aو تاگش احتوال سػذى اص حالت ) اص عشف تشا هحاػث

ا ػض هؼش، حاصل ه هزوع ضشب احتوال ا س ال A B ا هتصل تي گزس وشى اص ال

ؿد.

هاسوف سا هغشح ود اصغالح ضشة ؼثت تصغ سا -دس هثحج گشاف لض ال گشاف ؿاب

. رالة تر اػت و تاى وشدن تشا تذػت آسدى دسصذ ا تصؼ فضا و دس ش هشحل دلخ

)دس تاى هاتشؼ اي هزػ ضشاة واى تشداس تصغ احتوال اػت تا ت ر ت اى اگش

)

سا هحاػث Mqتشا تذػت آسدى تصغ هشحل تؼذ ه هاتشغ احتوال، Mه تشداس احتوال تاؿذ،

ه وشدن ؼ8

[

] [

] [

]

βو ت اصا ش

، داسن8

∑ (

هاسوف اػت. -و اي واى ساتغ لض ال گشاف ؿاب

هاسوف 8-ا هظن لض گشاف فشداد هاتشغ-

ا احتوال سػذى تي ش د حالت هرد دس فضا و تؼشف گشاف هظن اي اػت و ت اصا ه

هشحل رد تاؿذ . دس

هشحل اص ه حالت ت حالت دگش ا اى حشوت دس ا گشاف تا تر ت تاظش ه ت ه هاتشغ

تا حالت دگش اػت .حالت اساع آىتا ؿشع اص هؼادل ع وشدى هؼش ت عل

ا تي ش د ساع دس گشاف هاسوف ، تاتشاي تشا اى ه هاتشغ هظن تاؿذ ، تاذ ت اصا ه

اص ش ساع ت ش ساع دگش سػذ. ال گزس اص هرد تاؿذ ؛ ؼ تتان تا هؼش ت عل

هزوس دس همذه ى اص هؼائلپاػخ ت

] فزؼ کیذ دس آغاص آصهاؾ تاؿذ . GG ،Gg ggت تزتیة ، سثت افزاد تالغ تا ااع راثت [

آصهاؾ ه صزش هاسوف ػ ضؼت تا هاتشغ ضؼت صش اػت 8 اي

[

]

هظن اػت . تا فشض آى هخثت ؼتذ ، تاتشاي ا ت ػادگ لاتل تحمك اػت و توام دسا

تلذ هخل وذ ، ؼثت فشصذ تا ع ساحت هـخص ، ت روؼت هسد تظش دس تشداس Ggتا رغ روس

و تشاتش تا Bاحتوال حاتت

[

]

اػت ، ت حذ اؼتا خد خاذ سػذ .

ازام ؿد. واذ تاال GG ggا هـات تا رغ روس تا ع ساحت اوى فشض وذ و آصهاؾ

دذ 8 دذ تـىل ه زشا هاسوف ػ ضؼت ت تشتة صش تـىل ها ص اي آصهاؾ

[

] [

]

سد تشسػ دس ساحت مؾ داؿت تاؿذ ، تاذ هاتشغ تغش ظش گشفتي حالت و توام افشاد ه تشا دس

ضشاة آى تد سا تـىل دن و ه تشوة خغ اص ضؼت

ؼثت روس تا ش ع ساحت اػت . تاتشاي 8

[

]

دن تشا ػاد وشدى وادا ، لشاس ه

سا G gا ؼثت طى و

دذ . پغ 8 ـاى ه

[

]

. و دس آى

تاؿذ . تاتشاي GG ،Gg gg 8ت تشتة ؼثت تصغ فشصذاى تا ع ساحت ، فشض وذ

[

]

[

]

[

]

گش تذى لذ سا دس تي فشصذاى ؼل ال دس ظش تگشن ، تاذ ه هاتشغ تغش تشا آى تأحش رفت

ال ؼ تشا فشصذاى سا تش اػاع تصغ ع ساحت ؼل ال تؼي ون . هاذ ضؼت هغاتك تا صهاى ح

لثل خان داؿت 8

[

]

و دسآى

. اها 8

( (

( (

تاتشاي لزا تصغ فشصذاى ؼل دم دس تت اي ػ ع ساحت ت صست صش اػت 8 .

( [

] [

( (

(

] [

]

ثاتت است تا پس اس یک ک واى تسیغ فزسذاى سل ال است. ت ػثارت دیگز ، تزدار احتوال

گیذ . تج کیذ ک در یثزگ-لاى اردیضد . ایي تیج را راثتی در جوؼیت ایجاد هیسل تؼادل

، تسیغ در حالت تؼادل ػثارت است اس : یا ت قر هؼادل حالت خاظ هن

[

]

[

]

راجعم

[1] Ross. Sh , A First Course In Probability

[2] Igusa. K , stochastic processes’ course

[3] wikipedia.org , Markov Chain and Stochastic Matrix

[4] Friedberg. E , Linear Algebra