سم یادگیشی هاضیيتوشیي سشی

1

---------ت ام خذا ------------

هذل دیاهیکی -1

aهذل دیاهیکی هحیظ، ضاهل

ssP a ، aتحت اتخاب عول ’sت حالت sیا احتوال اتمال اص حالت '

ssR یا '

تشای ت دست آسدى ایي هی تاضذ. aتحت اتخاب عول ’sت sپاداش دسیافت ضذ تحت اتمال اص حالت

هشتث اجشا ضذ است ت عثاستی اص 1111ت تعذاد rental_carتاتع state-action، ت اصای ش تاتع

گشفت ضذ است. احتوال اتمال اص ش حالت ت ش حالت دیگش sampleهحیظ و تشداسی ضذ است

ا، همذاس پاداش sampleتمسین تش کل تعذاد aتحت عول ’sت sتا هحاسث تعذاد تاسای اتمال اص

ت دست ’sت sتا هیاگیي گیشی اص پاداش ای دسیافت ضذ دس اتمال اص aتحت عول ’sت sاتمال اص

آهذ است.

ام ام خاادگی: صشا صادلی

سی هسال Policy Iteration Value Iterationدس ایي توشیي د الگسیتن چکیذ:

Jack’s rental car problem تا ن همایس ضذ اذ تاثیش همذاس گاها سی شیک اص

الگسیتن ا تشسسی ضذ است.

سم یادگیشی هاضیيتوشیي سشی

2

Policy Iteration(PI) Value Iteration(VI)همایس ی د الگسیتن -2

Policy Evaluation Policy Improvementضاهل د هشحل Policy Iteration(PI)الگسیتن

Bellmanهمادیش و ی حالت ا تا استفاد اص فشهل Policy Evaluationهی تاضذ. اتتذا دس هشحل

سیاست ایی ک هجش ت تیطی جاب Policy Improvementهحاسث هی ضد؛ سپس، دس هشحل

تشای ش حالت هی ضذ پیذا هی ضذ جایگضیي سیاست لثلی هی ضذ. سش تگام کشدى سیاست ا

یطی اجام هی ضد ت ایي هعی ک همذاس سیاست کلی عول ایی ک هجش ت همذاس ت greedyکاهل

. تا صهای ک اهکاى تگام ساصی سیاست ا جد داضت گزاضت هی ضدتشای ش حالت وی ضذ صفش

، هشاحل اسصیاتی سیاست تثد ساصی سیاست ا تکشاس سیاست جذیذ تا سیاست لثلی هتفات تاضذ تاضذ

هشحل کاص یافت است. ت اجام ایي د هشحل ت یک Value Iteration(VI)هی ضذ. دس الگسیتن

هحاسث ضذ سپس سیاست ای غیش تی سا صفش حالت ا عثاستی، ت جای آک یک دس تواهی همادیش

ود، دس یک هشحل همادیش ش حالت، تا تا تج ت سیاستی ک تیطی همذاس سا تلیذ هی کذ، تگام

ت ضکل هثشی اسصیاتی سیاست تثدساصی آى سا تا Value Iterationهی ضد. ت عس کلی، الگسیتن

ت ایي تشتیة همذاس هحاسثات حلم ا سا کوتش کشد است اص ایي ظش کاسایی ن تشکیة کشد است

ضذ است. لی شدی ایي PIسثت ت VI. ایي کاس، تاعث وگشایی سشیع تش الگسیتن تاالتشی داسد

اب یا سیاست تی وگشا هی ضذ.الگسیتن ا ت یک ج

تاثیش همذاس گاها -3

وگشایی ایي الگسیتن ا تضویي است؛ دس الع، گاها همذاس دستیي 1اثثات ضذ است ک ت اصای ش

تدى عاهل ا سا هطخص هی کذ. ش چ گاها تضسگ تش تاضذ، عاهل ت اسصش ای حالت ای تعذی اویت

تیطتشی هی دذ آیذ گشی آى تیطتش است. دسحالیک کن تدى گاها، هعشف یک عاهل ضدیک تیي است

لحظ ای اویت تیطتشی هی دذ. تاال تدى همذاس گاها هذت صهاى وگشایی سا افضایص هی ک ت پاداش

دذ. دلیل ایي اتفاق ایي است ک شچ گاها تضسگ تش تاضذ، افك دیذ عاهل تلذ تش است عاهل ت دثال

ا اگش همذاس ایی است ک هجش ت تاال سفتي اسصش آى دس تلذ هذت هی ضد. اه state-actionاتخاب

ایی سا اتخاب هی کذ ک هجش ت دسیافت پاداش تاالتشی دس state-actionگاها کن تاضذ، عاهل فمظ

واى لحظ هی ضذ. ت تعثیشی دیگش، تا پاییي تدى همذاس گاها، حشکت دس فضای هسال ت شهی اجام هی

گاها تاعث جص دس فضای هسال هی ضد ضد تواهی جاب ا تشسسی هی ضذ، اها تاال تدى همذاس

سم یادگیشی هاضیيتوشیي سشی

3

کشدى تواهی فضای هسال صهاى تیطتشی یاص هی ضد چى گام ا تضسگ است exploreدستیج تشای

هوکي است اص سی تسیاسی اص جاب ا پشش ضد.

تایج ضثی ساصی -4

تا ن همایس ضذ است.هذت صهاى الصم تشای سسیذى ت سیاست تی تشای سش ای هختلف 1جذل دس

واى عس ک لثال تضیح داد ضذ اص است. 1.6تا همذاس گاهای تشاتش VIکوتشیي صهاى اجشا هشتط ت الگسیتن

سشعت وگشایی تاالتشی داسد، ت دلیل آک د هشحل VIسی تایج ت دست آهذ یض هطخص است، الگسیتن

ی ا iterationتعذاد VIدس الگسیتن دس یک هشحل اجام هی ضذ؛ اها PIی اجام ضذ دس الگسیتن

است؛ ت دلیل آک PIتیطتش اص الگسیتن ا دس ایي الگسیتن است( iteration)ک دس الع واى کل خاسجی

حساب ضذ است ک خاسجی iterationیک دس کاهل اجشای ش د هشحل ت عاى یک PIتشای الگسیتن

واى عس هی تاضذ iterationخد ضاهل تعذاد حلم ای تیطتشی تشای پایذاس ضذى همذاس حالت ا دس ش

ت عس کلی الگسیتن .است VIتسیاس تیطتش اص PIک اص سی تایج هعلم است تعذاد کل حلم ا تشای الگسیتن

VI .تا یکثاس کشدى هحاسث همادیش حالت ا دس صهاى وگشایی صشف جیی ود است

PI VIهمایس هذت اجشا دس د الگسیتن 1 جذل

Value Iteration 9.0

Value Iteration 6.0

Policy Iteration 9.0

Policy Iteration 6.0

4.1563 1.0313 13.5938 3.3750 Run Time (s)

94 23 4 3 # External Iteration

- - 261 43 # Total Iteration

سیاست ایی تی ک ضاهل عول ای اتخاب ضذ دس ش حالت هی تاضذ، ت وشا همذاس حالت ا دس

دس طاى داد ضذ است. 2 ضکل 1ت تشتیة دسضکل 6.0 9.0سیاست ایی تی ت اصای

ش سیاست اتخاب ضذ دس ش یک اص حالت ا تسیل عول اتخاب ضذ تیاى ضذ است b eلسوت ای

هتاظش ضذ اذ. 11تا 1 ضواس ایت 5تا + 5-تا یک سگ هتفات طاى داد ضذ است عول ای عول

تا (0,0)تغییش کشد است ک هتاظش است تا حالت ای (21,21)تا (1,1)وچیي ضعیت حالت ا اص

سیاست ایت اصای همذاس گاهای تشاتش ت PI VIواى عس ک هالحظ هی ضد ش د الگسیتن . (20,20)

دس حذ تسیاس ت اصای همذاس گاهای تشاتش همذاس حالت ا تشای د الگسیتن ، لیاذ وگشا ضذکاهال یکسای

تسیاس هطات است سیاست ایی تی ت اصای د گاهای هتفات رکش ضذ .جضیی د ضاسم تا ن اختالف داسذ

سم یادگیشی هاضیيتوشیي سشی

4

تیطتشی تشای هجش ت همذاس 1.0گشچ همذاس گاهای عول تان فشق داسذ. 15-11 فمظ دس چیضی حذد

یک گاهای تشاتش هسای هی تاضذ.اصای حالت ا ضذ است، اها سیاست ایی تی تشای د الگسیتن ت

ج گیشیتی -5

ت اصای همذاسای گاهای تشاتش ضشایظ الی هسای، ت یک سیاست وگشا هی ضذ اها PI VIد الگسیتن

ت یک VIدس الگسیتن PIتاالتش است ت دلیل آک د هشحل ی جذای الگسیتن VIسشعت وگشایی الگسیتن

هحاسث کوتش، تعذاد حلم ای کوتش وگشایی PIسثت ت VIهضایای الگسیتن هشحل تملیل یافت است.

وچیي ش چ همذاس گاها تضسگ تش تاضذ صهاى جستج تاالتش هی سد اها ت اصای ش گاهای سشیع تش هی تاضذ.

، الگسیتن حتوا ت یک جاب تی وگشا خاذ ضذ.1کوتش اص

سم یادگیشی هاضیيتوشیي سشی

5

b) Actions selected at each state a) State-value function for final optimal policy

Policy Iteration

e) Actions selected at each state d) State-value function for final optimal policy

Value Iteration

Results of applying Gamma=0.6

2شکل

سم یادگیشی هاضیيتوشیي سشی

6

b) Actions selected at each state b) State-value function for final optimal policy

Policy Iteration

e) Actions selected at each state d) State-value function for final optimal policy

Value Iteration

Results of applying Gamma=0.9 3شکل