یادگیری ماشین

http://www.madsg.com/

ماشینیادگیرینام درس: دکتر فریبرز محمودی

گروه مهندسی کامپیوترآزاد اسالمی قزویندانشگاه

&Mitchell Ch. 1 &Russell Ch. 18

2

مقدمه

:تعریف فرهنگ لغات از یادگیری ی:ا یا یادگیری عبارت اس:ت از بدس:ت آوردن دان:ش و فه:م آ:ن از طری:ق مطالع:ه، آموزش و

تجربه . بهبود عملکرد از طریق تجربه.همچنین گفته شده است که یادگیری عبارت است از

:تعریف یادگیری ماشین برنامه ای نوش:ت ک:ه از طری:ق تجربه یادگیری ماشی:ن عبارت اس:ت از اینک:ه چگون:ه می توان

. یادگیری ممکن است باعث تغییر در ساختار برنامه و یادگیری کرده و عملکرد خود را بهتر کند.یا داده ها شود

3

تعریف یادگیری ماشین

From Mitchell (1997: 2):A computer program is said to learn from

experience E with respect to some class oftasks T and performance measure P, if itsperformance at tasks in T, as measured by P,improves with experience E. From Witten and Frank (2000: 6):Things learn when they change their behavior in away that makes them perform better in the future.

In practice this means:We have sets of examples from which we want to extract regularities.

4

مقدمهتحقیقات:ی نس:بتا جدیدی از هوش مص:نوعی اس:ت که در حال یادگیری ماشی:ن زمین:ه

علوم در فعال بسیار زمینه ای و می گذران:د را خود تکام:ل و رش:د دوران حاض:ر کامپیوتر می باشد .

:علوم مختلفی در ارتباط با یادگیری ماشین در ارتباط هستند از جمله کنترل تئوری احتماالت، و آمار اطالعات، تئوری روانشناس:ی، فلسفه، هوش مص:نوعی،

و ...

5

اهداف درس

هدف: از ای:ن درس ارائ:ه ی:ک دی:د کل:ی نس:بت: ب:ه یادگیری ماشی:ن اس:ت: که مباحث: زیر را در بر م:ی گیرد:

:شام��ل ع�مل��ی نظیر جنبه های مختل::ف: یادگیری الگو:ریتم های درخت: های تصمیم ، شبکه های عص:بی و شبکه های باور بیزی.

:الگوریتم ژنتیک و یادگیری تقو:یتی.مدلهای� عمومی ش�ام�ل :ش�ام�ل� تئور�ی�ک یادگیری مف�اهی�م� آمار، درعلم مرتب:ط: زمینه های

بیزی:ن بررس:ی می شو:ند. در ای:ن مباح:ث: ارتباط: تعداد مثاله:ا ب:ا کارائی یادگیری بررس:ی م:ی شون:د، میزان خطای قاب:ل: انتظار محاسبه می شو:د، و بررس:ی می ش:ود ک:ه کدام الگوریت:م یادگیری برای چ:ه مس:ائلی کارائی

بیش:تری دارد.6

مراجع

:کتاب د:رس Machine learning by Tom Mitchell, McGraw Hill, 1997.

سایر مراجع Artificial Intelligence: A Modern Approach, By Stuart J.

Russell and Peter Norvig, 2nd Edition. Reinforcement learning: An introduction, By Richard S.

Sutton & Andrew G Barto. Introduction to machine learning by Nils J. Nilson.

7

سایت درس

http://fzmahmoudi.googlepages.com تمرینات و سایر اطالعات مربوط به درس ازطریق آدرس فوق در اختیار دانشجویان

قرار خواهند گرفت. [email protected]

.تکالیف درسی باید به پست الکترونیک فوق ارسال شود

8

http://fzmahmoudi.googlepages.com/

mailto:[email protected]

سیالبس درس

Introduction Learning Concept Decision Tree Learning Artificial Neural Networks Evaluating Hypothesis Bayesian Learning & Networks Computational Learning Theory Learning based Instance Algorithms Genetic Reinforcement Learning SupportVector Machine (SVM)

9

مقدمهیادگیری مفهوم درخت تصمیمبا یادگیریهای عصبی مصنوعی‌شبکهارزیابی فرضیههای باور ‌شبکه یادگیری بیزین و

بیزیتئوری یادگیری محاسباتی نمونهمبتنی بر یادگیریالگوریتم ژنتیکادگیری تقویتییماشین بردار پشتیبان

چرا یادگیری؟ ضروری است.محیطهای ناشناخته استفاده از یادگیری در

دارد. کمبود دانش یعنی وقتی طر:اح نسبت به محیط ی:ک س:یستم اس:ت موق:ع طراح:ی نباشد ممک:ن آ:ن شناخت:ه شده ویژگیهای در تمام:ی

حالیکه ماشین می تواند حین کار آنها را یاد بگیرد. در اس:ت نهفت:ه ممک:ن مهم:ی اطالعات داده از به خی:ل عظیم:ی قادر بش:ر ک:ه باش:د

تشخیص آن نباشد ) داده کاوی(

قابل استفاده است.یک روش ساخت سیستم عنوان به یادگیری نمود. در ص:ورتیکه ممک:ن اس:ت آنها را بتوان: بدرس:تی نمی توان توص:یف بعض:ی کاره:ا را

به صورت مثالهای ) ورودی/خروجی( معین نمود. می کند به جای آنکه سعی در حل مستقیم مساله نماید.واقعیت مواجه یعنی عامل را با

آن اصالح می نماید.به منظور بهبود عملکرد یادگیری مکانیزم تصمیم گیری عامل را کند. ماشی:ن می توان:د ب:ا یادگیر:ی این تغییرات محی:ط در طول زمان تغیی:ر ممک:ن اس:ت

خود را با آنها وفق دهد.10

چرا یادگیری؟

اخی:ر تئوری های در س:الهای الگوریتم ه:ا و مربوطه بوجود آمده و پیشرفتهای زیادی در زمینه های تحقیقاتی جدید زیادی پدید آمده اند.

بصورت داده های آزمایشی زیادیOnline.بوجود آمده اند بدست آورده اندقدرت محاسباتی زیادی کامپیوتر ها با کاربردهای صنعتی بوجود آمده اند. )در زمینه پردازش گفتار برنامه های جنبه های عملی

مبتنی بر یادگیری از همه روشهای دیگر پیشی گرفته اند(

11

برخی از کاربردهای یادگیری ماشین

کنترل روباتهاداده کاویتشخیص گفتارشناسائی متنپردازش داده های اینترنتیBioinformaticsبازیهای کامپیوتری

12

وظیفه یادگیری ماشین

مثل تشخیص گفتار.Classification یا دسته بندی1.

، طراحی و عمل مثل بازی ها، راندن اتومبیل در بزرگراه.حل مسئله2.

13

مبنای ارزیابی الگوریتمهای یادگیری

.دقت دسته بندی.صحت راه حل و کیفیت آنسرعت عملکرد.

14

یادگیری انسان و ماشین

یادگیری انسان چگونه است؟ یاد می گیرد.تعامل با محیط بیرونی انسان از طریق

یادگیری ماشین چگونه است؟ می توان به ماشین گفت که چه باید بکند.نوشتن برنامه از طریق می توان ماشین را وادار به یادگیری نمود.نمایش مثالهای متعدد از طریق یاد بگیرید.تجربه محیط واقعی ماشین می تواند از طریق

15

تکنیک های مختلف یادگیری یادگیری استقرایی(Inductive)که یادگیری بر مبنای مثالهای متعدد انجام می: شود. مثل درخت: های

تصمیم: یادگیریConnectionist

که یادگیری بر مبنای مدل مغز بشر صورت می پذیرد. مثل شبکه های عصبی: مصنوعی

یادگیریBayesian که فرضیه های مختلفی: در مورد داده ارائه می: شود.

یادگیریReinforcement که از سنسورها و تجربه در محیط استفاده می شود.

یادگیریEvolutionary 16مثل الگوریتم ژنتیک

ساختار عامل یادگیر

17

عامل یادگیرساختار عنص�ر اجرای�ی(Performance Element): است عام:ل غیریادگی:ر ی:ک

دارد.حل مساله موجود سعی در ادراکات و دانش که با توجه به

نقاد (Critic) بیرونی اس:تاندارد ب:ه ت:وج:ه ب:ا ک:ه اس:ت عنص:ری : عامل باز می گرداند.بازخوردی از میزان موفقیت

عنص�ر یادگیرنده(Learning Element): ب:ا توج:ه ب:ه بازخوردی که از ایجاد تغییرات الزم را در دان:ش عنص:ر اجرایی نقاد اخ:ذ می کن:د

می نماید تا عملکرد آنرا بهبود بخشد.

ایجادگ�ر مس�اله(Problem Generator): عمل:ی را ک:ه منجر ای:ن عنص:ر می نماید.به ی:ک تجربه جدید می شود به عنصر اجرایی پیشنهاد

18

(Learning element)عنصر یادگیرنده :طراحی عنصر یادگیرنده تحت تاثیر عوامل زیر است

.کدامیک از اجزاء عنصر اجرایی قابلیت آموزش دارند.چه بازخوردی برای آموزش این اجزا موجود است.چه شیوه نمایش دانشی برای این اجزا بکار گرفته شده است

:انواع بازخوردیادگیری با ناظر (Supervised learning) :.داشتن جوابهای درست برای چند مثالیادگیری بدون ناظر (Unsupervised learning) :.عدم دسترسی به جوابهای درست

19

دسته بندی یادگیری

به ازای : مجموعه ای از مثالهای یادگیری موجود می باش:د ک:ه در آ:ن یادگیری ب�ا ناظ�ر. هدف سیستم یادگیر بدست مشخ:ص استو ی:ا تاب:ع مربوطه هر ورودی، مقدار خروج:ی

.را حدس بزند است که تابع و یا رابطه بین ورودی و خروجی فرضیه ایآوردن

فقط : مجموعه ای از مثالهای یادگیری موجود می باش:د ک:ه در آ:ن یادگیری بدون ناظ�رورودیه:ا مشخ:ص مورد مقدار در اطالعات:ی و نیستاس:ت دردس:ت . خروج:ی ص:حیح

برای ناظ:ر بدون ورودیه:ا یادگیری ی:ا دس:ته بندی بعدی و مقدار اساس پیش بین:ی بر موقعیت فعلی عمل می کند.

20

مثالی از یادگیری با ناظر

خان:ه و مس:احت خانه ه:ا وجود دارد چگونه می توان نرخ 50ی:ک پایگاه داده شام:ل قیم:ت خانه ها را بر اساس تابعی از اندازه آنها یاد گرفت؟

21

مساحت قیمت560

1012893

2196936

377976

13082

مثالی از یادگیری با ناظر

مساحت خانهInput feature: x(i) = قیمت خانهOutput feature: y(i) =

< x(i), y(i) مثال یادگیری> {x(i), y(i) , i=1:mمجموعه یادگیری }

یاد بگیریم h: xyعم:ل یادگیری: ب:ا داشت:ن ی:ک مجموع:ه یادگیری می خواهی:م تابع:ی بص:ورت نامیده hypothesisتاب:ع فرضی:ه و یا را بخوب:ی حدس بزند. ای:ن y بتوان:د مقدار h(x)ک:ه

می شود.

22

رگرسیون و دسته بندی

( رگرسیونRegression):بص:ورت هدف تاب:ع ک:ه رگرسیون پیوس:تهوقت:ی مس:ئله ی:ک یادگیری مس:ئله باش:د

( خواه:د بود. مث:ل یادگیری رابط:ه قیمت و Curve fittingبرازاندن منحنى)مساحت خانه ها.

دسته بندی(Classification: )ک:ه تعداد محدودی مقدار yوقت:ی بتوان:د فق:ط ی:ک مسئله گس:سته یادگیری بگیرد مس:ئله

دسته بندی خواهد بود. مثل: آیا مکان موردنظر یک آپارتمان است یا یک خانه؟

23

24

Inductive learningیادگیری استقرایی

.یک شیوه یادگیری با ناظر استساده ترین شکل یادگیری: یادگیری یک تابع از روی چند مثال

f نظر است، موردتابع هدف.می باشد (x, f(x)) از این تابع زوج مرتبی به شکل مثال یک

است به نحوی که:h فرضیهمساله ما یافتن تابع :که تا حد ممکن به تابع اصلی منطبق باشدh ≈ f ورودی ما یک( مجموعه آموزشیtraining set) .حاوی چندین مثال می باشد

25

روش یادگیری استقرایی

ایجاد و یا تنظیم تابعh به نحوی که روی مجمو�عه آموزشی باf تطابق داشته باشد.

تابعh سازگاریک تابع (consistent) خواهد بود اگر باf روی تمام مثالها تطابق داشته باشد.

مشابه روش( برازاندن منحنىCurve fitting )

26





27





28





29




مشابه روش( برازاندن منحنىcurve fitting )

30

ایجاد و یا تنظیم تابعh به نحوی که روی مجموعه آموزشی باf.تطابق داشته باشد تابعh سازگاریک تابع (consistent) خواهد بو�د اگر باf روی تمام مثالها تطابق داشته

باشد. مشابه روش( برازاندن منحنىcurve fitting )

اصلOckham.ساده ترین فرضیه سازگار مورد ترجیح است :


31

Decisionیادگیری با درخت تصمیم trees

مساله: تصمیم گیری در مورد صبر کردن یا نکردن برای خالی شدن یک میز در یک رستوران با توجه به شرایط روی صفات زیر:

.1Alternateآیا رستوران جایگزینی در نزدیکی این رستوران وجود دارد؟ :

.2Barآیا محلی برای صرف نوشیدنی در زمان انتظار در رستوران وجود دارد؟ :

.3Fri/Satآیا امروز یک روز آخر هفته است؟ :

.4Hungryمیزان گرسنگی ما چقدر است؟ :

.5Patrons تعداد مشتریان موجود در رستوران چندتاست؟ :(None, Some, Full)

.6Price)$$$ ,$$ ,$( محدوده قیمت رستوران چیست؟ :

.7Rainingآیا باران در خارج رستوران می بارد؟ :

.8Reservationآیا از قبل رزرو انجام داده ایم� یا خیر؟ :

.9Type رستوران از چه نوعی است؟ :(French, Italian, Thai, Burger).10WaitEstimate (60, <60-30, 30-10, 10-0): زمان تخمینی انتظار چقدر است؟

32

نمایشهای مبتنی بر صفتAttribute-based representations

بولی، گسسته، پیوسته( توصیف می شوند.مقادیر صفاتمثالها بوسیله(

مثبتمثالها با (T) منفی و (F).طبقه بندی شده اند

33

Decision treesدرخت تصمیم .یک شیوه ممکن برای نمایش فرضیه می باشد در مواردtrue.عمل انتظار انجام می پذیرد

34

Expressiveness قابلیت توصیف:

.درختهای تصمیم قابلیت توصیف هر تابعی از صفات ورودی را دارا می باشند به عبارت دیگر هر تابع بولی بیان شده با یک جدول حقیقت توسط درخت تصمیم قابل توصیف

است. در این حال هر سطر جدول یک مسیر از ریشه تا برگ است.

بنابراین برای هر مجموعه آموزشی یک درخت تصمیم سازگار وجود دارد، )مگر اینکه تابعf غیر قطعی باشد( اما این احتمال وجود دارد که مثالهای جدید در درخت قابل تعمیم نباشند.

است.فشردهترجیح با درختهای تصمیم

35

Hypothesis spacesفضاهای فرضیه

صفت بولی وجود دارد؟nسوال: چند درخت تصمیم )فرضیه( متمایز برای صفت بولی ساخت.n= تعداد توابع بولی متمایز که می توان با

.22nسطر = 2n= تعداد جداول حقیقت متمایز با

18،446،744،073،709،551،616 صفت بولی 6بطور: مثال برای درخت وجود دارد.

36

Hypothesis spacesفضاهای فرضیه صفت: بولی وجود دارد؟nسوال: چند درخت تصمیم )فرضیه( متمایز برای

صفت بولی ساخت.n= تعداد توابع بولی متمایز که می توان با .22nسطر = 2n= تعداد جداول حقیقت متمایز با

درخت وجود دارد.18،446،744،073،709،551،616 صفت بولی 6بطور مثال برای

سوال: چند فرضیه عطفی خالص وجود دارد؟ هر فرضیه عطفی (نظیر Hungry Rain) .یک مسیر از ریشه تا برگ د:ر درخت تصمیم است .هر صفت ممکن است در یک فرضیه عطفی نقش مثبت، منفی یا بدون تاثیر داشته باشد

در نتیجه برایn ،3 صفتn .فرضیه عطفی متمایز وجود دارد:افز:ایش حجم فضای فرضیه باعث می شود

.شانس توصیف تابع هدف افزایش یابد و در نتیجه احتمال پیش می شوداز طرف دیگر باعث افزایش تعداد فرضیه های سازگار با مجموعه آموزشی

.بینی غاط نیز بیشتر می شود. سازگار بیابددرختپس: نیاز به یک الگوریتم هوشمند داریم تا د:ر این فضا یک

37

الگوریتم یادگیری درخت تصمیم.هدف: یافتن کوچکترین درخت سازگار با مثالهای آموزشی استدرخت( زیر) ترین صفت برای ریشه ایده: انتخاب )بازگشتی( با معنی.

38

انتخاب صفتمثالها را به دو زیرمجموعه تمام مثبت و تمام منفی آلایده: یک صفت خوب در حالت ایده

کند. تفکیک می

بنابراینPatrons ?.انتخاب به:تری است

39

استفاده از تئوری اطالعات

سازی در پیادهChoose-Attributeدر الگوریتم DTL محتوای ازشود. استفاده میاطالعاتی )انتروپی(

برای یک مجموعه آموزشی حاویp مثال مثبت و n:مثال منفی

npn

npn

npp

npp

npn

nppI

22 loglog),(

)P(v) -P(v )) , P(v), I(P(v n

i iin

1 21 log

40

استفاده از تئوری اطالعات

:در حالتیکه دو کالس مثبت و منفی داریم اگرI=0.باشد یعنی همه مثالها در یک کالس هستند اگرI=1 باشد یعنی نصف مثالها در یک کالس و نصف دیگر

در کالس دوم هستند.

41

Information gainبهره اطالعات

ی:ک ص:فت منتخ:ب نظیرAمجموع:ه آموزشی Eهای را ب:ه زیرمجموعه E1, … , Ev بر اس:اس مقادیر A نماید. ب:ا فرض آنک:ه تقس:یم می A دارای v مقدار متمای:ز اس:ت. میزان اطالعات صفت A عبارت

است از:

بهره اطالعات(IG) ک:ه حاص:ل تفری:ق انتروپ:ی و میزان اطالعات ص:فت A اس:ت معیار مناسبی برای انتخاب صفت است.

مقدار بهره اطالعات بیشترینصفتی انتخاب می شود که(IG).را داشته باشد

v

i ii

i

ii

iii

npn

nppI

npnpAremainder

1

),()(

)(),()( Aremaindernp

nnp

pIAIG

42

p = n = 6, I(6/12, 6/12) = 1 bitبرای مجموعه آموزشی ذکر شده داریم:

را در نظر بگیرید ) و همچنین سایر صفات (:Type و Patronsبرای این مجموعه صفات

را نسبت به سایر صفات داراست پس به عنوان ریشه درخت IG بیشترینPatronsدر این مجموعه صفت انتخاب می شودDTLتوسط الگوریتم

bits 0)]42,

42(

124)

42,

42(

124)

21,

21(

122)

21,

21(

122[1)(

bits 0541.)]64,

62(

126)0,1(

124)1,0(

122[1)(

IIIITypeIG

IIIPatronsIG

Information gainبهره اطالعات

43

مثالدرخت تص:میم آموزش: داده شده

مثال:12 با

:این درخت ساده تر از درخت: فرضیه واقعی: است:. اساسا مجمو:عه هایآمو:زشی کوچک: فرضیه های: پیچیده ایجاد نمی کند.

44

Performance measurement گیری کارایی اندازه چگونه می توان مطمئن شد کهh ≈ f ؟

استفاده از قضایای محاسباتی/ آماری تئوری اطالعات. 1.

. مجموعه آزمایشی جدیدروی یک hآزمایش 2.)امتحان الگوریتم روی اندازه های متفاوت از مجموعه آموزشی و تست روی باقیمانده داده ها

به عنوان مجموعه آزمایشی(اندازه = درصد درستی پاسخ روی مجموعه آزمایشی نسبت به منحنی آموزش

مجموعه آموزشی

45

ID3 Decision tree learning

46

( Over fitting)تطبیق بیش از حدنادری وجود دارد گاه:ی اوقات در مجموع:ه آموزشی مثالهای

مطابق:ت نداشته باشند. ه:ا ک:ه ممک:ن اس:ت ب:ا توزی:ع کل:ی دادهتا درخت می شود تعداد زیاد گره های یک درخت تص:میم باعث

درجه آزادی زیادی برای انطباق با این مثالها داشته باشد.

47

مقابله با تطبیق بیش از حد.اجتناب از رشد درخت در مرحله ایجاد هرس کردن(Post-Pruning.درخت پس از ایجاد )

:روش:های تعیین اندازه درخت.استفاده از دو مجموعه جداگانه آموزش و تست جهت ارزیابینظی:ر روش( آماری تس:تهای بسط Quinlan 86بکارگیری تخمی:ن برای )

دادن یا هرس کردن یک گره. اس:تفاده از تواب:ع هیوریس:تیک برای تشخی:ص اندازه مناس:ب درخت. )نظیر

(Mehta et al.95 و روش Quinlan & Rivest 89روش

48

یافتههرس خطای کاهشReduced Error Pruning

یک روش مقابله با.Over fitting ابداع شده توسطQuinlan .1987

ریشه ب:ا آ:ن جایگزین:ی و زیردرخ:ت حذف زیردرخت.

جایگزین گره ب:ه اکثری:ت کالس تخص:یص شده.

خطای اینکه ب:ه مشروط زیردرخ:ت، حذف اولیه حال:ت از بیشت:ر شده جایگزی:ن گره

نباشد.

49

یافتههرس خطای کاهشReduced Error Pruning

http://www.madsg.com/

Documents

یادگیری ماشین