زهرا صادقی

1

Multi-layer perceptron

MLP یک ضثک ساد اس چذیي زى است کperceptron یک 1اهیذ هی ضذ. ضکل ،perceptron

ت هحاسث یک Perceptronرا وایص هی دذ. واى عر ک اس ری ضکل هی تاى هالحظ ود، ز

خزجی احذ اس چذیي ردی تا ایجاد یک تزکیة سى دار ضذ ی خغی ری ردی ا هی تاضذ. سپس ز

ت صرت سیز هحاسث هی perceptronار هی گیزد. در الغ خزجی ز خزجی تحت یک تاتغ غیزخغی لز

ضد:

)(1

n

i

iim wxy

هی (activation function)تاتغ فؼال ساسی ، تزدار سى ا، wردی، xدر فزهل تاال، هظر اس

یا اس ع تاژات یپزتلیک هی تاضذ. sigmoidتاضذ. هؼوال، ایي تاتغ یا اس ع

xexsigmoid

1

1)(

xx

xx

ee

eex

)tanh(

( نمایش پرسپترون1شکل

زهرا صادقی

2

وایص MLPیک ضثک 2ایجاد هی ضد. در ضکل MLPیک ضثک ػصثی perceptronاس تزکیة چذ

ضاهل س الی هی تاضذ ک ػثارتذ اس: الی ردی، الی هخفی یا هیای، الی MLPداد ضذ است. ز

لادر ت یادگیزی گاضت ای غیزخغی هی تاضذ. در الغ لذرت تخویي تاتغ MLPخزجی. ضثک ػصثی

غیزخغی ایي ضثک ػصثی در غیز خغی تدى تاتغ فؼال ساسی چذ الی تدى آى هی تاضذ.

مایش پرسپترون چند الیه( ن2شکل

Back-propagation vs. full-propagation method

هی تاضذ. تا steepest descentتزای یادگیزی تزدارای سى ز یک اس الی ا، یک را استفاد اس رش

ارستذ استفاد اس ایي ایذ، د رش هی تاى تزای یادگیزی ضثک ای ػصثی ت کار تزد ک تز ایي هثا است

ک خغا در کل ضثک هتمل هی ضد اس الی آخز ت الی ال هتمل هی ضد. تذیي هظر یک تاتغ ذف

تؼزیف هی ضد ذف کلی، کوی ودى کل ایي خغا هی تاضذ. ت د sum of square errorتزاساس

یا on-line. در یادگیزی on-line off-lineصرت هی تاى خغای ایجاد ضذ را در ضثک هتطز کزد:

زهرا صادقی

3

standard mode ،تگام ساسی سى ا تزاساس خغای ز داد ردی در واى لحظ صرت هی گیزد

هجوع خغاا ت اسای و داد ای ردی در ز تار گذر اس batch modeیا off-lineحال آک در رش

ری کل داد ا، یک هزتث صرت هی گیزد.

ت صرت سیز هی تاضذ: back-propagation یا واى on-lineریاضی راتغ تگام ساسی ت صرت

2

1

2

1

)( qqqN

q

qN

q

q tySSESSEeSSEJ

im

q

imimw

SSEww

mj

q

mjmju

SSEuu

هغاتك تا راتظ سیز خاذ تد: full-propagationیا واى off-lineوچیي، راتظ تگام ساسی

im

imimw

SSEww

mj

mjmju

SSEuu

ضزیة یادگیزی هی تاضذ ک تاثیز هستمیوی در سزػت یادگیزی یافتي جاب ا در راتظ فق هظر اس

کچک تز تاضذ، گام ای حزکت در فضای جستج کچک تز است؛ در تیج، سهاى یادگیزی دارد. زچ

تشرگ تز تیطتز هی ضد. ت عر هطات، زچ optimalعالی تز هی ضد، اها احتوال یافتي جاب ای

تاالتز هی رد. local minتاضذ، سزػت حزکت تاالتز است در تیج اهکاى افتادى در

وچیي، تزای هحاسث هطتك ای فق اس راتظ سیز استفاد هی کین.

)()(

)(2)(

00

11 1

2

00

00

0

00

00

0

00

00

M

m

mjmm

jm

jM

m

mjmj

N

q jm

q

jq

j

q

j

jm

N

q

C

j

q

j

q

j

uzgzu

yuzgy

u

yty

u

SSEtySSE

زهرا صادقی

4

Q

q

J

j

n

i

imii

M

m

mjmjm

q

j

q

j

mi

n

i

imii

mi

m

M

m

mjmjm

mi

mM

m

mjm

mi

M

m

mjm

mi

q

j

N

q

C

j

N

q

C

j mi

q

jq

j

q

j

mi

q

j

q

j

wxgxuzgutyw

SSEwxgx

w

z

uzguw

zuzg

w

uz

w

y

w

yty

w

SSEtySSE

1 1 000

00

0

1 1 1 1

2

)()()(2)(

)()(.

)(

)(2)(

000

00

00

00

0

0

00

0

0000

0000

تؼذاد الی ای خزجی هی تاضذ. C تؼذاد کل داد ای ردی، Nدر راتظ تاال،

Conjugate gradient method

تز هثای راتظ سیز کار هی کذ: conjugate gradientرش تی ساسی

iiii pxx 1

)( 00 xfp

1 iiii pgp

)( ii xfg

1

i

i

ig

g

ضزایة یادگیزی تغثیمی هی تاضذ. اگز تخاین تاتغ شی fپاراهتز تی ساسی ، xدر راتظ تاال،

، تاتغ wتا تزدار xاستفاد کین، تزدار MLPاس ایي رش تزای تگام ساسی تزدارای سی در ضثک ػصثی

offlineحالت جایگشیي هی ضذ. وچیي، هی تاى هؼادالت فق را در د SSEتا تاتغ شی fتی ساسی

online :ت کار تزد

1- Conjugate gradient ت رشon-line

زهرا صادقی

5

1

1

0

0

wi

wi

wi

wiwiwiwi

im

q

wi

wim

q

w

wiimim

g

g

pgp

w

SSEg

w

SSEp

pww

2- Conjugate gradient ت رشoff-line

1

1

0

0

wi

wi

wi

wiwiwiwi

im

wi

wim

w

wiimim

g

g

pgp

w

SSEg

w

SSEp

pww

تاثیر تعداد نرون ها

generalizationزچ تؼذاد زى ا تیطتز ضد، لذرت اؼغاف پذیزی ضثک ػصثی تاالتز هی رد لذرت

ضثک تیطتز هی ضد. اها در هماتل، پیچیذگی حجن هحاسثات سهاى حل هسال یش افشایص هی یاتذ. اگز

یچیذ را خاذ داضت. گزچ تؼذاد زى ا کن تاضذ، ضثک لادر ت حل هسائل تا تاتغ ای غیزخغی پ

افشایص تؼذاد زى ا لذرت تخویي تاتغ گاضت ای پیچیذ را تاال هی تزد، اگز اس حذی تیطتز ضد، تاػث

افت کارایی ضثک خاذ ضذ.

تاثیر تعداد الیه های میانی

اگیش تؼذاد الی ای تیطتز، کن کزدى تؼذاد پاراهتزاست تاال تزدى لذرت تخویي تاتؼی تا پیچیذگی

LMMnتاالتزاست. در گاهی ک یک الی هیای جد داضت تاضذ، تؼذاد پاراهتزای هجد هی

زهرا صادقی

6

تؼذاد زى ای الی خزجی Lدر الی هیای، تؼذاد زى ا Mتؼذاد یژگی ای داد ای ردی، nتاضذ.

LMMMMnهی تاضذ. تا افشایص یک الی هیای، تؼذاد پاراهتزا تؼذاد زى 1Mهی ضد. 2211

تؼذاد زى ای الی دم هی تاضذ. 2Mای الی ال

اد الی ای هیای السم است: د ضزط تزای تاال تزدى تؼذ

هجوع تؼذاد کل زى ا در ضثک جذیذ تا تیص اس یک الی کوتز اسضثک لثلی یک الی تاضذ. (1

ا در ضثک جذیذ تا تیص اس یک الی کوتز اس ضثک لثلی یک الی تاضذ. weightهجوع تؼذاد کل (2

a )Back-propagation method

ک ضزح آى لثال داد ضذ back-propagationدر ایي لسوت، تزای یادگیزی تزدارای سى، اس رش

استفاد هی ضد. ضثک ػصثی پیاد ساسی ضذ دارای ساختاری تا یک الی هیای هی تاضذ. تؼذاد زى ای

11جی، ت تؼذاد کالس ا یؼی زى تؼذاد زى ای الی خز 16الی هیای، ت تؼذاد اتؼاد یژگی یؼی

زى اتخاب ضذ است.

تار تکزار، هرد تزرسی لزار گزفت است. ودار خغای حاصل اس دست تذی داد 111رذ یادگیزی ت اسای

وایص داد 4 3ت دست آهذ ت اسای ز تار تکزار در ضکل ای CCR ودار همادیز test trainای

ضذ است.

زهرا صادقی

7

back-propagationنمودار خطای حاصل از روش -3شکل

ت تذریج کاص یافت است. تذیی test trainهالحظ هی ضد، خغای داد ای 3واى عر ک در ضکل

کوتز است، چزا ک کل ضثک تسیل داد ای testاس داد ای trainاست ک خغای هزتط ت داد ای

train .آهسش داد ضذ است تاتزایي پاراهتزای ضثک سثت ت ایي داد ا تخصص یافت ضذ اذ

زهرا صادقی

8

back-propagationبرای روش CCRنمودار مقادیر -4شکل

ت back-propagationهی تاى دریافت ک صحت دست تذی رش CCRتا تزرسی همادیز 4اس ضکل

هی تاضذ ک ت دلیل آى است testتیطتز اس داد ای trainهیشاى تاالیی هی تاضذ. ایي صحت، تزای داد ای

آهسش یافت اذ. trainک پاراهتزای ضثک تا داد ای

استفاد هی KNN estimatorک اس رش Bayesianرا تا کالسیفایز MLPتزای ارسیاتی تتز، کالسیفایز

طاى داد ضذ است. 1کذ، همایس هی کین. تایج ایي د کالسیفایز در جذل

KNNبا تخمین گر Bayesianو کالسیفایر back-propagationبا یادگیری MLPمقایسه کالسیفایر -1جدول

KNN estimator with Bayesian classifier

MLP with back س- propagation learning

CCR 96.627

91.194

زهرا صادقی

9

b )Full-propagation algorithm

ک ضزح آى لثال داد ضذ استفاد full-propagationدر ایي لسوت، تزای یادگیزی تزدارای سى، اس رش

هی ضد. ضثک ػصثی پیاد ساسی ضذ دارای ساختاری تا یک الی هیای هی تاضذ. تؼذاد زى ای الی

زى 11زى تؼذاد زى ای الی خزجی، ت تؼذاد کالس ا یؼی 16هیای، ت تؼذاد اتؼاد یژگی یؼی

اتخاب ضذ است.

تار تکزار، هرد تزرسی لزار گزفت است. ودار خغای حاصل اس دست تذی داد 111رذ یادگیزی ت اسای

وایص داد 6 5ت دست آهذ ت اسای ز تار تکزار در ضکل ای CCR ودار همادیز test trainای

ضذ است.

full-propagationنمودار خطای حاصل از روش -5شکل

یش رذ کاطی full-propagationدیذ هی ضد، خغای حاصل اس رش 5واى عر ک اس ری ضکل

هی تاضذ. back-propagationدارد. اها همذار ایي کاص کوتز اس رش

زهرا صادقی

10

full-propagationبرای روش CCRنمودار مقادیر -6شکل

یش تاالست، اها full-propagationهی تاى دریافت ک گزچ صحت رش 6 4اس همایس ضکل ای

کوتز هی تاضذ. back-propagationآى اس رش CCRهمذار

تا back-propagation full-propagation هذت سهاى وگزایی د رش CCR، همادیز 2در جذل

کالسیفایز تیشیي همایس ضذ اذ.

با Bayesianو کالسیفایر full-propagationو back-propagationبا یادگیری MLPفایر مقایسه کالسی -2جدول

KNNتخمین گر

KNN estimator with Bayesian classifier

MLP with back-propagation learning

MLP with full-propagation learning

CCR_test 96.627 91.194 78.149

Run-Time 1121.8 49.849 62.287

زهرا صادقی

11

پاییي هی تاضذ، اها KNNهالحظ هی ضد ک تا جد ایک سزػت کالسیفایز تیشیي تا تخویي سى 2اس جذل

-backهی تاضذ. وچیي، هالحظ هی ضد ک رش MLPصحت آى تسیار تاالتز اس کالسیفایز

propagation سثت ت رشfull propagation وگزایی السم دارد. دلیل ایي هذت سهاى تیطتزی تزای

کل خغای حاصل اس و ی و ا را در ظز هی گیزد، حال full-propagationاهز آى است ک رش

تزهثای خغای ز و تگام ساسی را اجام هی دذ. تاتزایي، رش back-propagationآک رش

full-propagation تزی دارد. اس آجا ک رش در تیطتز هارد سزػت وگزایی تاالfull-propagation ت

کوک هجوع خغاا پاراهتزا را تگام هی ساسد، پزس ی یادگیزی آى یکاخت کذ است.

c )Conjugate Gradient method

ک ضزح آى لثال داد ضذ Conjugate Gradientدر ایي لسوت، تزای یادگیزی تزدارای سى، اس رش

دارد، درجت جت تذتزیي ضیة گام تز ت جای آک در ایي رش، تزخالف رش ای لثلی استفاد هی ضد.

. اها هطکلی ک در راتغ تا ایي رش هشدج گزادیاى حزکت هی کذ ک تاػث وگزایی سزیغ تز آى ضذ است

ضثک ػصثی پیاد ساسی ضذ دارای ساختاری تا یک . ی تاضذه جد دارد ایي است ک حجن هحاسثات آى تاال

زى تؼذاد زى ای الی 16الی هیای هی تاضذ. تؼذاد زى ای الی هیای، ت تؼذاد اتؼاد یژگی یؼی

زى اتخاب ضذ است. 11خزجی، ت تؼذاد کالس ا یؼی

تار تکزار، هرد تزرسی لزار گزفت است. ودار خغای حاصل اس دست تذی داد 111رذ یادگیزی ت اسای

وایص داد 8 7ت دست آهذ ت اسای ز تار تکزار در ضکل ای CCR ودار همادیز test trainای

ضذ است.

زهرا صادقی

12

conjugate gradientنمودار خطای حاصل از روش -7شکل

کوتز اس conjugate gradientهی تاى دریافت ک خغای حاصل اس رش 7، 5، 3اس همایس ضکل ای

هی تاضذ. back-propagation تمزیثا در حذ رش full-propagationرش

زهرا صادقی

13

conjugate gradientبرای روش CCRنمودار مقادیر -8شکل

کوتز اس د رش conjugate gradientک صحت رش هی تاى دریافت 8، 6، 4اس همایس ضکل ای

هی تاضذ. back-propagation full-propagationدیگز

MLPمقایسه روش های یادگیری -3جدول

MLP with back-propagation learning

MLP with full-propagation learning

Conjugate gradient

CCR_test 91.194 78.149

89.373

Train_time 29.702 22.767 696.42

Test_time 20.003 40.406 10.123

full-propagationاس conjugate gradientهی تاى دریافت، صحت رش 3واى عر ک اس جذل

ت همذار اچیشی کوتز است. تا ایي جد، سهاى تست در رش back-propagationتیطتز، اس

زهرا صادقی

14

conjugate gradient هشایای ایي رش است ک هن تزیي اس د رش دیگز تسیار کوتز است ایي یکی اس

دارای سزػت وگزایی تاال هی تاضذ.

dتاثیر تعداد نرون های الیه میانی )

اس آجا ک پاراهتز تؼذاد زى ا، یک پاراهتز ساختاری هی درتار ی تاثیز ایي پاراهتز لثال تضیح داد ضذ.

over parametrizationتاضذ، تؼییي آى پزشی هی تاضذ. اگز اذاس ایي پاراهتز خیلی تشرگ ضد هسال

. تزای تؼییي ایي پاراهتز اس یک همذار کچک ضزع هی کین ت تذریج آى را خغا تاال هی رد رخ هی دذ

تا 4تا 4ضزع کزد این تؼذاد زى ا را 4هی کین. تذیي هظر، اس تؼذاد زى ای الی تزاتز تشرگ

هزتط ت تؼذاد زى ای هختلف را CCRهمذار 9را تزرسی ود این. ضکل CCRافشایص داد این تغییزات

طاى هی دذ.

CCRتاثیر تعداد نرون های الیه میانی در -9شکل

زهرا صادقی

15

زى در الی هیای، صحت 21هی تاى دیذ، تا افشایص تؼذاد زى ا تا تؼذاد 9واى عر ک اس ری ضکل

ت جد آهذ است. ایي هسال ت دلیل رخذاد CCRزى کاص 24دست تذی تاال رفت است، لی ت اسای

هی تاضذ. over parameterizationپذیذ

eده های کاهش بعد یافته( تاثیر دسته بندی با دا

4تا داد ایی ک اس توزیي conjugate gradientرا ت کوک رش MLPدر ایي لسوت، ، ضثک ػصثی

کاص تؼذ یافت تدذ آهسش هی دین. feature conditioningتسیل

الی هیای، تزاتز تا ضثک ػصثی پیاد ساسی ضذ دارای ساختاری تا یک الی هیای هی تاضذ. تؼذاد زى ای

زى اتخاب ضذ است. 11زى تؼذاد زى ای الی خزجی، ت تؼذاد کالس ا یؼی 9

تار تکزار، هرد تزرسی لزار گزفت است. ودار خغای حاصل اس دست تذی داد 111رذ یادگیزی ت اسای

وایص 11 11اسای ز تار تکزار در ضکل ای ت دست آهذ ت CCR ودار همادیز test trainای

داد ضذ است.

زهرا صادقی

16

با داده های کاهش بعد یافته conjugate gradientنمودار خطای حاصل از روش -10شکل

با داده های کاهش بعد یافته conjugate gradientبرای روش CCRنمودار مقادیر -11شکل

تؼذی( تؼذ 16)داد ای feature conditioningهمایس هیاى کارایی تایج حاصل اس دست تذی لثل اس

آهذ است. 4در جذل CCRتؼذی( اس لحاػ سهاى اجزا همذار 7اس آى )داد ای

یهدر شبکه یک ال feature conditioningمقایسه کارایی دسته بندی قبل و بعد از انجام – 4جدول

#neurons in hidden layer

Train_time Test_time CCR

16 393.4 8.03 86.239 16 features

9 19.885 21.882 80.955 7 combined features

کوی CCRهی تاى دیذ ک استفاد اس داد ای کاص تؼذ یافت تاػث ضذ است ک همذار 4اس ری جذل

کاص یاتذ. تا ایي جد، استفاد اس داد ای کاص تؼذ یافت دارای ایي هشیت است ک تؼذاد زى ای

زهرا صادقی

17

کوتزی در الی هیای ت کار گزفت ضذ است در تیج ساختار ضثک ػصثی را تسیار ساد تز ود حجن

اص تؼذ یافت تسیار کوتز اس داد ای اصلی هحاسثات را پاییي آرد است. وچیي، سهاى آهسش داد ای ک

هی تاى هالحظ کزد ک سزػت وگزایی در ایي حالت تسیار تاال رفت 11هی تاضذ. ت ػال، اس ری ضکل

تار تکزار همذار تمزیثا تی ت دست آهذ است. 11است، ت عری ک تؼذ اس حذد

f )سیفایرهامقایسه کالسیفایر شبکه عصبی با سایر کال

SVMیک الی تا تتزیي رش یادگیزی را تا کالسیفایزای MLPدر ایي لسوت هی خاین کارایی کالسیفایز

همایس هی کین. ت عر کلی هی تاى گفت تتزیي رش k(k-1)/2تا س کزل هتفات، کالسیفایز خغی

تاضذ. همایس ی ایي کالسیفایزا در هی back-propagationیادگیزی اس تیي س رش تزرسی ضذ، رش

آهذ است. 5جذل

k(k-1)/2و SVMبا MLPمقایسه کالسیفایر 5جدول

SVM Linear classifier k(k-1)/2

MLP with back-propagation learning MLP

kernel RBF kernel

Poly kernel

CCR 93.4030 98.15 97.34 71.22 91.194

Train_time 5.6275 9.2138 7.8718 4.6880 29.702

Test_time 0.7005 0.8884 0.3797 0.7660 20.003

هی تاى تیج گزفت ک استفاد اس ضثک ای ػصثی گزچ کارایی سثتا ختی دارد اها سهاى 5اس جذل

آهسش تست آى سثت ت هارد دیگز تاالتز است.

g )تاثیر تعداد الیه ها

feature conditioningدر ایي لسوت استماد اس ضثک ػصثی د الی را ری داد ای ردی لثل اس

تؼذ اس آى همایس هی کین. تزای اتخاب تؼذاد زى ای ز یک اس الی ا ضزط ایی ک لثال تضیح داد ضذ

همایس ضذ اذ. 6را در ظز هی گیزین. تایج حاصل ضذ در جذل

زهرا صادقی

18

در شبکه دو الیه feature conditioningمقایسه کارایی دسته بندی قبل و بعد از انجام – 6جدول

#neurons in 2’nd hidden layer

#neurons in 1’st hidden layer

Train_time Test_time CCR

13 12 29.702 20.003 91.194 16 features

9 8 34.232 20.053 87.582 7 combined features

دست تذی تا داد ای کاص CCRهؼلم است، گزچ همذار 6واى عر ک لثال تضیح داد ضذ اس جذل

تؼذ یافت کوی کاص هی یاتذ، اها هشیت آى ایي است ک تؼذاد زى ای کوتزی یاس ستذ سزػت

ست.وگزایی آى ت ػلت کاص پیچیذگی ساختار هحاسثات تاال رفت ا