Yapay Sinir Ağları - 2 - Back Propogation - Geri Yayılım Algoritması - Türkçe Not

7/26/2019 Yapay Sinir Alar - 2 - Back Propogation - Geri Yaylm Algoritmas - Trke Not

1/9

4.4.3 Hata tolerans

Klasik hesaplama sistemleri ok az bir zarardan bile etkilenir. YSA iin durum farkldr. Bu

farkllk YSA'nn hata toleransl olmasdr. lem elemanlarnn az da olsa zarar grmesi

sistemin btnn etkiler. YSA paralel dalm parametreli bir sistem olduundan her bir

ilem eleman izole edilmibir ada olarak dnlebilir. ekil 4.9 'da ok katmanl perseptron

(MLP) iin bu durum gsterilmitir.

ekil 4.9 MLP'nin izole edilmihali

Daha ok ilem elemann zarar grmesi ile sistemin davran biraz daha deiir. Performans

der ama sistem hi bir zaman durma noktasna gelmez. YSA sistemlerinin hata toleransl

olmasnn nedeni bilginin tek bir yerde saklanmayp, sisteme datlmasdr. Bu zellik

sistemin durmasnn nemli bir zarara neden olaca uygulamalarda nem kazanr.

4.4.4 YSA kullanmnn sebepleri

1- YSAlar verilerden haraketle, bilinmeyen ilikileri akllca hemen ortaya karabilmektedir.

Bu zellikleri, uygulama asndan son derece nemlidir. Ayrca veri toplama iin bir n

sorgulama ya da aklama gerekmemektedir.

2- YSAlar zm olarak genelletirilebilir. Bir rnekten hareketle, dier rneklerdeki

benzerlikleri doru olarak anlayabilirler. Genelletirme yaplabilmesi bu bakmdan ok iyi bir

zelliidir, nk gerek dnya verilerinde srekli olarak grlt ve bozucu etkiler mevcuttur.3- YSAlar lineer olmayan yapdadr. Bu zellikleri nedeni ile daha karmak problemleri

lineer tekniklerden daha doru zerler. Non-lineer davranlar hissedilir, alglanr, bilinebilir,

ancak bu davranlar ya da problemleri matematiksel olarak zmek zordur.

4- YSAlar son derece paralellie sahiptir. Bamsz ilemleri ayn anda ok hzl

yrtebilirler. Paralel donanmlar yaplar gerei YSAlara uygun olduundan kendisine

alternatif zm metodlarndan daha elverilidir.


2/9

4.4.5 YSAnn klasik yazlmlar ile karlatrlmas

YSAlar, srarla belirtildii gibi nceden tahmin, rnek deerlendirme ve gruplama

ilemlerinde etkilidir. Ayn ilemleri klasik bir bilgisayar program ile yapmak da

mmkndr. YSAlar, aka kurallar bulunmayan veya annda optimizasyon kstlamalar

koyan uygulamalar iin idealdir. YSA iin endstriyel kontrol ilemleri olduka yaygn

uygulama alanlardr. Burada kurallar ok sk deimez ve stelik iyi bir taraf da teki

alma koullarna ait verilerin bol oluudur.

Klasik programlar da belirli bir grev iin yazlm bir yazlm yllarca ayn tip ii yapar.

rnein, bir mhendislik program olan Autocad ve benzerleri ile srekli ayn hizmetler

yaplabilir.

YSAlarn uygulamadaki dezavantajlarn sralayacak olursak,

1- Bir problemin zmnde ok uygun bir zm bulamayabilirler ve zmde hata

yapabilirler. Buna sebep ise eitelecek bir fonksiyonun bulunamamasdr. Fonksiyon bulunsa

bile yeterli veri salanamayabilir.

2- Sonu almak yzlerce girirneinin hesaplanmasna bal olabilir. Ayrca hangi arln

sonucu nasl etkileyeceini tahmin etmek zordur.

3- YSAlarla bir dizi ilem yapmak, bunlar eitmek yavave pahal olabilir. Maliyeti arttran

sebeplerden ilki eitme verilerinin toplanmas ve deerlendirilmesidir. Doru deerleri

bulmak iin deneyler yapmak gerekebilir.

4- Bir YSAnn kalitesi ve kapasitesi uygulamadaki hz ile orantldr. yleki dm

saysndaki az bir artbile yrtme zamannda ok daha fazla arta sebep olur. rnein 100dmde 10 000 balant var ise, standart bir mikroilemci bunu 10 000 000 arpma-

saklama ilemi yaparak hesaplanr. Bylece adan saniyede 1000 geiolur. Eer 300 dm

var ise ayn ilemci ancak 100 kere geiyapmay salayabilir. Ksacas dm says 3 kat

arttnda cevap sresi 10 kat azalr.

Yinede YSAlarn dier zmlerden daha doru zmler rettikleri de bir gerektir. nk

bu sakncal durumlar teorik olarak sz konusudur.

4.5 ok Katmanl Perceptron (Multi-Layer Perceptron)

ok katmanl perceptron girive kkatmanlar arasnda birden fazla katmann kullanld

YSA sistemleridir. Gizli katman (hidden layer) olarak isimlendirilen bu katmanlarda ,

dmleri aracsz giri olmayan ve aracsz k veremeyen niteler vardr. ekil 4.10 'de

ok katmanl perceptronun genel yaps verilmitir. ekil 4.11'de ise ok katmanl

perceptronda gizli katmann etkisi gsterilmitir.


3/9

ekil 4.10 ok katmanl perceptron yaps

ekil 4.11 ok katmanl perceptronda gizli katmann rol

ki katmanl alarda veriler girikatman tarafndan kabul edilirler. Aiinde yaplan ilemler

sonucunda k katmannda oluan sonu deer ilenen cevap ile karlatrlr. Bulunan

cevap ile istenen cevap arasndaki herhangi bir ayrlk varsa arlklar bu fark azaltacak

ekilde yeniden dzenlenir. Giriteki deer, arlklar uygun noktaya ulaana kadar deimez.

Hesaplanan klar istenilen cevaplarla karlatrlarak sonuta gerekirse hata iaret belirtilir.

Hata iareti gizli birimlerden kbirimine olan arlklar deitirmekte kullanlr. Ama bunu

yaparken girikatmanndan gizli katmana gelenin deitirilip deitirelemediini dnmek

gerekir. Gizli birimlerden ne tr bir k istendii bilinemeyecei iin gizli birimlerin

knda hata iareti verilmesi kolay bir ey deildir. Bunun yerine her bir birimin, k

biriminin hatalarna olan etkisi bilinmelidir. Bu hatal birim iin gizli birime bal olan k

birimlerinin hata iaretlerinin arlklar toplam alnarak yaplr. ok gizli katmana sahip

sistemlerde her sistemin hata iaretleri, bir nceki katmann dzeltilmi iaretlerinden

kartlarak ilem tekrarlanr. Sonu olarak arlk dzeltme ilemi k seviyesine bal

arlklardan balar ve ilem ters ynde, giri seviyesine varana kadar devam eder. Sonuta

sistem hatalar yapar, ama bu hatalardan bireyler renip isteneni bulana kadar ileme devam


4/9

eder. Bu ynteme "hatann geriye yaylmas algoritmas" (Error back-propagation algorithms)

denir. Yaplan alma da byk deerli saysal verilerle ilem gerekletirildiinden-baz

ufak dezavantajlarda dikkate alnarak- sonuca daha hzl yaklaan "hzl hatann geriye

yaylm algoritmas" kullanlmtr. Ksaca klasik hatann gerye-yaylm algoritmas

hakknda bilgi verildikten sonra dier alt blmler de hzl hatann geriye-yaylm algoritmas

incelenecektir.

4.6 Klasik Hatann Geriye Yaylmas Algoritmas ve GenelletirilmiDelta Kural

Hatann geriye yaylmas algoritmas, karesi alnmhata fonksiyonunu minimize eden

kodlu bir algoritma olup ve genelletirilmi delta kuraln eitme iin kullanlr. ekil

4.12'de mimarisi gsterilen algoritma, ana hatlaryla yledir:Her bir j biriminin k oju ekilde tanmlanr;

+===i

j

jijijjj ownetisexfnetfo )()( (4.1)

Burada oi; i. biriminin k wji; i biriminden j birimine balantnn arl, j; j biriminin

kutbu (bias) {i; k j birimine akan her i biriminin toplamdr. f(x) bir monoton artan ve

trevi alnabilen fonksiyondur. Pratikte bir lojistik aktivasyon fonksiyonu olarak f(x)=1/ 1 +

e-x(sigmoid) daha ok kullanlr.

ekil 4.12 Hatann geriye yaylmas algoritmasnn blok diyagram

m-boyutlu giri rntleri set edildiinde { ip= (ip1,ip2....ipn) ; p E P}'dir. Benzer ekilde

istenilen n- boyutlu k rntleri { tp= (tp1,tp2......tpn) p E P} belirtir. Burada; P:YSA

uygulanan iaret ekilsel v.b. rntleri verir.Bir grnt iin karesel hata (MSE) fonksiyonu Epu ekilde tanmlanr.

=.

2)(21

kj

pjpjp otE (4.2)


5/9

Ama uygun wjive qjseimiyle, E = p Eptoplam hatay yeterince kk yapmaktr. Buamac gerekletirmek iin, bir p P rnts ard arda ve rasgele biimde seilir. Daha sonra

wjive qjyle deitirilir;

ipi: Giriiaretinin i bileeni;

tpj: kvektrnn j bileeni;

opj: YSA uygulanan P rnt setinin rettii kise;

)(

)(

)(

j

p

jp

ji

p

jip

pjpjpj

E

w

Ew

ot

=

=

=

(4.3)

Burada : renme oran ad verilen kk bir pozitif sabit saylr. ayet gizli katman yok ise;

(4.3)nin son iki denkleminin sataraf hesaplanr, o zaman;

pjpjpj

pji

p

ji

pj

pj

p

ji

p

oto

E

w

o

o

E

w

E

==

=

)(

(4.4)

pi

ji

pj

i

pijip iw

oiseiwo =

= ; (4.5)

elde edilir. (4.4)n ikinci denklemi ve (4.5) ifadelerini (4.4)'n birinci denkleminde yerine

koyarsak;

pipj

ji

pi

w

E=

(4.6)

olur.

Gizli katman olduu zaman; Hata dzeyi sadece bir minimumdan olumaz, ayn zamanda

eitli minimumlar ierir. renmede en kk minimuma ulalmak istenir.

Bu durumda j. dmn lineer olmayan k;

==i

pjjijjjpj ownetpnetpfo )( (4.7)

eklindedir. Bu durumda;

pi

k

pkjk

jiji

j

ji

j

j

p

ji

poow

ww

netp

w

netp

netp

E

w

E=

=

=

(4.8)

)(' jjj

pj

pj

p

j

p

pj netpfnetp

o

o

E

netp

E

=

= (4.9)


6/9

ki durum var:1- opj YSA'nn k ise;

(4.4)n ikinci denklemini (4.9)'de yerine koyarsak,

)()( ' jjpjpjpj netpfot = (4.10)

bulunur.

2- Eer gizli katmanlarn kiaretinden bahsediliyorsa yani eleman keleman deilse;

k j

k

k

p

p

netp

netp

E (4.11)

eklinde ise,

=

k

kjpk

i

pjki

k pjk

pwow

onetp

E (4.12)

olur. Bulduumuz son ilemi (4.9)'de yerine koyarsak;

=k

kjpkjpj wnetpf )(' (4.13)

elde edilir. (4.12) denklemindeki (-) iareti, arlklarn ters ynde deitiini belirtir. Btn

yaptmz ilemleri ksaca zetleyecek olursak;

1. Genelletirilmi(delta) kural: p ji pj piiw = 2. kkatman elemanlar iin;pj pj pj j jt netp= ( ) ( )o f

3. Gizli katman elemanlar iin; pj j j pk kjk

netp w= f ( )

olur. lem elemannda, transfer (eik) fonksiyonu olarak "sigmoid" fonksiyonu kullanlrsa;

+

+=

i

owpj jpijieo

1

1 (4.14)

(netp wj ji pi ji

)= + o ifadesinin trevi alnr ve gerekli ksaltmalar yaplrsa;

)1( pjpjj

pjoo

netp

o=

(4.15)

bulunur. Bunu (4.14) de yerine koyarsak, keleman iin;)1()( pjpjpjpjpj ooot = (4.16)

elde edilir. (4.15)'i (4.13) de yerine koyarsak, gizli katman eleman iin;

=k

kjpkpjpjpj woo )1( (4.17)

bulunur. Yukarda toplam ierisinde gsterilen k'nn, j k birimine akan herbirim k

olduuna dikkat edilmelidir. Hesaplamay hzlandrmak iin momentum terimleri ( )

eklenirse, en genel halde kve gizli katman ifadeleri u ekilde olur:

)()1()()1(

tt

twotw

jppjjp

jippipjjip

+=+

+=+ (4.18)


7/9

Burada; t: renme saykllarnn saysn gsterir. () kk pozitif bir saydr.

4.7 Hzl Hatann Geriye Yaylm Algoritmas (Fast Backpropagation Algorithm) ve

Hzl Delta Kural (Fast Delta Rule)

ekil 4.12'de mimarisi gsterilen algoritma, tanh'e dayal hata fonksiyonunu minimize eden

bir algoritma olup, hzl delta kuraln eitme iin kullanlr. ekil 4.13'de ise fonksiyonun

kendisi verilmektedir.

ekil 4.13 Algoritmada kullanlan tanh(x) eik fonksiyonu

4.7.1 Hzl Delta Kural

Tek katmanl sinir alarnn eitimi genellikle aadaki denklemde tanmlanan nesnel

fonksiyon G()'nn, =

=m

k

kGG1

)()( eklinde ifade edilmesine baldr.

= ===

+=+=0 0

1 1,1

1,2

1

' )()1()()1()(n

i

n

i

ki

m

k

ki

m

k

eeEEG (4.19)

burada 222

1)( xx = ve 1(.) pozitif tanml, konveks ve heryerde diferansiyeli alnabilir

(trevi tanml) fonksiyon ve [0,1]. Gk() ise,

= =

=+=0 0

1 1,1,2 ,......,2,1)()1()()(

n

i

n

i

kikik mkeeG (4.20)

eklinde tanmldr. Bylece, denklem 4.19, denklem 4.20 (k=1,2,....,m) de yerine konup,

dzenli olarak kltlerek minimize edilir. Gradyen inimetodu genibir ekilde denklem

4.20'nin minimizasyonunu gerekletirmek iin kullanlr. An k analog ise, gradyen

-1

1

x


8/9

iniin adaki snaptik arlklar iin gncelletirilmi denklemi olan 4.21'deki ekli Ek1 de

aklanmtr.

kkpkpkp xww )(0

,1,, += (4.21)

+=

)(tanh)1()()( ,,,,0

, kpkpkpkpkp yyyy (4.22)

Yine Ek1'de belirtildii gibi, an k binary (ikili) snaptik arlklar ise, bu da denklem

4.21'deki gibi gncelletirilmitir.

))(1()( ,,

2

,

0

, kpkpkpkp yyy

= (4.23)

Hzl Delta Kural algoritmas izelge 4.2'de sunulan akdiyagramyla zetlenebilir.

Denklem 4.24'n minimizasyonunun alternatif bir formlasyonu binary ka sahip ileri-

besleme sinir alar iin ikinci-mertebeden algoritmalarn geliimine temel salad

(Karayiannnis, 1991; Karayiannis ve Venetsanopoulas, 1991). Bu formlasyon da G()'nn

)()( ,1

0

mi

n

i

GG =

= eklinde gzlemlenmesine dayanr.

=

==

=

+=00

1

2,

2

,11

,,1

)(2

1)()(

n

i

kiki

m

k

n

i

kiki

m

k

yyyyyG (4.24)

= =

=+=m

k

m

k

kikikikikimi niyyyyyG

1 10

2,

2

,,,,, ,........,2,1)(2

1)()( (4.25)

Denklem 4.24, her bir eleman yi,k, k=1,2,.....,m olmak zere sadece snaptik arlklarmatrisinin i'nci srasna bal olduundan, her bir i=1,2,.....,n0 iin 4.25'de belirtilen nesnel

fonksiyonu minimize ederek minimize edilebilir. Bu sonu snaptik arlklar matrisinin her

bir srasnn wi* , i=1,2,.....,n0olmak zere nesnel fonksiyon 4.25'i minimize ederek tahmin

edilebilmesini salar. Ak bir ekilde, Gi,m-1 () sadece (yk,xk), k=1,2,.....,m-1 eklinde

birlemelere baldr. Bu yzden, a, Gi,m-1 ()'yi minimize ederek (yk,xk), k=1,2,.....,m-1

eklinde birlemelere bal olarak eitilebilir. An snaptik arlklar Gi,m () 'y minimize

ederek yeni tanml indis (ym,xm) ile gncelletirilebilir. wi'nin Gi,m-1()'yi minimize edilerek(yk,xk), k=1,2,.....,m-1 armlarna bal olarak gncelletirilmi olduu varsaylarak wi


9/9

=wi,m-1 eklinde sonulanr. Snaptik arlklar matrisinin (w'nn) i'nci sras denklem 4.26'y

kullanarak, Gi,m-1()'yi minimize ederek (ym,xm) armyla gncelletirilir.

1,,

1,1

,1,,

)()(

=

== mii

i

mi

miimimimi ww

w

GwwHww

(4.26)

burada imi wG /)(, Gi,m()'nn wi'ye bal gradyeni, Hi,m() Hessian matrisi, renme

oran, pozitif bir gerek saydr.

izelge 4.2 Hzl Delta Kural'nn akdiyagramStartInitialize w with random values

Select =1

1 k=0 (arm says)E=0

2 kk+1x=xky=yk

=

=in

j

jiji xwy1

)(

iii

yye

=

[ ]iii ee tanh)1()(0 += (analog k)

)()1()(2

0iiii yyy

= (binary k)

xww iii )(0 +

=

=1

)(j

jiji xwy

=

+0

1

2)(2

1 n

i

ii yyEE

if: kEo; then: go to 1

Stop

4.7.2 Hzl Geriye Yaylm Algoritmas

Bu algoritma k=1,2,....,m iin 4.20'de belirlenen Gk() nesnel fonksiyonunu sral olarak

minimize etmesi Ek2 de ayrntl bir ekilde gsterilir. wpq snaptik arlklar iin gncel

denklem aadaki gibi elde edilir.

Documents

Yapay Sinir Ağları - 2 - Back Propogation - Geri Yayılım Algoritması - Türkçe Not