Predviđanje dotoka rijeke Cetine u akumulaciju Peruća ...intranet.fesb.hr/Portals/0/docs/nastava/kvalifikacijski/kvalifikacijski... · neuronske mreže u odnosu na tradicionalne

FAKULTET ELEKTROTEHNIKE STROJARSTVA I BRODOGRADNJE U SPLITU SVEUČILIŠTE U SPLITU

Kvalifikacijski doktorski ispit

Predviđanje dotoka rijeke Cetine u akumulaciju Peruća pomoću umjetne neuronske mreže

Petar Matić

Split, 2012.

Sadržaj:

1. UVOD ................................................................................................................................ 1

2. HIDROLOŠKI SUSTAV ................................................................................................... 3

2.1. Opis hidrološkog sustava ............................................................................................. 3

2.2. Modeliranje hidrološkog sustava ................................................................................. 5

2.3. Sliv rijeke Cetine ......................................................................................................... 6

3. UMJETNE NEURONSKE MREŽE .................................................................................. 8

3.1 Biološka osnova i razvoj umjetnih neuronskih mreža ................................................. 8

3.2 Svojstva umjetnih neuronskih mreža ......................................................................... 10

3.3 Vrste umjetnih neuronskih mreža .............................................................................. 11

3.3.1 Više-slojni perceptron ........................................................................................ 12

3.4 Treniranje umjetnih neuronskih mreža ...................................................................... 14

3.4.1 Lokalni algoritmi prvog reda – Algoritam propagacije greške unatrag ............. 14

3.4.2 Unaprjeđenja izvornog BP algoritma ................................................................. 16

3.4.3 Lokalni algoritmi drugog reda ............................................................................ 18

3.4.4 Levenberg-Marquardt algoritam za treniranje unaprijedne MLP mreže ........... 18

3.4.5 Globalni algoritmi za optimizaciju parametara mreže ....................................... 19

3.5 Primjena umjetnih neuronskih mreža u hidrologiji ................................................... 20

4. SUSTAVNI PRISTUP FORMIRANJU NEURONSKOG MODELA ZA PREDVIĐANJA U HIDROLOGIJI ............................................................................... 22

4.1. Prvi korak: Selektiranje podataka – određivanje izlazne varijable i koraka računanja 23

4.2. Drugi korak: Izbor ulaznih varijabli .......................................................................... 23

4.3. Treći korak: Obrada podataka ................................................................................... 24

4.4. Četvrti korak: Podjela podataka ................................................................................ 25

4.5. Peti korak: Izbor arhitekture mreže ........................................................................... 25

4.6. Šesti Korak: Identifikacija sustava pomoću neuronske mreže .................................. 26

4.6.1. Podešavanje strukture modela ............................................................................ 26

4.6.2. Kalibracija modela ............................................................................................. 27

4.6.3. Ispitivanje modela .............................................................................................. 28

4.7. Sedmi Korak: Ocjena kvalitete modela – kriteriji kvalitete ...................................... 28

5. FORMIRANJE NEURONSKOG MODELA ZA DNEVNO PREDVIĐANJE DOTOKA ........................................................................................................................ 31

5.1. Predviđanje dotoka u akumulaciju Peruća za jedan dan unaprijed............................ 31

5.1.1. Prikupljanje podataka ......................................................................................... 32

5.1.2. Podjela podataka ................................................................................................ 32

5.1.3. Određivanje ulaznih i izlaznih vektora za treniranje mreže ............................... 32

5.1.4. Identifikacija neuronskog modela ...................................................................... 33

5.1.5. Određivanje najboljeg modela ........................................................................... 35

5.1.6. Komentar rezultata eksperimenta ....................................................................... 36

6. ZAKLJUČAK .................................................................................................................. 38

Zahvala ..................................................................................................................................... 39

LITERATURA ......................................................................................................................... 40

P. Matić – Kvalifikacijski doktorski ispit

1

UVOD 1

1. UVOD

Prirodne pojave, kao što su tok vode, vjetar i slično, mogu se promatrati kao dinamički sustavi koji se opisuju modelima. Modeli općenito mogu biti kvalitativni i kvantitativni [51], pri čemu su za područje prirodnih i tehničkih znanosti od posebnog značaja kvantitativni, matematički modeli. Proučavanjem vodenih resursa, odnosno vode, njenom pojavom, tokom, razdiobom, ali i modeliranjem, bavi se grana znanosti koja se zove hidrologija. S obzirom na ograničenu količinu i dostupnost, racionalno raspolaganje vodom je uvijek potrebno, neovisno o njenoj primjeni. Kako bi se optimizirala uporaba vodenih resursa, koriste se hidrološka predviđanja koja se temelje na hidrološkim modelima, pri čemu je općenito moguće razlikovati fizikalne (konceptualne) i statističke modele. U prošlosti su se za hidrološka predviđanja najčešće koristili statistički modeli vremenske serije. Naime, prema teoremu Florisa Takensa (delay embedding theorem), vremenske serije mogu se modelirati i koristiti za predviđanje čak i u slučaju podataka s obilježjem kaosa [29] te su kao takve uvelike zastupljene u modeliranju hidroloških procesa. Međutim, klasični modeli vremenske serije pretpostavljaju linearne odnose ulaznih i izlaznih varijabli, a s obzirom da je hidrološki sustav izrazito nelinearan [64], pogreška koja nastaje korištenjem spomenutih modela je neizbježna. Problem aproksimacije nelinearne funkcije do sada se u velikom broju slučajeva uspješno rješavao primjenom umjetnih neuronskih mreža [23] pa se pokušaj modeliranja hidrološkog sustava pomoću neuronskog modela činio sasvim opravdanim. Neuronske mreže predstavljaju alternativno rješenje koje je zapravo slično statističkim modelima jer za modeliranje sustava koriste samo izmjerene vrijednosti ulaznih i izlaznih varijabli. Neuronska mreža, kroz proces treniranja podešava svoje parametre kako bi se ulazne varijable ispravno preslikale u izlazne. Kada proračun izlazne varijable postane dovoljno točan, treniranje se zaustavlja i smatra se da je mreža naučila uzorak ponašanja sustava samo iz predloženih podataka, bez ikakve specifične informacije o samom sustavu. S obzirom na svojstva hidroloških sustava, nelinearnost, složenost i čest slučaj nepoznavanja određenog dijela sustava, jasno je da postupak formiranja modela pomoću umjetne neuronske mreže može predstavljati značajan doprinos modeliranju hidroloških sustava [1]. Kvaliteta modela i točnost predviđanja koja model ostvaruje ocjenjuju se primjenom različitih kriterija kvalitete koji mjere odstupanje odziva modela od stvarne, izmjerene vrijednosti. Pored usporedbe s mjerenim vrijednostima, u nekim radovima uspoređivani su i rezultati dobiveni primjenom različitih modela, fizikalnih, statističkih i alternativnih, odnosno neuronskih modela. U radovima [10], [30], [39], [44], [54], [59], [65], [73] napravljena je usporedba neuronskih i statističkih modela, a u radovima [18] i [25], neuronskih, statističkih i fizikalnih modela, dok se usporedba neuronskih i fizikalnih modela može pronaći u [53], [8], [13], [40]. U većini slučajeva može se zaključiti superiornost predviđanja pomoću umjetne neuronske mreže u odnosu na tradicionalne fizikalne i statističke modele. Također, pregledni radovi [2], [49] i [50] ističu dobra prediktivna svojstva umjetnih neuronskih mreža, ali i naglašavaju nedostatak sustavnog pristupa formiranju neuronskog modela za hidrološka predviđanja. Sustavni pristup bi podrazumijevao podjelu postupka


2

UVOD 1

formiranja neuronskog modela u određeni broj dobro definiranih koraka, kao što je to i učinjeno u prethodno spomenutim radovima. Međutim, pri tom je svaki korak postupka moguće provesti na više različitih načina, odnosno primjenom različitih metoda. Postojanje više metoda za rješavanje jednog koraka postupka čini postupak fleksibilnim, ali i složenim jer je potrebno odrediti optimalnu metodu za svaki korak postupka. Zbog spomenute fleksibilnosti procesa formiranja neuronskog modela obično se savjetuje formiranje „Prvog modela“ primjenom najčešće korištenih, provjerenih postupaka. Ovaj „Prvi model“ se kasnije dorađuje tako što se kroz istraživanje odredi optimalna metoda za rješavanje svakog koraka u postupku formiranja neuronskog modela. Također, s obzirom da varijable za modeliranje dotoka moraju biti pažljivo odabrane, tako se za formiranje „Prvog modela“ za predviđanje protoka savjetuje primjena samo varijable protoka, što tada postaje specifičan slučaj modeliranja vremenske serije. Predmet razmatranja ovog rada je sliv rijeke Cetine, najznačajniji i tehno-ekonomski najvažniji sliv u Hrvatskoj prema godišnjoj proizvodnji energije te raspoloživoj snazi i odgovarajućim regulacijskim mogućnostima. U cijelom sustavu najosjetljivija je akumulacija Peruća, čiji je ukupni akumulacijski volumen nedovoljan da obuhvati sve vode u prosječnoj hidrološkoj godini. Primjenom kratkoročnih hidroloških prognoza dotoka u realnom vremenu moglo bi se izbjeći negativne utjecaje pojave velikih vodenih valova i pomoći u rješavanju osnovnih problema kratkoročnog (dnevnog) planiranju rada sliva. Trenutno se na HES-u Cetine ne primjenjuje niti jedan model hidrološkog prognoziranja dotoka. Prognoziranje dotoka koje se trenutno primjenjuje, temelji se na zabilježenim oborinama s jedne meteorološke postaje i iskustveno zabilježenim odnosima između padalina i promjene toka [32] pa je jasno da bi model koji bi osigurao točne i pouzdane, pravovremene prognoze dotoka unaprijedio rad HES-a Cetine. Cilj ovog rada je formirati spomenuti takozvani „Prvi model“ koji bi poslužio kao polazišna točka za razvoj složenijeg modela za predviđanje dotoka više dana unaprijed. Model za dnevno predviđanje dotoka u akumulaciju Peruća za jedan dan unaprijed (Prvi model) formiran je na temelju podataka o dotoku zabilježenom u mjernoj postaji Vinalić. Cjeloviti postupak formiranja modela opisan je u petom poglavlju ovog rada. Proveden je eksperiment za određivanje najboljeg modela, a pored rezultata istraživanja, komentirani su i detalji provedenog eksperimenta koji s razlogom nisu prikazani u samom radu. Modelirani hidrološki sustav i osnovni pojmovi iz područja hidrologije opisani su u drugom poglavlju. U trećem poglavlju ukratko su predstavljene umjetne neuronske mreže, njihova biološka osnova i razvoj, struktura mreže te postupak treniranja. Opisana je i osnovna arhitektura (više-slojni perceptron) i Levenberg-Marquardt algoritam koji se koriste za formiranje modela u ovom radu. Sustavan pristup postupku formiranja neuronskog modela za hidrološka predviđanja predstavljen je u četvrtom poglavlju ovog rada. Zaključak koji proizlazi iz rezultata istraživanja provedenog u ovom radu kao i nagovještaj budućeg rada opisani se u šestom poglavlju. Na samom kraju dat je popis referentne literature koja je korištena u pisanju ovog rada.


3

HIDROLOŠKI SUSTAV 2

2. HIDROLOŠKI SUSTAV

Hidrološki sustavi su izrazito složeni sustavi koje opisuje veliki broj različitih varijabli. Odnosi među pojedinim varijablama su najčešće nelinearni, a dodatan problem je taj što pojedine osobine sustava često nisu poznate. Spomenuta svojstva sustava predstavljaju problem u modeliranju, naročito ukoliko se radi o modeliranju za potrebe predviđanja. Vodeni resursi se mogu koristiti regulirano i neregulirano. Voda se koristi regulirano u slučaju postojećih prirodnih ili umjetnih akumulacija na slivu, a neregulirano kad akumulacije ne postoje. U oba slučaja racionalno raspolaganje vodom je potrebno, bilo da se radi o optimiranju rada hidro-električnih centrala, vodoopskrbi ili izbjegavanju, odnosno ublažavanju posljedica elementarnih nepogoda i slično. Kako bi se optimiziralo uporabu vodenih resursa, koriste se hidrološka predviđanja koja se temelje na hidrološkim modelima. U hidroelektričnim centralama (hidroelektranama, HE) planiranje i vođenje procesa proizvodnje električne energije oslanja se na vođenje vodenih resursa. Količina vode u akumulaciji, odnosno njen energetski ekvivalent, utječe na formiranje cijene energije na tržištu. Odluka o proizvodnji električne energije donosi se na temelju postojeće količine, predviđenog dotoka, tržišne cijene i potražnje pa je pouzdano predviđanje dotoka vode od velike važnosti [25]. Razlog tome leži u činjenici da se proizvod, električna energija, ne može pohraniti kako bi bila dostupna u određenom trenutku, ali ono što se može pohraniti je prirodni resurs, voda.

2.1. Opishidrološkogsustava

Voda u prirodi cirkulira u zatvorenom ciklusu, kao što to prikazuje slika 1. Voda isparava i u višim dijelovima atmosfere formiraju se oblaci. Pod odgovarajućim uvjetima dolazi do padalina, koje ovisno o temperaturi mogu biti kiša ili snijeg (uz iznimnu pojavu tuče - leda). Ako pada snijeg, akumulira se na zemlji, a akumulirana količina snijega se promatra kao spremnik snijega. Vodeni ekvivalent snijega je promjenjivog iznosa i ovisi o koeficijentu vlažnosti snijega. Voda koja nastaje padanjem kiše ili otapanjem snijega povećava koncentraciju vode u zemlji i uzrokuje nadzemne i podzemne tokove koji čine dotok vode u akumulacije. Dio vode koji padne u obliku kiše se gubi kroz isparavanje (evaporation), pri čemu se u hidrologiji koristi termin evapotranspiracije (evapotranspiration) koji obuhvaća osnovno isparavanje vode iz zemlje i isparavanje sa biljaka. Intenzitet isparavanja ovisi o temperaturi, snazi vjetra, vlažnosti zemlje i vlažnosti zraka. Pored isparavanja, dio vode se može izgubiti i kroz podzemne tokove. Kod krškog reljefa1 gubitak vode uslijed isparavanja je znatno manji, zbog relativno brzog poniranja vode u zemlju, ali je zato gubitak vode zbog poniranja dodatno izražen.

1 Krš je osobit reljef s posebnim, pretežno podzemnim tokom vode kroz topljive stijene: vapnenac, dolomit, sadru (gips), kredu i halit. Na Zemlji se 20 - 25 posto kopna nalazi pod kršem. Krš u Hrvatskoj obuhvaća površinu od oko 26.000 km2, gotovo cijeli južni dio Hrvatske, odnosno oko polovice njezinog ukupna teritorija. [78]

P. Matić

Hidrolootjecanjpovršinejezera, z Otjecanj

- Kz

- Gj

- G- B- A

i Zbog vrotjecanj Protok jedinici dnevni p Jedno ociklusimsustava.

– Kvalifikac

oška razmatrjem se može s koje se zove se sliv

nje je promje

Klimatskih zemlje i sličGeografskihjezera, močGeološki (gBioloških (bAntropogenizgradnja i

rlo velikog je, ono se m

je hidrološvremena. P

protok. Za v

od osnovnma ili serijam.

cijski doktors

ranja najčešže nazvati o

voda slijevv [78].

enjivo u vre

(oborine, čno). h (veličina čvare, ledenjgeološke znabiljni pokrivnih (čovjekslično).

broja različmože prihvat

ška veličinaPrema odabveće količin

ih svojstavma [78] i po

ski ispit

Slika 1 H

šće se odnoonaj dio obova prema gl

emenu i na n

isparavanja

i oblik slijaci i sličnoačajke terenvači, biocen

kovi zahvat

čitih utjecajtiti kao sluč

a koja mjebranoj jedinne vode obič

va hidrološosebno je v

4

Hidrološki c

ose na povrorina koji slavnome vo

njega utječu

a, tempera

ivova, reljeo). na, propusnonoza,…) ti u vodeni

a na postančajna varijab

eri otjecanjenici vremenčno se rabi j

ških pojavavažno za pre

ciklus [77]

ršinsko otjese pojavljujodotoku te p

u razni čimb

ature, vjetro

ef, gustoća

ost terena,…

im resursim

nak hidrološbla [79].

e, a označana razlikujujedinica (m

a je cikličnedviđanje vr

HIDRO

canje vode e kao vodo

potom ulazi

benici, popu

ovi, vlažno

riječne mre

…).

ma, poljopr

ških veličin

ava količinu se sekund

3/s) [78].

nost, odnorijednosti va

OLOŠKI SU

(runoff). Ootok, a dio i u oceane,

ut:

ost zraka,

eže, zalihe

rivredne ak

na kojima se

nu protekle dni, minutni

osno ponavarijabli hidr

USTAV

Općenito, kopnene mora ili

vlažnost

snijega,

ktivnosti,

e opisuje

vode u i, satni i

vljanje u rološkog

2


5


2.2. Modeliranjehidrološkogsustava

Razvojem hidrometrijskih instrumenata te metoda i načina mjerenja došlo se do vrlo velikog broja osnovnih hidroloških podataka [78], koji se u novije vrijeme sustavno pohranjuju u baze podataka na računalu. Ti podaci omogućavaju formiranje simulacijskih modela hidroloških sustava koji se mogu koristiti za optimiranje rada sustava. Općenito se u području prirodnih i tehničkih znanosti koriste matematički modeli koji se mogu odrediti teoretskom, eksperimentalnom ili kombiniranom analizom. Teoretska analiza se provodi kako bi se odredio skup jednadžbi koje opisuju osnovne fizikalne procese koji se odvijaju u razmatranom sustavu pa se ovakav model naziva još i fizikalni model sustava. Eksperimentalno određivanje matematičkog modela provodi se identifikacijom, na temelju skupa mjerenih vrijednosti ulaznih i izlaznih signala sustava. Model dobiven identifikacijom sustava, iako ne daje uvid u fizikalna zbivanja u sustavu, jednostavniji je od fizikalnog modela i bolje opisuje ulazno-izlazno vladanje sustava, što ga čini prikladnim za različite tehničke primjene poput vođenja, ali i za predviđanje budućeg vladanja sustava. Praktično gledano, moguće je razlikovati kratkoročno i dugoročno predviđanje. Velike akumulacije ili sustavi akumulacija s visokim stupnjem mogućnosti izravnavanja voda zahtijevaju dugoročne prognoze. Sustavi s manjim akumulacijama koje omogućavaju dnevno ili tjedno izravnavanje vode posebno su zainteresirani za kratkoročne prognoze koje najčešće podrazumijevaju informacije protoka (dotoka) do 7 dana unaprijed. Za hidrološka predviđanja najčešće se koriste modeli vremenske serije2 i to Auto-Regresivni (AR), Integracijski (I) i Moving Average (MA) modeli, kao i njihove kombinacije. Na temelju izmjerenih podataka moguće je formirati statistički model vremenske serije koji na temelju „ponašanja“ varijable u prošlom vremenu mogu predvidjeti njene buduće vrijednosti s relativnom točnošću. U nastojanju da se unaprijede prognostičke sposobnosti modela, odnosno poveća točnost i predikcijski horizont, model formiran na temelju mjerenih vrijednosti hidroloških varijabli se može proširiti mjerenim vrijednostima meteoroloških i drugih fizikalnih varijabli pa tako nastaju ARMAX (Auto-Regressive Moving Average eXogenous) modeli. Također, pored mjerenih vrijednosti moguće je koristiti i prognozirane vrijednosti različitih hidroloških i meteoroloških varijabli kako bi se povećao predikcijski horizont, kao u [57], [69], [75]. Najčešće korišteni modeli u hidrologiji koji se koriste za predviđanje toka su ARMA (Box–Jenkins model), definiran izrazom (1), koji se identificiraju zabilježenim podacima o protoku. Pritom se kao korak računanja (k), ovisno o potrebama za koje se predviđanje radi, može uzeti sat, dan, tjedan, mjesec, godina i slično.

1 1

p q

k k i k i i k ii i

X c X

(1)

2 Vremenska serija (Time series) predstavlja niz mjerenja ili opažanja koja su napravljena u određenom nizu

vremenskih intervala. Model vremenske serije (Time series model) predstavlja model kojim se predviđaju vrijednosti u budućnosti na bazi vrijednosti u prošlosti.

P. Matić

Model soznačenšum, λi linearni vremens

2.3

Kao štokoje kobazena akumulase zatimvodu dakumulaprosječnhidroeleCetine. Prančevjedan dipreradi ZakučacKraljeva

– Kvalifikac

se označavani članovi vi θi su para odnos mske serije hi

. Sliv

o je prikazanoriste vodu

(Lipa. Đaleacije Peruča

m iskoristiladobiva iz acijom Bušno 2 sata kaektrana koj

Voda kojuvića, u normio ispušta dHE Kraljev

c ne može ac.

cijski doktors

a sa ARMAvremenske sametri dobiv

među varijabidrološke va

vrijekeCe

no na slici iz dvije vee i Prančeva, koja nako

a u HE Đalekompenzac

ško Blato. ašnjenja, u ka iskorištavu preradi H

malnoj situadalje u Cetivac s agregprimiti svu

ski ispit

A (p, q), gdjserije (hidroveni identifblama. Priarijable (X)

etine

2 i opisanolike akumu

vići). HE Peon prosječne i HE Zakucijskog bazVoda prop

kompenzaciva vodu prHE Đale iciji, veći diinu radi odrgatom biolou vodu koja

Slika 2 S

6

dje je p red ološke varijfikacijom. Nimjena umj bi takav ne

o u radu [31ulacije (Perueruča je pri

no 7 sati dođučac. HE Ozena Lipa

puštena kroijskom baze

ristiglu iz Hispušta se io vode se iržavanja bio

oškog minima pristigne u

Sliv rijeke C

AR dijela, jable), c je

Nedostatak jetne neuroedostatak ot

1], na Cetinuča i Buškoibranska hidđe do komp

Orlovac je de, povezano

oz HE Orloenu Đale. HHE Peruča,u kompenspušta u derološkog mimuma. U slu Prančević

Cetine [31]

HIDRO

a q je red Mkonstanta,

ovih modelonske mrežtklonila.

i je u pogono Blato), tedroelektrana

penzacijskogerivacijska og reverzibovac takođeHE Đale je p

HE Orlovzacijski barivacijsku Hnimuma. Tlučaju velikće, višak se

OLOŠKI SU

MA dijela. ε predstav

la je pretpože za mod

nu 5 hidroee 3 kompena, a koristi g bazena Đhidroelektrbilnim kaner završavapribranska pvac, te međazen PrančeHE Zakučac

Taj dio vodekih dotoka, e ispušta pr

USTAV

Sa X su lja bijeli stavljeni deliranje

elektrana nzacijska

vodu iz ale da bi ana koja

nalom s a, nakon protočna đudotoka evići. Iz c, dok se e kasnije kad HE

rema HE

2


7


Sliv rijeke Cetine je prema godišnjoj proizvodnji energije, te raspoloživoj snazi i odgovarajućim regulacijskim mogućnostima na svim vremenskim razdobljima, daleko najznačajniji i tehno-ekonomski najvažniji sliv u Hrvatskoj. Na osnovu godišnjeg plana, predviđenih dotoka i konkretnog stanja elektroenergetskog sustava (EES-a), u Nacionalnom dispečerskom centru (NDCu) se pripremaju odgovarajući tjedni planovi rada sliva Cetine u sklopu tjednih planova rada cijelog sustava. Tjednim se planom rada određuje okvirna dinamika korištenja akumulacijskih bazena Peruča i Buško Blato odnosno ukupni energetski doprinosi pojedinih elektrana u slivu po danima. U cijelom sustavu HES-a Cetine najosjetljivija je akumulacija Peruća jer je njen ukupni akumulacijski volumen nedovoljan da obuhvati sve vode u prosječnoj hidrološkoj godini. Primjenom kratkoročnih hidroloških prognoza dotoka u realnom vremenu, osiguravanjem dovoljnog zališnog prostora unutar akumulacije za prihvaćanje prognoziranog vodenog vala i pravilnim upravljanjem HE Peruća u okviru HES-a Cetine moglo bi se izbjeći negativne utjecaje pojave velikih vodenih valova [32]. Trenutno se na HES-u Cetine ne primjenjuje niti jedan model hidrološkog prognoziranja dotoka. Prognoziranje dotoka koje se trenutno primjenjuje, temelji se na zabilježenim oborinama s jedne meteorološke postaje i iskustveno zabilježenim odnosima između padalina i promjene toka [32] pa je jasno da bi model koji bi osigurao točne i pouzdane, pravovremene prognoze dotoka unaprijedio rad HES-a Cetine. Za napomenuti je kako sliv rijeke Cetine ima obilježje krša kod kojeg postoji posebno izražen problem gubitka vode zbog poniranja, ali i dotoka takvih voda u akumulaciju, zbog čega takav sustav postaje dodatno zahtjevan za modeliranje i predviđanje.


8

UMJETNE NEURONSKE MREŽE 3

3. UMJETNE NEURONSKE MREŽE

Umjetne Neuronske Mreže, UNM (Artificial Neural Networks, ANN) predstavljaju tehnologiju koja potječe iz različitih grana znanosti kao što su neurologija, matematika, statistika, fizika, računarstvo, a nalazi primjenu u modeliranju, raspoznavanju uzoraka, obradi signala, vođenju sustava i drugdje, upravo zbog osobite sposobnosti učenja iz podataka [37].

3.1 Biološkaosnovairazvojumjetnihneuronskihmreža

Mozak živih bića se može interpretirati kao izrazito složen, nelinearan, paralelan sustav za obradu informacija koji složene funkcije može obavljati mnogo brže od najbržeg digitalnog računala [37]. Iako je ova konstatacija izrečena prije više od jednog desetljeća, a digitalna računala u međuvremenu znatno napredovala, u malo blažoj varijanti vrijedi i danas. Obavljanje jednostavnih aritmetičko-logičkih zadataka za digitalno računalo ne predstavlja problem, ali brzinu obavljanja relativno složenih funkcija poput vizualizacije objekta i/ili interakcije s okolinom, koje mozak živih bića obrađuje u milisekundi, digitalno računalo ne može nadmašiti. S obzirom da tehnologija uglavnom nastaje iz čovjekove potreba oponašanja prirodne tvorevine, zadivljujuća svojstva bioloških neuronskih mreža potakla su znanstvenike na formiranje umjetnog neuronskog sustava koji bi bio sposoban za slične pothvate. Mozak živih bića se sastoji od velikog broja žičanih stanica, neurona. Na temelju informacija koje pristižu u mozak (podražaja) uspostavljaju se međuneuronske veze i nastaju biološke neuronske mreže. Uspostavljanjem međuneuronskih veza mozak zapravo formira vlastita pravila, odnosno svoju sliku (model) okoline. Ovaj proces se naziva stjecanje iskustva i kod živih bića (ljudi) se najintenzivnije odvija u najranijoj životnoj fazi, ali se nastavlja i kasnije kroz cijeli život. Biološke neuronske mreže se jačanjem međuneuronskih veza specijaliziraju za obavljanje određenih funkcija, oblikuju se, a mogućnost oblikovanja prema okolini je ono što neuronski sustav čini adaptivnim. Po uzoru na biološke neuronske mreže nastale su umjetne neuronske mreže (UNM) koje se sastoje od određenog broja međusobno povezanih umjetnih neurona, osposobljenih za obavljanje određene funkcije. Umjetni neuroni su vrlo jednostavna aproksimacija bioloških neurona koji se mogu izraditi kao elementi računalnog programa ili kao fizički elementi od silicija [35], odnosno elektroničke komponente [37].

U nastojanju da se što preciznije, ali i što jednostavnije opiše umjetna neuronska mreža, možda bi najbolje bilo prenijeti definiciju Aleksandera Mortona (1990), prema kojem je „Neuronska mreža masivni paralelni distribuirani sustav za obradu podataka koji se sastoji od jednostavnih elemenata i ima prirodnu sklonost pohranjivanja iskustvenog znanja koje potom može i koristiti, a sličan je mozgu prema načinu na koji stječe i pohranjuje znanje. Neuronska mreža znanje stiče kroz proces učenja, a pohranjuje ga posredstvom intenziteta međuneuronskih veza.“ [37]

UNM zapravo predstavljaju pojednostavljeni matematički model procesa koje obavljaju mreže živčanih stanica, odnosno biološke neuronske mreže, a sastoji se od skupa međusobno


9


povezanih umjetnih neurona čiji se konačan oblik formira nakon završenog procesa učenja kojim mreža stječe znanje o rješavanju određenog problema. Znanje koje mreža posjeduje sadržano je u intenzitetu međuneuronskih veza. Razvoj neuronskih mreža se odvijao u valovima, skokovito i popraćen je fazama izrazitog entuzijazma, ali i fazama gotovo potpunog odbacivanja. Ipak, ukupni trend razvoja umjetnih neuronskih mreža je itekako pozitivan. Ono što vjerojatno predstavlja začetak ideje o umjetnim neuronskim mrežama je interdisciplinarni rad sa kraja 19-og i početka 20-og stoljeća znanstvenika iz područja fizike, psihologije i neuropsihologije. Tada su se Hermann von Helmholtz, Ernst Mach i Ivan Pavlov, bavili općenitim teorijama učenja, razmišljanja, uvjetnog donošenja odluke i sličnim problemima [35]. Suvremen model UNM-a nastaje ipak nešto kasnije, 1940-ih godina, kada znanstvenici Warren McCulloch i Walter Pitts, objavljuju radove o mogućnosti rješavanja bilo koje logičke ili aritmetičke funkcije pomoću neuronske mreže. Njihove radove prate i drugi znanstvenici pa tako Donald Hebb 1949-e definira učenje biološkog neurona, poznato kao Hebbianovo pravilo. Prva praktička primjena UNM-a bilježi se kasnih 1950-ih godina i vezuje uz Franka Rosenblatta, izumitelja Perceptrona i pripadajućeg pravila za treniranje takve mreže (Perceptron network). Rosenblatt je zajedno sa svojim kolegama razvio prvi Perceptron sa sposobnošću raspoznavanja uzoraka (pattern recognition) i time potakao interes šire znanstvene zajednice za istraživanjem neuronskih mreža. Kasnije je pokazano kako osnovni model Perceptrona posjeduje niz ograničenja, a 1969 Marvin Minsky i Seymour Papert objavljuju knjigu u kojoj opisuju ograničene mogućnosti ovog tipa neuronskih mreža. Ova je knjiga imala snažan utjecaj na znanstvenike koji su se bavili istraživanjem neuronskih mreža i potakla mnoge da napuste to područje. Spomenuta ograničenja, ali i nepostojanje odgovarajuće opreme za napredna istraživanja usporila su razvoj UNM-a. Iako su cijelo desetljeće neuronske mreže bile zapostavljene, upravo u tom periodu, 70-ih godina 20-og stoljeća, nastaju neka važna otkrića u ovom području. U tom periodu nastaju samo-organizirajuće mape (SOM, Self-organizing Maps) poznate još kao Kohonenove mape, ili Kohonenove mreže, a svojim radovima, pored tvorca SOM mreže Teuvo Kohenena, ističu se i James Anderson te Stephen Grossberg. 1980-e godine obilježene su razvojem naprednih i lako dostupnih digitalnih računala koja su zasigurno označila prekretnicu u mnogim područjima znanosti. Napredak računalne tehnologije označio je početak novog doba i za neuronske mreže koje su u PC računalima dobile dovoljno dobre, sveprisutne platforme za svoj razvoj. Ključan trenutak u povijesti neuronskih mreža predstavlja razvoj algoritma propagacije greške unatrag (error backpropagation algorithm) za treniranje unaprijedne neuronske mreže, odnosno razvoj BPNN neuronske mreže (backpropagation neural network). BPNN je nastajala postepeno, nizom pokušaja različitih znanstvenika u različitim stupnjevima razvoja i dostupnosti tehnologije pa je teško imenovati jednu osobu kao utemeljitelja. Pojam rasprostiranja unatrag (backpropagation) prvi put koristi Frank Rosenblat, 1962. godine


10


prilikom pokušaja formiranja općenitog pravila za treniranje perceptrona s više slojeva ili višeslojnog perceptrona (Multi Layered Perceptron, MLP), a osnovnu ideju suvremenog BP algoritma prvi je primijenio Paul Werbos, 1974-e u svojoj disertaciji „Bayond Regresion“. U istom smjeru, gotovo paralelno rade i David Parker, David Rumelhart te James McClelland a konačnu formu i primjere primjene BP algoritma za treniranje neuronske mreže objavljuju Rumelhart, Hinton i Williams 1986-e godine u knjizi Back Propagation: Theory, Architectures and Applications. BP algoritam detaljnije je objašnjen u poglavlju 3.4.1 ovog rada. Daljnji napredak računalne tehnologije te sve intenzivnija komunikacija koju uvelike pomaže i sve veća dostupnost Interneta, olakšala je proces integracije znanja, općenitog, ali i znanja iz područja UNM-a. Pa tako tijekom 1990-ih godina nastaju i neki od najiscrpnijih izvora informacije o ideji, razvoju i primjeni neuronskih mreža. Među primarnim izvorima ističu se radovi autora Simon Haykin, James Anderson, Christopher Bishop, Laurene Fausett, Raul Rojas. Grupa autora Hagan, Demuth, Beale surađuje s tvrtkom MathWorks, Inc. i sustavno od 1992-e do danas radi na razvoju alata i pripadajuće literature za kreiranje UNMa, a osim priručnika za formiranje neuronskih mreža u MATLAB-u ista grupa autora objavljuje i knjigu Neural Networks Design, 1996-e godine, koja kasnije doživljava i niz reizdanja. Programski paket MATLAB i pripadajuća literatura uvelike je pomogla i nastajanje ovog rada.

Doprinos razvoju neuronskih mreža su u 20-om stoljeću dali mnogi fizičari, matematičari, biolozi, psiholozi, neurolozi, elektrotehničari, automatičari, računarci, ekonomisti i drugi znanstvenici. U 21-om stoljeću neuronskim mrežama se bave znanstvenici gotovo svih znanstvenih područja, polja i grana, širom svijeta. Rezultat toga je nepregledan broj radova s različitim primjenama neuronskih mreža u rješavanju specifičnih problema iz različitih znanstvenih područja. Konačno, može se reći kako su zapravo dva ključna faktora, algoritam propagacije greške unatrag i razvoj digitalnih računala, usmjerila razvoj neuronskih mreža prema onome što UNM jesu danas, fleksibilan i lako primjenjiv alat za rješavanje problema kod kojih uobičajeni postupci ne daju najbolje rezultate. Također, za očekivati je da neuronske mreže nastave profitirati razvojem tehnologije pa se može zaključiti kako se radi o bogatom izvoru ideja koje mogu ponuditi dobra rješenja, ako ne danas, možda već sutra.

3.2 Svojstvaumjetnihneuronskihmreža

Neuronske mreže posjeduju niz svojstava koja ih čine više nego prihvatljivim rješenjem za čitav niz problema. Među najvažnije spadaju:

(a) Učenje na temelju predstavljanja ulazno-izlaznih parova (input-output mapping). S obzirom da su poznate ulazne vrijednosti i željene izlazne vrijednosti moguće je odrediti pogrešku, odnosno razliku između odziva mreže i željenog odziva te obaviti korekciju parametara mreže kako bi se u slijedećoj iteraciji postigla što manja pogreška. Ovaj se postupak zove učenje pod nadzorom (supervised learning). Pored učenja pod nadzorom postoji i učenje bez nadzora (unsupervised learning), a mreže koje korist ovakav način treniranja se zovu samo-organizirajuće mape (SOM, Self Organizing Maps) i spadaju u posebnu skupinu UNM-a.

(b) Adaptivnost slijedi izravno iz svojstva učenja i označava sposobnost mreže da se prilagodi okolini, odnosno sposobnom da se oblikuje za rješavanje zadanog problema.


11


(c) Univerzalni aproksimator se naziva svojstvo koje omogućava mreži da aproksimira bilo koju kontinuiranu funkciju s relativnim stupnjem točnosti.

(d) Nelinearnost je definirana svojstvom neurona, odnosno aktivacijske funkcije koju neuron koristi. Mreža sastavljena od neurona koji koriste nelinearnu aktivacijski funkciju imat može aproksimirati nelinearne kontinuirane funkcije.

(e) Generalizacija se može interpretirati kao sposobnost mreže da iz predloženih primjera izvuče opće, generalno pravilo, odnosno zapamti funkciju po kojoj se ulaz preslikava u izlaz i tako bude u stanju riješiti primjere koje nije upoznala za vrijeme treniranja, naravno s relativnom točnošću.

(f) Navedena svojstva međusobno se usko povezana i predstavljaju izravnu posljedicu masivne paralelne distribuirane strukture neuronske mreže što većina autora i navodi kao osnovno svojstvo neuronskih mreža. Kao što je objašnjeno u [58] prednost neuronskih mreža u odnosu na konvencionalna računala je u paralelnom prihvaćanju informacija s više ulaza i njihovoj raspodijeljenoj obradi (parallel distributed processing). Informacija se u neuronskoj mreži nalazi raspodijeljena što je potpuno suprotno načinu na koji računala spremaju informaciju u memoriju, dakle koncentrirano.

(g) Svojstvo raspodijeljene pohrane informacije daje neuronskim mrežama više prednosti od kojih je najvažnija redudandnost [58], odnosno otpornost na kvar (fault tolerance), zbog koje neuronska mreža može raditi čak i ako se jedan njen dio pokvari [37].

Na temelju osnovnih svojstava može se zaključiti kako se modeliranje sustava pomoću UNM temelji na podacima (data driven technique) što omogućava modeliranje sustava kod kojih nisu točno poznati svi odnosi među pojedinim varijablama, ali je moguće definirati ulazne i izlazne varijable te provesti njihova mjerenja. U početnom trenutku, neuronska mreža nema informacije o načinu rada sustava koji modelira, odnosno ne poznaje odnose među varijablama. Ona upoznaje sustav kroz postupak učenja, odnosno traži funkcijsku povezanost ulaznih i izlaznih varijabli i pri tom iterativno podešava intenzitet međuneuronskih veza dok ne postigne željenu razinu točnosti. Ovakav postupak formiranja modela sustava može predstavljati značajan doprinos modeliranju hidroloških sustava kod kojih nisu uvijek poznata sva obilježja sustava [1], ali je moguće provesti mjerenja ključnih varijabli.

3.3 Vrsteumjetnihneuronskihmreža

Istraživanjem umjetnih neuronskih mreža danas se bavi veliki broj znanstvenika iz raznih znanstvenih područja, a rezultat njihovog rada je veliki broj različitih neuronskih mreža koji se mogu razlikovati prema tipu neurona od kojih su građene, po načinu na koji su neuroni povezani ili po algoritmu koji se koristi za podešavanje međuneuronskih veza. Najpoznatiji i najčešće korišteni tip umjetne neuronske mreže je višeslojni perceptron (MLP), slijede neuronske mreže s prijenosnom funkcijom radijalne baze (RBF, Radial Basis Function), samo-organizirajuće mape (SOM, Self-Organising Map), GRNN (Generalized Regression Neural Networks), RNN (Recurrent Neural Networks), SVM (Support Vector Machines), TNN (Temporal Neural Networks), Neuro-fuzzy i druge.


12


Bez obzira na mnoštvo postojećih struktura sve se one u osnovi mogu svrstati u statičke (unaprijedne) neuronske mreže i dinamičke neuronske mreže [58]. Za razliku od statičkih, dinamičke mreže imaju unutarnje povratne veze koje im omogućavaju modeliranje efekta kašnjenja ili akumulacije (energije) što ih jasno čini prikladnijim za identifikaciju prirodnih procesa. Međutim, unutarnje povratne veze znatno otežavaju dokazivanje stabilnosti mreže. U radu [58] ispitana je i dokazana mogućnost primjene statičkih neuronskih mreža u identifikaciji dinamičkih procesa. Statičke neuronske mreže se mogu koristiti za modeliranje dinamičkih procesa ako im se doda vanjske dinamičke članove ili ako se koriste vremenske serije ulazne varijable pomoću koje je predstavljena dinamika procesa. Pod statičke neuronske mreže spadaju i najčešće korištene MLP neuronske mreže.

3.3.1 Više‐slojniperceptron

Osnovna sastavna komponenta svake umjetne neuronske mreže je umjetni neuron, čiji se model nalazi prikazan na slici 3.

Slika 3 Model umjetnog neurona

Umjetni neuron u k-tom koraku računa odziv ok prema (2), gdje vk označava sumu otežanih m-ulaza definiranu izrazom (3), a φ označava aktivacijsku funkciju dotičnog neurona. Izrazi (2) i (3) predstavljaju matematički model umjetnog neurona čiji su ulazi označeni s xk, a vrijednosti težinskih koeficijenata su označene s wk.

k ko v (2)

0

m

k k k nn

v w x

(3)

Višeslojni perceptron je statička (unaprijedna) neuronska mreža koja se sastoji od najmanje tri sloja neurona: ulaznog, skrivenog i izlaznog sloja, odnosno dva sloja s obzirom da se prvi, ulazni sloj nekad ne broji (ako broj ulaznih neurona odgovara broju ulaznih varijabli, što je zapravo čest slučaj).


13


Slika 4 Višeslojni perceptron

U općem slučaju, svaki neuron jednog sloja je povezan sa svakim neuronom slijedećeg sloja kao što je prikazano na slici 4, za primjer troslojne MLP mreže s tri ulaza i tri izlaza. (a)

( )v v

(b)

( )v v

(c)

1( )

1 vv

e

(d)

1( ) 1

1 vv

e

Slika 5 Aktivacijske funkcije: (a) linearna, (b) ograničena linearna, (c) unipolarna sigmoidalna, (d) bipolarna sigmoidalna

Svojstva mreže ovise o svojstvima neurona, odnosno tipu aktivacijske funkcije pa ukoliko se mreža koristi kao univerzalni aproksimator tada ona mora koristiti nelinearne aktivacijske funkcije u skrivenom sloju kako bi bila u stanju aproksimirati nelinearne odnose između ulaznih i izlaznih varijabli. Izlazni sloj neurona najčešće koristi linearnu aktivacijsku funkciju, osim u slučaju postojanja maksimalne i minimalne vrijednosti izlazne varijable kada se pored ograničene linearne može


14


koristiti i sigmoidalna aktivacijska funkcija. Najčešće korištene aktivacijske funkcije prikazane su na slici 5.

3.4 Treniranjeumjetnihneuronskihmreža

Neuroni i među-neuronske veze odgovorni su za sve biološke neuronske funkcije. Među-neuronske veze su posebno odgovorne za pamćenje pa se može reći kako znanje nastaje kao posljedica procesa uspostavljanja novih veza između neurona ili modifikacije postojećih veza. Ovaj proces se u prirodi naziva treniranje ili učenje.

Slično kao i kod bioloških neuronskih mreža, učenje se može ostvariti i kod UNM-a. Potrebno je pritom definirati skup pravila po kojima se takav postupak provodi i skup uzoraka (pobuda i željenih odziva), primjera koji je mreži potrebno predstaviti kako bi stekla određeno znanje. Kada se netrenirana mreža pobudi, dat će odziv koji se razlikuje od željenog odziva, odnosno dat će pogrešku koja je funkcija podesivih parametara mreže (4). Prema algoritmu za učenje (treniranje) može se obaviti korekcija parametara mreže te u odgovarajućem broju iteracija podesiti mrežu kako bi davala željeni odziv.

( )E f w (4)

Parametri mreže koji se podešavaju (w) predstavljaju pragove odlučivanja svakog neurona (bias ili threshold value) i težinske koeficijente koji definiraju intenzitet među-neuronskih veza. Pogreška, odnosno odstupanje mreže od željenog odziva se izražava preko funkcije cilja (E). Dakle, postupak treniranja neuronske mreže se može definirati kao iterativni postupak podešavanja parametara mreže koji se odvija prema određenom algoritmu i ima za cilj određivanje vrijednosti parametara mreže za koje će pogreška odnosno funkcija cilja biti minimalna. Algoritmi za podešavanje parametara mreže mogu se općenito podijeliti na lokalne algoritme, koji se dalje dijele na lokalne algoritme prvog i drugog reda te globalne algoritme.

3.4.1 Lokalnialgoritmiprvogreda–Algoritampropagacijegreškeunatrag

Lokalni algoritmi za optimizaciju parametara mreže su iterativni postupci koji se provode prema (5), a razlikuju se po načinu na koji se određuje mjera promjene ∆w [35].

1k k kw w w (5)

Podešavanje parametara prema izrazu (5) može se provoditi u postepenom (incremental / on-line) ili grupnom (batch) režimu. U postepenom, inkrementalnom režimu podešavanje parametara mreže se provodi na temelju pogreške koja se računa nakon svakog ulazno-izlaznog para koji se predstavi mreži, a u grupnom režimu se mreži predstave svi ulazno-izlazni parovi u jednoj epohi, a pogreška cijele epohe se koristi za podešavanje parametara [23]. Osnovni lokalni algoritam za podešavanje parametara unaprijedne neuronske MLP mreže je propagacija greške unatrag (error backpropagation, BP).

P. Matić

Kako bikoristi podesiv

Općenit(lokalnipostupc BP je nočituje ugreške usmjera,

Za vrijetemelju Rasprosoznačen Propagak-tom kneuronajk , prem

Parcijalbezdimebrzina uračunan

– Kvalifikac

i se odredilogradijentom

vim paramet

to, postupcii algoritmi ci.

ajčešće koru relativno junatrag ili uod ulaza pr

eme rasprostrenutnih v

stiranje signni slojevi ne

acija greškekoraku računa je jednosta

ma (7).

nu derivacienzionalna učenja, a δk

nja može izr

cijski doktors

o smjer i inm funkcijetrima mreže

i optimizaciprvog reda

rištena metojednostavnoučenje povrrema izlazu

Slika 6 R

stiranja signvrijednosti unala kroz meurona.

e unatrag zananja. S obzavno izraču

iju iz (6) mveličina ko

k je lokalni računati pre

ski ispit

ntenzitet proe pogreškee (∂E/∂w), p

ije koji se ta), poput iz

oda za optimom određivratnim raspi suprotni s

Rasprostiran

nala od ulaulaza i parammrežu unapr

počinje u izzirom da je nati kao raz

moguće je ooja definira

gradijent kema izrazu (

jk

15

omjene pode, odnosnoprema (6).

k

Ew

w

temelje na lzvornog BP

mizaciju parvanju parcijaprostiranje gsmjer.

nje signala k

aza prema imetara mrežrijed prikaz

zlaznom složeljeni odz

zliku odziva

j jk k ke d o

odrediti poma intenzitet koji se za j(9), a za i-ti

kk

k

Eo

w

j j jk ke v

UMJET

esivih paramo njenom

k

k

E

w

linearnoj apP algoritma,

rametara Malne derivacgreške koris

kroz mrežu

izlazu, svakže, kao što jzano je na

oju neurona ziv mreže poa izlaznog n

jk

moću BP apromjene p

j-ti neuron i neuron skr

ko

jkv

TNE NEUR

metara mrežparcijalnom

proksimacij, nazivaju s

MLP mreža, cije iz (6). Msti rasprosti

unaprijed

ki neuron raje definiranslici 6, gdje

izračunavaoznat, pogre

neurona o jk

algoritma prparametara izlaznog slorivenog sloj

RONSKE M

že, BP algom derivacij

i funkcije pse još i gra

a njena preMetoda proiranje signa

ačuna svoj no izrazima e su slovim

anjem pogreešku izlazn i željenog

rema (8), gmreže i n

oja u k-toma prema izr

MREŽE

oritam se ijom po

(6)

pogreške adijentni

ednost se opagacije ala u dva

izlaz na (2) i (3).

ma r, i, j

eške ejk u

og, j-tog odziva d

(7)

gdje je η naziva se m koraku razu (10).

(8)

(9)

3

P. Matić

Detaljnopronaći Kao štopredstavlokalni očito mjer nije derivacitih neur

Dakle, pogrešcpogrešcprikazan Podešavopisuje

3.4

Jednostanestabilsmanjilokorake.

Momenuporabaomoguć(izmeđuvrijedno

– Kvalifikac

o objašnjenu [37].

o se vidi izvlja umnožagradijent izora biti deripoznat njegije pripadajrona, prema

zahvaljujućci moguće jeci, ona očitono na slici,

vanje paramizrazom (1

4.2 Una

avan načinlnosti mrežeo ili poveć

nt α je broja negativnihćava brži spu točaka Aosti u slučaj

cijski doktors

nje postupk

z (9) lokalnak pogreškezlaznog j-toivabilna. Mgov željeni uće aktivac(10) [37].

Slika 7

ći izračunu e odrediti loo putuje krzbog čega s

metara mre1) koji se na

aprjeđenja

n za kontroe, je generaćalo iznos p

koji smijeh vrijednostpust ka min

A i B) te u promjene

ski ispit

ik

ka kojim se

ni gradijente ej

k i derivag neurona j

Međutim, pogodziv pa se

cijske funkc

Rasprostira

lokalnog gokalni gradijoz mrežu use ova meto

eže pomoćuaziva delta

w

aizvornog

lirano povealizirano dpromjene t

kw

e poprimiti ti manje vjenimumu preizbjegavanj

e smjera ∆w

16

i ik

l

v

e dolazi do

t izlaznog jacije pripadjednostavnogrešku skrive lokalni gracije i otežan

anje greške

gradijenta ijent skrivenunatrag posoda i naziva

u metode pravilo.

k kw

BPalgorit

ećanje brzidelta praviltežinskih ko

1kw

vrijednostierojatna [37eko područje oscilacij

w, kao na slic

UMJET

j ijk k l

w

izraza (9)

j-tog neurodajuće aktivo izračunativenog neuroadijent i-togne sume l-lo

kroz mrežu

izlaznog slnog sloja pasredstvom l

propagacij

propagacije

ko

tma

ine učenja, lo (12) kojeoeficijenata

k ko

i iz skupa (7]. Momentčja s malima i postepeci 8a [43].

TNE NEUR

i (10), odn

ona u k-tomvacijske fun. Pri tom akona nije jedg neurona raokalnih grad

u unatrag

oja koji saa ako se praokalnog graa greške un

e greške un

bez mogue koristi mo∆wk u od

(-1, 1), pri t α ostvaruj

m gradijentoeno spuštan

RONSKE M

nosno (8) m

m koraku rankcije φ' j (vktivacijska

dnostavno izačuna kao udijenata izl

adrži informati tok informadijenta, ka

natrag.

unatrag najč

ućnosti uzrooment α ka

dnosu na pr

čemu je pje efekt ine

om, kao na nje ka min

MREŽE

(10)

može se

ačunanja v j

k) pa je funkcija

zračunati umnožak aznih j-

maciju o macije o ao što je

češće se

(11)

okovanja ako bi se rethodne

(12)

praktična ercije što

slici 8b nimalnoj

3

P. Matić

S

Drugi npromjenoptimizlinije (m

U svakolokalnihMeđutimprikazankonvergminimu

– Kvalifikac

Slika 8 (a) i

način za unanjivi paramacijom funk

minimizing a

Slika 9 To

om slučajuh algoritamam, izračunano na slicgencija ka umom funkc

cijski doktors

i (b) utjecaj

aprjeđenje tmetar brzinekcije pogrealong line),

pološki prik

, algoritmi a prvog redati gradijentci 9 pa je

jednom odcije pogrešk

ski ispit

momenta α

treniranja ke učenja η

eške po parakao što je o

kaz prostora

za ubrzanja, odnosno t ne upućujee pronalazad potencija

ke omogućav

17

α na promje

koji se temeη. Promjenjametru brziobjašnjeno u

a pogreške i

e promjenjgradijentnie izravno nak globalnalnih minimvaju algorit

UMJET

enu težinskih

elji na promjivi parameine učenja šu [35].

i neizravan

ivom brzinh metoda, b

na minimumnog minimmuma sportmi drugog

TNE NEUR

h koeficijen

mjenjivoj brzetar brzinešto se zove

put ka mini

nom učenja baš kao i izv

m funkcije puma potpu

ra [14]. Izrreda.

RONSKE M

nata ∆wk [43

rzini učenja e učenja see minimizira

imumu [43]

spadaju u vorni BP alpogreške, kauno neizvjeravniju pot

MREŽE

3]

koristiti e dobije anje duž

]

skupinu lgoritam. ao što je estan, a tragu za

3


18


3.4.3 Lokalnialgoritmidrugogreda

Lokalni algoritmi drugog reda se temelje na kvadratnoj aproksimaciji funkcije pogreške kako bi se odredio izravniji i brži put ka minimumu. Vrijednosti podesivih parametara mreže u slijedećem koraku računa se prema općenitom izrazu (5), kao i kod algoritama prvog reda. Razlika je u određivanju vektora ∆wk, za što algoritmi drugog reda koriste Hessian matricu (H), kao što stoji u (13).

1k

Ew

w

H (13)

Hessian matrica daje informaciju o zakrivljenosti površine prostora pogreške, a sastoji se od drugih parcijalnih derivacija funkcije pogreške i računa prema (14).

2 2 2

21 1 2 1

2 2 22

22 1 2 22

2 2 2

21 2

n

n

n n n

E E E

w w w w w

E E EE

w w w w ww

E E E

w w w w w

H

(14)

Uvrštavanjem (13) i (14), u (5) dobije se (15), poznat kao Newtonov algoritam.

121 ( ) ( )k kw w E w E w

(15)

Ipak, Newtonov algoritam je često neuporabljiv za treniranje neuronske MLP mreže jer povlači niz uvjeta koji najčešće nisu zadovoljeni, poput Hessianove matrice koja nije singularna ili nije dovoljnog ranga pa se savjetuje uporaba quasi-Newton algoritma [37]. Quasi-Newton ili Secant metode, umjesto Hessianove matrice računaju njenu aproksimaciju, a najuspješnijima su se pokazale Broyden, Fletcher, Goldfarb, Shanno (BFGS) metode [23]. Pored quasi-Newton algoritama moguće je koristiti neku od metoda konjugiranog gradijenta (conjugate gradient) ili Levenberg-Marquardt algoritam, također lokalne algoritme drugog reda koji izbjegavaju računanje Hessian matrice.

3.4.4 Levenberg‐MarquardtalgoritamzatreniranjeMLPmreže

Općenito, ukoliko je funkcija cilja poznata moguće je razviti učinkovitije, specijalizirane algoritme za podešavanje parametara mreže [34] pa je tako i LM metoda razvijena posebno za treniranje unaprijednih MLP mreža koje koriste kvadratne funkcije pogreške kao funkcije cilja. Ukoliko funkcija cilja za treniranje neuronske mreže ima oblik kvadratne sume, vrijede aproksimacije (16) koje se temelje na Jakobijan matrici [34].

2

T

T

E

E S

J e

J J (16)


19


Gdje se Jakobija matrica (J) sastoji od prvih derivacija vektora pogreške (e) po podesivim parametrima mreže, a je definirana izrazom (17).

1 1 1

1 2

2 2 2

1 2

1 2

n

n

N N N

n

w w w

w w ww

w w w

e e e

e e ee

J

e e e

(17)

Za Gauss-Newtonowu (GN) metodu vrijedi 0S pa se u skladu s navedenim drugi izraz iz (16) može pisati u obliku (18).

1

1T T

k kw w

J J J e (18)

Levenberg-Marquardt algoritam je poseban slučaj GN metode koji je definiran izrazom (19).

1

1T T

k kw w

J J I J e (19)

Parametar μ se množi faktorom konstantnog iznosa (na primjer β) kada korak u postupku treniranja rezultira povećanjem funkcije pogreške E, a u slučaju kada korak u postupku treniranja rezultira smanjenjem funkcije pogreške E, parametar μ se dijeli faktorom β. Zbog toga LM algoritam za uvećane iznose parametra μ postaje sve sličniji gradijentnom algoritmu, a za slučajeve smanjenog iznosa parametra μ postaje sve sličniji GN metodi pa se LM algoritam može smatrati modifikacijom GN metode sa ograničenim područjem djelovanja [34]. Cilj je dakle LM metodu pretvoriti u GN u blizini minimuma jer Newtonova metoda brže i točnije konvergira [23], a u slučaju divergencije cilj je pretvoriti LM u gradijentnu metodu i tako usporiti postupak treniranja, odnosno smanjiti vjerojatnost konvergencije ka „krivom“ minimumu. LM algoritam se pokazao kao najbrži i najprikladniji algoritam za treniranje mreža skromnijih struktura koje sadrže do nekoliko stotina podesivih parametara [23]. Lokalni algoritmi prvog i drugog reda imaju jedan zajednički problem, a to je ovisnost o početnim uvjetima, odnosno inicijalizaciji parametara mreže pa je određivanje globalnog minimuma poprilično neizvjesno. Postoje različite globalne optimizacijske metode za izbjegavanje lokalnih minimuma koje se mogu iskoristiti za treniranje neuronskih mreža.

3.4.5 Globalnialgoritmizaoptimizacijuparametaramreže

Najjednostavniji globalni algoritam za optimizaciju parametara mreže je „multistart“ koji koristi lokalne algoritme za pretraživanje prostora, a kao polazište koristi više različitih točaka prostora pogreške [43]. Nedostatak ove metode leži u činjenici da se zapravo radi o lokalnom algoritmu pa se ne može sa sigurnošću tvrditi da je ijedan od određenih minimuma globalni minimum.


20


Pravu alternativu standardnim optimizacijskim metodama predstavljaju globalne stohastičke metode poput genetskih algoritama (GA), simulated annealing i evolutionary programming (EP). U radu [43] daje se prednost GA, pogotovo u odnosu na lokalne algoritme i njihovu nemogućnost pouzdanog određivanja globalnog minimuma.

3.5 Primjenaumjetnihneuronskihmrežauhidrologiji

Intenzivnija primjena UNM u hidrologiji počinje 90-ih godina 20-og stoljeća, a prve primjere primjene predstavljaju radovi koji se bave modeliranjem i prognoziranjem procesa otjecanja uslijed padalina (rainfall-runoff), vjerojatno zbog prikladnosti procesa ali i dostupnosti dovoljno velikih baza podataka mjerenih vrijednosti utjecajnih varijabli [1]. U posljednjih nekoliko godina broj objavljenih radova raste, a najveću pozornost istraživača privlači prognoziranje kvantitativnih varijabli hidrološkog sustava, pri čemu se prema analizi provedenoj u [50], 90% objavljenih radova bavi prognoziranjem toka, među kojima na prognoziranje dnevnog toka otpada 50% radova, a slijede ga satno s 23% i tjedno prognoziranje s 16%. Kako je hidrološki sustav izrazito složen i nelinearan, teško ga je precizno modelirati pa su neuronske mreže različitih arhitektura (MLP, RBFN, SOM, GRNN, SVM, Neuro-fuzzy) primjenjivane kako bi se odredilo optimalnu arhitekturu. U konačnom slučaju su ispitivane i kombinirane, hibridne izvedbe modela, kako bi se smanjili nedostaci, a naglasile prednosti pojedine metode. Ipak, uzevši u obzir veliki broj mogućih hibridnih modela teško je izvući zaključak o idealnom modelu, odnosno idealnoj arhitekturi pa je prema zaključku iz [50], ovo je i dalje područje koje treba istraživati. Mreže koje su se do sada najčešće koristile su unaprijedne neuronske mreže (FFNN, Feedforward Neural Networks), odnosno mreže sa strukturom višeslojnog perceptrona (MLP) trenirane algoritmom propagacije greške unatrag (BP), a potom i neuronske mreže s radijalnom aktivacijskom funkcijom (RBF) te samo-organizirajuće mape (SOM) [1]. Prednost uporabe neuronskih mreža očituje se u jednostavnosti primjene neuronskih modela [49], a iz usporedbe s fizikalnim i statističkim modelima vidi se i napredak po pitanju točnosti predviđanja, kao što je pokazano u radovima [8], [10], [13], [18], [25], [30], [39], [40], [44], [53], [54], [59], [60], [65], [73]. Bolje performanse u odnosu na druge modele, neuronski modeli duguju mogućnosti aproksimacije nelinearne funkcije, odnosno sposobnosti modeliranja nelinearnog sustava, što ih čini posebno vrijednim alatom za modeliranje hidroloških sustava s obzirom da je nelinearnost istaknuto obilježje hidroloških sustava [64]. Druga bitna karakteristika je ta da detaljno poznavanje sustava koji se modelira nije nužno. UNM samo ući aproksimirati funkciju po kojoj se odvija preslikavanje ulaznih u izlazne vrijednosti, bez poznavanja karakteristika sustava. Ipak, važno je napomenuti kako UNM nisu „čarobne crne kutije“ [1] već samo jedan od alata za modeliranje sustava koji su na raspolaganju projektantu pa iako sama UNM ne mora imati informacije o karakteristikama sustava, projektantu su specifična znanja o sustavu nužna za izradu neuronskog modela sustava.


21


Jedno od značajnijih ograničenja u primjeni umjetnih neuronskih mreža za modeliranje hidroloških sustava nalazi se u činjenici da je na temelju mjerenih iznosa varijabli moguće napraviti izrazito kratkoročna predviđanja, na primjer dotoka pa je produljenje predikcijskog horizonta neizbježan problem koji zahtjeva temeljito istraživanje. Osnovni nedostatak do sad razvijenih neuronskih modela za predviđanje varijabli hidrološkog sustava, prema [50], je općenito nedostatak sustavnog pristupa formiranju neuronskog modela sustava, što podrazumijeva proizvoljan odabir ulaznih varijabli sustava, strukture mreže, nasumičnu podjelu podataka prilikom treniranja mreže i nemogućnost pouzdanog određivanja globalnog minimuma prilikom treniranja mreže. Takav pristup po svim preporukama treba izbjegavati.


22

SUSTAVNI PRISTUP 4

4. SUSTAVNIPRISTUPFORMIRANJUNEURONSKOGMODELAZAPREDVIĐANJAUHIDROLOGIJI

Pregledni radovi [2], [49] i [50] ističu dobra prediktivna svojstva umjetnih neuronskih mreža, ali i naglašavaju nedostatak sustavnog pristupa formiranju neuronskog modela za hidrološka predviđanja. Iako je ovaj problem naznačen prije više od deset godina [49], još uvijek postoji potreba za razvojem robusnog pristupa [50]. Naime, neki važni koraci u postupku formiranja modela, poput određivanja broja ulaza, podjele podataka, izbora strukture i broja neurona, određuju se bez jasno naznačene metode ili u potpunosti proizvoljno, slučajnim odabirom. Također, postoji i problem nedosljednosti u postupku vrednovanja modela, pri čemu se često koriste neprikladne mjere kvalitete.

Slika 10 Postupak formiranja neuronskog modela za predviđanje

Sustavni pristup, kao što je to prikazano dijagramom na slici 10, podrazumijeva podjelu postupka formiranja modela u određen broj dobro definiranih koraka. Pri tom je svaki korak


23

SUSTAVNI PRISTUP 4

moguće provesti na više različitih načina, odnosno moguće je primijeniti različite metode. Postojanje više metoda za rješavanje jednog koraka postupka čini postupak fleksibilnim, ali i složenim jer je potrebno odrediti optimalnu metodu za svaki korak postupka. S obzirom na veliku fleksibilnost „uvođenje reda“ u ovaj postupak zasigurno bi doprinijelo kvaliteti istraživačkog rada te u konačnici i kvaliteti formiranog modela.

4.1. Prvikorak:Selektiranjepodataka–određivanjeizlaznevarijableikorakaračunanja

Kako bi se pravilno selektirali podaci iz skupa raspoloživih podataka i u konačnici formirao neuronski model najprije je potrebno odrediti cilj modela. Odrediti cilj modela znači odrediti koja se varijabla sustava želi, ali i može predviđati s obzirom na raspoložive podatke. Ona varijabla sustava koja je od posebnog značaja, a može se definirati kao funkcija ostalih varijabli iz skupa raspoloživih podataka, postavlja se kao izlazna varijabla, odnosno cilj modela i bit će izlaz neuronskog modela. Općenito, model može imati jedan ili više izlaza. To mogu biti trenutne vrijednosti jedne ili više varijabli, ali i njihove vremenske serije, kao u slučaju predviđanja više koraka unaprijed izravnom (direktnom) metodom. Inače, skup raspoloživih podataka se sastoji od diskretnih mjerenih vrijednosti jedne ili više varijabli sustava koje su zabilježene u određenom vremenskom periodu s određenom frekvencijom prikupljanja uzoraka. Stoga je odmah u prvom koraku, pored izbora odgovarajućeg izlaza, potrebno je odrediti vremensko razdoblje predviđanja (dnevno, tjedno, mjesečno i slično) te u skladu s tim definirati i korak računanja modela. Korak računanja ovisi o frekvenciji prikupljanja uzoraka i ne može biti manji od perioda uzorkovanja, pri čemu se pod pojmom perioda uzorkovanja misli na vremenski period između dva uzastopna mjerenja.

4.2. Drugikorak:Izborulaznihvarijabli

Ulazne varijable modela se biraju prema tipu modela koji se formira. Na primjer, u slučaju formiranja modela vremenske serije (TS, Time Series), ulazne varijable su članovi vremenske serije jedne varijable, a u slučaju formiranja modela padaline-otjecanje (RR, Rainfall-Runoff), ulazne varijable su članovi vremenske serije dvije varijable. U općem slučaju, različite hidrološke i meteorološke varijable mjerene na različitim lokacijama mogu u većoj ili manjoj mjeri utjecati na promatranu (izlaznu) varijablu pa je potrebno iz skupa svih varijabli čije se vrijednosti daju mjeriti odrediti one koje najznačajnije utječu na vrijednost izlazne varijable. Ranije se smatralo da su umjetne neuronske mreže u stanju samostalno odrediti važnost pojedinih varijabli zbog čega se izboru optimalnih ulaznih varijabli nije posvećivalo puno pozornosti [49]. Međutim, pokazalo se kako uporaba velikog broja ulaznih varijabli rezultira većim i složenijim modelom koji, pored računalne neučinkovitosti ima i sklonost „učenju napamet“, odnosno lako se da pretrenirati [43]. Dakle, uključivanje nepotrebnih varijabli je nepoželjno jer opterećuje i „zbunjuje“ model.


24

SUSTAVNI PRISTUP 4

S druge strane, površnom selekcijom je moguće iz skupa ulaznih varijabli isključiti i one koje značajno utječu na promatranu izlaznu varijablu i time uskratiti modelu vrijedne informacije o ulazno-izlaznom preslikavanju i u konačnici smanjiti kvalitetu modela. Također, s obzirom da se predviđanje vrijednosti varijable hidrološkog sustava pomoću neuronskog modela najčešće temelji na vremenskoj seriji, potrebno je odrediti odgovarajuća vremenska zaostajanja ulaznih varijabli (lags), odnosno odgovarajući broj uzastopnih uzoraka ulaznih varijabli koji imaju značajan utjecaj na trenutnu vrijednosti izlazne varijable. Općenito, postoji više metoda za određivanje optimalnih ulaznih varijabli, a u osnovi se mogu podijeliti na metode koje koriste model sustava (model-based) i one koje ne koriste model sustava (model-free) već se međusobna ovisnost varijabli ispituje određenim statističkim metodama [43]. Metode koje se ne temelje na modelu ne zahtijevaju prethodnu obradu podataka i ne ovise o kvaliteti modela pa su jednostavnije za uporabu, ali i točnije od metoda koje se temelje na modelu sustava.

4.3. Trećikorak:Obradapodataka

Obrađivanje podataka u razmatranom kontekstu podrazumijeva transformaciju podataka u oblik prikladan za rad s neuronskom mrežom, a provodi se s ciljem unaprjeđenja neuronskog modela. Najjednostavniji i najčešće korišteni način obrade podataka za formiranje neuronskog modela je linearna transformacija [43], kojom je moguće podatke skalirati unutar željenih granica ili standardizirati prema nekoj vrijednosti. Linearnom transformacijom se varijabla xi može skalirati tako da njene vrijednosti iz intervala [xmin, xmax] budu prebačene u interval [xlow, xhigh], pri čemu se skalirane vrijednosti varijable x'i može izračunati prema izrazu (20).

max min'

max min max min

high low low highi i

x x x x x xx x

x x x x

(20)

Skaliranje ulaznih varijabli potrebno je provesti ukoliko se želi osigurati ravnopravnost svih ulaznih varijabli [49], s obzirom da se vrijednosti različitih varijabli nalaze unutar različitih opsega različitih redova veličine, a apsolutni iznosi nisu ekvivalentni stvarnom utjecaju dotične varijable na izlaznu varijablu. Linearnom transformacijom se varijabla xi može standardizirati prema srednjoj vrijednosti xmean, uz standardnu devijaciju xstdev kao mjeru skale, prema izrazu (21).

' i meani

stdev

x xx

x

(21)

Općenito, preporuča se skaliranje podataka na interval [-1, 1] ili standardiziranje prema nultoj srednjoj vrijednosti uz jediničnu standardnu devijaciju [62]. Podatke izlaznog, ciljanog vektora je također potrebno skalirati, pogotovo u slučaju uporabe aktivacijske funkcije s ograničenjem u izlaznom sloju neurona. Pri tom se preporuča skalirati


25

SUSTAVNI PRISTUP 4

podatke u interval s graničnim vrijednostima manjim od granica aktivacijske funkcije [49]. Na primjer, za slučaj aktivacijske funkcije s granicama (-1, 1) potrebno je skalirati podatke ciljanog vektora u interval s granicama (-0.8, 0.8) ili (-0.9, 0.9) [43]. Važno je napomenuti da se provođenjem nepotrebnih ili krivo odabranih operacija nad podacima mogu uništiti značajne informacije o odnosu ulaznih varijabli i izlazne varijable pa je nužno biti oprezan u provođenju obrade podataka i provoditi samo transformacije s jasnim ciljem i namjenom [2], [43], [56]. Naime, kod modeliranja vremenskih serija uobičajeno je izdvojiti determinističke komponente poput „trendova“ i „sezonskih obilježja“ [49]. Međutim, istraživanje koje su proveli Faraway i Chatfield i [27] pokazuje da neuronska mreža ne profitira ovakvom obradom podataka.

4.4. Četvrtikorak:Podjelapodataka

Nakon što se odrede i obrade podaci za formiranje modela potrebno je podijeliti te podatke na skup za treniranje i skup za procjenu modela. Naime, podaci pomoću kojih se provodi ispitivanje modela ne smiju biti prezentirani mreži za vrijeme treniranja kako bi se mogla ispitati generalizacijska svojstva mreže. Također, sam skup podataka za treniranje se dijeli na pod-skupove podataka za kalibraciju, testiranje i validaciju. Ovakva podjela je nužna ukoliko se primjenjuje metoda ranog zaustavljanja kao mjera zaštitite od pretreniranosti [23]. Iako je važnost ispravne podjele podataka zbog izravnog utjecaja na kvalitetu modela naglašavana i ranije, prema izvještaju [49] podjela podataka najčešće se provodila proizvoljnom ili slučajnom razdiobom, ne vodeći računa o statističkim svojstava pod-skupova nastalih podjelom. Ta praksa se nije uvelike promijenila ni u posljednjem desetljeću, kao što se može vidjeti iz [50]. Kako bi se osigurala dobra generalizacijska svojstva mreže, skup podataka za treniranje mora sadržavati reprezentativne uzorke sustava koji se modelira, [43]. S obzirom da mreža može predviđati samo unutar opsega vrijednosti koje su joj predstavljene za vrijeme treniranja [53], skup podataka za provjeru modela mora sadržavati podatke istih statističkih svojstava kao i skup podataka za treniranje [49]. U [16], ponuđene su dvije metode za podjelu podataka u pod-skupove jednakih statističkih svojstava. Jedna metoda podrazumijeva uporabu genetskih algoritama (GA), a druga metoda podrazumijeva uporabu samo-organizirajućih mapa (SOM). Iako se u radu [43] navodi i niz nedostataka spomenutih metoda, utvrđeno je da su metode GA i SOM sposobne obaviti podjelu podataka u pod-skupove podjednakih statističkih svojstava te da napravljena podjela značajno unaprjeđuje kvalitetu modela, pri čemu autor rada [43] prednost daje SOM metodi.

4.5. Petikorak:Izborarhitekturemreže

Odrediti arhitekturu neuronske mreže znači odrediti tip mreže koja će se koristiti za formiranje neuronskog modela. Ovaj korak vjerojatno predstavlja i najvažniji korak u postupku formiranja neuronskog modela, jer će i ostali koraci ovisiti o ovom koraku pa je dobro odmah na početku odlučiti koja će arhitektura biti korištena.


26

SUSTAVNI PRISTUP 4

MLP dvoslojna neuronska mreža sa svojstvom univerzalnog aproksimatora [36], odnosno s nelinearnom (sigmoidalnom) aktivacijskom funkcijom u skrivenom sloju i linearnom aktivacijskom funkcijom u izlaznom sloju, predstavlja najčešće korištenu arhitekturu za modeliranje hidroloških sustava. Iako, prema [43] postoje navodi o isplativosti uporabe više skrivenih slojeva zbog veće fleksibilnosti modela i manjeg ukupnog broja parametara, postoje i izvještaji o otežanom treniranju mreža s dva skrivena sloja zbog izraženijeg problema lokalnog minimuma [62] pa se ipak predlaže uporaba MLP neuronske mreže s jednim skrivenim slojem. Pored MLP arhitekture, za modeliranje protoka još se koriste i RBFNN, kao u [20], [22], [28], [63], [68], i temporalne neuronske mreže tipa RNN (Recurrent Neural Networks) kao što je opisano u knjizi [52] i TDNN (Time Delayed Neural Networks), kao u [74], odnosno TLNN (Time Lagged Neural Networks), kao u [55] ili IDNN (Input Delayed Neural Networks) prema [19].

4.6. ŠestiKorak:Identifikacijasustavapomoćuneuronskemreže

Postupak identifikacija sustava pomoću umjetne neuronske mreže se može podijeliti u tri dijela, to su: podešavanje strukture, kalibracija modela i validacija modela. Ovaj postupak se ponavlja dok se ne odredi model koji najbolje zadovoljava postavljeni kriterij kvalitete.

4.6.1. Podešavanjestrukturemodela

Kako je broj ulaznih neurona određen dimenzijama ulaznog vektora u trećem koraku, a broj izlaznih neurona dimenzijom izlaznog vektora još u prvom koraku, ukoliko se koristi MLP arhitektura sa svojstvom univerzalnog aproksimatora, određivanje strukture mreže se svodi na određivanje broja neurona skrivenog sloja. Optimalan broj neurona skrivenog sloja je jako bitan za ispravan rad modela jer izravno utječe na generalizacijska svojstva. Prevelikim brojem neurona formirat će se mreža s prevelikim brojem parametara koja će biti sklona pretreniranju (overfitting). Suprotno tome, mreža s premalim brojem neurona, odnosno parametara, neće biti u stanju aproksimirati zadane nelinearne odnose na ispravan način pa postoji problem koji se naziva underfitting. Općenito, optimalan broj neurona skrivenog sloja je najmanji broj neurona koji omogućava mreži da ispravno modelira odnose između ulaznih i izlaznih podataka. Međutim, metoda za precizno i pouzdano određivanje najmanjeg potrebnog broja neurona još nije određena. Ono što je donekle moguće odrediti je gornja granica, odnosno maksimalni broj neurona skrivenog sloja koji se može koristiti za modeliranje sustava predstavljenog određenim skupom podataka. Predlaže se uvažavanje manjeg iznosa NH iz skupa nejednakosti (22), gdje NI označava broj ulaza neuronske mreže, a NS označava broj uzoraka za treniranje.

2 1

1

H I

SH

I

N N

NN

N

(22)


27

SUSTAVNI PRISTUP 4

Prvu nejednadžbu je predložio Nielsen (1987) kako bi odredio broj neurona mreže koja će sigurno aproksimirati željenu funkciju, dok drugu nejednadžbu uvode Rogers i Dowla (1994) kako bi se odredio broj neurona mreže koja neće biti sklona pretreniranju [43]. Određivanje optimalnog broja neurona skrivenog sloja se i dalje najčešće provodi eksperimentalno, metodom pokušaja i pogreške (trial-and-error) [49]. U tom slučaju je najbolje početi od minimalne strukture, odnosno mreže s jednim neuronom u skrivenom sloju, a potom postepeno povećavati broj neurona i ispitivati postignute rezultate. Nedostatak ove metode je prije svega u velikom broju mreža koje je potrebno istrenirati i testirati te pri tom svaki put uvažiti sva pravila o formiranju neuronskog modela. Posljednjih godina istraživana je mogućnost optimizacije broja neurona metodama sažimanja i konstruktivnim metodama. Metoda sažimanja (pruning method) koristi dovoljno veliku mrežu kao polazište iz koje se postepeno isključuju neuroni koji ne doprinose značajnije konačnom rezultatu, odnosno neuroni s manjim pripadajućim težinskim koeficijentima [43]. Jedan od učinkovitih i često korištenih primjera ove metode je regularizacija. Suprotno sažimanju, postoje konstruktivne metode koje počinju od minimalne strukture. Za vrijeme treniranja minimalna struktura se proširuje dok se ne postigne zadovoljavajući rezultat. Međutim, kako su manje strukture podložnije zaglavljivanju u lokalnom minimumu, tako je određivanje optimalnog broja neurona postupnim povećavanjem minimalne strukture nije zajamčeno [43]. Ipak, metoda pokušaja i pogreške i dalje ostaje u primjeni kao neizostavni korak u postupku formiranja neuronskog modela bilo kao jedina metoda za određivanje optimalnog broja neurona ili u paru s nekom drugom metodom.

4.6.2. Kalibracijamodela

Kalibracija modela je postupak podešavanja parametara modela, odnosno treniranje mreže i provodi se jednim od algoritama na način opisanu poglavlju 3.4 ovog rada. Općenito, cilj treniranja je pronaći skup vrijednosti podesivih parametara mreže za koje je pogreška, odnosno funkcija cilja minimalna. Kao funkcija cilja mogu se koristiti različiti kriteriji kvalitete opisani u poglavlju 4.7. ovog rada, a najčešće se koriste kvadratne pogreške MSE i SSE. Ono što je važno istaknuti je potreba postavljanja inicijalnih vrijednosti podesivih parametara mreže o kojima ovisi i konačan ishod treniranja mreže. Naime, najčešće korišteni algoritmi za treniranje mreže, lokalni algoritmi, kao polazište uzimaju skup nasumično odabranih početnih vrijednosti parametar mreže. Kako je funkcija cilja nelinearna funkcija parametara mreže, tako postoji vjerojatnost da iz te polazišne točke algoritam neće doći do globalnog minimuma funkcije cilja, kao što je prikazano na slici 11 u slučaju zaglavljenja u lokalnim minimumima A, B ili „sedlu“ D. Zbog toga se za slučaj uporabe lokalnih algoritam savjetuje ponavljanje postupka kalibracije iz nekoliko različitih početnih uvjeta [23].

P. Matić

Alternatali predpostupkmreže talgoritm

4.6.

Kad seispitivanispitivan Ispitivankriterijadok se mjere kSquaredmodela koje se

4.7

Iako umsposobntočnošćvrijeme njenog koriste k Općenitmjera kza kona Suma k[21] jer

– Kvalifikac

tiva lokalnidstavljaju ika treniranjatreba biti o

ma [49].

.3. Ispi

e govori o nje modelanja nakon p

nje modelaa kvalitete i za procjenu

kvalitete kod Error) i srkoristi većikoriste u hi

. Sed

mjetne neurne aproksimu, ne znači kalibracijekonačnog pkako bi se o

to, jedna mjkvalitete kojačnu ocjenu

kvadratne por mjeri uku

cijski doktors

Slika

m algoritmii računalnoa neuronskeodabran ka

itivanjemo

ispitivanjua za vrijemprovedenog

a za vrijemeto one mjeru modela m

oje se korisrednja kvadi broj mjeraidrologiji op

dmiKorak

ronske mrežmirati bilo k

da su u stane. Zbog toprihvaćanjaocijenili raz

jera kvalitetja bi ocijenikvalitete m

ogreške (SSupno odstup

ski ispit

a 11 proble

ima su globo zahtjevnije mreže oviao komprom

odela

u modela me provođen

postupka id

e identifikacre koja se komože i morste kao funkdratna pogrea za ocjenu apisane su u p

k:Ocjenak

že imaju svkakvo preslnju dati točnga je potre

a kao neuroličiti vidovi

te bolje proila podjedna

modela koris

SE), definirapanje odziv

28

em lokalnih

balni algoritji postupakisi i o strukmis između

ili testiranjnja postupkdentifikacije

cije, validakoristi kao fura koristiti

nkcije ciljaeška (MSE, apsolutne i poglavlju 4

kvalitetem

vojstvo univlikavanje une odzive zaebno ispita

onskog modi točnosti m

ocjenjuje jedako dobro s

sti više razli

ana izrazomva modela u

h minimuma

tmi koji rješk. S obzirokturi same mu računalne

ju, odnosnka identifike, procjenu

cija, najčešunkcija ciljaviše različisu suma kMean Squarelativne to.7.1 ovog ra

modela–k

verzalnog aulaznih u iza vrijednost

ati generalizdela sustava

modela.

dan vid točnsve aspekteičitih mjera.

m (23), koriu odnosu n

SUST

a [43]

šavaju problom da račmreže, algore zahtjevno

o validacijkacije, validmodela.

će se provoa za potrebeitih mjera. vadratne po

ared Error),očnosti modada.

kriterijikva

aproksimatozlaznu vrijeti koje im nizacijska sva. Različite

nosti pa ne točnosti m.

sti se kao oa mjerene

TAVNI PR

lem početničunalna zahritam za kaosti i učink

ji treba razdaciju i ne

odi pomoćue kalibracijeNajčešće kogreške (SS, dok se za p

dela. Mjere k

alitete

ora, što znaednost s relisu predstav

vojstva mree mjere kva

postoji unimodela zbog

opća ocjenapodatke su

RISTUP

ih uvjeta, htjevnost alibraciju kovitosti

zlikovati eovisnog

u jednog e modela, korištene SE, Sum procjenu kvalitete

ači da su lativnom vljane za eže prije alitete se

verzalna g čega se

a modela umirajući

4


29

SUSTAVNI PRISTUP 4

pogreške za cijeli skup raspoloživih podataka. Nedostatak ove mjere je taj što ne ocjenjuje podjednako dobro točnost predviđanja ekstremno visokih i ekstremno niskih vrijednosti [43].

2

1

1

2

N

k kk

SSE d o

(23)

Srednja kvadratna pogreška (MSE, Mean Squared Error), definirana izrazom (24), također se temelji na kvadratu pogreške pa je njena primjena istovjetna SSE mjeri kvalitete.

2

1

1 N

k kk

MSE d oN

(24)

SSE i MSE mjere kvalitete se češće koriste kao funkcije cilja nego za procjenu modela. Prema [21] za procjenu modela hidrološkog sustava najčešće se koriste: korijen srednje kvadratne pogreške (RMSE, Root Mean Squared Error), srednja apsolutna pogreška (MAE, Mean Absolute Error), srednja kvadratna relativna pogreška (MSRE, Mean Squared Relative Error), koeficijent određenosti (r2, coefficient of determination) i koeficijent učinkovitosti (CE, coefficient of efficiency).

2

1

1 N

k kk

RMSE d oN

(25)

RMSE mjera kvalitete definirana izrazom (25), je mjera za ocjenu općenite točnosti modela, a razlika između ove mjere, MSE i SSE je u prikazu podataka o odstupanju modela koji su u slučaju uporabe RMSE izraženi u istim jedinicama kao i ulazni podaci. MAE je također mjera općenite točnosti modela, a računa srednju vrijednost apsolutne pogreške prema (26).

1

1 N

k kk

MAE d oN

(26)

MSRE mjera kvalitete definirana izrazom (27), je mjera za ocjenjivanje relativne točnosti modela, kao i mjere r2 i CE, definirane izrazima (28) i (29).

2

1

1 Nk k

k k

d oMSRE

N d

(27)

Vrijednosti r2 kreću od minimalnog 0 do idealnog iznosa 1 i predstavljaju mjeru linearne korelacije između mjerenih vrijednosti i odziva modela, predviđenih vrijednosti. Često se umjesto koeficijenta određenosti (r2), definiranog izrazom (28), koristi Pearsonov (linearni) korelacijski koeficijent (r) koji ima isto značenje i jednak je njegovom drugom korijenu.

2 1

2 22

1 1

N N

k k k ki k

r d d o o d d o o

(28)

Iako r2 predstavlja najčešće korištenu mjeru kvalitete za ocjenjivanje neuronskih modela, u hidrologiji se predlaže uporaba CE, mjere koja se također temelji na korelaciji, a poznate je još i pod nazivom Nash-Sutcliffe koeficijent. CE mjera je definirana izrazom (29) i prema [48] pokazala se prikladnijom mjerom za ocjenjivanje točnosti predikcije hidroloških modela od


30

SUSTAVNI PRISTUP 4

ostalih mjera koje se temelje na korelaciji. Vrijednosti ovog koeficijenta se kreću od – u najgorem do 1 u najboljem slučaju.

2

1

2

1

1

N

k kk

N

kk

d oCE

d d

(29)

Za ocjenjivanje točnosti predviđanja može se koristiti standardna pogreška predviđanja (SEE, Standard Error of the Estimate) koja mjeri količinu pogreške u svakoj predviđanoj vrijednosti u odnosu na stvarnu vrijednost, a definirana je izrazom (30).

22

2

1 1 1

1

2

N N N

k k k kk k k

SEE o o d d o o d dn

(30)

U navedenim izrazima d ima značenje srednje vrijednosti mjerenih podataka, a o srednje vrijednosti odziva modela.

Nepostojanje standardne mjere za ocjenjivanje kvalitete neuronskog modela može uzrokovati nedostatak dosljednosti i objektivnosti [21] pa bi bilo dobro dogovoriti skup mjera za procjenu modela. Legates i McCabe (1999) predlažu da taj skup uključuje barem jednu relativnu (na primjer CE ili r2) i jednu apsolutnu (RMSE ili MAE) mjeru pogreške.


31

PREDVIĐANJE DOTOKA 5

5. FORMIRANJE NEURONSKOG MODELA ZA DNEVNO PREDVIĐANJE DOTOKA

Predviđanje protoka pomoću umjetne neuronske mreže se temelji na prethodno izmjerenim vrijednostima različitih fizikalnih (hidroloških, meteoroloških, geometrijskih) varijabli, a upravo prema varijablama koje se koriste moguće je napraviti podjelu prema kojoj postoje:

Modeli vremenske serije (TS, Time Series), Modeli padaline-otjecanje (RR, Rainfall-Runoff), Više-veličinski modeli.

Neuronski modeli vremenske serije vrše predviđanje na temelju vremenskog niza zabilježenih vrijednosti samo jedne varijable, u ovom slučaju protoka (odnosno dotoka). Hidrološki modeli vremenske serije za predviđanje protoka pomoću umjetne neuronske mreže te rezultati istraživanja za neke specifične slučajeve prikazani su u radovima [10], [11], [15], [17], [26], [28], [38], [44], [45], [70], [71], [72]. Neuronski modeli padaline-otjecanje (RR, Rainfall-Runoff), pored vremenskog niza zabilježenih vrijednosti protoka, koriste i vremenske nizove zabilježenih padalina kako bi mogli predvidjeti budući protok. RR neuronski modeli te rezultati istraživanja za neke specifične slučajeve prikazani su u radovima [3], [5], [8], [13], [20], [33], [41], [42], [53], [57], [59], [60], [63], [66], [68], [69], [75]. Neuronski više-veličinski modeli koriste različite varijable sustava (poput padalina, temperature, vlažnosti zemlje, vlažnosti zraka, godišnjeg doba, doba dana i slično) kako bi ostvarile što točnije predviđanje protoka, za što veći broj koraka računanja unaprijed. Tako se u radovima [7], [40] pored protoka i padalina uključuje i evapotranspiracija (isparavanje), u radovima [30], [39], [65], [76] dodatnu varijablu predstavlja temperatura, a u radovima [18], [54] se koriste i procijenjene vrijednosti otopljenog snijega. U radovima [25] , [46], [67] se uključuju i podaci o vremenu, odnosno godišnjem i dnevnom dobu koji se kodiraju pomoću sinus i kosinus funkcija. U radu [24] se koristi odziv dodatnog, jednostavnog fizikalnog modela kako bi se dobila informacija o vlažnosti tla (SM, Soil Moisture) koja se potom koristi kao ulazna varijabla neuronskog modela. Cilj ovog rada je izraditi neuronski model vremenske serije za predviđanje dnevnog protoka rijeke Cetine, odnosno dotoka u akumulaciju Peruća, na temelju mjerenih vrijednosti dotoka dobivenih sa postaje Vinalić. Dobiveni model bi trebao poslužiti kao polazišna točka za razvoj složenijeg modela za predviđanje dotoka za više koraka unaprijed, a konačna namjena modela za predviđanja dotoka u akumulaciju Peruća je optimizacija rada HES-a Cetine.

5.1. PredviđanjedotokauakumulacijuPerućazajedandanunaprijed

Postupak formiranja neuronskog modela vremenske serije za predviđanje dnevnog dotoka u akumulaciju Peruća opisan je u nekoliko koraka. Za formiranje modela korištena je MLP neuronska mreža trenirana LM algoritmom. Kako bi se odredio najbolji model trenirano je ukupno 780 neuronskih mreža, a najbolji model određen je usporedbom vrijednosti različitih


32


mjera kvalitete (SEE, RMSE, MAE i CE). Neuronski modeli izrađeni su u Matlabu 7.8.0 (R2009a), a rezultati simulacije su obrađeni u Microsoft Excel 2007 programu.

5.1.1. Prikupljanjepodataka

Za modeliranje dnevnog dotoka rijeke Cetine potrebni su cjeloviti, višegodišnji podaci mjereni u istoj mjernoj postaji. Podaci potrebni za izradu modela dobiveni su iz hrvatskog DHMZa, a radi se o 1461-oj vrijednosti srednjeg dnevnog protoka rijeke Cetine mjerenog u postaji Vinalić za vremensko razdoblje od 2007-e do 2010-e godine. Slika 12 grafički prikazuje vremensku seriju prikupljenih podataka.

Slika 12 Srednje dnevne vrijednosti protoka rijeke Cetine mjerenog u postaji Vinalić

5.1.2. Podjelapodataka

Skup raspoloživih podataka podijeljen je na dva podskupa, podskup podataka za treniranje mreže i podskup podataka procjenu neuronskog modela. Za treniranje mreže korišteno je 75% prikupljenih uzoraka, a 25% je korišteno za procjenu modela. S obzirom da neuronska mreža može vršiti predviđanja samo unutar granica vrijednosti koje je upoznala za vrijeme učenja, [49], [53], za procjenu modela su odabrani podaci iz 2009-e godine, jer ne sadrže ekstremne minimalne ni maksimalne vrijednosti. Naime, vrijednosti protoka iz vremenskog razdoblja od 2007-e do 2010-e godine, kreću se u granicama od 1.45 m3/s (zabilježeno 28. i 29.10.2008.) do 104 m3/s (zabilježeno 02.12.2010.), a za 2009-u godinu u granicama od 1.83 m3/s (zabilježeno od 18. do 21.11.2009.) do 72.1 m3/s (zabilježeno 23.01.2009.), što čini podatke iz 2009-e godine prikladne za ispitivanje predikcijskih sposobnosti neuronskog modela.

5.1.3. Određivanjeulaznihiizlaznihvektorazatreniranjemreže

Korelacijskom analizom određena je međusobna ovisnost članova vremenske serije razmatrane varijable. Numeričke vrijednosti koeficijenata korelacije za članove vremenske serije do 10 koraka unatrag od trenutka promatranja prikazane su u tablici 1. Ukupni rezultati korelacijske analize prikazani su grafički na slici 13.

0

20

40

60

80

100

147

93

139

185

231

277

323

369

415

461

507

553

599

645

691

737

783

829

875

921

967

1013

1059

1105

1151

1197

1243

1289

1335

1381

1427

flow [m3/s]

step [day]


33


Tablica 1 Numeričke vrijednosti

koeficijenata korelacije

u(t-1) 0,9538 u(t-2) 0,8682 u(t-3) 0,7934 u(t-4) 0,7400 u(t-5) 0,7053 u(t-6) 0,6805 u(t-7) 0,6540 u(t-8) 0,6204 u(t-9) 0,5871 u(t-10) 0,5572

Slika 13 Rezultat korelacijske analize

Prema rezultatima provedene analize najznačajniji utjecaj na trenutnu vrijednost dotoka očekivano ima vrijednost iz prethodnog koraka, nakon čega slijedi pad ovisnosti koja u potpunosti nestaje za pomake veće od 77 koraka računanja, kao što se može vidjeti na slici 13. Međutim, iz provedene analize ne da se zaključiti koji bi broj prethodnih uzoraka osigurao najbolji predikcijski model sustava. Stoga je potrebno formirati veći broj modela s različitim brojem članova ulaznog vektora te kroz eksperiment utvrditi koji je model najbolji. Kako bi se odabralo najbolji model, formirano je šest grupa modela s različitim članovima ulaznog vektora, prema tablici 2. Tablica 2 Članovi ulaznog vektora za 6 grupa modela

Grupa modela

Članovi ulaznog vektora

ANN1 Q(t-1) ANN2 Q(t-1), Q(t-2) ANN3 Q(t-1), Q(t-2), Q(t-3) ANN4 Q(t-1), Q(t-2), Q(t-3), Q(t-4) ANN5 Q(t-1), Q(t-2), Q(t-3), Q(t-4), Q(t-5) ANN6 Q(t-1), Q(t-2), Q(t-3), Q(t-4), Q(t-5), Q(t-6)

Slijed od šest uzastopnih uzoraka odabran je kao najveći broj članova ulaznog vektora za treniranje mreže jer korelacijski koeficijent nakon šestog uzorka pada ispod 0,7 pa se pretpostavlja da utjecaj članova vremenske serije koji slijede nije od velikog značaja.

Ukoliko istraživanje pokaže stalan napredak predikcijskih sposobnosti modela za povećanje broja članova ulaznog vektora, povećanje broja članova će se nastaviti i iznad šest te će konačan broj biti određen eksperimentalno. Pri tome, svi modeli imaju jednak izlazni vektor (članovi vremenske serije Q(t)) i treniraju se u jednakim uvjetima.

5.1.4. Identifikacijaneuronskogmodela

Za formiranje neuronskog modela za predviđanje dotoka rijeke Cetine korištena je MLP neuronska mreža, najčešće korištena neuronska mreža za modeliranje hidroloških sustava [50]. Prema preporuci iz [43], korištena je arhitektura s jednim skrivenim slojem neurona. Korištena MLP dvoslojna neuronska mreža ima svojstvo univerzalnog aproksimatora [36], što znači da su neuroni s linearnom aktivacijskom funkcijom korišteni u ulaznom i izlaznom sloju, a neuroni sa sigmoidalnom aktivacijskom funkcijom u skrivenom sloju, kao što je prikazano na slici 14.

0

0,2

0,4

0,6

0,8

1

1 5 9 1317212529333741454953576165697377

P. Matić

Svi modvektora dimenzimodeli Broj neneurononeuronaza svaku Tablica

ModeANN1ANN2ANN3ANN4ANN5ANN6

S obziro(podesivpostupkuzastopza potremreža. najpriklstotina p Kao funMean Spretreniod pretrpodskupslučajnaprovođeje određ S obzirovektora

– Kvalifikac

deli imaju jecilja (T, ta

ijom ulaznodruge grupe

eurona skrivom u skrivea skrivenog u od šest gr

3 Ograničen

el Rješen1 NH ≤ 2 NH ≤ 3 NH ≤ 4 NH ≤ 5 NH ≤ 6 NH ≤

om da se prvih parame

ka treniranjano za svakiebe određivSve su mr

ladniji algopodesivih p

nkcija cilja Square Erroiranja mrežereniranja [1pa za kalibra (random)enje uzastopđen kao opti

om da su br, a arhitektu

cijski doktors

Slika 1

edan izlaznarget vektorog vektora (e (ANN2) im

venog sloja enom sloju,sloja. U tab

rupa modela

nja broja neu

nje sustava (3 ∩ NH ≤ 55 ∩ NH ≤ 37 ∩ NH ≤ 29 ∩ NH ≤ 211 ∩ NH ≤ 13 ∩ NH ≤

rije početkaetara mrežea ovisi o pi od 13*6 Avanja najboreže treniranoritam za trparametara [

prilikom tror) i metode. Metoda r2] i podrazraciju (tren pa može pnog treniraimalan prem

rojevi ulaznura mreže o

ski ispit

14 Shema n

i neuron, s r), odnosno(P) pa tako ma dva ulaz

određen je, a zatim jeblici 3 su pra iz tablice 2

rona skriven

(1) Ogr47 N64 N73 N18 N181 N155 N

a treniranja ) i to slučaolazišnoj to

ANN modeloljeg modelne u Matlareniranje m[12].

reniranja mda ranog zanog zaustazumijeva poiranje), valibiti uzrok

anja iste mrma [24].

nih i izlazniodabrana, p

34

neuronskog

obzirom dao izlaznog vmodeli prvzna neurona

e eksperimee postupak rikazana og2, dobivena

nog sloja

raničenje NH ≤ 3 NH ≤ 5 NH ≤ 7 NH ≤ 9

NH ≤ 11 NH ≤ 13

mreže provajnim odabočki, tako jla. Dakle, kla proveden

abu, LM almreža skrom

mreže korištezaustavljanjavljanja je uodjelu skupidaciju i tesneuspješno

reže. Broj o

ih neurona reostaje odr

modela u M

a broj izlaznvektora. Bre grupe (ANa, i tako dalj

entalno. Prvponavljan

graničenja na primjenom

Kako istim ustrog kznači ibrojemveliki sloja“.eksperprovje

vodi inicijabirom vrijedje postupak

kako bi se umno je trenirgoritmom k

mnijih strukt

ena je sredna (early sto

uobičajeno kpa podataka stiranje moog treniranjd deset uza

određeni direditi broj s

PREDVIĐ

Matlabu

nih neurona oj ulaznih nNN1) ima jeje.

vo je trenirauz slijedno

na broj neurm izraza (22)

bi svi moduvjetima, odkriterij, daki treniranje

m ulaza ubroj neProvođenj

rimenta mora uvjeta (2

lizacija težidnosti, a kak treniranja manjio efekranje ukupnkoji se poktura, koje s

nja kvadratnopping) kakkorištena mza treniran

dela. Ova pa mreže testopnih tren

imenzijamaskrivenih ne

ĐANJE DO

određuje dineurona odedan ulazni

ana mreža so povećavanrona skriven).

deli bili trendabran je nakle NH ≤

modela s muz „nedop

eurona skrnje upravo ože služiti 22).

inskih koefkako konača

ponavljan kt slučajnogno 780 neu

kazao kao nsadrže do n

na pogreškako ne bi d

metoda za prnje na tri popodjela pode je razlog niranja svak

a ulaznog i eurona, ali

TOKA

imenzija dređen je i neuron,

s jednim nje broja nog sloja

nirani u ajmanje 13, što manjim pušteno rivenog takvog i kao

ficijenata an ishod 10 puta

g ishoda, uronskih najbrži i nekoliko

a (MSE, došlo do revenciju odskupa, dataka je

više za ke mreže

izlaznog i ispitati

5

P. Matić

koja gruakumulaodređiv

5.1.

Najbolji780 mo2009-e kvalitete(apsolutpogreškmjera za

Određivvrijednonapravlj

– Kvalifikac

upa modelaaciju Peruć

vanje najbolj

.5. Odr

i neuronskidela predstgodine, a e modela ktne) točnost

ka (MAE), ma određivan

vanje najboosti korištenjena uspor

cijski doktors

a (iz tablicća. Spomenjeg modela.

ređivanjen

i model odaavljen skupda isti mre

korištene suti modela, kmjera za ocjnje količine

ljeg modelanih mjera kvredba 78 s

ski ispit

ce 2) je najnuta dva pr.

najboljegm

abran je na p podataka oežama nije u četiri mjekorijen sredjenu relativodstupanja

Slika 15

a je napravvalitete za 1srednjih vri

35

ajprikladnijaroblema rij

modela

temelju poo dotoku rijbio predst

ere kvalitetednje kvadravne točnosti

prilikom pr

Ocjenjivanj

vljeno na sl10 uzastopnijednosti za

a za modelješena su p

ostupka projeke Cetine tavljen za ve, od čega tne pogreški modela, koredviđanja (

nje modela

lijedeći načno treniraniha svaku o

PREDVIĐ

iranje dotoprovođenjem

cjene, pri čmjerenom

vrijeme trendvije za od

ke (RMSE) oeficijent uč(SEE).

in. Prvo suh istovjetnihd korišteni

ĐANJE DO

oka rijeke Cm eksperim

čemu je svau postaji Vniranja. Za dređivanje i srednja ačinkovitosti

u izračunateh mreža, a pih mjera k

TOKA

Cetine u menta za

akom od Vinalić iz

ocijenu općenite

apsolutna i (CE) te

e srednje potom je kvalitete.

5

P. Matić

Rezultavrijedno Tablica

ANN 1ANN 2ANN 3ANN 4ANN 5ANN 6

RezultaneuronaRMSE imodele.

Slika

Usporedšestoj idotoka z

5.1.

Eksperiakumulaobzir pr

– Kvalifikac

ati ove uspoosti za najbo

a 4 Rezultat

SE-2-1 4,3

2-3-1 3,8-6-1 3,6

4-5-1 3,75-3-1 3,66-3-1 3,7

ati prikazania skrivenogi MAE krite.

16 Uspored

dba odziva iteraciji (Aza 2009-u g

.6. Kom

mentom zaaciju Perućrethodna tri

cijski doktors

oredbe prikolje modele

ti validacijsk

EE RMS3183 4,403

8217 3,867

6485 3,679

7426 3,773

6755 3,703

7325 3,849

i u tablici 4g sloja (ANNerijima te n

dba odziva n

neuronskogANN3-6-1_6godinu prika

mentarrez

a određivanća najbolje i člana seri

ski ispit

kazani su ne iz svake gr

kog postupk

SE MAE39 1,9344

78 1,7328

94 1,6521

38 1,7075

32 1,8241

94 2,0164

4 te na sliciN3-6-1) u

najveću vrije

najboljeg (A

g modela sa6), takozvaazana je na

zultataeks

nje najboljemodeliraju

ije, odnosno

36

na slici 15rupe modela

ka dobiveni

CE 4 0,8741

8 0,9012

1 0,9086

5 0,8999

1 0,8981

4 0,8817

i 15 govoreprosjeku daednost koef

ANN3-6-1_

a tri ulaza i anog najbolslici 16.

speriment

eg modela neuronski

o model gr

, a u tablia.

i ispitivanje

e kako neuraje najmanjficijenta CE

_6) modela i

šest neuronljeg model

ta

utvrđeno modeli vre

rupe ANN3

PREDVIĐ

ici 4 su izd

m srednjih v

onski modeje iznose gr

E u odnosu n

i mjerenih v

na skrivenogla, s mjere

je da dotoemenske se iz tablice

ĐANJE DO

dvojene nu

vrijednosti

el sa tri ulagrešaka premna ostale ne

vrijednosti d

g sloja dobienim vrijed

ok rijeke Cerije koji uz

2. Za prim

TOKA

umeričke

aza i šest ma SEE, euronske

dotoka

ivenog u dnostima

Cetine u zimaju u

mijetiti je

5


37


kako modeli s tri ulazna neurona zadovoljavaju ograničenje definirano izrazom (22), prikazano u tablici 3 (NH ≤ 7). Što se tiče određivanja broja neurona skrivenog sloja, najbolje rezultate ostvaruju modeli sa šest neurona u skrivenom sloju. Naime, na grafovima sa slike 15 ucrtane su i linije trenda koje ukazuju na to da su ekstremne vrijednosti, koje detektiraju najbolji model, vjerojatno točke globalnih ekstrema što bi značilo da je dobiveni model uistinu najbolji. S obzirom da se može primijetiti opadanje kvalitete modela za povećanje broja ulaza i povećanje broja neurona skrivenog sloja, može se zaključiti kako daljnje povećanje broja (ulaznih i skrivenih) neurona vjerojatno ne bi povećalo kvalitetu modela. Kako bi se ova tvrdnja mogla prihvatiti s većom sigurnošću, područje istraživanja bi valjalo proširiti na modele s većim brojem ulaznih i skrivenih neurona, ali i ovakvi rezultati omogućavaju donošenje zaključka o najboljem modelu. Kako se pored numeričkih mjera kvalitete predlaže i grafički pregled rezultata simulacije [6], [48], [72], tako su i u ovom istraživanju uspoređivani odzivi modela i mjereni podaci, a iscrtavani su i pripadajući „scatterplot“ grafovi koji prikazuju odstupanje odziva modela od mjerenih podataka. Međutim, grafičkom analizom je moguće samo subjektivno procijeniti kvalitetu odziva te razlikovati granične slučajeve, odnosno razlučiti izrazito dobro ili izrazito loše predviđanje modela te izvući neke općenite zaključke o modelu, poput (ne)mogućnosti generalizacije modela, ali ne i precizno ocijeniti njegovu točnost. Zbog toga se predlaže prikazivanje odziva samo najbolje ocijenjenog modela prema numeričkim vrijednostima korištenih kriterija, kao na slici 16. Pored navedenih SEE, RMSE, MAE i CE, promatrane su još dvije mjere kvalitete koje se temelje na korelaciji, a to su: koeficijent određenosti (r2) i koeficijent linearne korelacije (r), s obzirom da se radi o uobičajeno korištenim mjerama kvalitete za ocjenjivanje modela [28], [39], [44], [45]. Međutim, spomenute mjere (r i r2) u nekim slučajevima daju rezultate koji nisu u skladu s rezultatima ostalih mjera kvalitete te ne pomažu u određivanju najboljeg modela prema provedenom eksperimentu iz ovog rada. Stoga je moguće potvrditi zaključak iz [48] o njihovoj neprimjerenosti u ocjenjivanju hidroloških modela, zbog čega vrijednosti r i r2 nisu ni prikazivane, a niti korištene u određivanju najboljeg modela.


38

ZAKLJUČAK 6

6. ZAKLJUČAK

Kako bi se optimiziralo uporabu vodenih resursa, koriste se hidrološka predviđanja koja se temelje na hidrološkim modelima. Hidrološki modeli se koriste za prognoziranje različitih varijabli hidrološkog sustava, a ukoliko se koriste u svrhu optimiranja rada hidroelektrane tada je od posebnog interesa predviđanje dotoka. U ovom radu istraživana je mogućnost primjene umjetne neuronske mreže u modeliranju hidrološkog sustava za potrebe dnevnog predviđanja dotoka na temelju zabilježene vremenske serije iste varijable. Na temelju provedenog istraživanja prikazanog u ovom radu moguće je donijeti slijedeće zaključke (A) te nagovijestiti budući rad (B).

1 (A) Rezultati provedenog istraživanja potvrđuju mogućnost modeliranja dotoka pomoću umjetne neuronske mreže, a vrijednosti korištenih mjera kvalitete svjedoče o visokoj točnosti predviđanja za jedan korak računanja unaprijed, što u ovom slučaju znači jedan dan unaprijed.

1 (B) S obzirom da je provedeni eksperiment dao dobre rezultate za predviđanje dotoka

jedan dan unaprijed, u slijedećem koraku potrebno bi bilo provesti eksperiment za određivanje predikcijskog horizonta, odnosno utvrditi koliko se dana unaprijed može ostvariti prognoza zadovoljavajuće točnosti. Model za pouzdano predviđanje dotoka od najmanje sedam dana unaprijed bi bio koristan za optimiranje HES-a rijeke Cetine.

2 (A) Pregledom većeg broja radova, navedenih u popisu literature na kraju ovog rada,

potvrđeni su zaključci iz [2], [49] i [50] o nedostatku sustavnog pristupa postupku formiranju neuronskog modela za hidrološka predviđanja.

2 (B) U daljnjem radu potrebno je detaljno proučiti svaki od koraka predloženog sustavnog

postupka, istražiti prethodno korištene metode te pokušati odrediti optimalnu metodu za rješavanje svakog koraka.

3 (A) U ovom radu dotok rijeke Cetine u akumulaciju Peruća se predviđa isključivo na

temelju vremenske serije dobivene mjerenjem, zbog čega model radi veće pogreške u trenucima većih, naglih promjena. Predviđanje koje se radi isključivo na temelju vremenske serije jedne varijable teško može odstraniti pogrešku koja nastaje kod naglih promjena jer ništa ne nagovješćuje takvu promjenu. Uključivanjem dodatne varijable, ili više njih, koje bi najbolje mogle nagovijestiti buduće promjene protoka vjerojatno bi unaprijedilo predikcijsku sposobnost modela. Međutim, kao što je prikazano u [2], dodavanje varijabli ne rezultira uvijek i boljim modelom, tako da varijable za modeliranje protoka moraju biti pažljivo odabrane.

3 (B) Mogućnosti uključivanja dodatnih varijabli u model za predviđanje protoka trebalo

bi biti razmatrano u budućim istraživanjima, a odluka o proširenju modela bit će donesena ovisno o raspoloživim podacima i rezultatima istraživanja.


39

ZAKLJUČAK 6

4 (A) Jedan od nedostataka pri formiranju modela u ovom radu je svakako postojanje cjelovitih četverogodišnjih podataka, što ne ispunjava preporuku iz DHMZ-a o primjeni cjelovitih petogodišnjih podataka

4 (B) Uključivanjem novijih podataka koji s vremenom postanu dostupni u svakom će

slučaju unaprijediti kvalitetu modela.

Zahvala Izrazitu zahvalnost autor ovog rada upućuje djelatnicima Državnog hidrometeorološkog zavoda koji su ustupljenim podacima omogućili izradu ovog rada.


40

LITERATURA 7

LITERATURA

[ 1 ] R.J. Abrahart, P.E. Kneale, L.M. See: Neural Networks for Hydrological Modelling, A.A. Balkema Publishers (Leiden, The Netherlands), a member of Taylor & Francis Group, London, UK, 2005.

[ 2 ] Robert J. Abrahart, Pauline E. Kneale, Linda M. See: Neural Networks for Hydrological Modelling, A.A.Balkema Publishers (Leiden, The Netherlands), a member of Taylor & Francis Group, London, UK, 2005.; Chapter 3: Christian W. Dawson, Robert L. Wilby, Single Network Modelling Solutions

[ 3 ] Robert J. Abrahart, Pauline E. Kneale, Linda M. See: Neural Networks for Hydrological Modelling, A.A.Balkema Publishers (Leiden, The Netherlands), a member of Taylor & Francis Group, London, UK, 2005.; Chapter 9: Anthony W. Minns, Michael J. Hall, Single Network Modelling Solutions

[ 4 ] R.J. Abrahart and L. See: Neural network vs. ARMA modelling: constructing benchmark case studies of river flow prediction, Proceedings of the 3rd International Conference on Geocomputation, University of Bristol, 17–19, 1998.

[ 5 ] A. Agarwal, R.D. Singh: Runoff Modelling Through Back Propagation Artificial Neural Network with Variable Rainfall-Runoff Data, Water Resources Management 18, pp 285–300, 2004.

[ 6 ] Ahnert et al: Goodness-of-fit measures for numerical modelling in urban water management –a summary to support practical applications, 10th IWA Specialised Conference on Design, Operation and Economics of large Wastewater Treatment Plants, 2007.

[ 7 ] M. K. Akhtar, G. A. Corzo, S. J. van Andel, and A. Jonoski: River flow forecasting with artificial neural networks using satellite observed precipitation pre-processed with flow length and travel time information: case study of the Ganges river basin, Hydrol. Earth Syst. Sci., 13, 1607–1618, 2009.

[ 8 ] F. Anctil, C. Perrin, V. Andreassian: Impact of the length of observed records on the performance of ANN and of conceptual parsimonious rainfall-runoff forecasting models, Environmental Modelling and Software 19, 357–368, 2004.

[ 9 ] J.A. Anderson: An Introduction to Neural Networks, MIT Press, 1995.

[ 10 ] A. Ashrafzadeh, A. Parvaresh Rizi: A Hybrid Neural Network Based Model for Synthetic Time Series Generation, International Symposium on Water Management and Hydraulic Engineering, Ohrid/Macedonia, 1-5 September 2009.

[ 11 ] A.F. Atiya, S.M. El-Shoura, S.I. Shaheen, M.S. El-Sherif: A Comparison between Neural-Network Forecasting Techniques - Case Study: River Flow Forecasting, IEEE Transactions on Neural Networks, Vol. 10, No. 2, March 1999.

[ 12 ] M.H. Beale, M.T. Hagan, H.B. Demuth: Neural Network Toolbox™ User’s Guide, The MathWorks, Inc, 2010.

[ 13 ] A. Bhadra, A. Bandyopadhyay, R. Singh, N. S. Raghuwanshi: Rainfall-Runoff Modelling: Comparison of Two Approaches with Different Data Requirements, Water Resource Management 24, 37–62, 2010.

[ 14 ] C.M. Bishop: Neural Networks for Pattern Recognition, Clarendon Press, Oxford, 1995.

[ 15 ] Gianluca Bontempi, Souhaib Ben Taieb: Conditionally dependent strategies for multiple-step-ahead prediction in local learning, International Journal of Forecasting, vol. 27, issue 3, pages 689-699, 2011.


41

LITERATURA 7

[ 16 ] G.J. Bowden: Forecasting Water Resources Variables Using Artificial Neural Networks, doctoral dissertation, The University of Adelaide, School of Civil and Environmental Engineering, Australia, 2003.

[ 17 ] Y. Chen, B. Yang, J. Dong, A. Abraham: Time-series forecasting using flexible neural tree model, Information Sciences 174, pp. 219–235, 2005.

[ 18 ] P. Coulibaly, F. Anctil, B. Bobeée: Daily reservoir inflow forecasting using artificial neural networks with stopped training approach, Journal of Hydrology (230), pp 244–257, 2000.

[ 19 ] P. Coulibaly, F. Anctil, B. Bobee: Multivariate Reservoir Inflow Forecasting Using Temporal Neural Networks, Journal of Hydrologic Engineering, Vol. 6, No. 5, 2001.

[ 20 ] C.W. Dawson, R.L. Wilby: A comparison of artificial neural networks used for river flow forecasting, Hydrology and Earth System Sciences 3(4), 529-540, 1999.

[ 21 ] C.W. Dawson, R.L. Wilby: Hydrological modelling using artificial neural networks, Progress in Physical Geography 25(1), pp. 80–108, 2001.

[ 22 ] C.W. Dawson, C. Harpham, R.L. Wilby, Y. Chen: Evaluation of artificial neural network techniques for flow forecasting in the River Yangtze, China, Hydrology and Earth System Sciences, 6(4), pp. 619-626, 2002.

[ 23 ] H.B. Demuth, M.H. Beale: Neural Network Toolbox™ User’s Guide, The MathWorks, Inc, 2004.

[ 24 ] N.J. de Vos, T.H.M. Rientjes: Constraints of artificial neural networks for rainfall-runoff modelling: trade-offs in hydrological state representation and model evaluation, Hydrology and Earth System Sciences, 9, pp. 111–126, 2005.

[ 25 ] A. Laukkanen: Short term inflow forecasting in the Nordic power market, Master’s thesis, Helsinki University of Technology – Department of Engineering Physics and Mathematics, 2004.

[ 26 ] A. El-Shafie, A.E. Noureldin, M.R. Taha and H. Basri: Neural Network Model for Nile River Inflow Forecasting Based on Correlation Analysis of Historical Inflow Data, Journal of Applied Sciences 8, pp. 4487-4499, 2008.

[ 27 ] J. Faraway, C. Chatfield: Time series forecasting with artificial neural networks: a comparative study using airline data, Applied Statistics 47 (2), pp. 231 – 251, 1998.

[ 28 ] M. Firat, M. Gungor: River Flow Estimation Using Feed Forward and Radial Basis Neural Networks Approaches, International Congres on River Basin Management, 2007.

[ 29 ] R. J. Frank, N. Davey, and S. P. Hunt, Time series prediction and neural networks, Journal of Intelligent Robotic Systems, Vol. 31, No. 1–3, pp. 91–103, 2001.

[ 30 ] D. Furundzic: Application example of neural networks for time series analysis: Rainfall-runoff odelling, Signal Processing 64, 383-396, 1998.

[ 31 ] R. Goić: Mogućnosti efikasnijeg operativnog planiranja rada i vođenja hidroenergetskog sustava rijeke Cetine , 4. Savjetovanje Hrvatskog komiteta međunarodne konferencije za velike električne sisteme, Cavtat, 1999.

[ 32 ] R. Goić: Koncepcija modela vođenja i optimiranja hidroenergetskim sustavom sliva rijeke Cetine, FESB, Split, 2004.

[ 33 ] R. Golob, T. Štokelj, D. Grgič: Neural-network-based water infow forecasting, Control Engineering Practice 6, pp. 593-600, 1998.

[ 34 ] M. Hagan, M. B. Menhaj: Training Feedforward Networks with the Marquardt Algorithm, IEEE Transactions on Neural Networks, Vol. 5, No. 6, November 1994.


42

LITERATURA 7

[ 35 ] M. Hagan, H. Demuth, M. Beale: Neural Network Design, Boston, MA: PWS Publishing, 1996.

[ 36 ] M. Hagan, H. Demuth, O. De Jesus, An Introduction to the Use of Neural Networks in Control Systems, International Journal of Robust and Nonlinear Control, Vol. 12, No. 11, pp. 959-985, September, 2002.

[ 37 ] S. Haykin: Neural Networks: A Comprehensive Foundation, Pearson Education Inc., 1999.

[ 38 ] T.S. Hu, K.C. Lam, S.T. NG: River flow time series prediction with a range-dependent neural network, Hydrological Sciences Journal, 46: 5, pp. 729-745, 2001.

[ 39 ] A. Jain: Improved performance of hydrologic and water resources systems using soft computing techniques, Special issue on soft computing- Directions, Vol. 7, Issue 3, published by IIT Kanpur, pp 42-48, 2006.

[ 40 ] Dae-Il Jeong and Young-Oh Kim: Rainfall-runoff models using artificial neural networks for ensemble streamflow prediction, Hydrological Processes 19, 3819–3835, 2005.

[ 41 ] Qin Ju, Zhongbo Yu, Zhenchun Hao, Changjun Zhu, Dedong Liu: Hydrologic Simulations with Artificial Neural Networks, Third International Conference on Natural Computation, ICNC 2007.

[ 42 ] S. Karimi-Googhari, H. Y. Feng, A. H. Ghazali and L. T. Shui: Neural Networks for Forecasting Daily Reservoir Inflows, Pertanika Journal of Science & Technology 18 (1), 33 –41, 2010.

[ 43 ] G.B. Kingston: Bayesian Artificial Neural Networks in Water Resources Engineering, doctoral dissertation, School of Civil and Environmental Engineering, Faculty of Engineering, Computer and Mathematical Science, University of Adelaide, Australia, 2006.

[ 44 ] Ö. Kişi: Daily river flow forecasting using artificial neural networks and auto-regressive models, Turkish J. Eng. Environ. Sci. 29, pp. 9–20, 2005.

[ 45 ] Ö. Kişi: Streamflow Forecasting Using Different Artificial Neural Network Algorithms, Journal of Hydrologic Engineering, Vol. 12, No. 5, September 1, 2007.

[ 46 ] A. M. Kalteh: Rainfall-runoff modelling using artificial neural networks (ANNs): modelling and understanding, Caspian Journal of Environmental Science, Vol. 6, No.1, pp. 53-58, 2008.

[ 47 ] B. Krose, P. van der Smagt: An introduction to Neural Networks, University of Amsterdam, 1996.

[ 48 ] D.R. Legates, G.J. McCabe Jr.: Evaluating the use of “goodness-of-fit” measures in hydrologic and hydroclimatic model validation, Water Resources Reasearch, Vol. 35, No. 1, pages 233-241, January 1999.

[ 49 ] H.R. Maier, G.C. Dandy: Neural networks for the prediction and forecasting of water resources variables: a review of modelling issues and applications, Environmental Modelling & Software 15, pp. 101–124, 2000.

[ 50 ] H.R. Maier, A.Jain, G.C. Dandy, K.P. Sudheer: Methods used for the development of neural networks for the prediction of water resource variables in river systems: Current status and future directions, Environmental Modelling & Software 25, 891-909, 2010.

[ 51 ] J. Marasović: Kvantitativno i kvalitativno modeliranje i simuliranje, Fakultet elektrotehnike, strojarstva i brodogradnje, Split, 2004.

[ 52 ] D.P. Mandić: Recurrent neural networks for prediction: learning algorithms, architectures and stability, Wiley and Sons, Ltd, England, 2001.

[ 53 ] A.W. Minns, M.J. Hall: Artificial neural networks as rainfall-runoff models, Hydrological


43

LITERATURA 7

Sciences -Journal- des Sciences Hydrologiques, 41(3) June 1996.

[ 54 ] K. Mohammadi, H. R. Eslami and Sh. Dayyani Dardashti: Comparison of Regression, ARIMA and ANN Models for Reservoir Inflow Forecasting using Snowmelt Equivalent (a Case study of Karaj), Journal of Agriculture, Science and Technology, Vol. 7: 17-30, 2005.

[ 55 ] G.Y. Muluye and P. Coulibaly: Seasonal reservoir inflow forecasting with low-frequency climatic indices: a comparison of data-driven methods, Hydrological Sciences Journal, 52:3, pp. 508-522, 2007.

[ 56 ] J. Osborne: Notes on the use of data transformations. Practical Assessment, Research & Evaluation, 8(6), 2002.

[ 57 ] D. Paravana, T. Štokelj, R. Golob: Improvements to the water management of a run-of-river HPP reservoir: methodology and case study, Control Engineering Practice, Volume 12, Issue 4, pp. 377–385, 2004.

[ 58 ] I. Petrović: Identifikacija nelinearnih dinamičkih procesa statičkim neuronskim mrežama, doktorska disertacija, FER, Zagreb, 1998.

[ 59 ] S. Riad, J. Mania, L. Bouchaou, Y. Najjar: Rainfall-Runoff Model Using an Artificial Neural Network Approach, Mathematical and Computer Modelling 40, 839-846, 2004.

[ 60 ] A.J.M. Reddy, Ch.S. Babu and P. Mallikarjuna: Rainfall – Runoff Modeling: Comparison and Combination of Simple Time-Series, Linear Autoregressive and Artificial Neural Network Models, WSEAS Transactions on Fluid Mechanics, Issue 2, Volume 3, 126-136, 2008.

[ 61 ] D. E. Rumelhart, G. E. Hinton, R. J. Williams: Back Propagation: Theory, Architectures, and Applications, Hillsdale, NJ,1995.

[ 62 ] W.S. Sarle: Neural network FAQ, periodic posting to the Usenet newsgroup comp.ai.neural-nets, ftp://ftp.sas.com/pub/neural/FAQ.html

[ 63 ] A.R. Senthil Kumar, K. P. Sudheer, S. K. Jain1 and P. K. Agarwal: Rainfall-runoff modelling using artificial neural networks: comparison of network types, Hydrological Processes 19, 1277–1291, 2005.

[ 64 ] B. Sivakumar: Nonlinear dynamics and chaos in hydrologic systems: latest developments and a look forward, Stochastic Environmental Research and Risk Assessment, Volume 23, Number 7, pp. 1027-1036, 2009.

[ 65 ] K. Solaimani: Rainfall-runoff Prediction Based on Artificial Neural Network, A Case Study: Jarahi Watershed, American-Eurasian Journal of Agricolturale and Environmental Science, 5(6), pp. 856-865, 2009.

[ 66 ] S. Srinivasulu, A. Jain: A comparative analysis of training methods for artificial neural network rainfall–runoff models, Applied Soft Computing 6, 295–306, 2006.

[ 67 ] Ch. Subramanian and M. Manry, Reservoir inflow forecasting using neural networks, in Proceedings of American Power Conference, pp. 220-226, Chicago, US, Apr. 1999.

[ 68 ] S. Suhaimi, A. Rosmina, A. Bustami: Rainfall Runoff Modeling using Radial Basis Function Neural Network for Sungai Tinjar Catchment, Miri, Sarawak, UNIMAS E. Journal of Civil Engineering, Vol 1, issue 1, 2009.

[ 69 ] T. Štokelj, D. Paravan, R. Golob: Short and mid-term hydro power plant reservoir inflow forecasting, International Conference on Power System Technology, vol.2, pp. 1107 – 1112, 2000.

[ 70 ] W. Wang, P.H.A.J.M. Van Gelder, J.K. Vrijling, J. Ma: Forecasting daily streamflow using hybrid ANN models, Journal of Hydrology 324, pp. 383–399, 2006.


44

LITERATURA 7

[ 71 ] C.L. Wu, K.W. Chau, Y.S. Li: Methods to improve neural network performance in daily flows prediction, Journal of Hydrology 372, pp. 80–93, 2009.

[ 72 ] C.L. Wu, K.W. Chau: Rainfall–runoff modeling using artificial neural network coupled with singular spectrum analysis, Journal of Hydrology, Vol. 399, No. 3-4, pp. 394-409, 2011.

[ 73 ] Z. X. Xu, J. Y. Li: Short-term inflow forecasting using an artificial neural network model, Hydrolgical Processes 16, pp. 2423–2439, 2002.

[ 74 ] Jing-Xin Xie, Chun-Tian Cheng, Kwok-Wing Chau，Yong-Zhen Pei: A hybrid adaptive time-delay neural network model for multi-step-ahead prediction of sunspot activity, International Journal of Environment and Pollution, Vol. 28, No. 3-4, pp. 364-381, 2006.

[ 75 ] Jun Zhang, Chun-tian Cheng, Sheng-li Liao, Xin-yu Wu, and Jian-jian Shen: Daily reservoir inflow forecasting combining QPF into ANNs model, Hydrology and Earth System Sciences Discussions 6, 121–150, 2009.

[ 76 ] C. M. Zealand, D. H. Burn, S. P. Simonovic: Short term streamflow forecasting using artificial neural networks, Journal of Hydrology 214, 32–48, 1999.

[ 77 ] R. Žugaj: Hidrologija za agroekologe, Sveučilište u Zagrebu, Rudarsko-geološko-naftnifakultet, Zagreb, 2009.

[ 78 ] R. Žugaj: Velike vode malih slivova, Sveučilište u Zagrebu, Rudarsko-geološko-naftnifakultet, Zagreb, 2010.

[ 79 ] http://www.gradri.hr/adminmax/files/class/VODOGRADNJE%20-%202%20PRED.pdf

Documents

Predviđanje dotoka rijeke Cetine u akumulaciju Peruća ...intranet.fesb.hr/Portals/0/docs/nastava/kvalifikacijski/kvalifikacijski... · neuronske mreže u odnosu na tradicionalne