View
82
Download
3
Category
Preview:
DESCRIPTION
Tarkvarasüsteem Pidevstuudium. Kasutamisjuhend, exe-fail ja konfiguratsioonifail on vabalt saadaval aadressil http://map.gg.bg.ut.ee/kalle_r/PIDEVSTUUDIUM/ Originaalkood on Tartu Ülikooli omand Kaardi- ja kaugseireandmekihte kasutatakse vastavalt litsentsilepingutele. - PowerPoint PPT Presentation
Citation preview
Pidevstuudium 1
Tarkvarasüsteem Pidevstuudium
Kasutamisjuhend, exe-fail ja konfiguratsioonifail on vabalt saadaval aadressilhttp://map.gg.bg.ut.ee/kalle_r/PIDEVSTUUDIUM/
Originaalkood on Tartu Ülikooli omand
Kaardi- ja kaugseireandmekihte kasutatakse vastavalt litsentsilepingutele
“Kui Eestis tegutseva arvuti käest küsida, mida ta viimasel ajal teinud on, vastaks see, et magab 14 tundi ööpäevas, siis vedeleb niisama või käib mängimas või jututoas.” (Kaarel Tarand, Linnar Viik)
Pidevstuudium 2
Näidistele tuginev järeldamine 1
Kirjeldav analüüs (exploratory data analysis)
Eelnevaid hüpoteese minimaalselt. Alustatakse andmete kogumisest.On kiirem, odavam, piltlikum. Järeldused kirjeldavad ja nõrgalt põhjendatud, sobivad hüpoteeside püstitamiseks.
Seoste otsimine, kirjeldamine, visualiseerimine ja modelleerimineKlassifitseerimismeetodidKeskmiste ja variatsiooniparameetrite arvutamineNäidistega sarnasuse alusel klassifitseerimine ja hindamine
Kinnitav analüüs (confirmatory data analysis)Lähtutakse hüpoteesist ja püütakse seda kas kinnitada või ümber lükata. Tulemus oletuse kehtimise tõenäosus.Alustatakse oletusest.On rangem, võimaldab kindlamaid järeldusi. Tulemuslikkus sõltub hüpoteeside püstitamise oskusest.
Pidevstuudium 3
Näidistele tuginev järeldamine 2
Näidistele tugineval hindamisel langetatakse otsuseid uut olukorda või uusi andmeid varasemate kogemustega võrreldes – prognoositavale vaatlusele, objektile, kohale või muule nähtusele otsitakse olemasolevate vaatluste hulgast kõige sarnasemaid näidiseid. Teadmisi hoitakse näidiste ja nende omaduste komplektis ehk näidiste baasis.
Sarnasuse hindamisel tuleb alati otsustada, milliseid tunnuseid kasutatakse. Sarnasus mille poolest.
Näidistele tuginevad ekspertsüsteemid kuuluvad intellektitehnika hulka, milles kasutatakse süsteemi õpetusandmetele sobitamiseks ehk väljaõpetamiseks automatiseeritud iteratiivset optimeerimist ehk tehisõpet.
Tehisõppe käigus valitakse õpetusandmetest parimaid prognoose tagavad näidised ja tunnused ning omistatakse neile kaalud.
Näidiste abil saab prognoosida nii pideva muutuja väärtust kui ka nominaalse muutuja klassikuuluvust.
Pidevstuudium 4
Pikslite klassifitseerimine näidiste komplekti järgi
Näidis
3
Näidis
4
Näidis
5
Näidis
2
Näidis
1
Näidis
6
Objekt1
Objekt3
Objekt2
Näidis
7
Vaatlus
(piksel)
E
s
i n
d
a
t
u
s
V õ
r d
l u
s
Pidevstuudium 5
Hinnangu sõltuvus kasutatavate näidiste arvust ja näidiste kaalumine
Klassifitseerimine Prognoos
Pidevstuudium 6
Näidistele tugineva järeldamise rakendusi
• Näidistele tuginevaid järeldusi on kasutatud paljudes teadusharudes ja elualadel, kus seaduspärasused ei ole täiesti ranged, on aga olemas suur hulk üksikjuhtumeid, üksikuuringuid ja vaatlusandmestikke:
meditsiinis, nõustamisel, finantsriskide hindamisel,tehniliste rikete diagnoosil, maastiku ja linnade planeerimisel, kaitsejõududes, tekstitöötluses, kõnetuvastuses, isikutuvastuses,masintõlkes, pilditöötluses, tarkvaraarenduses, taimkatte kaardistamisel kaudsete andmete järgi, metsa tagavara hindamiseks satelliidipildi järgi ja muus
pilditõlgitsuses.
Pidevstuudium 7
Varasema tarkvara puudused
Iga andmekihi ja kaardilehe puhul peab lokaalsete pildi- ja kaardistruktuuri indeksite arvutamise programmi uuesti käivitama.
Iga uue faili puhul tuleb sisestada mitmeid parameetreid (ridade ja veergude arv, nurgakoordinaadid jne)
Kaasaegne masin võiks nii tark olla, et teab ise, mille järgi pildil olevaid objekte ära tunda, kuidas ühel või teisel juhul pilti formaliseerida ja võiks ise aru saada, millisel kaardilehel vaatluskoht on ning millisest failist pildi- või kaardikujutist vaadata.
Idrisi ja muu lokaalstatistikute arvutamise tarkvara
Pidevstuudium 8
Tehisõppe programm MLNN
Keskmine tehisõppe ühele iteratsioonile kuluv aeg sõltuvalt vaatluste arvust ja tunnuste arvust valimites, prognoositav tunnus EUNIS teise astme maakatteüksus.Eksperiment 2 GH protsessoriga arvutis.
Vaatluste ja tunnuste suure (>1000 ja >30) arvu puhul on sarnasusele tuginev tehisõpe aeglane.
tunnuste arv
0:000:11
0:230:34
0:460:57
1:091:20
1:321:43
1:55
0 200 400 600 800 1000vaatluste arv
aeg
5102033Polünoom (5)Polünoom (10)Polünoom (20)Polünoom (33)
aeg
[ tun
nid
ja m
inut
id ]
Pidevstuudium 9
Eelmise joonise järg
Üks õppevoor kõigi praeguste taimkattevaatlustega kestaks umbes 30 ööpäeva!
Eesmärgiks on avatud süsteem, kuhu saaks alati vaatlusi ja tunnuseid lisada. Arvestada tuleb sadade tuhandete vaatluste ja kuni paarisaja tunnusega.
tunnuste arv
00-jan
10-jan
20-jan
30-jan
09-feb
19-feb
0 2000 4000 6000 8000 10000vaatluste arv
aeg
5102033Polünoom (5)Polünoom (10)Polünoom (20)Polünoom (33)
aeg
[ kal
endr
ipäe
vad
]
Iga kord, kui vaatlusi või tunnuseid lisandub, tuleks parimate tunnuste ja näidiste komplektid uuesti arvutada.
Pidevõppe programmi MLNN ühele iteratsioonile kuluva aja ekstrapolatsioon sõltuvalt vaatluste arvust ja tunnuste arvust valimites.
Pidevstuudium 10
Püstitatud ülesanded
• Luua pidevalt toimiv tehisõppesüsteem, mis ei pea uute vaatluste lisandumise järel õppimist uuesti nullist alustama.
• Luua avatud näidiste baasi (teabebaasi) prototüüp, millele tuginedes võiks näidistele tuginev järeldamissüsteem kiiresti genereerida:
– tõenäolise taimkatte ja maakatte kaarte
– liikide ning muude üksuste ja nähtuste oodatavate esinemiskohtade kaarte
– võimalike kaardistusvigade kaarte (kui sarnane on aerofoto kaardil sellesse kohta märgitud klassi näidistega?)
Pidevstuudium loodi aastatel 2004…2007.
Pidevstuudium 11 Looja rahulolu
Süsteemi looja otsustusedMida õppida, kuidas õppida, millest õppida, kas on vaja õpitut unustada, mida
hinnata, kuidas hinnata?Tehnoloogiline skeem
Pidevõppe tarkvara
Teabebaas
Uued vaatlused
Uued tunnused (ka olemasolevatele
vaatlustele)
Hinnatavad vaatlused
hinnatud väärtused sarnasushinnangud
Prognoosikaardid Kaardikujunduse tarkvara
Sisend-väljund
Hinnangud rastervormis või GIS andmetabelina
Õpetusandmed
näidiste kaalud
tunnuste kaalud
aktuaalsuskoodid
Metaandmed
Õppe tulemused
Näidistele tuginev äraarvamis-süsteem
Õppe parameetrid
Hinnatavad kohad
Pidevstuudium 12
Pidevstuudiumi juhtimine
1. Uute vaatluste koordinaatide viimine andmebaasi.2. Õppes kasutatavate seletavate tunnuste valik.
3. Hinnatavate tunnuste valik.4. Valimite suuruse määramine.
5. Vaatlusi sisaldavate andmebaasiobjektide moodastamine ja määramine.
Andmebaasis
Pidevõppe dialoogiaknas
1. Vaatluskohtade pildi- ja kaardiindeksite arvutamine.2. Tunnuste ja vaatluste kaalude õppimine (ja mõnede õppeparameetrite määramine).
3. Vastavuse ümberarvutus (vaatluste lisamise järel).4. Näidiste ümbervalimine (vaatluste lisamise järel).
5. Tunnuste hinnang.6. Sarnasus etteantud klassiga (vaid klassikaupa hinnatud nominaalsete tunnuste puhul).
Õpet katkestamata saab: 1) muuta õppe seadistusi,
2) muuta tunnuste ja vaatluste aktuaalsust,
3) vaatlusi lisada,4) tunnuseid lisada (ja
eemaldada).
Pidevstuudium 13
Andmekihid 2007. a. septembri seisuga
Kaardid ja kaugseireandmed:
mullakaart 1:10 000
põhikaart 1:10 000
Landsati kaadrid
ortofotode seeriad
maapinna kõrgusmudel
jne
Andmekihid:
heledusvärvitoonküllastuspunase kiirguse hulkrohelise kiirguse hulkkeskmine heledus 30 m jne
Tunnused:
mullaliik 57 üksustmullaliik 10 üksust mulla lõimise liik jne
domineeriv mullaliik 10 m raadiusesdomineeriv mullaliik 100 m madalsoomulla osakaal 100 m erinevate mullaliikide arv 100 m kaugus lähimast mullaliigi piirist eraldiste suund 200 m ümbrusesjne
keskmine 10 raadiuseskeskmine 30 m raadiusesstandardhälve 30 m kaugusega kaalutud autokorrelatsioonerinevus 100 m ümbruse keskmisestgradiendi tugevus 50 m raadiusesjne
Praegu kokku 172 kihti Erinevate tunnuste uurimisel kasutatakse erinevaid tunnused.Otepää LP taimkattekaardi koostamisel kasutati 131 tunnust.
Kaartide ja kaugseireandmete kasutamiseks on vajalik litsents andmete pakkujalt
Pidevstuudium 14
Ruumimustri indeksid Pidevstuudium 2007s
Nominaalsest andmekihist
Antud klassi sagedusMoodShannoni mitmekesisus Lloydi ühetaolisus DominantsKlasside arvKlassikülgnevuste osaLaikude suundKlassivastavuste lähedusErinevat klassi vaatluspaaride osa Kaugusega kaalutud mood Klassipiiri kaugusKaugus etteantud klassi piirist
Vaata lähemalt Pidevstuudiumi kirjeldusest: http://map.gg.bg.ut.ee/kalle_r/PIDEVSTUUDIUM/Pidevstuudium_8-05-2007.pdf
Numbrilisest andmekihist
Üle keskmise väärtuste osaKeskmineStandardhälveMediaan Morani I 8st naaberpikslistKaugusega kaalutud Morani Naaberpikslite erinevusVariatsioonikoefitsientGradiendi suund Serva ja keskosa erinevus MiinimumMaksimumEkstsessitegur Üleminekute sujuvus Erinevus keskmisestGradiendi tugevus Kauguse pöördväärtusega kaalutud keskmine Triibulisus
Blokkvalim
Juhuvalim sõõrist
Pidevstuudium 15
Pidevstuudiumi andmebaasi struktuur
Andmebaasiobjekt
Vaatlusvektor VID, F, x, y, w, aktuaalsus, progn, prob, alates, kuni, seletavate tunnuste numbrid
Akihid KID, pkylg, kataloog, nominal, eira, alates, kuni, baite
INDEKSID Indeks, ID, nimi, nomkiht, nomind
PK20t NR, min-x, min-y
omasarnasus 1, 2, s
ATUNNUSED AID, nimi, KID, indeksID, radius, sradius, radius_k, valim, blokkvalim, antudkood,eelklassikasutus, eelklassikiht, eraldistekasutus, eraldistekiht, BV_kataloog, asendab, F1, AF1 jne
FTUNNUSED arvutada, FID, antudkood, LogID, eelklass, nimi, ftyyp, osatunnuseid, sumsimmax, andmepäring, vmaht, tmaht, kvmaht, nullkaugus
logitabelid ID, antudkood, kuupäev, tvastavus, kvastavus, sumsimmax, etn, valim, seletavate tunnuste numbrid
OMASARNASUSTABELID AID, sarnasustabel
Kohustuslikud väljad
Vaata lähemalt Pidevstuudiumi kirjeldusest: http://map.gg.bg.ut.ee/kalle_r/PIDEVSTUUDIUM/Pidevstuudium_8-05-2007.pdf
Pidevstuudium 16
Pidevstuudiumi andmebaasid
Andmekihtide metaandmed
Taimkatte kaardistuse näidisalad
Käpaliste leiukohad (ja puudumiskohad)
Põhikaardi metsaliigid (okas-, leht- ja segamets)
Põhikaardi põhialad
Enterobiaasi esinemise proovid Eesti lasteaialaste hulgas
+ üksikuurimuste jaoks loodavad tuletised
Pidevstuudium 17
Pidevstuudiumi tehisõppe skeem
Unustamine: valitud tunnuste ja näidiste aktuaalsuskaalude suurendamine, valimis olnud, aga mittevajalike tunnuste ja näidiste aktuaalsuskaalude vähendamine.
Tunnustest ja vaatlustest moodustatakse etteantud suurusega juhuslik valim. Iga tunnuse ja vaatluse valimisse sattumise
tõenäosus sõltub tema aktuaalsuskoodist.
Valimis olevaid tunnuseid lisatakse ükshaaval järjest väheneva kaaluga.
Saadakse tunnuste komplekt, mis tagas parima treeningvastavuse.
Tunnuste kaalude nihutamine valitud arvus kordustes. Korduste arv valitakse programmi dialoogiaknast.
Saadakse tunnuste kaalud, mis tagavad parima treening-vastavuse, kui kõik vaatlused on võrdselt näidisteks.
Näidiste valik ja kaalumine valitud arvus kordustes.
Näidiste kaalud, mis tagavad parima treeningvastavuse eelnevalt valitud tunnuste kaalude puhul valimis.
L
O
O
CKontrollvastavuse arvutamine kogu andmestikus.
Pidevstuudium 18
Õppekõveraid
0.2
0.4
0.6
0.8
0 200 400 600 800 1000 1200 1400 1600 1800
kordus
vast
avus
[kap
a]
EUNIS teise astme klasside õppekõver
seni parimkontrollvastavus
kontrollvastavused ja nende trendjoon
treeningvastavused ja nende trendjoon
Treeningavastavused arvutati valimist, kontrollvastavused kogu andmestikust.Mida väiksem on valim, seda kergem on leida tugevat seost (vastavust)
Pidevstuudium 19
Pidevstuudiumi dialoogiaknad (2 korda vähendatult)Vaatluskohtade tunnuste arvutamine
Tehisõppe käivitamine
Hinnangu arvutamisel andmebaasi
Hinnangu arvutamisel rasterkaardina
Hinnangukaardi parameetrite sisestus
Komplekshinnang ja sarnasuskaardi arvutus
Sarnasuskaardi parameetrite sisestus (sarnasus antud klassiga)
Kaardiarvutuse menüü kõigi sisestusväljadega
Pidevstuudium 20
Interpoleerimine kaardi genereerimisel
Soo-neiuvaiba (Epipactis palustris) esinemise hinnangukaardi
genereerimise astmed.
Hall ― määratlemata ala, valge ― liigi tõenäoline puudumine,
roheline ― liigi tõenäoline esinemine, roosa ― nii esinemise kui ka
puudumise kohtadega sarnased alad.
Eesti põhikaardi leht 5434, kaardilehe külg 10 km, piksli külg 10 m.
Hinnangute arvutamist veekogudesse ja hoonestusalale tõkestas
eelklassifikaatori andmekiht.
Samm 16 pikslit
Samm 4 pikslit
Pidevstuudium 21
Nätuse esinemine/puudumine
…
Soo-neiuvaiba (Epipactis palustris) esinemise prognoosikaart. Roheline ― liigi tõenäoline esinemine, valge ― liigi tõenäoline puudumine, roosa ― nii esinemise kui ka puudumise kohtadega sarnased alad, helesinine ― veekogud, tumesinine ― liigi leiukohad, must ― hoonestusala ja teedeala. Eesti põhikaardi leht 5434, kaardilehe külg 10 km. Andmed aastast 2006.
Pidevstuudium 22
Hinnatud klass
Kaardilehe 54332 metsaliikide hinnang kaugseireandmete järgi. Heleroheline—lehtmets, pruunikas—segamets, tumeroheline—okasmets.
Pidevstuudium 23
Otsusekindlus
Kaardilehe 54332 metsaliikide hinnangu otsusekindlus [%] kaugseireandmete järgi.
Otsusekindlus tähendab siin hinnangu arvutamisel kasutatud näidiste keskmist sarnasust hinnatava kohaga.
Pidevstuudium 24
Sarnasus etteantud (kaardistatud) klassiga
Väljavõte 2005. a
ortofotost põhikaardiga
Põhikaardil 2001.a kaardistatud põhiala
näidiste sarnasus ortofotoga (uue
raiesmiku kohas on sarnasus väike).Punane—väike
sarnasus, roheline suur sarnasus.
Pidevstuudium 25
Publikatsioone ja uurimusi Pidevstuudiumist või selle abil tehtuid
Remm, K., Madli Linder, M. 2007. Prognoosisüsteemi Pidevstuudium tutvustus. Geodeet 34 (58): 34-40.
Linder, M. 2006. Otepää looduspargi metsatüüpide kaardistamine näidistele tugineva pidevõppe tarkvara abil. Magistritöö. Käsikiri Käsikiri Tartu Ülikooli Ökoloogia ja Maateaduste Instituudi geograafia osakonnas ja Eesti Rahvusraamatukogus.
Remm, K. 2006. Liikide kasvukohad ja elupaigad hinnangulistel kaartidel. Eesti Loodus 7, 36–39.
Otsing, M-L. 2007. Maastikumuutuste esiletoomine sarnasuskaartide ja Pidevstuudiumi abil. Bakalaureusetöö geoinformaatikas. Käsikiri Tartu Ülikooli Ökoloogia ja Maateaduste Instituudi geograafia osakonnas.
Proosa, H. 2007. Optimaalne kerneli ulatus maakatteüksuste eristamiseks digitaalsest rastrist. Bakalaureusetöö geoinformaatikas. Käsikiri Tartu Ülikooli Ökoloogia ja Maateaduste Instituudi geograafia osakonnas.
Oviir, M. 2007. Eesti põhikaardi okas-, sega- ja lehtmetsa eristatavus kaugseireandmete ja mullakaardi järgi kasutades näidistele tuginevat järeldamist ja tehisõpet. Bakalaureusetöö geoinformaatikas ja kartograafias. Käsikiri Tartu Ülikooli Ökoloogia ja Maateaduste Instituudi geograafia osakonnas.
Remm, K., Palo, A. Linder, M. 2007. Otepää looduspargi taimkatte kaardistamise aruanne. Käsikiri Tartu Ülikooli Ökoloogia ja Maateaduste Instituudi geograafia osakonnas ja Riikliku Looduskaitsekeskuse Põlva-Valga-Võru regioonis.
Remm, M., Remm, K. Case-based estimation of the risk of enterobiasis. Esitatud ajakirjale Artificial Intelligence in Medicine.
Pidevstuudium 26
Pidevõppe tarkvara Pidevstuudium eelised
Eelised tarkvara Lokaalstatistikud ees1. Arvutab lokaalseid pildi- ja kaardimustri statistikuid paljudelt erinevatelt kaardilehtedelt ilma, et kasutaja peaks kaardilehe numbrit teadma või programmi mitu korda uuesti käivitama. Andmekihtide rastrid peavad olema muidugi kindlas kataloogis saadaval.2. Täiendavad indeksid (väärtus kerneli keskmise suhtes ja gradiendi tugevus üldjuhul).3. Ei vaja parameetrite faile ega parameetrite sisestamist programmi igal käivitamisel. Andmekihtide, tunnuste ja vaatluste andmed hoitakse ühtses teabebaasis.
Eelised Idrisi32 ees.1. Samad, mis Lokaalstatistikute programmil. Idrisi kasutab paljude indeksite (näiteks nõlvakalde ja autokorrelatsioni) arvutamiseks vaid naaberpiksleid, Pidevstuudium kasutab piksleid kogu kerneli ulatuses. Suuremad võimalused lokaalse kerneli ja valimite kasutamisel.
Eelised tehisõppe programmi MLNN ees.1. Mõnevõrra kiirem ühe õppevooru kulg. 2. Õppimine on pidev ehk lõputult korduv, kogemus salvestub tunnuste ja vaatluste aktuaalsuskoodides. 3. Tundmatuid vaatlusi saab alati seniste parimate õppetulemuste järgi prognoosida. 4. Ei vaja parameetrite faile ega parameetrite sisestamist programmi igal käivitamisel. Andmekihtide, tunnuste ja vaatluste andmed hoitakse ühtses teabebaasis.5. Võimaldab õppida multinominaalse tunnuse iga klassi ülejäänutest eristamiseks vajalikke kaale.6. Võimaldab hinnata mingisse klassi liigitatud vaatluse sarnasust selle klassi näidistega.7. Avatus – nii tunnuseid kui ka vaatlusi võib teabebaasi pidevalt juurde lisada. Seniõpitu ei lähe kaduma ja arvuti suudab oma veendumusi uute andmete abil ümber hinnata. Tunnuseid saab ka edasisest kasutusest välja lülitada.
Recommended