Pidevstuudium 1

Tarkvarasüsteem Pidevstuudium

Kasutamisjuhend, exe-fail ja konfiguratsioonifail on vabalt saadaval aadressilhttp://map.gg.bg.ut.ee/kalle_r/PIDEVSTUUDIUM/

Originaalkood on Tartu Ülikooli omand

Kaardi- ja kaugseireandmekihte kasutatakse vastavalt litsentsilepingutele

“Kui Eestis tegutseva arvuti käest küsida, mida ta viimasel ajal teinud on, vastaks see, et magab 14 tundi ööpäevas, siis vedeleb niisama või käib mängimas või jututoas.” (Kaarel Tarand, Linnar Viik)

Pidevstuudium 2

Näidistele tuginev järeldamine 1

Kirjeldav analüüs (exploratory data analysis)

Eelnevaid hüpoteese minimaalselt. Alustatakse andmete kogumisest.On kiirem, odavam, piltlikum. Järeldused kirjeldavad ja nõrgalt põhjendatud, sobivad hüpoteeside püstitamiseks.

Seoste otsimine, kirjeldamine, visualiseerimine ja modelleerimineKlassifitseerimismeetodidKeskmiste ja variatsiooniparameetrite arvutamineNäidistega sarnasuse alusel klassifitseerimine ja hindamine

Kinnitav analüüs (confirmatory data analysis)Lähtutakse hüpoteesist ja püütakse seda kas kinnitada või ümber lükata. Tulemus oletuse kehtimise tõenäosus.Alustatakse oletusest.On rangem, võimaldab kindlamaid järeldusi. Tulemuslikkus sõltub hüpoteeside püstitamise oskusest.

Pidevstuudium 3

Näidistele tuginev järeldamine 2

Näidistele tugineval hindamisel langetatakse otsuseid uut olukorda või uusi andmeid varasemate kogemustega võrreldes – prognoositavale vaatlusele, objektile, kohale või muule nähtusele otsitakse olemasolevate vaatluste hulgast kõige sarnasemaid näidiseid. Teadmisi hoitakse näidiste ja nende omaduste komplektis ehk näidiste baasis.

Sarnasuse hindamisel tuleb alati otsustada, milliseid tunnuseid kasutatakse. Sarnasus mille poolest.

Näidistele tuginevad ekspertsüsteemid kuuluvad intellektitehnika hulka, milles kasutatakse süsteemi õpetusandmetele sobitamiseks ehk väljaõpetamiseks automatiseeritud iteratiivset optimeerimist ehk tehisõpet.

Tehisõppe käigus valitakse õpetusandmetest parimaid prognoose tagavad näidised ja tunnused ning omistatakse neile kaalud.

Näidiste abil saab prognoosida nii pideva muutuja väärtust kui ka nominaalse muutuja klassikuuluvust.

Pidevstuudium 4

Pikslite klassifitseerimine näidiste komplekti järgi

Näidis

3

Näidis

4

Näidis

5

Näidis

2

Näidis

1

Näidis

6

Objekt1

Objekt3

Objekt2

Näidis

7

Vaatlus

(piksel)

E

s

i n

d

a

t

u

s

V õ

r d

l u

s

Pidevstuudium 5

Hinnangu sõltuvus kasutatavate näidiste arvust ja näidiste kaalumine

Klassifitseerimine Prognoos

Pidevstuudium 6

Näidistele tugineva järeldamise rakendusi

• Näidistele tuginevaid järeldusi on kasutatud paljudes teadusharudes ja elualadel, kus seaduspärasused ei ole täiesti ranged, on aga olemas suur hulk üksikjuhtumeid, üksikuuringuid ja vaatlusandmestikke:

meditsiinis, nõustamisel, finantsriskide hindamisel,tehniliste rikete diagnoosil, maastiku ja linnade planeerimisel, kaitsejõududes, tekstitöötluses, kõnetuvastuses, isikutuvastuses,masintõlkes, pilditöötluses, tarkvaraarenduses, taimkatte kaardistamisel kaudsete andmete järgi, metsa tagavara hindamiseks satelliidipildi järgi ja muus

pilditõlgitsuses.

Pidevstuudium 7

Varasema tarkvara puudused

Iga andmekihi ja kaardilehe puhul peab lokaalsete pildi- ja kaardistruktuuri indeksite arvutamise programmi uuesti käivitama.

Iga uue faili puhul tuleb sisestada mitmeid parameetreid (ridade ja veergude arv, nurgakoordinaadid jne)

Kaasaegne masin võiks nii tark olla, et teab ise, mille järgi pildil olevaid objekte ära tunda, kuidas ühel või teisel juhul pilti formaliseerida ja võiks ise aru saada, millisel kaardilehel vaatluskoht on ning millisest failist pildi- või kaardikujutist vaadata.

Idrisi ja muu lokaalstatistikute arvutamise tarkvara

Pidevstuudium 8

Tehisõppe programm MLNN

Keskmine tehisõppe ühele iteratsioonile kuluv aeg sõltuvalt vaatluste arvust ja tunnuste arvust valimites, prognoositav tunnus EUNIS teise astme maakatteüksus.Eksperiment 2 GH protsessoriga arvutis.

Vaatluste ja tunnuste suure (>1000 ja >30) arvu puhul on sarnasusele tuginev tehisõpe aeglane.

tunnuste arv

0:000:11

0:230:34

0:460:57

1:091:20

1:321:43

1:55

0 200 400 600 800 1000vaatluste arv

aeg

5102033Polünoom (5)Polünoom (10)Polünoom (20)Polünoom (33)

aeg

[ tun

nid

ja m

inut

id ]

Pidevstuudium 9

Eelmise joonise järg

Üks õppevoor kõigi praeguste taimkattevaatlustega kestaks umbes 30 ööpäeva!

Eesmärgiks on avatud süsteem, kuhu saaks alati vaatlusi ja tunnuseid lisada. Arvestada tuleb sadade tuhandete vaatluste ja kuni paarisaja tunnusega.

tunnuste arv

00-jan

10-jan

20-jan

30-jan

09-feb

19-feb

0 2000 4000 6000 8000 10000vaatluste arv

aeg

5102033Polünoom (5)Polünoom (10)Polünoom (20)Polünoom (33)

aeg

[ kal

endr

ipäe

vad

]

Iga kord, kui vaatlusi või tunnuseid lisandub, tuleks parimate tunnuste ja näidiste komplektid uuesti arvutada.

Pidevõppe programmi MLNN ühele iteratsioonile kuluva aja ekstrapolatsioon sõltuvalt vaatluste arvust ja tunnuste arvust valimites.

Pidevstuudium 10

Püstitatud ülesanded

• Luua pidevalt toimiv tehisõppesüsteem, mis ei pea uute vaatluste lisandumise järel õppimist uuesti nullist alustama.

• Luua avatud näidiste baasi (teabebaasi) prototüüp, millele tuginedes võiks näidistele tuginev järeldamissüsteem kiiresti genereerida:

– tõenäolise taimkatte ja maakatte kaarte

– liikide ning muude üksuste ja nähtuste oodatavate esinemiskohtade kaarte

– võimalike kaardistusvigade kaarte (kui sarnane on aerofoto kaardil sellesse kohta märgitud klassi näidistega?)

Pidevstuudium loodi aastatel 2004…2007.

Pidevstuudium 11 Looja rahulolu

Süsteemi looja otsustusedMida õppida, kuidas õppida, millest õppida, kas on vaja õpitut unustada, mida

hinnata, kuidas hinnata?Tehnoloogiline skeem

Pidevõppe tarkvara

Teabebaas

Uued vaatlused

Uued tunnused (ka olemasolevatele

vaatlustele)

Hinnatavad vaatlused

hinnatud väärtused sarnasushinnangud

Prognoosikaardid Kaardikujunduse tarkvara

Sisend-väljund

Hinnangud rastervormis või GIS andmetabelina

Õpetusandmed

näidiste kaalud

tunnuste kaalud

aktuaalsuskoodid

Metaandmed

Õppe tulemused

Näidistele tuginev äraarvamis-süsteem

Õppe parameetrid

Hinnatavad kohad

Pidevstuudium 12

Pidevstuudiumi juhtimine

1. Uute vaatluste koordinaatide viimine andmebaasi.2. Õppes kasutatavate seletavate tunnuste valik.

3. Hinnatavate tunnuste valik.4. Valimite suuruse määramine.

5. Vaatlusi sisaldavate andmebaasiobjektide moodastamine ja määramine.

Andmebaasis

Pidevõppe dialoogiaknas

1. Vaatluskohtade pildi- ja kaardiindeksite arvutamine.2. Tunnuste ja vaatluste kaalude õppimine (ja mõnede õppeparameetrite määramine).

3. Vastavuse ümberarvutus (vaatluste lisamise järel).4. Näidiste ümbervalimine (vaatluste lisamise järel).

5. Tunnuste hinnang.6. Sarnasus etteantud klassiga (vaid klassikaupa hinnatud nominaalsete tunnuste puhul).

Õpet katkestamata saab: 1) muuta õppe seadistusi,

2) muuta tunnuste ja vaatluste aktuaalsust,

3) vaatlusi lisada,4) tunnuseid lisada (ja

eemaldada).

Pidevstuudium 13

Andmekihid 2007. a. septembri seisuga

Kaardid ja kaugseireandmed:

mullakaart 1:10 000

põhikaart 1:10 000

Landsati kaadrid

ortofotode seeriad

maapinna kõrgusmudel

jne

Andmekihid:

heledusvärvitoonküllastuspunase kiirguse hulkrohelise kiirguse hulkkeskmine heledus 30 m jne

Tunnused:

mullaliik 57 üksustmullaliik 10 üksust mulla lõimise liik jne

domineeriv mullaliik 10 m raadiusesdomineeriv mullaliik 100 m madalsoomulla osakaal 100 m erinevate mullaliikide arv 100 m kaugus lähimast mullaliigi piirist eraldiste suund 200 m ümbrusesjne

keskmine 10 raadiuseskeskmine 30 m raadiusesstandardhälve 30 m kaugusega kaalutud autokorrelatsioonerinevus 100 m ümbruse keskmisestgradiendi tugevus 50 m raadiusesjne

Praegu kokku 172 kihti Erinevate tunnuste uurimisel kasutatakse erinevaid tunnused.Otepää LP taimkattekaardi koostamisel kasutati 131 tunnust.

Kaartide ja kaugseireandmete kasutamiseks on vajalik litsents andmete pakkujalt

Pidevstuudium 14

Ruumimustri indeksid Pidevstuudium 2007s

Nominaalsest andmekihist

Antud klassi sagedusMoodShannoni mitmekesisus Lloydi ühetaolisus DominantsKlasside arvKlassikülgnevuste osaLaikude suundKlassivastavuste lähedusErinevat klassi vaatluspaaride osa Kaugusega kaalutud mood Klassipiiri kaugusKaugus etteantud klassi piirist

Vaata lähemalt Pidevstuudiumi kirjeldusest: http://map.gg.bg.ut.ee/kalle_r/PIDEVSTUUDIUM/Pidevstuudium_8-05-2007.pdf

Numbrilisest andmekihist

Üle keskmise väärtuste osaKeskmineStandardhälveMediaan Morani I 8st naaberpikslistKaugusega kaalutud Morani Naaberpikslite erinevusVariatsioonikoefitsientGradiendi suund Serva ja keskosa erinevus MiinimumMaksimumEkstsessitegur Üleminekute sujuvus Erinevus keskmisestGradiendi tugevus Kauguse pöördväärtusega kaalutud keskmine Triibulisus

Blokkvalim

Juhuvalim sõõrist

Pidevstuudium 15

Pidevstuudiumi andmebaasi struktuur

Andmebaasiobjekt

Vaatlusvektor VID, F, x, y, w, aktuaalsus, progn, prob, alates, kuni, seletavate tunnuste numbrid

Akihid KID, pkylg, kataloog, nominal, eira, alates, kuni, baite

INDEKSID Indeks, ID, nimi, nomkiht, nomind

PK20t NR, min-x, min-y

omasarnasus 1, 2, s

ATUNNUSED AID, nimi, KID, indeksID, radius, sradius, radius_k, valim, blokkvalim, antudkood,eelklassikasutus, eelklassikiht, eraldistekasutus, eraldistekiht, BV_kataloog, asendab, F1, AF1 jne

FTUNNUSED arvutada, FID, antudkood, LogID, eelklass, nimi, ftyyp, osatunnuseid, sumsimmax, andmepäring, vmaht, tmaht, kvmaht, nullkaugus

logitabelid ID, antudkood, kuupäev, tvastavus, kvastavus, sumsimmax, etn, valim, seletavate tunnuste numbrid

OMASARNASUSTABELID AID, sarnasustabel

Kohustuslikud väljad

Vaata lähemalt Pidevstuudiumi kirjeldusest: http://map.gg.bg.ut.ee/kalle_r/PIDEVSTUUDIUM/Pidevstuudium_8-05-2007.pdf

Pidevstuudium 16

Pidevstuudiumi andmebaasid

Andmekihtide metaandmed

Taimkatte kaardistuse näidisalad

Käpaliste leiukohad (ja puudumiskohad)

Põhikaardi metsaliigid (okas-, leht- ja segamets)

Põhikaardi põhialad

Enterobiaasi esinemise proovid Eesti lasteaialaste hulgas

+ üksikuurimuste jaoks loodavad tuletised

Pidevstuudium 17

Pidevstuudiumi tehisõppe skeem

Unustamine: valitud tunnuste ja näidiste aktuaalsuskaalude suurendamine, valimis olnud, aga mittevajalike tunnuste ja näidiste aktuaalsuskaalude vähendamine.

Tunnustest ja vaatlustest moodustatakse etteantud suurusega juhuslik valim. Iga tunnuse ja vaatluse valimisse sattumise

tõenäosus sõltub tema aktuaalsuskoodist.

Valimis olevaid tunnuseid lisatakse ükshaaval järjest väheneva kaaluga.

Saadakse tunnuste komplekt, mis tagas parima treeningvastavuse.

Tunnuste kaalude nihutamine valitud arvus kordustes. Korduste arv valitakse programmi dialoogiaknast.

Saadakse tunnuste kaalud, mis tagavad parima treening-vastavuse, kui kõik vaatlused on võrdselt näidisteks.

Näidiste valik ja kaalumine valitud arvus kordustes.

Näidiste kaalud, mis tagavad parima treeningvastavuse eelnevalt valitud tunnuste kaalude puhul valimis.

L

O

O

CKontrollvastavuse arvutamine kogu andmestikus.

Pidevstuudium 18

Õppekõveraid

0.2

0.4

0.6

0.8

0 200 400 600 800 1000 1200 1400 1600 1800

kordus

vast

avus

[kap

a]

EUNIS teise astme klasside õppekõver

seni parimkontrollvastavus

kontrollvastavused ja nende trendjoon

treeningvastavused ja nende trendjoon

Treeningavastavused arvutati valimist, kontrollvastavused kogu andmestikust.Mida väiksem on valim, seda kergem on leida tugevat seost (vastavust)

Pidevstuudium 19

Pidevstuudiumi dialoogiaknad (2 korda vähendatult)Vaatluskohtade tunnuste arvutamine

Tehisõppe käivitamine

Hinnangu arvutamisel andmebaasi

Hinnangu arvutamisel rasterkaardina

Hinnangukaardi parameetrite sisestus

Komplekshinnang ja sarnasuskaardi arvutus

Sarnasuskaardi parameetrite sisestus (sarnasus antud klassiga)

Kaardiarvutuse menüü kõigi sisestusväljadega

Pidevstuudium 20

Interpoleerimine kaardi genereerimisel

Soo-neiuvaiba (Epipactis palustris) esinemise hinnangukaardi

genereerimise astmed.

Hall ― määratlemata ala, valge ― liigi tõenäoline puudumine,

roheline ― liigi tõenäoline esinemine, roosa ― nii esinemise kui ka

puudumise kohtadega sarnased alad.

Eesti põhikaardi leht 5434, kaardilehe külg 10 km, piksli külg 10 m.

Hinnangute arvutamist veekogudesse ja hoonestusalale tõkestas

eelklassifikaatori andmekiht.

Samm 16 pikslit

Samm 4 pikslit

Pidevstuudium 21

Nätuse esinemine/puudumine

…

Soo-neiuvaiba (Epipactis palustris) esinemise prognoosikaart. Roheline ― liigi tõenäoline esinemine, valge ― liigi tõenäoline puudumine, roosa ― nii esinemise kui ka puudumise kohtadega sarnased alad, helesinine ― veekogud, tumesinine ― liigi leiukohad, must ― hoonestusala ja teedeala. Eesti põhikaardi leht 5434, kaardilehe külg 10 km. Andmed aastast 2006.

Pidevstuudium 22

Hinnatud klass

Kaardilehe 54332 metsaliikide hinnang kaugseireandmete järgi. Heleroheline—lehtmets, pruunikas—segamets, tumeroheline—okasmets.

Pidevstuudium 23

Otsusekindlus

Kaardilehe 54332 metsaliikide hinnangu otsusekindlus [%] kaugseireandmete järgi.

Otsusekindlus tähendab siin hinnangu arvutamisel kasutatud näidiste keskmist sarnasust hinnatava kohaga.

Pidevstuudium 24

Sarnasus etteantud (kaardistatud) klassiga

Väljavõte 2005. a

ortofotost põhikaardiga

Põhikaardil 2001.a kaardistatud põhiala

näidiste sarnasus ortofotoga (uue

raiesmiku kohas on sarnasus väike).Punane—väike

sarnasus, roheline suur sarnasus.

Pidevstuudium 25

Publikatsioone ja uurimusi Pidevstuudiumist või selle abil tehtuid

Remm, K., Madli Linder, M. 2007. Prognoosisüsteemi Pidevstuudium tutvustus. Geodeet 34 (58): 34-40.

Linder, M. 2006. Otepää looduspargi metsatüüpide kaardistamine näidistele tugineva pidevõppe tarkvara abil. Magistritöö. Käsikiri Käsikiri Tartu Ülikooli Ökoloogia ja Maateaduste Instituudi geograafia osakonnas ja Eesti Rahvusraamatukogus.

Remm, K. 2006. Liikide kasvukohad ja elupaigad hinnangulistel kaartidel. Eesti Loodus 7, 36–39.

Otsing, M-L. 2007. Maastikumuutuste esiletoomine sarnasuskaartide ja Pidevstuudiumi abil. Bakalaureusetöö geoinformaatikas. Käsikiri Tartu Ülikooli Ökoloogia ja Maateaduste Instituudi geograafia osakonnas.

Proosa, H. 2007. Optimaalne kerneli ulatus maakatteüksuste eristamiseks digitaalsest rastrist. Bakalaureusetöö geoinformaatikas. Käsikiri Tartu Ülikooli Ökoloogia ja Maateaduste Instituudi geograafia osakonnas.

Oviir, M. 2007. Eesti põhikaardi okas-, sega- ja lehtmetsa eristatavus kaugseireandmete ja mullakaardi järgi kasutades näidistele tuginevat järeldamist ja tehisõpet. Bakalaureusetöö geoinformaatikas ja kartograafias. Käsikiri Tartu Ülikooli Ökoloogia ja Maateaduste Instituudi geograafia osakonnas.

Remm, K., Palo, A. Linder, M. 2007. Otepää looduspargi taimkatte kaardistamise aruanne. Käsikiri Tartu Ülikooli Ökoloogia ja Maateaduste Instituudi geograafia osakonnas ja Riikliku Looduskaitsekeskuse Põlva-Valga-Võru regioonis.

Remm, M., Remm, K. Case-based estimation of the risk of enterobiasis. Esitatud ajakirjale Artificial Intelligence in Medicine.

Pidevstuudium 26

Pidevõppe tarkvara Pidevstuudium eelised

Eelised tarkvara Lokaalstatistikud ees1. Arvutab lokaalseid pildi- ja kaardimustri statistikuid paljudelt erinevatelt kaardilehtedelt ilma, et kasutaja peaks kaardilehe numbrit teadma või programmi mitu korda uuesti käivitama. Andmekihtide rastrid peavad olema muidugi kindlas kataloogis saadaval.2. Täiendavad indeksid (väärtus kerneli keskmise suhtes ja gradiendi tugevus üldjuhul).3. Ei vaja parameetrite faile ega parameetrite sisestamist programmi igal käivitamisel. Andmekihtide, tunnuste ja vaatluste andmed hoitakse ühtses teabebaasis.

Eelised Idrisi32 ees.1. Samad, mis Lokaalstatistikute programmil. Idrisi kasutab paljude indeksite (näiteks nõlvakalde ja autokorrelatsioni) arvutamiseks vaid naaberpiksleid, Pidevstuudium kasutab piksleid kogu kerneli ulatuses. Suuremad võimalused lokaalse kerneli ja valimite kasutamisel.

Eelised tehisõppe programmi MLNN ees.1. Mõnevõrra kiirem ühe õppevooru kulg. 2. Õppimine on pidev ehk lõputult korduv, kogemus salvestub tunnuste ja vaatluste aktuaalsuskoodides. 3. Tundmatuid vaatlusi saab alati seniste parimate õppetulemuste järgi prognoosida. 4. Ei vaja parameetrite faile ega parameetrite sisestamist programmi igal käivitamisel. Andmekihtide, tunnuste ja vaatluste andmed hoitakse ühtses teabebaasis.5. Võimaldab õppida multinominaalse tunnuse iga klassi ülejäänutest eristamiseks vajalikke kaale.6. Võimaldab hinnata mingisse klassi liigitatud vaatluse sarnasust selle klassi näidistega.7. Avatus – nii tunnuseid kui ka vaatlusi võib teabebaasi pidevalt juurde lisada. Seniõpitu ei lähe kaduma ja arvuti suudab oma veendumusi uute andmete abil ümber hinnata. Tunnuseid saab ka edasisest kasutusest välja lülitada.