NAPOVEDOVANJE UČNEGA NAPOVEDOVANJE UČNEGA USPEHA:USPEHA:

kombiniran pristop DM in DSkombiniran pristop DM in DS

Silvana GasarSilvana Gasar

Srednja šola JeseniceSrednja šola Jesenice

silvana.gasar@telesat.sisilvana.gasar@telesat.si

Osnovna idejaOsnovna ideja1. Lastne predhodne raziskave:

– Izgradnja različnih ES (večparametrski modeli, DSS) – Iskanje zakonitosti učnega uspeha z DM

2. Baza podatkov o dijakih (skrite zakonitosti učnega uspeha)3. Poznavanje problemov izobraževalnega svetovanja, usmerjanja

(problemi odločanja, izbire)

• Kako to znanje povezati in uporabiti v praksi?– Razviti orodje za svetovalne delavce (model DSS)

Osnovni pristopOsnovni pristop

M. Bohanec, B. Zupan: Integrating Decision Support and Data Mining by Hierarchical Multi-Attribute Decision Models. IDDM-2001.

Študija primera: dodelitev stanovanjskih posojil [revizija, hipotetično]

Data

Data Mining Decision Support

Expertise

ModelModelQualitative HierarchicalMulti-Attribute Decision Models

Data

Data Mining Decision Support

Expertise

ModelModelQualitative HierarchicalMulti-Attribute Decision Models

Metoda delaMetoda dela

DM:StatistikaClustering

Odloč. drevesaHINT

Model

SPSS, WEKA, HINT

Ekspertno znanje

Bazapodatkov

DEX

Kvalitativni hierarhičnivečparametrski model DEX

DSEks

pert

pret

vori

znan

je

PProblemroblem::napoved uspešnosti zaključka šolanjanapoved uspešnosti zaključka šolanja

1

...

7 8

Osnovna šola Srednja šola

1 2 3 4 5: zaključi: 4 ali 5

4: zaključi: 2 ali 3

3: podaljšano

2: pade kmalu

1: pade kasneje

Napoved

ProblemProblem

• Ali je iz baze podatkov o dijakih mogoče ugotoviti splošne zakonitosti učnega uspeha?

• Ali je mogoče najti karakteristike dijakov, ki verjetno ne bodo uspešno zaključili šolanja, ipd.?

• Ali je na podlagi zakonitosti mogoče zgraditi večparametrski model za napovedovanje uspešnosti zaključka šolanja?

• Kakšna je napovedna vrednost takega modela?

• Ali in kako tak model prispeva k boljšemu ocenjevanju uspešnosti?– Ali lahko izboljša uspešnost samo?– Kako ga uvesti v vsakodnevno prakso?

Cilji in namenCilji in namen

Primarni cilj:• Razviti večparametrski model za napovedovanje uspešnosti zaključka šolanja na

posameznem izobraževalnem programu

Sekundarni cilji:• Odkriti splošne vzorce in pravila učnega uspeha iz baze podatkov učencev

• Uporaba za napovedovanje in preprečevanje učnega neuspeha

• Zajeti samo dostopne podatke (nič dodatnih testov ali merjenj)• Oceniti kvaliteto napovedi (validacija)• Kombinirati metode DM in DS• Pokazati uporabnost modela, prednosti, slabosti, priložnosti in pasti

MetodologijaMetodologija

Zaporedna uporaba DM in DS

1. Priprava podatkov (MS SQL Server 2000 Enterprise Manager)

2. Rudarjenje podatkov (DM)• Statistične metode in vizualizacija (SPSS)• Razvrščanje v skupine (WEKA)• Odločitvena drevesa (WEKA)• Večparametrski modeli (HINT, Orange) • Sprotno vrednotenje in validacija odkritih zakonitosti

3. Podpora odločanju• “Ročni” razvoj večparametrski modelov (DEXi – lupina ES)• Zajeto znanje eksperta in odkrite zakonitosti

4. Interpretacija in validacija• Klasifikacijska točnost • Primerjava s človeškim ekspertom

KDD

Priprava podatkovPriprava podatkov

1. Vir: baza podatkov o dijakih ene od slovenskih SŠ (Evidenca 3)

2. Integracija, “čiščenje”, selekcija, transformacije (zamudno, zahtevno)

3. En zapis (vrstica) vsebuje vse dostopne podatke enega dijaka:• 96 atributov (19 poznanih pred vpisom, 77 kasneje):

• Osebni in demografski podatki: spol, datum in mesto rojstva, državljanstvo, ime OŠ, kraj bivanja ...

• Pokazatelji uspešnosti v OŠ: ocene posameznih predmetov in splošnega učnega uspeha za 7. in 8. razred

• Pokazatelji uspešnost v SŠ: ocene posameznih predmetov in splošnega učnega uspeha za vse 4 letnike

• Drugi podatki: ure opravičenih in neopravičenih izostankov, disciplinski ukrepi...

DB1: 1794 dijakov (delno nepopolni podatki)

DB2: 889 dijakov (popolni podatki)

Podatki o dijakih v končni baziPodatki o dijakih v končni bazi

Zap..št. stolpca Podatek v stolpcu

1 zaporedna številka dijaka

2 spol dijaka

3 kraj rojstva

4 občina rojstva

5 država rojstva

6 državljanstvo

7 občina bivanja

8 vozač (1 = da, 0 = ne)

9 tuji jezik v OŠ

10 uspeh 7. razreda OŠ

11 ocena SJK v 8.razredu OŠ

12 ocena tujega jezika v 8. razredu OŠ

13 ocena MAT v 8. razredu OŠ

14 ocena FIZ v 8. razredu OŠ

15 tuji jeziki,ki se jih je učil (kjerkoli)

16 končni uspeh OŠ

17 redni vpis (1 = da,2 = ne)

18 koledarsko leto vpisa v 1. letnik SŠ

19 starost ob vpisu v 1. letnik SŠ (v mesecih)

20 smer, na kateri je bil dijak ob koncu izobraževanja

Zap..št. stolpca Podatek v stolpcu

21 status športnika v 1.letniku (1 = da, 0 = ne)

22 numerična vrednost najvišjega vzgojnega ukrepa v 1. letniku

23 najvišji vzgojni ukrep v 1. letniku

24 opravičeni izostanki v 1. konferenci 1. letnika

25 opravičeni izostanki v 2. konferenci 1. letnika

26 opravičeni izostanki v 3. konferenci 1. letnika

27 neopravičeni izostanki v 1. konferenci 1. letnika

28 neopravičeni izostanki v 2. konferenci 1. letnika

29 neopravičeni izostanki v 3. konferenci 1. letnika

30 opravičeni izostanki v 1. letniku

31 neopravičeni izostanki v 1. letniku

32 ocena SJK v 1. letniku

33 ocena MAT v 1. letniku

34 ocena ANJ v 1. letniku

35 ocena FIZ v 1. letniku

36 ocena GEO v 1. letniku

37 ocena ZGO v 1. letniku

38 ocena UME v 1. letniku

39 končni uspeh 1. letnika

40 končni uspeh ob morebitnem ponavljanju 1. letnika

Znani do vpisa v SŠ Znani do konca 1. letnika SŠ

Rezultati KDD - poskusniRezultati KDD - poskusni

• DM na 2 bazah dveh različnih SŠ (napoved uspeha 1. letnika SŠ)

• Odločitvena drevesa:– Ponavljalci redkeje “izdelajo” 1. letnik SŠ– Število nezadostnih ali neocenjenih predmetov 2. in 3. konference vpliva na

to, kdo bo “izdelal” 1. letnik– Uspeh OŠ ima napovedno veljavnost za uspeh 1. letnika SŠ– Najbolj selektivni predmeti v SŠ: MAT, ANJ, SJK– Dijaki s težavami pri MAT: težko pozitivni uspeh 1. letnika

• Razvrščanje v skupine:– Glede na učno uspešnost se dijaki smiselno delijo v 3 skupine:

• neproblematični• problematični - mejni • neuspešni

Osnovne statistike DB1Osnovne statistike DB1SPOL

SPOL

ženskimoški

Fre

qu

en

cy

2000

1000

0

DRZAVLJANSTVO

DRZAVLJANSTVO

SrbSlovenskoRusHrvaskoBIH

Fre

qu

en

cy

2000

1000

0

vozac

vozac

dane

Fre

qu

en

cy

1000

800

600

400

200

0

USPEH_OS

USPEH_OS

5432

Fre

qu

en

cy

1000

800

600

400

200

0

starost_vpis

starost_vpis

229208199196193189186183180177174171168162

Fre

qu

en

cy

200

100

0

trajanje_sol

trajanje_sol

654321

Fre

qu

en

cy

1400

1200

1000

800

600

400

200

0

KU

KU

543210

Fre

qu

en

cy

700

600

500

400

300

200

100

0

N = 1794, večina M, državljani SLO,

ob vpisu stari 15 let...

Osnovne statistične analizeOsnovne statistične analize

Ostalo: • Smiselna delitev na 5 kategorij po uspešnosti• Smiselno ločeno obravnavati 3 smeri• Razlike med DB1 (vsi) in DB2 (samo mlajše generacije)

• Ni bistvenih razlik v osnovnih statistikah• Le razlike v uspešnosti (mlajši prej opustijo SŠ in manj vztrajajo)

Pomembne korelacije uspešnosti:• Pozitivne s skoraj vsemi ocenami OŠ in SŠ• Negativne z izostanki od pouka, disciplinskimi ukrepi in starostjo

Frekvenčna porazdelitev kategorij uspešnosti v DB1

Kategorija 1 2 3 4 5

Frekvenca [%] 12.3 11.9 14.6 51.2 9.9

Odločitvena drevesaOdločitvena drevesa

Različno število in različen izbor atributov:• Ekspertno, strojno (Relief), pragmatično-strojno (Relief, omejeni atributi)

Rezultati: • Vsi in strojno izbrani atributi - zelo visoka KT (nad 95%), neuporabna (atributi

znani pozno)• Največ pridobimo z vključitvijo atributov, znanih do konca 1. letnika• Ekspertna in pragmatično-strojna izbira - KT enaka (nizka ~ 50 oz. 60%)• Sklep: uporaba dreves iz ekspertno izbranih atributov

Poskusi izboljšanja KT:• Glede na program izobraževanja – izboljšanje KT (težja smer - večja KT), • Z uporabo drugačnih klasifikacij uspešnosti (5, 3, 2, kategoriji) - ni izboljšanja KT• Uporaba na stroške občutljive klasifikacije - ni izboljšanja KT• Uporaba boljših podatkov (DB2) - manjša drevesa, pomembno izboljšanje KT

Odločitvena drevesaOdločitvena drevesa

Klasifikacijska točnost na DB1

Najboljša odločitvena drevesaNajboljša odločitvena drevesa

Eksperten izbor 16 (do vpisa) oz. 30 atributov (do 1.letnika)

Grajena ločeno po smereh izobraževanja, na DB2

Opredelitev uspešnosti v 5 kategorijah (KU in čas izobraževanja)

KT najboljših dreves:• Ob koncu OŠ: okrog 60%• Ob koncu 1. letnika SŠ: okrog 70%• Slabost: nekatere razrede napovedujejo zelo točno, druge pa slabo

• Napoved dobre uspešnosti še ne izključuje neuspešnosti• Napoved neuspešnosti dopušča le malo možnosti uspeha

Smiselno izdelati orodje, ki omogoča napoved pred vpisom in ob koncu 1. letnika – dva ločena DEX modela

Primer odločitvenega drevesaPrimer odločitvenega drevesaIzobraževalni program "L“, ob vpisu v SŠ (n = 468, KT= 60.5%)

Primer odločitvenega drevesaPrimer odločitvenega drevesaIzobraževalni program "L“, ob koncu 1. letnika SŠ (n = 468, KT= 69.7%)

Rezultati razvrščanja v skupineRezultati razvrščanja v skupine

Razvrščanje po metodi voditeljev na 3, 4 in 5 skupin

Po 16 in 30 atributih (istih kot pri drevesih)

Rezultat: 6 razvrstitev

SKLEP:• Najbolj smiselna razvrstitev na 5 skupin (30 atributov)• Nekatere razlike se pokažejo šele na zahtevnejšem nivoju SŠ• Slabši učenci v OŠ se vpisujejo na manj zahtevno smer• Višje izobrazbene aspiracije učencev iz večjih mest

– Ob slabem uspehu OŠ vpišejo zahtevnejšo smer - najnižji uspeh 1. letnika• Uspeh 1. letnika SŠ za 1-2 oceni nižji od uspeha OŠ• Oboji izostanki močno povezani z uspehom 1. letnika• Uspeh 1. letnika je nizek (večinoma nezadosten do dober)

Primer rezultatov razvrščanjaPrimer rezultatov razvrščanjaScheme: weka.clusterers.SimpleKMeans -N 3 -S 10• Relation: usp-weka.filters.AttributeFilter-V-R2,5-6,8-17,19-21• Instances: 1794

• Cluster centroids• Attributes: 16 Cluster 1 Cluster 2 Cluster 3• SPOL M M M• DRZAVA_ROJ Slovenija Slovenija Slovenija• DRZAVLJANSTVO slovensko slovensko slovensko• vozac true false true• TUJ_JEZ_OS angleski angleski angleski• USPEH_7R 4.01 3.68 3.19• SJK_8R 3.73 3.43 3.09• TUJ_JEZ_8R 3.84 3.53 3.07• MAT_8R 3.91 3.56 3.09• FIZ_8R 4.03 3.78 3.25• TUJ_JEZIKI ANG ANG ANG• USPEH_OS 4.04 3.69 3.15• redni_vpis true true true• starost_vpis 180.47 180.88 181.42• K_smer L L N• L1_status_sp false false false

• N (f) 641 ( 36%) 842 ( 47%) 311 ( 17%)

Večparametrski modeli (HINT)Večparametrski modeli (HINT)

• Gradnja modelov iz 16 in 30 atributov na DB2– Zvezni atributi predhodno diskretizirani (ekspertna presoja)– Predprocesiranje (dodali manjkajoče vrednosti atributov)– Metoda minimalne napake, velikost množice 2, nenadzorovana

dekompozicija, KT – navzkrižna validacija 10-tega reda– Večinski klasifikator za primerjavo KT

• Rezultati:– Nizka KT zgrajenih modelov - večinoma blizu apriorne ali nižja– Nesmiselno reduciranje vrednosti atributov, številne zaloge vrednosti– Mnoge koncepte je težko poimenovati in smiselno interpretirati– Odkrili zanimive kombinacije atributov in pravila:

• npr. “pravilo najšibkejšega člena verige”: ocene Matematike in Fizike omejujejo oceno splošnega učnega uspeha

Večparametrski modeli (HINT)Večparametrski modeli (HINT)

Sklep:

• Modeli niso primerni za neposredno uporabo

• HINT je koristen za raziskovanje znanja in odkrivanje značilnosti

• Modeli lahko koristno služijo kot smernice za DEX model

• Iz danih atributov bo težko zgraditi model z visoko KT

DEXi 26.12.2001 Stran 1 Drevo kriterijev Kriterij Opis USPESNOST

c8c5

c1TUJ_JEZ_8R'

TUJ_JEZ_8RUSPEH_7R'

USPEH_7Rc2

redni_vpisTUJ_JEZ_OS'

TUJ_JEZ_OSc7

c3DRZAVLJANSTVODRZAVA_ROJ'

DRZAVA_ROJc6

USPEH_OS'USPEH_OS

c4MAT_8R'

MAT_8RFIZ_8R'

FIZ_8R

Razvoj splošnih DEX modelovRazvoj splošnih DEX modelov

• Spisek kriterijev (na podlagi dreves in ekspertnega mnenja)• Strukturiranje kriterijev (vsebinska povezanost, HINT)

– Isti model za vse smeri (različne obtežitve po smereh)– Problem: različna nasičenost atributov z istimi faktorji (sposobnosti, motivacija,

okoliščine) – odvisnosti atributov– Razvoj 2 modelov: primarna napoved - 15 atributov, sekundarna napoved - 33

atributov

• Določanje merskih lestvic kriterijev– Ocena uspešnosti 5 vrednosti, ostali večinoma 3 diskretne vrednosti

• Definiranje funkcij koristnosti (obtežitve po ekspertni presoji)• Poskusno vrednotenje in analize primerov

– Bistveno višje ocene uspešnosti od dejanske– Potrebne strožje funkcije koristnosti, upoštevanje “načela verige”

Razvoj DEX modelov za smer “L”Razvoj DEX modelov za smer “L”

• Izgradnja in validacija modelov samo za smer “L”– Model 1 – primarna napoved ob vpisu– Model 2 – sekundarna napoved ob koncu 1. letnika

• Spremenili funkcije koristnosti obeh splošnih modelov– Ročno oblikovanje pravil, upoštevali: “načelo verige”, pogostost pojavljanja

atributov v drevesih, kvaliteto pokazateljev• Spremenili

– Model 1: zaloge vrednosti znanje tujih jezikov (s 3 na 2), – Model 2: strukturo splošnega modela, zaloge vrednosti, izključili nekatere

osnovne kriterije• SKLEP:

– Model je možno izboljšati z bolj natančnimi podatki o motivaciji dijaka, okoliščinah in znanju slovenskega jezika; smiselno dodati podatke o popravnih izpitih v OŠ (svetovalec jih hitro pridobi v pogovoru) – tak model možno validirati le v praksi (na bazi ne)

Model 1: ob vpisu v SŠModel 1: ob vpisu v SŠDEXi 17.1.2002 Stran 1 Zaloge vrednosti Kriterij Zaloga vrednosti uspešnost 1; 2; 3; 4; 5

sposobnosti in predznanje neustrezne; ustrezne; zelo ustreznesplošna IQ podpovprečna; povprečna; nadpovprečna

uspeh OŠ 2; 3; 4; 5uspeh 7.r 2; 3; 4; 5

verbalne sposobnosti podpovprečne; povprečne; nadpovprečneSJK 8.r 2; 3; 4; 5tuj jez 8.r 2; 3; 4; 5

logično rezoniranje podpovprečno; povprečno; nadpovprečnoMAT 8.r 2; 3; 4; 5FIZ 8.r 2; 3; 4; 5

znanje tujih jezikov neustrezno; ustreznotuj jez OŠ ni imel; madžarski; nemški; angleškituj jeziki nemški; angleški; angleški in nemški

znanje slovenščine pomankljivo; povprečno; zelo dobrodržava roj Nemčija; Avstrija; Srbija; BIH; Hrvaška; Slovenijadržavljanstvo BIH; slovensko

motivacija znižana; ustreznastarost vpis višja; normalnaredni vpis ne; da

okoliščine negativne; ustrezne; pozitivnevozač da; nestatus šp da; nespol z; m

Demonstracija uporabeDemonstracija uporabe

DEXi 3.1.2002 Stran 1 Zaloge vrednosti Kriterij Zaloga vrednosti uspešnost 1; 2; 3; 4; 5

sposobnosti neustrezne; delno ustrezne; ustrezne; zelo ustreznesplošna IQ podpovprečna; povprečna; nadpovprečna

uspeh OŠ 2; 3; 4; 5L1 končni uspeh 0; 1; 2; 3; 4; 5

verbalne sposobnosti podpovprečne; povprečne; nadpovprečnetuj jez 8.r 2; 3; 4; 5L1 sjk 0; 1; 2; 3; 4; 5L1 anj 0; 1; 2; 3; 4; 5

logično rezoniranje podpovprečno; povprečno; nadpovprečnoL1 mat 0; 1; 2; 3; 4; 5L1 fiz 0; 1; 2; 3; 4; 5

spominske sposobnosti podpovprečne; povprečne; nadpovprečneL1 zgo 0; 1; 2; 3; 4; 5L1 geo 0; 1; 2; 3; 4; 5L1 ume 0; 1; 2; 3; 4; 5

znanje jezikov neustrezno; delno ustrezno; ustreznoznanje tujih jezikov neustrezno; ustrezno

tuj jez OŠ ni imel; madžarski; nemški; angleškituj jeziki nemški; angleški; angleški in nemški

znanje slovenščine pomankljivo; povprečno; zelo dobrodržava roj Nemčija; Avstrija; Srbija; BIH; Hrvaška; Slovenijadržavljanstvo BIH; slovensko

motivacija zelo znižana; znižana; ustreznastarost vpis višja; normalnaredni vpis ne; daneopravičeni izostanki veliko; srednje; malo

1.konf veliko; srednje; malo2.konf veliko; srednje; malo3.konf veliko; srednje; malo

okoliščine negativne; ustrezne; pozitivnevozač da; nestatus šp da; nespol z; mvzgojni ukrepi 8; 7; 6; 5; 4; 3; 2; 1opravičeni izostanki veliko; srednje; malo

1.konf veliko; srednje; malo2.konf veliko; srednje; malo3.konf veliko; srednje; malo

Model 2: ob koncu 1. letnika SŠModel 2: ob koncu 1. letnika SŠ

DEXi 29.12.2001 Stran 1 Zaloge vrednosti Kriterij Zaloga vrednosti uspešnost 1; 2; 3; 4; 5

sposobnosti in predznanje neustrezne; ustrezne; zelo ustreznesplošna IQ podpovprečna; povprečna; nadpovprečna

uspeh OŠ 2; 3; 4; 5uspeh 7.r 2; 3; 4; 5L1 končni uspeh 0; 1; 2; 3; 4; 5L1p končni uspeh 0; 1; 2; 3; 4; 5; nima

verbalne sposobnosti podpovprečne; povprečne; nadpovprečnesjk 8.r 2; 3; 4; 5tuj jez 8.r 2; 3; 4; 5L1 sjk 0; 1; 2; 3; 4; 5L1 anj 0; 1; 2; 3; 4; 5

logično rezoniranje podpovprečno; povprečno; nadpovprečnomat 8.r 2; 3; 4; 5fiz 8.r 2; 3; 4; 5L1 fiz 0; 1; 2; 3; 4; 5L1 mat 0; 1; 2; 3; 4; 5

znanje tujih jezikov neustrezno; delno ustrezno; ustreznotuj jez OŠ ni imel; madžarski; nemški; angleškituj jeziki nemški; angleški; angleški in nemški

znanje slovenščine pomankljivo; povprečno; zelo dobrodržava roj Nemčija; Avstrija; Srbija; BIH; Hrvaška; Slovenijadržavljanstvo BIH; slovensko

spominske sposobnosti (faktor memoriranja) podpovprečne; povprečne; nadpovprečneL1 zgo 0; 1; 2; 3; 4; 5L1 geo 0; 1; 2; 3; 4; 5L1 ume 0; 1; 2; 3; 4; 5

motivacija znižana; ustrezna; visokastarost vpis višja; normalnaredni vpis ne; daneopravičeni izostanki veliko; srednje; malo

1.konf veliko; srednje; malo2.konf veliko; srednje; malo3.konf veliko; srednje; maloskupaj veliko; srednje; malo

okoliščine negativne; ustrezne; pozitivnevozač da; nestatus šp da; nespol z; mvzgojni ukrepi 8; 7; 6; 5; 4; 3; 2; 1opravičeni izostanki veliko; srednje; malo

1.konf veliko; srednje; malo2.konf veliko; srednje; malo3.konf veliko; srednje; maloskupaj veliko; srednje; malo

uspešnost uspešnost zaključka šolanja po določenem srednješolskem programu 1. 1 prekine po 1-2 letih2. 2 v 3 ali več letih prekine ali ne zaključi s pozitivnim uspehom3. 3 v 5-6 letih s pozitivnim uspehom4. 4 redno z dobrim ali zadostnim uspehom5. 5 redno z odličnim ali pravdobrim uspehom

Opis zalog vrednosti Opis zalog vrednosti “uspešnosti” za oba modela“uspešnosti” za oba modela

Evaluacija modelov smeri “L”Evaluacija modelov smeri “L”

Izbor podatkov in validacija:• 10 % slučajni stratificirani vzorec iz DB1 smeri L (N = 47)• Primarna (model 1) in sekundarna (model 2) DEX ocena• Ocene izkušenega svetovalca – uporablja iste podatke in ocene kot DEX• Primerjava KT DEXa, svetovalca in odločitvenih dreves

Rezultati:• Nepomembne razlike v splošni KT svetovalca, DEXa in dreves:

– primarna ~ 60%, sekundarna ~ 70%• Nepomembne razlike v KT po posameznih razredih • Podobne napake: ne prepoznajo atipičnih primerov, pomešajo kategoriji 1 in 3• Napačne napovedi uspeha: 12.8% and 8.5%• Napovedi več kot eno kategorijo narazen: 12.8% and 6%• Ekspertna ocena modelov: “presenetljivo visoka” točnost• KT izkušenega eksperta v praksi je verjetno višja (uporablja dodatne podatke)

• KT modelov je primerljiva človeškemu ekspertu

• Modeli primerni za eksperimentalno uporabo (šolski svetovalec)– Svetovalec se opira na lastno presojo, upošteva dodatne informacije, ob koncu

1. letnika izdela ponovno oceno, zbira podatke za validacijo– Internetna aplikacija za dijake in starše odpade (nizka KT, nezadostna

validacija)

• Prednosti:– Uporabljata podatke, ki so vedno dostopni ali jih zelo lahko pridobimo– Dosledna in sistematična napoved (evidentiranje, evaluacija)– Možnost ponovne ocene po 1. letniku SŠ– Manjša možnost napak– Psihološki vpliv na dijaka in starše (bolj verjamejo, upoštevajo)– Tisti, ki jim napovesta neuspešnost, so največkrat zares neuspešni

(odsvetujemo vpis, predlagamo lažje možnosti)

ZaključkiZaključki (1/ (1/55))

ZaključkiZaključki ( (22//55))

• Slabosti:– Manj in neuspešnim (kategorije 1, 2, 3) občasno napovesta uspešen zaključek

šolanja v rednem roku (ocena 4)– Slabo prepoznavata mejno uspešne (kategorija 3)– Zahtevata nadaljnjo validacijo na drugih podatkih– Zahtevata neprestano prilagajanje in validacijo (občutljivost na spremembe

programov, šolskega sistema in generacijske spremembe dijakov)

• Pasti:– Vpliv napovedi na motivacijo dijaka (lahko jo zmanjša)– Ob spremenjeni motivaciji in okoliščinah se napoved spremeni– Možnost napačnega razumevanja napovedi in pritožb (dijak, starši)– Ekspert-novinec daje preveliko težo DEX, premalo lastni presoji

ZaključkiZaključki ( (33//55))

Možnosti nadaljnjega razvoja :

• Možnih več smiselnih struktur – manjše izboljšanje KT s spremembami modela• Možnost uvajanja sestavljenih atributov kot kriterijev• Uporaba nadzorovane dekompozicije (HINT)• Vključevanje novih kriterijev (niso v bazi, zahtevna validacija)

• Ideal: razvoj sistema ES, ki predlaga nekaj najprimernejših šol– Zahteven, veliko dela, longitudinalna študija, testiranja – nerealno

• Odprto vprašanje nadaljnjega razvoja modelov DEX: – Zahteven, zaradi hitrih sprememb lahko kmalu neuporabni

• Predlog uporabe DEX modelov v kombinaciji z odločitvenimi drevesi• Samo uporaba dreves (hitra izgradnja in validacija, preprosta klasifikacija, dobra

razumljivost, morda bolj primerna glede na naravo podatkov)

ZaključkiZaključki ( (44//55))

• Večina z DM odkritih zakonitosti ni novih za izkušene učitelje – Vseeno nekaj novih zanimivih odkritij (za vodstvo šole)

• Pomen odkritih zakonitosti za prepričevanje dijakov in staršev

– Večje upoštevanje nasvetov, posredno k višja uspešnost

• Rezultati lahko šoli služijo za izdelavo “profila” primernega dijaka

– Minimum posameznih lastnosti dijaka potrebnih za uspešen zaključek

• Vodilo nadaljnjim raziskavam:– Predlog postopka za izgradnjo večparametrskih odločitvenih modelov na

podlagi zaporedne kombinacije metod DM in DS

Prednosti kombiniranja:

• Prispevki DM k DS:– Boljše razumevanje podatkov in pravil učnega uspeha– Pokaže “kaj je možno doseči” z danimi podatki (ciljna KT modelov)– HINT: orodje za raziskovanje znanja in odkrivanje značilnosti– Pospeši evaluacijo modelov DS (urejena baza podatkov)

• Prispevki DS k DM:– Dobimo splošno hierarhijo atributov– Model se lahko prilagodi drugim izobraževalnim programom– Model se zlahka razširi s pomočjo DEXa (novi atributi)– Pospeši analize tipične za DS: občutljivosti, kaj-če analiza

ZaključkiZaključki ( (55//55))

Hvala!Hvala!

Vprašanja?Vprašanja?