Vrednovanje i ocjenjivanje temeljem - · PDF filePitanja koja treba postaviti ... studenata? –metodika Koje metode vrednovanja i ... Koristiti matematičke metode, modele i tehnike

Vrednovanje i ocjenjivanje temeljem ishoda učenja

Prof. dr. sc. Blaženka DivjakDoc.dr.sc. Nina Begičević Ređep

Fakultet organizacije i informatike, Sveučilište u Zagrebu

Uvod

2

• TALOE

• Ekipa

• Koje ishode učenja očekujete od ove radionice?

• Rad u parovima, upoznavanje i predstavljanje

• Predstavite drugog člana u paru i ishod učenja koji se očekuje

B. Divjak, N. Begičević Ređep

Primjer ishoda učenja: ova radionica

B. Divjak, N. Begičević Ređep 3

• Polaznici će biti u stanju:

Objasniti ulogu ishoda učenja i pripadnih metoda vrednovanja/ocjenjivanja u poticanju dubljeg, aktivnog učenja studenata

Izraditi silabus predmeta temeljem ishoda učenja

Izraditi rubriku za ocjenjivanje kompleksnog zadataka

Odrediti težine kriterija u rubrici

Okvir prezentacije

Diskusija/Primjeri/Izazovi

Određivanje težina kriterija

Rubrika i priprema kriterija vrednovanja

Povezivanje ishoda učenja s metodama poučavanja s ocjenjivanjem studenta

Ponavljanje: što su ishodi učenja?

Motivacija – uvod

4 B. Divjak, N. Begičević Ređep

Motivacija: za suštinske promjene


• Frey, Osborne, The Future of Employment 2013.

Gotovo polovica zanimanja koja su danas poznata, nestat će do 2030. zbog automatizacije i informatizacije

Preživjet će poslovi koji imaju visoku razinu kreativnosti i socijalne inteligencije te oni koji zahtijevaju čvrsta fundamentalna znanja (matematika)

• PISA 2012: Creative Problem Solving

“digital and creative divide”

Ishodi učenja/kompetencije


Tvrdnje o tome što se očekuje od studenta da zna, razumije, može

napraviti, vrednovati ... kao rezultat procesa

učenja

Student postizanjem ishoda učenja kroz proces studiranja stječe kompetencijeza zapošljavanje i samozapošljavenje

Specifične za određenu disciplinu

Generičke (opće, transverzalne)

6

Ishodi učenja – HKO


Ishodi učenja (engl. Learning Outcomes) su kompetencije koje je osoba stekla učenjem i dokazala nakon postupka učenja.

Kompetencije (engl. Competences) označavaju skup znanja, vještina te pripadajuću samostalnost i odgovornost.

Cjeloviti skup određenog obujma stečenih kompetencija, koje su sve pojedinačno vrednovane (pa se nazivaju ishodima učenja), nazivamo kvalifikacija.

• osnovna svojstva: razina, obujam, profil i kvaliteta

• http://www.vlada.hr/hr/aktualne_teme_i_projekti/aktualne_teme/

• http://public.mzos.hr/Default.aspx?sec=3393

7

http://www.vlada.hr/hr/aktualne_teme_i_projekti/aktualne_teme/

http://public.mzos.hr/Default.aspx?sec=3393

Individualni rad/Diskusija


• Provjera iskaza ishoda učenja na razini predmeta

• Ispunite prvu stranicu obrasca

• Osvrt na kraju radionice

Formulacija ishoda učenja

• Što se očekuje od studenta?• U vezi s čime i u kojem kontekstu?• Kako će se to provjeriti?

Primjeri:student će biti u stanju • ‘primjenjivati algoritme teorije grafova samostalno i

raditi u timu koji rješava problemske zadatke koji se temelje na takvim algoritmima’

• ‘definirati i prezentirati osnovne pojmove vezane uz ishode učenja na način da pripremi i održi prezentaciju u trajanju od 20 minuta’

• U iskazu se može provjera izostaviti, ali je treba imati na umu kod ocjenjivanja rada studenata, odnosno postizanja ishoda učenja9

Primjeri ishoda učenja


• Upotrijebiti metode mrežnog planiranja za izradu vremenskog plana razvojnog projekta

• Usporediti događaje iz hrvatske povijesti 19. stoljeća i sadašnju situaciju

• Utvrditi relevantne podatke (brojeve) u problemskim zadacima (matematika)

• TAKSONOMIJA

• Evaluirati (vrednovati) dano rješenje (npr. izostavljanje ocjenjivanja na polugodištu) za zadani društveni problem/kontekst (u osnovnoj školi)

“Bloomova taksonomija”

11

• Prepoznate 3 domene

• Originalno razradili Bloom, Krathwohl i Masia

Kognitivnu domenu 1956

Afektivnu domenu 1964

• Simpson (1964) i Harrow (1972)

Psihomotoričku domenu

Domena Opisuje Uvedena

Kognitivna Znanje i spoznaje 1956

Afektivna Stavove, motivaciju, interese

1964

Psihomotorička Tjelesne vještine 1972

Revidirana Bloomova klasifikacija kognitivnih vještina

Kategorija Definicija Ponašanje

Prisjećati Prisjećanje informacija, popisa, opisa Definirati; opisati; identificirati; označiti; izdvojiti; prisjetiti

Razumjeti Obrazloženje ideja ili koncepata; interpretiranje, klasificiranje

Izračunati; grupirati; objasniti; dati primjer; predvidjeti; sažeti

Primjenjivati Upotrijebiti opći koncept za rješenje problema; upotreba informacija u sličnim okruženjima

Primijeniti; prilagoditi; prikupiti; demonstrirati; otkriti; riješiti; upotrijebiti; intervjuirati

Analizirati Rastaviti na dijelove; komparirati Analizirati; usporediti; napraviti dijagram; skicirati; izdvojiti; sortirati

Vrednovati Ocjena vrijednosti nečega prema situaciji uz upotrebu kriterija; obrazloženje odluke

Ocijeniti, zaključiti; odabrati; preporučiti; postaviti prioritete

Kreirati Kreiranje novih ideja, proizvoda; planiranje, inoviranje

Izgraditi; kombinirati; kreirati; postaviti hipoteze; generalizirati; predvidjeti;

Pitanja koja treba postaviti


13

Što je važno da student nauči u

ograničenom vremenu studiranja? – ishodi

učenja

Kako organizirati poučavanje i učenje da

se to može ostvariti kod većeg dijela

studenata? – metodika

Koje metode vrednovanja i

ocjenjivanja odabrati da bi se dobila valjana

informacija o tome koliko je dobro student postigao predviđene

ishode? – ocjenjivanje

Kako osigurati da ishodi učenja, poučavanje i

ocjenjivanje budu konzistentni? –

provjera

Kontekst ishoda učenja


Ishodi učenja studijskog

programa

Ishodi

učenja

predmeta

Sadržaj i

nastavne cjeline

Evaluacija svih

dijelova

kurikuluma i

ugrađivanje

povratnih

informacija u

nove inačice

Metode

poučavanja

Metode

ocjenjivanja

Taksonomije ECTS

14

Ishodi učenja na razini programa - vezani za Matematiku 1, OPM


Koristiti matematičke metode, modele i tehnike primjerene rješavanju problema iz područja

informacijskih i poslovnih sustava.

Koristiti vještine učenja potrebne za cjeloživotnoučenje i nastavak obrazovanja na diplomskom

studiju.

Modelirati poslovne procese i podatke u organizacijama i primijeniti modele u razvoju

informacijskih i poslovnih sustava.

15

Ishodi učenja na razini predmeta OPM


1. Definirati osnovne pojmove i poznavati primjere iz područja vektorskih prostora, linearnih operatora i matematičke analize funkcija više varijabli.

2. Rješavati zadatke iz područja analitičke geometrije u trodimenzionalnom prostoru s naglaskom na njihovu upotrebljivost u području računalne grafike.

3. Primijeniti različite koncepte za određivanje linearne zavisnosti i nezavisnosti vektora, te baze, u pojedinim vektorskim prostorima (prostor vektora, matrica, polinoma, funkcija i sl.).

4. Dokazati osnovne teoreme o polinomima koji ujedno daju i algoritme za traženje nultočaka polinoma.

5. Analizirati pojam i geometrijsku interpretaciju parcijalne derivacije funkcije dviju varijabli, te optimizaciju funkcija više varijabli

6. Primijeniti metode više matematike na traženje ekstrema i uvjetnih ekstrema funkcije dvije, i eventualno tri, varijable.

7. Analizirati zadani realni problem, odabrati prikladnu metodu rješavanja iz skupa metoda izučavanih na ovom predmetu i drugim predmetima na studiju, kao i identificiranje nekih novih metoda kako bi se problem riješio na efikasan i efektivan način.

Alat za implementaciju ishoda učenja na razini predmeta

Ishod učenja predmeta

Strategija poučavanja

Aktivnost studenata

Provjera i ocjenjivanje

studenata

Opterećenje studenata u satima (ECTS)

17


Alat za implementaciju ishoda učenja na razini predmeta

Ishod učenja predmeta

Strategija poučavanja

Aktivnost studenata

Provjera i ocjenjivanje

studenata

Opterećenje studenata u satima (ECTS)

efikasno raditi u timu na definiranju i rješavanju problema iz područja diskretne matematike i teorije grafova

Povezivanje teorije i prakse –analiza problema, sinteza rješenja

Rad na nastavi, unutar e-učenja i rad u timu

Problemski zadatak u dvije faze

20/100 =

1.2 ECTS

primijeniti teoreme i algoritme iz teorije grafova na rješavanje zadataka srednje težine …

Teoretski okvir, analiza teorema i njihovih dokaza,

Vježbe, demonstrature, samostalan rad

Kolokvij II

18


Rad u grupi


• Sudionici u 2-3 grupe od po 3-4 sudionika

Bliske grupe predmeta ako je moguće

• Izaberite jedan ishod učenja i ispunite redak u tablici

• Formular za rad u grupi

Kriterijsko ocjenjivanje – rubrika


• Kriterijsko vs relativno ocjenjivanje

• Kriterijsko se temelji na ishodima učenja

• Razrada kriterija i prepoznavanje razina

• Upotreba rubrika

Kod kompleksnijih zadataka

Implementacija u e-kolegij, jednostavno korištenje

Pogodno kad je više ocjenjivača – usklađenost kriterija

B. Divjak,

21

Razine/Opisi razina (Mjerna skala)

Opis kriterija Neprihvatljivo (0) Prihvatljivo Dobro Izuzetno Ukupno bodova

Faza zadavanja problema

Uočen je problem Problem je prepisan ili

nije relevantan za DSTG

teoriju

Uočen je standardni

problem za područje koje

se izučava u DSTG-u (1)

Uočen je zanimljiv problem

koji je moguće povezati s

teorijom DSTG-a (1.5)

Uočen je inovativni i

izazovan problem na čije se

rješavanje može

upotrijebiti teorija iz DSTG-

a (2)

2

Problem je opisan Opis problema nije

jasan ili se uopće ne radi

o problemu već zadatku

Problem je opisan bez

upotrebe grafova,

poveznica ili realnog

konteksta (1)

Problem je opisan na jasan i

zanimljiv način, ali bez

značajnog realnog

konteksta (2)

Problem je opisan na jasan

i zanimljiv način i stavljen u

relevantan realni kontekst

(3)

3

Zadane su karakteristike

rješenja

Nije jasno kakvo se

rješenje traži

Naznačeno je kakvo se

rješenje problema traži ali

nisu zadani okviri

prihvatljivosti rješenja (1)

Jasno su opisane

karakteristike prihvatljivog

rješenja, ali nisu dana

otvorena pitanja o

konzistentnosti i

mogućnosti postizanja

rješenja realnog problema

(2)

Jasno su opisane

karakteristike prihvatljivog

rješenja, dana su zanimljiva

otvorena pitanja o

konzistentnosti i

mogućnosti postizanja

rješenja realnog problema

(3)

3

Faza rješavanja problema

Povezivanje problema s

teorijom DSTG-a

(modeliranje)

Nije uspostavljena veza

između teorije i

problema

Naznačeno je što će se od

teorije upotrebljavati u

rješavanju problema, ali

korespondencije i

elementi modela nisu

jasno opisani (1)

Jasno je opisan teoretski

model rješavanja problema,

ali nisu dana ograničenja ili

moguće alternative (1.5)

Jasno je opisan teoretski

model rješavanja problema

i dana su ograničenja ili

alternative (2)

2

Strategija rješavanja

........

Nije dan opis strategije

rješavanja problema ili

Opisani su standardni

koraci u rješavanju

problema koji nisu

verificirani (1)

Opisani su standardni

koraci u rješavanju

problema i oni su

verificirani putem

teoretskih ili

eksperimentalnih spoznaja

(1.5)

Strategija rješavanja

problema je inovativna i

jasno opisana, te

utemeljena na teoretskim

ili eksperimentalnim

spoznajama (2)

2

Rad u grupi


• Izrada rubrike za kompleksni zadatak

Npr. nestrukturirani problem

• Opis zadatka vezanog uz ishod učenja

• Generiranje i usuglašavanje kriterija vrednovanja

Naznačiti bodove za pojedini kriterij

23

Analitički hijerarhijski proces

AHP metoda jedna od najpopularnijih i najčešće korištenih metoda za višekriterijsko odlučivanje u rješavanju realnih problema (Saaty, 1977.)

Primjena: strateško odlučivanje, menadžment, alokacija resursa - inženjerstvo, industrija, vlada, obrazovanje, osobne odluke.

Omogućava fleksibilnost procesa odlučivanja i pomaže donositeljima odluka da postave prioritete i donesu kvalitetnu odluku uzevši u obzir i kvalitativne i kvantitativne aspekte odluke.

AHP strukturira problem odlučivanja i uspješno simulira proces donošenja odluka od definiranja cilja, kriterija i alternativa, do uspoređivanja kriterija i alternativa u parovima i dobivanja težinskih koeficijenata kriterija te prioriteta alternativa.

Omogućava provjeru konzistentnosti procjena donositelja odluke te analizu osjetljivosti.

Alati za podršku AHP metodi: DecisionLens, SuperDecisions, ExpertChoice itd.

Podržano grupno donošenje odluka (geometrijska sredina procjena donositelja odluke).

24

Osnovni koraci u AHP metodi

Primjena AHP metode može se objasniti u četiri osnovna koraka (Saaty, 1980.):

1. Razvije se hijerarhijski model problema odlučivanja s ciljem na vrhu, kriterijima i podkriterijima na nižim razinama, te alternativama na dnu modela.

2. Na svakoj razini hijerarhijske strukture u parovima se međusobno uspoređuju elementi te strukture, pri čemu se preferencije donositelja odluke izražavaju uz pomoć Saatyeve skale relativne važnosti koja ima 5 stupnjeva i 4 međustupnja verbalno opisanih intenziteta i odgovarajuće numeričke vrijednosti u rasponu od 1-9.

3. Iz procjena relativnih važnosti elemenata odgovarajuće razine hijerarhijske strukture problema pomoću matematičkog modela izračunavaju se lokalni prioriteti (težine) kriterija, podkriterija i alternativa, koji se zatim sintetiziraju u ukupne prioritete alternativa. Ukupni prioritet pojedine alternative izračunava se tako da se zbroje njezini lokalni prioriteti ponderirani s težinama elemenata više razine.

4. Provodi se analiza osjetljivosti.

25

Važnost Definicija Objašnjenje

1 Iste važnosti Dva elementa su jednake važnosti u

odnosu na cilj.

3 Slaba dominacija

Na temelju iskustva i procjene daje se

mala prednost jednom elementu u

odnosu na drugi.

5 Jaka dominacija

Na temelju iskustva i procjene daje se

velika prednost jednom elementu u

odnosu na drugi.

7Dokazana

dominacija

Dominacija jednog elementa potvrđena

je u praksi.

9Apsolutna

dominacija Dominacija najvišeg stupnja.

2, 4, 6, 8 Međuvrijednosti Potreban je kompromis.

Saatyeva skala relativne važnosti

• Grupno odlučivanje AHP metodom podržavaju alati DecisionLens, ExpertChoice

• Provedba grupnog odlučivanja:

diskusija u timu te unos procjena nakon konsenzusa

svaki član tima unosi svoje procjene u model koje se zatim integriraju

• Načini provedbe: primjena daljinskih upravljača, dislociranost – spajanje na model, direktan unos u model

• Moderator i sudionici (maks.10-15), donositelji odluka numeričko uspoređivanje vrše na način da unose ocjene od 1 - 9 (Satijeva skala relativne važnosti); izračunava se geometrijska sredina njihovih procjena (ukoliko se koriste recipročne vrijednosti to je jedini način kombiniranja)

• Omogućena integracija procjena i mogućnost analize rezultata pojedinačno i grupno – analiza težinskih koeficijenata kriterija dobivenih integracijom procjena svih elemenata u hijerarhiji.

• Ukoliko donositelji odluka imaju različiti utjecaj na konačnu odluku, taj utjecaj je potrebno izraziti preko koeficijenta važnosti svakog donositelja odluke te njihove procjene ponderirati tim koeficijentom važnosti.

• Prednosti primjene AHP-a u grupnom odlučivanju:

bolje strukturiranje diskusije

značajno se poboljšava komunikacija među članovima grupe

svaki sudionik sudjeluje u zajedničkoj diskusiji, ali na njenom završetku individualno unosi svoje procjene

bolje razumijevanje problema od strane svakog člana grupe

u konačnom ishodu članovi grupe imaju više povjerenja u izabranu alternativu.

Grupno odlučivanje AHP metodom

Određivanje težina kriterija


• Rad u grupi

• Integracija rješenja

• Prezentacija rješenja

Obrada rezultata


• … u isto vrijeme – pokazni primjer u Moodle-u

• Ocjenjivanje u DSTG temeljem rubrike

Postizanje ishoda učenja


Ulazne kompetencije

studenata(provjera)

Proces poučavanja i učenja (pedagoški model) Završne

kompetencije:Stručne

Generičke

Okolina za učenje

Nastavni materijali

Projekti, istraživanje

Podrška za učenje Savjetovanje

OcjenjivanjePovratne

informacije

Neformalno učenje

Studentska praksa,

razmjena

Hvala na pažnji

Diskusija i pitanja

Documents

Vrednovanje i ocjenjivanje temeljem - · PDF filePitanja koja treba postaviti ... studenata? –metodika Koje metode vrednovanja i ... Koristiti matematičke metode, modele i tehnike