Vrednovanja nastavestudentske ankete

izv. prof. dr.sc. Sanja Smojver-Ai

smojver@ffri.hr

Graevinski fakultet, 27.veljae 2015.

Europski standardi i smjernice za

unutarnje osiguravanje kvalitete na

visokim uilitima

1.4 Osiguravanje kvalitete nastavnika:

Visoka uilita trebala bi imati metode za provjeru kvalificiranosti i strunosti nastavnog osoblja.Te bi metode trebale biti dostupne na uvid onima

koji obavljaju vanjska vrednovanja i komentirane u izvjetajima.

Ustanove moraju biti sigurne u kvalitetu i strunost svojih nastavnika.Kvalitetnim izvoenjem nastave nastavnici motiviraju studente, potiu njihovsamostalni rad i omoguuju ostvarivanje eljenih ishoda.

Nastavnici moraju dobivati povratne informacije o svome radu.Rad nastavnika potrebno je kontinuirano vrednovati s ciljem unapreivanja radau nastavi.

Nastavnicima je potrebno pruiti podrku u unapreivanju kompetencija za rad unastavi.

Ustanove moraju biti sigurne u kvalitetu i strunost svojih nastavnika.Kvalitetnim izvoenjem nastave nastavnici motiviraju studente, potiu njihovsamostalni rad i omoguuju ostvarivanje eljenih ishoda.

Nastavnici moraju dobivati povratne informacije o svome radu.Rad nastavnika potrebno je kontinuirano vrednovati s ciljem unapreivanja radau nastavi.

Nastavnicima je potrebno pruiti podrku u unapreivanju kompetencija za rad unastavi.

Standard:Osiguravanje kvalitete nastavnikogkadra

Kakva je naa nastava? Jesmo li dobri nastavnici? Kako to znamo?

Izvori dokaza o uspjenosti nastavnika(Berk, 2005)

1. Studentske evaluacije 2. Suradnika procjena3. Samovrednovanje4. Video 5. Intervju studenata6. Izlazne ankete i ispitivanje alumnija7. Procjene poslodavaca8. Procjena ishoda uenja9. Portfelj nastavnika

Vrednovanje rada nastavnika

Vrednovanje rada nastavnika od strane studenata

Samovrednovanje nastavnika

Analiza uspjenosti studiranja

Procjena dostupnosti i primjerenosti nastavnih materijala

Institucijski koordinirana neposredna redovita komunikacija sa studentskim predstavnicima

Vrednovanje od strane kolega nastavnika (peer-review).

Razliiti postupci/ mogua kombinacija, Prirunik o kvaliteti studiranja, UNIRI

STUDENTSKE EVALUACIJE

Postupak uporabe studentskih inputa povezanih s

opim aktivnostima i stavovima nastavnika.

Ova opaanja omoguuju ocjenjivaima da odrede

stupanj usklaenosti studentskih oekivanja i stvarnog

pristupa nastavi.

Od studentske se evaluacije oekuje da e pruiti uvid u

stav i dranje nastavnika za vrijeme nastave

(pristupanost, kreativnost, strpljivost itd.)

i/ili u sposobnosti nastavnika (da objasni grau, motivira

studente, navede studente na razmiljanje, ispravi

pogreke na prijateljski nain, prui informacije na

uinkovit nain itd.). (Pojmovnik)

Opravdanost primjene studentskih evaluacija

Studentske evaluacije- valjani pokazatelji kvalitete nastave (McKeachie, 1997)

Studenti bolje od nekog drugog mogu evaluirati odreene aspekte pouavanja jasnoa, zanimljivost, pravednost, u kojoj mjeri je i na koji nain profesor potaknuo

interes i motivaciju za temu koja se obrauje

O studentskim evaluacijama

Marsh (1987; 2007) Prikladna primjena studentskih evaluacija: Multidimenzionalnost Pouzdanost i stabilnost Primarno pokazatelj rada nastavnika, a ne obiljeja

predmeta Valjanost razliitih pokazatelja efikasnog pouavanja Relativna nezavisnost od potencijalnih pristranosti

(veliina grupe, optereenje, interesa studenata) Dokazan doprinos poboljanju efikasnosti rada

nastavnika poeljno struna podrka u analizi rezultata

O studentskim evaluacijama

meta-analiza (Hattie & Marsh, 2002) Vrlo niska povezanost, ako i postoji, izmeu efikasnosti

pouavanja i znanstvene produkcije Oekivanje od sveuilinih djelatnika da su i dobri

znanstvenici i nastavnici, premda najee nisu formalno educirani za nastavnike kompetencije

Nesigurnost nastavnika oko nastavnike efikasnosti i nedovoljno znanja u koritenja rezultata studentskih evaluacija bez dodatne strune podrke

Cilj vrednovanja nastave

Formativno

Povratna informacija

Poboljanje kvalitete

rada

Kontinuirano korektivno, nizak ulog

Sumativno

Potvrda-napredovanje

Dokaz kompetencije

Standardizirana procedura; nakon

nastave;

Mogui ciljevi evaluacije

Povratna informacija s ciljem poboljanja nastave Informiranje dionika (studenti) o kvaliteti nastave Prikupljanje podataka sumativne evaluacije za

administrativne potrebe- (re)izbor nastavnika u zvanje Osnova u evaluaciji programa kolegija

Upitnici za evaluaciju nastave

Prikladnost metode: Prikupljanje informacije od veeg broja ljudi i za vei broj

pitanja Omoguuje anonimnost koja se ne moe osigurati nekim

drugim pristupom Poeljno kvantificiranje odgovora s ciljem usporedivosti U konstrukciji upitnika treba voditi rauna o njihovoj

valjanosti i pouzdanosti Standardizirani postupak primjene upitnika i definiranje

naina upisivanja podataka, obrade, prezentacije i pohranjivanja rezultata

Cilj evaluacije i naini

Sumativni cilj vrednovanja- standardizirani upitnik i postupak primjene

Formativni cilj- tehnike procjene mogu osmisliti i primijeniti nastavnici za osobne potrebe

Vrednovanje rada nastavnika od strane studenata (Prirunik UNIRI)

temelji se na rezultatima studentske procjene nastavnog procesa

provodi se na temelju standardiziranih upitnika na razini Sveuilita (u svrhu usporedivosti), po potrebi dopunjenih sa specifinostima rada na pojedinoj sastavnici

Cilj:Vrednovanje kvalitete nastavnog rada nastavnika i suradnikaodreenog kolegija kao i angaman studenta na odreenomkolegiju kako bi se na temelju procjena i sugestija mogaounaprijediti rad nastavnika i nastava na pojedinom kolegiju.

Izdavanje potvrde o kvaliteti nastavnog rada nastavnika ilisuradnika s pozitivnom ocjenom u svrhu izbora uznanstveno-nastavno zvanje.

Odgovorni: Odbor za upravljanje i unaprjeenje kvalitete na sastavniciSveuilita

Preporuena procedura vrednovanja nastave (Privitak Prirunika)

Preporuena procedura vrednovanja nastave (Privitak Prirunika)

1. Metodologija provedbe vrednovanja nastave za sastavnice koje posjeduju ISVU sustav

2. Metodologija provedbe vrednovanja nastave za sastavnice koje ne posjeduju ISVU sustav

Procedura za vrednovanje nastave

1. Metodologija provedbe vrednovanja nastave za

sastavnice koje posjeduju ISVU sustav

ISVU sustav aplikacijom Studomat obrazac definiran na razini Sveuilita u Rijeci preduvjet provedbe vrednovanja nastave putem ISVU-a

su pripremljeni podaci za provoenje on-line procjene upisni listovi, nastavne grupe studenata iz predmeta, izvoai nastave

Postupak obrade podataka:

po zavretku vrednovanja podaci se od strane SRCA automatski prikupljeni deponiraju u datoteku kompjutorskog programa Excell (*.xls)

datoteka se dostavlja Centru za unapreenje kvalitete Sveuilita koji vri obradu rezultata i pisanje izvjea

Metodologija provedbe vrednovanja nastave za sastavnice koje ne posjeduju ISVU sustav

Anketiranje studenata provode studenti koje koordiniraju studentski predstavnici u Odboru na sastavnici. Za provoenje vrednovanja studentske predstavnike obuava

Centar za unaprjeenje kvalitete Sveuilita u Rijeci.

Vrednovanje se provodi pomou anketnog upitnika definiranog na razini Sveuilita u Rijeci.

Procedura za vrednovanje nastaveObjavljivanje rezultata:

Uvid u rezultate procjene ima: procijenjeni nastavnik, nositelj kolegija,Odbor proelnik katedre na kojoj nastavnik

obavlja nastavnu djelatnost, prodekan za nastavu i dekan/ proelnik odjela.

Procedura za vrednovanje nastave Vrednovanje je potrebno provoditi za sve kolegije na

kraju semestra ili na kraju turnusa ukoliko se nastava provodi u turnusima (modularno).

Nakon inicijalnog vrednovanja isto je potrebno provoditi najmanje jednom u tri (3) godine.

Minimalna grupa za provedbu vrednovanja iznosi 10 studenata.

Procedura za vrednovanje nastaveu svrhu izdavanja potvrde

Vrednovanje se moe koristiti ukoliko joj je pristupilo najmanje 33% studenata koji su pohaali nastavu na kolegiju kod odreenog nastavnika.

Ukoliko su na odreenom kolegiju postignuti rezultati vrednovanja nastavnog rada nastavnika ili suradnika nezadovoljavajui vrednovanje nastave iz tog kolegija treba provoditi i ee

Procedura za vrednovanje nastave Izdavanje Potvrde

Izdavanje Potvrde o kvaliteti nastavnog rada nastavnika ili suradnika s pozitivnom ocjenom u svrhu izbora u znanstveno-nastavno zvanje izdaje se nastavnicima ili suradnicima ija je prosjena vrijednost vrednovanja svih estica anketnog upitnika definiranog na razini Sveuilita u Rijeci vea ili jednaka tri (3) utvrena na osnovi rezultata svih vrednovanih kolegija kroz najmanje dvije akademske godine od zadnjeg izbora u znanstveno-nastavno zvanje.

Potvrdu izdaje znanstveno nastavna sastavnica Sveuilita u Rijeci.

Procedura za vrednovanje nastave: Postupak kod nezadovoljavajuih vrednovanja Nezadovoljavajuim vrednovanjem se smatra

vrednovanje manje od 3 za bilo koju esticu u anketnom upitniku.

Obaveza je nastavnika ili suradnika s nezadovoljavajuim vrednovanjem provedba samovrednovanja putem obrasca utvrenog na razini Sveuilita u Rijeci.

Provedbu samovrednovanja pokree i prati Odbor na sastavnici.

Odbor s rezultatima provedenog samovrednovanja upoznaje upravu sastavnice.

TO SE ISPITUJE UPITNIKOM ZA EVALUACIJU NASTAVE

Principi dobre prakse sveuiline nastave, Chickering i Gamson, 1987.

1. Poticanje interakcije studenata i profesora2. Razvoj recipronosti i suradnje meu studentima3. Promicanje aktivnog uenja4. Davanje neposrednih povratnih informacija5. Dobra upotreba vremena za realizaciju zadataka6. Postavljanje visokih oekivanja7. Uvaavanje razliitih talenata i naina uenja

Tvrdnja Obrazloenje

Nastavnik redovito odravanastavu

Redovito odravanje nastave osigurava planiranu ioekivanu provedbu programa

Jasno sam i detaljnoinformiran o ciljevimakolegija i radnim zadacima

Informiranost o ciljevima kolegija i radnim zadacimau funkciji je adekvatne organizacije vremenaprovedenog u izvravanju zadataka

Nastavnik upuuje napovezanost sadraja nastavesa strukom u cjelini

Povezivanje grae kolegija s drugim kolegijima istrukom te isticanje kompetencija koje e studentstei poveava motivaciju i aktivnost studenta teosigurava bolje razumijevanje svrhovitosti aktivnostikoje se zahtijevaju

Obrazloenje znaenja tvrdnji

Tvrdnja Obrazloenje

Prezentirano gradivo mi jejasno i razumljivo

Odnosi se na nastavnikove komunikacijske

kompetencije i sposobnost prezentiranja

sadraja na studentima jasan i razumljiv nain

Na nastavi se za ilustracijunovih pojmova koriste praktiniprimjeri

Praktina primjena znanja i vjetina omoguuje

razvoj kritikog miljenja, aktivnije uenje te

osigurava vei stupanj jasnoe i razumijevanja

grae

Potican sam na aktivnosudjelovanje u nastavi(sudjelovanje u raspravama /postavljanje pitanja /odgovaranje na pitanja)

Aktivno sudjelovanje u nastavi osigurava

odravanje motivacije studenata, potie razvoj

viih kognitivnih procesa te omoguava

suradnju i interakciju

Tvrdnja Obrazloenje

Nastavnik se prema meni odnosis potovanjem

Odnos izmeu nastavnika i studenta valja biti u

skladu s etikim normama i pravilima

Nastavnik potie interakciju isuradnju meu studentima

Poticanje interakcije i suradnje meu studentima

osigurava veu ukljuenost i aktivnost studenata

to u konanici rezultira uspjenijim rezultatima

uenja

Od nastavnika dobivam korisnepovratne informacije o svomradu

Povratna informacija je korisna ukoliko je

redovita i neposredna. Student dobiva uvid u

vlastiti rad, uoava koje bi segmente izvedbe

mogao poboljati te ga se savjetuje na koji

nain da usavri vlastitu izvedbu. Korisnom

povratnom informacijom studentu se prua

podrka u njegovom napredovanju i realizaciji

ciljeva.

Tvrdnja Obrazloenje

Moj rad tijekom semestra jeredovito vrednovan i ocjenjivan(kolokviji / seminari / vjebe /projekti / zadaci / programi)

Redovita povratna informacija nuna je za

usmjeravanje studenta prilikom postizanja

njegovih ciljeva, te osigurava aktivnost i

motiviranost studenta

Openito, iskustvo pohaanjanastave kod ovog nastavnika biloje korisno

Odnosi se na openit dojam o percipiranoj

korisnosti i vanosti kolegija

Tvrdnja Obrazloenje

Nastavnik me potie nasamostalnost u radu i kritikomiljenje

Samostalnost u radu i kritiko miljenje

nuni su aspekti aktivnog i suradnikog

uenja te razvoja viih kognitivnih vjetina

koje se oekuju od studenata u sustavu

visokog kolstva

Nastavnik me motivira zastjecanje znanja i svladavanjeprograma kolegija

Motivacija je jedan od kljunih imbenika

koji osiguravaju aktivnost i ustrajnost u

kvaliteti rada i odnosa studenta

Nastavnik je dostupan iotvoren za komunikaciju

Komunikacija izmeu nastavnika i studenta

kljuan je faktor u razvoju kompetencija

studenta. Otvorenom interakcijom student

dobiva povratne informacije o vlastitom

radu te komunicira vlastita oekivanja i

oekivanja koja se od njega zahtijevaju

Sumativni cilj Potvrda o provedenom institucijskom

istraivanju kvalitete nastavnoga rada -ocjena studentske ankete

Potrebno vie procjena za izdavanje potvrde, poeljno za vie predmeta

Uvid u prosjenu procjenu- >3

Formativni cilj

Uvavanje povratnih informacija s ciljem poboljanja kvalitete rada

Analiza otvorenih komentara

Opi komentari nedovoljni za mogue intervencije Poeljni konkretni komentari Dodatna obrazloenja kod loih procjena- nedovoljno

informacija samo na temelju broja procjene

Analiza otvorenih komentara- primjer GF

Komentari vezani uz organizaciju nastave

nije izraen/objavljen izvedbeni plan nastave, nastavnik/asistent se ne dri donesenog izvedbenog plana nastave, premali broj sati konzultacija

Komentari vezani uz odnos i komunikaciju

pravovremeno odgovaranje na upite putem e-maila,, objava rezultata provjera znanja,

Komentari vezani uz studijski program

obim gradiva na, nain provjere znanja, optereenost, neusklaenost ECTS-a i stvarnog optereenja na predmetu

Ostale mogunost za vrednovanje rada nastavnika Samovrednovanje Suradnika procjena Kratki upitnici Aktivnosti studenata- povratna informacija

Ostali izvori informacija o kvaliteti nastave? to vi koristite kao povratnu informaciju o

vaoj nastavi?

Studentske ankete?

Anketa na sustavu MUDRI? Povratna informacija od studenata koju za

asistente? to moete pitati? to vas zanima specifino za va

predmet?

Classroom Assessment Activities, CAT

Angelo & Cross (1996)

Aktivnosti procjene na nastavi: Neposredna povratna informacija tijekom

nastave Tehnike usmjerene na studenta Tehnike koje omoguuju uzajamnu dobit Kontekstualne Kontinuirane

Classroom Assessment Techniques

(CAT)

Studenti procjenjuju koliko su uspjeno mogli pratiti nastavu Nastavnik stjee uvid koliko studenti razumiju i mogu pratiti

nastavu

Nastavnik ima neposrednu procjenu svoje efikasnosti Konzistetnto nadgledanje uinkovitosti pouavanja

pojanjenje pojmova koje veina studenata nije razumijela

Angelo & Cross, 1993.

CAT - primjeri

Kratki osvrti na kraju sata Nejasnoe

to vam je ostalo nejasno iz dananje temePojmovi koje niste razumijeli?

https://www.youtube.com/watch?v=SvT6RmuZigw

Kratki osvrti nakon svakog predavanja to ste najvanije danas nauili? Kojih su 5 najvanijih pojmova iz

dananjeg predavanja? Koja su vam otvorena pitanja o dananjoj

temi? to bi istakli o dananjoj temi? Anonimni odgovori studenata Kartice/papirii s komentarima

Primjeri moguih pitanja za odreeni predmet- iz prakse nastavnika fizike

1. Koje je Vae miljenje o zadacima koji se rjeavaju na vjebama?

6. Na vjebama studenti odlaze na plou i tamo rjeavaju zadatke. to mislite o tome?

2. Smatrate li da su domae zadae potrebne?

7. Da li ste redovito pohaali vjebe i smatrate li to nunim za polaganje ispita?

3. to mislite o zadacima koji se daju za domau zadau?

8. Koju ocjenu biste dali svome nastavniku na vjebama?

4. Procijenite efikasnost nastave na vjebama!

9. Ocijenite kvalitetu i izbor literature za vjebe iz fizike!

5. Mislite li da je broj sati tjednih sati za vjebe dovoljan?

10. Na koji biste nain poboljali vjebe iz fizike?

Primjeri pitanja specifinih za podruje studijaKolegij je unaprijedio moje sposobnosti formuliranja,

analiziranja i rjeavanja problema.

Kolegij je proirio moje razumijevanje relevantnih tema iz

podruja graevinskog inenjerstva

Povratne informacije pomogle su mi u razumijevanju

sadraja kolegija

Praktina nastava unaprijedila je moje razumijevanje

znanosti i /ili tehnikih koncepata http://www.undergrad.engineering.utoronto.ca/Assets/UndergradEng+Digital+Assets/VDeanUnder

grad/Guidelines+Procedures+for+Student+Evaluation+of+Teaching+in+Courses.pdf

Kratki upitnik o zadovoljstvu nastavom na predmetu1. to ste nauili na kolegiju?2. to vam se na kolegiju posebno svidjelo i ne bi mijenjali? Obrazloite zato. 3. to biste promijenili? Zbog ega? Navedite vae prijedloge!4. Jeste li mogli zadovoljiti sve obaveze prema izvedbenom programu kolegija? Imate li dodatnih komentara na nain ocjenjivanja aktivnosti?5. Procijenite na skali od 1 do 5 ope zadovoljstvo ovim kolegijem!6. Procijenite na skali od 1 do 5 ope zadovoljstvo ovim nastavnikom!

1- uope nisam zadovoljna/zadovoljan

2- uglavnom nisam zadovoljna/ zadovoljan

3- niti sam zadovoljna/ zadovoljan niti nezadovoljna/nezadovoljan

4- uglavnom sam zadovoljna / zadovoljan

5- u potpunosti sam zadovoljna/zadovoljan

TO NAKON ANALIZE REZULTATA?

Rezultati _ GF

Kako koristiti povratnu informaciju na temelju evaluacija?

to nakon primjene postupka vrednovanja nastave? vrednovanje nedovoljno samo po sebi

nije dovoljna samo prezentacija rezultata koji e se pohraniti i biti dio arhive

neuvaavanje rezultata vrednovanja ima negativne posljedice za daljnje postupke vrednovanja

preduvjet uspjenih buduih vrednovanja je definiranje koraka koji se poduzimaju nakon vrednovanja i samovrednovanja

vea motivacija studenata za budua vrednovanja

Mjere na individualnoj razini

to za mene osobno znae rezultati evaluacije?

Kako koristim rezultate i povratne informacije iz otvorenih komentara?

Komentirate li sa studentima studentske evaluacije (prola generacija)

Interpretacija rezultata Razmotriti razliite aspekte rada u nastavi s ciljem

daljnjeg unaprjeivanja kvalitete rada

Analizirati mogue razloge za slabije procijenjene indikatore

Uvid u mogue specifine okolnosti odravanja nastave u odreenom semestru iskustvo nastavnika

Kako motivirati studente na ispunjavanje ankete? Informiranje studenata o cilju evaluacije Informiranje o rezultatima i dokaz da su njihovi

komentari razmatranito sam promijenila nakon studentskih

evaluacija? Studentima najvanija promjena u nainu

pouavanja; promjena u predmetu, manje vano da su evaluacije u funkciji izbora u zvanje

(Chen & Hoshower, 2003)

MJERE za unaprjeenje kvalitete nastave (GF)1. Nastavnicima koji su ocijenjeni po vie aspekata kvalitete ocjenom manjom od 3,00 dostavit e se rezultati anketa u papirnatom obliku i trait e se samovrednovanje nastavnika prema obrascu predvienom Prirunikom za kvalitetu studiranja Sveuilita u Rijeci. 2. Asistente koje u anketama u dijelu komentara studenti kvalitativno ocjenjuju negativno predmetni je nastavnik duan informirati o negativnim ocjenama, uz ukljuivanje prodekana za osiguravanje kvalitete i razvoj i prodekana za nastavu i studente te dogovoriti mjere za unapreenje nastave u slijedeoj ak. godini. Primijeniti jednostavniji oblik samovrednovanja asistenta prilagoen situaciji. Asistente treba ukljuiti u program usavravanja nastavnika kada se on organizira na Sveuilitu.3. Predmetni nastavnici trebaju informirati asistente i o pohvalama koje studenti za njih navode u evaluacijama, to bi trebalo djelovati motivirajue. 4. Komentari vezani za studijski program e razmatrati u okviru izmjena i dopuna studijskih programa. 5. Sugerira se nastavnicima da na web stranici predmeta objave studentima odgovor na prologodinje evaluacije u smislu mjera koje e poduzeti ili su ve

Istraivanja o valjanosti i pouzdanosti studentskih evaluacija (Emery i sur., 2003)

Studentske evaluacije - samo jedan aspekt uvida u kvalitetu rada nastavnika Poveanje pouzdanosti procjene kroz ukljuivanje

viestrukih izvora podataka

Evaluacije usmjerene na procjenu postignua (to su nauili) a ne samo stupanj zadovoljstva

Vanost standardizacije postupka Vanost uvaavanja specifinosti podruja

pouavanja

No one has taught anything, unless someone has learned something (Emery i sur., 2003)

Vrednovanje usmjereno na ishode uenja

Every student in my class

has a completely different

teacher!Perry, 1970.

HVALA NA PANJI!

Korelati studentskih evaluacija

Podruje studiranja- neto nie procjene za tehnike u odnosu na drutvene ili humanistike znanosti

U tehnikim znanostima nie procjene za laboratorijske predmete

Izborni predmeti vie nego obavezni Osobnost nastavnika ovisno o vrsti

predmeta