Tutkimustietoa ja kokemuksiavertaisarviointimallin 1. pilotointivaiheesta

VERTAISARVIOINTI KEHITTÄMISTYÖN TUKENA - Vertaisarviointimalli ammatillisen koulutuksen

oppimisympäristöjen kehittämisen ja hanketyön tukena

Asiantuntija Minna Taivassalo-Salkosuo, Opetushallitus

Laajennetun työssäoppimisen kokeilut Verkostoseminaari

11.9.2009

Kehittämistyö on yhteisöllistä, avointa ja läpinäkyvää- Vertaisarviointimallia on kehitetty yhteisöllisesti avoimilla

työskentelyalustoilla osana ammatillisen koulutuksen oppimisympäristöjen kehittämishankkeita.

- 1. työkokous järjestettiin Opetushallituksessa 31.10.2008.

- Lisätietoa kehittämistyöstä löydät osoitteesta- http://vertaisarviointi.wikispaces.com/ ja - http://vertaisarvioijat.ning.com/

Vertaisarviointimallin vaiheet

Mikä toimii? Tämä kokoonpano vertaiskäynnillä toimii

© Minna Taivassalo-Salkosuo 2009

Hankkeen vetäjä hankkeesta A (eri

koulutusalalta kuin arvioitava

hanke)

Hankkeen vetäjä

hankkeesta B

Arvioitava Hanke C

Asiantuntija-opettaja = tutkinnon/

koulutusalan substanssiosaaja

mistä tahansa oppilaitoksesta

Asiantuntija-opettaja = tutkinnon/

koulutusalan substanssiosaaja

mistä tahansa oppilaitoksesta Mahd.

koordinaattori OPH:sta

Ennakkovalmistelut (arvioijat)

I Vertaisarvioijat perehtyvät aineistoihin ja vertaisarviointiin

II Haastattelukysymysten suunnittelu yhdessä (tärkeimmät)

1,5h vertaisarvioijien tapaaminen

(esim. Connect pro, Second Life, tms. )

tai face to face (sähköinen itsearviointilomakkeisto

käytettävissä)

Vertaiskäynnin rakenne (suositus)

1. Päivä

* Tervetulotilaisuus, mahdolliset kysymykset (30 min)

* Oppimisympäristön esittely ja tutustuminen (1,5 h)

*Vertaisarvioijat yhdessä suunnittelevat haastatteluita1h

*Hankkeen vetäjän haastattelu maks. 1h

*Opiskelijoiden haastattelu yhdessä 1h tai erikseen 2X30min (palaute opiskelijaryhmältä)

*Työelämän edustajien haastattelu maks. 2x30 min

*Opettajien haastattelu maks. 1 h

*Vertaisarvioijien tuumaustauko 30 min

*Johdon edustajan haastattelu maks.45 min.

(voi olla seuraavan päivän aamuna)

Mikä toimii? Tämä ohjelmarunko toimii vertaiskäynnillä

Osallistujia eri rooleissa (arvioija/havainnoija)

Kukin paikalla ollut kirjaa 4 hankkeen vahvuutta ym. kokonaisena lauseena -> kirjataan ylös runko ja keskeiset huomiot ja havainnot

Yhteinen illallinen

Tarvittaessa osa voi poistua ja osa jää seuraavaan päivään ja siten vastaa raportin kirjoittamisesta sekä palautteen antamisesta. Vähintään kaksi henkilöä on jäätä paikalle asiantuntijaopettaja ja hankkeen vetäjä

2. Päivä

Vertaisarviointiryhmän sisäinen kokous ja palauteraportin työstö (2,5 h)

Palautetilaisuus: keskusteleva palaute (hankkeen keskeiset toimijat oppilaitosjohto ja sidosryhmän jäsenet läsnä) (1,5 h)

© Minna Taivassalo-Salkosuo 2009

Lyhyt yhteenveto kyselytutkimuksen välituloksista

Perustietoa kyselytutkimuksesta - Vastaajia (N=27)- joista 20 arvioijaa/havainnoijaa (22 yhteensä, jos

jokainen vastaa kerran) - 7 arvioinnin tilaajaa/saajaa

© Minna Taivassalo-Salkosuo 2009

Lyhyt yhteenveto kyselytutkimuksen välituloksista (N=27)

- Itsearvioinnin tekemiseen käytettiin keskimäärin noin 5 tuntia

- Vertaiskäynnille valmentautumiseen arvioijat käyttivät keskimärin 6,5 tuntia

- Vertaispalautteen hyödyllisyys hankkeen toiminnan edelleen kehittämiseksi (keskiarvo 8.25), vaihteluväli 7.5 - 9 (N=7)

-Vertaisarvioijien antama arvosana vertaiskäynnin hyödyllisyydestä suhteutettuna ajalliseen panostukseen 8.75 eli 9- (N=20)

Kaikki vastaajat suosittelevat kollegoille osallistumista vertaiskäynnille tai vertaisarvioinnin tilaamista omaan kehittämishankkeeseen. Useita perusteluita löytyy (ainakin A4) Lisätietoja Minnalta.

© Minna Taivassalo-Salkosuo 2009

Vertaiskäynnit/-arvioinnit:

- ohjaavat kehittämishankkeen laadukkaaseen toteuttamiseen

- antavat valmiuksia oman työn kehittämiseen

(sekä pedagoginen osaaminen että projektiosaaminen vahvistuu)

- kehittävät itsearviointitaitoja ja arviointiosaamista

- mahdollistavat kehittämistyön vertaistuen

- edistävät hyvien käytänteiden vaihtoa ja tunnistamista

- verkostoiduttavat eri hankkeiden toimijoita

- mahdollistavat hankkeen toteutuksen aikaisen palautteen

- edistävät kehittämishankkeiden tuotosten ja tulosten levittämistä sekä laajempaa hyödynnettävyyttä

Lyhyt yhteenveto kyselytutkimuksen välituloksista (kyselyyn vastanneiden näkemyksen mukaan

(N=27) vertaisarviointia ja - käyntejä koskevat seuraavat väittämät (täysin tai osittain samaa

mieltä)

© Minna Taivassalo-Salkosuo 2009

Vertaiskäynnit/-arvioinnit:

- edistävät oppilaitosjohdon tietoisuutta kehittämishankkeesta

- voimaannuttavat hankkeessa kehittämistyötä tekeviä henkilöitä

ja antavat valmiuksia toimia muutosagenttina omassaorganisaatiossa

- eri koulutusaloja edustajat voivat oppia muiden koulutusalojen toimintatavoista

- vertaisarviointimalli ja kehitetyt kriteeristöt toimivat hankkeiden ohjaustyökaluna ja itsearvioinnissa ->pitkällä aikavälillä

toimintamalli vähentää hankkeiden ohjausresurssin tarvetta..

Lyhyt yhteenveto kyselytutkimuksen välituloksista (kyselyyn vastanneiden näkemyksen mukaan

(N=27) vertaisarviointia ja -käyntejä koskevat seuraavat väittämät (täysin tai osittain samaa

mieltä)

© Minna Taivassalo-Salkosuo 2009

Ajatuksia siitä, mitä muuta etua/hyötyä vertaiskäynneistä ja vertaisarvioinnista on/voisi olla kehittämishankkeiden toteuttajille?

Tärkeimmät:

- Soveltuu organisaatioiden laatutyökaluksi, nostaa koulutuksen laatua

- Tulevaisuudessa hankerahoituksen saamisen kriteeri?

- Kriteeristön läpikäyminen itsearviointia tehtäessä auttaa jäsentämään hankkeen toimintaa, tavoitteita ja tuloksia

- Näkee ja kuulee muiden alojen toimintatavoista ja saa peiliä omaan kehittämistyöhön

- Edistää verkostoitumista

- Asioiden jakaminen voimaannuttaa, toisin kuin asioiden puurtaminen muista erillään

- Keskustelut toisten arvioijien/havainnoijien kanssa ovat rikastuttavia ja näkökulmia avartavia

- Kriittisen ystävän näkökulma – etäämpi ja objektiivisempi näkökulma kehittämistyöhön

© Minna Taivassalo-Salkosuo 2009

Vertaispalautteen hyödyntäminen kehittämishankkeissa:

- Kokemuksia voi hyödyntää jo seuraavalla lukukaudella

seuraavissa pilottitoteutuksissa

- Työelämäyhteistyön suunnittelussa

- Toimintamallien jatkokehittämisessä ja toimenpidesuunnitelmissa

- Palautetta on jo hyödynnetty (palauteraportin perusteella)

Lyhyt yhteenveto kyselytutkimuksen välituloksista

© Minna Taivassalo-Salkosuo 2009

Yleisimpiä mielipiteitä kustannusten kattamisesta ja jakamisesta:

- Tilaaja- tuottaja –mallilla, jos ei ole saatavissa erillistä rahoitusta, kulut arvioitavan hankkeen budjetista (huomioitava avustuksia päätettäessä, pakollinen osa hankkeita)

- Vastavuoroisuusperiaate/kustannusneutraalius: Hyödyntää molempia osapuolia (mahdollisuus toteuttaa ristiinarviointia hankkeiden välillä) jos tilataan ulkopuoliselta edustajalta hanke maksaa

- 50/50 arvioijan organisaatio maksaa työajan ja matkat, saaja kulut arviointipaikkakunnalla (majoitus ja ruuat)

Lyhyt yhteenveto kyselytutkimuksen välituloksista

© Minna Taivassalo-Salkosuo 2009

Johtopäätöksiä tutkimuksen puolivälissä- Suosittelen vertaiskäyntejä yhdeksi täydennyskoulutuksen

menetelmäksi. Käynnin aikana käytävissä keskusteluissa tulee käsiteltyä ammatillisen koulutuksen keskeiset laatutekijät ja syntyy uusia kehittämisideoita.

- Suosittelen vertaisarviointia ja –käyntejä käytettäväksi kaikissa pedagogissa kehittämishankkeissa sekä laadunvarmistuksessa että ns. hyvien käytänteiden tunnistamisen ja levittämisen sekä edelleen kehittämisen tukena

- Yhtä ainoata, oikeaa ja kaikille sopivaa kriteeristöä sellaisenaan on tuskin olemassa

- Sen sijaan voimme tehdä kriteerien kehittämistyössä yhteistyötä ja täydentää/valita olemassa olevista kriteeristöistä kehittämistyön kannalta keskeisimmät ja hyödyntää niitä.

© Minna Taivassalo-Salkosuo 2009

Valmis vertaisarvioijien yhteisö ammatillisen koulutuksen kehittäjille on käytettävissä, tavataan siellä http://vertaisarvioijat.ning.com/

Wikissä työkirja vertaisarvioinneista (kirjoitusprosessi käynnissä, kriteeristöluonnoksia jne.periaatteena aineistojen jatkuva parantaminen )

http://vertaisarviointi.wikispaces.com/

Kiitos!