Eesti Kutseõppeasutuste Kvaliteediauhind 2005 /2006 : assessorite 2.koolitus 15 . 03 .200 6

Eesti Kutseõppeasutuste Kvaliteediauhind 2005/2006:

assessorite 2.koolitus 15.03.2006

Tiia Tammaru, Tallinna Tehnikaülikool

Tauno-Jussi Onoper, TJO Konsultatsioonid

Koolituse eesmärk (1)

• Luua efektiivsed hindamismeeskonnad

• Kujundada osalejate seas ühtne arusaam– meeskonnatöö ja konsensuse olemusest– organisatsioonikülastuse läbiviimisest– tagasisideraporti koostamisest

Koolituse eesmärk (2)

• Viia meeskondades läbi taotlusdokumentide hindamine– kujundada ühtne arusaam hinnatavast organisatsioonist– määratleda võtmeteemad– jõuda allkriteeriumide kaupa konsensusele

• tugevuste, parendusvaldkondade, skoori ja organisatsioonikülastuse küsimuste osas

– koostada esialgne organisatsioonikülastuse plaan– alustada tagasisideraporti kirjutamist

15.-16.märts- Koolitus assessoritele II osa ja konsensusprotsess

30.märts- Konsensuslike vahearuannete esitamine juhtassessorite poolt ekspertidele

10.aprill- Vaheraportite esitamine juhtassessorite poolt ekspertidele ja projektijuhile

10.-13.aprill- Vaheraportite ülevaatus ekspertide poolt 14.aprill- Tagasiside ekspertidelt juhtassessorile vaheraporti

kohta Mai- Koolide külastused Mai- Assessorite 2. konsensuskoosolek, 1 päev 26.mai- Korrigeeritud tagasisideraportite esitamine

juhtassessori poolt ekspertidele

Detailne ajakava (1)

29.mai – 4.juuni- Tagasisideraportite ülevaatus ekspertide poolt 5.juuni- Tagasiside ekspertidelt juhtassessoritele tagasisideraportite

kohta 6.-11.juuni- Tagasisideraportite viimistlemine juhtassessorite poolt 12.juuni- Tagasisideraportite esitamine projektimeeskonnale

juhtassessorite poolt 11.-15.september- Juhtassessorite ja ekspertide järelvisiidid

koolidesse 18.-21.september- Žürii otsus konkursi võitja kohta 21.september- Assessorite tagasisidekoosolek koos

projektimeeskonnaga 28.september- Kvaliteedikonverents, auhinnakonkursi lõpetamine

ning uue konkursi väljakuulutamine

Detailne ajakava (2)

Kutseõppeasutuste Kvaliteediauhind 2005 eksperdid• Eneken Ulmas, Jõudluskontrolli Keskus –

meeskond 1, 5• Signe Kast, Tallinna Haridusamet – meeskond

2, 7• Jari Kukkonen, Deloitte&Touche Eesti –

meeskond 9• Valvo Paat, Tallinna Kopli Ametikool –

meeskond 4, 6• Katrin Alujev, TNT Eesti – meeskond 8, 11• Tiia Tammaru, TTÜ – meeskond 10

Koolitaja/eksperdi roll• Meeskonna töö toetamine ja hõlbustamine• Ekspert ei osale hindamises, ei esita skoori• Ekspert annab vajadusel lisaselgitusi metoodika

osas (meeskonnasiseste vaidluste, ilmselt ebaadekvaatse skoori jm probleemide esinemisel) ning vastab küsimustele

• Meeskonnatöö protsessi juhib juhtassessor!

Organisatsioonikülastuse protsess

• Külastuse eesmärk• Ülevaade külastusest• Organisatsioonikülastuse reeglid• Assessorite roll• Juhiseid, nõuandeid ja näiteid

Organisatsioonikülastuse eesmärk• Leida kinnitust taotlusdokumendis esitatud

informatsioonile• Selgitada kõiki taotlusdokumendis ebaselgeks

jäänud asjaolusid, eriti rakendatusega seonduvat• Tunnetada organisatsioonis valitsevat üldist

õhkkonda ja kontrollida, kas taotleja võiks olla ‘rollimudeliks’

• Valideerida skoori, vajadusel seda muutes

Ülevaade külastusest

Meeskond planeerib külastust

Taotlejale edastatakse eelinformatsioon

Toimub külastus

Kõikide leidude kohene dokumenteerimine

Uus konsensusprotsess ja tagasisideraporti vormistamine

Külastuse ettevalmistamine (1)

• Organisatsioon peaks määrama kontaktisiku, kes suhtleb juhtassessoriga.

• Organisatsioonikülastuse ajal peaksid assessoritega vestlemiseks olema kättesaadavad kõik võtmeisikud.

• Meeskonna soovi korral tuleks ette valmistada dokumendid, mida assessorid saavad kohapeal kasutada (juhtassessor peaks ette saatma vastava nimekirja).

• Organisatsioon peaks saatma juhtassessorile ka täpse organisatsiooni struktuuri koos nimedega, et intervjuusid oleks võimalik täpselt planeerida.

Külastuse ettevalmistamine (2)

• Assessorite meeskonnale tuleks luua töötingimused – eraldi ruum.

• Intervjuud toimuvad kas töökohtadel või väiksemates gruppides (vastavalt assessorite soovile ja organisatsiooni võimalustele).

• Pärast külastust ei või assessorid anda informatsiooni skoori ega selle muutmise kohta.

Külastuse reeglid• Haridusasutuse külastus on piiratud hinnatava asutuse töötajate

ja dokumentatsiooniga. Hindamisprotsessi ei ole lubatud kaasa haarata väliseid huvipooli ega organisatsioone.

• Esialgne hindamine peab toimuma ainult esitatud taotlusdokumendi põhjal. Lisaandmeid võib kasutada vaid külastuse planeerimise eesmärgil.

• Assessorid ei tohi hindamisel arvesse võtta • uusi algatusi või andmeanalüüse, mis on tehtud pärast

taotlusdokumendi esitamise kuupäeva • enne taotlusdokumendi esitamist alustatud tegevusi puudutavat

informatsiooni, mida ei ole taotlusdokumendis esitatud.

• Assessorid võivad arvestada jätkuvaid andmeid – taotleja võib välja tuua viimaseid andmeid või jätkuvaid trende tulemuste osas, mis on taotlusdokumendis juba esitatud. Vajadusel võib korrigeerida vastavat valdkonda käsitleva allkriteeriumi skoori.

Soovitusi edukaks külastuseks1. Leppige kokku külastuse reeglites ja jälgige nendest

kinnipidamist.2. Koostage detailne ajagraafik ja mõelge läbi tööjaotus – üksikute

assessorite ja tööpaaride jaoks.3. Mõelge läbi külastuse logistika, arvestage võimalikke ajakadusid

ühest kohast teise liikumisel.4. Taotlejale võib eelnevalt saata soovitud materjalide loetelu.5. Määratlege olulised asjaolud, millele kõik assessorid peavad

keskenduma6. Olge valmis esialgseid plaane muutma vastavalt uutele,

külastuse käigus selguda võivatele asjaoludele. 7. Ärge laske taotlejal ennast kõrvale juhtida!8. Pange kuuldu võimalikult täpselt ja koheselt kirja.9. Viige läbi konsensuskoosolekud samal õhtul peale esimest ja

teist külastuspäeva. Täpsustage teise päeva plaani vastavalt esimese päeva “saagile”.

Organisatsioonikülastuse käik

1. Organisatsioonikülastus algab tavaliselt avakoosolekuga, kus osalevad kõik assessorid ja taotleja juhtrühm ning toimub vastastikune tutvustamine; samuti selgitab juhtassessor avakoosolekul külastuse eesmärki ja põhireegleid.

2. Seejärel jagunetakse rühmadeks, paarikaupa töötamine on soovitatav.

3. Pidage vahekoosolekuid, kus jagate vastastikku informatsiooni.4. Tõendeid organisatsiooni küpsuse, rakendatuse ulatuse ja esitatud

andmete kohta leiate organisatsioonist, mitte tippjuhi kabinetist!5. Jalutage organisatsioonis ringi lahtiste silmadega vaadates ja hoolega

kuulates! Tunnetage organisatsioonis valitsevat kultuuri ja õhkkonda.6. Lõppkoosolekul ei anta informatsiooni külastuse tulemuste ega skoori

kohta. Tänatakse organisatsiooni ja kõiki inimesi, kes külastusele kaasa aitasid.

Intervjueerimine•esitle ennast ja selgita, miks intervjuu toimub;

•sissejuhatus intervjuu teema osas;•püüa luua pingevaba õhkkond;•püüa võita intervjueeritava usaldus;•esita selgeid ja arusaadavaid küsimusi;•alusta avatud küsimustega ‘kuidas....?’

•vajadusel täpsusta teemat suletud küsimustega ‘kas...?’•kinnita saadud vastust

•‘selgitage, mida see praktiliselt tähendab?’•‘näidake mulle ...’ (näiteks dokumenti X, teadetetahvlit, andmebaasi jne.)

•dokumenteeri vastused/leiud koheselt, kasutades eelnevalt ette valmistatud vorme;•leia intervjuu lõpus kinnitust, et oled asjast õigesti aru saanud;•täna intervjueeritavat abi ja kulutatud aja eest.

Juhtassessori roll• … ei saada organisatsioonile küsimusi ette• … organiseerib võimalusel organisatsiooni põhitegevusega eelneva

tutvumise• … koostab minutilise täpsusega intervjuude ajakava (allkriteeriumid ja

pausid)• … edastab kõikidele assessoritele ja intervjueeritavatele ajakava• … edastab assessoritele organisatsioonistruktuuri ja küsitud

lisamaterjali nimekirja• … tutvustab enne intervjuude algust assessorite

konfidentsiaalsuskohustust• … tutvustab intervjuu alguses assessoreid (või teevad seda assessorid

ise)• … annab kõikidele assessoritele võimalusi esitada küsimusi• … grupiintervjuu puhul juhib intervjuu käiku ning vastutab

ajaraamistikus püsimise eest• … lõpetab külastuse positiivses alatoonis ja tänab kogu

organisatsiooni

Assessori roll

•… ei ole audiitor, raamatupidaja, jurist ega ajakirjanik•… ei kasuta intervjuul tendentslikke, halvustavaid, ilustavaid jms väljendeid•… ei esita küsimusi isiklikult, vaid esindab kogu meeskonda•… ei vabanda materjalist mittearusaamist, sest selleks on konsensuskoosolek•… ei rõhuta isiklikku huvitatust organisatsiooni teenustest•… formuleerib konkreetse, arusaadava ja asjakohase küsimuse•… esitab küsimusi kõigile kuuldava hääle ja diktsiooniga•… kuulab ära küsimuse vastuse•… kirjutab üles küsimuste vastused hindamiseks ja lõppraportis kasutamiseks•… annab küsimuste lõppedes kaasassessoritele võimaluse lisaküsimusteks•… tänab intervjueeritavat pärast vastuste saamist küsimustele•… teeb märkmeid kaasassessorite ja auhinnaprotsessi hindamiseks

Auhinnakonkursil osalejate tagasisidest

+• Aja tõhus kasutamine• Professionaalne meeskond• Viisakus• Hea organiseeritus• Paindlikkus• Töötajatele pingevaba

õhkkonna loomine• Head

intervjueerimisoskused

-• Assessorite

agressiivne käitumine• Ebaviisakus, ülbus• Oli sama tunne kui

auditi ajal• Halb planeerimine• Assessorid ei oska

kuulata• Paneb tukkuma!

Pärast külastust

• Pärast organisatsioonikülastust ärge kasutage väljendeid a la 'Taotlusdokumendis jääb selgusetuks, kas või millises ulatuses ...', 'puuduvad tõendid, et...' jne. (Sellised laused kuuluvad vaheraportisse). Faktidele kinnitust, küsimustele vastused ja segaseks jäänud asjaoludele selgitust pidite saama organisatsioonikülastusel.

• Juhul kui midagi jäi siiski arusaamatuks ka pärast organisatsioonikülastust, siis tuleks kommentaaridesse kirjutada 'ka organisatsioonikülastuse käigus ei selgunud, kuidas...' NB! Ei soovita eriti kasutada, see võib näidata assessorite küündimatust. On õigustatud, kui organisatsioon keeldus teatud informatsiooni jagamast.

2.Parendus-

võimalused

kohandage& nõustuge

5.Meeskonna

skoor

3.Tugevused

kohandage& nõustuge

4.Indi-

viduaalsed skoorid

1.kriteerium

Kontrollivõtmeteemasid

3 min

3 min

1 min1

min

10 min

1 min

1 min

Konsensusprotsess (külastuse järel)

Skoor

Lähenemisviis 0% 5 10 15 20 25% 30 35 40 45 50% 55 60 65 70 75% 80 85 90 95 100%

Põhjendatud lähenemisviis

Tõendid puuduvad või on anekdootlikud

Mõned tõendid Tõendid Selged tõendid Laiaulatuslikud tõendid

Süstemaatiline ja vajadusel ennetav

Tõendid puuduvad või on anekdootlikud

Mõned tõendid Tõendid Selged tõendid Laiaulatuslikud tõendid

Ülevaatus Tõendid puuduvad või on anekdootlikud

Juhuslik ülevaatus Äritegevuse efektiivsuse regulaarne ülevaatus

Selged tõendid äritegevuse efektiivsuse regulaarsest

ülevaatusest

Selged tõendid äritegevuse efektiivsuse parenemisest

regulaarsete ülevaatuste tõttu

Integreeritus Tõendid puuduvad või on anekdootlikud

Mõned tõendid integreeritusest tavapärasesse

tegevusse

Tõendid integreeritusest tavapärasesse tegevusse

Selged tõendid integreeritusest tavapärasesse

tegevusse

Lähenmisviis on täielikult integreeritud tavapärasesse

tegevusse. 'Rollimudel'

Lähenemisviisi skoor 0 5 10 15 20 25 30 35 40 45 50 55 60 65 70 75 80 85 90 95 100

Rakendatus, arevstades kõiki asjakohaseid valdkondi ja tegevusi

0%

Väheefektiivne rakendamine

25%

Rakendatud umbes 1/4 kogupotentsiaalist

50%

Rakendatud umbes 1/2 kogupotentsiaalist

75%

Rakendatud umbes 3/4 kogupotentsiaalist

100%

Kogupotentsiaal rakendatud

Rakendatuse skoor 0 5 10 15 20 25 30 35 40 45 50 55 60 65 70 75 80 85 90 95 100

SKOOR KOKKU 0 5 10 15 20 25 30 35 40 45 50 55 60 65 70 75 80 85 90 95 100

Skoor

Tulemused 0% 5 10 15 20 25% 30 35 40 45 50% 55 60 65 70 75% 80 85 90 95 100%

Trendid

Tulemused puuduvad või on esitatud anekdootlik

informatsioon

Positiivsed trendid ja/või rahuldavad tulemused

mõnedes valdkondades

Positiivsed trendid ja/või püsivalt head tulemused paljudes valdkondades viimase 3 aasta jooksul

Tugevalt positiivsed trendid ja/või püsivalt suurepärased

tulemused enamikes valdkondades viimase 3 aasta

jooksul

Tugevalt positiivsed trendid ja/või püsivalt suurepärased

tulemused kõikides valdkondades vähemalt viimase 5 aasta jooksul

Võrdlused oma eesmärkidega Tulemused puuduvad või on esitatud anekdootlik

informatsioon

Saavutatud eesmärgid mõnedes valdkondades

Saavutatud eesmärgid paljudes valdkondades

Saavutatud eesmärgid enamikes valdkondades

Suurepärased enamikes valdkondades

Võrdlused teiste organisatsioonidega

–

Tulemused puuduvad või on esitatud anekdootlik

informatsioon

Mõned võrdlused tehtud mõnedes valdkondades

Soodsad võrdlused paljudes valdkondades

Suurepärased enamikes valdkondades ja 'oma klassi

parimad' paljudes valdkondades

Tulemused on põhjustatud lähenemisviisist

–

Tulemused puuduvad või on esitatud anekdootlik

informatsioon

Mõned tulemused Palju tulemusi Enamik tulemusi. Liidripositsioon säilitatud

Kui skoor on <25%, arvestada üksnes trende ja võrdlusi eesmärkidega; kui skoor on >25%, arvestada ka võrdlusi teiste organisatsioonidega ja põhjuslikkust. Results score 0 5 10 15 20 25 30 35 40 45 50 55 60 65 70 75 80 85 90 95 100

Ulatus

0%

Tulemused puuduvad

asjakohastes valdkondades ja tegevustes

25%

Tulemused on esitatud mõnedes asjakohastes

valdkondades ja tegevustes

50%

Tulemused on esitatud paljudes asjakohastes

valdkondades ja tegevustes

75%

Tulemused on esitatud enamikes asjakohastes

valdkondades ja tegevustes

100%

Tulemused on esitatud kõigis asjakohastes valdkondades ja

tegevustes

Ulatuse skoor 0 5 10 15 20 25 30 35 40 45 50 55 60 65 70 75 80 85 90 95 100

SKOOR KOKKU 0 5 10 15 20 25 30 35 40 45 50 55 60 65 70 75 80 85 90 95 100

`

Tagasisideraporti koostamine

• Tagasisideraporti sisu• Raporti kirjutamine• Soovitusi ja näiteid• Isiklikud kogemused

Tagasisideraporti ülesehitus

1. Hindamisprotsessi kirjeldus - Sissejuhatus

2. Tagasisderaporti lühiülevaade – Kokkuvõte (sh

võtmeteemad)

3. Tugevused ja parendusvaldkonnad iga kriteeriumi

kohta

4. Hindamismaatriksid

5. Skooritabel täpsusega 0-10 %

6. Taotleja skoorivahemik 50 punkti täpsusega

7. (Teiste taotlejate skoorid)

Tagasisideraporti koostamise protsess

• Juhtassessor vastutab• Konsensushindamisraamat aluseks• Kirjutamise vastutust võib jagada, aga tuleb tagada ühtlane stiil.

Viimasele mustandile enne saatmist tuleb koguda terve meeskonna arvamused õigluse, täpsuse ja loetavuse kohta.

• Hindamisraamatute kommentaarid tuleks formuleerida algusest peale tagasisideraporti koostamist silmas pidades. Ainult märksõnadega kirjutatud hindamisraamatu kommentaarid muutuvat kiiresti arusaamatuteks ka meeskonnale endale.

Tagasisideraporti valmimise protsess• Pärast esimese versiooni valmimist saadab juhtassessor

tagasideraporti kõikidele meeskonnaliikmetele veelkordseks ülelugemiseks/parandamiseks.

• Kui assessorid tagasisideraportit loevad, siis nad võiksid seda teha taotleja seisukohast vaadatuna.

• Kõik assessorid peaksid saama ka lõppversiooni tagasisideraportist.• Tagasisideraporti allkirjastab juhtassessor. Juhtassessor esitab

tagasisideraporti projektijuhile. • Projektijuht lisab kõikidele ühise sissejuhatuse, hindamiskaartide

näidised, skooritabeli ja konkursil osalejate keskmised skoorid.• Tagasisideraporti esitab taotlejale projektijuht.

Tagasisideraporti kokkuvõte (sh võtmeteemad)

• 1 kuni 2 lehekülge• Assessorite meeskonna poolt tehtud

põhijärelduste kokkuvõte• Peaks sisaldama kasulikku ja ülevaatlikku

informatsiooni taotleja juhtkonna jaoks

Soovitusi ja juhiseid

• Mis on hinnatava kriteeriumi põhieesmärk?• Tähtsuse järjekord ning seosed tervikuks• Kasuta taotleja terminoloogiat• Väldi konsulteerimist• Skoori ja kommentaaride tasakaal• Eesmärk on anda kommentaare, mille alusel taotleja

võib oma tegevust parendada• Ole taktitundeline

Iga allkriteeriumi kohta:

• Tugevused: Lähenemisviis ja sellest saadav kasu• Parendusvaldkonnad: Lähenemisviis/puudus ja sellest

tulenev kahju/risk• Võib kasutada tingmärke ++, +, +/-, -, --• Loetelu peaks tulenema vaheraportist ja

organisatsioonikülastusel lisandunud informatsioonist.

• Tugevused ja parendusvaldkonnad peavad olema esitatud selgete arusaadavate lausetena, mitte lihtsalt märksõnade loeteluna.

Veel soovitusi ja juhiseid• Ärge kasutage küsilauseid.• Pärast organisatsioonikülastust ärge kasutage väljendeid

– 'Taotlusdokumendis jääb selgusetuks, kas või millises ulatuses ...', 'puuduvad tõendid, et...' jne. (Sellised laused kuuluvad vaheraportisse). Faktidele kinnitust, küsimustele vastused ja segaseks jäänud asjaoludele selgitust pidite saama organisatsioonikülastusel.

• Juhul kui midagi jäi siiski arusaamatuks ka pärast organisatsioonikülastust, siis tuleks kommentaaridesse kirjutada– 'ka organisatsiooni-külastuse käigus ei selgunud, kuidas...' (NB!

Ei soovita eriti kasutada, see võib näidata assessorite küündimatust. On õigustatud, kui organisatsioon keeldus teatud informatsiooni jagamast.)

Konsulteerimise vältimine

• Vältige konsulteerimist, st omapoolsete lahenduste pakkumist või ettekirjutuste tegemist organisatsioonile, kuidas ta toimima peaks.

• Tuleks piirduda kommentaaridega sellele, mis on taotlusdokumendis esitatud või siis esitamata jäetud (on puudu, ei ole käsitletud, kuigi mudeli järgi oleks pidanud käsitlema).

Halbu näiteid• On võimalik näha selgeid arenguid.• Kliendi tagasisidesüsteem on puudulik.• Pole võetud kasutusele tulemusjuhtimist.• Taotlusdokument oli halvasti kirjutatud ja sellest oli väga raske

saada aru.• Töötajatelt tuleb liiga vähe ettepanekuid.• Küsitluste efektiivsuse tõstmine.• Siseauditi rakendamine ja personali koolitamine.• Vastutuse delegeerimine allapoole juhtkonna hierarhias bürokraatia

vähendamiseks.• Toimenäitajate konkretiseerimine erialati kriteriaalselt

tulemusjuhtimisele.• Rahulolu küsitlustele vastanute arv on ebapiisav.

Edukat hindamist!

Meeskonnatöö ruumid