Upload
farrah-velasquez
View
79
Download
6
Embed Size (px)
DESCRIPTION
Eesti Kutseõppeasutuste Kvaliteediauhind 2005 /2006 : assessorite 2.koolitus 15 . 03 .200 6. Tiia Tammaru , Tallinna Tehnikaülikool Tauno-Jussi Onoper, TJO Konsultatsioonid. Koolituse eesmärk (1). Luua efektiivsed hindamismeeskonnad Kujundada osalejate seas ühtne arusaam - PowerPoint PPT Presentation
Citation preview
Eesti Kutseõppeasutuste Kvaliteediauhind 2005/2006:
assessorite 2.koolitus 15.03.2006
Tiia Tammaru, Tallinna Tehnikaülikool
Tauno-Jussi Onoper, TJO Konsultatsioonid
Koolituse eesmärk (1)
• Luua efektiivsed hindamismeeskonnad
• Kujundada osalejate seas ühtne arusaam– meeskonnatöö ja konsensuse olemusest– organisatsioonikülastuse läbiviimisest– tagasisideraporti koostamisest
Koolituse eesmärk (2)
• Viia meeskondades läbi taotlusdokumentide hindamine– kujundada ühtne arusaam hinnatavast organisatsioonist– määratleda võtmeteemad– jõuda allkriteeriumide kaupa konsensusele
• tugevuste, parendusvaldkondade, skoori ja organisatsioonikülastuse küsimuste osas
– koostada esialgne organisatsioonikülastuse plaan– alustada tagasisideraporti kirjutamist
15.-16.märts- Koolitus assessoritele II osa ja konsensusprotsess
30.märts- Konsensuslike vahearuannete esitamine juhtassessorite poolt ekspertidele
10.aprill- Vaheraportite esitamine juhtassessorite poolt ekspertidele ja projektijuhile
10.-13.aprill- Vaheraportite ülevaatus ekspertide poolt 14.aprill- Tagasiside ekspertidelt juhtassessorile vaheraporti
kohta Mai- Koolide külastused Mai- Assessorite 2. konsensuskoosolek, 1 päev 26.mai- Korrigeeritud tagasisideraportite esitamine
juhtassessori poolt ekspertidele
Detailne ajakava (1)
29.mai – 4.juuni- Tagasisideraportite ülevaatus ekspertide poolt 5.juuni- Tagasiside ekspertidelt juhtassessoritele tagasisideraportite
kohta 6.-11.juuni- Tagasisideraportite viimistlemine juhtassessorite poolt 12.juuni- Tagasisideraportite esitamine projektimeeskonnale
juhtassessorite poolt 11.-15.september- Juhtassessorite ja ekspertide järelvisiidid
koolidesse 18.-21.september- Žürii otsus konkursi võitja kohta 21.september- Assessorite tagasisidekoosolek koos
projektimeeskonnaga 28.september- Kvaliteedikonverents, auhinnakonkursi lõpetamine
ning uue konkursi väljakuulutamine
Detailne ajakava (2)
Kutseõppeasutuste Kvaliteediauhind 2005 eksperdid• Eneken Ulmas, Jõudluskontrolli Keskus –
meeskond 1, 5• Signe Kast, Tallinna Haridusamet – meeskond
2, 7• Jari Kukkonen, Deloitte&Touche Eesti –
meeskond 9• Valvo Paat, Tallinna Kopli Ametikool –
meeskond 4, 6• Katrin Alujev, TNT Eesti – meeskond 8, 11• Tiia Tammaru, TTÜ – meeskond 10
Koolitaja/eksperdi roll• Meeskonna töö toetamine ja hõlbustamine• Ekspert ei osale hindamises, ei esita skoori• Ekspert annab vajadusel lisaselgitusi metoodika
osas (meeskonnasiseste vaidluste, ilmselt ebaadekvaatse skoori jm probleemide esinemisel) ning vastab küsimustele
• Meeskonnatöö protsessi juhib juhtassessor!
Organisatsioonikülastuse protsess
• Külastuse eesmärk• Ülevaade külastusest• Organisatsioonikülastuse reeglid• Assessorite roll• Juhiseid, nõuandeid ja näiteid
Organisatsioonikülastuse eesmärk• Leida kinnitust taotlusdokumendis esitatud
informatsioonile• Selgitada kõiki taotlusdokumendis ebaselgeks
jäänud asjaolusid, eriti rakendatusega seonduvat• Tunnetada organisatsioonis valitsevat üldist
õhkkonda ja kontrollida, kas taotleja võiks olla ‘rollimudeliks’
• Valideerida skoori, vajadusel seda muutes
Ülevaade külastusest
Meeskond planeerib külastust
Taotlejale edastatakse eelinformatsioon
Toimub külastus
Kõikide leidude kohene dokumenteerimine
Uus konsensusprotsess ja tagasisideraporti vormistamine
Külastuse ettevalmistamine (1)
• Organisatsioon peaks määrama kontaktisiku, kes suhtleb juhtassessoriga.
• Organisatsioonikülastuse ajal peaksid assessoritega vestlemiseks olema kättesaadavad kõik võtmeisikud.
• Meeskonna soovi korral tuleks ette valmistada dokumendid, mida assessorid saavad kohapeal kasutada (juhtassessor peaks ette saatma vastava nimekirja).
• Organisatsioon peaks saatma juhtassessorile ka täpse organisatsiooni struktuuri koos nimedega, et intervjuusid oleks võimalik täpselt planeerida.
Külastuse ettevalmistamine (2)
• Assessorite meeskonnale tuleks luua töötingimused – eraldi ruum.
• Intervjuud toimuvad kas töökohtadel või väiksemates gruppides (vastavalt assessorite soovile ja organisatsiooni võimalustele).
• Pärast külastust ei või assessorid anda informatsiooni skoori ega selle muutmise kohta.
Külastuse reeglid• Haridusasutuse külastus on piiratud hinnatava asutuse töötajate
ja dokumentatsiooniga. Hindamisprotsessi ei ole lubatud kaasa haarata väliseid huvipooli ega organisatsioone.
• Esialgne hindamine peab toimuma ainult esitatud taotlusdokumendi põhjal. Lisaandmeid võib kasutada vaid külastuse planeerimise eesmärgil.
• Assessorid ei tohi hindamisel arvesse võtta • uusi algatusi või andmeanalüüse, mis on tehtud pärast
taotlusdokumendi esitamise kuupäeva • enne taotlusdokumendi esitamist alustatud tegevusi puudutavat
informatsiooni, mida ei ole taotlusdokumendis esitatud.
• Assessorid võivad arvestada jätkuvaid andmeid – taotleja võib välja tuua viimaseid andmeid või jätkuvaid trende tulemuste osas, mis on taotlusdokumendis juba esitatud. Vajadusel võib korrigeerida vastavat valdkonda käsitleva allkriteeriumi skoori.
Soovitusi edukaks külastuseks1. Leppige kokku külastuse reeglites ja jälgige nendest
kinnipidamist.2. Koostage detailne ajagraafik ja mõelge läbi tööjaotus – üksikute
assessorite ja tööpaaride jaoks.3. Mõelge läbi külastuse logistika, arvestage võimalikke ajakadusid
ühest kohast teise liikumisel.4. Taotlejale võib eelnevalt saata soovitud materjalide loetelu.5. Määratlege olulised asjaolud, millele kõik assessorid peavad
keskenduma6. Olge valmis esialgseid plaane muutma vastavalt uutele,
külastuse käigus selguda võivatele asjaoludele. 7. Ärge laske taotlejal ennast kõrvale juhtida!8. Pange kuuldu võimalikult täpselt ja koheselt kirja.9. Viige läbi konsensuskoosolekud samal õhtul peale esimest ja
teist külastuspäeva. Täpsustage teise päeva plaani vastavalt esimese päeva “saagile”.
Organisatsioonikülastuse käik
1. Organisatsioonikülastus algab tavaliselt avakoosolekuga, kus osalevad kõik assessorid ja taotleja juhtrühm ning toimub vastastikune tutvustamine; samuti selgitab juhtassessor avakoosolekul külastuse eesmärki ja põhireegleid.
2. Seejärel jagunetakse rühmadeks, paarikaupa töötamine on soovitatav.
3. Pidage vahekoosolekuid, kus jagate vastastikku informatsiooni.4. Tõendeid organisatsiooni küpsuse, rakendatuse ulatuse ja esitatud
andmete kohta leiate organisatsioonist, mitte tippjuhi kabinetist!5. Jalutage organisatsioonis ringi lahtiste silmadega vaadates ja hoolega
kuulates! Tunnetage organisatsioonis valitsevat kultuuri ja õhkkonda.6. Lõppkoosolekul ei anta informatsiooni külastuse tulemuste ega skoori
kohta. Tänatakse organisatsiooni ja kõiki inimesi, kes külastusele kaasa aitasid.
Intervjueerimine•esitle ennast ja selgita, miks intervjuu toimub;
•sissejuhatus intervjuu teema osas;•püüa luua pingevaba õhkkond;•püüa võita intervjueeritava usaldus;•esita selgeid ja arusaadavaid küsimusi;•alusta avatud küsimustega ‘kuidas....?’
•vajadusel täpsusta teemat suletud küsimustega ‘kas...?’•kinnita saadud vastust
•‘selgitage, mida see praktiliselt tähendab?’•‘näidake mulle ...’ (näiteks dokumenti X, teadetetahvlit, andmebaasi jne.)
•dokumenteeri vastused/leiud koheselt, kasutades eelnevalt ette valmistatud vorme;•leia intervjuu lõpus kinnitust, et oled asjast õigesti aru saanud;•täna intervjueeritavat abi ja kulutatud aja eest.
Juhtassessori roll• … ei saada organisatsioonile küsimusi ette• … organiseerib võimalusel organisatsiooni põhitegevusega eelneva
tutvumise• … koostab minutilise täpsusega intervjuude ajakava (allkriteeriumid ja
pausid)• … edastab kõikidele assessoritele ja intervjueeritavatele ajakava• … edastab assessoritele organisatsioonistruktuuri ja küsitud
lisamaterjali nimekirja• … tutvustab enne intervjuude algust assessorite
konfidentsiaalsuskohustust• … tutvustab intervjuu alguses assessoreid (või teevad seda assessorid
ise)• … annab kõikidele assessoritele võimalusi esitada küsimusi• … grupiintervjuu puhul juhib intervjuu käiku ning vastutab
ajaraamistikus püsimise eest• … lõpetab külastuse positiivses alatoonis ja tänab kogu
organisatsiooni
Assessori roll
•… ei ole audiitor, raamatupidaja, jurist ega ajakirjanik•… ei kasuta intervjuul tendentslikke, halvustavaid, ilustavaid jms väljendeid•… ei esita küsimusi isiklikult, vaid esindab kogu meeskonda•… ei vabanda materjalist mittearusaamist, sest selleks on konsensuskoosolek•… ei rõhuta isiklikku huvitatust organisatsiooni teenustest•… formuleerib konkreetse, arusaadava ja asjakohase küsimuse•… esitab küsimusi kõigile kuuldava hääle ja diktsiooniga•… kuulab ära küsimuse vastuse•… kirjutab üles küsimuste vastused hindamiseks ja lõppraportis kasutamiseks•… annab küsimuste lõppedes kaasassessoritele võimaluse lisaküsimusteks•… tänab intervjueeritavat pärast vastuste saamist küsimustele•… teeb märkmeid kaasassessorite ja auhinnaprotsessi hindamiseks
Auhinnakonkursil osalejate tagasisidest
+• Aja tõhus kasutamine• Professionaalne meeskond• Viisakus• Hea organiseeritus• Paindlikkus• Töötajatele pingevaba
õhkkonna loomine• Head
intervjueerimisoskused
-• Assessorite
agressiivne käitumine• Ebaviisakus, ülbus• Oli sama tunne kui
auditi ajal• Halb planeerimine• Assessorid ei oska
kuulata• Paneb tukkuma!
Pärast külastust
• Pärast organisatsioonikülastust ärge kasutage väljendeid a la 'Taotlusdokumendis jääb selgusetuks, kas või millises ulatuses ...', 'puuduvad tõendid, et...' jne. (Sellised laused kuuluvad vaheraportisse). Faktidele kinnitust, küsimustele vastused ja segaseks jäänud asjaoludele selgitust pidite saama organisatsioonikülastusel.
• Juhul kui midagi jäi siiski arusaamatuks ka pärast organisatsioonikülastust, siis tuleks kommentaaridesse kirjutada 'ka organisatsioonikülastuse käigus ei selgunud, kuidas...' NB! Ei soovita eriti kasutada, see võib näidata assessorite küündimatust. On õigustatud, kui organisatsioon keeldus teatud informatsiooni jagamast.
2.Parendus-
võimalused
kohandage& nõustuge
5.Meeskonna
skoor
3.Tugevused
kohandage& nõustuge
4.Indi-
viduaalsed skoorid
1.kriteerium
Kontrollivõtmeteemasid
3 min
3 min
1 min1
min
10 min
1 min
1 min
Konsensusprotsess (külastuse järel)
Skoor
Lähenemisviis 0% 5 10 15 20 25% 30 35 40 45 50% 55 60 65 70 75% 80 85 90 95 100%
Põhjendatud lähenemisviis
Tõendid puuduvad või on anekdootlikud
Mõned tõendid Tõendid Selged tõendid Laiaulatuslikud tõendid
Süstemaatiline ja vajadusel ennetav
Tõendid puuduvad või on anekdootlikud
Mõned tõendid Tõendid Selged tõendid Laiaulatuslikud tõendid
Ülevaatus Tõendid puuduvad või on anekdootlikud
Juhuslik ülevaatus Äritegevuse efektiivsuse regulaarne ülevaatus
Selged tõendid äritegevuse efektiivsuse regulaarsest
ülevaatusest
Selged tõendid äritegevuse efektiivsuse parenemisest
regulaarsete ülevaatuste tõttu
Integreeritus Tõendid puuduvad või on anekdootlikud
Mõned tõendid integreeritusest tavapärasesse
tegevusse
Tõendid integreeritusest tavapärasesse tegevusse
Selged tõendid integreeritusest tavapärasesse
tegevusse
Lähenmisviis on täielikult integreeritud tavapärasesse
tegevusse. 'Rollimudel'
Lähenemisviisi skoor 0 5 10 15 20 25 30 35 40 45 50 55 60 65 70 75 80 85 90 95 100
Rakendatus, arevstades kõiki asjakohaseid valdkondi ja tegevusi
0%
Väheefektiivne rakendamine
25%
Rakendatud umbes 1/4 kogupotentsiaalist
50%
Rakendatud umbes 1/2 kogupotentsiaalist
75%
Rakendatud umbes 3/4 kogupotentsiaalist
100%
Kogupotentsiaal rakendatud
Rakendatuse skoor 0 5 10 15 20 25 30 35 40 45 50 55 60 65 70 75 80 85 90 95 100
SKOOR KOKKU 0 5 10 15 20 25 30 35 40 45 50 55 60 65 70 75 80 85 90 95 100
Skoor
Tulemused 0% 5 10 15 20 25% 30 35 40 45 50% 55 60 65 70 75% 80 85 90 95 100%
Trendid
Tulemused puuduvad või on esitatud anekdootlik
informatsioon
Positiivsed trendid ja/või rahuldavad tulemused
mõnedes valdkondades
Positiivsed trendid ja/või püsivalt head tulemused paljudes valdkondades viimase 3 aasta jooksul
Tugevalt positiivsed trendid ja/või püsivalt suurepärased
tulemused enamikes valdkondades viimase 3 aasta
jooksul
Tugevalt positiivsed trendid ja/või püsivalt suurepärased
tulemused kõikides valdkondades vähemalt viimase 5 aasta jooksul
Võrdlused oma eesmärkidega Tulemused puuduvad või on esitatud anekdootlik
informatsioon
Saavutatud eesmärgid mõnedes valdkondades
Saavutatud eesmärgid paljudes valdkondades
Saavutatud eesmärgid enamikes valdkondades
Suurepärased enamikes valdkondades
Võrdlused teiste organisatsioonidega
–
Tulemused puuduvad või on esitatud anekdootlik
informatsioon
Mõned võrdlused tehtud mõnedes valdkondades
Soodsad võrdlused paljudes valdkondades
Suurepärased enamikes valdkondades ja 'oma klassi
parimad' paljudes valdkondades
Tulemused on põhjustatud lähenemisviisist
–
Tulemused puuduvad või on esitatud anekdootlik
informatsioon
Mõned tulemused Palju tulemusi Enamik tulemusi. Liidripositsioon säilitatud
Kui skoor on <25%, arvestada üksnes trende ja võrdlusi eesmärkidega; kui skoor on >25%, arvestada ka võrdlusi teiste organisatsioonidega ja põhjuslikkust. Results score 0 5 10 15 20 25 30 35 40 45 50 55 60 65 70 75 80 85 90 95 100
Ulatus
0%
Tulemused puuduvad
asjakohastes valdkondades ja tegevustes
25%
Tulemused on esitatud mõnedes asjakohastes
valdkondades ja tegevustes
50%
Tulemused on esitatud paljudes asjakohastes
valdkondades ja tegevustes
75%
Tulemused on esitatud enamikes asjakohastes
valdkondades ja tegevustes
100%
Tulemused on esitatud kõigis asjakohastes valdkondades ja
tegevustes
Ulatuse skoor 0 5 10 15 20 25 30 35 40 45 50 55 60 65 70 75 80 85 90 95 100
SKOOR KOKKU 0 5 10 15 20 25 30 35 40 45 50 55 60 65 70 75 80 85 90 95 100
`
Tagasisideraporti koostamine
• Tagasisideraporti sisu• Raporti kirjutamine• Soovitusi ja näiteid• Isiklikud kogemused
Tagasisideraporti ülesehitus
1. Hindamisprotsessi kirjeldus - Sissejuhatus
2. Tagasisderaporti lühiülevaade – Kokkuvõte (sh
võtmeteemad)
3. Tugevused ja parendusvaldkonnad iga kriteeriumi
kohta
4. Hindamismaatriksid
5. Skooritabel täpsusega 0-10 %
6. Taotleja skoorivahemik 50 punkti täpsusega
7. (Teiste taotlejate skoorid)
Tagasisideraporti koostamise protsess
• Juhtassessor vastutab• Konsensushindamisraamat aluseks• Kirjutamise vastutust võib jagada, aga tuleb tagada ühtlane stiil.
Viimasele mustandile enne saatmist tuleb koguda terve meeskonna arvamused õigluse, täpsuse ja loetavuse kohta.
• Hindamisraamatute kommentaarid tuleks formuleerida algusest peale tagasisideraporti koostamist silmas pidades. Ainult märksõnadega kirjutatud hindamisraamatu kommentaarid muutuvat kiiresti arusaamatuteks ka meeskonnale endale.
Tagasisideraporti valmimise protsess• Pärast esimese versiooni valmimist saadab juhtassessor
tagasideraporti kõikidele meeskonnaliikmetele veelkordseks ülelugemiseks/parandamiseks.
• Kui assessorid tagasisideraportit loevad, siis nad võiksid seda teha taotleja seisukohast vaadatuna.
• Kõik assessorid peaksid saama ka lõppversiooni tagasisideraportist.• Tagasisideraporti allkirjastab juhtassessor. Juhtassessor esitab
tagasisideraporti projektijuhile. • Projektijuht lisab kõikidele ühise sissejuhatuse, hindamiskaartide
näidised, skooritabeli ja konkursil osalejate keskmised skoorid.• Tagasisideraporti esitab taotlejale projektijuht.
Tagasisideraporti kokkuvõte (sh võtmeteemad)
• 1 kuni 2 lehekülge• Assessorite meeskonna poolt tehtud
põhijärelduste kokkuvõte• Peaks sisaldama kasulikku ja ülevaatlikku
informatsiooni taotleja juhtkonna jaoks
Soovitusi ja juhiseid
• Mis on hinnatava kriteeriumi põhieesmärk?• Tähtsuse järjekord ning seosed tervikuks• Kasuta taotleja terminoloogiat• Väldi konsulteerimist• Skoori ja kommentaaride tasakaal• Eesmärk on anda kommentaare, mille alusel taotleja
võib oma tegevust parendada• Ole taktitundeline
Iga allkriteeriumi kohta:
• Tugevused: Lähenemisviis ja sellest saadav kasu• Parendusvaldkonnad: Lähenemisviis/puudus ja sellest
tulenev kahju/risk• Võib kasutada tingmärke ++, +, +/-, -, --• Loetelu peaks tulenema vaheraportist ja
organisatsioonikülastusel lisandunud informatsioonist.
• Tugevused ja parendusvaldkonnad peavad olema esitatud selgete arusaadavate lausetena, mitte lihtsalt märksõnade loeteluna.
Veel soovitusi ja juhiseid• Ärge kasutage küsilauseid.• Pärast organisatsioonikülastust ärge kasutage väljendeid
– 'Taotlusdokumendis jääb selgusetuks, kas või millises ulatuses ...', 'puuduvad tõendid, et...' jne. (Sellised laused kuuluvad vaheraportisse). Faktidele kinnitust, küsimustele vastused ja segaseks jäänud asjaoludele selgitust pidite saama organisatsioonikülastusel.
• Juhul kui midagi jäi siiski arusaamatuks ka pärast organisatsioonikülastust, siis tuleks kommentaaridesse kirjutada– 'ka organisatsiooni-külastuse käigus ei selgunud, kuidas...' (NB!
Ei soovita eriti kasutada, see võib näidata assessorite küündimatust. On õigustatud, kui organisatsioon keeldus teatud informatsiooni jagamast.)
Konsulteerimise vältimine
• Vältige konsulteerimist, st omapoolsete lahenduste pakkumist või ettekirjutuste tegemist organisatsioonile, kuidas ta toimima peaks.
• Tuleks piirduda kommentaaridega sellele, mis on taotlusdokumendis esitatud või siis esitamata jäetud (on puudu, ei ole käsitletud, kuigi mudeli järgi oleks pidanud käsitlema).
Halbu näiteid• On võimalik näha selgeid arenguid.• Kliendi tagasisidesüsteem on puudulik.• Pole võetud kasutusele tulemusjuhtimist.• Taotlusdokument oli halvasti kirjutatud ja sellest oli väga raske
saada aru.• Töötajatelt tuleb liiga vähe ettepanekuid.• Küsitluste efektiivsuse tõstmine.• Siseauditi rakendamine ja personali koolitamine.• Vastutuse delegeerimine allapoole juhtkonna hierarhias bürokraatia
vähendamiseks.• Toimenäitajate konkretiseerimine erialati kriteriaalselt
tulemusjuhtimisele.• Rahulolu küsitlustele vastanute arv on ebapiisav.
Edukat hindamist!
Meeskonnatöö ruumid