Upload
gabriela-simkova
View
136
Download
1
Embed Size (px)
DESCRIPTION
Citation preview
Měření efektivity kurzů práce s informacemiv rámci projektu CEINVE
Mgr. Gabriela Šimková
Mgr. Jan Zikuška
21.3.2013, VUT v Brně
PROČ
• V našem případě součást projektových aktivit, ale …
• Cílenější vzdělávání („na míru“) / kvalita
• Nedělat zbytečnou práci, zaměřit se na podstatné
• Argument potřebnosti
• Dotazníky nestačí / profesionalita
21.3.2013, VUT v Brně
CO A JAK
• Znalosti – Dovednosti – Postoje
• Pretest a Posttest – stejné nebo odlišné otázky?
• Efektivnější hledání, kvalitnější texty?
• Změna chování, třeba plagiátorství?
kombinace metod a postupů
21.3.2013, VUT v Brně
Měření jako kontinuum
21.3.2013, VUT v Brně
Kirkpatrickův model měření efektivity vzdělávání
Prokázat účinek, hodnotu a přínos
vzdělávání
21.3.2013, VUT v Brně
I. a II. úroveň měření
Úroveň hodnocení
Charakteristika Příklady nástrojů a metod Doporučení
I. ReakceMapování osobní reakce
(pocitů) na školení
Dotazník, který obdrží účastníci na závěr školení.
Slovní vyjádření účastníků na konci kurzu.
Využití diskuzních fór pro vyjádření okamžitých názorů
Mělo by být provedeno ihned po skončení aktivity
Úroveň hodnocení
Charakteristika Příklady nástrojů a metod Doporučení
II. UčeníMěření znalostí před a po
aktivitě
Testy a hodnocení před a po vzdělávací aktivitě
Rozhovor, pozorování
Metody jsou jednoduché, ale náročné
na investice a přípravu.
Do jaké míry získali účastníci očekávané znalosti a dovednosti?
21.3.2013, VUT v Brně
III. a IV. úroveň měření
Úroveň hodnocení
Charakteristika Příklady nástrojů a metod Doporučení
III. Chování
Zjišťování toho, do jaké míry účastník kurzu
aplikoval znalosti a jak změnil své chování.
Pozorování a rozhovory v delším časovém období.
3600 zpětná vazba
Chování se velmi špatně kvantifikuje a interpretuje.
Jaké nastaly u studentů změny chování po vzdělávacím programu?
Úroveň hodnocení
Charakteristika Příklady nástrojů a metod Doporučení
IV. VýsledkyZjišťování vlivu změn
chování
Pravidelná hodnocení výkonu zaměstnance
21.3.2013, VUT v Brně
Měření znalostí
PRETEST
o32 položeko1637 responzío90,84% návratnosto72,21 % žen,
27,79 % mužůo5 – 10 min.
POSTTEST
o30 položeko1184 responzío65,70% návratnosto73,03 % žen,
26,97 % mužůo5 – 10 min.
21.3.2013, VUT v Brně
Typy otázek
PRETEST
o22 znalostních otázek (uzavřené)o6 postojových otázek (polootevřené)o4 sociodemografické otázky
POSTTEST
o22 znalostních otázek (uzavřené)o4 sebehodnotící otázky (uzavřené)o4 sociodemografické otázky
21.3.2013, VUT v Brně
Procentuální úspěšnost KPI1 (pretest, posttest)
21.3.2013, VUT v Brně
PRETEST
21.3.2013, VUT v Brně
PRETEST
21.3.2013, VUT v Brně
POSTTEST
21.3.2013, VUT v Brně
POSTTEST
1 Definování problému
2 Vyhledávání informací
3 Organizace poznatků
4 Hodnocení zdrojů
5 Interpretace textů
6 Tvorba dokumentů
7Verbální a neverbální projev
8 Publikování
21.3.2013, VUT v Brně
Změna chování – aplikace FOCUS GROUP
• Skupinová dynamika• širší téma úzké zaměření
Testování novinek Identifikace problémů Studium komplexních témat Analýza motivací studentů
• Projektivní metody – senzorický test, shelf test
• skupinové rozhovory (5 - 12 lidí)
21.3.2013, VUT v Brně
Jak na to?
Výběr moderátora:
1.Profesionál z výzkumné agentury
2.Moderujeme sami, odborník při vyhodnocení
3.Vše ve vlastní režii
21.3.2013, VUT v Brně
Měření jako kontinuum
21.3.2013, VUT v Brně
Děkujeme za pozornost
Gabriela Šimková
Honza Zikuška
21.3.2013, VUT v Brně