Fra data til vidensbaserededrøftelser af pædagogik

V. Kristian Quistgaard Steensen og Sara Hach, Danmarks Evalueringsinstitut

– Introduktion til undersøgelsen

– Resultater fra EVA’s rapport vedrørende brug af data i pædagogiske

drøftelser med fokus på ETU, undervisningsevalueringer og observationer

– Tietgen Business fortæller om deres konkrete erfaringer med at inddrage data

i pædagogiske drøftelser

– Drøftelser ved bordene

– Opsamling og afrunding

2

Program for workshoppen

Formål:

– Tegne et billede af, hvordan erhvervsskolerne bruger data i deres

systematiske kvalitetsarbejde på nuværende tidspunkt.

– Inspirere erhvervsskolernes brug af data ved at pege på, hvad der

henholdsvis kan understøtte og hæmme at datainformerede pædagogiske

drøftelser opleves, at kunne bidrage til pædagogisk udvikling

Begreber:

– Et bredt databegreb

– Pædagogiske drøftelser

3

Om EVA’s undersøgelse

Design:

– Seks skolebesøg på erhvervsskoler, interviews med lærere, pædagogiske

ledere og kvalitetsmedarbejdere

– Spørgeskemaundersøgelser som totalundersøgelser blandt pædagogiske

ledere (n=173) og kvalitetsmedarbejdere (n=63)

4

Om EVA’s undersøgelse

1. Tillid til datas kvalitet og gyldighed på tværs af organisationen

2. Åbenhed med hensyn til vidensdeling med kolleger

3. Tilstrækkeligt tid til at følge op på data

4. Tydeligt formål med inddragelse af data i pædagogiske drøftelser

5. Fælles forståelse af, at data skal analyseres og vurderes i forhold til

lærernes konkrete erfaringer, for at give værdi

5

Pointer på tværs af datakilder

– Hvordan kan elevers perspektiver inddrages systematisk i drøftelser af

pædagogisk udvikling?

– Tre primære datakilder i denne proces:

– Elevtrivselsundersøgelsen (ETU)

– Undervisningsevalueringer

– Undervisningsobservation

– Forberedelse og gennemførelse af dataindsamling samt opfølgning på

indsamlet data er væsentlige elementer, når data inddrages med henblik på

pædagogisk udvikling

Fokus for dagens workshop

6

Elevtrivselsundersøgelse (ETU)

7

Udfordringer ift. at inddrage elevperspektiv:

– Evalueringstræthed

– Eksterne påvirkninger

– Misforståelse af spørgsmål

– Uklarhed omkring formål med

undersøgelse

Vær opmærksom på at gøre det tydeligt for elever:

– Hvad formålet med undersøgelsen er

– Hvad der spørges til i de enkelte spørgsmål

– Hvordan der vil blive fulgt op på deres besvarelser

– Hvad deres besvarelser vil blive brugt til

8

ETU – Forberedelse af dataindsamling

Overvejelser vedrørende tidspunkt for gennemførelse af dataindsamling:

– Hvornår mellem 1. oktober og 1. december findes bedste balance mellem:

1. Elever på grundforløb har gået tilstrækkeligt længe på uddannelse til

kvalificeret, at kunne vurdere forhold i og omkring undervisningen?

2. Tilstrækkelig tid til opfølgning på ETU besvarelser med elever og

implementering af eventuelle ændringer i og omkring undervisningen?

– Hvornår kan ETU gennemføres, så den ikke falder sammen med andre

undersøgelser, der involverer elever direkte?

9

ETU – Gennemførelse af dataindsamling

Lærere kan overveje:

– Hvordan de kvantitative resultater af ETU kan kvalificeres via mundtlig

opfølgning med elever

Kvalitetsmedarbejdere/dataansvarlige kan overveje:

– Hvordan resultater af indsamlet data opgøres på et niveau, så det er relevant

for de aktører, der skal anvende det

Pædagogiske ledere kan overveje:

– Hvilke fora der er relevant at diskutere resultater af ETU med lærere i

10

ETU – Opfølgning på indsamlet data

Undervisningsevalueringer

11

Udfordringer ift. at inddrage elevperspektiv:

– Spørgeskemabaserede evalueringer

– Samme udfordringer som ved ETU

– Mundtlige evalueringer

– Bestemte elever der kommer til orde

Udfordringer set fra lærerperspektiv:

– Spørgeskemabaserede evalueringer

– Spørgsmåls relevans for undervisning

– Mundtlige evalueringer

– Hvordan kan besvarelser fastholdes?

Vær opmærksom på at gøre det tydeligt for elever:

– Hvad formålet med evalueringen er

– Hvad der spørges til i de enkelte spørgsmål

– At der vil blive fulgt op på deres besvarelser og hvordan

– At de via deres besvarelser kan få direkte indflydelse på forhold i og omkring

undervisningen

Ejerskab til fælles spørgeramme:

– Overvej at inkludere lærere i udformningen af spørgsmål, så de afspejler

deres erfaringer og iagttagelser fra undervisningen

12

Undervisningsevalueringer –Forberedelse af dataindsamling

Overvejelser vedrørende tidspunkt for gennemførelse af dataindsamling:

– Har elever fulgt undervisningsforløb tilpas længe til kvalificeret at vurdere

undervisningen?

– Hvad betyder fagets/forløbets længde for, hvornår det giver bedst mening at

gennemføre undervisningsevaluering?

– Hvordan kan mundtlige evalueringer med elever fastholdes skriftligt?

– Hvordan kan undervisningsevaluering understøtte, at flest mulige elever får

mulighed for at blive hørt?

– Hvornår kan undervisningsevaluering gennemføres, så den ikke falder

sammen med andre undersøgelser, der involverer elever direkte?

13

Undervisningsevalueringer –Gennemførelse af dataindsamling

Lærere kan overveje:

– At nuancere og kvalificere skriftlige besvarelser via mundtlig opfølgning med

elever

Den pædagogiske leder kan overveje:

– På hvilket detaljeringsniveau det er passende at diskutere evalueringerne

med lærere

– Individuelt kontra i teams eller på lærermøder

14

Undervisningsevalueringer –Opfølgning på indsamlet data

Undervisningsobservationer

15

Både lærer til lærer og leder til lærer

observationer

Relevans ift. elevperspektiv:

– Fokus på elevers dynamik i klasserum

Udfordring ift. udførsel af observationer:

– Kan opleves som kontrol

Den pædagogiske leder kan overveje at:

– Observere alle lærere systematisk for at:

1. Forebygge observationer opleves som kontrol

2. Opbygge bredt kendskab til lærernes pædagogiske praksis

Den observerende part kan med fordel:

– Mødes med den observerede part forud for observation og fastlægge

1. Fokuspunkter for observation

2. Tidspunkt for opfølgning på observation

3. Formål med og forventning til observation og opfølgning

16

Undervisningsobservation –Forberedelse af dataindsamling

Den observerende part kan:

– Tage noter med afsæt i de aftalte fokuspunkter, så det bliver muligt at:

1. Diskutere den observerede undervisning dybdegående

2. Følge med i den observerede parts arbejde med fokuspunkterne over tid

Den observerende part kan fx notere:

– Hvad han/hun godt kunne tænke sig at se mere af ift. de aftalte fokuspunkter

– Om der findes konkrete og tilgængelige værktøjer, der kan hjælpe med at

optimere undervisningen

17

Undervisningsobservation –Gennemførelse af dataindsamling

Opfølgning kan fx tage afsæt i følgende struktur:

– Hvad synes den observerede part fungerede godt i undervisningen?

– Hvad synes den observerende part fungerede godt i undervisningen?

– Hvad vil den observerede part gerne arbejdere mere med ift. de aftalte

fokuspunkter?

– Hvad vil den observerende part gerne se mere af ift. de aftalte fokuspunkter?

– Fastlæg med afsæt i disse punkter én eller to indsatser, som den observerede

part kan arbejde videre med frem mod næste observation

18

Undervisningsobservation –Opsamling på indsamlet data

Fra evaluering til pædagogisk praksis

Birthe Søndergård, underviser

Dorte Isager, uddannelseschef

20

Hvorfor evaluering?

21

ProcessenHvorfor, hvad, hvem, hvordan?

22

Forberedelse

Gennemførsel

Opfølgning

Undervisningsoberservation

Formål:

- Videns- og kapacitetsudvikling

- Refleksive dialoger om læring

- Fælles forståelse af

undervisningens kvalitet

- FPDG i klasserummet

Forberedelse af underviseren:

- Mail: PL-hjulet, selvvalgte

fokuspunkter, formål

Én gang pr. underviser

pr. semester

Skema med temaer, fx

læringsmål og

elevrelationer

- Individuel opfølgning:

1 times samtale

- Næste UV-obs.

23

Forberedelse

Gennemførsel

Opfølgning

Undervisningsevalueringer

Formål

- Pædagogisk og fagdidaktisk udvikling med afsæt i FPDG

- Fælles forståelse af god

undervisning

- Dialogredskab

- Medindflydelse på

undervisningsprocessen

- Øge kvalitetsniveauet

Spørgsmålstyper

- Pædagogisk Råd

- Elevinddragelse

Midt i semesteret målt

pr. fag - Individuel opfølgning: Mail og

eventuel samtale

- Dialogredskab i MUS

- Dialog mellem lærer-elev

- Tilpasning af undervisning

afstemt efter

elevsammensætningen

- Anledning til eventuelle

indsatser

Kollektive indsatser

24

Forberedelse

Gennemførsel

Opfølgning

Elevtrivsel - ETU

Formål

- Elevtilfredshed og –

trivsel

- Konkrete handlinger i

hhv. teams og på

skoleniveau

Spørgsmålstyper

- Ministeriet

- FPDG

- Egen tilvirkning og

afvikling

- Midt på semesteret

- Timing

Overordnet

ledelsestolkning

(skole- og teamniveau)

Kvalitative

fokusgruppe-

interviews

25

Hvad gør vi ellers?

Ad hoc-analyser:

- Trivsel og studiemiljø

- Erhvervsfaglige identitet

1. Kan I genkende de udfordringer ved at inddrage data i pædagogiske

drøftelser, som er skitseret i dag?

– Hvad er særligt svært hos jer? Hvad fungerer godt?

2. Hvad tager I med jer fra i dag, som I kan bruge, når I fremover inddrager

data i pædagogiske drøftelser?

3. Hvad skal der til for at perspektiver fra dagen kan bidrage til jeres

kvalitetsarbejde?

26

Drøft ved bordene

Opsamling

Tak for i dag