Videographie in der empirischen Unterrichtsforschung · Institut für Erziehungswissenschaft Videographie in der empirischen Unterrichtsforschung Summer School der GDM, 20. September

Institut für Erziehungswissenschaft

Videographie in der empirischen Unterrichtsforschung Summer School der GDM, 20. September 2012, Freiburg (D) Christine Pauli, Universität Zürich ([email protected])

Überblick

1.  Quantitative Videoanalyse als wissenschaftliche Forschungsmethode: Warum Videoanalysen?

2.  Videobasierte Unterrichtsforschung praktisch: –  Überlegungen zur Datenerhebung

–  Beobachtungsverfahren –  Von der Videoaufnahme zur Datenanalyse (Ausblick)

3.  Abschluss: Hinweise zu Qualitätssicherung, Austausch zu Videosoftware, Diskussion, Fragen

20.09.12 Christine Pauli, Universität Zürich 2

20.09.12 Christine Pauli, Universität Zürich Seite 3

Vorteile von Videodaten –  „Dichte“: Unterrichtsprozesse in

ihrer Komplexität der Beobachtung zugänglich machen; ganzheitliche Sicht auf Verläufe

–  „Permanenz“: a) Verläufe einfangen; b) wiederholte Betrachtung aus unterschiedlichen Perspektiven und zu verschiedenen Zeitpunkten möglich –  ermöglicht Integration von

unterschiedlichen Analyse-methoden und -strategien

–  Offenheit für unantizipierte Phänomene

–  Komplexitätsreduktion ist reversibel

–  erleichtern Kommunikation über Unterrichtsprozesse

–  nutzbar für die Aus- und Weiterbildung von Lehrpersonen

3 Perspektiven auf Unterricht (die sich ergänzen)


Unterrichtsprozesse Angebot von Lern-

gelegenheiten

Wahrnehmung und Nutzung der Lernge-

legenheiten

Schülerbefragung + subjektives Unterrichtserleben,

bes. affektive und soziale Aspekte

+ Beschreibung von Routinen - differenzierte Beschreibung

und Beurteilung didaktischer Konzeptionen!

Videoanalysen / Beobachtung + Beschreibung und Beurteilung didaktischer und methodischer Aspekte des Unterrichts und der Interaktion -  Erfassung des subjektiven Erlebens von Unterricht -  Erfassung individueller Lernprozesse -  Erfassung seltener Ereignisse!

Lehrerbefragung + Beschreibung didaktischer

Gestaltung - Beurteilung Qualität und

Nutzung des Unterrichts!

5

2. Videobasierte Unterrichtsforschung praktisch

(Von der Videoaufzeichnung ...)

... über die Entwicklung und Anwendung von Analyseinstrumenten ...

(... zur Datenanalyse und Beantwortung der Forschungsfrage(n))

20.09.12 Christine Pauli, Universität Zürich

Christine Pauli, Universität Zürich

Überlegungen zur Datenerhebung 1.  Festlegung des Beobachtungsfeldes:

Wo, wann und unter welchen Rahmenbedingungen wird beobachtet?

2.  Festlegung der Beobachtungseinheiten: Wer und was wird wie lange/wie oft beobachtet?

3.  Festlegung der Stichprobe; Feldkontakt (wichtig: Massnahmen zum Datenschutz und ggf. zur erweiterten Nutzung des Videomaterials!)

4.  Entwicklung und Erprobung (!) des Kameraskripts, incl. Begleitmaterialien

5.  Schulung des Kamerapersonals

6.  Durchführung der Aufzeichnung

vgl. z.B. Praetorius, Lenske & Helmke (2012)

20.09.12 Seite 6

22.2.2012 C. Pauli, Universität Zürich, Institut für Erziehungswissenschaft, PPD Seite 7

Angebotsbezogene Stützsysteme

System-Architektur, Lehrplan und Pädagogische

Traditionen

Lehrerbildung, Qualifikation, Aus- und Fortbildung

der Lehrpersonen

Merkmale der Einzelschule

Lehrermerkmale: professionelle

Kompetenz

Quantität, Qualität des Lehrangebots

UNTERRICHT

Nutzungsbezogene Stützsysteme

Schülermerkmale

Qualität der Angebotsnutzung und

der Lernaktivitäten

Soziokultureller Kontext: gesellschaftliche

Wertschätzung von Bildung

Familie Peers

MEHRDIMENSIONALE BILDUNGSWIRKUNGEN

Hintergrund: Angebots-Nutzungs-Modell Unterrichtsqualität und -wirksamkeit

Reusser & Pauli (2003); vgl. auch Fend (1998); Helmke (2009)


BeispieI für eine Einbettung der Videoeinheiten in ein Gesamtdesign („Pythagoras-Studie; Klieme, Pauli & Reusser, 2009)

Word problems 2 lessons

Pythagorean theorem unit

3 lessons Tests, questionnaires!

Tests, questionnaires!

Tests, questionnaires!

Questionnaires!

Tutorial dialogues

1 school year (2002/2003)!

Sample: 20 German teachers/classrooms (9th grade) 20 Swiss teachers/classroom (8th grade) approx. 1000 students

Datenschutz und Einwilligungen: Von allen LP und allen Eltern/Lernenden

Lokale Datenschutzbestimmungen beachten; Anfrage bei Datenschutz-Beauftagten o.ä.

Evtl. mehrstufiges Verfahren sinnvoll (für Verwendung in Lebi/Lefo)

20.09.12 Seite 9 Christine Pauli, Universität Zürich

Kameraskript: ein Beispiel zur Positionierung der Kameras (vgl. u.a. Petko, 2006)

L: “Follow the teacher” S: Klassenüberblick

(Nicht geeignet für Beobachtung von Schüler-Schüler-Interaktion bei Gruppenarbeit)

Entscheidend: Tonqualität!

L"

s"

Lehrerkamera (L)"

Schülerkamera (S)"

20.09.12 Seite 10 Christine Pauli, Universität Zürich

Beispiel eines Kameraskripts

!  Petko, D. (2006). Kameraskript. In E. Klieme, C. Pauli & K. Reusser (Hrsg.), Dokumentation der Erhebungs- und Auswertungsinstrumente zur schweizerisch-deutschen Videostudie „Unterrichtsqualität, Lernverhalten und mathematisches Verständnis“, Teil 3: Hugener, I., Pauli, C. & Reusser, K.: Videoanalysen (S. 15-37). Frankfurt a.M.: DIPF.

!  Entscheidend ist nicht nur ein gutes, d.h. zielgerechtes Kameraskript, sondern

–  die technische Ausrüstung (v.a.: Ton!)

–  eine gute Kamerapersonenschulung –  Qualitätskontrolle und

–  trotz Kameraskript intelligentes und adaptives Verhalten der Kameraperson

Christine Pauli, Universität Zürich 20.09.12 Seite 11

12

Quantitative Videoanalysen durchführen

... über die Entwicklung und Anwendung von Analyseinstrumenten ...


Ziele quantitativer Videoanalyse

!  Unterricht systematisch beschreiben und vergleichen: –  theoriegeleitet –  anhand bestimmter Dimensionen (und unter Ausschluss anderer

Dimensionen) –  im Hinblick auf bestimmte Fragestellungen

–  unter Einhaltung von wissenschaftlichen Gütestandards

!  Lernrelevante Qualitäts- und Gestaltungsmerkmale des Unterrichts identifizieren –  (unter Berücksichtigung der Angebots-Nutzungs-Struktur von

Bildungsprozessen)


Beobachtungsverfahren: zwei Grundunterscheidungen


1) Ausmass erforderlicher Schlussfolgerungen Urteil/die Entscheidung

„niedrig inferent“ „hoch inferent“

2) Beobachtungsverfahren

kodieren beurteilen / „Ratings“

15

Beobachtungsverfahren

Beurteilung („Ratings“) Kodierung

Erfassung von Auftreten, Häufigkeit, Dauer von beobachtbaren Ereignissen

Beschreibung der

Unterrichtsgestaltung, des Lehrer- oder Schülerverhaltens

Ereignis- oder Zeitstichproben

Hohe Beobachter-Übereinstimmung

i.d.R. leichter erreichbar als bei Ratings

Integration verschiedener Merkmale zu einem Urteil („In welchem Ausmass ist Merkmal xy verwirklicht?“)

Qualitative Einschätzung von Dimensionen

der Unterrichtsgestaltung, der Lehrer-Schüler-Interaktion usw.

meist längere Unterrichtssequenzen bis hin

zu ganzen Unterrichtsstunden Hohe Beobachterübereinstimmung

(Reliabilität) oft schwer erreichbar

Verfahren Ziel Analyse-einheit Gütekri-terien

16

Zwei Analyseansätze

Beurteilung („Ratings“) auf der Basis von Standards (meist „hoch inferent“)

Verhaltens- bzw. phänomennahe Codierung des Auftretens von Merkmalen

Quantifizierende Verfahren der Videoanalyse

„Time-Sampling“ „Event-Sampling“


„Flächen-Codes“ „Ereignis-Codes“

Anwendungsbeispiele: Kodierung


Anwendungsbeispiel 1: Kodierung (Beispiel aus „Pythagoras-Studie“

Siehe Teilnehmerunterlage: 1) Basiskodierung im Pythagoras-Projekt:

!  Sozialformen

!  inhaltsbezogene Aktivitäten !  Funktionen im Lernprozess

" Lektionsübersichten


Satz des Pythagoras: „Verstehenselemente“ (Drollinger-Vetter, 2011)

Nur im rechtwinkligen Dreieck

222 cba =+

Zwei Typen von Seiten

Kodierung „Verstehenselemente“ (als Teil der Erfassung der „fachdidaktischen Qualität“; vgl. Drollinger-Vetter, 2011; Drollinger-Vetter & Lipowsky, 2006)

Kleine Übung: „Verstehenselemente“: Kodierung von Vorkommen und Dauer 1.  Kodierung 2.  Kurzer Austausch mit Nachbar/in 3.  Diskussion


21

Zusammenfassung Codierung (Lipowsky, 2006)

•  Codiert werden Aspekte des beobachtbaren Verhaltens •  Arbeitsgrundlage: detailliertes Codier-Manual

•  Codieranweisungen sorgen für geringen Interpretationsspielraum

•  Codiereinheit: Zeiteinheit (time sampling) oder Sinneinheit (event sampling)

•  Training: Genaue Kenntnis der Codierregeln

•  Qualitätssicherung: Feststellung der Übereinstimmung zwischen Codierpersonen mittels Inter-Codierer-Reliabilitätsprüfungen (prozentuale Übereinstimmung, Kappa)

•  Je nach erfasstem/ Aspekt/en ist Codierung sehr aufwändig und erfordert u.U. mehrere Durchgänge durch das Material (Bsp. Videostudie CH-D: 5 Durchgänge)

22

2. Anwendungsbeispiel: Ratings Zur Erinnerung ...

Beurteilung („Ratings“) Kodierung

Erfassung von Auftreten, Häufigkeit, Dauer von beobachtbaren Ereignissen

Beschreibung der

Unterrichtsgestaltung, des Lehrer- oder Schülerverhaltens

Ereignis- oder Zeitstichproben

Hohe Beobachter-Übereinstimmung

i.d.R. leichter erreichbar als bei Ratings

Integration verschiedener Merkmale zu einem Urteil („In welchem Ausmass ist Merkmal xy verwirklicht?“)

Qualitative Einschätzung von Dimensionen

der Unterrichtsgestaltung, der Lehrer-Schüler-Interaktion usw.

meist längere Unterrichtssequenzen bis hin

zu ganzen Unterrichtsstunden Hohe Beobachterübereinstimmung

(Reliabilität) oft schwer erreichbar

Verfahren Ziel Analyse-einheit Gütekri-terien

Allgemeine Bemerkungen zu Ratings (vgl. auch Rakoczy, 2006) !  Ratingverfahren waren (und sind) umstritten und werden von

Methodikern häufig als wertend kritisiert (vgl. z.B. Fassnacht, 1995) !  Videotechnologie trugen zur Verbesserung bei

!  In vielen Fällen gibt es kaum eine Alternative, die dem Untersuchungsgegenstand (komplexe Merkmale) angemessen wäre

!  Hauptkritik: Subjektivität und damit verbundene geringe Reliabilität und Validität: Messwert hängt nicht nur vom Objekt, sondern vom Rater (individuell) und der Beschaffenheit des Instruments (allgemein) ab

Massnahmen: !  Operationalisierung der Merkmale, Definition der Ratingdimensionen !  Festlegen von Regeln für den Ratingprozess

!  Intensives Training der Rater !  Qualitätssicherung (Überprüfung der intersubjektiven Übereinstimmung) 20.09.12 Christine Pauli, Universität Zürich Seite 23

24

Entwicklung eines Kodier- oder Ratingmanuals

Videobetrachtung Generierung von Kodier- oder Ratingperspektiven unter Rückgriff auf Theorie

Entwurf Kodierkategorien oder Ratingkriterien Suche nach genauen Definitionen

Anwendung auf Videosequenzen

Evaluation; Anpassung Definitionen/ Kategorien

Schulung, Reliabilitätsprüfung, Codierung, Auswertung


Ziel: eine möglichst objektive Einschätzung bzw. Beschreibung des Unterrichts, die unabhängig von der Person ist, die das Verfahren durchführt

25

Operationalisierung

Hoch inferente Ratings: vom theoretischen Konstrukt zur Beurteilung Verständnisorientierter Aufbau flexibel nutzbarer kognitiver Strukturen

(vgl. u.a. Aebli, 1983; NCTM, 2001; 2003; usw.)

Strukturelle Klarheit Qualität des Strukturaufbaus

weitere…

Förderung des Verständnisses

Aktive kognitive Auseinandersetzung

mit dem Stoff

Anknüpfen an Vorwissen

„Verknüpfung der Repräsen-tationsformen tragen zum Verständnis bei.“

„LP trennt Wichtiges von Unwichtigem.“ „Die Theorie wird verständlich dokumentiert.“

(vgl. weiteres Beispiel in der Teilnehmer-unterlage: Wahlmög-lichkeiten)

Anwendungsbeispiel 2: Beurteilung/Rating

Kleine Übung: Beurteilung von Aspekten der „fachdidaktischen Qualität“ (Drollinger-Vetter, 2011; Drollinger-Vetter & Lipowsky, 2006):

!  „Qualität des Strukturaufbaus“ !  „Strukturelle Klarheit“ (ausgewählte Items)

!  vgl. Teilnehmerunterlage


(vgl. weiteres Beispiel eines Ratings in der Teilnehmer-unterlage: Wahlmöglichkeiten für die Schüler/innen)

Kleine Übung 2: Rating „Qualität des Strukturaufbaus “ „Strukturelle Klarheit“ 1.  Beurteilung 2.  Austausch mit Nachbar/in 3.  Diskussion


Training für Rating-Personal (Beispiel: HIR-Training von K. Rakoczy, 2004) Ziel: !  Intersubjektive Übereinstimmung der Ratings

(Beobachterübereinstimmung, Interraterreliabilität)

Inhalte eines Trainings: Entwickeln eines gemeinsamen theoretischen Verständnisses auf der Basis des Manuals Kennenlernen der Bandbreite des Materials (Ankerbeispiele für die Skalenausprägung werden gezeigt)

Unabhängige Beurteilung der Merkmale im Beispielmaterial, Diskussion, wie Urteile zustande gekommen sind, Abstimmung der Kriterien, Üben

Dauer: bei 20 Dimensionen mindestens 1 Woche Material: Videos sollten möglichst nicht Teil der Stichprobe, aber mit den Videos der Stichprobe vergleichbar sein (Folie nach Rakoczy, 2007)


29

Kodierung oder Rating?

!  Entscheidung abhängig von der Fragestellung und der Komplexität der zu erfassenden Konstrukte

!  Kombination von Kodierung und Ratings möglich und oft sinnvoll (vgl. die folgenden Anwendungsbeispiele), z.B. –  Basiskodierung, welche bestimmte Analyseeinheiten definiert –  anschliessend qualitative Einschätzung der Analyseeinheiten

Beurteilung („Ratings“) auf der Basis von Standards

Verhaltens- bzw. phänomennahe Kodierung des Auftretens von Merkmalen

Quantifizierende Verfahren der Videoanalyse


Beispiel: Multiple Beobachtungsverfahren und Datenquellen


22.2.2012 C. Pauli, Universität Zürich, Institut für Erziehungswissenschaft, PPD Seite 31

Fachdidaktische Qualität und Unterrichtswirkung: Vorhersage der Nachtestleistung (Drollinger-Vetter, 2011)

Modell 1 Klassenebene Mittleres Vorwissen .25*** Strukturelle Klarheit .21***

Schülerebene Vorwissen .17** Intelligenz .21*** Interesse .10** ***p<.001, **p<.005; +p<.10. Standardisierte Beta-Koeffizienten

(Drollinger-Vetter, 2011, S. 284)

Überblick

1.  Quantitative Videoanalyse als wissenschaftliche Forschungsmethode: Warum Videoanalysen?

2.  Videobasierte Unterrichtsforschung praktisch: –  Überlegungen zur Datenerhebung

–  Beobachtungsverfahren –  Von der Videoaufnahme zur Datenanalyse (Ausblick)

3.  Abschluss: Hinweise zu Qualitätssicherung, Austausch zu Videosoftware, Diskussion, Fragen


Qualitätssicherung: Beobachterübereinstimmung

Für Kodierungen (nominalskalierte Daten) !  (Prozentuale Beobachterübereinstimmung ) !  Cohens Kappa

Für (intervallskalierte) Ratings !  Intraklassenkorrelation (ICC) !  Generalisierbarkeitskoeffizient (G-Koeffizient)

Literatur (Standardwerk): Wirtz, M. & Caspar, F. (2002). Beurteilerübereinstimmung und

Beurteilerreliabilität. Methoden zur Bestimmung und Verbesserung der Zuverlässigkeit von Einschätzungen mittels Kategoriensystemen und Ratingskalen. Göttingen: Hogrefe.

Zu Generalisierbarkeitskoeffizient z.B.: Holling, H. (2010). Generalisierbarkeitstheorie. In H. Holling & B. Schmitz (Eds.), Handbuch Statistik, Methoden und Evaluation (pp. 686-699). Göttingen: Hogrefe.

siehe auch: Praetorius, A.-K., Lenske, G., & Helmke, A. (2012). Observer ratings of instructional quality: Do they fulfill what they promise? (in Druck). [doi: 10.1016/j.learninstruc.2012.03.002]. Learning and Instruction.

33

34

Software zur Datenanalyse

Videograph (Rimmele, IPN, Kiel): http://www.ipn.uni-kiel.de/aktuell/videograph/htmStart.htm

Transana (Open source software): http://www.transana.org/

Interact (Mangold): http://www.mangold-international.com/de/software/interact.html

Weitere, mit denen Teilnehmende gute Erfahrungen gemacht haben?

Ersatzlösungen bzw. je nach Fall sinnvolle Alternative: !  Ratings oder Codes z.B. in Excel-Tabellen eingeben, je nach

Komplexität; es braucht nicht immer spezielle Software

35

Ausgewählte Literatur Derry, S. (2007). Guidelines for conducting video research in education: Recommendations from an expert panel.

Chicago: Data Research and Development Center (abrufbar unter: http://drdc.uchicago.edu/what/video-research.html)

Derry, S., Pea, R. D., Barron, B., Engle, R. A., Erickson, F., Goldman, R. et al. (2010). Conducting video research in the learning sciences: Guidance on selection, analysis, technology, and ethics. Journal of the Learning Sciences, 19(1), 3-53."

Goldman, R., Pea, R. D., Barron, B. & Derry, S. (Hrsg.). (2007). Video research in the learning sciences. Mahwah, N.J.: Erlbaum."

Dalehefte, I. M., & Kobarg, M. (2012). Einführung in die Grundlagen systematischer Videoanalysen in der empirischen Bildungsforschung. In M. Gläser-Zikuda, T. Seidel, C. Rohlfs, A. Gröschner & S. Ziegelbauer (Eds.), Mixed Methods in der empirischen Bildungsforschung (pp. 15-26). Münster: Waxmann.

Hugener, I., Pauli, C., & Reusser, K. (2006). Videoanalysen (= Teil 3 der Dokumentation Erhebungs- und Auswertungsinstrumente zur schweizerisch-deutschen Videostudie "Unterrichtsqualität, Lernverhalten und mathematisches Verständnis", hrsg. von E. Klieme, C. Pauli & K. Reusser). Frankfurt am Main: Gesellschaft zur Förderung Pädagogischer Forschung (GFPF)/Deutsches Institut für Internationale Pädagogische Forschung (DIPF).

Hugener, I., Rakoczy, K., Pauli, C., & Reusser, K. (2006). Videobasierte Unterrichtsforschung: Integration verschiedener Methoden der Videoanalyse für eine differenzierte Sicht auf Lehr-Lernprozesse. In S. Rahm, I. Mammes & M. Schratz (Eds.), Schulpädagogische Forschung. Unterrichtsforschung. Perspektiven innovativer Ansätze (pp. 41-53). Innsbruck: StudienVerlag.

Janik, T. & Seidel, T. (Hrsg.). (2009). The power of video studies in investigating teaching and learning in the classroom. Münster: Waxmann.

Pauli, C., & Reusser, K. (2006). Von international vergleichenden Video Surveys zur videobasierten Unterrichtsforschung und -entwicklung. Zeitschrift für Pädagogik, 52(6), 774-798.

Pauli, C. (2008). Unterrichtsbeobachtung. In F. Hellmich (Hrsg.), Lehr-Lernforschung und Grundschulpädagogik (S. 143-155). Bad Heilbrunn: Klinkhardt.

Seidel, T., Prenzel, M., Duit, R., & Lehrke, M. (Eds.). (2003). Technischer Bericht zur Videostudie "Lehr-Lern-Prozesse im Physikunterricht". Kiel: Leibniz-Institut für die Pädagogik der Naturwissenschaften (IPN).

Seidel, T. & Prenzel, M. (2010). Beobachtungsverfahren: Vom Datenmaterial zur Datenanalyse. In H. Holling & B. Schmitz (Hrsg.), Handbuch Statistik, Methoden und Evaluation (S. 139-152). Göttingen: Hogrefe.

Wirtz, M., & Caspar, F. (2002). Beurteilerübereinstimmung und Beurteilerreliabilität. Methoden zur Bestimmung und Verbesserung der Zuverlässigkeit von Einschätzungen mittels Kategoriensystemen und Ratingskalen. Göttingen: Hogrefe.

Documents

Videographie in der empirischen Unterrichtsforschung · Institut für Erziehungswissenschaft Videographie in der empirischen Unterrichtsforschung Summer School der GDM, 20. September