Abschlussreferat Bedeutung der Hierarchie von Lerninhalten für Game Based Learning 602.966 ES...

Abschlussreferat Bedeutung der Hierarchie von Lerninhalten für Game Based

Learning 602.966 ES Forschungsmethodik III

O. Univ.-Prof. Dr. Dietrich Albert20.01.2009

Gruppe 6Neururer Cornelia cornelia.neururer@edu.uni-graz.atPlentner Georg plentner@edu.uni-graz.at Prietl Verena prietlv@edu.uni-graz.at

FM3 Abschlussreferat 2

Inhalt

Theoretischer Hintergrund Ableitung der Fragestellung und Hypothese Methode Ergebnisse Diskussion Verständnisfragen Literatur

FM3 Abschlussreferat 3

Game Based Learning

Definition

„Die Anwendung bildschirm-, computer- oder

internetbasierten Spielen zu Lehr- und

Lernzwecken“ (e-teaching, 2008)

Kennzeichen „guter Computerspiele“ Probleme sind vorstrukturiert Abgestufte Levels

(Schwan, 2006)

FM3 Abschlussreferat 4

Wissensraumtheorie

Strukturierung eines Wissensbereiches durch

Voraussetzungsbeziehungen

Von Jean-Paul Doignon & Jean-Claude Falmagne

1985 entwickelt Adaptive Wissensdiagnose

Ökonomische Testung

(Hockemeyer, 2002)

FM3 Abschlussreferat 5

Wissensraumtheorie

Wissensbereich (Knowledge Domain)

Endliche, nichtleere Menge Q von Aufgaben Aufgaben können gelöst oder nicht gelöst werden

(dichotom)

(Falmagne et al., 1990)

FM3 Abschlussreferat 6

Wissensraumtheorie

Prerequisite Relation

Annahme von Abhängigkeiten zwischen Aufgaben eines Wissensbereiches Q Prerequisite Relations

Innerhalb der Menge Q als binäre Relation ≤ a ≤ b… Lösung der Aufgabe b beinhaltet die Lösung der

Aufgabe a reflexiv, transitiv Quasiordnung antisymmetrisch Partialordnung

(Falmagne et al., 1990)

FM3 Abschlussreferat 7

Wissensraumtheorie Beispiel: Q = {a, b, c, d, e}

a) 378 x 605 = ?b) 58.7 x 0.94 = ?c) 1/2 x 5/6 = ?d) What is 30% of 34?e) Gwendolyn is 3/4 as old as Rebecca.

Rebecca is 2/5 as old as Edwin. Edwin is 20 years old. How old is Gwendolyn?

(Falmagne et al., 1990)

FM3 Abschlussreferat 8

Wissensraumtheorie

Wissenszustand (Knowledge State) Teilmenge K von Aufgaben aus Q, die gelöst

werden können 2n mögliche Wissenszustände {a, b, c} Q möglicher Wissenszustand {b, c, d} Q kein möglicher Wissenszustand

(Falmagne et al., 1990)

FM3 Abschlussreferat 9

Wissensraumtheorie

Wissensstruktur (Knowledge Structure) Sammlung K von Wissenszuständen innerhalb Q

Wissensstruktur K = { { } , {a}, {c}, {a, c}, {a, b}, {a, b, c}, {a, b, d}, {a, b, c, e},

{a, b, c, d}, Q} Eigenschaften: abgeschlossen bezüglich Mengenvereinigung

und Mengendurchschnitt K, K’ einer Wissensstruktur K K’ und K  K’

Wissenszustände der Wissensstruktur

(Falmagne et al., 1990)

FM3 Abschlussreferat 10

Wissensraumtheorie

Methoden zur Erfassung von Wissensstrukturen

Analyse erhobener Daten Analyse von Curricula und Didaktik Analyse von Anforderungen Analyse Kompetenz und Performanz ExpertInnenbefragung

(Albert & Kaluscha, 1997)

FM3 Abschlussreferat 11

Wissensraumtheorie

Überprüfung der Validität einer Wissensstruktur

Correlation Agreement Coefficient (CA) Distance Agreement Coefficient (DA) Diskrepanz Index (DI) Analyse von Lösungshäufigkeiten

FM3 Abschlussreferat 12

Wissensraumtheorie

Correlation Agreement Coefficient (CA)

Überprüfung, welche der „konkurrierenden“ Strukturen mehr mit den empirischen Daten übereinstimmt

Vergleich der beobachteten Korrelationen zwischen den Aufgaben mit den erwarteten Korrelationen

Je höher der Wert, desto besser die Struktur und desto besser passt die Struktur zu den Daten

(Van Leeuwe,1974; aus http://css.uni-graz.at/projects/CbKSTCourse/release/)

FM3 Abschlussreferat 13

Wissensraumtheorie

Distance Agreement Coefficient (DA) Vergleich der empirisch erhaltenen Antwortmustern mit den

Zuständen des Wissensraums Gesucht wird die „minimale symmetrische Distanz“ dmax = Q/ 2 Q…Anzahl der Aufgaben

(Schrepp,1999; aus http://css.uni-graz.at/projects/CbKSTCourse/release/)

Diskrepanz Index durchschnittliche symmetrische Distanzen Je geringer mittlere Distanz, desto mehr Übereinstimmung

(Kambouri et al., 1994; aus http://css.uni-graz.at/projects/CbKSTCourse/release/)

FM3 Abschlussreferat 14

Wissensraumtheorie

Analyse der Lösungshäufigkeiten (relativ und absolut)

Codierung: 1 = Aufgabe gelöst

0 = Aufgabe nicht gelöst

Aufgabennummer 1 2 3 4 5 ……..

Relative Häufigkeit ? ? ? ? ? ?

Absolute Häufigkeit ?% ?% ?% ?% ?% ?%

(Schrepp,2001; aus http://css.uni-graz.at/projects/CbKSTCourse/release/)

FM3 Abschlussreferat 15

Wissensraumtheorie

Studie: „An empirical Test of a Process Model for Letter Series Completion Problems“ (Martin Schrepp,1999)

Verbindung zwischen den Annahmen der Wissensraumtheorie und dem Prozessmodell, welches dem Lösen/Fortsetzen von Buchstabenreihenfolgen (LCS- Problemen), zugrunde liegt

Empirische Überprüfung möglich, indem man Wissensstruktur erstellt und mit Antwortmuster vergleicht

FM3 Abschlussreferat 16

Wissensraumtheorie

20 Buchstabenreihenfolgen Erstellung einer Surmise Relation

mit aufsteigendem Schwierigkeitsgradaufgrund der Annahmen des Prozess-modells

Versuchspersonen: 51 (25 Frauen, 26 Männer)

Aufgabe:- Fortsetzen der Buchstabenabfolge um 3 weitere Buchstaben

FM3 Abschlussreferat 17

Wissensraumtheorie

Ergebnisse: Durchschnittliche Lösungshäufigkeit: 81% Berechnung der symmetrischen Distanzen

dmax= 10 Durchschnittliche Distanz: 0,92

Ergebnisse zeigen, dass die aus dem Prozessmodell hergeleitete Surmise Relation fähig ist die Schwierigkeit von Buchstabenreihenfolgen ausreichend vorherzusagen.

FM3 Abschlussreferat 18

Ableitung der Fragestellung

Kennzeichen „guter Computerspiele“ (Schwan, 2006)

Probleme sind vorstrukturiert abgestufte Levels

Wissensraumtheorie Hierarchische Strukturierung eines Wissensbereiches

(Falmagne et al., 1990)

Empirische Überprüfung von Wissensstrukturen (http://css.uni-graz.at/projects/CbKSTCourse/release/)

FM3 Abschlussreferat 19

Fragestellung

Gibt es einen Unterschied bezüglich der Lernleistung zwischen Personen, die nach der vorgegebenen Reihenfolge der Levels von spielbasierten Lernprogrammen lernen und Personen, die nach einer zufällig ausgewählten Reihenfolge der Levels lernen?

FM3 Abschlussreferat 20

Forschungshypothesen

Ho: Personen, die nach der vorgegebenen Reihenfolge der Levels eines

spielbasierten Lernprogramms lernen, zeigen keine bessere Lernleistung als Personen, die nach einer zufällig ausgewählten Reihenfolge der Levels lernen.

FM3 Abschlussreferat 21

Forschungshypothesen

H1: Personen, die nach der vorgegebenen Reihenfolge der Levels eines

spielbasierten Lernprogramms lernen, zeigen eine bessere Lernleistung als Personen, die nach einer zufällig ausgewählten Reihenfolge der Levels lernen.

FM3 Abschlussreferat 22

Methode

FM3 Abschlussreferat 23FM3 Planungsreferat 23

Stichprobe

Rekrutierung- Bekanntenkreis, PsychologiestudentInnen

Umfang 24 Personen: 12 Frauen und 12 Männer

Art der Stichprobe Maturaniveau zwischen 18 und 40 Jahren (M=25,58; SD=3,17)

Untersuchungsort PC-Raum, am Institut für Psychologie, KFU Graz

Entlohnung Versuchsschein

FM3 Abschlussreferat 24

Material

Testheft Demographische Daten und Screening Instruktion Strukturiertes Interview Wissenstest

FM3 Abschlussreferat 25

MaterialTestheft

Screening

Wie gut kennen Sie die Namen der Regionen (und deren

Hauptstädte) Mexikos?

Gar nicht kaum mittelmäßig ziemlich Außerordentlich gut

FM3 Abschlussreferat 26

MaterialTestheft

Wissenstest

Acht Fragen in Papier-Bleistift-Form aus dem Lernprogramm Sheppard

Hierarchische Struktur der Fragen Level 1: Fünf Fragen Level 2 bis 4: Jeweils eine Frage

FM3 Abschlussreferat 27

MaterialTestheft

Strukturiertes Interview

„Wie ist es Ihnen ergangen?“ „Hat Ihnen das Lernspiel Spaß gemacht?“ „Wie schätzen Sie die Schwierigkeit der

Aufgaben ein?“ „Wäre eine andere Reihenfolge der Aufgaben

leichter gewesen? Wenn ja, welche?“

FM3 Abschlussreferat 28

Material Apparatur

10 PCs (Pentium 4, 160 GB HD; 1 GB RAM) Windows Xp 17 Zoll TFT- Bildschirme (1280 x 1024 Pixel) Internetzugang (Mozilla Firefox)

FM3 Abschlussreferat 29

Material Software

„Sheppard Software“ verschiedene

Online- Lern- Spiele

Themen: Chemie, Mathematik…

Geographie Mexiko (Hauptstädte)

(http://www.sheppardsoftware.com/)

FM3 Abschlussreferat 30

MaterialSoftware

Tutorial:

Aufgabe des/der SpielerIn ist es die Länder auf der Karte anzuklicken

Der/die SpielerIn erfährt den Namen der Hauptstadt und weitere Informationen zum zugehörigen Land

(http://www.sheppardsoftware.com)

FM3 Abschlussreferat 31

MaterialSoftware

Nach dem Tutorial folgen verschiedene Levels, die nach aufsteigender Schwierigkeit geordnet sind Beginner: „Find and Click by Region“ Intermediate: „Find the correct capital for the country“ Expert: „Find the correct country for the capital“ Cartographer: „Type the first three letters of the name of the

country's capital

(http://www.sheppardsoftware.com/)

FM3 Abschlussreferat 32

Untersuchungsplan

UV: Darbietung der Levels Vorgegebene Reihenfolge der Levels Zufällig gewählte Reihenfolge der Levels

AV: Antwortmuster SV: Vorwissen (Ausschluss)

FM3 Abschlussreferat 33

Untersuchungsplan Vorgegebene Reihenfolge der Levels

Tutorial Beginner Intermediate Expert Cartographer

Zufällig gewählte Reihenfolge der Levels Tutorial Expert Intermediate Cartographer Beginner

FM3 Abschlussreferat 34

Auswertungsmethoden

ePsyt

ePsyt- electronic Psychology tools Online verfügbar Institut für Psychologie Arbeitsbereich

Allgemeine Psychologie Knowledge Space Theory: Punkt „Software“ – „ePsyt“

Auf Grundlage der Wissensraumtheorie entwickelt

(http://wundt.uni-graz.at/epsyt/epsyt/index.php)

FM3 Abschlussreferat 35

Auswertungsmethoden

ePsyt

Tools für Konstruktion eines Wissensraumes (Constr) Berechnen der symmetrischen Distanzen

(distance) Berechnen des Correlation Agreement Coefficient u.a

(http://wundt.uni-graz.at/epsyt/epsyt/index.php)

FM3 Abschlussreferat 36

Untersuchungsablauf

Gruppe-

srukturiert

Begrüßung DatenblattScreening

Instruktion

strukt.

Spiel

Strukturiertes Interview

Wissenstest Verabsch.

Gruppe-

unstrukturiet Instruktion

unstrukt.

ca. 5 min ca. 5 min 20 min*

ca. 5 min 10 min

* Tutorial: 5 min.

Bearbeitung der Levels: 15 minDauer gesamt: ca. 45 min

FM3 Abschlussreferat 37

Ergebnisse

FM3 Abschlussreferat 38

ErgebnisseLösungshäufigkeiten

Lösungshäufigkeiten strukturiert

n=12

Aufgabe 1 2 3 4 5 6 7 8 Ges.

Absolute Häufigkeit 4 7 2 7 5 0 4 1 30

Relative Häufigkeit 33,3 58,3 16,7 58,3 41,7 0 33,3 8,3 31,3

FM3 Abschlussreferat 39

ErgebnisseLösungshäufigkeiten

Lösungshäufigkeiten unstrukturiert

n=12

Aufgabe 1 2 3 4 5 6 7 8 Ges.

Absolute Häufigkeit 6 11 0 10 6 2 6 0 41

Relative Häufigkeit 50,0 91,7 0 83,3 50,0 16,7 50,0 0 42,7

FM3 Abschlussreferat 40

ErgebnisseLösungshäufigkeiten

Strukturiert vs. Unstrukturiert

FM3 Abschlussreferat 41

ErgebnisseBasis

Erstellen der Basis des Wissensraums

Basiszustände:

(a), (b), (c), (d), (e), (a,b,c,d,e,f), (a,b,c,d,e,f,g), (a,b,c,d,e,f,g,h)

FM3 Abschlussreferat 42

ErgebnisseBasis

Basis des Wissensraums

8 Anzahl der Aufgaben8 Anzahl der Basiszustände

1000000001000000001000000001000000001000111111001111111011111111

FM3 Abschlussreferat 43

ErgebnisseWissensraum

Erstellung des Wissensraums mittels des ePsyt-Tools „constr“ aufgrund der Basis

Es ergeben sich 35 mögliche Wissenszustände

Vergleich der Antwortmuster der Vpn mit den Zuständen des Wissensraums!

Anwendung des Tools „distance“

FM3 Abschlussreferat 44

FM3 Abschlussreferat 45

ErgebnisseDiskrepanzindex- strukturiert

Distanz Häufigkeit

0 6

1 6

Durchschnittliche Distanz: 0,5

Standardabweichung: 0,5

FM3 Abschlussreferat 46

FM3 Abschlussreferat 47

ErgebnisseDiskrepanzindex- unstrukturiert

Distanz Häufigkeit

0 5

1 6

2 1

Durchschnittliche Distanz: 0,6667

Standardabweichung: 0,6236

FM3 Abschlussreferat 48

ErgebnisseSimulation

Vergleich der Antwortmuster mit gesamten Wissensraum (28 mögliche Wissenszustände)

Strukturiert: Distanz = 1,417

SD = 1,255

Unstrukturiert: Distanz = 2,417

SD = 1,32

FM3 Abschlussreferat 49

ErgebnisseSimulation

Vergleich der Antwortmuster mit einem zufällig konstruierten Wissensraum

Strukturiert: Distanz = 1,417

SD = 0,493

Unstrukturiert: Distanz = 1,5

SD = 0,5

FM3 Abschlussreferat 50

ErgebnisseReproduzierbarkeitskoeffizient

Reproduzierbarkeitskoeffizient nach Guttman

Gibt den Prozentsatz der Daten an, der durch das Modell erklärt werden kann

Rep = 1 - [d / (a * n)] d… Anzahl der Fehler

a… Anzahl der Items

n… Anzahl der VPn/Gruppe

≥ 0,9 modellkonform Bortz & Döring (2003)

FM3 Abschlussreferat 51

ErgebnisseReproduzierbarkeitskoeffizient

Strukturiert:

1-[6/(8*12)] = 0,9375

Unstrukturiert:

1-[8/(8*12)] = 0,9167

FM3 Abschlussreferat 52

ErgebnisseStrukturiertes Interview

Wie ist es Ihnen ergangen?

Hat Ihnen das Lernspiel Spaß gemacht?

Strukturiert Unstrukturiert

gut mittel schlecht gut mittel schlecht

25% 33.3% 41.7% 25% 58.3% 16.7%

Strukturiert Unstrukturiert

ja mittel nein ja mittel nein

66.7% 16.7% 16.7% 66.7% 16.7% 16,7%

FM3 Abschlussreferat 53

ErgebnisseStrukturiertes Interview

Wie schätzen Sie die Schwierigkeit ein?

Wäre eine andere Reihenfolge leichter gewesen?

Strukturiert Unstrukturiert

leicht mittel schwer leicht mittel schwer

8.3% 33.3% 58.3% 0% 33.3% 66.7%

Strukturiert Unstrukturiert

ja nein ja nein

8.3% 91.7% 83.3% 16.7%

FM3 Abschlussreferat 54

Diskussion

FM3 Abschlussreferat 55

Diskussion

Zusammenfassung der Ergebnisse Diskrepanzindex: mittlere symmetrische Distanz

Strukturiert: 0,5 Unstrukturiert: 0,667

Antwortmuster „strukturiert“: mehr Ähnlichkeit mit Wissensraum

Reproduzierbarkeitskoeffizient nach Guttman Strukturiert: 0,9375 Unstrukturiert: 0,9167

Beide Bedingungen modellkonform

FM3 Abschlussreferat 56

Diskussion

Zusammenfassung der Ergebnisse Relative Lösungshäufigkeiten

Strukturiert: 31,3% Unstrukturiert: 42,7%

Hypothese Personen, die nach der vorgegebenen Reihenfolge

der Levels eines spielbasierten Lernprogramms lernen, zeigen eine bessere Lernleistung als Personen, die nach einer zufällig ausgewählten Reihenfolge der Levels lernen.

trifft nicht zu

FM3 Abschlussreferat 57

Diskussion

Hasse Diagramm

der 8 Aufgaben

Aufgabe a b c d e f g h

Strukt. 33,3% 58,3% 16,7% 58,3% 41,7% 0% 33,3% 8,3%

Unstrukt. 50,0% 91,7% 0% 83,3% 50,0% 16,7% 50,0% 0%

FM3 Abschlussreferat 58

Diskussion Aufgabe c: Cuernavaca ist die Hauptstadt von?

Dazugehöriges Land sehr klein Verwechslungsfehler

FM3 Abschlussreferat 59

Diskussion Aufgabe f: Toluca ist die Hauptstadt von?

Länder waren nicht eingezeichnet

FM3 Abschlussreferat 60

Diskussion

Aufgabe g: Die Hauptstadt von Chiapas ist? Antwortmöglichkeiten waren gegeben

FM3 Abschlussreferat 61

Diskussion

Strukturiertes Interview: „ Wäre eine andere Reihenfolge leichter gewesen?“

Trotzdem: Lösungshäufigkeit „Unstrukturiert“ höher als „Strukturiert“

Strukturiert Unstrukturiert

ja nein ja nein

8.3% 91.7% 83.3% 16.7%

FM3 Abschlussreferat 62

Diskussion

Allgemein/ Empfehlung für nachfolgende Studien

Größere Stichprobe Zeitdruck Mehr Voruntersuchungen Studierende vs. Nicht-Studierende Sprache

FM3 Abschlussreferat 63FM3 63

Literatur Albert, D. & Kaluscha, R. (1997). Adapting Knowledge Structures in Dynamic

Domains. In C. Herzog (Ed.), Beiträge zum Achten Arbeitstreffen der GI–Fachgruppe 1.1.5/7.0.1 "Intelligente Lehr–/Lernsysteme'', September 1997, Duisburg, Germany [Contributions of the 8th Workshop of the GI SIG "Intelligent Tutoring Systems''] (pp. 89–100). TU München.

Bortz, J., Döring, N. (2003). Forschungs- und Evaluationsmethoden für Human- und Sozialwissenschaftler. (3.Auflage) Berlin Heidelberg: Springer.

Falmagne, J. C., Koppen, M., Villano, M., Doignon, J. P., & Johannesen, L. (1990). Introduction to knowledge spaces: How to build, test and search them. Psychological Review, 97, 201–224.

Hockemeyer, C. (2002). A Comparison of Non–Deterministic Procedures for the Adaptive Assessment of Knowledge. Psychologische Beiträge, 44, 495–503.

Schrepp, M. (1999). An Empirical Test of a Process Model for Letter Series Completion Problems. In D. Albert & J. Lukas (Eds.), Knowledge Spaces: Theories, Empirical Research Applications (pp. 133–154). Mahwah, NJ: Lawrence Erlbaum Associates.

FM3 Abschlussreferat 64

Literatur Schwan, S. (2006). Game Based Learning – Computerspiele in der Hochschule.

Zugriff am 19.01.2009, von http://www.e-teaching.org/didaktik/konzeption/methoden/lernspiele/game_based_learning/gamebasedlearning.pdf

http://css.uni-graz.at/projects/CbKSTCourse/release/

[Stand: 19.01.2009]

http://www.e-teaching.org/didaktik/konzeption/methoden/lernspiele/game_based_learning

[Stand: 19.01.2009]

http://www.sheppardsoftware.com/

[Stand: 19.01.2009]

http://wundt.uni-graz.at/epsyt/index.php

[Stand: 19.01.2009]

FM3 Abschlussreferat 65

Verständnisfragen

1. Aus welchem Grund war die Berechnung des „Correlation Agreement Coefficient“ für unsere Untersuchung nicht relevant?

2. Wieso wurden Simulationen durchgeführt?