Qualitätskriterien der Messung und Bewertung von ...€¦ · Hintergrund der empirischen Forschung Bilf d Fk bi d M d l b i V d Ii • Beinflussende Faktoren bei der Messung und

III. Bremer Symposion 2011Autonomie und AssessmentBremen, den 4–5. März 2011.

Qualitätskriterien der Messung und Bewertung von Schreibfertigkeit:

Die Ergebnisse einer Analyse mit dem Partial Credit Modellmit dem Partial-Credit Modell

Tibor VíghUniversität Szeged

Institut für ErziehungswissenschaftInstitut für Erziehungswissenschaft

ÜberblickÜberblick

Hi d d i i h F h• Hintergrund der empirischen Forschung

• Forschungsfragen und –methoden

• Forschungsergebnisse

• Charakteristika der Bewertungskriterien

• Fähigkeitsparameter der Kandidaten• Fähigkeitsparameter der Kandidaten

• Struktur der Bewertungsskalen

• Zusammenfassung und Ausblick

Hintergrund der empirischen ForschungHintergrund der empirischen Forschung

B i fl d F k b i d M d

I i d V i bl

• Beinflussende Faktoren bei der Messung und Bewertung von Schreibfertigkeit

Intervenierende Variablen

Beurteiler

M tSchreibfertigkeit MesswertSchreibfertigkeit

Bewertungs-kriterien

did Bewertungs-did

Bewertungs-kriterien Bewertungs-Kandidaten Bewertungs

skalaKandidaten Bewertungsskala

Nach Engelhard, 1992


H k l d P i l C di M d ll• Hauptmerkmale des Partial-Credit Modells

• Späzifische Objektivität

• Trennbarkeit der einzelnen Parameter

• Unabhängige Analyse der beeinflussenden Faktoren

Nach Masters, 1982


Bewertungskriterien und Punktzahlen im Prüfungsteil • Bewertungskriterien und Punktzahlen im Prüfungsteil Schreiben des Obenstufenabiturs für DaF in Ungarn

Messziele 1. Aufgabe (B2) 2. Aufgabe (B2)Messziele

Kommunikative Kompetenzen

1. Aufgabe (B2)

Inhalt 5

Textsortenmerk-l i

2

2. Aufgabe (B2)

Inhalt 5Textsortenmerk-l i

2p

Kognitive Kompetenzen

male, Register

Textgestaltung 3 Textgestaltung 5

male, Register

Textgestaltung 3 Textgestaltung 5

Sprachliche Kompetenzen

Wortschatz, Ausdruck

5

G tik 5

Wortschatz, Ausdruck

5

G tik 5Kompetenzen

Punktzahl *

Grammatik, Orthographie

5

10

Grammatik, Orthographie

5

20

*Die Punktzahl wird in der ersten Aufgabe halbiert.


Struktur von Bewertungsskalen im Prüfungsteil • Struktur von Bewertungsskalen im Prüfungsteil Schreiben des Abiturs für DaF in Ungarn

b f f b b f f bOberstufe, 1. Aufgabe Oberstufe, 2. Aufgabe

3 Punkte 5 Punkte

2 Punkte 4-3 Punkte2 Punkte 4 3 Punkte

1 Punkt 2-1 Punkte

0 Punkt 0 Punkt

Werden alle Skalenwerte in der zur zweiten Aufgabe gehörenden Bewertungsskala verwendet?g g g

ForschungsfragenForschungsfragen

Wi k d S h i i k i d d • Wie kann der Schwierigkeitsgrad der Bewertungskriterien bestimmt werden?

• Wie können die in den Ratingskalen definierten Werte die Leistungen in Stufen verteilen?

• Inwieweit sind die Bewertungsskalen dazu fähig, die Qualität der Schülerleistungen genau zu bestimmen?

• Wie verwenden die Beurteiler die Deskriptoren in den Ratingskalen?

ForschungsmethodenForschungsmethoden

S l• Sample

• 45% der Kandidaten, die im Jahre 2006 das ungarischeOb t f bit i D F b l t h b (N 736)Oberstufenabitur in DaF abgelegt haben (N=736)

• repräsentativ nach der prozentuellen Leistungsverteilung der GesamtpunktzahlLeistungsverteilung der Gesamtpunktzahl

• Instrumente

• Schreibfertigkeitsaufgaben aus dem Jahre 2006

• 1 Aufgabe: Cronbach-Alpha=0 87• 1. Aufgabe: Cronbach-Alpha=0.87

• 2. Aufgabe: Cronbach-Alpha=0.94

• Ganzer Test: Cronbach-Alpha=0.92

ForschungsmethodenForschungsmethoden

A l f h• Analyseverfahren

• Kalibrierung der Daten mit dem Partial-Credit Modell auf i i Sk leine gemeinsame Skala

• Analyse der durchschnittlichen Schwierigkeitsparameter und der Fitwerte von Bewertungskriterienund der Fitwerte von Bewertungskriterien

• Verknüpfung der Schwellenparameter der Skalenwerte mit den Personenfähigkeiten mit den Personenfähigkeiten

• Darstellung der Ergebnisse in einem gemeinsamen FacettenraumFacettenraum

• Analyse der charakteristischen Kurven von BewertungsskalenBewertungsskalen

ForschungsergebnisseForschungsergebnisse

Durchschnittlicher Schwierigkeitsgrad und Fitwerte • Durchschnittlicher Schwierigkeitsgrad und Fitwerte der Bewertungskriterien

Auf-Aufgabe Bewertungskriterien Logitwerte Fitwerte

1. Inhalt -0.33 1.31.3

Textsortenmerkmale, Register 1.28 1.7

Textgestaltung -0.82 0.8

W t h t A d k 0 27 0 9

1.28

-0.82

1.7

Wortschatz, Ausdruck -0.27 0.9

Grammatik, Orthographie -0.07 1.0

2 Inhalt 0 06 1 31 32. Inhalt 0.06 1.3

Textgestaltung -0.20 0.8

Wortschatz, Ausdruck -0.02 0.8

-0.20

1.3

Grammatik, Orthographie 0.35 0.80.35

• Facettenraum für den Prüfungsteil Schreiben

Logitskala----------

4

Logitskala Personen |-----------------------

|4 X |

X |

Skalenwerte-------------------

Schreiben

3

|X |X |

XX |3 XXX |

XXX | 9 5 Wi kö di

2

XXX |XXX |XXX |

XXXXX |2 XXXXX |

|

9.5

5.5

2 2 4 5 6 5 8 5

• Wie können die Fähigkeitsparameter charakterisiert werden?

1

XXXXXX |XXXXXXX |

XXXXXXXX |XXXXXXXX |

1 XXXXXXXXXX |

2.2 4.5 6.5 8.57.5

1.59.4

• Wie angemessen überlappen die

0

XXXXXXXX |XXXXXXX |XXXXXXX |

XXXXXXXX |0 XXXXXXXX |

3.3 5.42.1 4.4 6.4 8.47.41.4 6.3 1 3 9 3

überlappen die Schwellenparameter der Skalenwerte das Fähigkeitskontinuum? 0

1

0 XXXXXXXX |XXXXXXXXXX |

XXXXXXX |XXXXXX |

XXXX |1 XXX |

1.3 9.38.34.3 5.37.39.23 2 6 2 8 2

Fähigkeitskontinuum?

-1-1 XXX |XXXX |XXX |XX |XX |

3.2 6.2 8.27.21.2 4.2 5.27.1 8.1 9.16.1

-2X |

-2 X |X |

||

1.1 4.1 5.1

3.1


Charakteristische Kurve zum Kriterium • Charakteristische Kurve zum Kriterium Grammatik, Orthographie in der zweiten Aufgabe



0



0

11



0

1 21 2



0

31 21 2



0

4

1 23

1 2



50

1 23

4

1 2

δ1δ1 δ2 δ3 δ4 δ5

• Charakteristische Kurven zu den Kriterien Sprachliche Richtigkeit

0 5

Zweite Aufgabe: Wortschatz, Ausdruck

1 243

1

0 50 5

432243

112

Erste Aufgabe: Wortschatz, Ausdruck

Ertste Aufgabe: Grammatik, Orthographie


Charakteristische Kurve zum Kriterium • Charakteristische Kurve zum Kriterium Textgestaltung in der zweiten Aufgabe

05

3 4

1 2


Charakteristische Kurve zum Kriterium • Charakteristische Kurve zum Kriterium Textgestaltung in der ersten Aufgabe

0 3

12


Charakteristische Kurve zum Kriterium • Charakteristische Kurve zum Kriterium Inhalt in der zweiten Aufgabe

0 5

2 4

13


Charakteristische Kurve zum Kriterium • Charakteristische Kurve zum Kriterium Inhalt in der ersten Aufgabe

0 5

22

4

3

1


Charakteristische Kurve zum Kriterium • Charakteristische Kurve zum Kriterium Textsortenmerkmale, Register in der ersten Aufgabe

02

1

ZusammenfassungZusammenfassung

• Durchschnittlicher Schwierigkeitsgrad und Fitwerte der

• Misfitting Kriterien können andere Dimensionen von Fitwerte der

Bewertungskriterien

Fähigkeitsparameter

Dimensionen von Schreibfertigkeit messen

Kann eine höhere • Fähigkeitsparameter der Kandidaten und die Schwellenparameter der Sk l t

• Kann eine höhere Fähigkeitsstufe identifiziert werden, die di Sk l t i ht Skalenwerte die Skalenwerte nicht überlappen

• Charakteristische Kurven der Bewertungsskalen

• Zeigen das redundante Funktionieren von Ratingskalen oder die g gfehlende Verwendung von Punktzahlen

Schlussfolgerungen

Di S d B il ll i

Schlussfolgerungen

• Die Strengeparameter der Beurteiler sollen im Oberstufenabitur untersucht werden.

• Die vorgestellten Qualitätskriterien können in Forschungen untersucht werden, in denen die Bewertung durch Ratingskalen erfolgt. g g g

• Mit der Verwendung dieser Qualitätskriterien können die Prüfungsergebnisse aus verschiedenen Jahren die Prüfungsergebnisse aus verschiedenen Jahren verglichen und Tendenzen festgestellt werden.

Die Qualitätskriterien ermöglichen die Erhöhung von • Die Qualitätskriterien ermöglichen die Erhöhung von Zuverlässigkeit der Prüfungen beim Messen von Schreibfertigkeit.

Vielen Dank für Ihre Aufmerksamkeit!

Tibor Vígh

[email protected]

Documents

Qualitätskriterien der Messung und Bewertung von ...€¦ · Hintergrund der empirischen Forschung Bilf d Fk bi d M d l b i V d Ii • Beinflussende Faktoren bei der Messung und