Handreichung für Klausuren mit Aufgaben nach dem Antwort ... · SERVICECENTER LEHRE Universität Kassel, Servicecenter Lehre, Arnold-Bode-Str. 10, 34127 Kassel E-Mail: [email protected],

SERVICECENTER LEHRE

Universität Kassel, Servicecenter Lehre, Arnold-Bode-Str. 10, 34127 Kassel E-Mail: [email protected], Tel.: 0561/ 804-7145, Fax: 0561/804-7146 Seite 1 von 13

Handreichung für Klausuren mit Aufgaben nach dem

Antwort-Wahl-Verfahren (Single-Choice/Multiple-Choice)

Jede Prüfung gilt grundsätzlich als Eingriff in die grundgesetzlich garantierte Berufswahlfreiheit

(Art. 12 Abs. 1 Grundgesetz) und muss daher entsprechend geregelt sein. Nach der

Rechtsprechung des Bundesverfassungsgerichtes und weiterer Gerichte sind besondere Maßstäbe

an die Prüfungsform der Aufgabe nach dem Antwort-Wahl-Verfahren anzulegen, da – anders als

bei offenen Fragen oder einer mündlichen Prüfung – bei Aufgaben nach dem Antwort-Wahl-

Verfahren nur eine rechnerische Auswertung stattfindet (richtig oder falsch) und kein

Beurteilungsspielraum des Prüfers bleibt.

Das vorliegende Dokument dient der Konkretisierung der in § 11 Abs. 2 der Allgemeinen

Bestimmungen für Fachprüfungsordnungen mit den Abschlüssen Bachelor und Master an der

Universität Kassel (AB Bachelor/Master) vom 17. Juli 2013 getroffenen Regelungen und

unterstützt Sie bei der rechtssicheren Durchführung und der qualitätsorientierten Entwicklung

von Aufgaben nach dem Antwort-Wahl-Verfahren.

Wortlaut § 11 Abs. 2:

„Ist die Prüfungsform des Antwort-Wahl-Verfahrens vorgesehen, bedarf dies einer Festlegung in den Fachprüfungsordnungen. Bei der Konzeption der Prüfung nach dem Antwort-Wahl-Verfahren sind die anerkannten Mindeststandards für diese Prüfungsform zu beachten. Insbesondere sind vorzusehen:

eine absolute und eine relative Bestehensgrenze,

eine Umrechnung der erreichten Punktzahl in Notenstufen,

eine Regelung zum Umgang mit vom Prüfer fehlerhaft formulierten Aufgaben (Fehlereliminierung).

Eine Prüfungsaufgabe darf nicht schlechter als mit 0 Punkten bewertet werden, es dürfen also keine Minus- oder Maluspunkte über Prüfungsaufgaben hinweg vergeben werden.“

In der vorliegenden Handreichung werden die getroffenen Regelungen erläutert, in Form einer

Checkliste operationalisiert und durch Beispiele konkretisiert. Das Dokument gliedert sich in die

folgenden Abschnitte:

1. Absolute und relative Bestehensgrenze

2. Umrechnung der erreichten Punktzahl in Notenstufen

3. Regelung zum Umgang mit vom Prüfer fehlerhaft formulierten Aufgaben (Fehlereliminierung).

4. Umgang mit Minuspunkten in Aufgaben

5. Empfehlungen für Mindeststandards bei der Konzeption von Aufgaben nach dem Antwort-Wahl-Verfahren

SERVICECENTER LEHRE


Unter Single-Choice-Aufgaben (Einfach-Wahl-Aufgaben) werden Aufgaben verstanden, bei der

der Prüfling aus den vorgegebenen Antwortoptionen exakt eine richtige Antwort auswählen soll.

Bei Multiple-Choice-Aufgaben (Mehrfach-Wahl-Aufgaben) können mehrere richtige Lösungen

ausgewählt werden. Beide Aufgabentypen werden unter dem Begriff der Antwort-Wahl-Aufgabe

zusammengefasst.

Zu den Aufgaben nach dem Antwort-Wahl-Verfahren zählen zum einen auch Zuordnungs-

Aufgaben, bei denen einer Liste von Elementen ein oder mehrere andere Elemente zugeordnet

werden müssen, zum anderen fallen hierunter auch so genannte Matrix-Aufgaben, bei denen

mehrere Single-Choice-Fragen mit denselben Antwortoptionen in einer Aufgabe kombiniert

werden. Nicht zu den Antwort-Wahl-Aufgaben zählen folgende Formate: Fill-in-Blank (Text-,

Formel oder Zahleneingabe), Hot-Spot-Aufgaben sowie Drag-and-Drop-Aufgaben.

Sofern es sich bei einer Prüfung um eine Modulabschlussprüfung handelt, sind die Aufgaben nach

dem Antwort-Wahl-Verfahren in Anlehnung an § 18 Abs. 3 des Hessischen Hochschulgesetzes von

mindestens zwei prüfungsberechtigten Personen gemäß § 5 Abs. 2 AB Bachelor/Master zu

erarbeiten (Vier-Augen-Prinzip).

1. Absolute und relative Bestehensgrenze

Für Klausuren, die vollständig aus Aufgaben nach dem Antwort-Wahl-Verfahren bestehen, ist

neben der absoluten eine relative Bestehensgrenze festzulegen. Für Mischklausuren, die neben

Aufgaben nach dem Antwort-Wahl-Verfahren auch andere Aufgaben enthalten, sollte eine

relative Bestehensgrenze für den Teil der Antwort-Wahl-Aufgaben angewendet werden, wenn

20% oder mehr der Punkte durch Antwort-Wahl-Aufgaben erworben werden können. Auf diese

Weise wird sichergestellt, dass die Regelungen insbesondere auf solche Klausuren angewendet

werden, bei denen ein wesentlicher Teil der Aufgaben aus Fragen nach dem Antwort-Wahl-

Verfahren besteht.

Die absolute Bestehensgrenze wird vom Lehrenden vor der Klausur unter Berücksichtigung von

fachbereichsinternen Regelungen festgelegt. Wurde die absolute Bestehensgrenze z. B. bei 50%

festgelegt, haben alle Studierenden mit 50% und mehr Punkten die Klausur bestanden.

Die relative Bestehensgrenze ist erreicht, wenn der Anteil der von dem Prüfling erreichten Punkte

nicht mehr als 20% unter dem durchschnittlichen Anteil der erreichten Punkte aller

teilnehmenden Prüflinge liegt. Die relative Bestehensgrenze wird ermittelt, indem zunächst aus

den Prüfungsergebnissen aller Prüfungsteilnehmer der Durchschnittswert errechnet wird. Von

diesem Durchschnittswert werden 20% ermittelt und abgezogen. Das Ergebnis entspricht der

relativen Bestehensgrenze. Liegt die so berechnete relative Bestehensgrenze unter der absoluten

Bestehensgrenze, ist die relative Bestehensgrenze anzuwenden.

Im Falle von Wiederholungsprüfungen sollten sowohl die absolute als auch die relative

Bestehensgrenze aus der ersten Klausur verwendet werden, um vergleichbare Bewertungen für

beide Klausuren zu gewährlisten.

SERVICECENTER LEHRE


Checkpunkt:

Nach der Klausur: Berechnung des Durchschnittswerts der erreichten Punkte für den Teil der Klausur mit Antwort-Wahl-Aufgaben, davon 20% abziehen. Liegt diese relative Bestehensgrenze unter 50% der Punkte, ist diese anzuwenden, sonst ist die absolute Bestehensgrenze zu wählen.

Beispiele:

Beispiel 1: In einer Klausur haben die Teilnehmenden im arithmetischen Mittel 53% der Punkte des Antwort-Wahl-Teils der Klausur erzielt. 20% davon betragen 53% x 20% = 10,6%. Somit liegt die relative Bestehensgrenze bei 53%-10,6%=42,4%. Da dies kleiner ist als 50%, ist in diesem Fall die relative Bestehensgrenze anzuwenden.

Beispiel 2: In einer Klausur haben die Teilnehmenden im arithmetischen Mittel 65% der Punkte des Antwort-Wahl-Teils der Klausur erzielt. 20% davon betragen 65% x 20% = 13%. Somit liegt die relative Bestehensgrenze bei 65%-13%=52%. Da dies größer ist als 50%, ist in diesem Fall die absoulte Bestehensgrenze (50%) anzuwenden.

Beispiel 3: Ein Prüfling hat 48% erreicht und liegt damit unterhalb der absoluten Bestehensgrenze von 50%. Der Durchschnittswert aller Prüfungen beträgt 60%. Abzüglich 20% von 60 liegt die relative Bestehensgrenze bei 48% (60% x 20% = 12%; 60% - 12%= 48%). Damit liegt die relative Bestehensgrenze (= 48%) um 2% unter der absoluten Bestehensgrenze (= 50%) und ist hier anzuwenden. Der Prüfling hat somit die Klausur bestanden.

2. Umrechnung der erreichten Punktzahl in Notenstufen

Das von einem Prüfling erzielte Ergebnis einer Klausur im Antwort-Wahl-Verfahren ist gemäß dem

an den jeweiligen Fachbereichen verwendeten Notenschlüssel in eine Note umzurechnen. Liegt

eine Mischklausur vor, ist der Teil der Klausur mit Antwort-Wahl-Aufgaben entsprechend in eine

eigene Note umzurechnen. Unter Berücksichtigung der Prüfungsziele können die beiden Teilnoten

dann bei der Berechnung der Gesamtnote unterschiedlich gewichtet werden.

Checkpunkt:

Nach der Klausur: Umrechnung der Ergebnisse zu den Antwort-Wahl-Aufgaben in eine Note auf Basis des fachbereichsinternen Notenschlüssels.

Beispiele:

Beispiel 1: Ein fiktiver fachbereichsinterner Notenschlüssel lautet 1,0 wenn mindestens 95%, 1,3 wenn mindestens 90%,

SERVICECENTER LEHRE


1,7 wenn mindestens 85%, 2,0 wenn mindestens 80%, 2,3 wenn mindestens 75%, 2,7 wenn mindestens 70%, 3,0 wenn mindestens 65%, 3,3 wenn mindestens 60%, 3,7 wenn mindestens 55%, 4,0 wenn mehr als 50% erreicht wurden. Studierender 1 hat bei den Antwort-Wahl-Aufgaben 83,5% der Punkte dieses Teils erreicht, damit erhält er die Note 2,0 für diesen Teil der Klausur. Studierender 2 hat in diesem Teil 64% der Ergebnisse und damit die Note 3,3 erreicht.

Beispiel 2: Eine Klausur besteht zur Hälfte aus Single- und Multiple-Choice-Aufgaben,

durch die 30% der Punkte erreicht werden können. Die übrigen 70% der Punkte können durch offen gestellte Aufgaben erreicht werden. Eine Studierende hat in dem Teil der Klausur mit Aufgaben nach dem Antwort-Wahl-Verfahren die Gesamtnote 1,0 erzielt. Bei den übrigen Aufgaben jedoch die Note 1,6. Aufgrund der Gewichtung ergibt sich die Gesamtnote wie folgt: 1,0 * 30% + 1,6 * 70% = 0,3 + 1,12 = 1,42. Damit erhält die Studierende die Gesamtnote 1,42.

3. Regelung zum Umgang mit vom Prüfer fehlerhaft formulierten Aufgaben (Fehlereliminierung)

Fehler bei Aufgaben nach dem Antwort-Wahl-Verfahren können sowohl in der Aufgabenstellung

(dem Fragenstamm) als auch bei den Antwortoptionen auftreten. Dies kann insbesondere Folgen

für die Bewertung einer solchen Aufgabe nach sich ziehen.

Bei der Entwicklung von Aufgaben nach dem Antwort-Wahl-Verfahren sollte besonderes

Augenmerk sowohl auf die Qualität der Aufgabenstellung als auch der Antwortoptionen gelegt

werden (siehe dazu auch Abschnitt 5).

Wird im Nachgang einer Klausur festgestellt, dass eine fehlerhafte Formulierung verwendet

wurde, kann entweder eine Neubewertung der Klausur vorgenommen oder die Aufgabe kann

ganz aus der Bewertung genommen werden. Da dies immer einzelfallabhängig ist und nicht

generell geregelt werden kann, muss das weitere Verfahren stets mit dem Prüfungsausschuss

abgestimmt werden, um Rechtssicherheit zu erhalten. In diesem Zusammenhang muss auch

geklärt werden, ob sich dadurch aufgrund der veränderten Ergebnisse eine neue Bestehensgrenze

ergibt.

Checkpunkte:

Nach der Klausur: Im Falle einer fehlerhaft formulierten Aufgabe ist das weitere Vorgehen mit dem Prüfungsausschuss abzustimmen und bei Nachkorrekturen die relative Bestehensgrenze ggf. neu zu berechnen.

SERVICECENTER LEHRE


Beispiel 1: Ein Dozent hat eine Aufgabe gestellt, bei der von den vorgegeben Antworten unbeabsichtigt mehrere Antworten richtig sind. Die Prüflinge sollten jedoch nur eine Antwort als richtig ankreuzen. Der Fehler wurde erst nach Bekanntgabe der Ergebnisse entdeckt. In diesem Fall muss mit dem Prüfungsausschuss geklärt werden, ob die Aufgabe ganz aus der Bewertung genommen werden muss, oder ob die irrtümlicherweise falsch bewerteten Lösungen nachträglich als richtig bewertet werden können. In beiden Fällen ist zudem zu klären, ob sich daraus Veränderungen in der Bestehensgrenze ergeben.

Beispiel 2: Bei der Bewertung einer Klausur fiel noch vor Bekanntgabe der Ergebnisse auf, dass eine Fragestellung missverständlich formuliert und von einem Großteil der Studierenden falsch verstanden wurde. Nach Rücksprache mit dem Prüfungsausschuss wurde vereinbart, dass die Frage für alle Prüflinge aus der Bewertung genommen wurde. Die Studierenden wurden hierüber entsprechend informiert. Die relative Bestehensgrenze wurde ohne diese Aufgabe berechnet.

4. Umgang mit Minuspunkten in Aufgaben

Insbesondere bei der Verwendung von Multiple-Choice Aufgaben (mehrere richtige Antworten)

ist die Verwendung von Punktabzügen für fehlerhaft angekreuzte Antwortalternativen innerhalb

einer Aufgabe sinnvoll: Dadurch kann verhindert werden, dass der Prüfling z. B. durch Ankreuzen

aller Antwortalternativen stets die volle Punktzahl erhält. Die Vergabe von Minuspunkte für falsch

angekreuzte Antwortoptionen ist innerhalb einer Multiple-Choice-Aufgabe erlaubt. Es muss

allerdings sichergestellt werden, dass der Prüfling für die Aufgabe insgesamt nicht weniger als null

Punkte erhält.

Alternativ könnte ein entsprechendes Bewertungssystem umgesetzt werden, in welchem

bestimmte Kombinationen von Antworten mit positiven Punkten und alle andere Kombinationen

mit null Punkten bewertet werden (vgl. z.B. Hochschule Ludwigshafen am Rhein 2012, S. 8;

Leibnitz Universität Hannover 2009, S. 4).

Checkpunkte:

Bei Aufgaben mit mehreren richtigen Antworten ist die Verwendung von Minuspunkten innerhalb einer Aufgabe erlaubt, allerdings darf die Aufgabe insgesamt nicht schlechter als mit null Punkten bewertet werden.

Beispiele:

Beispiel 1: Bei einer Aufgabe mit 5 Antwortalternativen sind Antwortoptionen A und C korrekt, die Antwortoptionen B, D und E sind falsch. Für das Ankreuzen einer korrekten Antwort erhält der Prüfling einen Pluspunkt, für das Ankreuzen einer falschen Antwort einen Minuspunkt. Studierender 1 hat Antwortalternative a, b und c angekreuzt und erhält somit 2 Plus- und einen Minuspunkt, insgesamt also 1 Punkt für diese Aufgabe.

SERVICECENTER LEHRE


Studierender 2 hat alle Antwortalternativen angekreuzt, er/sie erhält 2 Plus- und 3 Minuspunkte. Insgesamt käme er/sie also auf einen Minuspunkt, da Prüfungsaufgaben jedoch nicht schlechter als mit null Punkten bewertet werden dürfen, erhält er/sie insgesamt null Punkte für diese Aufgabe.

Beispiel 2: Bei einer Aufgabe mit 5 Antwortalternativen sind Antwortoptionen a, b und c korrekt, die Antwortoptionen d und e sind falsch. Für das Ankreuzen einer korrekten Antwort erhält der Prüfling 2 Pluspunkte, für das Ankreuzen einer falschen Antwort drei Minuspunkte. Studierender 1 hat Antwortalternative A angekreuzt und erhält 2 Pluspunkte. Studierender 2 hat alle Antwortalternativen angekreuzt, er/sie erhält somit 6 Plus- und 6 Minuspunkte, also insgesamt genau null Punkte.

5. Empfehlungen für Mindeststandards bei der Konzeption der Aufgaben nach dem Antwort-Wahl-Verfahren

Single-/Multiple-Choice-Aufgaben eignen sich sehr gut, um im Hochschulbereich die meisten

kognitiven Wissensbereiche valide, objektiv und zuverlässig abzuprüfen (vgl. Brauns & Schubert

2008; Bloch et al. 1999). Nach Beaucamp und Buchholz (2010, S. 58) sind Multiple-Choice-

Klausuren anderen Prüfungsformen sogar insofern überlegen, als dass mit ihnen in gleicher Zeit

mehr Fakten und Begriffe abgefragt, bestimmte Sachverhalte wiedererkannt und Wissensinhalte

miteinander verknüpft werden können.

Von den zu prüfenden Lehr-Lernzielen ist es abhängig, welcher Aufgabentyp sinnvoll eingesetzt

wird. Multiple-Choice-Aufgaben sind dabei nach Krebs (2004, S. 7) „für Problemstellungen

geeignet, bei denen es mehrere wichtige Optionen gibt, die sich deutlich von anderen abheben.“

Mit einer ausschließlichen Verwendung von Single-Choice-Aufgaben würde demzufolge viel

prüfungsdidaktisches Potential verschenkt. Insgesamt empfiehlt sich daher ein an den zu

prüfenden Lehr-Lernzielen orientierte, zielgerichtete Verwendung von Single-Choice- und

Multiple-Choice-Aufgaben, offenen Fragen und anderen Aufgabentypen.

Sollte eine Klausur dennoch ausschließlich aus Single-Choice-Aufgaben bestehen, so wird die

Chance, durch simples „Erraten“ der Lösung die Klausur zu bestehen, verringert, indem mehr

Single-Choice-Aufgaben verwendet werden.

Für die Erstellung von beiden Typen der Antwort-Wahl-Aufgaben lassen sich in der Literatur

neben rechtlichen Vorgaben vielfältige Qualitätskriterien und Regeln für die Erstellung und

Durchführung von Prüfungen finden. Die wichtigsten sind in den folgenden Abschnitten

zusammengefasst:

a) Qualitätskriterien bzgl. der Fragestellungen

b) Anzahl an Antwortoptionen

c) Qualität der Antwortoptionen

SERVICECENTER LEHRE


d) Formalia

e) Statistische Qualitätskriterien

a) Qualitätsktiterien bzgl. der Fragestellungen

Die Qualität einer Mehrfach-Wahl-Aufgabe wird nicht nur durch die Qualität der

Antwortoptionen, sondern maßgeblich auch durch die Qualität der Aufgabenstellung (sog.

„Fragenstamm“) bestimmt. Die folgenden Checkpunkte fassen hierzu zentrale Empfehlungen

zusammen:

Checkpunkte:

Die Aufgabenstellung kann mehrere zu interpretierende Informationen enthalten. Um

mehr als Faktenwissen abzufragen, müssen hier komplexere Situationen geschildert

werden.

Die Aufgabenstellung soll dabei klar und nicht zu lang sein. Anzustreben sind positive

Formulierungen. Wenn ausnahmsweise eine negative Formulierung gewählt wird (z.B.

„Die Gurke ist nicht die Ursache“), ist diese durch Unterstreichen oder Fettdruck deutlich

als solche zu kennzeichnen.

Die Aufgabenstellung sollte als Frage formuliert werden, die auch ohne Kenntnis der

Antwortoptionen beantwortet werden kann (vgl. Brauns & Schubert 2008).

Beispiele:

Beispiel 1: „Was gehört nicht zur gesetzlichen Sozialversicherung?

a) Lebensversicherung

b) Pflegeversicherung

c) Rentenversicherung

d) Krankenversicherung

e) Unfallversicherung“ Quelle: http://www.wiso-training.de/test.html

Beispiel 2: Eine speziellere Form von Mehrfach-Wahl-Aufgaben sind die so genannten

“Extended Matching Sets Questions”. Diese finden häufig Anwendung in medizinischen

Tests: Hier wird in der Aufgabenstellung zunächst ein komplexer Fall geschildert, der eine

Reihe von Symptomen einer Krankheit enthält. Der Prüfling muss dann aus einer Liste von

Antwortoptionen die korrekte Diagnose für den geschilderten Fall auswählen (vgl. Wood

2003, S. 2ff). Das Charakteristische von Extended Matching Sets Questions ist

insbesondere die Komplexität der Aufgabenstellung, die in der Schilderung eines

konkreten Falls besteht und eine Lösung durch Ausschlussverfahren erschwert.

SERVICECENTER LEHRE


b) Anzahl an Antwortoptionen

Zu jeder Mehrfach-Wahl-Aufgabe gehört eine Auswahl von in der Regel 3 - 5 Antworten (eine

oder mehrere richtige, die übrigen als falsche). Falsche Antwortoptionen werden als

„Distraktoren“ bezeichnet. Bzgl. der Anzahl der zu verwendenden Antwortoptionen gibt es keine

rechtlichen Vorgaben. Auch in der Literatur lässt sich hierzu keine einheitliche Regelung finden.

Folgende Empfehlungen können zusammenfassend gegeben werden.

Checkpunkte:

Die Ratewahrscheinlichkeit einer Aufgabe verringert sich deutlich, je mehr qualitativ

hochwertige Antwortoptionen zur Verfügung stehen (siehe dazu den nächsten Abschnitt).

Unterschiedliche Studien (z.B. Baghaei & Amrahi 2011; Rodriguez 2005; Haladyna,

Downing & Rodriguez 2002) belegen, dass drei Antwortalternativen ausreichend sind, um

die richtige Beantwortung durch raten unwahrscheinlich zu machen. Je mehr plausible

falsche Antwortmöglichkeiten zu erstellen sind, umso höher ist der Aufwand der

Testkonstruktion. Aus einer Metaanalyse von Rodriguez (2005) geht hervor, dass

Aufgaben und Itemstatistiken (Trennschärfe, Reliabilität) durch mehr als drei

Antwortoptionen nicht verbessert werden. Vielmehr steige dadurch das Risiko, nicht

plausible Distraktoren zu generieren, und Kontexthinweise für andere Aufgaben zu

verraten. Die Bedrohung einer größeren Ratewahrscheinlichkeit bei Aufgaben mit drei

Antwortmöglichkeiten sei nicht gegeben.

Je nach Art der zu überprüfenden Leistung kann es sinnvoll sein, deutlich mehr als 5

Antwortoptionen zur Verfügung zu stellen. Insbesondere komplexere Aufgabenstellungen

(z.B. Aufgabe zur Erstellung einer Diagnose), bei denen ggf. auch mehrere

Antwortalternativen richtig sind, erfordern einen umfangreichen Pool an

Antwortmöglichkeiten.

Beispiel:

„Auf Ihrer Station liegt eine 73-jährige Patientin, die gestern mit der Diagnose einer

Pneumonie von zu Hause ins Krankenhaus eingeliefert wurde. Welcher der folgenden

Erreger ist vermutlich NICHT der ursächliche Keim bei diesem Patient?

a) Streptococcus pneumoniae

b) Mycoplasma pneumoniae

c) Haemophilus

d) Pseudomonas aeruginosa

e) Chlamydia pneumoniae“ Quelle:

http://www.arztakademie.at/fileadmin/template/main/facharztpdfs1/Innere_Medizin/MfragenINN1.pdf

c) Qualität der Antwortoptionen

Die Qualität der Antwortoptionen spielt eine zentrale Rolle für die Qualität einer Antwort-Wahl-

Aufgabe. Sind die Distraktoren (falschen Antworten) einfach identifizierbar, kann die Aufgabe


SERVICECENTER LEHRE


durch simples Ausschlussprinzip schnell gelöst werden. Der Prüfling kann dann die Aufgabe auch

lösen, ohne über das abzuprüfende Wissen oder Kompetenz zu verfügen.

Die wichtigsten Empfehlungen für die Entwicklung qualitativ hochwertiger Antwortoptionen:

Checkpunkte:

Alternative Antworten müssen in einem inneren Zusammenhang stehen, damit bei der

Lösung die Alternativen gegeneinander abgewogen werden müssen. Zu vermeiden sind

unsinnige oder zusammenhangslose Antworten, die offensichtlich falsch sind.

Die Alternativen sollen sich wesentlich und nicht nur durch Feinheiten in der sprachlichen

Formulierung unterscheiden.

Alle Alternativen sollen von etwa gleicher Länge und in der gleichen Fachsprache

abgefasst sein. Kurze Antwortalternativen zwischen mehreren langen Antworten werden

von Prüflingen meist gemieden. Die längste und differenzierteste Antwort wird gerne

gewählt.

Fallen (vor allem Doppeldeutigkeiten, vieldeutige Begriffe) sind zu vermeiden.

Unzweckmäßig sind bei den Fragen und Antworten Ausdrücke wie „immer, niemals,

ausschließlich“ usw., weil sie oft auf falsche Lösungen hinweisen. Sie wirken

verabsolutierend und damit unrealistisch. Enthielte nur die richtige Antwort einen solchen

Universalquantoren, wäre die Gleichgewichtung der Antwortalternativen nicht gegeben.

Alle falschen Antworten (Distraktoren) müssen eine Überlegung abverlangen und in

direktem Zusammenhang mit der Aufgabenstellung stehen.

Die Antwortalternative „keine der genannten Möglichkeiten“ ist problematisch, da mit

der Entscheidung für eine richtige, positiv beschreibende, Antwort auch ein Lerneffekt

verbunden ist. Auf diesen würde verzichtet werden.

Häufige oder typische Fehler oder Missverständnisse sollten als Grundlage für die falschen

Antwortoptionen verwendet werden (vgl. Brauns & Schubert 2008).

Die Antwortoptionen sollten unabhängig voneinander sein und sich nicht überlappen (vgl.

Brauns & Schubert 2008).

Hinweise auf die richtige Antwort, wie die Wiederholung eines Wortes aus der Frage in

der richtigen Antwort sind zu vermeiden (vgl. Brauns & Schubert 2008).

Hinweise, welche die Aufmerksamkeit auf zwei bis drei Antworten einschränken, sind zu

vermeiden (vgl. Krebs 2004).

So genannte „Konvergenz Cues“ sind zu vermeiden: Die Antwort, welche die größte Zahl

von Elementen mit anderen Antworten gemeinsam hat, ist mit erhöhter

Wahrscheinlichkeit die richtige (vgl. Krebs 2004).

Gegenseitige Lösungshinweise sind zu vermeiden. Dieser Cue ist vor allem bei der

Prüfungszusammenstellung zu beachten. Seine Gefahr wird aber deutlich reduziert, wenn

in den Items möglichst keine überflüssigen Informationen gegeben werden (vgl. Krebs

2004). Je mehr Distraktoren gewählt werden, desto größer ist die Gefahr gegenseitiger

Lösungshinweise.

Beispiel:

„Lesen Sie die folgenden Interventionstechniken in Gesprächen und ordnen Sie sie den

unten genannten Situationen zu. Welche Interventionstechniken im Gespräch sind am

SERVICECENTER LEHRE


angemessensten in folgenden Situationen?

1) Aktiv zuhören

2) Rapport herstellen

3) Zusammenfassen

4) Verbalisieren emotionaler Erlebnisinhalte

5) Konfrontieren mit Diskrepanzen in Klientenaussagen

Antwortoptionen:

a) Klientin berichtet ausführlich und offen über ihre Problemsituation 1) 2) 3) 4) 5)

b) Klientin wirkt im Gespräch ängstlich und scheu 1) 2) 3) 4) 5)

c) Klientin berichtet über starke Ambivalenzen 1) 2) 3) 4) 5)“

Quelle: Gruber, Simone & Avallone, Manuela (2012, S. 11)

d) Formalia

Neben den oben genannten didaktischen Qualitätskriterien lassen sich Formalia identifizieren, die

die Übersichtlichkeit der Klausur erhöhen und eine Lösung der Aufgabe nach simplem

Ausschlussverfahren erschweren.

Checkpunkte:

Über mehrere Aufgaben hinweg darf die richtige Lösung nicht immer an der gleichen

Stelle (z.B. immer b) stehen und nicht systematisch variiert werden.

Die Auswahlantworten sind mit Kleinbuchstaben zu kennzeichnen. Zahlen werden zur

Nummerierung der Aufgaben verwendet.

Wird bei der Aufgabe eine Frage gestellt, so sollte bei den Antworten mit Großbuchstaben

begonnen und am Ende eines ganzen Antwortsatzes ein Punkt gesetzt werden. Sind die

Antworten nur eine Fortsetzung der Aufgabenstellung, so ist klein zu beginnen und am

Ende der Antwort jeweils ein Punkt zu setzen. Bestehen die Antworten aus einem Begriff

oder Zahlen, so erübrigt sich der Punkt.

Alle Antworten müssen grammatikalisch zum Fragenstamm passen (vgl. Krebs 2004).

Die Antworten sollen möglichst logisch angeordnet werden. Wenn bei den Antworten

vom Inhalt her eine logische Hierarchie gegeben ist, sollen sie danach angeordnet werden

(z.B. bei Frage nach wahrscheinlichster Problemursache von klein, harmlos zu groß,

gravierend, bei Antworten mit Zahlenwerten auf- oder absteigend). Falls keine inhaltliche

Logik gegeben ist, empfiehlt sich v.a. bei Einwortantworten am ehesten eine

alphabetische Reihung (vgl. Krebs 2004).

Damit Positions-Wahltendenzen von Kandidaten keinen Einfluss gewinnen können, sollen

die richtigen Antworten über alle Items einer Prüfung möglichst ausbalanciert unter den

Antwortoptionen verteilt sein (vgl. Krebs 2004).

SERVICECENTER LEHRE


e) Statistische Qualitätskriterien

Neben Qualitätskriterien, die a priori bei der Erstellung der Aufgaben zu berücksichtigen sind,

können nach der Durchführung einer Prüfung auch statistische Qualitätskriterien verwendet

werden, um die Güte einer Antwort-Wahl-Aufgabe oder eines ganzen Tests zu bestimmen. Dazu

gehört neben dem Schwierigkeitsgrad die Trennschärfe einer Aufgabe.

Der Schwierigkeitsgrad eines Items wird anhand der Häufigkeit einer richtigen Antwort ermittelt.

Beantworten 90% der Probanden das Item korrekt, so liegt z.B. ein Wert von 0,9 vor.

Mit dem Maß der Trennschärfe eines Items wird angegeben, wie dieses zwischen

leistungsstärkeren und leistungsschwächeren Prüflingen unterscheidet. Dabei wird ein Item

daraufhin untersucht, wie häufig es - bezogen auf das Gesamtergebnis - von den Prüflingen der

oberen und unteren Leistungsgruppen korrekt beantwortet wurde. Ein Item ist besonders

trennscharf, wenn es weitgehend nur von den leistungsstarken Prüflingen korrekt beantwortet

wurde.

Beide Kennwerte können entweder durch Vortests oder durch die Auswertung und

Wiederverwendung von Fragen aus vergangenen Klausuren bestimmt werden. Hier sind

insbesondere die Auswertungsmöglichkeiten elektronischer Klausursysteme hilfreich.

Folgende Empfehlungen lassen sich bzgl. der beiden Kennwerte festhalten:

Checkpunkte:

In einer Klausur sollten die Fragen der Schwierigkeit nach normalverteilt sein. D. h., es

sollte wenige leichte und wenige schwere Fragen geben.

Fragen mittlerer und hoher Trennschärfe sollten bevorzugt eingesetzt werden.

Weiterführende Informationen oder Anregungen zur Konzeption einer Prüfung erhalten Sie im

Servicecenter Lehre der Universität Kassel www.uni-kassel.de/go/scl

SERVICECENTER LEHRE


Literatur

AZ Aktenzeichen 14 A 2154/08: Urteil des Oberverwaltungsgerichts NRW. Verfügbar unter

http://www.justiz.nrw.de/nrwe/ovgs/ovg_nrw/j2008/14_A_2154_08urteil20081216.html. Letzter

Zugriff: 17.06.2013.

Beaucamp, Guy & Buchholz, Jan-Arndt (2010): Rechtsfragen bei der Einführung von Multiple-

Choice-Prüfungen (Antwort-Wahl-Verfahren). In: Wissenschaftsrecht, 43 (2010) 1, S. 56-67.

Baghaei, Purya & Amrahi, Nazila (2011). The effects of the number of options on the psychometric

characteristics of multiple choice items. In: Psychological Test and Assessment Modeling, 53, 2, S.

192-211.

Bloch, Ralph, Hofer, Daniel, Krebs, René, Schläppi, Peter, Weis, Stephan, Westkämper, Reinhard

(1999). Kompetent prüfen: Handbuch zur Planung, Durchführung und Auswertung von

Facharztprüfungen. Institut für Aus-, Weiter- und Fortbildung der Medizinischen Fakultät der

Universität Bern.

Bott, Oliver J., Diercks-O'Brien, Gabi & Horn, Janine (2012). E-Prüfungen nach Antwort-Wahl-

Verfahren rechtssicher durchführen. Verfügbar unter http://www.hs-

hannover.de/fileadmin/media/doc/els/ePruefungen/e-pru__fungsrecht.pdf. Letzter Zugriff:

17.06.2013.

Brauns, Katrin & Schubert, Sebastian (2008). Qualitätssicherung von Multiple-Choice-Prüfungen.

In Sigrid Dany, Birgit Szczyrba & Johannes Wildt (Hrsg.), Prüfungen auf die Agenda!

Hochschuldidaktische Perspektiven auf Reformen im Hochschulwesen, S. 92-102. Bertelsmann:

Bielefeld.

Fachhochschule Münster (2012). Fünfte Ordnung zur Änderung des Allgemeinen Teils der

Prüfungsordnung für die Bachelor- und Masterstudiengänge an der Fachhochschule Münster.

Verfügbar unter https://www.fh-

muenster.de/uploads/amtliche_bekanntmachungen/98_2012.pdf. Letzter Zugriff: 18.06.2013.

Haladyna, Thomas M., Downing, Steven M. & Rodriguez, Michael C. (2002). A Review of Multiple-

Choice Item-Writing Guidelines for Classroom Assessment. In: Applied Measurement in Education,

15, 3, S. 309-334.

Gruber, Simone & Avallone, Manuela (2012). Empfehlungen zum Einsatz von Multiple-Choice-

Prüfungen. Verfügbar unter

http://www.lehren.tum.de/fileadmin/w00bmo/www/Downloads/Themen/Studiengaenge_gestal

ten/Dokumente/MCEmpfehlungen_Stand_Oktober_2012_final.pdf. letzter Zugriff: 17.06.2013.

http://www.arztakademie.at/fileadmin/template/main/facharztpdfs1/Innere_Medizin/MfragenIN

N1.pdf (11.11.2013)

http://www.wiso-training.de/test.html (11.11.2013)

Hochschule Ludwigshafen am Rhein/ Stabsstelle Studium und Lehre (2012). Prüfungen im

Multiple-Choice-Verfahren. Verfügbar unter http://web.fh-



http://www.wiso-training.de/test.html

SERVICECENTER LEHRE


ludwigshafen.de/index.nsf/Files/C1C51DDE9B4844CFC1257A4D00429856/$FILE/Handreichung%2

0Multiple-Choice-Verfahren__HSLU082012.pdf. Letzter Zugriff: 18.06.2013.

Krebs (2004). Anleitung zur Herstellung von MC-Fragen und MC-Prüfungen für die ärztliche

Ausbildung. Online verfügbar unter

http://www.iml.unibe.ch/dienstleistung/assessment_pruefungen/index.php?eID=tx_nawsecuredl

&u=0&file=/fileadmin/iml-

website/aae/pdf/MC_Anleitung.pdf&t=1371306139&hash=e505212cbe60fda774cef78edd773afb

bccdeab2. Letzter Zugriff: 14.06.2013.

Leibnitz Universität Hannover (2009). Erstellen und Bewerten von Multiple-Choice-Aufgaben.

Verfügbar unter http://www.uni-

hannover.de/imperia/md/content/elearning/practicalguides2/didaktik/elsa_handreichung_zum_

erstellen_und_bewerten_von_mc_fragen.pdf. Letzter Zugriff: 18.06.2013.

Rodriguez, Michael C. (2005). Three Options Are Optimal for Multiple-Choice Items: A Meta-

Analysis of 80 Years of Research. In: Educational Measurement: Issues and Practice, 24, 2, S. 3-13.

Technische Universität Dresden/ Fakultät Erziehungswissenschaften (2012). Ordnung zur

Durchführung und Bewertung von Prüfungsleistungen nach dem Multiple-Choice-Verfahren (MC-

Ordnung). Verfügbar unter http://www.verw.tu-dresden.de/AmtBek/PDF-Dateien/2012-

03/08poMC17.06.2012.pdf. Letzter Zugriff: 18.06.2013.

Universität Bremen (2010). Fachspezifische Prüfungsordnung für den Bachelorstudiengang

„Betriebswirtschaftslehre“ der Universität Bremen. Verfügbar unter http://www.zpa.uni-

bremen.de/Archiv_Pruefungsordnungen/Fachbereich07/Bachelor_%20Betriebswirtschaftslehre/B

A_Betriebswirtschaftslehre_VF_2010-10-27.pdf. Letzter Zugriff: 18.06.2013.

Wood, E. J. (2003): What are Extended Matching Sets Questions? Bioscience Education, vol.1.

Documents

Handreichung für Klausuren mit Aufgaben nach dem Antwort ... · SERVICECENTER LEHRE Universität Kassel, Servicecenter Lehre, Arnold-Bode-Str. 10, 34127 Kassel E-Mail: [email protected],