User-based Assessment inGamesSeminararbeitPhilipp HindererKOM-Multimedia Communications Lab

Fachbereich Elektrotechnikund Informationstechnik

Fachbereich Informatik (Zweitmitglied)

Fachgebiet Multimedia KommunikationProf. Dr.-Ing. Ralf Steinmetz

User-based Assessment in GamesSeminararbeitKOM-Multimedia Communications Lab

Eingereicht von Philipp HindererTag der Einreichung: 05. Februar 2013

Gutachter: Dr. Stefan GöbelBetreuer: Johannes Konert

Technische Universität DarmstadtFachbereich Elektrotechnik und InformationstechnikFachbereich Informatik (Zweitmitglied)

Fachgebiet Multimedia Kommunikation (KOM)Prof. Dr.-Ing. Ralf Steinmetz

Ehrenwörtliche Erklärung

Hiermit versichere ich, die vorliegende Seminararbeit ohne Hilfe Dritter und nur mit den angegebenenQuellen und Hilfsmitteln angefertigt zu haben. Alle Stellen, die aus den Quellen entnommen wurden,sind als solche kenntlich gemacht worden. Diese Arbeit hat in dieser oder ähnlicher Form noch keinerPrüfungsbehörde vorgelegen.

Darmstadt, den 05. Februar 2013 Philipp Hinderer

i

Inhaltsverzeichnis

1 Einleitung 1

2 State of the Art 32.1 Minecraft . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52.2 Little Big Planet . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62.3 Draw Something . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7

3 Einflüsse auf die Effektivität von Feedback 93.1 Kriterien für die Bewertung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9

3.1.1 Qualitative und quantitative Elemente . . . . . . . . . . . . . . . . . . . . . . . . . . . 113.1.2 Zeitpunkt und Umgebung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12

3.2 Typen und Ebenen von Feedback . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13

4 Generalisierung der Kriterien für Nutzerbewertung 154.1 Modell eines Bewertungsformulars . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 154.2 Anwendung des Modells . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16

5 Ausblick 19

Literaturverzeichnis 19

iii

Abbildungsverzeichnis

2.1 Minecraft Screenshot . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52.2 Little Big Planet Screenshot . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62.3 Draw Something Screenshot . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8

4.1 Modell für das Erstellen eines Bewertungsfragebogens . . . . . . . . . . . . . . . . . . . . . . 16

v

1 Einleitung

Immer mehr Computer- und Videospiele, sowohl aus dem Bereich der rein kommerziellen Games alsauch dem der Serious Games, stellen den Spieler vor kreative Aufgaben. Oft handelt es sich dabeium grafische Aufgabenstellungen, wie die Anfertigung einer Zeichnung oder das Erstellen von Level-strukturen. Aber auch andere Themen, zum Beispiel das Schreiben eines Textes, wären denkbar. Solchekreativen Problemlösungen können durch die Spieler vollkommen unterschiedlich bewältigt werden. Bit-tet man zum Beispiel zwei Personen einen Baum zu zeichnen, so bleibt die Wahl der Farben oder desZeichenstifts (sofern es eine Auswahl gibt) ihnen überlassen. Auch die Komposition des Bildes an sichund somit die Gestaltung des Baumes, kann man nicht vorhersagen. Trotzdem stellt sich die Frage, wieman erkennen kann, ob und mit welcher Qualität eine Aufgabe erfüllt wurde. Durch den Computer sinddie Ergebnisse algorithmisch jedenfalls nur schwer zu berechnen. Bewegt man sich in Kategorien wieÄsthetik eines Bildes, oder dem Spaßfaktor eines Levels, hat man es ohnehin mit sehr subjektiven Maß-stäben zu tun. Besonders der Spielspaß lässt sich bisher noch nicht sinnvoll einstufen [2]. Aus diesemGrund wird meist auf eine nutzergestützte Bewertung zurückgegriffen.

Ein real existierender Nutzer kann anhand bestimmter Kriterien schnell und einfach entscheiden, obdie Lösung eines Problems gut oder schlecht ist. Die Bewertung durch andere Personen hilft dem Spielerseine schwer messbare Lösung vergleichbar zu machen. Der Spieler erhält somit einen Anhaltspunkt,wie gut seine Fähigkeiten im Bezug auf die Aufgabe ausgeprägt sind. Je nachdem, wie ausführlich dasFeedback ist, das ein Nutzer auf diese Weise erhält, kann die Bewertung helfen, ähnliche Aufgaben inZukunft besser zu meistern. Ist die Aufgabe schwieriger oder abstrakter kann eine Bewertung auch hel-fen, das allgemeine Verständnis zu verbessern. Ein Spieler, der einen Baum gemalt hat, lernt also nichtnur bessere Bäume zu zeichnen, sondern verbessert generell seine Zeichenfertigkeit. Somit vermittelt dieKommunikation mit anderen Spielern einen Lerneffekt [5]. Wie in einem Klassenzimmer kann geradedie Kommunikation unter den Nutzern einen großen Beitrag zum Erreichen von Lernzielen bedeuten[4]. Dies steht im Kontrast zu der alleinigen Bewertung durch das Spiel. Bei der Anwendung von nut-zerbasierter Bewertung muss man jedoch darauf achten, wie bewertet werden soll. Studien zeigen, dassdie Art von Feedback nicht nur positive, sondern auch negative Auswirkungen haben können [6] [1].Falsch platzierte Kritik kann demotivieren und Lob ohne weitere Ausführungen kann einen Nutzer dazuverleiten, sich auf seinen Lorbeeren auszuruhen. Für ein Spiel gilt es also, darauf zu achten, zu welchemZeitpunkt bewertet wird, wie genau die Bewertung erfolgt, also welche Punkte ein Nutzer bei einer Be-wertung abarbeitet und in welcher Umgebung ein Spieler bewertet wird. Passen all diese Kriterien zudem jeweiligen Spielgenre kann der Effekt, den die Bewertung auf einen Spieler hat, vergrößert werden.

In dieser Abhandlung werden zunächst anhand einiger Beispiele die bereits genutzten Formen vonnutzerbasierter Bewertung in Spielen aufgezeigt, auch wenn diese Methode derzeit selten wirklich prak-tiziert wird. Aus Zeitgründen kann dabei nur auf einige prägnante Genres eingegangen werden. Danachwerden die allgemeinen Kriterien für nutzerbasierte Bewertung (nicht nur aus dem Bereich der Spiele,sondern auch ein Schulklassenkontext ist denkbar) erarbeitet und aufgestellt. Mit diesen Kriterien wirdzunächst ein genreunspezifisches Modell für nutzerbasierte Bewertung aufgestellt, welches im Anschlussauf ein ausgewähltes Genre zugeschnitten wird. Wegen der Vielfalt an Spieltypen können hier unmöglichalle Arten von Spielen betrachtet werden. Im letzten Schritt werden die Ergebnisse zusammengetragenund ein Ausblick auf die Zukunft der nutzerbasierten Bewertung gegeben.

1

2 State of the Art

In moderneren Spielen werden Bewertungen durch Nutzer in der Regel bei sogenanntem "user-generatedcontent" verwendet. Dabei handelt es sich um Level oder andere Spielinhalte, die mit Hilfe von Editorenvon Spielern erstellt werden können. Ein Spieler kann einfach aus einer Palette die Objekte seiner Wahlauswählen und platzieren, wie zum Beispiel bei dem Spiel Little Big Planet (siehe gleichnamiges Kapitel).Ob er sich dabei selbst einer konkreten Aufgabe stellt (baue ein Haus, male einen Baum), oder ob dassimple Erschaffen ihm in erster Linie zum Spielspaß dient bleibt dem Spieler überlassen. Nur manchmalwird von der Seite des Spiels einem Nutzer eine wirklich konkrete Aufgabe gestellt, dann fehlt dieserentweder der kreative Teil (bei Point-and-Click Adventures wie Myst gibt es zum Beispiel nur einen Weg,wie man weiterkommt), oder sie wird hauptsächlich vom Computer bewertet (bei der Devil May Cry-Serie und fast immer beim Hack-and-Slay-Genre bewertet der Computer die Performance eines Spielersin einem Level).

Ein Nutzer kann nun die generierten Inhalte (über das Spiel selbst) anderen Spielern zur Verfügungstellen. Plattformen für diese Inhalte ermöglichen dann die gezielte Suche nach gut bewerteten Inhaltenund weisen automatisch auf beliebte Inhalte hin (auch hier dient Little Big Planet als gutes Beispiel). Sokönnen Nutzer ihre Level oder andere Spielinhalte einfach verbreiten und von anderen Nutzern Bewer-tungen erhalten, sofern dies möglich ist über die Verbreitungsplattform selbst. In diesem Fall wird dannvorgegeben auf welche Art einem Spieler Feedback gegeben wird. Spiele wie Infamous 2 (ein Action-Adventure, das Spielern erlaubt, eigens erstellte Level im Hauptspiel zu platzieren) nutzen eine einfacheSternwertung für ein qualitatives Feedback, während Spiele wie Little Big Planet darüber schon hinaus-gehen (s.u.). Ansonsten können einfache Kommentare oder Nachrichten an den Spieler als Bewertungherhalten. Teile von Social Media Anwendungen oder direkt eine Unterstützung von Social Media findensich in einigen Plattformen für Spielerinhalte wieder. Da Spiele teilweise für zusätzliche Inhalte ohne-hin schon auf Netzwerke wie das Playstation Network oder Steam zurückgreifen, können diese Systemeauch genutzt werden, um Nachrichten zu schreiben und Freunde hinzuzufügen. Little Big Planet nutztdie Playstation Network Accounts und auch Spiele wie Counterstrike (ein beliebter Ego-Shooter, der miteiner großen Basis an Fans auch viele Spieler hat, die eigene Levels erstellen), die mit Steam arbeiten,haben zwar keine direkte Verbreitungsplattform, aber Ansätze des Social Media. Man kann sich so überneue Inhalte austauschen, um deren Bekanntheitsgrad zu steigern, oder sogar weiteres Feedback in Formvon Meinungen und Hilfestellungen erhalten, respektive vergeben.

Ist ein Inhalt einmal hochgeladen, kann jeder andere Spieler diesen ansehen, um sich ein eigenes Bildvon der Qualität (des Levels, etc.) zu machen. Danach hat der Nutzer die Möglichkeit mit vordefinier-ten Fragebögen den Inhalt zu bewerten. Solche Fragebögen können und sollten je nach Aufgabestellungund Genre unterschiedlich ausfallen. Sie können von einfachen Zahlangaben (zum Beispiel 4 von 5 Ster-nen oder ähnliches), bis hin zu Textfeldern reichen. Dabei unterscheidet man in erster Linie zwei Artenvon Bewertungselementen, die quantitativen und die qualitativen Elemente. Quantitative Elemente er-möglichen die Vergleichbarkeit der Werte zwischen verschiedenen bewerteten Inhalten. Welcher Art siesind und auf welcher Skala quantitative Elemente operieren ist dabei irrelevant, sie zeigen hauptsäch-lich, wie ein Bewertungsgegenstand einzustufen ist (ähnlich einer Highscore-Liste). Qualitative Elementehingegen erlauben einem Bewerter andere Möglichkeiten. Meist sind es Textfelder oder ähnliche freieMöglichkeiten, die erlauben konkret auf einen Inhalt oder einen Nutzer einzugehen und so Besonderhei-ten oder gar Defizite der jeweiligen Lösung aufzuzeigen. Sie erlauben es einem Spieler die Bewertungzu verstehen, selbst zu reflektieren, wie man ein solches Problem besser lösen kann und letztendlich zulernen. Je besser ein qualitatives Element (und dessen späterer Inhalt) auf eine Aufgabe zugeschnitten

3

ist, desto größer ist der Lerneffekt [1].

Besonders letztere Feedbackarten ermöglichen viel präziseres und individuelleres Feedback, jedochkann man sie schwer für eine allgemeine Wertung verrechnen. Der Unterschied zwischen einem "sehrgut" und einem "toll" ist semantisch kaum abzugrenzen, erst recht, da kreative Aufgaben von sich ausschwer vergleichbar sind. Schließlich muss ein Baum, der mit einer anderen Stiftart gemalt wurde nichtzwangsläufig schlechter sein. Für die meisten Spiele, die sehr oft einen Highscore Gedanken beinhalten,der die Konkurrenz unter den Spielern steigern soll, erscheint eine reine qualitative Bewertung also un-praktisch.

Eine Qualitätsangabe in Form von Zahlenwerten hingegen kann auch bei sehr vielen Bewertungengut zu einem Durchschnittswert berechnet werden. Durch die Größe der Bewertungsskala und weiterequantitative Elemente, die in eine Bewertung mit einfließen, kann man sogar die Platzierung der nut-zerbewerteten Elemente wesentlich präzisieren. Aspekte wie die Zeit oder die Anzahl der Züge könnengenauso gut zur Vergleichbarkeit dienen, wie eine subjektive Gesamtnote.

Andere Spiele ermöglichen es, ohne einen vordefinierten Fragebogen Feedback zu erhalten. Dabei ste-hen der Ersteller eines Inhaltes und andere Nutzer in direktem Kontakt. Ein Spieler kann somit demErsteller mitteilen, ob ihm die Lösung gefällt oder nicht. Und wenn nicht, wo sich der Ersteller nochverbessern kann. Auch wenn es so für die Bewertung weniger Anhaltspunkte gibt und man sie nicht zueinem Durchschnittswert verrechnen kann, hat diese Art von Feedback ihre Vorteile. Sie ist hoch indivi-duell und kann bei jeder Art von Aufgabenstellung verwendet werden. Durch die Individualität wird derBezug zum Ersteller des Inhaltes gesteigert, so dass der Ersteller das Feedback besser verstehen kann.Individuelles Feedback kann also im Allgemeinen die Effektivität steigern [3]. Mit einem freien Feedbackohne Fragebogen oder sonstige Richtlinien läuft man aber gleichzeitig Gefahr, dass sich ein Bewerternur unstrukturiert äußert, was wieder zu Missverständnissen führen kann. In dem schon mehrmals er-wähnten Beispiel des Baumzeichnens ist eine mehrseitige Abhandlung, die sich erst einer Analyse derverwendeten Farben widmet, um dann im letzten Absatz mitzuteilen, dass das Bild gelungen ist, sicher-lich nicht hilfreich. Bei Fragebögen (ohne direkten Kontakt) muss dagegen zumindest die grobe Natureiner Aufgabe bekannt sein, wenn sie nicht nur aus einem einzigen Bewertungskriterium bestehen sollte.

So verschieden die Bewertungsarten auch sind, so fällt bei genauerer Betrachtung aktueller Spiele auf,dass kein näher bekanntes überhaupt auf eine direkte Bewertung durch Nutzer zurückgreift. Die Erstel-lung von Inhalten durch Nutzer ist oft nur eine zusätzliche Funktion des eigentlichen Hauptspiels. Spielerdie immer mehr durch besondere Kreationen erschaffen oder extrem schwierige Aufgaben lösen, fördernnicht nur den Wettbewerb unter den Spielern, sondern sorgen auf gewisse Weise auch für Werbung, diedas Spiel bekannter macht. Ein Beispiel hierfür wäre Minecraft, dabei handelt es sich um eine SandboxSimulation, die es einem ermöglicht mit Spielressourcen Welten beliebig zu formen (hierzu folgen weite-re Erklärungen im Abschnitt 2.1). Im Falle von Minecraft wurde zum Beispiel das Raumschiff Enterprise

aus der Science-Fiction Fernsehserie Star Trek in Originalgröße nachgebaut. Bestimmte Aufgaben kön-nen mit nutzerbasierter Bewertung zwar präziser eingestuft werden, aber besonders in kommerziellenSpielen bleiben Aufgaben, die kreative Problemlösung ermöglichen oft einfach unbewertet oder werdendurch den Computer mehr oder weniger eingestuft durch Zeitangaben, einfache quantitative Bewertun-gen oder spielinterne sogenannte Achievements. Bei einigen Genres, die Spiele hervorbringen, welchenur eine einzige Lösung der gestellten Aufgaben haben, zum Beispiel Casualgames wie Puzzlespiele undSudoku, erscheint eine Nutzerbwertung unpraktikabel.

Auch kann nutzerbasierte Bewertung in Spielen sehr ähnlich zu Social Media Anwendungen sein.Vorher vielleicht unbekannte Nutzer treten in Kontakt, unterhalten sich direkt über ihre Lösungen undversuchen sich gegenseitig zu helfen und sich zu verbessern. Es können Gruppen entstehen, die sich

4 2 State of the Art

bestimmten Aufgaben widmen und im Klassen- oder Arbeitsgruppenverband gemeinsam an Lösungenarbeiten. Die Lösungen können dann durch quantitative Bewertungen sehr gut mit anderen verglichenwerden. Die Art des Genres spielt wie in mehreren Aspekten erwähnt eine sehr große Rolle, was Feedbackund Nutzerbewertung angeht. Sie legt nämlich fest welcher Natur eine Aufgabe ist und damit, welchesVorwissen und welche Fähigkeiten ein Spieler und ein Bewerter eventuell benötigt. Indirekt bestimmt einGenre die Aufgabentypen eines Spiels. Entsprechend den Aufgabentypen eines Spiels muss das Feedbackdann genau zugeschnitten werden.

Die folgenden drei Spiele wurden aufgrund ihrer Beliebtheit und ihrer verschiedenen Genres aus-gewählt, um sie ein wenig Näher auf Ansätze der Nutzerbwertungen zu untersuchen. Die Genres derdrei Spiel ermöglichen es besonders gut Aufgaben zu stellen, die kreative Problemlösung erfordern undkönnen daher besonders schwer durch einen Computer bewertet werden. Auch wenn die drei Spie-le höchstens Ansätze der nutzerbasierten Bewertung anwenden, könnten jedoch besonders diese starkdavon profitieren.

2.1 Minecraft

Minecraft1 ist ein ursprünglich für den PC ausgelegtes Spiel, dass auch andere Geräte langsam erobert.Es vereint Aufbauelemente von Simulations- und Strategiespielen mit Aspekten eines Rollenspieles. Insimpler Blockgrafik ist es einem Spieler möglich, sich durch Welten zu bewegen und verschiedenste Roh-stoffe abzubauen. Diese Materialien können nun auf beliebige Art und Weise erneut zusammengesetztwerden, um die ganze Spielwelt wortwörtlich umzubauen. Abgesehen von einigen Restriktionen, die be-stimmen, welche Elemente manipulierbar sind, hat ein Spieler vollkommen kreative Freiheit, wie er eineMinecraft-Welt umgestalten möchte. Von einzelnen Gebäuden bis hin zur gesamten Umgebung kann einSpieler alles zusammen bauen, sofern er die erforderlichen Ressourcen zur Verfügung hat.

Abbildung 2.1: Minecraft Screenshot

1 https://minecraft.net

2.1 Minecraft 5

Nun ist es einem Spieler möglich vorhandene Welten nach den eigenen Wünschen zu formen, oderselbst vollkommen neue Welten zu erstellen. Er kann sich dabei, als Herausforderung, bestimmten Auf-gaben stellen. Sei es, wie oben erwähnt, der Nachbau der Enterprise oder Ähnliches. Das Spiel erlaubt essogar, dass mehrere Spieler zusammen oder gegeneinander arbeiten. Besonders im Multiplayer gibt es(zumindest von Seiten des Spiels) kein festgelegtes Ziel, ein Spieler kann sich nur selbst Aufgaben stel-len, was es zusammen mit der grafischen Natur von Minecraft sehr schwierig macht für einen Computerzu erkennen, ob eine Welt eines Spielers gut oder schlecht ist. Grundsätzlich müsste in einem derartigenFall zunächst festgelegt werden, was bei Minecraft objektiv als gut zu bewerten wäre. Ganz ohne Zielwäre eine Bewertung gar nicht sinnvoll möglich [6].

Danach kann der Spieler beginnen seine Welt zu verbreiten. Im Hinblick auf die Verbreitung bietet Mi-

necraft an sich wenig Möglichkeiten, so dass sich viele Fans auf unterschiedlichen Internetportalen2 zu-sammengeschlossen haben, um Minecraft-Inhalte auszutauschen. Teilweise wird auch über unterschied-liche Social Media Plattformen auf Minecraft Welten aufmerksam gemacht. Auf den unterschiedlichenInternetseiten hat man es zwangsläufig mit ganz verschiedenen Bewertungskriterien zu tun. Dort ist dieeinzige Form von der Nutzerbewertung ein direkter Kommentar an den Ersteller der Welt, kombiniertmit ein oder zwei quantitativen Elementen, sei es eine Sternwertung oder die Anzahl der Downloads.

2.2 Little Big Planet

Ausschließlich für Sony Spielekonsolen erhältlich ist Little Big Planet, ein Spiel, das sich am ehesten indas Jump’n’Run-Genre einordnen lässt. Der Spieler übernimmt die Kontrolle eines Sackboys3 , durchquertunterschiedlichste Level und verdient sich mit der Zeit hierbei weitere Spielobjekte unterschiedlicher Art.Diese dienen neben dem Sammelgedanken dazu, die Spielfigur umzugestalten, oder sie können in eigenserstellten Levels platziert werden.

Abbildung 2.2: Little Big Planet Screenshot

2 http://www.minecraftworldmap.com3 Der Name Sackboy kommt von dem Aussehen, der kleinen aus grobem Stoff bestehenden Figur.

6 2 State of the Art

Ein Spieler hat also die Möglichkeit, mit den gefundenen und verdienten Objekten nicht nur seineneigenen Avatar, den Sackboy, kreativ zu gestalten, sondern auch ganz eigene Levels zusammenzusetzen.Sie mit Storyelementen wie Sprechblasen oder bestimmten Events (zum Beispiel wird nach dem Akti-vieren eines Schalters eine Tür geöffnet) zu versehen. Für das Erstellen von eigenen Levels gibt es keinewirklichen Richtlinien, es muss einzig einen Anfangs- und einen Endpunkt haben, um es in Jump’n’Run-Manier durchqueren zu können.

Da es auch hier keine festen Regeln gibt, die ein Computer verwenden könnte, um ein Level zu ana-lysieren, ist die Bewertung ohne Spieler umständlich. Sollte ein Level gut sein, nur weil diese oder jeneSprungpassage besonders schwierig ist? Little Big Planet hat deswegen ein eigenes Bewertungssystemeingebaut, das mit einer Verbreitungsplattform verbunden ist, so dass jeder Besitzer von Little Big Planet

im Spiel neue Levels von anderen Spielern ansehen und bewerten kann. Hat ein anderer Spieler einLevel abgeschlossen sieht er einen kurzen Fragebogen, der aus einigen quantitativen und einem quali-tativem Element besteht. Zunächst kann er dem Level eine Gesamtwertung in Form von maximal 5 von5 Sternen geben. Danach können aus einer Liste von Schlagwörtern passende Wörter, wie "schön" oder"spaßig" ausgewählt werden, um das Level zu beschreiben.

Liste der möglichen Wörter: abgefahren, albern, aufreibend, befriedigend, brillant, düster, Einzelpfad,elektrisch, Endgegner, entspannend, Fahrzeuge, federnd, feurig, flott, frustrierend, Gas, gefahrvoll, Ge-heimnisse, Gehiiiiiirne..., Gleichgewicht, großartig, gruselig, gut, harte Nuss, hässlich, hektisch, hori-zontal, hübsch, knifflig, komplex, kunstvoll, kurz, lang, langsam, lästig, leer, leicht, lustig, Maschinen,Maschinerie, mechanisch, melodisch, mies, monoton, Multipfad, niedlich, Plattformen, prächtig, Punkte-orgie, raffiniert, Rampen, rasch, Rennen, Sammelbares, schaukelig, schlecht, schnell, schön, schwebend,schwer, seltsam, Spaß, Spielzeuge, Stacheln, Stickers, Teamwork, Timing, variierend, verrückt, vertikal,voller Blasen, Wettkampf, witzig, Zugelemente

Andere Elemente listen die Anzahl der erfolgreichen Durchläufe auf, die Anzahl aller Durchlaufe, wanndas Level erstellt wurde, wie viele Spieler diese Level als Favorit gewählt haben, außerdem gibt es nochein Highscore-Liste und die Möglichkeit Kommentare zu geben. Über die integrierte Verbreitung derLevels kann nach gutbewerteten Levels oder solchen die bestimmte Adjektive als Schlagwörter habengesucht werden. Der Ersteller des Levels bekommt durch dieses Feedback eine relativ genaue Angabe,wie viele Spieler sein Level schon angesehen haben, wie sie es bewerten würden und durch die Adjektive,wie sie es empfanden.

2.3 Draw Something

Draw Something ist eine App für Smartphones und Tablets jeglicher Art, die mehr im Bereich der CasualGames anzusiedeln ist und richtet sich somit an eine sehr breite Masse von Benutzern. Ziel des Spiels istes, im Wechsel mit einem anderen Spieler einen ausgewählten Begriff so zu malen, dass dieser ihn mitmehreren Buchstaben zur Auswahl, erraten kann. Dabei wird der Prozess des Malens und des Erratensgenau aufgezeichnet, sodass der jeweils andere immer sehen kann, wie lange der Prozess gedauert hatund gegebenenfalls wo Schwierigkeiten lagen.

Dass ein Computer eine Zeichnung, die auf einem Begriff basiert kaum erkennen kann ist klar, schließ-lich kann jeder Mensch einen Begriff anders darstellen. Erst recht wenn ein Wort als Synonym für etwasanderes dienen kann wird eine automatische Erkennung schwierig. Es wäre recht aufwändig eine com-puterbasierte Bewertung zu verwenden, aber im Fall von Draw Something ist das auch nicht nötig. Durchden direkten Kontakt mit einem anderen Spieler hat man schon eine, wenn auch teilweise indirekte,Bewertung.

2.3 Draw Something 7

Durch die Videos kann der andere Spieler sofort erkennen was gegebenenfalls missverständlich warund richtiges Erraten wird von dem Spiel sofort mit einer spielinternen Währung, mit der man mehrBegriffe und Farben kaufen kann, belohnt. Weiterhin bietet Draw Something die Möglichkeit nach demZeichnen oder dem Erraten Kommentare abzugeben, so dass ein Spieler nochmals klarstellen kann, wasman hätte besser machen können. Auf gewisse Weise wird in diesem Spiel also Kreativität belohnt, jesimpler eine Zeichnung ist, desto einfacher kann man sie erraten. Fantasievolle Zeichnungen hingegenfördern den Spielspaß und hinterlassen einen gewissen Eindruck auf andere Spieler. Dadurch, dass manbei manchen Begriffen und Zeichnungen um die Ecke denken kann, zeigt sich auch ein Aspekt, derlogisches Denken fördert.

Abbildung 2.3: Draw Something Screenshot

8 2 State of the Art

3 Einflüsse auf die Effektivität von Feedback

Nutzerbasierte Bewertungen dienen in erster Linie dazu, Aufgaben einzuordnen, die man sonst nurschwerlich bewerten kann. Auf eine Bewertung durch den Computer zurückzugreifen ist in vielen Fällenmit kreativen Aufgabenstellungen nicht sonderlich effektiv oder schlichtweg unmöglich. Deswegen bie-tet es sich an, auf eine Nutzerbewertung zurückzugreifen, schon um mehrere Lösungen vergleichen zukönnen. Abgesehen davon bietet die nutzerbasierte Bewertung aber noch andere große Vorteile. Durchdie Möglichkeit Feedback zu geben und zu erhalten wird zum einen das Lernen unterstützt [1] und zumanderen werden soziale Bindungen etabliert oder verstärkt [5]. Durch einen Fragebogen ist dem Erstel-ler eines Inhaltes und dem Bewerter auch unmittelbar klar, welche Schlüsselaspekte bei einem Problembesonders wichtig waren. Eine Zeichenaufgabe könnte sich zum Beispiel mit Konzeption und Ästhetik be-fassen. Auch ohne ein Experte zu sein erhält man einen Hinweis, was näher betrachten werden sollte. Esmag noch andere Formen für nutzerbasierte Bewertung geben, aber ein sorgfältig erstellter Fragebogenerscheint erst recht im Kontext von Spielen besonders praktisch, deswegen wird nur diese Möglichkeitnäher betrachtet.

Aber was macht nun eine gute Bewertung aus? Wie muss ein Fragebogen gestaltet sein, damit Feed-back für einen Spieler sinnvoll ist? Es gibt viele unterschiedliche Faktoren, die die Effektivität einesFeedbacks beeinflussen, von denen wiederum sehr viele in unterschiedlichen Studien näher betrachtetwurden. Es kommt auf den Zeitpunkt an, zu dem eine Bewertung erfolgt [6]. Der genaue Inhalt einesFeedbacks und dessen Form ist wichtig für denjenigen, der es erhält [1]. All diese Faktoren können die Ef-fektivität erhöhen und vermindern [1]. Letzteres gilt es selbstverständlich zu vermeiden, deswegen mussbereits bei der Planung eines Bewertungsfragebogens darauf geachtet werden, welche dieser Faktorenman abdeckt und daher wie ein Feedback erfolgt.

Einflüsse auf das Feedback haben zusammengefasst:

• Inhalt (werden die drei Fragen konkret beantwortet s.u.)• Form (ist die Bewertung klar strukturiert und verständlich)• Zeitpunkt der Bewertung (unmittelbar oder verzögert)

3.1 Kriterien für die Bewertung

Genauso wie sich kreative Problemlösungen schlecht durch einen Computer generalisieren lassen, ist esauch bei Nutzerbewertung schwierig eine perfekte Formel für ideales Feedback zu geben. Stattdessenmuss man viele Kriterien betrachten, diese abwägen und im Hinblich auf Spielgenre und Aufgabenstel-lung anpassen [7]. Alle Faktoren, Kriterien und Genres genau zu betrachten, die ein Feedback und damiteine Nutzerbewertung beeinflussen, würde den Umfang dieser Arbeit übersteigen. Deswegen werden imFolgenden nur die wichtigsten und prägnantesten Aspekte betrachtet.

Damit ein Feedback effektiv ist muss es einige Fragen sinnvoll beantworten können, anderenfalls hatentweder der Bewerter sich nicht gewissenhaft genug mit einer Problemlösung auseinandergesetzt, oderder Fragebogen der Bewertung war nicht passend aufgebaut. Wo gehe ich hin bzw. was sind meine Ziele("feed up"), wie erreiche ich diese ("feed back") und was kommt als nächstes ("feed forward")[1]? DieseFragen sollen einem Nutzer helfen sich bei einer Aufgabenstellung zu orientieren und seine Kenntnissezu verbessern. Im Kontext von Spielen sind diese Fragen nicht ganz so komplex. Das feed up, also die(Lern-)Ziele sind in erster Linie die kreativen Aufgabenstellungen eines Spiels. Es können aber noch wei-tere Ziele hinzu kommen. Vielleicht möchte ein Spieler gewisse Fähigkeiten erarbeiten, möglicherweisedient das Spiel in einem mehr schulischen Kontext einem Lehrer seinen Schülern Wissen zu vermitteln.

9

Wie auch immer feed up aussieht, es definiert, was erreicht werden soll und damit, worauf man beimfeed back das Augenmerk richten sollte. In erster Linie, besonders bei Spielen, handelt es sich dabei umdie Aufgabenstellung selbst. Der nächste Punkt, feed back, ist die eigentliche Bewertung. Hierbei gehtdarum, dass ein Nutzer feststellt, wie weit ein Spieler beim Lösen einer Aufgabe voran geschritten ist. BeiZeichenaufgaben wird hier also gesagt, wie gut ein Bild gelungen ist und woran der Zeichner noch arbei-ten muss. Es ist eine Rückmeldung über die Fähigkeiten eines Spielers und sagt aus, wo er sich in einemLernprozess im Moment befindet. Idealerweise kommt das feed back von jemandem, der mit der Materievertraut ist, andernfalls ist es möglich, dass die Bewertung unstrukturiert und damit unverständlich wird.Schließlich soll der Spieler richtige Lösungen verstehen und falsche ersetzen [3], was schwer fällt, wennder Spieler schon die Kommentare sprachlich nicht versteht. Besonders effektiv ist feed back wenn eineBewertung von einer Person abgegeben wird, die gleichgestellt (im Sinne von Hierarchie, also auch einStudent, Schüler, etc.) oder im Wissensgebiet der Aufgabe genauso fortgeschritten ist (oder ein wenigweiter ist) [5]. Dieser Aspekt lässt sich durch die simple Masse an möglichen Bewertungen wieder wettmachen. Durch den wisdom of the crowd1 Gedanken hat man durch die Berechnung eines Durchschnit-tes bei der Bewertung kreativer Aufgaben auch eine gute Angabe über die Fähigkeiten eines Spielers.Als letztes dient feed forward dazu, einem bewerteten Nutzer festzulegen was der nächste Schritt ist.Geht es bei dem Spiel um das Erlernen bestimmter Fähigkeiten, Zeichnen erscheint auch hier ein gutesBeispiel, dann könnte der nächste durch die Bewertung angeratene Schritt sein, sich schwierigeren Auf-gaben zu stellen. Hat ein Spieler das Zeichnen eines Baumes gemeistert, so könnte man ihm empfehlen,sich ein Gesicht oder ein Tier als nächstes vorzunehmen. Durch den steigenden Schwierigkeitsgrad kannder Spieler seine Fähigkeiten verbessern und mit den richtigen Hinweisen in den Bewertungen dies auchin einem ihm angemessenen Tempo tun.

Diese drei Aspekte (feed up, feed back und feed forward) haben also einen erkennbaren Nutzen undAuswirkungen auf die Effektivität von Feedback, indem sie helfen, die Lücken zwischen einem zu errei-chenden Ziel und dem derzeitigen Stand aufzeigen, außerdem helfen sie diese zu überbrücken [1]. ImKontext von Spielen im Allgemeinen und mit kreativen Problemlösungen im Besonderen ist das feed upmit dem Genre bzw. der Aufgabenstellung bereits festgelegt. Mit einem Spiel, das die Kompetenzen beimkreativen Schreiben verbessern soll, ist von vorn herein klar, dass zum einen die Kreativität und zumanderen die Sprachsicherheit gesteigert werden soll. In einem Bewertungsfragebogen kann man daherdirekt auf die Lernziele des feed forward eingehen. Ein Bewerter könnte zum Beispiel oben angespro-chene Fähigkeiten (Kreativität und Sprachkompetenz) quantitativ einordnen.

Feed back konzentriert sich auch bei Spielen als nächstes auf den eigentlichen (Lern-)Prozess. Wennman sich als Ziel setzt ein Vorlagenbild genauso gut selbst zu malen (was schon ein feed forward dar-stellt), dann würde das feed back erklären, wie gut oder schlecht ein Spieler das aktuelle Bild angefertigthat. Der Hinweis, dass die Blätter eines Baumes nicht gut getroffen sind wäre also feed back. Denn esgibt den aktuellen Stand beim (Lern-)Prozess des Spielers wieder und beinhaltet in gewisser Weise sogarnoch das feed forward. Schließlich suggeriert es, sofern die Bewertung nicht sogar direkt darauf hin-weist, dass die Fähigkeit Blätter zu zeichnen verbessert werden muss (obwohl feed forward nicht an denProzess, also die aktuelle Aufgabe gebunden sein muss, sondern auch Hinweise geben kann, die nichtsmit der aktuellen Aufgabe zu tun haben).

Bezüglich des feed forward kann man hingegen keine eindeutige Antwort für die Domäne der Spielegeben. Geht es um Spiele, die ohnehin auf Levelstrukturen aufbauen, wäre die intuitive Antwort: dasnächste Level ist die nächste Aufgabe. Aber wenn man es mit ungreifbaren Konzepten, wie Kreativität,Spaß und Ästhetik zu tun hat, was bei kreativen Problemstellung zweifellos der Fall ist, wird es schwierig

1 wörtlich Weisheit der Menge, damit ist gemeint, dass bei einem Faktum des Allgemeinwissens die Mehrheit die richtigeAntwort weiß. Somit erhält man im Durchschnitt eine korrekte Antwort auf eine Frage, auch wenn falsche Antwortenenthalten sind.

10 3 Einflüsse auf die Effektivität von Feedback

eine Antwort zu finden. Der einfache Hinweis "jetzt baue ein noch spaßigeres Level als zuvor" hilft einemSpieler wenig, denn dann müsste er sich, um genau zu wissen was besser ist, die Frage stellen, wie manSpaß messen kann. Hierfür gibt es jedoch keine klar definierte Antwort [2]. Bewertungen von Spielern,die im Lernprozess oder von ihren Fähigkeiten her schon weiter sind, können in diesem Fall jedochhelfen, da qualitative und quantitative Elemente eine Lösung vergleichbar machen, kann ein Spielererkennen was für ihn das feed forward beantwortet. [1]

3.1.1 Qualitative und quantitative Elemente

Wie schon zuvor erwähnt enthält der Fragebogen eines Feedbacks zwei verschiedene Arten von Fra-gen bzw. Bewertungselemente: die qualitativen und die quantitativen Elemente. Man kann die Fragenund somit auch die suggerierten Antwortmöglichkeiten zwar auf unterschiedliche Art und Weise stellen,letztendlich entscheidet aber die Information, die eine Frage liefern soll, ob ein Element quantitativ oderqualitativ ist. Die Frage "wie würdest du die Lösung bewerten" könnte man auf qualitative und quan-titative Weise beantworten. Ist als Antwort jedoch nur eine Wertung auf einer Skala von eins bis zehnzugelassen, handelt es sich eindeutig um ein quantitatives Element.

Bei qualitativen Elementen handelt es sich meist um Textfelder, die längere Antworten in Form vonFließtext oder Stichpunkten ermöglichen. Nur die Größe eines Textfeldes und die eigentliche Frage desqualitativen Elements geben einem Bewerter Anhaltspunkte, wie die Frage zu beantworten ist. Dement-sprechend muss man beim Erstellen eines Bewertungsfragebogens darauf achten, wie ein qualitativesElement formuliert ist. Man muss also die Fragen an den Kontext der Aufgabe des Spiels angleichen [7].Oft zielen qualitative Elemente auf die subjektive Meinung eines Bewerters ab. Erfahrene Nutzer könnenso weniger erfahrenen Spielern Hinweise geben, wie Aufgaben und Probleme leichter oder zumindestbesser zu lösen sind. Gleichzeitig können qualitative Bewertungselemente auf den jeweiligen Spielerindividuell zugeschnitten werden. Hat ein Bewerter beispielsweise Kenntnis über die persönlichen Fä-higkeiten eines Spielers, kann er diese einfließen lassen. Dabei ist es irrelevant, ob diese Kenntnis daherresultiert, dass der Bewerter schon zuvor bearbeitete Lösungen gesehen hat, oder weil sie ähnlich einerSchulklasse regelmäßig miteinander zu tun haben. Individuelles Feedback hat dann den Vorteil eine grö-ßere Wirkung zu erzielen [7], sofern es nicht auf den Spieler selbst abzielt ("du bist nicht besonders gutin diesem Aufgabentyp"), sondern auf seine Fähigkeiten ("diese Aufgabe ist nicht besonders gut gelöst,weil...") [6]. Wichtig ist aber auch, dass sich ein Bewerter in qualitativen Elementen erklärt. Eine einfa-che Antwort wie "die Lösung hat mir nicht gefallen, weil sie falsch ist" hilft einem Spieler nicht weiter[3], deswegen sollten die Fragen so suggeriert sein, dass man sich nicht automatisch kurz fasst. Ja- odernein-Antwortmöglichkeiten sind daher ungeeignet und eher bei quantitativen Elementen einzuordnen.

Quantitative Elemente sind zumeist einfache Fragestellungen, die als Antwort einen (Zahlen-)Wert aufeiner vorher festgelegten Skala erhalten. Wie ein Wert ausgewählt wird (ob selbst eingeben, ankreuzen,oder auf andere Weise) und wie der Wert aussieht bzw. welche Einheiten die Skala hat (z.B. Sterne, Pro-zente, ja/nein/unentschlossen-Auswahlmöglichkeiten) ist unwichtig. Im Kontext von Spielen kann mansogar qualitative Elemente in eine Wertung mit einfließen lassen, auf die ein Bewerter keine Möglichkeithat einzuwirken. Am Beispiel des Zeichnens oder des Schachspiels könnte dies die Anzahl der Züge sein.Die benötigte Zeit ist auch eine simple Möglichkeit die Qualität einer Lösung zu messen. Besonders beikreativen Lösungen kann aber die benötigte Zeit oder eine ähnliche automatische Wertung keine Aussagedarüber geben wie qualitativ hochwertig die Lösung ist. Teile eines Spiels wie Spaß und Ästhetik bleibenobjektiv unmessbar [2]. In solchen Fällen gilt es also, ein quantitatives Element zu benutzen, das einemBewerter die Möglichkeit gibt subjektive Gesamteindrücke abzugeben, wie zum Beispiel die Wahl derFarben bei einem Bild. Der Vorteil von quantitativen Elementen ist jedenfalls eindeutig. Durch die Werteschafft man unter mehreren Spielen eine Vergleichbarkeit (wie auf einer Highscore-Liste) durch die einSpieler sich einordnen und feststellen kann, wer besser und wer schlechter ist, sowie auf welchem Stand

3.1 Kriterien für die Bewertung 11

der Spieler selbst sich befindet (was eine der Schlüsselfragen eines effektiven Feedbacks ist [6]) und dasselbst dann, wenn sich Lösungen nur schwer vergleichen lassen. Mit der Masse an Bewertungen kannman nämlich auch aus den quantitativen Werten einen Durchschnitt berechnen, um so einen Spielernoch genauer in eine Skala einordnen zu können. Je größer die Masse an Bewertungen, desto eher kannman also übermäßig negative oder positive Angaben, die eine Wertung verfälschen würden, tolerieren.Für den Vergleich sollte dann die Skala eines quantitativen Elements nicht zu eng sein. Erlaubt die Skalanur "gut", "mittelmäßig" und "schlecht" nützt es wenig sich unter anderen Spielern einzuordnen, wennvon diesen alle "mittelmäßig" sind. Ist die Skala hingegen zu groß, läuft man unter Umständen Gefahrsich scheinbar willkürlichen Bewertungen auszusetzen. Für einen unerfahrenen Benutzer ist es sichernicht einfach nun abzugrenzen, wo der Unterschied zwischen 81% und 82% liegt. Es bietet sich also an,eine günstige Skalierung zu finden.

Betrachtet man beide Arten von Fragebogenelementen erscheint es sinnvoll, beide für ein gutes Feed-back unterzubringen. Die Highscores, die quantitative Elemente darstellen, sind ohnehin schon bei vielenSpielen üblich. Besonders bei kreativen Problemen braucht man quantitative Elemente, um die Lösungeines Spielers überhaupt vergleichbar zu machen, denn ansonsten wäre es schwer ein Maß für Qualitätfestzulegen [2]. Qualitative Elemente geben als nächstes genaue Erklärungen, die auf einen Spieler zu-geschnitten und personalisiert werden können. Mit diesen Hinweisen kann ein Bewerter dann angeben,was verbesserungswürdig war und idealerweise, wie ein Spieler seine Fähigkeiten, auf eine Aufgabe be-zogen, verbessert [3]. Durch die Kombination aus qualitativen und quantitativen Elementen werden alsodie drei Fragen für effektives Feedback beantwortet. Wie oben erwähnt folgt das feed up in der Regelaus der Aufgabenstellung selbst. Werte aus quantitativen Elementen und die Angabe, was ein Spieler inseiner Lösung gut oder schlecht gelöst hat, beantworten die Frage des feed back. Feed forward, die letzteder drei Aspekte, folgt dann schließlich aus den Hinweisen eines Bewerters in qualitativen Elementenund teilweise kann ein Spieler durch die Lösungen mit höheren Highscores erkennen, was er als nächstestun muss, um seine Kenntnisse zu verbessern.

3.1.2 Zeitpunkt und Umgebung

Für eine Bewertung ist es auch wichtig, wann und von wem, respektive in welcher Umgebung sie erfolgt.Zunächst widmen wir uns dem Zeitpunkt. Hier gibt es rein logisch nur zwei Möglichkeiten: entwederdas Feedback erfolgt unmittelbar nachdem ein Spieler eine Aufgabe gelöst hat, oder zeitverzögert. Wasgenau unmittelbar und verzögert bedeutet, also in welchem Zeitrahmen man sich bewegt ist durchauskontrovers diskutierbar. Für den Kontext von Spielen erscheint es jedenfalls nicht praktikabel, dass sicheine Bewertung je nach Aufgabe länger als ein paar Wochen verzögert. Bei dem Erwerb von Fähigkeiten,die regelmäßiges Üben, wie zum Beispiel Klavier spielen, erfordern wäre ein kürzerer Zeitraum sinnvol-ler und bei Aufgaben, die weniger kontinuierlich sein müssen, sondern einfach viel Nutzerbewertungenbenötigen, zum Beispiel das Erstellen eines Spiellevels, kann die Verzögerung größer sein. Eine langeVerzögerung erlaubt es zwar, eine falsche Lösung zu vergessen, um so eine neue Lösung besser zu erler-nen, aber im Kontext von kreativen Problemen kann man davon ausgehen, dass keine Lösung wirklichvollständig falsch ist. Somit macht es also mehr Sinn eine unmittelbare Bewertung zu benutzen. DerSpieler hat so seine Lösung besser im Gedächtnis und wird durch direkte Rückmeldungen möglicher-weise dazu ermutigt am Ball zu bleiben. Je nach Spiel und Umgebung (also den Nutzern und Faktorenwie Verbreitungsplattformen) ist es fast unmöglich, eine Bewertung wirklich unmittelbar durchzuführenbzw. forcieren. Es liegt in der Hand der anderen Nutzer, wann sie etwas bewerten, sofern die Umgebungsie nicht dazu zwingt und schließlich kann auch das Durcharbeiten einer größeren und komplexerenLösung Zeit benötigen. Daher wird bei Verzögerungen in der Zeitspanne von ca. einem Tag hier auchnoch von unmittelbar ausgegangen. [6]

12 3 Einflüsse auf die Effektivität von Feedback

Der andere Faktor, die Umgebung, soll hier als Überbegriff für die Situation und den Kontext dienen,in dem eine Bewertung erfolgt. Ist das Spiel für eine Schulklasse gedacht, in der die Schüler sich gegen-seitig bewerten? Handelt es sich um eine internetweite Nutzerbasis, die nicht mehr als die Usernamenvoneinander kennt? Die Zielgruppe bestimmt, wie viel Vorwissen man in einem Fragebogen verlangenkann und mit wie viel Bewertungen man ungefähr zu rechnen hat, letzteres ist wohl wichtig für Durch-schnittswerte der quantitativen Elemente. Auch bestimmte Bewertungsregeln, die außerhalb der Fragendes Fragebogens liegen sind Teil der Umgebung. Gibt es zum Beispiel festgelegte Bewerter (höher be-wertete Nutzer kümmern sich um niedriger bewertete)? Durch eine Umgebung mit engeren Kontaktenund gleichberechtigten Nutzern wird die Interaktion der Nutzer gefördert, was nicht nur den (Lern-)Prozess vereinfacht, sondern auch soziale Kompetenzen fördert [5]. Eine mehr schulische Umgebung,die die Nutzer in den Prozess mit einbezieht, ermöglicht bessere Selbstreflexion [4]. Spielumgebungen,die mehr Zusatzmaterial in Form von weiteren Aufgaben oder Informationen zur Verfügung stellen, ge-ben Spielern die Möglichkeit zielgerichteter und effektiver zu arbeiten [1][3]. Der Kontext, in dem einSpiel steht, kann also entscheidende Auswirkungen haben, ist aber auf Grund der Verschiedenheit vonSpielgenres, Aufgaben und Situationen schwer zu generalisieren. Auch hier kann man nur empfehleneine Nutzerbewertung an die Situation anzupassen. [7]

3.2 Typen und Ebenen von Feedback

Der Inhalt eines Feedbacks kann sehr unterschiedlich sein. Trotzdem kann man grob einige Typen vonAntworten, die ein Feedback liefert und einige Ebenen, auf denen eine Antwort erfolgt, unterscheiden.Kennt man diese Unterscheidungen lässt sich leichter angeben in welcher Situation welche Art von Feed-back geeigneter wäre.

Als erstes gibt es vier Ebenen von Feedbacks: aufgabenspezifisches, prozessspezifisches, Selbstregulations-und personenspezifisches Feedback. Ersteres bezieht sich auf die Aufgabe und deren Lösung. Dabei wirdangegeben, ob eine Lösung korrekt oder inkorrekt ist und in welche Richtung sie geht. Eine Angabe,ob die Lösung richtig oder falsch war erscheint als das Mindeste, das in einem Feedback vorkommenmuss. Da kreative Problemlösungen aber schwer als richtig oder falsch abzugrenzen sind, gehören zudieser Ebene weitere Erklärungen dazu. Als nächstes kommt die prozessspezifische Ebene. Sie beschäf-tigt sich damit, wie die Informationen (eines Feedbacks) an einen Spieler zu mehr Verständnis führen.Es geht also mehr um das wie (wie kann man einen Baum besser zeichnen), als um das was (war dieLösung richtig oder falsch). Die Ebene der Selbstregulation hingegen widmet sich mehr der Effizienz desNutzers. Hierbei versucht man einem Spieler also zu vermitteln, wie er seine eigenen Fähigkeiten nichtnur verbessern kann, sondern auch wie er leichter erkennt, was ein guter Lösungsweg ist. Man versuchtalso, um es anders auszudrücken, den Nutzer zu mehr Initiative bezüglich eines Ziels zu bringen. Dieletzte Ebene die personenspezifische, richtet sich unabhängig von der Aufgabe direkt an einen Nutzer.Es sind die Arten von Feedback, die bewiesenermaßen wenig mit effektiven Bewertungen gemein haben.Derlei Arten von Feedback kann man in Klassensituationen häufig antreffen, in denen die Fähigkeiteneiner Person bewertet und mit der Person selbst verknüpft werden (zum Beispiel "guter Junge" als Ant-wort auf einen gut geschriebenen Text). Für den Kontext von Spielen (mit kreativer Problemlösung) istklar, dass aufgaben- und prozessspezifisches Feedback wichtig ist. Hiermit kommt man schließlich auffeed back und feed forward zu sprechen. Selbstregulation in einer Bewertung zu beinhalten erscheintnicht notwendig. In vielen Situationen soll gerade der Spielspaß als Motivation für das Aneignen sonstlangweiliger Kenntnisse dienen. Aber den Spieler dazu zu bringen noch weitere Anstrengungen in zu-künftige Aufgaben zu investieren kann nicht schaden, deswegen kann man diese Ebene als optionalansehen. Von dem Gebrauch der letzten Ebene kann man jedoch nur abraten. Denn diese zeigt keinezusätzliche positive Wirkung, wenn man sie mit anderen Ebenen kombiniert und scheint auf sich gestelltsogar nachteilig zu sein, was relativ verständlich ist. Auf eine zeitaufwändige Arbeit an einer Lösungführt eine Rückmeldung der Art "du bist einfach schlecht" eher zu Demotivation. [6]

3.2 Typen und Ebenen von Feedback 13

Ebenen von Feedback:

• aufgabenspezifisch (task feedback, FT)• prozessspezifisch (process feedback, FP)• Selbstregulation (self-regulating feedback, FR)• personenspezifisch (personal feedback, FP)

Nach den vier Ebenen, auf denen Feedback erfolgt, gibt es auch noch vier unterschiedliche Antwort-typen. Jeder einzelne bezieht sich darauf in welcher Form Feedback erfolgt, bzw. was es beinhaltet. Esgibt: knowledge of result (KOR), knowledge of correct result (KCR), answer until correct (AUT) undelaborted feedback (EF). Der erste Typ gibt einzig und allein wieder, ob eine Aufgabe richtig oder falschgelöst wurde. Ein derartiger Feedback-Typ erscheint nicht nur für den Spielkontext ungeeignet (vor allemgibt es bei kreativen Aufgaben meist kein "richtig" und "falsch", oder nur eine korrekte Lösung), sondernauch ineffektiv, weil weder feed back noch feed forward ausreichend beantwortet werden. Der nächsteTyp hat dagegen eine vergleichsweise gesteigerte Effektivität. Bei KCR wird nicht nur ein richtig oderfalsch als Bewertung gegeben, sondern auch die richtige Antwort. Das hilft zwar, die drei Aspekte vonFeedback zu beantworten und erscheint auch für Faktenwissen relativ gut geeignet. Aber bei kreativenAufgaben kann es immer noch mehrere Lösungen geben, weshalb die Angabe einer bestimmten Lösungfür einen Nutzer noch nicht ideal sein muss (vielleicht war seine Lösung ausreichend, oder die eine Lö-sung ist soweit voraus, dass sie schon demotiviert). Auch der dritte Typ ist bei Spielen je nach Genrerelativ ungeeignet. Denn AUT gibt so lange eine Bewertung, bis der Spieler eine Aufgabe richtig gelösthat. Bei Spielen, in denen es mehr um Fakten oder Regeln und weniger um Kreativität geht, klingt diesnach einer guten Möglichkeit, dem Spieler zu ermöglichen die Lösung selbst zu finden. Aber in solchenFällen wäre eine Nutzerbewertung nicht unbedingt nötig. Der letzte Feedbacktyp scheint hingegen sehrgut für den Kontext von Spielen mit kreativen Problemen geeignet. EF beinhaltet neben der Antwort obeine Lösung korrekt ist (was man bei kreativen Lösungen zumindest grob einschätzen kann) zusätzli-che Informationen. Hierbei wird erläutert, warum eine Lösung gut oder schlecht ist und was ein Spielereventuell verbessern kann. Im Prinzip ist dies also die Form von Feedback von der in vorigen Kapitelnimmer die Rede war. Es werden die Schlüsselfragen des Feedback aufgegriffen und auf den Spieler ein-gegangen. Für den Spiele-Kontext (besonders mit kreativer Problemlösung) ist dieser Typ also Mittel derWahl, was nicht bedeutet, dass bei bestimmten Aufgaben die anderen Typen nicht auch genügen könnten(zum Beispiel bei der Vermittlung von Fachwissen). [3]

Typen von Feedback:

• knowledge of result (KOR)• knowledge of correct result (KCR)• answer until correct (AUT)• elaborated feedback (EF)

14 3 Einflüsse auf die Effektivität von Feedback

4 Generalisierung der Kriterien für Nutzerbewertung

Wenn man das Kapitel 3 zusammenfasst, sieht man gleich, dass es Kriterien und Elemente von Feed-backs gibt, die für Spiele mit kreativer Problemlösung besonders geeignet sind. Für Effektivität sollteeine Bewertung feed up, feed back und feed forward bedienen, daher bietet es sich an, die Fragenentsprechend zu formulieren (damit ein Bewerter genau diese Punkte anspricht). Dabei deckt man idea-lerweise qualitative und quantitative Elemente ab. Erstere werden ohnehin für die drei Aspekte (feed up,usw.) benötigt und letztere sind für die Vergleichbarkeit hilfreich, erlauben es Spielern also zusätzlichsich zu orientieren. Der Zeitpunkt einer Bewertung sollte besonders nah sein [6], bei vielen Spielen istaber eine Bewertung schon nach einigen Stunden unrealistisch (vor allem wenn die Lösung erst überdas Internet verbreitet werden muss). In Sachen Umgebung lassen sich ohne genaue Aufgabenstellungdes Spiels und Situation der Spieler bzw. Bewerter keine Aussagen treffen. Für die Form der Bewer-tungen erscheint ein elaborated feedback, das vor allem aufgaben- und prozessspezifisch ist und nichtpersonenspezifisch[1], geeignet. Ohne also die Art des Spieles zu kennen stehen die gröbsten Richtliniennun fest. Wie geht man nun aber vor, wenn Spiel und Umgebung (also Situation der Spieler, Regeln fürBewertungen, etc.) bekannt sind?

4.1 Modell eines Bewertungsformulars

Es ist klar, dass unterschiedliche Spiele aus verschiedenen Domänen stammen (ob ein schulischer Kon-text, ein Bezug auf Unterhaltung oder etwas Anderes) und ganz andere Ziele verfolgen können unddaher auch ganz andere Anforderungen an Feedback haben [6]. Man muss also die Form des Feedbacksgenau an die Aufgabe anpassen[7], die ein Spiel stellt. Daher hilft ein Modell sich die Schritte klar zumachen, die abgearbeitet werden müssen, um einen Fragebogen für ein Spiel zu entwerfen. FolgendeSchritte des Modells sind möglichst allgemein gehalten und es gelten natürlich die obigen Angaben fürFeedback von Spielen.

Als erstes gilt es für ein Spiel die Ziele zu identifizieren und daher auch festzustellen in welchem Kon-text es steht (also wie die Umgebung beschaffen ist). Bei einem schulischen Spiel, das primär Kenntnissevermitteln soll, bedeutet dies, dass alle zu erreichenden Lernziele einer aktuellen Aufgabe festgestelltwerden müssen. Hat man die (Lern-)ziele erst einmal festgestellt, ist für den Ersteller eines Bewertungs-fragebogens auch klar, was das feed up aller Aufgaben ist und damit auch welche Punkte im feed backangesprochen werden müssen. Schließlich sucht man das feed up zu erreichen und feed back dient da-zu den aktuellen Stand auf dem Weg dahin zu markieren [1]. Schritt Nummer zwei ist für konkreteAufgaben festzustellen, was erreicht werden muss, um diese Aufgabe zu erfüllen. Bei kreativen Aufga-ben erscheint es schwierig zu erkennen, wann eine Aufgabe erfüllt ist, in diesem Fall sollte man voneinem minimalen Maß ausgehen. Für das Zeichnen würde das also bedeuten, die Aufgabe ist erfüllt unddas Ziel erreicht, wenn man einen Baum erkennen kann und möglicherweise auch wenn er ausreichendeQualität hat (dies würde man subjektiv mit quantitativen Elementen einen Bewerter entscheiden lassen).Wobei es bei einem Kontext, wie dem Lernen auch nicht unbedingt wichtig ist jede Aufgabe zu erfüllen.Durch diesen Schritt hat man anstatt aller Ziele, ein konkretes und hat eine erkennbare Grenze für dasfeed forward, so dass man einem Bewerter klarmachen kann an welcher Stelle die Aufgabe ausreichendbearbeitet ist, um sich einer neuen Aufgabe zu widmen (sofern es diese gibt und eine Wiederholung derAufgabe nicht zwecklos ist). Im dritten Schritt ist die Aufgabe zu analysieren, um festzustellen welchesWissen eventuell zum Lösen eines Problems nötig ist. Beim häufig erwähnten Beispiel, dem Zeichneneines Baumes, könnte man in diesem Schritt feststellen, dass man nicht nur gewisse künstlerische Fä-higkeiten benötigt (wobei man diese ja auch erwerben möchte), sondern auch das Verständnis vomAussehen eines Baumes haben muss. Mit diesem Schritt kann man vorher erkennen, welche Fähigkeiten

15

ein Spieler eigentlich schon gemeistert haben müsste. Dies kann man im feed back Teil unterbringen,was klarstellt wie der jetzige Stand ist und kann bei Fehlern ein feed forward bedeuten (was man sichnoch ansehen muss) [1]. Zum vierten Schritt gehört es, eine Aufgabe des Spiels auf häufig vorkommendeFehler zu analysieren. Mit einem Baum könnte ja auch ein Stammbaum gemeint sein, was nicht komplettfalsch ist, aber kein direkt erwartetes Ergebnis der Aufgabe "zeichne einen Baum". Durch die Fehlerana-lyse kann man in einem Fragebogen darauf hinweisen was der Spieler hätte beachten sollen und demBewerter so den feed back und feed forward Teil einfacher machen. Außerdem kann man in einem krea-tiven Problemlösungskontext angeben, dass eine nicht erwartete Lösung nicht zwangsläufig falsch oderschlecht sein muss. Der letzte Schritt dieses Modells ist schließlich relevante Informationen für denFragebogen zu identifizieren und die eigentliche Struktur festzulegen. Hier kann man also erwähnen,dass auch ein Stammbaum ein Baum ist. Auch Hinweise, wie man etwas zu bewerten hat können hiereinfließen, wodurch feed back genauer wird. Zusätzlich legt man in diesem letzten Schritt die eigentli-che Struktur fest und daher auch welche Fragen ein Fragebogen beinhalten soll. Die genaue Auswahl istaufgaben- und genreabhängig, aber es gibt bestimmte Elemente, die wie schon weiter oben erwähnt fürjede Spielsituation herhalten könne. Zum Beispiel die (qualitative) Frage was man hätte besser machenkönnen für das feed forward und eine (quantitative) Gesamtwertung für die Vergleichbarkeit. [7]

Abbildung 4.1: Modell für das Erstellen eines Bewertungsfragebogens

4.2 Anwendung des Modells

Nun soll das obige Modell in seinen Schritten angewandt werden. Betrachten wir hierzu ein Spiel, das ineinem Lernkontext steht. Das Spiel gibt einem Spieler einen Begriff (die Begriffe sind auf keine spezifi-sche Domäne festgelegt, man kann hier also noch andere Aspekte wie Fremdsprachen oder Faktenwisseneinbringen), den er in einer kurzen Geschichte vom Spieler selber geschrieben, verständlich machen soll.Alle Begriffe sind im Voraus der Schwierigkeit nach geordnet. Ist eine Aufgabe beendet kann jeder ande-re Spieler einer Onlinecommunity die Geschichte sehen und bewerten. Nach der Bewertung werden dieSpieler ähnlich einer Freundesliste verknüpft und sollen von diesem Zeitpunkt an in Kontakt stehen. EinSpieler soll jetzt immer sehen, wenn einer seiner Bewerter respektive Freunde einen neuen Begriff ab-solviert, um die Chance zu erhalten ihn, auch zu bewerten. Gleichzeitig wird die Aktivität eines Spielers

16 4 Generalisierung der Kriterien für Nutzerbewertung

mit der Anzahl seiner vergebenen Bewertungen und hochbewerteten Begriffserklärungen angegeben.

Hier ist nun eindeutig, dass diese Art von Lernspiel zum einen das Verständnis von bestimmten Begrif-fen verstärken soll und zum anderen die Kompetenz im kreativen Schreiben fördert. Außerdem kommtnoch eine soziale Komponente durch die Freundeslisten hinzu, obwohl dies eher nebensächlich und wiedie Aktivitätswerte eher als Motivation erscheint. Die Ziele für dieses Spiel sind also die Vermittlung vonVerständnis für Begriffe, die Steigerung von Kreativität sowie Schreibfähigkeiten. Im nächsten Schrittmüssen diese groben und allgemeinen Ziele genauer werden. In diesem Kontext erscheint es sinnvoll, ei-ne Aufgabe als erfüllt anzusehen, falls der Text verständlich ist und die Erklärung des Begriffes treffendist. Welche Fehler könnten in einer solchen Situation eintreten? Zunächst könnte ein Begriff mehrereSynonyme haben, aber es ist auch möglich, dass der Spieler den Begriff einfach falsch verstanden oderverwechselt hat. Generelle Fehler im Text, wie Syntax oder Grammatik können auch auftreten. Manmuss dem Bewerter also direkt klarmachen, was der Begriff bedeutet, da er unter Umständen sich selbstnicht darüber im Klaren ist. Es bietet sich also an neben den Text eines Spielers einen Wörterbucheintragdes Begriffes zu legen. Dieser kann auch auf Synonyme oder mögliche Missverständnisse aufmerksammachen und dem Bewerter so die Arbeit stark erleichtern. Betrachtet man das Spiel genau gibt es einigePunkte, die sich für Inhalt und Form des Fragebogens anbieten. Zunächst könnte man Verständlichkeitund Textinnovation (also Kreativität des Inhaltes) durch quantitative Elemente vergleichbar machen, ei-ne Skala von eins bis zehn erscheint nicht zu groß und nicht zu klein. Des Weiteren sollte man qualitativdarauf eingehen, was an dem Begriff gut getroffen wurde und was nicht (falls ein Begriff komplex genugist mehrere Aspekte zu haben). Der Wörterbucheintrag dient hier als guter Vergleich. Synonyme sollteman ebenfalls ansprechen, falls ein Begriff ein Synonym hatte kann ein Bewerter wählen, ob die Aus-wahl der Bedeutung eines Begriffes für den Text Vorteile oder Nachteile hatte. Der nächste Aspekt ist dieTextqualität, hier bietet es sich an, zunächst mal nach gröberen Rechtschreib- oder Grammatikfehlern zufragen. Als nächstes sollte man den Bewerter fragen, was er anders geschrieben hätte respektive ob erVerbesserungsvorschläge für diesen Text hat. Zuletzt gibt man dem Bewerter die Möglichkeit allgemeineEmpfehlungen an den Spieler zu richten, dies können Hinweise sein wie er diese Aufgabe hätte besserlösen können (zum Beispiel durch einen interessanteren Text) und welchen Begriffen sich der Spieler imnächsten Schritt widmen könnte.

4.2 Anwendung des Modells 17

Abbildung 4.2: Beispielhafter Fragebogen für das Begriffserklärungsspiel

18 4 Generalisierung der Kriterien für Nutzerbewertung

5 Ausblick

Der Vorteil von nutzergestützter Bewertung liegt für Spiele mittlerweile klar auf der Hand. Bei Spielen,die kreative Problemlösung ermöglichen ist es schwierig oder gar unmöglich einzuordnen, ob eine Lö-sung gut ist und wie erfolgreich sie war. Man ist zwangsläufig auf menschliche Bewerter angewiesendie schnell und problemlos entscheiden können was gelungen ist, selbst wenn Themen wie Ästhetik nursubjektive Meinungen zulassen. Eigentlich unvergleichbare Lösungen unterschiedlicher Spieler werdendurch Nutzerbewertungen vergleichbar. Außerdem fördert Feedback soziale Kompetenzen und machtdas Lernen effektiver. Trotz der offensichtlichen Vorteile wird nutzerbasierte Bewertung bei Spielenkaum angewandt. Selbst solche Spiele, die Ansätze anwenden, tun dies meist ohne dem (Lern-)Vorteil,den Feedback bietet, große Beachtung zu schenken. Warum Nutzerbwertungen kaum wirklich verwendetwerden bleibt ein Rätsel. Vermutlich wird bei kommerziellen Spielen ein Lernaspekt nicht genug beach-tet oder die meisten Spiele, die sich rühmen kreative Problemlösungsstrategien und non-lineare Wegezu ermöglichen, legen keinen Wert auf die Vergleichbarkeit von Lösungen unter den Spielern. Sicherlichwird aber in der Zukunft nutzergestützte Bewertung an Wichtigkeit gewinnen, da sie eindeutige Vorteilebietet. Es ist denkbar, dass mit der steigenden Komplexität des Aufbaus von Spielen auch immer mehrandere Fähigkeiten des Spielers, wie Kreativität, gefordert werden. Man kann durchaus beobachten, dassbei Spielen mehr und mehr eine Tendenz zu Nonlinearität und kreativer Problemlösung besteht. So kannman einem Spieler mehr Möglichkeiten und Spielspaß ermöglichen. Erst recht in einem Spiel, das einengroßen Wert auf Mehrspieler, Community der Spieler (dies geht immer mehr in Richtung Social Me-dia) und nutzererstellte Inhalte legt, werden auch Bewertungen durch Nutzer an Relevanz gewinnen.In anderen Domänen, wie der Lehre (damit muss nicht primär eine Schulklasse gemeint sein), in denender Mehrwert durch Spiele offensichtlicher wird, ist es genauso wahrscheinlich, dass Nutzerbewertun-gen Einzug halten werden. Möchte man Kenntnisse vermitteln, die nicht nur einfach richtig oder falschsind, also kein primäres Faktenwissen sind, ist die Hilfe durch andere Nutzer und Feedback essentiell.Dabei kann der Kontext künstlerisch, musikalisch, oder sportlich sein. Gibt es Spiele, die sich schwerdurch einen Computer bewerten lassen, dann profitieren diese auch von Nutzerbewertungen. WeitereEntwicklungen zu mehr Vernetztheit mit anderen Nutzern fördern auch Spiele, die die Meinung ande-rer Spieler wichtiger machen. Social Media Anwendungen, Smartphone oder Tablet Apps fördern vonsich aus immer mehr Nutzer-Kontakt und können auch unterschiedliche Problemlösungsstrategien undkreative Komponenten beinhalten. Auch diesen Spielen kann eine Bewertung durch Nutzer helfen. Mansieht also, dass nutzergestützte Bewertungen immer mehr an Wichtigkeit gewinnen wird. Die Tendenzzu Spielen, die schwieriger zu bewerten sind, besteht, so dass man immer mehr auf Nutzer angewiesenist. Aber unabhängig davon bedeutet das Feedback durch andere Nutzer einen eindeutigen Mehrwert fürden Spieler an sich, da es ihm ermöglicht seine Kenntnisse zu verbessern, sich mit anderen Nutzern zuvergleichen und soziale Bindungen zu fördern.

19

Literaturverzeichnis

[1] J. Hattie and H. Timperley. The power of feedback. Review of Educational Research,77(1):81–112, March 2007. ISSN 0034-6543. doi: 10.3102/003465430298487. URLhttp://rer.sagepub.com/cgi/doi/10.3102/003465430298487.

[2] Wijnand IJsselsteijn, Yvonne de Kort, Karolien Poels, Audrius Jurgelionis, and Francesco Bellotti.Characterising and measuring user experiance in digital games. In ACE Conference, 2007.

[3] Bernhard Jacobs. Aufgaben stellen und feedback geben. In Torsten Meyer, Wey-han Tan, ChristinaSchwalbe, and Ralf Appelt, editors, Medien & Bildung. Institutionelle Kontexte und kultureller Wandel,pages 1–38. VS Verlag, Wiesbaden, 2011.

[4] Stephens Japuis and Richard J. Stiggins. Classroom Assessment for Learning. Association for Super-

vision and Curriculum Development, pages 40–43, 2002.

[5] Cen Li, Zhijiang Dong, Roland Untch, Michael Chasteen, and Nathan Reale. Peerspace - an online col-laborative learning environment for computer science students. In Proceedings of the 2011 IEEE 11th

International Conference on Advanced Learning Technologies, ICALT ’11, pages 409–411, Washington,DC, USA, 2011. IEEE Computer Society. ISBN 978-0-7695-4346-8. doi: 10.1109/ICALT.2011.129.URL http://dx.doi.org/10.1109/ICALT.2011.129.

[6] Jochen Musch. Die gestaltung von feedback in computergestützten lernumgebun-gen: Modelle und befunde. Zeitschrift für Pädagogische Psychologie, 13(3):148–160,September 1999. ISSN 1010-0652. doi: 10.1024//1010-0652.13.3.148. URLhttp://psycontent.metapress.com/openurl.asp?genre=article&id=doi:10.1024//1010-0652.13.3.148

[7] Susanne Narciss and Katja Huth. How to design informative tutoring feedback for multi-medialearning. Design, pages 1–16, 2002.

21