Embed Size (px)
Citation preview
Projektträger:
Evaluation eines Mobile Learning-Tools im
Projekt NetEnquiry
Einblicke in ausgewählte Aspekte der aktuell laufenden ProjektevaluationVortrag am 16.06.2016 um 11.30 – 12.30 Uhr im BIBB, Bonn
im Rahmen der Frühjahrstagung 2016
des Arbeitskreises Berufliche Bildung in der DeGEval – Gesellschaft für Evaluation e.V.
Prof. Dr. Marc Beutner
Department Wirtschaftspädagogik / Business and Human Resource Education
Lehrstuhl Wirtschaftspädagogik II
2016-06-15
|
Projektträger:
Ein Blick über den Weg des Vortrags
2016-06-15 2
|
Projektträger:
Ein Blick über den Weg des Vortrags
2016-06-15 3
Projektträger:
NetEnquiryEntwicklung, Erprobung und Evaluation
neuartiger mobiler Lernangebote in der
betrieblichen Aus- und Weiterbildung
Department für Wirtschaftspädagogik
Business and Human Resource Education
Lehrstuhl für Wirtschaftspädagogik II
2016-06-15
|
Projektträger:
Projektdaten
• Förderzeitraum: 01.08.2013 bis 31.07.2016
• Drittmittelgeber: Bundesministerium für Bildung und Forschung
(BMBF), Bonn
• Projektträger: Deutsche Luft und Raumfahrtzentrum (DLR),
Digitale Medien in der Beruflichen Bildung
• Wissenschaftliche Leitung: Prof. Dr. Marc Beutner
Lehrstuhl Wirtschaftspädagogik II
Projektsteuerung: Dipl.-Volksw. Lara Melissa Fortmann
Dipl. Hdl. Marcel Gebbe
2016-06-15 5
|
Projektträger:
Projektpartner
Projektkoordinator cevet – centre for vocational education and training
Lehrstuhl für Wirtschaftspädagogik II
Bankensektor Deutsche Bank Frankfurt
Sparkasse Paderborn-Detmold
Sparkasse Vest-Recklinghausen
Volksbank Paderborn-Höxter-Detmold
Technikpartner Ingenious Knowledge, Köln
Apple GmbH, München
Berufskollegs Ludwig-Erhard-Berufskolleg, Paderborn
Berufskolleg Schloß-Neuhaus, Paderborn
Berufskolleg für Wirtschaft und Verwaltung Brilon –
Europaschule, Brilon
Joseph-DuMont-Berufskolleg, Köln
Multiplikator Bundesverband der Lehrerinnen und Lehrer an
Wirtschaftsschulen e.V. (VLW)
2016-06-15 6
|
Projektträger:
Fokus des Projektes NetEnquiry
2016-06-15 7
|
Projektträger:
Zielsetzung des Projektes NetEnquiry
• Selbstständiges und kooperatives Lernen
• Kompetenzbereiche:
- Fachkompetenz
- Sozialkompetenz
- Kommunikationskompetenz
• modular aufgebauten NetEnquiry Software-Tool
• kompetitive, realitätsorientierte / authentischen Lernumgebung
2016-06-15 8
Ziel des Projektes NetEnquiry ist die Entwicklung und
Erprobung eines mLearning-Tools, sprich einer
internetbasierten Lernform für die betriebliche Aus- und
Weiterbildung im Sinne einer simulierten Praxisanwendung.
|
Projektträger:
Szenarien und Settings von NetEnquiry
Branche B / Szenario 1
Branche A / Szenario 2
Branche A / Szenario 1
Setting 2
Setting 3 Setting 4
Setting 5 Setting n
Setting 1
2016-06-15 9
Szenario 1: Privatkredit
Szenario 2: Qualitätsoffensive Wertpapierberatung
Szenario 3: Lombardfinanziertes Investment
3 App-Bereiche
1. Orientierungstools
2. Prozessorientierte Tools
3. Lernprozessunterstützende Tools
|
Projektträger:
Zielsetzung im Szenario Privatkredit
Die Lernenden sollen sich mit
• fachlichen,
• sozial-kommunikativen sowie
• moralisch-ethischen Herausforderungen
im Rahmen einer Privatkreditvergabe auseinandersetzen.
Dazu gehören u.a. Fragestellungen der Gesprächsführung, der
Besicherung, der Kapitaldienstfähigkeitsberechnung sowie der
Kreditarten.
2016-06-15 10
|
Projektträger:
Rollen im Szenario Privatkredit in
NetEnquiry
2016-06-15 11
|
Projektträger:
Tool und Subtools
2016-06-15 | 12
rollenbasierte
Aufgaben, Inhalte und
Tools
|
Projektträger:
Kooperativ und kompetitiv
2016-06-15 | 13
Rolle 3: Filialleiter(in)
Rolle 2: Kreditmanager(in)
Rolle 1: Kundenberater(in)
Individuelle
Information
Geteilte
Information
Jedermann-
Tools
Individuelle
Tools
AufgabenRechte &
Pflichten
Team C
Team B
Team A
Rolle 2: Kreditmanager(in)
Rolle 3: Kundenberater(in)
Rolle 1: Kundenberater(in)
|
Projektträger:
Ein Blick über den Weg des Vortrags
2016-06-15 14
|
Projektträger:
Evaluationsgrundlage: Dreischalenmodells der
systematisch-analytischen Berufsbildungsevaluation
Vgl. Beutner 2015
2016-06-15 15
|
Projektträger:
Grundlegende Eigenschaften der Evaluation
(nach DEGEVAL*)
* DEGEVAL: Deutsche Gesellschaft für Evaluation
Nützlichkeit
Durchführbarkeit
Fairness
Genauigkeit
2016-06-15 16
|
Projektträger:
Kromreys Ziele von Evaluation –
Werturteil über …
Wirkungs-
analyse
Implementations-
forschung
Akzeptanz-
forschung
Effekte Systematische:
- Planung
- Durchsetzung
- Umsetzung
Zustimmung oder
Ablehnung
durch Personen bzw.
Gruppen
Kromrey, H.: Empirische Sozialforschung. Modelle und Methoden der standardisierten
Datenerhebung und Datenauswertung. Stuttgart 2006, S. 102 ff.
WirkungUmsetzung /
ImplementationAkzeptanz
2016-06-15 17
|
Projektträger:
Summative und formative Evaluation
Vgl. Michael Scriven 1991: Evaluation Thesaurus, 4th ed.
Summative
Evaluation
Maßnahme / Kurs = „evaluand“
Maßnahme / Kurs =
„evaluand“Formative
Evaluation
Formative
Evaluation
Formative
Evaluation
2016-06-15 18
|
Projektträger:
Erhebungsformen
Fragebogen-
methode
Einzel-
interview
(face-to-face)
Tool-
analyse
Gruppen-
interview
(face-to-face)
Erhebungs-
formen
2016-06-15 19
|
Projektträger:
• Usability Untersuchung:
- quantitativ
- TAM Modell
• Szenario-Testing:
- qualitativ
- Bereiche:
Technische Umsetzung, Didaktische Umsetzung, Vollständigkeit, Richtigkeit,
Prozessabbildung, Szenariogestaltung
ErhebungsformenTool-
analyse
2016-06-15 20
|
Projektträger:
ErhebungsformenEinzel-
interview
• Interview-Gespräche Lehrkräfte:
- qualitativ
- Bereiche:
Nutzen im Bildungsgang, Nutzen für den Unterricht, Eigene Position zu mobile Learning,
Didaktische Einbettungsmöglichkeiten
• Interview-Gespräche Entwickler:
- qualitativ
- Bereiche:
Didaktische Herausforderungen, Technische Herausforderungen, Konzeptbausteine,
Entwicklungsprozess, Potentiale, Szenariogestaltung
• Interview-Gespräche Bankenvertreter:
- qualitativ
- Bereiche:
Umsetzungsmöglichkeiten, Herausforderungen, NetEnquiry-Konzept, Konzeptbausteine,
Potentiale, Szenariogestaltung
2016-06-15 21
|
Projektträger:
• Interview-Gespräche:
- qualitativ
- Bereiche:
Einstellungen von Lehrerteams, Einstellungen von Banken, Einstellungen von Entwicklern
hinsichtlich:
(a) Authentizität
(b) Nutzen
(c) Didaktisches Design
(d) Chancen und Herausforderungen
• Stellungnahmen der Berufskollegs
- qualitativ mit Reportstruktur
- Bereiche:
Transferfokus und Umsetzungspotentiale in Schulen, Usability, Verständlichkeit,
Herausforderungen im Schulkontext
ErhebungsformenGruppen-
interview
2016-06-15 22
|
Projektträger:
ErhebungsformenFrage-
bögen
• Akzeptanzfragebögen:
- quantitativ
- Bereiche:
Akzeptanz von Mobile Learning, Zukunftsperspektiven, Umsetzungen, Potentiale,
Herausforderungen
• Fragebögen zur Dozentenschulung
- quantitativ
- Bereiche:
Zufriedenheit, Schwerpunkte, Potentiale, Herausforderungen, Tool-Einschätzung
• Fragebögen für Lernende
- quantitativ
- Bereiche:
Zufriedenheit, Tool-Einschätzung, Potentiale, Didaktisches Design,
Technisches Design
2016-06-15 23
|
Projektträger:
Ein Blick über den Weg des Vortrags
2016-06-15 24
|
Projektträger:
Hinweis
Das Testing und die Evaluation laufen
aktuell noch, so dass Sie einen Einblick in
Work in Progress erhalten!
2016-06-15 25
|
Projektträger:
Wahrgenommer Bedienkomfort
(PEOU - Perceived Ease of Use)
6 Items
Mean: 5,29
Einstellung zur Nutzung
(ATTITUDE - Attitude towards Using )6 Items
Mean: 5,66
Wahrgenommene Nützlichkeit
(PU - Perceived Usefulness )6 Items
Mean: 5,59
Nutzungsabsicht
(ITU - Intention to Use)6 Items
Mean: 5,59
Ausgewählte Ergebnisse des TAM Bogens
2016-06-15 26
N= 30
Rivised TAM nach Davis et al. (1989)
|
Projektträger:
Interviews mit Endnutzern I
Halbstrukturierte Interviews im Sommer 2015
Inhaltsanalyse nach Mayring
Zielgruppe Endnutzer (N=10):
Entwickler /Designer (4)
Mitarbeiter bei Banken (6).
2016-06-15 27
|
Projektträger:
Entwickler-/Designeraussagen
2016-06-15 28
|
Projektträger:
Enduser in Banken
2016-06-15 29
Alle Endnutzer waren mit der Struktur der drei Bereiche der APP
zufrieden.
|
Projektträger:
Mitarbeiter in Banken
2016-06-15 30
Alle Endnutzer waren mit der Struktur der drei
Bereiche der APP zufrieden.
|
Projektträger:
Kategorien positiver Aspekte
2016-06-15 31
|
Projektträger:
Kategorien der Herausforderungen
2016-06-15 32
|
Projektträger:
Interviews mit Endnutzern II
Halbstrukturierte Interviews im Sommer 2015
Inhaltsanalyse nach Mayring
Zielgruppe Endnutzer (N=12):
Lehramts-Studierende (6)
Berufsbildende Lehrkräfte (4)
Verantwortliche in Unternehmen (2).
2016-06-15 33
|
Projektträger:
Interviews mit Lehramts-Studierenden
2016-06-15 34
Die deutliche Mehrzahl der Lehramts-Studierenden mit der APP zufrieden
und sieht die Bedeutung von mobilen Lernangeboten.
|
Projektträger:
Interviews mit Berufsbildenden Lehrkräften
2016-06-15 35
Die Lehrkräfte erkenn die Bedeutung von mobilen Lernangeboten.
|
Projektträger:
Interviews mit
Unternehmensverantwortlichen
2016-06-15 36
Unterneh,mensverantwortliche erkennen die Bedeutung von mobilen
Lernangeboten.
|
Projektträger:
Aktueller Gesamteindruck aus der Evaluation
2016-06-15 37
|
Projektträger:
Einblicke in den Zwischenstand der
Akzeptanzbefragung –
Wie wird aktuell mLearning gedeutet? Profil
2016-06-15 38
|
Projektträger:
Einblicke in den Zwischenstand der
Akzeptanzbefragung –
Wie wird aktuell mLearning gedeutet? Daten vorläufiger Eingabestand N= 21
2016-06-15 39
|
Projektträger:
2016-06-15 | 40
Universität Paderborn
Lehrstuhl für Wirtschaftspädagogik und Evaluationsforschung
Prof. Dr. Marc BeutnerProjektleitung und Forschung
Dipl.-Hdl. Marcel GebbeDidaktisch-technische
Innovationsentwicklung & Forschung
Dipl.-Volksw. Melissa FortmannDidaktik, formale Administration und
Forschung
|
Projektträger:
Kontakt
• Universität PaderbornDepartment WirtschaftspädagogikBusiness and Human Resources EducationLehrstuhl Wirtschaftspädagogik IIWarburger Str. 10033098 Paderborn
• Prof. Dr. Marc BeutnerTel: +49 (0) 52 51 / 60 - 23 67 Fax: +49 (0) 52 51 / 60 - 35 63E-Mail: [email protected]
• Dipl.-Volksw. Lara Melissa FortmannTel: +49 (0) 52 51 / 60 - 57 15 Fax: +49 (0) 52 51 / 60 - 35 63E-Mail: [email protected]
• Dipl. Hdl. Marcel GebbeTel: +49 (0) 52 51 / 60 - 50 10 Fax: +49 (0) 52 51 / 60 - 35 63E-Mail: [email protected]
www.upb.de/wipaedwww.cevet.eu
2016-06-15 41
|
Projektträger:
Diskussionsbackup
2016-06-15 42
|
Projektträger:
Zeitplan von NetEnquiry
2016-06-15 43
|
Projektträger:
SERVER(u. a. Benutzerdaten,
komplexe Lernszenarien,
Verschlüsselung sensibler Daten)
Client(jeweils Darstellung der
Daten vom Server /
Funktionen für die
Bewältigung der
Lernszenarien
(z. B. Virtuelles Büro))
Client(Apple iOS &
google Android)
Client
Client
Server-Client-Struktur in NetEnquiry
2016-06-15 44
|
Projektträger:
Lerntheoretische Basis
NetEnquiry
Aktionsbasiertes Lernen
(action learning mit Team (Rollen),
Moderator und Auftraggeber).
Visuelles problemorientiertes Lernen
(POL der 7 Schritte von Kees van Meer)
Prozessorientiertes instructional design -
Informations- und wissensbasiertes Lernen
(konstruktivistisches Lernen nach Mandl)
Problemlösendes Lernen
(kognitivistisches Lernen nach Robert Gagné
und
Advanced organizer nach David Ausubel)
2016-06-15 45
|
Projektträger:
Exemplarische Aufgabe in NetEnquiry
• Situationsorientiertes Lernen unter Abbildung (textlich, graphisch, bildlich
filmisch, usw.) von betrieblichen Problemstellungen und Handlungen im
Bankenbereich.
• Die methodische Neuentwicklung des NetEnquiry ist eine mobile
internetbasierte Lernform im Sinne einer simulierten Praxisanwendung.
Im NetEnquiry werden in Form einer kompetitiven, realitätsorientierten
und damit authentischen Lernumgebung Planspielelemente, Web 2.0-
Angebote und mobile Touchscreen Technologien zu Lernzwecken
eingebunden.
• Kundenkontakt mit Beratungsaktivität
• Formularbearbeitung
• Vorentscheidung
• Informations-recherche
Rolle 1
Frontoffice
• Datenaufbereitung
• Datenanalyse
• Berichterstellung
• Informations-recherche
Rolle 2
Backoffice
• Kontrolle
• Informations-zusammenführung
• Entscheidung
• Angebot
Rolle 3
Entscheider
2016-06-15 46
|
Projektträger:
Mobiles Lernen
Mobiles Lernen
Effizienz durch
lerntheore-tische
Verknüpfung
Simulierte Praxis-
anwendung
Cummunitiesund
Multiperspek-tivität
Selbstge-steuertes und
kollabora-tives Lernen
Authentizität und
Situiertheit
Usability
2016-06-15 47
|
Projektträger:
Aufgabengestaltung in NetEnquiry
• Gesamtaufgabenstellung und verschiedene Teilaufgaben
• Lösen simulierter Prozessketten durch Teilaufgaben, die rollenbasiert
bearbeitet werden
Teilaufgabe 1
Teilaufgabe 2
Teilaufgabe 3
2016-06-15 48
