Internationale leerresultaten in het curriculum

Resultaten van twee projecten: OOF ICOM-project en IC Catalyst

Overzicht

• Het ICOM-project o Formulering van internationale leeruitkomsteno Meer dan alleen internationale ervaringeno Pre- en postonderzoek bij studenteno Internationale ‘kaart’ van opleidingen

• IC catalysto Kwalitatief en kwantitatief onderzoek naar interculturele

competentie

Een holistisch kader voor internationale leeruitkomsten in het Vlaams hoger onderwijs

Paradox

Belang dat wordt gehecht aan internationalisering / internationale ervaringen van studenten

Onduidelijkheid over de positieve effecten daarvan

Resultaat:

- Ad hoc beleid

- Veel nadruk op concrete acties en onderwijsinitiatieven zonder leerdoelen en verankering te expliciteren

- Evaluatie op ‘output’ i.p.v. ‘outcome’ (Deardorff, 2005)

Door beleid beoogde learning outcomes

Verschillende accenten bij diverse stakeholders

Door docenten en opleidingsverantwoordelijken beoogde leeruitkomsten

• Weinig overeenstemming onder docenten

• Opleidingsverantwoordelijken voelen druk om aan te sturen op kwantiteit uitwisselingen ipv kwaliteit

• Spanningsveld tussen beroepsspecifieke en generieke competenties (bv burgerschap)

• Internationale leeruitkomsten van studenten vaak niet geëvalueerd en niet binnen de opleiding ingezet (studenten laten leren van elkaars ervaringen)

Door student beoogde learning outcomes“Ik wil mijzelf beter leren kennen”

Noodzaak ontwikkeling kader Internationale learning outcomes (voorbijgaand aan de vraag: wat is internationalisering en wat niet?)

Opstellen set internationale competenties Noodzaak valideren van deze lijst

Ontwikkeling instrumenten Voor studenten Voor opleidingen

Uitgangsvraag: “Welke competenties worden geactiveerd door internationale onderwijsactiviteiten?”

Inventarisatie ‘internationale’ competenties (ICOMs)

Ontwikkeling holistisch kader ICOMs

Studenten bevragen en onderzoeken curricula

Conclusies en nieuwe vragen

Vertrekpunt literatuurstudie

1. Beleidsteksten van (o.a.):o Europese Unieo OESOo Ministerie van Onderwijs en Vormingo VLIR, VLHORA, VLUHR,…

2. Wetenschappelijke studies naar effecten van internationale ervaringen van studenten.

Vijf domeinen

Generieke domeinen:

• Interculturele competentie

• Beheersing van vreemde talen

• Internationale betrokkenheid (‘global engagement’)

• Persoonlijke groei

Beroepsspecifiek domein

• Internationale kennis van studiedomein

Beheersing vreemde talen

• Een tekst schrijven in een andere taal

• Een vreemde taal spreken

• Gesproken tekst in een vreemde taal kunnen begrijpen

• Een tekst geschreven in een andere taal begrijpen

Interculturele competentie

• Culturele zelfkennis

• Culturele flexibiliteit

• Culturele veerkracht

• Culturele ontvankelijkheid

• Culturele kennis

• Culturele relationele competentie

• Culturele communicatieve competentie

• Culturele conflicthantering

• Multiperspectiviteit

Internationale betrokkenheid

‘global engagement’

• Zich internationaal oriënteren

• Een eigen mening vormen over maatschappelijke of internationale onderwerpen

• Een eigen mening uiten over maatschappelijke of internationale onderwerpen

• Maatschappelijke betrokkenheid tonen

Persoonlijke groei

• Zelfstandig functioneren

• Samenwerken en netwerken

• Zelfvertrouwen hebben

• Zich flexibel opstellen

• Andere perspectieven onderzoeken

• Creativiteit tonen

• Een duidelijk toekomstbeeld hebben

• Zich handhaven in stressvolle situaties

Internationale vakkennis

‘International disciplinary learning’

• Zijn vakgebied in een internationale context kunnen plaatsen

• De cultuurgebondenheid van zijn discipline zien

• Kennis hebben van de beroepsuitoefening in andere landen

• Internationale organisaties relevant voor de discipline kennen

PWO- Catalyst Effecten van internationale mobiliteit op de ontwikkeling van interculturele competentie

Aanleiding Catalyst

• Aanleiding:

Valorisatie van het de Interculturele Competentiewijzer (ICW), een tool voor het meten van interculturele competentie

Internationalisering hoger onderwijs, in het bijzonder de vraag naar toename van internationale mobiliteit van studenten

• Vraagstelling:

Is internationale mobiliteit een effectief instrument om aan interculturele competentiegroei te werken?

Doel Catalyst project

Algemeen:

Expertiseopbouw omtrent de impact van internationale mobiliteit op vlak van de ontwikkeling van interculturele competentie

Operationele doelen:

a) Effectmeting van internationale studentenmobiliteit op de interculturele competentie van deelnemers.

b) Ontwikkeling van een systematisch onderbouwd feedback systeem, dat de resultaten van het meetinstrument (i.e. de ICWijzer) kwalitatief ondersteunt.

Catalyst -onderzoeksactiviteiten1. Testafnames van de Interculturele Competentiewijzer, voor vertrek

en na terugkomst, bij verschillende groepen van studenten.

• Controlegroepen van niet-vertrekkende studenten• Deelstudies specifieke groepen (o.m. Zuid mobiliteit)

2. Een internationaal expertisenetwerk m.b.t. het meten, evalueren en opvolgen van interculturele competentie(groei) in internationaliseringstrajecten.

• Via de Delphi methode werden experten iteratief bevraagd om tot een onderbouwd feedback systeem te komen dat de resultaten van de ICWijzer kwalitatief ondersteunt.

• Deelstudie effect gebruik sociale media op interculturele competentiegroei bij internationale studentenmobiliteit (o.m. the Milan conversations)

Catalyst: het ICW instrument

• Werkdefinitie voor ‘Interculturele competentie’:

‘the appropriate and effective management of interaction with people who represent different affective, cognitive and/or behavioural oriëntations towards the world’ (Spitzberg)

• Generieke benadering: een transversale competentie

• Meetbaarheid van interculturele kennis, vaardigheden, en attitudes, maar in praktijk aan te vullen met kwalitatieve feedback en begeleiding

• Het is een zelfevaluatie instrument:

de testnemer ontvangt onmiddellijk zijn/haar resultaat; er zijn 5 niveaus van resultaten (i.e. beginner, basisbewustzijn, groei, gevorderd, expert); volledige realisatie is in principe nooit helemaal bereikbaar

ICW -Componenten

zelfkennis

Flexibiliteit

Veerkracht

Ontvankelijkheid

Kennisver-wervingRelationele competentie

Communicatieve vaardigheid

Conflict-hanteringscapaciteit

Multiper-spectivisme

Definitie van de componentenComponent Beknopte definitie

Culturele zelfkennis De student kent zijn eigen cultureel referentiekader en kan dit verbinden aan andere

Culturele flexibiliteit De student kan indien nodig zijn gedrag en communicatiestijl aanpassen in een interculturele context. Hij gaat actief opzoek naar alternatieve gedragspatronen.

Culturele veerkracht De student kan op een constructieve manier omgaan met moeilijkheden en/of negatieve gevoelens die kunnen ontstaan in interculturele ontmoetingen.

Culturele ontvankelijkheid

De student staat open voor het perspectief/standpunt van de andere en aanvaardt de relativiteit van zijn eigen visie en ideeën. Hij aanvaardt de expertise van de ander en kan omgaan met kritiek.

Culturele kennisverwerving

De student weet om te gaan met kennis over andere culturen en weet die kennis een gepaste plaats te geven, met respect voor de uniciteit van elk individueel menselijk wezen.

Relationele competentie

De student kan, in een interculturele context, een werk- of studie relatie op te bouwen met collega’s, klanten en/of andere stakeholders. Hij draagt empatisch bij tot de ontwikkeling van een sfeer van vertrouwen.

Communicatieve competentie

De student is bewust van zijn eigen, cultureel bepaalde communicatiestijl, en kan zijn eigen communicatiestijl aanpassen in interculturele settings.

Conflicthantering De student ziet interculturele conflicten als leerkansen. Hij is bewust van zijn eigen conflicthanteringsstijl.

Multiperspectivisme De student kan situaties, issues of problemen vanuit verschillende culturele perspectieven benaderen.

Vijf niveaus van interculturele competentie

beginner BasisDoorgro

eigevorde

rdexpert

Laag niveau van bewustzijn van culturele verschillen

Basisbesef van culturele verschillen

Bewust van nood aan kennis, vaardigheden, en attitudes

Werkt actief aan opbouw kennis, vaardigheden en attitudes

Integratie van kennis, vaardigheden en attitudes in dagelijkse praktijk

Effecten van internationale mobiliteit en een

internationale ‘kaart’ van een opleiding

Bevraging studenten

• Doel: validatie lijst internationale competenties

• Aanzet tot effectonderzoek internationale ervaringen

• Methode: zelfrapportagevragenlijsten

• Afname in september en juni, bij zowel uitgaande uitwisselingsstudenten als bij ‘thuisblijvers’.

Eerste meetmoment

• N = 1072

• 5 hogescholen

• 17 opleidingen

Eerste meetmoment: eerdere int. ervaring

Eerste meetmoment: eerdere int. ervaring

Mattheüseffect? - 1

Op eerste meetmoment significante verschillen tussen kandidaat-uitwisselingsstudenten en thuisblijvers, in aspecten van persoonlijke groei:

• Zelfstandigheid• Sociale en communicatieve vaardigheden• zelfvertrouwen• Emotionele stabiliteit• Flexibiliteit• Openheid• Toekomstbeeld (NB: uitwisselingsstudenten scoren lager)

Mattheüseffect? - 2

Mattheüseffect? - 3Op eerste meetmoment significante verschillen tussen kandidaat-uitwisselingsstudenten en thuisblijvers, in aspecten van internationale betrokkenheid

• Op de hoogte zijn van internationale gebeurtenissen• Zichzelf zien als wereldburger / Europeaan• Een eigen mening vormen over internationale of maatschappelijke

onderwerpen• een eigen mening uiten over internationale of maatschappelijke

onderwerpen• Bewuste consumptie• Maatschappelijke betrokkenheid op internationaal niveau• Lidmaatschap van maatschappelijk betrokken organisaties• Geld doneren aan maatschappelijk betrokken organisaties• Vrijwilliger voor maatschappelijk betrokken organisaties

T2: persoonlijke groei (N = 1536)

T2: persoonlijke groei (N = 1536)

T2: persoonlijke groei (N = 1536)

T2: persoonlijke groei (N = 1536)

Onafhankelijk effect van uitwisseling, gecontroleerd voor score op T1, voor:

o Sociale en communicatieve vaardighedeno Openheid

T2: internationale betrokkenheid

T2: internationale betrokkenheid

T2: internationale betrokkenheid

Onafhankelijk effect van uitwisseling, gecontroleerd voor score op T1; voor:

o Zichzelf zien als wereldburger / Europeano (Bewuste consumptie)

Taal

• Zelfinschaling CEFR levels

• Uitwisselingsstudenten schalen zichzelf voor beheersing van het Engels hoger in dan thuisblijvers voor luisteren, lezen, interactie, spreken en schrijven

Voorbeeld: luistervaardigheidDuid aan wat voor jou van toepassing is: In het Engels kan ik bij het luisteren naar een gesprekspartner

• C2: Ik kan moeiteloos gesproken taal begrijpen, in welke vorm dan ook, hetzij in direct contact, hetzij via radio of tv, zelfs wanneer in een snel moedertaaltempo gesproken wordt als ik tenminste enige tijd heb om vertrouwd te raken met het accent.

• C1: Ik kan een langer betoog begrijpen, zelfs wanneer dit niet duidelijk gestructureerd is en wanneer relaties slechts impliciet zijn en niet expliciet worden aangegeven. Ik kan zonder al te veel inspanning tv-programma’s en films begrijpen.

• B2: Ik kan een langer betoog en lezingen begrijpen en zelfs complexe redeneringen volgen, wanneer het onderwerp redelijk vertrouwd is. Ik kan de meeste nieuws- en actualiteitenprogramma’s op de tv begrijpen. Ik kan het grootste deel van films in standaarddialect begrijpen.

• B1: Ik kan de hoofdpunten begrijpen wanneer in duidelijk uitgesproken standaarddialect wordt gesproken over vertrouwde zaken die ik regelmatig tegenkom op mijn werk, school, vrije tijd enz. Ik kan de hoofdpunten van veel radio- of tv-programma’s over actuele zaken of over onderwerpen van persoonlijk of beroepsmatig belang begrijpen, wanneer er betrekkelijk langzaam en duidelijk gesproken wordt

• A2: Ik kan zinnen en de meest frequente woorden begrijpen die betrekking hebben op gebieden die van direct persoonlijk belang zijn (bijvoorbeeld basisinformatie over mezelf en mijn familie, winkelen, plaatselijke omgeving, werk). Ik kan de belangrijkste punten in korte, duidelijke eenvoudige boodschappen en aankondigingen volgen.

• A1: Ik kan vertrouwde woorden en basiszinnen begrijpen die mezelf, mijn familie en directe concrete omgeving betreffen, wanneer de mensen langzaam en duidelijk spreken.

Luistervaardigheid

Conclusies

• De sterkste effecten betreffen de startsituatie

• De geselecteerde competenties lijken daadwerkelijk onderhevig aan verandering gedurende academiejaar

• Bij enkele competenties een onafhankelijk effect van uitwisseling

• Ook toename bij thuisblijvers

Aandachtspunten

• Zelfrapportagevragenlijsten kunnen niet dienen als evaluatie van de individuele student

• De vragenlijsten dienden om op groepsniveau verschillen te meten

• Gebruik binnen opleidingen:o Op groepsniveau: effect meten bij studenteno Gebruiken als reflectie-opdracht (sterkte-zwakte analyse

als voorbereiding op een uitwisseling bijv.)

Resultaten Interculturele competentie

Kwantitatief• Verfijnd en getest zelfevaluatie instrument dat inzetbaar is in verschillende

contexten

• Inzage resultaten op niveau student (onmiddellijke feedback), de opleiding (bv. in functie van ontwikkeling van selectie, begeleiding, nawerking en opvolging in curriculumontwikkeling etc…), de instelling (bv. in functie van een kwaliteitsbeleid), de partnerinstelling (bv. in functie van begeleiding ter plaatse) enz…

• Inzicht op effecten internationale mobiliteit op interculturele competentie (cf. resultaten van de metingen 2011-13)

Kwalitatief• Toepassingsmogelijkheden van ICW en wetenschappelijk onderbouwd feedback

protocol

• Professionaliseringstrajecten voor personeel (train-the-trainer) en studenten

• Aanbod professionele navorming docenten

Enkele geaggregeerde resultaten per component

• Afnames:o 1.032 studenten voor vertreko 364 studenten bij terugkeer

• Aanvullende studie connectiviteit en sociale media

Component ‘culturele zelfkennis’

beginner basis doogroei gevorderd expert0

10

20

30

40

50

60

70

80

FASE 1 neenFASE 1 jaFASE 2 neenFASE 2 ja

Verschil pre- en post: significant

Uitwisselingsstudenten zeggen na hun ervaring in het buitenland opvallend vaker dat ze expert zijn wat Zelfkennis betreft dan hun collega-studenten die niet op uitwisseling gingen.

Component ‘Culturele flexibiliteit’

beginner basis doogroei gevorderd expert0.0

5.0

10.0

15.0

20.0

25.0

30.0

35.0

40.0

45.0

50.0

FASE 1 neenFASE 1 jaFASE 2 neenFASE 2 ja

Verschil pre en post: significant

De opgedane ervaring in het buitenland blijkt bij te dragen tot de ontwikkeling van deze component. Na deze ervaring zegt bijna de helft van de studenten (48.8%) op een gevorderd of expertniveau voor flexibiliteit te functioneren. Bij de thuisblijvers is dit 32%.

Component ‘culturele veerkracht’

Verschil pre en post: niet significant

Bij het einde van het academiejaar blijkt het bekomen beeld nog steeds hetzelfde te zijn voor beide groepen. Ook bij deze meting verschillen thuisblijvers en uitwisselingsstudenten niet van elkaar.

beginner basis doogroei gevorderd expert0.0

10.0

20.0

30.0

40.0

50.0

60.0

70.0

FASE 1 neenFASE 1 jaFASE 2 neenFASE 2 ja

Component ‘culturele ontvankelijkheid’

beginner basis doogroei gevorderd expert0.0

10.0

20.0

30.0

40.0

50.0

60.0

70.0

FASE 1 neenFASE 1 jaFASE 2 neenFASE 2 ja

Verschil pre en post test: significant

Studenten met ervaring in het buitenland scoren minder op beginnersniveau en meer op doorgroeiniveau dan de thuisblijvers. Opmerkelijk is nog steeds dat geen enkele student zichzelf als gevorderd of expert ervaart

Component ‘Culturele kennisverwerving’

Verschil pre- en post test: significant

Er is echter een opmerkelijk verschil in de vaststellingen tussen de studenten die in het buitenland verbleven en de thuisblijvers. De uitwisselingsstudenten ervaren bij zichzelf een zeer sterke vooruitgang op deze component, zoals blijkt uit de sterke toename van het aantal studenten in de expertgroep.

beginner basis doogroei gevorderd expert0.0

5.0

10.0

15.0

20.0

25.0

30.0

35.0

40.0

45.0

50.0

FASE 1 neenFASE 1 jaFASE 2 neenFASE 2 ja

Component ‘culturele relationele vaardigheid’

beginner basis doogroei gevorderd expert0.0

10.0

20.0

30.0

40.0

50.0

60.0

FASE 1 neenFASE 1 jaFASE 2 neenFASE 2 ja

Verschil pre en post test: significant

Ook voor deze component is er een significant verschil tussen de thuisblijvers en de uitwisselings-studenten. Opvallend meer uitwisselingstudenten omschrijven zich na hun buitenlandervaring als expert

Component ‘communicatieve vaardigheden’

beginner basis doogroei gevorderd expert0.0

10.0

20.0

30.0

40.0

50.0

60.0

FASE 1 neenFASE 1 jaFASE 2 neenFASE 2 ja

Verschil pre en posttest: niet significant

Ruim 41% van de studenten omschrijft zichzelf als gevorderd of expert. Hoewel de vastgestelde verschillen tussen thuisblijvers en uitwisselingsstudenten niet significant zijn, wijzen de resultaten duidelijk in de richting van een toegenomen expertisegevoel bij de uitwisselingsstudenten

Component ‘culturele conflicthantering’

beginner basis doogroei gevorderd expert0.0

10.0

20.0

30.0

40.0

50.0

60.0

FASE 1 neenFASE 1 jaFASE 2 neenFASE 2 ja

Verschil pre en posttest: niet significant

Voor deze component treedt er weinig groei op tijdens het academiejaar. Drie vierde van de studenten scoort op het beginners en basisniveau. Bijna een vijfde van de studenten scoort op doorgroeiniveau. Slechts drie studenten scoren op het niveau van expert. Het verschil in vaststellingspatroon tussen uitwisselingsstudenten en thuisblijvers is ook op het einde van het academiejaar statistisch niet betekenisvol.

Component multiperspectivisme

beginner basis doogroei gevorderd expert0.0

10.0

20.0

30.0

40.0

50.0

60.0

FASE 1 neenFASE 1 jaFASE 2 neenFASE 2 ja

Verschil pre en posttest: niet significant

Studenten blijken een evolutie doorgemaakt te hebben wat deze component betreft. Tussen de thuisblijvers en de uitwisselingsstudenten is er een opmerkelijk verschil. Uitwisselingsstudenten behalen opvallend vaker een score op het expertniveau dan hun medestudenten die thuis bleven. Het vastgestelde verschil is statistisch echter niet betekenisvol

Voorlopige conclusie

• Effectief resultaat van mobiliteit op interculturele competentie is niet eenduidig (niet over alle componenten heen) en vaak ook niet significant op dit geaggregeerd niveau

• Zelfaangegeven groei wordt wel opgemerkt in bij een aantal competenties, waar mobiele studenten vaker dan anderen aangeven dat zij zich op een expert niveau bevinden.

• Meer analyse en follow-up onderzoek op een minder geaggregeerd niveau (bv. school, departement, opleiding, of individuele opvolging) kan de betekenis van deze gegevens verder duiden

PWO- Catalyst Effecten van internationale mobiliteit op de ontwikkeling van interculturele competentie

Connectiviteit, effectiviteit en sociale media

• De “contact hypothese” in theorie…

• En in praktijk:o 89% van de studenten behoudt tijdens verblijf sterke

contacten met het thuisfronto De intensiteit van contacten ter plaatse is opvallend laago De positieve effecten van ‘enkel in een ander land te zijn’

worden in vraag gesteld (cf. ook eerdere studies in de VS)

• Meer recente vraag naar het gebruik van ‘nieuwe sociale media’ tijdens mobiliteitservaring: o ‘Negatieve interpretatie’o ‘Positieve interpretatie’

Contacten ter plaatse

3.88%

11.62%1.55%

16.29%

66.66%

Connectivity

NeverRarelyMonthlyWeeklyDaily

Frequentie van contacten met landgenoten

52.40%

29.25%

4.08%

4.08%10.20%

DailyWeeklyMonthlyNeverRarely

Voorkeurcontacten met het thuisfront

Kanalen voor contacten met het thuisfront

Kwalitatief raamwerk

Aanbevelingen uit het Catalyst onderzoek

• Een focus die enkel gericht is op de kwantitatieve toename van het aantal internationaal mobiele studenten is niet gerechtvaardigd vanuit het oogpunt interculturele competentiegroei

• Internationale mobiliteit is wellicht niet het meest krachtige instrument om interculturele competentiegroei te verzekeren

• Investeringen in kwalitatieve maatregelen worden gesuggereerd:

o De leerervaring intenser (versterken van de connectiviteit ter plaatse) en meer intensief (duur van de ervaring) maken

o De cyclus van selectie, voorbereiding, begeleiding (coaching), en nawerking integreren in het curriculum

o Internationale mobiliteit integreren met internationalisering@homeo Het constructief gebruik van ‘social media’ binnen en buiten de

opleiding

Effecten van internationale mobiliteit en een

internationale ‘kaart’ van een opleiding

Internationale kaart opleidingen

• Doel: internationale competenties aanwezig in het programma in kaart brengen (Zero assessment)

• Start voor discussie en reflectie omtrent het verankeren internationalisering in het curriculum

• Kwaliteitszorg

• 1 instrument met 2 delen:1. Docentenbevraging (OPO´s)

2. Bevraging opleidingsleiding (opleidingsonderdeel-overstijgende aspecten van een programma)

Docenteninstrument

• Meten van draagvlak onder docententeam, door voor elke internationale competentie te vragen: o Vindt u de ontwikkeling van deze competentie

belangrijk voor studenten van uw opleiding, gezien hun latere werkveld?

o In het vak/de vakken die ik doceer is deze competentie een explicit leerdoel.

o in het vak/de vakken die ik doceer wordt de ontwikkeling van deze competentie bij studenten geëvalueerd.

o in het vak/de vakken die ik doceer, ondersteunen de werkvormen en leeractiviteiten de evolutie van studenten op deze competentie.

Resultaten over alle opleidingen (N = 220)

Taalvaardigheid

Interculturele competentie

Global engagementpersoonlijke groei

Internationale vakkennis

0

1

2

Vindt u de ontwikkeling van deze competentie belangrijk voor studenten van uw opleiding, gezien hun latere werkveld?

Vindt u de ontwikkeling van deze competen-tie belangrijk voor studenten van uw opleid-ing, gezien hun latere werkveld?

Resultaten over alle opleidingen (N = 220)

Bevraging opleidingsverantwoordelijken

• Curriculum > verzameling OPO´s

• 7 zelfevaluatievragen (draagvlak, visie, opleidingsprofiel, leerlijn, informele activiteiten, reflectie en feedback)

• 1 vraag naar good practices voor de 5 domeinen

Meer informatie ICOMs

• Website : www.internationalecompetenties.be (vanaf 1 december 2013)

• Email: info@internationalecompetenties.be

• Sharing: “good practice”-formulier