Upload
jozef-verlinden
View
213
Download
0
Embed Size (px)
Citation preview
Management, finance en recht
Congres ‘Praktijkgericht onderzoek in het HBO’Amersfoort, 11 december 2012Daan AndriessenHogeschool Inholland
Wanneer is onderzoek goed: de kwaliteitscriteria
De verwarring voorbijNaar hernieuwd zelfvertrouwen
Het Nederlandse accreditatiestelsel
Standaard 1: • De beoogde eindkwalificaties van de opleiding zijn wat betreft inhoud, niveau en oriëntatie geconcretiseerd en voldoen aan internationale eisen.
Standaard 16: • De opleiding beschikt over een adequaat systeem van toetsing en toont aan dat de beoogde eindkwalificaties worden gerealiseerd.
2
Wat is een adequaat systeem van toetsing voor scripties?
3
De verwarring is compleet
4
Mijn probleemstelling en deelvragen
Wat is een adequaat systeem van toetsing voor scripties?
1. Wanneer zijn kwaliteitscriteria goed?2. Welke kwaliteitscriteria voor scripties
bieden de officiële kaders en wat is hun kwaliteit?
3. Hoe kan je als opleiding komen tot goede kwaliteitscriteria?
4. Wat is daarvan een goed voorbeeld?
5
1. Wanneer zijn kwaliteitscriteria goed?
6
Wat is de belangrijkste functie van kwaliteitscriteria voor scripties?
7
1. Student helpen er achter te komen hoe hoog de lat ligt voor beroepsproducten in zijn toekomstige beroep2. Zodat de student kan bepalen wat hij moet doen om dit niveau te halen
3. Waardoor de docent dit leerproces goed kan begeleiden
4. En de scriptie kan worden beoordeeld
Kwaliteitscriteria voor kwaliteitscriteria
1. Afgeleid uit de (internationale) competentie-eisen, het beroeps-profiel en visie op onderzoek daarin
2. Richtinggevend bij het maken van keuzes tijdens het onderzoek
3. Didactisch functioneel
4. Valide, betrouwbaar en voor studenten inzichtelijk (standaard 16)
8
Standaard 16: Valide, betrouwbaar en voor studenten inzichtelijk
Hiertoe moeten ze worden geoperationaliseerd. Ze hebben:1. Een object in de scriptie (wat moet
kwaliteit hebben? Bv. probleemstelling of literatuurstudie)
2. Een criterium (welke kwaliteit moet het hebben? Bv. Relevant, afgebakend of functioneel)
3. Indicatoren (waaraan kan ik zien of er sprake is van kwaliteit?)
9
2. Welke kwaliteitscriteria voor scripties bieden de officiële kaders en wat is hun kwaliteit?
10
Officiële kaders
Algemene internationale en landelijke kaders:
• Dublin descriptoren (DD)• HBO kenmerken Commissie Fransen (CF)• “Kwaliteit als opdracht” (HBO-raad)
Commissie Dunnewijk-Budé / “Vreemde ogen dwingen”Beroepsprofielen van opleidingen
11
Onderzoekend vermogen (HBO-raad):1. Definiëren en analyseren complexe probleemsituaties (CF)2. Planmatig aanpakken van werkzaamheden (CF)3. (wetenschappelijke) inzichten, theorieën, concepten en
onderzoeksresultaten toepassen (CF)4. Gegevens verzamelen en interpreteren (DD)5. Afwegen van sociaal-maatschappelijke, wetenschappelijke
of ethische aspecten (DD)6. Oordeel vormen (DD)7. Ontwikkelen en beoordelen van oplossingen (CF)
Leiden tot evidence based practice (HBO raad)Innovatie (HBO raad)
8. Reflecteren op het handelen (CF / HBO raad)
Wat moeten BA studenten kunnen volgens internationale en landelijke kaders?
12
Vraagstelling ontwikkelen
Onderzoeksplan maken
Theorie toepassen
Data verzamelen en analyseren
Conclusies trekken
Adviezen of andere beroepsproducten maken
Reflecteren op resultaten
Conclusie algemene internationale en landelijke kaders
Deze bieden wel overzicht van benodigde onderzoeksvaardigheden van de studentMaar geen kwaliteitscriteria voor scripties
13
Commissie Dunnewijk-Budé
• “Hiertoe heeft de Commissie een toetsingskader ontworpen met deels hbo-generieke en deels opleidingsspecifieke criteria (standaarden) waarmee zou kunnen worden bepaald of sprake is van voldoende hbo-bachelor kwaliteit in het algemeen, en van het vereiste BE-, CE-, MEM-, en VTM-opleidingsniveau in het bijzonder.”
14
Bron: Rapport van Bevindingen NVAO-Commissie Onderzoek Hogeschool Inholland, 26 april 2012
Beoordelingscriteria (standaarden) van de Commissie (1)
1. Vinden we onderstaande componenten terug in het afstudeerproject?
- A. Vraagstelling & verantwoording- B. Onderzoek & analyse (vraag- en
aanbodzijde, publiek, omgeving)–a. Onderzoeksopzet–b. Bronnenonderzoek–c. Empirisch onderzoek–d. Conclusies–e. Output [Afhankelijk van type
afstudeerproject]
15
Beoordelingscriteria (standaarden) van de Commissie (2)
2. Zo ja, zijn die componenten voldoende kwaliteitsvol uitgewerkt?
16
Niets
Beoordelingscriteria (standaarden) van de Commissie (3)
3. Kunnen we uit het afstudeerproject afleiden dat de afstuderende blijk geeft van minstens “voldoende”:
1. theoretische vorming / onderbouw2. overzicht en inzicht, het kunnen plaatsen van
problemen in de context3. reflectie (incl. zelfreflectie), kritische en
objectiverende ingesteldheid, zin voor nuance4. creativiteit en/of vermogen tot conceptualisering5. vermogen om helder te communiceren6. vermogen om efficiënt en resultaatgericht te
werken
17
Kunnen we de Dunnewijk-Budé eisen aan afstuderenden gebruiken als criteria voor scripties?
18Onderzoekend vermogen Een goede scriptie
19
4. Valide, betrouwbaar en voor studenten inzichtelijk (standaard 16)
Theoretische vorming / onderbouw
Object Criterium Indicatoren
Literatuurverkenning Verantwoorde -selectie, - gebruik, verwerking en -vermelding
geen
Literatuurverkenning Evenwichtige mix van binnen- en buitenlandse bronnen
geen
Theoretische verkenning
Adequaat geen
Veldonderzoek Behoorlijk uitgevoerd geen
Dataverzamelings-methoden
Behoorlijk uitgevoerd geen
Dataverwerking Behoorlijk uitgevoerd geen
20
Reflectie (incl. zelfreflectie), kritische en objectiverende ingesteldheid, zin voor nuance
Object Criterium Indicatoren
Bronnen bronnenkritiek geen
? Eigen oordeelsvorming geen
? reflectie over de eigen plaats in het onderzoek
geen
Conclusies (?) aanzet tot beantwoorden van onderzoeksvragen
geen
? onafhankelijk ingesteldheid geen
? goede inschatting van de toegevoegde waarde van het onderzoeksresultaat t.b.v. het werkveld
geen
? inzicht in eigen werkwijze en proces geen
22
Creativiteit en/of vermogen tot conceptualisering
Object Criterium Indicatoren
? onderzoek kunnen vertalen naar een concreet concept voor een product en/of dienst
geen
? originaliteit geen
? eigenheid geen
? out-of-the-box aanpak geen
? onafhankelijk denken geen
? meer perspectieven kunnen innemen geen
? ideeën kunnen genereren geen
? gevoel voor innovatie geen
? oog voor aspecten van usability geen
? kunnen vormgeven van steekhoudende look en feel
geen
23
Conclusie Commissie Dunnewijk-Budé
• Commissie Dunnewijk-Budé biedt geen lijst met kwaliteitscriteria voor scripties
• En is hier ook niet eenvoudig naar te vertalen
26
Conclusie: officiële algemene criteria voor scripties zijn in Nederland niet voorhanden
27Onderzoekend vermogen Een goede scriptie
3. Hoe kan je als opleiding komen tot goede kwaliteitscriteria?
28
Hoe dan wel?
29
4. Wat is daarvan een goed voorbeeld?
30
Voorbeeld Bedrijfskunde MER Inholland
31
Landelijk beroepsprofiel Bedrijfskunde MER
• “De startende bedrijfskundige professional richt zich op het analyseren, ontwerpen en managen van doelgerichte processen van productie en dienstverlening in en tussen organisaties”.
32Bron: Aanvulling BBA standaard op competentieprofiel Bedrijfskunde MER
Bachelor student als probleemoplosser
PROBLEEM-KEUZE EN DIAGNOSE
ONTWERP VERANDEREN EVALUATIE
1
23
45
6
Onderzoekscyclus
1
23
45
6
Onderzoekscyclus
1
23
45
6
Onderzoekscyclus
1
23
45
6
Onderzoekscyclus
VOORSTEL VOOR VERVOLGONDERZOEKBron: Aanvulling BBA standaard op competentieprofiel Bedrijfskunde MER
die handelen onderbouwt met onderzoek
Vertaling naar goede criteria
• Gebaseerd op het wetenschappelijke onderzoek van Heinze Oost (Oost & Markenhof, 2002)
• Aangevuld met criteria voor praktijkgericht onderzoek (Andriessen & Van Weert 2008)
• Getoetst aan eisen Dunnewijk – Budé
34Kern van de methodiek: Werken met inhoudelijke criteria voor kwaliteit
Bijvoorbeeld:Criteria probleemstelling en deelvragen
1. Verankerd2. Relevant3. Precies4. Functioneel5. Afgebakend
35
Didactisch functionele kwaliteitscriteria
36
Probleemstelling en deelvragen
Kennisgebied
Reden
Antwoord
Strategie
VERANKERD
RELEVANT
PRECIES
FUNCTIONEEL
Naar: Oost & Markenhof (2002)
Een probleemstelling is functioneel
Bron: Oost & Markenhof, 2002
Criteria probleemstelling en deelvragen
Object Criterium Indicatoren
Probleem-stelling
Functioneel 1. Maakt duidelijk wat de onderzoeksfunctie is2. Is uitgewerkt in deelvragen waarvan een deel
theoretisch is en een deel empirisch3. De deelvragen vormen samen een
onderzoekstructuur die past bij de onderzoeksfunctie.
38
Onderzoeksfuncties in de scriptie
PROBLEEM-KEUZE EN DIAGNOSE
ONTWERP VERANDEREN EVALUATIEen/ofen/of En/ofEn/of En/ofEn/of
VOORSTEL VOOR
VOORSTEL VOOR
VOORSTEL VOOR
OP BASIS VAN
OP BASIS VAN
OP BASIS VAN
1
23
45
6
Onderzoekscyclus
1
23
45
6
Onderzoekscyclus
1
23
45
6
Onderzoekscyclus
1
23
45
6
Onderzoekscyclus
VOORSTEL VOOR VERVOLGONDERZOEK
BeschrijvenEvaluerenVerklaren
Ontwerpen Ontwerpen EvaluerenVerklaren
Ontwerpende deelvragen:- Welke oplossingen zijn er
bekend?- Welke eisen stellen we aan de
oplossing?
Evaluerende deelvragen:- Welke oplossingen voldoen aan
de eisen?- Welke oplossing wordt
gekozen?
[Verklarende deelvragen:- Wat maakt dat de oplossing
gaat bijdragen aan het wegnemen van het probleem?]
Beschrijvende deelvragen:- Wat zijn de kenmerken van
situatie A?- Wat zijn de kenmerken van
de norm?
Evaluerende deelvragen:- Voldoet situatie A aan de
norm?
Verklarende deelvragen:- Wat maakt dat er
verschillen zijn tussen A en de norm?
Onderzoeksfunctie bepaalt deelvragenVoorbeeld: Ontwerpen
40
PROBLEEM-KEUZE EN DIAGNOSE
ONTWERP
Download de hele set van kwaliteitscriteria
41
Borging van kwaliteitscriteria in de opleiding
1. Kwaliteitscriteria leidend maken in onderzoekslijn
2. Kwaliteitscriteria didactisch benutten in de onderzoekslijn
3. Reviewen van studentproducten met afstudeerbegeleiders en beoordelaars helpt om:
–De ontwikkelde kwaliteitscriteria te leren toepassen–De kwaliteitscriteria te verbeteren–Intersubjectiviteit van beoordeling te verhogen–Betere onderzoekbegeleider te worden–Betere onderzoeker te worden
42
Conclusies: Wanneer is onderzoek goed?
1. Daar zijn landelijk geen algemeen geldende criteria voor
2. Het hangt af van het beroepsprofiel en de visie op onderzoek in het beroep
3. Het is alleen te bepalen met kwaliteitscriteria die voldoen aan de volgende kwaliteitscriteria:
1. Afgeleid uit de (internationale) competentie-eisen, beroepsprofiel en visie op onderzoek
2. Richtinggevend bij het maken van keuzes tijdens het onderzoek
3. Didactisch functioneel4. Geoperationaliseerd in object, criterium en
indicatoren
43