Achtergronden bij de Richtlijn multisource feedback voor ...1. Achtergrond multisource feedback De medisch specialist van de 21ste eeuw wordt geacht over verschillende competen-ties

1. Achtergrond multisource feedbackDe medisch specialist van de 21ste eeuwwordt geacht over verschillende competen-ties te beschikken, zoals bijvoorbeeld opge-steld door de Accreditation Council forGraduate Medical Education (ACGME),4)

Royal College of Physicians and Surgeonsof Canada CanMEDS roles,5) of UnitedKingdom’s Best Medical Practice frame -work.6) In Nederland wordt in de medischevervolgopleidingen gebruik gemaakt vande competenties die gebaseerd zijn op deCanMEDS rollen. De noodzaak om specia-listen in opleiding niet alleen op hun ken-nis maar op alle competentiegebieden tebeoordelen, heeft geleid tot de ontwikke-ling van nieuwe beoordelingsmethoden,waaronder MSF. Bij deze vorm van beoor-deling, in de literatuur ook wel 360 gra-den beoordeling genoemd, wordt zowelaan personen uit de werkomgeving alsaan patiënten gevraagd feedback te gevenop het functioneren van een arts die zijdirect en herhaaldelijk hebben kunnenobserveren. MSF is bruikbaar voor hetbeoordelen van competenties als professio-naliteit, samenwerking en communicatie.Deze competenties kunnen niet uitsluitenddoor een eenmalige observatie of op eentraditionele wijze worden getoetst; feed-back van collegae en patiënten is onmis-baar voor een volledige beoordeling 1-2.

MSF bestaat uit specifieke processen eninstrumenten voor informatieverzame-

ling, beoordeling en feedback op de werk-vloer. Vragenlijsten, ontworpen om ge -gevens over specifieke gedragsaspecten(bijvoorbeeld communicatievaardighe-den, professionaliteit, teamwerk) te verza-melen, worden door verschillende respon-denten ingevuld over één persoon. MSF isontstaan in het bedrijfsleven, waar dewerknemers niet vaak of niet van dichtbijgenoeg door de supervisor werden ge -observeerd om zinvolle feedback te kun-nen ontvangen. Collegae op de werkvloerwaren vaak in een betere positie om feed-back over de werknemer te verstrekken.Door verschillende collegae vragenlijstente laten invullen kon de informatie vanmeerdere medewerkers worden samen -gevoegd en gebruikt om feedback te ver -strekken. In het bedrijfsleven is MSF geaccepteerd omdat informatie van meer-dere individuen (waarnemers) en veelvou-dige beoordelaars (groepen waarnemers)wordt gebruikt en waarbij de bias die inherent is aan de beoordeling van ‘éénpersoon, één perspectief’ (dat wil zeggen.het perspectief van de supervisor) wordtverminderd.1-2.

In medische settings kunnen de waarne-mers (ook wel beoordelaars, respondentenof feedbackgevers genoemd) een verschil-lende achtergrond hebben. Te denken valtaan medische collegae (bijvoorbeeld peers– aios in vergelijkbare opleidingsfase –,supervisor, verwijzen de artsen, coassisten-

In VIVO Richtlijn

Tijdschrift voor Medisch Onderwijs, april 2010 | Vol. 29, nr. 2, Suppl. 1, p. 1-52

S8

Achtergronden bij de Richtlijn multisource feedbackvoor de aios

4) ACGME Competencies: http://www.acgme.org/outcome/comp/compFull.asp.5) RCPSC CanMEDS Competencies: http://rcpsc.medical.org/canmeds/index.php.6) GMC (UK) Good Medical Practice: http://www.gmc-uk.org/guidance/good_medical_practice/index.asp.

ten), niet-medische col lega’s (bijvoorbeeldverpleegkundigen, paramedici en psycho-logen) en patiënten en hun familieleden.Deze uit diverse (beroeps)groepen afkom-stige waarnemers hebben verschillendeperspectieven en observaties betreffendehet handelen van artsen, afhankelijk vande context waarin zij samenwerken met dearts. Bovendien kunnen zij het functione-ren van een arts vaak gedurende langeretijd observeren.

MSF kan worden gebruikt in het gehelecontinuüm van medisch onderwijs, hoe-wel het grootste deel van de gepubliceerdestudies zich op aios 3-7 en praktiserendspecialisten richt.8-13 In deze verantwoor-ding wordt ingegaan op de belangrijksteaspecten van MSF en worden de in deRichtlijn gegeven adviezen, mede aan dehand van relevante literatuur, toegelicht.

2. Doel van de multisource feedback-procedure

De beoordeling aan de hand van gestruc-tureerde vragenlijsten heeft als doel hetverkrijgen van informatie over het func-tioneren van de aios op een aantal com-petentiegebieden, zodat hierover zinvollefeedback kan worden gegeven. In de lite-ratuur worden zowel summatieve als for-matieve doelen van MSF beschreven. Bijeen summatief doel weegt de beoordelingmee voor de beslissing van het wel of nietvoortzetten van de opleiding. De procedurevan MSF, zoals geadviseerd in deze Richt-lijn, heeft primair een formatief doel: debeoordeling zal gericht zijn op het aanzet-ten tot reflectie, het opstellen van doelenen het verbeteren van het functioneren. Deresultaten zullen in voortgangsgesprekkenworden besproken met de aios (zie hoofd-stuk 13). Het secundaire doel van de pro-cedure zal wel summatief van aard zijn:het signaleren van ‘problematisch functio-nerende artsen’. Wanneer een aios eenonvoldoende beoordeling krijgt op meer-

dere competentiegebieden kan er bijvoor-beeld voor gekozen worden de aios inten-siever te begeleiden en hem/haar vaker deMSF procedure te laten doorlopen.

Gezondheidszorgorganisaties die eenvorm van MSF hebben ontwikkeld eningevoerd kunnen verschillende doelstel-lingen hebben, bijvoorbeeld de kwaliteits -verbetering van hele groepen, maar ookverbetering van het functioneren op hetindividuele niveau. In Alberta, Canada,bijvoorbeeld, wilde het Royal College ofPhysicians and Surgeons of Alberta eenformatief programma voor kwaliteits -verbetering dat als eerste screening vanhet niveau van alle artsen zou dienen.14 Inhet Verenigd Koninkrijk wilde de General Medical Council een beoordeling voorspecialisten in opleiding, gebaseerd ophun omschrijving van Best Medical Prac-tice. Zowel de Sheffield Peer Review Assessment Tool (SPRAT)3-4 als het Pre-registration House Officers Appraisal andAssessment System (PHAST)5 zijn ontwik-keld om artsen te identificeren bij wie ver-betering van het functioneren nodig is.Mini-PAT (een kortere versie van SPRAT)wordt gebruikt voor basisartsen in de eerste twee (‘foundation’) jaren van hunalgemene specialisatie. Hoewel het instru-ment bedoeld is om artsen te identificerendie ondermaats presteren, maakt het deeluit van een groter portfolio dat ontworpenis om aios te helpen leerbehoeften en doelen vast te stellen en een actieplan temaken.6 Evans et al. suggereren dat zelfswanneer de MSF een formatief doel heeft,het ook kan worden gebruikt om moge-lijke ‘probleemgevallen’ te signaleren.15

Ook bij formatieve MSF procedures be-staat er een ethische verplichting tegen-over patiënten om hen te beschermentegen deze uitzonderingen en zo nodigactie te ondernemen.1

Het is belangrijk het doel van de MSFprocedure uit te leggen aan de beoorde-

In VIVO Richtlijn

Richtlijn multisource feedback voor de aios | M.A. Horsman en Th.J. ten Cate

S9

S10 In VIVO Richtlijn

laars die ermee moeten werken. Te ver-wachten valt dat beoordelaars vragenlijs-ten anders invullen en aios mogelijkandere beoordelaars selecteren bij hetgebruik van de beoordeling voor zwaar-wegende beslissingen, dan bij het gebruikvoor reflectie en gedragsverbetering. Be-oordelaars zullen milder zijn in hun feed-back wanneer zij weten dat er veel van debeoordeling afhangt.16 Wanneer zij er nietop vertrouwen dat de beoordeling primairvoor een formatief doeleinde wordtgebruikt, zullen zij waarschijnlijk ookminder eerlijk zijn in hun geschrevenopmerkingen.1 Door beoordelaars op dehoogte te brengen van het doel van deMSF zal de motivatie tot invullen moge-lijk toenemen. Bovendien kan het vanbelang zijn beoordelaars op de hoogte testellen van het aantal andere beoorde-laars. Op de website www.multisource -feedback.nl, die wordt gebruikt voor deMSF procedure, voorgesteld in deze Richt-lijn, staat informatie voor de beoordelaars.Deze informatie kan door de aios wordenuitgeprint en uitgedeeld of per e-mail wor-den verstuurd. Tevens wordt bij de vragen-lijsten voor zowel patiënten als collegaeuitgelegd wat het doel van de procedure isen hoe de gegevens worden verwerkt enteruggekoppeld naar de aios.

3. Geschikte beoordelaars voor multisource feedback

In bijlage I wordt een overzicht gegevenvan gebruikte beoordelaars in de tot hedenuitgevoerde studies over MSF in eengeneeskundige setting.7) In vrijwel alle stu-dies wordt een onderscheid gemaakt tus-sen medische collegae en andere werkersin de gezondheidszorg; ook in deze Richt-lijn is voor deze indeling gekozen. In Tabel

2 worden per groep voorbeelden gegevenvan mogelijke beoordelaars die samenwer-ken met de aios en die vanuit hun perspec-tief een oordeel kunnen vormen over hetfunctioneren van de aios gedurende eenlangere periode en in verschillende situ-aties.

Tot nu toe hebben slechts weinig studiesgebruik gemaakt van beoordelaars uit dezevier groepen. Zelfbeoordeling wordt vaakbeschouwd als een van de bronnen bij 360graden beoordelingen; vanwege de anderepositie in het spectrum van informatieover het functioneren wordt deze categorievooralsnog buiten beschouwing gelaten.Een toelichting volgt in hoofdstuk 8.

Met name patiënten worden lang nietaltijd betrokken in de beoordeling. Hoe-wel beoordelingen van de prestaties vanartsen door patiënten in principe waarde-vol zijn, leveren ze ook een aantal proble-men op. Ten eerste zijn grote aantallen beoordelingen nodig; in sommige studieswordt zelfs gesproken van 50 om een vol-doende betrouwbaarheid te verkrijgen.7

Ernstig zieke patiënten vullen de formu-lieren vaak niet in, en diegenen die welinvullen geven vaak een lagere beoorde-ling dan matig zieke patiënten. Verderkunnen patiënten niet altijd goed onder-scheid maken tussen verschillende aspec-ten van klinisch handelen en geven zevaak hoge beoordelingen. Deze beperkin-gen maken het lastig de patiënt als enigebron te gebruiken.17 Toch kan het per-spectief van patiënten in dit tijdperk vanpatiëntgerichte zorg niet meer buiten be-schouwing worden gelaten. Patiënten, dedoelgroep van de zorg en het medischhandelen, vormen een essentiële bronvoor het beoordelen van de omgang metpatiënten door aios. Problemen of conflic-


7) Met bronnen en beoordelaars wordt hetzelfde bedoeld, voor de leesbaarheid worden beide termen afwisselendgebruikt.

S11


In VIVO Richtlijn

ten tussen artsen en patiënten doen zichvaak voor op het gebied van communica-tie en professionaliteit. Daarnaast blijktde bereidheid tot medewerking aan hetgeven van feedback aan artsen groot tezijn.7 9 12-13

In géén van de gevonden studies werdaan de partners van patiënten gevraagdom het functioneren van artsen te beoor-delen. In studies op het gebied van de Kin-dergeneeskunde worden wel ouders vanpatiënten ondervraagd, er wordt echterniet beschreven bij welke leeftijdscatego-rie van patiënten.11 Kinderen in de leeftijd

van 12 tot 16 jaar hebben juridische zeggen-schap volgens de Wet op de Ge nees kundigeBehandelingsovereenkomst (WGBO), maarworden in de bestaande MSF proceduresniet gevraagd om hun mening. Crossley etal. verrichtten in het Verenigd Koninkrijkeen studie naar de haalbaarheid van debeoordeling van het functioneren van kin-derartsen door kinderen en/of hun ouders.18

Zij ontwikkelden verschillende vragenlijs-ten over de niet-medische aspecten vanhet functioneren van kinderartsen,geschikt gemaakt voor jonge kinderen (7-11 jr.), oudere kinderen (11-16 jr.) en vol-

8) Voorbeelden van beoordelaars o.b.v. literatuur en uitkomsten van InVIVO Focus-bijeenkomst dd. 16-04-2007 Verslag focusbijeenkomst: http://www.medischevervolgopleidingen.nl//content/documenten/invivo/1.pdf.www.medischevervopleidingen.nl � implementatie � verslag open-space sessies.

Tabel 2. Categorieën beoordelaars.8)

Medische collegae Andere werkers Patiënten Zelfbeoordelingin de zorg

Supervisor Verpleegkundigen Patiënten en kinderen (zie hoofdstuk 8)(aan het bed, team- ouder dan 15 jaar

Staflid (dienst) leider, hoofd, gespecia-liseerd, SEH) Ouders van patiëntjes

Opleider jonger dan 16 jaarVerloskundige

Coassistent Begeleiders bij patiëntenPhysician assistant die zelf de vragenlijsten

Aios (peers) niet kunnen invullenNurse practitioner

Aios (senior)Operatieassistent

Aios van een aan-palend specialisme Paramedicus

Anios Maatschappelijk werker

Consulent Psycholoog

Huisarts/ Secretaresseverwijzend arts


wassenen (> 16 jr.). Bepaling van de haal-baarheid bestond onder andere uit hetbepalen van het benodigd aantal beoorde-laars voor een betrouwbaar oordeel. Uit deanalyses van de beoordelingen van 352arts-patiënt interacties bleek dat 15 beoor-delaars ouder dan 16 jaar voldoende zijnvoor een betrouwbaar oordeel. Bij beoorde-ling door kinderen jonger dan 16 jaar zou-den meer dan 30 beoordelaars nodig zijn.Aangezien ouders vrijwel altijd aanwezigzijn bij het contact tussen kinderarts enpatiënt, werd geconcludeerd dat ouders eengeverifieerde en betrouwbare bron zijnvoor het beoordelen van de communicatieover en weer. Wij adviseren in de Kinderge-neeskunde kinderen ouder dan 16 jaar enouders en/of verzorgers van kinderen tot 16jaar te kiezen als beoordelaars. Mutatismutandis kan dat ook gelden voor begelei-ders van patiënten die om andere redenende vragenlijst niet kunnen invullen.

Het meeste onderzoek is verricht naarde validiteit en betrouwbaarheid van debeoordeling door collegae van dezelfdediscipline of uit hetzelfde opleidingsjaar,peer assessment genoemd.3-4 6 15 19-20 Vanbeoordelingen door peers is aangetoonddat ze consistent zijn, onafhankelijk vande selectiemethode van beoordelaars. Debeoordelingen zijn wel afhankelijk vanvertrouwen en vereisen een grote aan-dacht voor veiligheid van gegevens, anderskunnen ze een ondermijnende, destruc-tieve en verdelende werking hebben.17

Voor beoordelingen door opleiders en staf-leden die supervisie bieden aan aios wor-den vergelijkbare resultaten beschreven.21

In de groep medische collegae blijkenconsulenten en verwijzende artsen vaakminder goed zicht te hebben op het func-tioneren van aios.12

Wat betreft andere werkers in de zorgworden verpleegkundigen, verloskundi-gen, psychologen en paramedici beschre-ven in de literatuur. Vooral in de eerste

procedures voor MSF die zijn ontwikkeld,werden verpleegkundigen nog maar wei-nig betrokken. Eén van de redenen hier-voor was dat artsen (in opleiding) moeitezouden hebben verpleegkundigen teaccepteren als geloofwaardige bron vooreen gefundeerde evaluatie van hun presta-ties.22 Beoordelingen door verpleegkundi-gen kunnen echter waardevol zijn geziende nauwe samenwerking op vooral ver-pleegafdelingen, en zijn voldoendebetrouwbaar bij zes tot tien personen.23-24

De beoordelingen blijken goed te correle-ren met de beoordeling door patiënten enopleiders op het gebied van inter-persoon-lijke vaardigheden.7 Uit meerdere studiesblijkt dat medische secretaresses geengeschikte bron te zijn voor het beoordelenvan het functioneren van aios, aangezienzij de arts niet meemaken in de spreek -kamer en niet direct het contact metpatiënten kunnen observeren.

Geadviseerd wordt de volgende beoor-delaars te laten deelnemen aan de MSF:• Medische collegae: supervisor, staflid

(dienst), opleider, consulent, coassistent,aios (peers), aios in hogere opleidings -jaren, anios, huisarts/verwijzend arts.

• Andere werkers in de zorg: verpleeg -kundige (aan het bed), verpleegkundigteamleider/manager, gespecialiseerd ver -pleegkundige, verloskundige, physicianassistant, nurse practitioner, paramedi-cus (fysiotherapeut, diëtist), psycholoog,pedagogisch medewerker, maatschappe-lijk werker.

• Patiënten: liefst na meerdere contactenmet de aios en alleen in bepaalde set-tings (op IC bijvoorbeeld minder haal-baar). Bij Kindergeneeskunde: kinderenvanaf 16 jaar en ouders van patiënten < 16 jaar.

In hoofdstuk 6 wordt nader ingegaan opbovenstaande criteria voor het selecterenvan geschikte beoordelaars.


S13


In VIVO Richtlijn

4. Gewenst aantal beoordelaars Het vereiste aantal beoordelingen pergroep beoordelaars voor het verkrijgenvan voldoende betrouwbare en validegegevens is internationaal uitgebreid on-derzocht. Het benodigde aantal beoorde-lingen is over het algemeen gebaseerd opde haalbaarheid, het doel van de beoorde-ling (formatief versus summatief) en opde psychometrische kenmerken die ge-wenst zijn.1 Wood et al. beschrijven dathet benodigde aantal beoordelaars deelsgerelateerd is aan de mogelijkheid vanbeoordelingsfouten of mate van bias. Hetgebruik van beoordelingen door meerderebeoordelaars vermindert de mogelijkheidvan bias voor een deel vanzelf, omdat menniet afhankelijk is van één enkele beoor-deling. De informatierijkheid van de feed-back zal toenemen naarmate meerderesoorten bronnen worden gevraagd omfeedback. De vraag blijft echter hoeveelbeoordelaars per peiling nodig zijn om dekans op een onjuiste, niet representatievebeoordeling te minimaliseren.25 In veelMSF studies is dan ook de generaliseerbaar-heid van vragenlijsten onderzocht. Hierbijmaakt men een schatting van de betrouw-baarheid van verschillende combinaties vanaantallen beoordelaars en aantallen vragendoor het aantal beoordelaars te variëren.Opzet van het merendeel van deze studieswas het aantonen van het benodigde aantalbeoordelaars voor het behalen van een gene-raliseerbaarheidscoëfficiënt (Ep2) van 0.7 ofmeer.7 10-13 20 26 Deze waarde wordt inzowel het bedrijfsleven als in de medischesettings als voldoende gezien en houdt indat er 70% kans is dat verschillen in sco-res een daadwerkelijk verschil tussen art-sen aantonen, in plaats van verschillentussen beoordelaars. Of anders gezegd: eris 70% kans op reproduceerbare gegevensbij een herhaalde meting. Voor de volle-digheid wordt een aantal van deze studieshier genoemd. Ramsey et al. analyseerden

3005 vragenlijsten met betrekking totMSF van 187 artsen. Tien tot elf reactiesvan collega-artsen waren noodzakelijk omeen generaliseerbaarheidcoëfficiënt van0.7 te bereiken.20 Bij beoordeling vandezelfde groep, maar dan door verpleeg-kundigen, bleek een aantal van 1015 no-dig om voldoende generaliseerbare gege-vens op te leveren.22 Butterfield &Mazzaferri schatten in 1991 dat slechtsvijf of zes verpleegkundigen een represen-tatief beeld van elke aios konden verstrek-ken.27 Woolliscroft et al. (1994) haddenmeer teleurstellende resultaten. Zij con-cludeerden dat vijf tot tien stafleden nodigzouden zijn voor een representatieve be-oordeling van aios op interpersoonlijke enprofessionele kwaliteiten. Het benodigdeaantal verpleegkundigen was echter 10 tot20, en voor patiënten bedroeg het aantalzelfs meer dan 50.7 Ramsey en Wenrichsuggereren in 1999 dat totaal zeven tottwaalf beoordelaars nodig zijn voorbetrouwbare feedback over prestaties.28

Dit aantal varieert afhankelijk van het tetoetsen domein of competentiegebied; bijinter-persoonlijke vaardigheden en decompetentie professionaliteit zijn bijvoor-beeld meer beoordelaars nodig.25 Voor deMSF in het kader van het Canadese herre-gistratiesysteem voor medisch specialis-ten, Physician Achievement Re view, wordtgebruik gemaakt van tien medische colle-gae, tien andere werkers in de zorg en 25patiënten.9 13-14 Zie Bijlage I van dezeRichtlijn voor het aantal benodigde beoor-delingen per groep beoordelaars (eenselectie van verrichte studies naar MSF).

Generaliseerbaarheidstudies zijn ver-richt om het aantal beoordelaars te bepa-len dat nodig is om op betrouwbare wijzeproblematisch functionerende artsen tekunnen signaleren, ofwel te gebruiken alssummatieve beoordelingsmethode. Davieset al. toonden in 2005 op basis van degeneraliseerbaar heidstheorie aan dat bij


gebruik van SPRAT voor kinderartsen inopleiding, vier beoordelaars die 24 vragenbeantwoorden voldoende zijn om vast tekunnen stellen of artsen wel of niet slechtfunctioneren. Dit is volgens de auteursvooral praktisch in bijvoorbeeld de Huis-artsgeneeskunde, waar vaak weinig be-oordelaars beschikbaar zijn. Zij geven welaan dat voor het aantonen van ‘grensge-vallen’ meer beoordelaars nodig zijn. Overhet algemeen geldt dat wanneer een sum-matief doel wordt nagestreefd er meerbeoordelaars nodig zijn dan bij een for-matief doel van de procedure.4

De gevonden minimaal benodigde aan-tallen beoordelaars lopen sterk uiteen tus-sen de verschillende studies, afhankelijkvan de inhoud, het doel en de lengte vande vragenlijst alsmede van de setting enmate van training van beoordelaars. Eenandere reden voor de verschillen in aan-tallen die zijn gevonden in onderstaandestudies is dat in sommige groepen eentendens kan bestaan om incon sistent tebeoordelen. Beoordelaars kunnen eenverschillende opleiding, achtergrond enberoeps normen hebben. Tevens kunnenzij uiteenlopende ervaringen hebben metde aios, waardoor de mate van overeen-stemming tussen scores van verschillendebeoordelaars niet hoog kan zijn. Tenderde kan het vragen om een beoordelingover een te groot aantal categorieënmogelijk leiden tot een grotere subjectivi-teit en irrelevantie en vaker tot een onver-mogen van de beoordelaar om bepaaldecategorieën te beoordelen. Tot slot kan erook nog een verschil zijn in training tenaanzien van de MSF procedure. Deze fac-toren suggereren dat wanneer er valide,meer gerichte beoordelings instrumentenworden ontworpen en beoordelaars wor-den getraind, het aantal benodigde beoor-delaars per peiling mogelijk gereduceerdkan worden.25

Op basis van de wetenschappelijke lite-ratuur en resultaten van de in Nederlandverrichte pilotstudie, worden in dezeRichtlijn de volgende aantallen per groepbeoordelaars geadviseerd (in hoofdstuk 4zijn deze aantallen toegelicht; zie ookhoofdstuk 11C):• Medische collegae:

totaal minimaal zes beoordelaars

• Andere werkers in de zorg: totaal minimaal zes

• Patiënten: totaal minimaal tien beoordelaars

Aangenomen mag worden dat de be -trouw baarheid bij deze aantallen beoor-delaars voldoende is voor een summatiefoordeel over de aios. Als de MSF proce-dure uitsluitend een formatief doel dient,kan wellicht met minder beoordelaarsworden volstaan. Dit zal voorwerp vannader onderzoek moeten zijn.

5. Te beoordelen competenties doorverschillende beoordelaars

In de literatuur worden gewenste ge -dragingen van artsen op verschillende ma-nieren beschreven, bijvoorbeeld als gedrags-domeinen, competentiegebieden of kritischegedragingen.3 5-6 10-11 29 De inhoud van dezeverschillende beschrijvingen komt groten-deels overeen met de inhoud van de Can-MEDS competentie gebieden, die zijn ver-taald naar de Nederlandse praktijk.30 Devolgende onderwerpen voor MSF wordenbeschreven in de literatuur: medisch han-delen, management van patiëntenzorg,interpersoonlijke kwaliteiten, communica-tieve vaardigheden, professionaliteit, colle-gialiteit/sa men werking, organiseren, medi-sche praktijkvoering, onderhouden van depr o fessionele ontwikkeling, (telefonische)bereikbaarheid. Maatschappelijk handelen


Totaal mini-maal 22 beoordelaars

S15


In VIVO Richtlijn

wordt niet als zodanig beschreven in deliteratuur; wel wordt in verschillende stu-dies gevraagd naar omgang met in cidentenin de zorg, mate van preventieve zorg ennaar handelen volgens relevante wetgeving.

Verschillende beoordelaars kunnen ver-schillende aspecten van het functionerenvan artsen beoordelen en deels bestaat ereen overlap tussen de competenties diezij kunnen beoordelen. Idealiter wordtbeoordelaars alleen gevraagd gedrag tebeoordelen dat zij daadwerkelijk in depraktijk en liefst herhaaldelijk hebbenkunnen observeren.1 Zo zal een beoorde-laar die de arts nooit heeft meegemaakt inde spreekkamer of aan het bed van depatiënt niet in staat zijn de communicatiemet patiënten en familie te beoordelen.De patiënt is echter bij uitstek een ge-schikte bron om over dit punt een oordeelte geven, evenals verpleegkundigen die bijgesprekken met patiënten aanwezig zijn.Om een keuze te maken welke beoorde-laars geschikt zijn voor het beoordelenvan bepaalde competenties van de aios,zal dus bepaald moeten worden welkgedrag een beoordelaar daad werkelijkkan observeren en beoordelen. Daarbijspelen ook haalbaarheid en acceptabiliteitvan het ondervragen van mensen met eenverschillende (beroeps)achtergrond eenbelangrijke rol. Het zal bijvoorbeeld lastigzijn vragenlijsten te laten invullen doorpatiënten met spoedeisende of psychia -trische aandoeningen, alsmede door ern-stig zieke of terminale patiënten. Tevenszullen anal fabeten en patiënten met teweinig begrip en/of kennis van de taalmoeilijk te ondervragen zijn.1

In de meeste artikelen wordt beschre-ven dat patiënten vooral gevraagd wordtnaar interpersoonlijke kwaliteiten, com-municatie en professionaliteit. Op de vra-genlijsten, ontworpen in samenhang metdeze Richtlijn, worden aan patiënten vra-gen gesteld over twee van de zeven com-

petentiegebieden. Om patiënten niet teveelte belasten en de haalbaarheid voldoendehoog te houden is het aantal vragen be-perkt tot acht vragen over communicatieen acht vragen over professionaliteit. Deauteurs veronderstellen dat patiënten overhet algemeen onvoldoende zicht hebbenop de competenties samenwerking enmaatschappelijk handelen om hier eenbeoordeling over te kunnen geven. In deliteratuur worden ook voorbeelden gege-ven van vragenlijsten voor patiënten metvragen over organisatie, bijvoorbeeldmedische praktijkvoering en (telefonische)bereikbaarheid.1-2 11-12 26 Op dit gebied zougevraagd kunnen worden of de arts vol-doende tijd besteedt aan de patiënt en hoelang de patiënt gemiddeld moet wachtenop de arts. Aangezien de beoordeling vandit soort vragen ook afhankelijk is vanorganisatorische fac toren buiten de aios,zijn deze vragen achterwege gelaten.Getracht is alleen te vragen naar aspectenvan het functioneren die geheel op de aioszijn terug te voeren.

Medische collegae en peers wordt invrijwel alle studies gevraagd naar commu-nicatie en professionaliteit en daarnaastnaar medisch handelen, technische vaar-digheden, samenwerken, organisatie, pro-fessionele ontwikkeling en gebruik vanbeoordelaars (kennis en wetenschap).Violato et al. beschrijven in 2006 dat vra-gen die collega-artsen moeilijk te beant-woorden vonden, waren gerelateerd aanprofessionele ontwikkeling en verbeteringin de praktijk.11 Verpleegkundigen enandere niet-medische professionals in degezondheidszorg wordt gevraagd naar gege-vens over de zorg voor patiënten, interpro-fessionele samenwerking en communicatie.Johnson en Cujec toonden een voldoendebetrouwbaarheid aan van de beoordelingvan deze competenties door verpleegkundi-gen op een intensive care afdeling.24 Hetwordt door artsen minder goed geaccep-


teerd wanneer andere werkers in de zorghet medisch handelen of technische vaar-digheden beoordelen.20 22 Op de vragen-lijsten voor andere werkers in de zorgworden dan ook geen vragen gesteld overde competentie medisch handelen. In deeerste versie van de vragenlijst voor medi-sche collegae werden hier ook geen vra-gen over gesteld.

Bij de evaluatie van de eerste pilotstudiebleek het echter onnatuurlijk om bijmedische collegae vragen over medischinhoudelijke kwaliteiten geheel achter-wege te laten, omdat dit ook belangrijkefeedbackpunten kan opleveren. In detweede versie van de vragenlijst voormedische collegae zijn dan ook drie vra-gen over de competentie medisch hande-len toegevoegd. Over communicatie enprofessionaliteit kunnen in principe allebeoordelaars zoals genoemd in hoofdstuk3 vanuit hun positie een beoordelinggeven. In Tabel 3 wordt een voorbeeldgegeven van verschillende vragen overdeze competenties aan de verschillendegroepen beoordelaars.

Het aantal vragen kan een rol spelen inde haalbaarheid van de procedure envoorkomen moet worden dat door telange vragenlijsten de respons afneemt.Lockyer et al. tonen in hun studie aan dathet minimum aantal vragen 20 bedraagtvoor alle vragenlijsten bij acht medischebronnen, acht niet-medische beoorde-laars en 25 patiënten.26 Hierbij dient welopgemerkt te worden dat in deze studiede MSF een summatief doel had en er dushogere eisen gesteld worden aan de psy-chometrische kenmerken van de vragen-lijsten.

In Tabel 4 is per categorie beoordelaarsweergegeven over welke competenties zijgevraagd worden feedback te geven in hetprogramma Multisourcefeedback.nl. Om-wille van de haalbaarheid, en uitgaandvan een formatieve beoordeling, is het

aantal vragen beperkt gehouden tot 16voor patiënten en respectievelijk 29 en 23voor medische collegae en anderen. Inhoofdstuk 11 worden de gemaakte keuzesvoor het bepalen van de vorm en inhoudvan de vragenlijsten nader toegelicht.

6. Selectie en benadering van beoordelaars

A. Selectie van de beoordelaars Op basis van literatuurstudie en discussiein focusgroepen wordt geadviseerd om debeoordelaars niet door de supervisor ofopleider, maar door de aios zelf te latenselecteren. Dit kan echter vragen oproepenover de betrouwbaarheid van gegevens:worden er geen ‘vriendjes’ uitgekozen, vul-len collegae de vragenlijsten dan wel eer-lijk in en blijft de veiligheid van relatiesmet patiënten en collegae wel gewaar-borgd? Deze laatste vraag wordt in hoofd-stuk 7 toegelicht. Het potentiële probleemvan het alleen uitkiezen van ‘vriendjes’wordt voor een deel opgelost door uit allegroepen meerdere beoordelaars te vragen.Het zal niet mogelijk zijn alleen maar col-legae uit te kiezen met wie men ook buitenhet werk bijvoorbeeld een vriendschappe-lijke relatie heeft. In een aantal studies isde mate waarin de beoordelaar en beoor-deelde elkaar kennen, en de invloed hier-van op de scores, onderzocht. Deze factorblijkt verantwoordelijk te zijn voor minderdan 10-15% van de variantie van beoorde-lingen.18 25-26 Bo ven dien werd in een studievan Ramsey in 1993 aangetoond dat hetselecteren van beoordelaars door de aios ofselectie door een derde partij (super-visor/opleider) weinig verschil maakt voorde betrouwbaarheid van de beoordeling.20

Hoe goed een beoordelaar de te beoordelenarts kent, en de invloed hiervan op debeoordeling, werd ook als onafhankelijkevariabele onderzocht in een studie van Hallet al.9 Voor de peer assessmentvragenlijsttoonden de resultaten een significante


S17


In VIVO Richtlijn

Tabel 3. Voorbeelden van competenties, beoordelaars en vragen.

Competentiegebieden Beoordelaars Voorbeeldvragen/stellingen

Communi catie Patiënten De arts luisterde goed naar mijDe arts gaf duidelijk uitleg

Andere wer kers in de zorg De arts communiceert goed met patiëntenen familieDe arts geeft helder geformuleerde monde-linge opdrachten

Medische collegae De arts is zowel duidelijk als volledig inschriftelijke verslagleggingDe arts presenteert tijdens besprekingenpatiëntencasus accuraat en beknopt

Professionaliteit Patiënten Deze arts begreep mijn situatie goed (de situatie van mijn kind)Deze arts leek op de hoogte te zijn van mijndossier/mijn situatie

Andere wer kers in de zorg De arts stelt tijdens de dagelijkse werkzaam-heden het belang van de patiënt centraal De arts kent het dossier en de toestand vande patiëntenzorg

Medische collegae De arts is zich bewust van eigen grenzen enhandelt daarbinnen De arts accepteert feedback van anderen

Tabel 4. Overzicht van aantal vragen per competentiegebied en per categorie beoordelaars.

Bron Aantal vragen Competentiegebieden (aantal vragen) Schaal

Medische 29 + 1 open vraag* Medisch handelen (3); communicatie (5), collegae samenwerking (6), organisatie (4), kennis &

wetenschap (3), professionaliteit (6), EPA’s** (2) 5 waarden

eens/oneens +Anderen in 23 + 1 open vraag* Communicatie (6), samenwerking (5), categorie nvtde zorg organisatie (4), kennis & wetenschap (2),

professionaliteit (6)

Patiënten 16 +1 open vraag* Communicatie (8), professionaliteit (8)

* Open vraag: Heeft u tips en/of opmerkingen om het functioneren van deze arts te verbeteren?

** EPA: Deze aios vertrouw ik de volgende kritische activiteit toe om zelfstandig uit te voeren.31


invloed aan van de mate waarin de beoor-delaar de arts kent. Voor bijna de helft vande vragen werden statistisch significanteverschillen gevonden, waarbij beoordelaarsdie de arts niet of niet goed kenden een posi-tievere beoordeling gaven dan beoordelaarsdie de artsen enigszins, goed of zeer goedkenden. Beoordelaars die de artsen nietgoed kenden vormden slechts een klein per-centage van alle respondenten (1.8%), enhet gemiddelde verschil in scores was ookklein (0.21). Dezelfde analyse van de vra-genlijst voor niet-medische collega’s toondeovereenkomstige resultaten met opnieuwerg kleine verschillen in de scores. De ver-gelijking van zelfbeoordelingen met beoor-delingen door peers, consulenten en verwij-zende artsen, en niet-medische collega’svertoonde weinig overeenstemming tussende twee categorieën. De artsen beoordeel-den zichzelf minder gunstig dan hun col-lega-professionals.

Naar aanleiding van de resultaten vanbovengenoemde studies laat men in demeeste MSF procedures de selectie vanbeoordelaars over aan de te beoordelenarts zelf. Om wel een zo groot mogelijkespreiding van perspectieven te verkrijgenbinnen een groep beoordelaars en te voor-komen dat veel vragen met ‘niet te beoor-delen’ worden ingevuld, wordt een aantalvoorwaarden voor de selectie van beoor-delaars geadviseerd:• Medische collegae: totaal minimaal zes

beoordelaars; in ieder geval beoordelingdoor minimaal twee stafleden van hetopleidingsteam (in ieder geval de hui-dige supervisor) en twee collega-aioswaarmee een langere periode is samen-gewerkt. Overige beoordelaars zijncoassistenten, medische collegae metwie men dienst (weekend/week) heeftgedraaid, consulenten en verwijzendartsen van andere disciplines, mits erregelmatig contact/sa men werking isgeweest.

• Andere werkers in de zorg: totaal mini-maal zes beoordelaars; in ieder gevalbeoordeling door minimaal drie ver -pleegkundigen. Bij voorkeur geen selec-tie van medische secretaresses of an -dere beoordelaars die weinig aanwezigzijn bij de patiëntenzorg.

• Patiënten: minimaal tien beoordelaars;liefst een gemengde patiëntenpopulatievan poliklinische en klinische patiëntenen patiënten waarmee meerdere contac-ten zijn geweest (minimaal twee).

De wijze waarop het gewenste totale aan-tal beoordelaars per groep wordt bepaald,wordt toegelicht in hoofdstuk 4 en hoofd-stuk 11C. Gezien het aantal beoordelaarsdat moet worden geselecteerd heeft het devoorkeur de aios wel voldoende tijd voorde selectie te geven. Voor de betrouwbaar-heid van de gegevens is een voldoendeaantal beoordelaars per groep nodig endit heeft een hogere prioriteit dan een zokort mogelijke verwerkingstijd (hoofdstuk10). In de Nederlandse studie is het haal-baar gebleken om in een periode vanminimaal twee maanden voldoende rele-vante beoordelaars te kunnen selecteren,mits de setting hiervoor geschikt is (op deIC is het selecteren van voldoende patiën-ten bijvoorbeeld niet haalbaar). Door deMSF procedure al eerder aan te kondigenen/of op te starten, bijvoorbeeld drie totmaximaal zes maanden tevoren, kan deaios ruim vóór het beoordelingsgespreknadenken over de vraag welke beoorde-laars relevant kunnen zijn om te selecte-ren. Door collegae aan het begin van eenklinische stage al te vragen of zij na eenbepaalde periode feedback willen gevenop het functioneren, krijgen zij de moge-lijkheid een aios gerichter te observeren.Juist omdat het bij MSF niet gaat omkorte observaties maar om een oordeelover het functioneren over een langeretijdsperiode is het belangrijk dat beoorde-


S19


In VIVO Richtlijn

laars hierover ruim tevoren zijn geïnfor-meerd. Dat voorkomt uitsluitend retro-spectieve en daardoor soms vervormdeoordelen. De kans dat voldoende patiën-ten en collegae kunnen worden geselec-teerd voor het geven van relevante, waar-devolle feedback wordt hiermee ookvergroot.

B. Benadering van de beoordelaars In de literatuur worden verschillendemanieren beschreven waarop beoorde-laars gevraagd kunnen worden door mid-del van vragenlijsten feedback te geven.Belangrijk is dat een zo groot mogelijkerespons wordt bereikt. Voor de benaderingvan de beoordelaars (vragen om deelnameen uitreiken van vragenlijsten) wordt somseen administratief bedrijf ingeschakeld als‘tussenpersoon’. De artsen wordt dangevraagd de namen, functies en adressenop te geven van een aantal geselecteerdebeoordelaars. Vervolgens worden de ver-schillende vragenlijsten opgestuurd naardeze beoordelaars.3-4 6 Het medium datgebruikt wordt heeft invloed op het ont-werp van de vragenlijsten en de snelheidwaarmee data verwerkt kunnen worden.Vragenlijsten kunnen op papier ingevuldworden, via intranet, telefoon of e-mail.Iedere benaderingswijze heeft voor- ennadelen. Bij gebruik van korte vragenlijs-ten kan voor telefonisch invullen met cij-fercodes gekozen worden, evenals bijpatiënten die analfabeet zijn. Wanneervoor het invullen op de computer wordtgekozen, dienen alle beoordelaars vol-doende toegang te hebben tot een compu-ter en eventueel intranet. Bovendien zaltechnische ondersteuning nodig zijn voorhet opzetten van digitale vragenlijsten envoor het ontwerpen van een computerap-plicatie voor het verzamelen en verwerkenvan de data. Wanneer niet aan deze voor-waarden kan worden voldaan, heeft invul-len met pen en papier of aan de hand van

een telefoongesprek de voorkeur.1 Pennyvergeleek pen en papier met elektronischesystemen en concludeerde dat demethode de consistentie van beoordelaarsniet beïnvloedde.33 Archer et al. beschre-ven een succesvol systeem waarin beoor-delingen centraal gescand worden in eencomputer, die vervolgens analyses uit-voert en een samenvatting maakt.3 Loc-kyer et al. onderzochten in 2006 de ver-schillen in responspercentage tussen hetgebruik van telefonische vragenlijsten,invullen via internet en invullen op papier.In de eerste twee groepen waren de artsenzelf verantwoordelijk voor verspreidingvan de vragenlijsten. De responspercenta-ges op papier waren 88% voor patiënten,94% voor andere werkers in de zorg, 91%voor medische collegae. De responsper-centages voor het invullen per telefoon ofinternet bedroegen respectievelijk 68% en32% voor patiënten, 62% en 38% voorandere werkers in de zorg en 57% versus43% voor medische collegae. De verschil-len in responspercentages worden deelsgewijd aan het minder toegankelijk zijn vaninternet op het platteland. Bij het invullenaan de hand van een telefoongesprek of viainternet waren de artsen verantwoordelijkvoor selectie van de bronnen. Dit kan geleidhebben tot een lagere respons, omdat dewerkdruk van artsen over het algemeenhoog is. De resultaten van de studie sugge-reren dat het invullen van vragenlijsten oppapier minstens even effectief is en tot eenhogere respons leidt dan technologischeverspreidingsmethoden. Ondersteuningvan artsen bij verspreiding van de vragen-lijsten speelt volgens de auteurs een kriti-sche rol in een succesvolle beoordelings -procedure.26 Payne waarschuwde ervoordat men soms teveel waarde hecht aanelektronische gegevens en numerieke sco-res en dat het gevaar van elektronische sys-temen kan zijn dat subjectieve gegevens alsobjectief worden weergegeven.34


In deze Richtlijn adviseren wij de aioszelf de beoordelaars te laten selecteren enom toestemming te vragen voor het toe-sturen van een vragenlijst per e-mail. Dithoeft weinig tijd te kosten, aangezien deaios zelf samenwerkt of contact heeft metrespectievelijk collegae en patiënten. Doorde artsen zelf de beoordelaars te latenbenaderen kan op persoonlijker wijzemedewerking worden gevraagd en wor-den de kosten van een ‘tussenpersoon’bespaard. Tevens is omwille van de haal-baarheid de keuze gemaakt voor een elek-tronische procedure met behulp van hetwebbased programma Multisourcefeed-back.nl. Dit programma is vanaf iederecomputer met internetverbinding te ope-nen met persoonlijke inloggegevens vooraios en opleiders. In het programma kun-nen aios na toestemming van de beoorde-laars de verkregen e-mailadressen invoe-ren. Beoordelaars kunnen de vragenlijstopenen via een link in de e-mail die zijautomatisch ontvangen nadat een aioshun e-mailadres heeft ingevoerd.

7. Anonimiteit/veiligheid van werkrelatie en arts-patiëntrelatie

Het invoeren van een procedure voorMSF kan een bedreiging betekenen voorzowel degene die beoordeeld wordt alsvoor de beoordelaar, maar ook de kwali-teit van de werkrelatie tussen arts enbeoordelaar kan gevaar lopen. Al in hetbegin van de implementatie moetendaarom garanties gesteld worden om derelaties tussen collegae en artsen enpatiënten te waarborgen.1 In een vroegstadium is dan ook de vraag gesteld hoeherkenbaar de bron mag zijn voor de aiosom enerzijds te zorgen voor voldoendeeerlijkheid bij het beoordelen en ander-zijds geen conflicten te veroorzaken tus-sen de aios en collega’s of de aios enpatiënten. In veel studies over MSF zijnde identiteit van de beoordelaars en hun

individuele scores alleen bekend bij deopleider (of bij degene die het feedback-gesprek voert). Onder andere in de studievan Whitehouse et al. wordt op het beoor-delingsformulier vereist dat de beoorde-laar zijn/haar naam invult en een handte-kening zet. De individuele scores wordengeaggregeerd en de aios weet dus alleendat de beoordelaar één van de beoorde-laars is die hij/zij heeft gekozen.

De auteurs geven drie belangrijke rede-nen waarom zij vinden dat de identiteitvan beoordelaars wél bekend moet zijn bijde supervisor. Ten eerste kan het voor desupervisor nodig zijn, om in gevallenwaarin een beoordelaar een onvoldoendeof sterk afwijkende score geeft, toelichtingte vragen of verder onderzoek te doen. Ditkan alleen wanneer de opleider weet wiede beoordelaar is. Ten tweede noemen deauteurs hun ervaring met gevallen waarbijbeoordelaars om persoonlijke, in plaatsvan professionele redenen, lage scoresgaven. Die wijze van beoordelen kan ont-moedigd worden door geen volledig ano-niem proces te kiezen, maar te zorgen datslechte scores herleidbaar zijn voor verderonderzoek. De derde reden die genoemdwordt voor het vragen om naam en hand-tekening is het voorkomen van fraude metde vragenlijsten. De auteurs geven wel aandat verder onderzocht moet worden of col-legae geremd worden in het geven van eeneerlijk oordeel over artsen wanneer zij nietvolledig anoniem zijn.35 Er is ook eenander argument dat pleit tegen anonimi-teit. Dat is de wens om een open commu-nicatiesfeer op klinische afdelingen tecreëren, mede in het kader van incident-meldingen.

Op basis van literatuurbevindingen endiscussies in het Utrechtse In VIVO kern-team wordt echter geadviseerd de indivi-duele scores die beoordelaars hebbengegeven niet rechtstreeks bekend temaken aan de aios. De aios krijgt alleen


S21


In VIVO Richtlijn

een gemiddelde score per groep beoorde-laars te zien; een slechte score zal nietherleidbaar zijn tot een individuele be-oordelaar. Geschreven opmerkingenworden per categorie beoordelaars weer-gegeven, zodat ook deze niet herleidbaarzijn tot een individuele persoon. Hier-voor dient het aantal beoordelaars dusminimaal twee te zijn. Geadviseerd wordtde supervisor wel inzage te geven in deindividuele scores en geschreven opmer-kingen. Er zal dan dus geen sprake zijnvan volledige anonimiteit. In een toelich-ting bij de vragenlijst kan aan beoorde-laars worden uitgelegd waarom dit hetgeval is. In hoofdstuk 13A wordt hetwaarborgen van de anonimiteit bij weer-gave van de MSF resultaten nader toege-licht.

8. De plaats van zelfbeoordeling in demultisource feedbackprocedure

Een primair doel van MSF is de mogelijk-heid voor aios om hun eigen beeld van hetfunctioneren te vergelijken met het beelddat anderen van hen hebben. Dit kanvooral nuttig zijn voor artsen die mindergoed functioneren en mogelijk weinigzelfinzicht hebben. Daar staat tegenoverdat het zelfvertrouwen van artsen, diezichzelf minder goed beoordelen, kan toe-nemen.4 Er zijn echter kanttekeningen teplaatsen bij het gebruik van zelfbeoorde-lingen. In veel studies worden slechte totmatige correlaties gevonden tussen zelf-beoordelingen en een beoordeling doorpeers, andere werkers in de zorg en doorsupervisors.10 12-13 23 26 Artsen schattenzichzelf over het algemeen lager in danhun beoordelaars. In een Canadese studieonder artsen met een buitenlands artsdi-ploma schatte echter 70% van de artsenzichzelf hoger in dan hun beoordelaars.26

Zelfbeoordeling of zelfreflectie in deopleiding is belangrijk, maar een zelfbe-oordeling vormt in onze visie geen onder-

deel van MSF. Het zelfbeeld ontstaat juistimmers mede op basis van de verkregenfeedback vanuit verschillende perspectie-ven. Zelfbeoordeling heeft dus een anderestatus dan externe beoordelingen envormt geen onderdeel van de 360 gradenwaarop een overall oordeel over een aiosis gebaseerd. Zelfbeoordeling is in hetalgemeen weinig betrouwbaar en valide,maar niettemin een vaardigheid die welontwikkeld moet worden.36 Een proce-dure van zelfbeoordeling kan wel heelgoed als aanvulling op MSF worden toe-gepast. Een mogelijkheid is om de aios,voorafgaand aan het voortgangsgesprek,de vragenlijsten voor collegae en patiën-ten over hun functioneren ook zelf telaten invullen. De zelfbeoordeling heeftdan als doel een vergelijking te vormenmet de scores die gegeven zijn door deverschillende groepen bronnen. Een grotediscrepantie in de resultaten kan eengebrek aan inzicht suggereren en verschil-len tussen de scores en eventuele redenenhiervoor kunnen dan besproken wordenmet de supervisor. Eventuele discrepan-ties kunnen verminderd worden door debeoordeelde aios duidelijker inzicht telaten krijgen in het gewenste gedrag. Totslot kan de zelfbeoordeling of visie van de aios op zijn/haar competenties eenbelangrijke en valide toevoeging zijn aanhet perspectief van de andere bronnen.Soms kunnen zelfs nieuwe aandachtspun-ten naar voren komen die niet door debeoordelaars zijn aangestipt.25

9. Frequentie en tijdstip van multisource feedback

De frequentie van MSF is afhankelijk vande haalbaarheid en tijdsinvestering perbeoordelingsronde. Om tot eventuele ver-betering van het functioneren te komenmoet er voldoende tijd bestaan tussen depeilingen. Frequenties van de beoordelingdie worden genoemd in de relevante lite-


ratuur variëren van eenmaal per vijf jaar 9

tot twee maal per jaar.37 Geadviseerdwordt het tijdstip van een MSF procedureaan te passen aan de (vernieuwde) oplei-dingsschema’s. Dit kan betekenen dat deprocedure niet ieder jaar, maar bijvoor-beeld alleen gedurende langere klinischestages wordt doorlopen. Desgewenst, enafhankelijk van het opleidingsschema,kan de MSF ook jaarlijks worden uitge-voerd. De aios en opleider kunnen ookbesluiten dit frequenter te doen; zeker bijtwijfel over functioneren is dit wenselijk.In het eerste jaar van de opleiding heefthet de voorkeur om de procedure in iedergeval éénmaal te doorlopen.

Voor een optimale effectiviteit zou deaios deze feedback zo snel mogelijk na debeoordeling moeten ontvangen en kunnenbespreken met de opleider. De korteomlooptijd van de beoordelingen leidt totvoldoende relevantie van de feedbackvoor dat moment. Wanneer de beoorde-ling pas na lange tijd wordt meegedeeldaan de aios, zal dit voor de aios mindermotiverend werken.1 Geadviseerd wordtde periode tussen het doorlopen van deMSF procedure en het meedelen van deresultaten niet langer dan een maand telaten zijn. Idealiter staat een week naafloop van een MSF-ronde een voort-gangsgesprek gepland.

10. Periode waarover beoordeeldwordt

De periode waarover een bepaalde beoor-delaar de aios feedback geeft, zal perbeoordelaar verschillen. Het is wenselijkdat de beoordeling van het functionerenvan de aios niet slechts op basis van éénenkele observatie plaatsvindt. In tegen-stelling tot KPB’s zal de beoordeling tenbehoeve van MSF een langere periodemoeten beslaan, van bijvoorbeeld mini-maal één maand samenwerking bij colle-gae en minimaal twee arts-patiëntcontac-

ten bij poliklinische patiënten of bij eenopname van minimaal drie dagen. Dezegetallen zijn zeer arbitrair, aangezien deperiode waarover beoordeeld wordtmeestal niet specifiek beschreven is in derelevante literatuur. In studies over MSFin het bedrijfsleven wordt een periode vanzes tot twaalf maanden op dezelfde werk-plek voldoende geacht om een beoorde-ling te kunnen geven.38 Dat lijkt lang vooreen opleidingssituatie, temeer omdat hetadvies om jaarlijks de MSF procedure uitte voeren juist is ingegeven door degedachte dat de aios zich in een jaar sub-stantieel ontwikkelt. Een observatie -periode van één tot drie maanden wordtdaarom geadviseerd. In de meeste studiesdie verricht zijn in medische settingswordt ook beschreven dat de beoorde-laars gedurende een langere periode moe-ten hebben samengewerkt met degene diezij moeten beoordelen. In de instructievoor de aios wordt benadrukt dat hetbelangrijk is dat de aios beoordelaarsselecteert waarvan hij/zij het idee heeftdat zij relevante feedback kunnen geven.

Op de vragenlijsten voor collegae wordtgevraagd naar de periode waarover zijhun mening geven (week, maand, > 1maand, > 3 maanden). Tijdens de ver-richte studie heeft 92% van de collegaehun feedback gebaseerd op een periodevan minimaal een maand of langer. Hetlijkt dus haalbaar om een minimaleperiode van één maand als voorwaardevoor een beoordeling te stellen. De aioszal over het algemeen een aantal maan-den op een afdeling werken. Wanneer ereenmaal per jaar MSF wordt gegeven zaler over het algemeen voldoende mogelijk-heid zijn om beoordelaars te vinden diede aios gedurende een langere periodehebben meegemaakt. Overigens zullen er,ongeacht de periode waarover iemand deaios beoordeelt of de mate waarin debeoordelaar de aios kent, altijd beoorde-


S23


In VIVO Richtlijn

laars zijn die niet alle vragen kunnenbeoordelen, omdat zij niet alle aspectenhebben kunnen observeren.

Bij patiënten ligt dat anders. Voor debeoordeling door patiënten gaat het nietzozeer over welke periode wordt beoor-deeld, maar is een voldoende aantal con-tacten met de arts van belang om de ver-schillende aspecten van het functionerente kunnen beoordelen. Sommige vragenkunnen bijvoorbeeld alleen worden beant-woord nadat er meerdere contacten heb-ben plaatsgevonden tussen arts en patiënt(bijvoorbeeld deze arts komt gemaaktebeloften en/of afspraken na). Bij patiëntenkan daarom beter worden gevraagd naarhet aantal contacten dat heeft plaatsge-vonden met de aios. Het aantal contactentussen arts en patiënt varieerde in onzepilotstudie van 1 tot >10, met een gemid-delde van 5,3 voor de Kindergeneeskundeen 3,6 voor de Gynaecologie. Dit is deelste verklaren door een groter aantal poli-klinische patiënten in de Gynaecologie-populatie. Vooral van de patiënten dieslechts éénmaal contact hadden gehadmet de aios, bleken een groter deel van devragen met ’NVT’ te hebben ingevuld. Een aantal maal worden opmerkingengemaakt als: ‘dit moet nog blijken’, ‘kan ikna één afspraak nog niet beoordelen’, etc.Het lijkt wenselijk dat patiënten wordengeselecteerd die minimaal twee contactenhebben gehad met de arts, echter de haal-baarheid hiervan is afhankelijk van deopleiding, setting en lengte van de klini-sche stages.

De periode die beoordelaars krijgen omde vragenlijsten in te vullen en te retourne-ren wordt in de meeste artikelen over MSFniet beschreven. Violato et al. en Davisbeschrijven dat in hun studies een periodevan twee weken voldoende was voor hetinvullen en retourneren van de vragenlijs-ten.10 23 Idealiter wordt de beoordelings-procedure zo ontworpen dat de feedback

zo snel mogelijk na het invullen van devragenlijsten wordt ontvangen door debeoordeelde arts. Een snelle verwerkings -tijd waarborgt het nut van de feedback enstimuleert de motivatie van de beoor-deelde artsen.38 Het invullen van de vra-genlijsten hoeft niet meer dan tien minu-ten te kosten en liefst worden deze nogdezelfde dag ingevuld en opgestuurd. Inde digitale procedure wordt de beoorde-laars gevraagd binnen een week de vra-genlijst te voltooien.

Door de MSF procedure zo vroeg moge-lijk aan te kondigen en/of op te starten,drie tot maximaal zes maanden tevoren,kan de aios ruim voor het beoordelingsge-sprek al collegae vragen of zij over eenbepaalde tijd feedback willen geven opzijn/haar functioneren. Collegae krijgenhierdoor de mogelijkheid een aios gerich-ter te observeren en kunnen daardoor mo-gelijk meer relevante en waardevolle feed-back geven en hoeven zich niet alleen opretrospectieve oordelen te baseren.

11. Ontwerp van geschikte beoordelingsinstrumenten

A. Uniformiteit vragenlijsten In sommige studies wordt eenzelfde for-mulier beschreven voor gebruik door allebeoordelaars (peers, andere werkers in dezorg, consulenten). In verschillende (pilot)studies wordt echter beschreven dat hetgebruik van verschillende vragenlijsten,aangepast voor de te ondervragen bron,een hogere betrouwbaarheid en validiteitheeft. Een nadeel van het gebruik vanmeerdere vragenlijsten is echter dat gege-vens moeilijker geaggregeerd kunnen wor-den. Voor de groepen medische collegaeen andere werkers in de zorg is in onzeeerste pilotstudie gebruik gemaakt vandezelfde vragenlijsten, met als doel eeneenvoudigere verwerking van de gegevensen analyses. Naar aanleiding van een eva-luatie van de vragenlijsten door beoorde-


laars en de deelnemende aios zijn de vra-genlijsten aangepast. De tweede versievan de vragenlijsten voor medische enandere werkers in de zorg bevatten 19overeenkomstige vragen (zie hoofdstuk11B, voor nadere toelichting).

In studies over MSF waarbij patiëntenbetrokken zijn in de procedure zijn speci-fieke vragenlijsten ontworpen voor dezecategorie. Vaak komen de vragen aanpatiënten wat betreft de inhoud groten-deels overeen met de vragen aan collegae.Er bestaan echter ook altijd specifiekevragen die alleen aan patiënten gesteldkunnen worden. Het lijkt de auteurs wen-selijk om voor patiënten een aparte vra-genlijst te gebruiken, aangezien zij decompetenties communicatie en professio-naliteit vanuit een ander perspectief kun-nen beoordelen dan collegae. Over beidegebieden worden acht vragen gesteld aanpatiënten. Het resultaat van de doorpatiënten ingevulde vragenlijsten zal duseen gemiddelde score leveren voor decompetenties communicatie en professio-naliteit, gezien vanuit het perspectief vanpatiënten.

Op basis van literatuuronderzoek, resul-taten van de pilotstudie en overleg metexperts zijn drie verschillende vragenlijs-ten ontworpen. Alle groepen beoordelaarswordt gevraagd naar tips of opmerkingenom het functioneren van de arts te verbe-teren. De vragenlijsten zijn onderzocht ophun validiteit en betrouwbaarheid, zoalsbeschreven in hoofdstuk 11C, waarna zijverder zijn aangepast. Voor de inhoud vande vragenlijsten wordt verwezen naar Bij-lage II van deze Richtlijn, waarin de aan-gepaste vragenlijsten voor iedere categoriezijn opgenomen.

B. Type vragen en beoordelingsschaal Een noodzakelijke stap in de ontwikkelingvan beoordelingsinstrumenten is het bepa-len van het te meten domein of gedrag.

Wanneer men besluit professionaliteit te meten, moet er bijvoorbeeld naargestreefd worden alleen dat ‘concept’ vangedrag te meten en niet iets anders (zieparagraaf C, voor meer toelichting opinhouds- en constructvaliditeit). De vragenzelf moeten dus overeenkomen met het temeten concept of construct en het liefstgebaseerd zijn op een theoretische onder-bouwing, zoals bij de in de VS, Canada enhet Verenigd Koninkrijk gebruikte formu-lieren (zie Tabel in Bijlage I). Omdat mente maken heeft met professionals en hunoordeel over anderen, is input van de‘eindgebruikers’ over de inhoud en formu-lering van de beoordelingsinstrumentenbelangrijk. Deze input kan men bijvoor-beeld verkrijgen door focusbijeenkomstenof enquêtes te houden. Door het evaluerenvan de vragenlijsten met de verschillendegroepen gebruikers kunnen de vragensteeds meer worden aangepast aan wat inde praktijk beoordeeld kan worden en aanwat de aios graag beoordeeld ziet door deverschillen de groepen. Aanpassingen inbijvoorbeeld de formulering van de vragenkunnen als ontwikkelings proces wordengezien. Door het opdoen van ervaring metde vragenlijsten zullen beoordelaars hiermeer gerichte feedback op kunnen geven.1

Vragen aan patiënten dienen logischer-wijs anders geformuleerd te worden danvragen aan collegae. Niet alleen gaan devragen over andere aspecten van het func-tioneren, zij moeten ook in eenvoudigerebewoordingen worden gesteld en uitgaanvan het perspectief van de patiënt. Het isuiteraard belangrijk vragen te stellen overgedrag dat door patiënten geobserveerdkan worden. De patiënt zal bijvoorbeeldgeen goed oordeel kunnen vormen over deintercollegiale samenwerking of over decompetentie kennis en wetenschap. Pervraag moet slechts naar één aspect van hetfunctioneren worden gevraagd. Belangrijkis dat ook een categorie: ‘niet te beoorde-


S25


In VIVO Richtlijn

len’ of ‘geen mening’ wordt toegevoegd, ditom te voorkomen dat beoor delaars eenongefundeerde uitspraak doen.10 23 Er isgeen ‘juist’ aantal of type antwoordmoge-lijkheden op een schaal te noemen, wel isinformatie beschikbaar over de factorendie de selectie van een schaal kunnenbeïnvloeden.39

Sommige auteurs beschrijven een aan-passing van de beoordelingsschaal na eva-luatie. Bij het instrument van Hesketh etal. werd een vierpuntsschaal voor kwali-teit gebruikt (excellent, good, satisfactory,requires help/attention) en was er eencategorie ‘niet van toepassing’. Een na deelvan deze schaal bleek dat er slechts één categorie bestond voor onvoldoendebeoordelingen (alleen requires help/attention), waardoor beoordelaars min-der snel geneigd zijn deze categorie aan tekruisen (lijkt op pass-fail beoordeling).Een beter alternatief dat wordt genoemdis een vijfpuntsschaal met als vijfde cate-gorie: ‘poor’.5 Tabel 5 toont een aantalvoorbeelden van mogelijke beoordelings-schalen voor MSF.1 9

Voor een gemakkelijke verwerking envergelijking van scores adviseren wij omvoor alle vragenlijsten stellingen te gebrui-ken, die te beantwoorden met een vijf-punts Likertschaal, bestaand uit catego-rieën voor de mate van overeenstemming(eens/oneens), ‘niet te beoordelen’ of ‘nietvan toepassing’. De stellingen in het pro-gramma Multisourcefeedback.nl zijn geba-seerd op de CanMEDS rollen die door deKNMG zijn aangepast tot zeven algemenecompetentiegebieden van de medischespecialist,30 verdeeld in vier subcompeten-ties. Zoals eerder beschreven is een keuzegemaakt voor een aantal competenties.Voor de stellingen zijn zoveel mogelijk dedoor de KNMG gebruikte bewoordingengehanteerd. Waar nodig zijn subcompe-tenties omgezet in een beschrijving vanspecifiek gedrag.

Open vragen, bijvoorbeeld: ‘wat vindt ueen zeer positief aspect van het functione-ren van deze arts-assistent?’ geven vaakwaardevolle informatie over de contextwaarin kwantitatieve gegevens geïnterpre-teerd worden; ook hebben veel deelnemers

Tabel 5. Voorbeelden van antwoordschalen.

Type Categorieën

Eens met Sterk Oneens Niet eens/ Mee eens Sterk (Onvoldoende stellingen oneens niet oneens mee eens informatief)

Frequentie Nooit Soms Meestal Altijd (Niet van toepassing)

Verwach tingen Voldoet Voldoet Overtreftniet aan ver- aan ver- verwachtingwachting wachting

Kwaliteit Onvoldoende Voldoende Goed Excellent

Vergelijking Hoort bij de Hoort bij Gemiddeld Hoort bij Hoort bij met andere slechtsten onderste bovenste de bestenartsen helft helft


in eerdere studies aangegeven dat zegeschreven opmerkingen de meest zin-volle aspecten van MSF vinden. Higginsbeschrijft in 2004 vragenlijsten met 45gesloten vragen en drie open vragen: 1)Wat zijn de sterkste punten van deze arts?2) Welke specifieke aanpassing(en) in hetgedrag zullen het meeste voordeel opleve-ren? en 3) Welke andere opmerkingenheeft u, die de arts mogelijk kunnen hel-pen bij het verbeteren en/of ontwikkelenvan zijn/haar functioneren?37 Uit de resul-taten van de Nederlandse studie kan ookgeconcludeerd worden dat kwalitatieve op-merkingen voor de aios van grote waardezijn. Iedere categorie beoordelaars wordtdan ook gevraagd naar één of meer tips ofopmerkingen om het functioneren van dearts (nog meer) te verbeteren.

Het gebruik van kwantitatieve vragen-lijsten bij MSF heeft als voordeel dat rela-tief gemakkelijk aanpassingen gedaankunnen worden, vooral wanneer de vra-genlijsten voor een formatief doeleindegebruikt worden.1 In veel studies wordtbeschreven dat de beoordelingsinstru-menten vaak meerdere keren aangepastworden. Violato beschrijft in 2006 eenevaluatie van vragenlijsten, die zijn inge-vuld om kinderartsen in opleiding tebeoordelen. Wanneer bij items door meerdan 20% van beoordelaars ‘niet te beoor-delen’ was ingevuld, werden deze vragenveranderd of weggelaten in een volgendeversie van de formulieren.11 Ook voordeze Richtlijn is deze aanpak gebruiktvoor verdere aanpassing van de vragen-lijsten. In de in Nederland verrichte studiebleken drie vragen aan medische collegaeen twee vragen aan andere werkers in dezorg door meer dan 20% van de respon-denten te zijn beantwoord met ‘niet tebeoordelen’. Deze vragen zullen in eenvolgende versie worden aangepast. Voorgeen van de vragen aan patiënten werd ditpercentage gehaald.

C. Validiteit en betrouwbaarheid van devragenlijsten

In deze paragraaf worden de begrippeninhouds- en constructvaliditeit en be -trouwbaarheid toegelicht. Vervolgensworden de resultaten van onze studie opdeze aspecten besproken.

In MSF procedures moet het bewijsvoor validiteit opgebouwd worden om tebepalen of de beoor delingsinstrumentenhet vermogen hebben te meten wat zebehoren te meten. Het onderzoeken vande validiteit van de instrumenten is eencontinu doorlopend proces. De totale vra-genlijsten, de verschillende factoren en desubscores per competentie worden hierbijgeanalyseerd. Omdat ook de score pervraag van belang kan zijn voor reflectie envoor het opstellen van een actieplan,wordt de validiteit van iedere losstaandevraag getoetst.1 De content validity ofinhoudsvaliditeit van een instrumentbepaalt of de toetsmethode representatiefis voor het gehele competentiegebied datmen wil meten. Deze inhoudsvaliditeitwordt in de regel gecreëerd bij de con-structie van het instrument. In dit geval ishet raamwerk van de CanMEDS compe-tenties hiervoor gebruikt (zie hoofdstuk11B). Constructvaliditeit staat voor demate waarin het meetinstrument het con-struct (de competentie) meet dat men wilmeten. Om te bepalen of hetzelfde con-struct wordt gemeten met de verschil-lende vragenlijsten kunnen correlatiestussen de scores van verschillende catego-rieën beoordelaars berekend worden.Men verwacht dan lagere correlaties tus-sen methodes die verschillende construc-ten meten, en hogere correlaties tussenmethoden die verondersteld worden het-zelfde te meten. Een hoge correlatie kaner ook op wijzen dat hetzelfde wordtgemeten met twee verschillende metho-des, waardoor één van de beoordelings-methodes mogelijk achterwege kan blij-


S27


In VIVO Richtlijn

ven. Tevens kunnen correlaties aantonenof gegevens van verschillende groepenbeoordelaars juist verschillende en moge-lijk aanvullende informatie opleveren.Matige correlaties (r = .30 to .50) kunnenerop duiden dat met de nieuwe maniervan beoordelen andere competenties wor-den beoordeeld dan met bestaandemethoden. Johnson en Cujec correleerdenbijvoorbeeld cognitieve kennistoetsen metbeoordelingen door collega-artsen en ver-pleegkundigen om te bepalen of dezebeoordelingen overeenkwamen.24 Lipneret al. correleerden hun data met eerderebeoordelingen van de algemene klinischecompetenties door opleiders.13 Zelfbeoor-deling en beoordeling door peers, evenalsbeoordelingen door verpleegkundigen,worden ook vaak aan elkaar gecorreleerd.Correlatiestudies in medische settingshebben aangetoond dat zelf-versus peer-beoordeling lage of niet-significante cor-relaties oplevert (r < .25), terwijl collegaeversus andere groepen collegae meestalmatig correleren.8 20 24 Deze gegevensbevestigen het belang van het verkrijgenvan gegevens uit verschillende groepenbeoordelaars.1 Een hoge correlatie tussenbeoordelingen van de verschillende cate-gorieën zou erop duiden dat beoordelingdoor slechts één van de categorieën vol-staat.

Behalve het bepalen van de validiteitvan vragenlijsten is het van belang de be-trouwbaarheid te meten. Hoewel de be-trouwbaarheid van vragenlijsten op ver-schillende manieren bepaald kan worden,wordt meestal in eerste instantie deinterne consistentie van het gehele instru-ment bepaald met Cronbach’s alpha. Metdeze methode kan bepaald worden in hoe-verre verschillende items in een meetin-strument die eenzelfde kenmerk beogente meten, dat ook daadwerkelijk doen. Deinterne consistentie van het meetinstru-ment is groot, als alle met dit doel opge-

nomen vragen hetzelfde kenmerk meten.Voor toepassingen van MSF in medischesettings is aangetoond dat met gegevensdie verkregen zijn met behulp van vragen-lijsten, hoge waarden voor interne consis-tentie kunnen worden bereikt. Met debeoordelingsinstrumenten gebruikt doorhet CPSA-PAR Programma zijn bijvoor-beeld Cronbach’s alpha waarden vanboven 0.90 bereikt.8-11 40

Als tweede of alternatieve bepaling vande betrouwbaarheid van een beoorde-lingsinstrument wordt in veel studies degeneraliseerbaarheidstheorie toegepast.Deze benadering maakt een schattingmogelijk van de betrouwbaarheid met eenverschillend aantal beoordelaars en ver-schillende aantallen vragen door het aan-tal beoordelaars te variëren.8-11 13 40 Inhoofdstuk 4 is dit type onderzoek en deresultaten van verschillende onderzoekenreeds toegelicht.

Voor de start van het implementatiepro-ces behoren de beoordelingsinstrumentendus op meerdere wijzen getoetst te wor-den. Over het algemeen geldt dat hoezwaarder de beoordeling meeweegt, hoebelangrijker het is om voldoende bewijs televeren voor de betrouwbaarheid envaliditeit van de instrumenten.1

D. Resultaten studie OOR Utrecht enAmsterdam

Met het eerder beschreven webbased pro-gramma is een pilotstudie verricht onder70 aios Kinder genees kunde en Gynaeco -logie/Obstetrie in de OOR Utrecht enAmsterdam (VU en UvA). Bij in totaal drieacademische en acht perifere ziekenhui-zen tussen juni en augustus 2008 werdentotaal 1016 vragen lijsten ingevuld (zieTabel 6). Deze studie was gericht op hetbepalen van de betrouwbaarheid en validi-teit van de vragenlijsten in deze Richtlijnen het bepalen van het gebruiksgemak ende haalbaarheid van de procedure. Gemid-


delde scores en responspercentages wer-den bepaald en de interne consistentie enintraclass correlaties werden berekend. Deresultaten van de evaluatie van de haal-baarheid en het gebruiksgemak van deprocedure volgen op korte termijn.

Gezien de eerste resultaten en het lagepercentage gemelde problemen met hetwebbased programma (1%) lijkt de con-clusie gerechtvaardigd dat de procedureop grote schaal haalbaar is. Er was sprakevan voldoende bereidheid tot medewer-king; er wordt weinig tijdsinvesteringgevraagd van de betrokkenen en de infor-matie is rijk gebleken. Responspercenta-ges (aantal beantwoorde uitnodigingen)bedroegen 90, 87 en 72% voor respectie-velijk medische collegae, andere werkersin de zorg en patiënten. Ook het aantalgegeven tips en opmerkingen, die aiosvaak zeer zinvol achten, was hoog: 62%voor patiënten tot 79% voor medische col-legae. Van de 70 aios die deelnamen aan

de studie hadden echter slechts 16 aioseen complete dataset van minimaal zesmedische collegae en zes andere werkersin de zorg. De belang rijkste reden voor hetlage gemiddelde aantal beoordelaars diedoor aios is gemeld, is de korte periode dieaios kregen voor het verzamelen van deMSF van 22 beoordelaars. Deze pe ri o debedroeg zes weken en vond daarnaastplaats aan het begin en tijdens de zomer-periode. Aios die op de IC (Kindergenees-kunde) werkten, net waren gewisseld vanafdeling of op veel wisselende afdelingenwerkten, meldden problemen met het vin-den van voldoende beoordelaars. In hetbegin van de studieperiode bleek er ookenige weerstand bij het vragen van patiën-ten, enerzijds tegen het vragen van feed-back op hun functioneren, anderzijds tegenhet vragen om een e-mailadres. Positievereacties van andere aios en/of het gevenvan nadere informatie over MSF/de proce-dure heeft tot een toename van het aantal


Tabel 6. Gedetailleerde resultaten respons MSF pilotstudie.

Totaal aantal Totaal aantal Gemiddeld Medische Andere Patiëntenaios (%) beoor delaars aantal be- collegae werkers in (respons, %)

(respons, %) oorde laars (respons, %) de zorg(range) (respons, %)

Gemiddelde Gemiddelde Gemiddeldeper aios per aios per aios (range) (range) (range)

Totale respons 70 (78%) 1016 (83%) 14,5 (5-29)420 (89,9%) 338 (86,9) 256 (71,7%)

6,0 (2-11) 4,8 (1-14) 3,7 (0-11)

Aios Kinder-33 (47%) 504 (84%) 15,3 (8-29)

190 (88,8%) 165 (89,2%) 147 (72,8%)genees kunde 5,8 (2-10) 5,0 (1-14) 4,5 (0-11)

Aios Gynae -230 (90,9%) 173 (84,8%) 109 (70,3%)

cologie/ 37 (53%) 512 (84%) 13,8 (5-25)6,2 (3-11) 4,7 (0-7) 3,0 (0-10)

Obstetrie

S29


In VIVO Richtlijn

uitnodigingen geleid in het tweede deelvan de studieperiode. Voor de verzamelpe-riode wordt naar aanleiding van dezeresultaten drie maanden geadviseerd.

Over de beoordelingen van deze colle-gae op overeenkomstige vragen over éénaios werden intraclass correlaties (ICC)berekend voor de scores van alle collegaesamen en voor de twee groepen apart. InTabel 7 worden deze ICC’s weergegeven ineen correlatiematrix. Deze tabel bevatICC’s van beoordelingen van 16 aios, gege-ven door totaal minimaal 12 collegae opovereenkomstige vragen voor medischeen andere werkers in de zorg. Over debeoordelingen door patiënten zijn geenICC’s berekend aangezien er geen over-eenkomstige vragen aan collegae werdengesteld.

In deze voorlopige versie van de Richt-lijn zijn, tot een nadere aanvulling volgt,de resultaten van de eerste pilot weergege-ven in een matrix (Tabel 7). In deze matrixzijn de correlaties die als hoog zoudenmoeten gelden volgens bovenstaandehypothese gearceerd. Uit de matrix is op temaken dat de correlaties van dezelfdeCanMEDS constructen vanuit de perspec-tieven van medici, niet-medici en patiën-ten niet consequent hoger zijn dan corre-laties van verschillende constructenbinnen de categorieën of over de catego-rieën van beoordelaars. Bovendien zijn decorrelaties tussen de categorieën nergenshoog, met uitzondering van ‘organisatie’.Met andere woorden: de perspec tieven vanmedici, niet-medici in de zorg en vanpatiënten op dezelfde competentiegebie-den zijn klaarblijkelijk verschillend, zoalsgemeten met deze vragenlijsten, met uit-zondering van het competentiegebied or-ganisatie. Deze resultaten komen overeenmet eerdere verrichte studies.1-2

Zoals in Tabel 8 is weergegeven is deinterne consistentie (Cronbach’s alpha)

van afzonderlijke competentiegebiedenvoor beoordelaarsgroepen, voor zover dezeberekenbaar was, voldoende voor uitspra-ken per competentiegebied, c.q. per rap-portage van scores per competentiegebied.

12. Logistieke verwerkingUit de relevante literatuur blijkt dat vooreen voldoende haalbaarheid van de proce-dure de tijdsinvestering van alle betrokke-nen niet te hoog moet zijn. Zoals beschre-ven in hoofdstuk 6, de benadering vanbronnen, maken medische organisaties inhet buitenland veelal gebruik van elektro-nische programma’s dan wel van eenextern onderzoeksbureau voor de uitvoe-ring van MSF procedures. De MSF proce-dure, zoals voorgesteld in deze richtlijn, isop enige schaal slechts uitvoerbaar meteen elektronisch programma dat adminis-tratie en gegevensverwerking voor zijnrekening neemt. Het programma Multi-sourcefeedback.nl is met steun van hetCBOG tot stand gekomen en is vervaar-digd om toegepast te kunnen worden inalle medische vervolgopleidingen inNederland. Met dit webbased programmakunnen: • opleiders de feedbackprocedure voor

aios in gang zetten en monitoren;• aios uitnodigingen versturen naar be -

oor delaars;• beoordelaars vragenlijsten invullen;• geanonimiseerde feedbackrapporten

wor den geraadpleegd door aios en op -lei ders;

• opleiders ingevulde vragenlijsten volle-dig inzien.

In Figuur 1 is de procedure zoals deze ver-loopt met behulp van Multisourcefeed-back.nl in een stroomdiagram weergege-ven.



Tabe

l 7.

Mul

ti-T

rait-

Mul

ti-M

etho

d co

rrel

atie

mat

rix M

SF p

ilots

tudi

e.

Med

isch

e co

llega

eCo

mm

Sam

enw

Org

anis

K&

WPr

ofEP

A

Med

isch

eC

omm

1.00

0.86

0.65

0.83

0.81

0.73

colle

gae

Sam

enw

0.86

1.00

0.68

0.63

0.55

0.57

Org

anis

0.65

0.68

1.00

0.67

0.67

0.53

K&

W0.

830.

630.

671.

000.

840.

42Pr

ofes

s0.

810.

550.

670.

841.

000.

67EP

A0.

730.

570.

530.

420.

671.

00

And

ere

wer

kers

in d

e zo

rgCo

mm

Sam

enw

Org

anis

K&

WPr

ofEP

A

And

ere

Com

m0.

440.

280.

500.

250.

390.

571.

000.

900.

870.

750.

890.

79w

erke

rsSa

men

w0.

460.

280.

490.

260.

480.

620.

901.

000.

870.

620.

800.

67in

de

zorg

Org

anis

0.60

0.46

0.79

0.49

0.60

0.61

0.87

0.87

1.00

0.76

0.91

0.60

K&

W0.

260.

030.

430.

240.

260.

480.

750.

620.

761.

000.

800.

77Pr

ofes

s0.

400.

340.

600.

210.

330.

490.

890.

800.

910.

801.

000.

59EP

A0.

08-0

.22

0.21

0.01

0.16

0.41

0.79

0.67

0.60

0.77

0.59

1.00

Pati

ënte

nCo

mm

Prof

Pati

ënte

nC

omm

0.03

-0.1

4-0

.08

-0.2

2-0

.05

0.25

0.30

0.22

0.09

0.13

0.05

0.62

1.00

0.97

Prof

ess

0.03

-0.1

1-0

.01

-0.2

3-0

.08

0.30

0.29

0.16

0.12

0.22

0.10

0.62

0.97

1.00

S31


In VIVO Richtlijn

A. Logistieke taken voor (plaatsvervan-gende) opleiders

Zowel academische als perifere (plaats-vervangende) opleiders kunnen een ac-count aanvragen bij de beheerder van hetprogramma met vermelding van naam,instelling, specialisme en te gebruiken e-mailadres. De (plaatsvervangende) oplei-

der moet geregistreerd staan bij deberoepsvereniging. Met de per e-mail ont-vangen persoonlijke inloggegevens kanworden ingelogd op de homepage van hetprogramma, waar een handleiding te vin-den is voor (plaatsvervangende) opleiders.Aios moeten door de opleider eenmaligworden geregistreerd met hun geboorte-

Tabel 8. Interne consistentie vragenlijsten MSF pilotstudie.

Vragenlijst/categorie Competentiegebied Cronbach’s αMedische collegae Medisch handelen 0.72

Communicatie 0.73Samenwerking 0.80Organisatie 0.72Kennis en wetenschap 0.64Professionaliteit 0.85

Andere werkers in de zorg Communicatie 0.85Samenwerking 0.84Organisatie 0.79Professionaliteit 0.86

START MSF-RONDE:De opleider vult 3 tot 6 maanden tevoren een datum voor eenvoortgangsgesprek in

Aios ontvangt e-mails:1. instructies voor MSF & link naar website2. gebruikersnaam & wachtwoord

Na toestemming vancollegae & patiëntenvult aios e-mailadresin en verzendt eenlink naar vragenlijst

Inzage opleider in verloop MSF, kan reeds voltooide vragenlijsten openen

Inzage in feedbackrapport voor aios &opleiders: gemiddeldescores & anoniemeopmerkingen

Beoordelaar ontvangte-mail met instructies & link om vragenlijst te openen en in te vullen

Automatische &verwerking van resul-taten

Inzage aios in verloopvan respons, kan extra beoordelaarsuitnodigen/herinneren

Opleider bespreektresultaten met aios

Figuur 1. Stroomdiagram.


datum, opleidingsjaar en e-mailadres.Eventueel kan deze administratieve taakworden overgedragen aan een secreta-resse. Wanneer een aios wordt toegevoegdworden automatisch inloggegevens ver-stuurd naar de aios en is zijn/haar accountgeactiveerd. Afhankelijk van de werkplekkan een MSF ronde worden gestart doorde perifere of de academische opleider. Ditdient maximaal zes maanden en minimaaltwee maanden vóór het gesprek te gebeu-ren, zodat de aios genoeg tijd heeft om vol-doende beoordelaars te selecteren. Nadatde procedure is gestart ontvangt de aiosautomatisch een e-mail met instructievoor het uitvoeren van de procedure eneen link naar de site om beoordelaars uitte nodigen. In Box 2 is de inhoud van dezee-mail weergegeven.

B. Logistieke taken voor aios Aios kunnen hun opleider vragen naar demogelijkheid van het gebruik van Multi-sourcefeedback.nl. Zodra aios zijn toege-voegd in het programma, ontvangen zijpersoonlijke inloggegevens. Na het star-ten van een MSF ronde door de opleiderontvangen aios bovenstaande e-mailzodat zij beoordelaars kunnen uitnodigenhen feedback te geven. Dit kan door het e-mailadres van collegae en patiënten inte voeren, nadat de aios om hun toestem-ming voor medewerking hebben gevraagd(zie later). Wanneer er geen e-mailadres iskan de aios zo nodig het eigen e-mailadresinvullen, of dat van een afdelingssecreta-resse. De direct ontvangen e-mail bevatnaast een link naar de vragenlijst ookinloggegevens. Door de e-mail uit te prin-ten en bijvoorbeeld aan een patiënt mee tegeven kan diegene met deze gegevensvanaf een willekeurige computer metinternetverbinding de vragenlijst openenvia de website. Tijdens een MSF rondekunnen aios in hun persoonlijke accountzien wie al geantwoord heeft (niet hun

antwoorden) en zo nodig nieuwe beoor-delaars uitnodigen of herinneringen ver-sturen. Op de homepage zijn instructiesvoor de aios en een toelichting voorbeoordelaars te vinden. Het samenvat-tende feedbackrapport dat na afloop vaneen MSF ronde beschikbaar is op de web-site, kan geprint worden voor een hand-matig portfolio.

C. Afronden van de feedbackprocedure De procedure wordt automatisch éénweek vóór de datum van het voortgangsge-sprek afgerond. Dan wordt een feedback-rapport opgemaakt, ter inzage voor zowelde aios als de opleider. Bij eventuele (logis-tieke) problemen tijdens de ‘verzamelpe-


Geachte mevrouw/de heer aios,

Volgens de opgave die is ontvangen heeft u op dd-mm-jjjja.s. een voortgangsgesprek. Ter voorbereiding hierop dienteen Multi-Source Feedback procedure te worden uitge-voerd.Het is hiervoor noodzakelijk dat u een aantal personen uituw omgeving vraagt om u met behulp van een vragenlijstfeedback te geven op uw functioneren: a. zes tot acht medische collegae (minimaal één staflid en

één collega aios) b. zes tot acht andere werkers in de zorg (minimaal twee

verpleegkundigen) c. tien tot twaalf patiënten van de polikliniek of afdeling

die u minimaal twee keer gezien heeft

U wordt verzocht om uiterlijk één week voor het voort-gangsgesprek alle e-mailadressen op te geven van debetreffende collegae en patiënten. U kunt dit doen doorop de onderstaande link te klikken. De beoordelaars ont-vangen van ons een korte vragenlijst. U kunt op de websitewww.multisourcefeedback.nl zien welke beoordelaars uhebt uitgenodigd en wanneer een vragenlijst is voltooid.Ook kunt u beoordelaars een herinnering versturen of debeoordelaar verwijderen voordat de vragenlijst is voltooid.Uiterlijk vier dagen voor het voortgangsgesprek is op dewebsite voor u en uw opleider een overzicht te zien van degemiddelde scores en gegeven tips onder ‘Voltooide feed-backprocedures’. MSF link: Klink hier om collegae enpatiënten uit te nodigen.

Met vriendelijke groeten, Beheerder MSF

Box 2. Instructie voor uitvoering procedure.

S33


In VIVO Richtlijn

riode’ kan verlenging van deze periodenodig blijken; aan de opleider kan dangevraagd worden de datum naar voren teschuiven. Verlenging is dus alleen moge-lijk wanneer de datum in Multisourcefeed-back.nl wordt gewijzigd door de opleider.

D. Inzage in vertrouwelijke gegevens enbewaartermijn

Het programma is een beveiligde websitewaartoe alleen toegang wordt verkregenmet inloggegevens die beheerd wordendoor de programmabeheerder. Zowelopleiders als aios hebben een persoonlijketoegang. Alleen de opleider die de MSFronde heeft gestart, heeft inzage in deafzonderlijke vragenlijsten die tijdens eenMSF ronde zijn ingevuld. Academischeopleiders hebben inzage in de gegevens en feedbackrapporten van de aios uitzijn/haar OOR. Perifere opleiders hebbenalleen inzage in de feedbackrapporten vanaios die op dat moment werkzaam zijn inhun instelling.

13. Van multisource feedback naarconcrete feedback

A. Weergave van de multisource feedback

De resultaten van de beoordelingen kun-nen op verschillende manieren wordenweergegeven.

In veel bestaande MSF procedures wor-den de scores van verschillende beoorde-laars geaggregeerd, ofwel samengevatweergegeven voor de beoordeelde arts(soms per groep bronnen; soms is er vanalle beoordelaars één gemiddelde score).De over het algemeen anonieme verwer-king en weergave geldt zeker voor de doorpatiënten ingevulde vragenlijsten, aange-zien de arts-patiëntrelatie niet beïnvloeddient te worden. Het verdient de voorkeurook de beoordelingen door collegae ano-niem te verwerken (zie hoofdstuk 7). Hoe-wel geaggregeerde scores de anonimiteit

waarborgen, is het nadeel dat belangrijkeverschillen in perspectieven moeilijker teherkennen zijn. Idealiter worden de sco-res van verschillende groepen beoorde-laars apart weergegeven, waarbij zowelhet gemiddelde als de spreiding van sco-res worden getoond, zodat verschillen inperspectieven toch enigszins zichtbaarzijn. Wanneer voldoende beoordelaars wor-den gebruikt, zal de anonimiteit gehand-haafd blijven. Vrije tekstboodschappenmoeten zorgvuldig worden weergegeven(niet herleidbaar tot de beoordelaar) en insommige omstandigheden zelfs misschiengecensureerd.1 In sommige MSF procedu-res worden de scores van een individuelearts weergegeven samen met de gemid-delde scores van andere beoordeelde art-sen.3 6 9-11

De wijze waarop de arts de resultatenontvangt en kan bespreken, verdient ookenige aandacht. Begeleiding rondom hetontvangen van de feedback is essentieel enhet verdient dan ook de voorkeur om deresultaten niet te lang voor het geplandebeoordelinggesprek te laten inzien. Defeedback komt van collegae en opleidings-genoten met wie de aios nog zal samen-werken in de toekomst. In de zeldzamegevallen dat er onverwacht een probleemin het functioneren blijkt te zijn, moet hetvoor de aios mogelijk zijn dit direct met deopleider te bespreken. In de praktijk leidtde MSF procedure vrijwel altijd tot eenpositieve beoordeling door vele collegaeen patiënten.1

Door het digitale programma Multi-sourcefeedback.nl wordt na afronding vande MSF, minimaal één week voorafgaandaan het (jaarlijkse) voortgangsgesprek,een samenvattend rapport opgemaaktvoor aios en opleider. In het ‘feedback -rapport’ worden de gemiddelde scoresper categorie beoordelaars (respectieve-lijk medische collegae, andere werkers inde zorg en patiënten) en het aantal res-


pondenten per categorie getoond. De sco-res per groep en competentiegebied wor-den ook in staafdiagrammen weergegeven.Door op een score voor een competentie-gebied te klikken, worden de gemiddeldescores per afzonderlijke vraag weergege-ven. De tips voor verbetering per categoriebeoordelaars worden geanonimiseerd weer-gegeven; hiervoor zijn minstens twee gege-ven tips per groep vereist. Mogelijk kan erop termijn voor worden gekozen de gemid-delde resultaten van de aios te vergelijkenmet de scores van een referentiegroep,bestaande uit aios van hetzelfde opleidings -niveau. In Bijlage III is een voorbeeld tezien van een feedbackrapport in het pro-gramma Multisourcefeedback.nl. De ver-kregen resultaten van zo’n MSF ronde vor-men als het ware ‘het eigendom’ van deaios, maar blijven in te zien door de oplei-der. De rol die beiden spelen in een MSFprocedure wordt toegelicht in de volgendetwee paragrafen.

B. Rol van de aios In de voorgestelde MSF procedure is deaios verantwoordelijk voor het selecterenvan de juiste bronnen, het vragen vanmedewerking aan beoordelaars en voorhet toesturen van de vragenlijsten aanbeoordelaars. Aangezien het functionerenvan de aios beoordeeld wordt, heeft het devoorkeur hem/haar verantwoordelijk telaten zijn voor het verkrijgen van vol-doende ingevulde vragenlijsten per groepbeoordelaars (totaal minimaal 22 vragen-lijsten) om een betrouwbare beoordelingte kunnen krijgen.

Voor het verkrijgen van waardevollefeedback is het in het belang van de aiosom zo relevant mogelijke beoordelaars tevragen, ofwel collegae waarmee geruimetijd is samengewerkt en patiënten waar-mee zoveel mogelijk contact is geweest.

Aios krijgen uiterlijk een week voordatde resultaten worden besproken in een

voortgangsgesprek inzage in het feed -back rapport. Tijdens dit gesprek krijgt deaios de kans om de opleider toelichting tevragen op de resultaten. Van de aios wordteen actieve rol verwacht in de voorberei-ding op en tijdens het gesprek. Wanneerde beoordeling de persoonlijke ontwikke-ling tot doel heeft, is het opstellen van spe-cifieke leerdoelen een belangrijk onder-deel in de feedbackmethode.1 Eén van dedeelnemende opleiders aan de Neder-landse studie heeft positieve ervaringenmet het stellen van de volgende twee vra-gen aan de aios ter voorbereiding op hetvoortgangsgesprek:• Welke punten van de MSF wil je meene-

men wat betreft feedback op je gedragen hoe wil je aan die punten gaan wer-ken?

• Welke punten van de MSF wil je meene-men wat betreft feedback op je persoonen in hoeverre denk je hier veranderingin aan te (moeten en/of kunnen) bren-gen?

Aios kunnen door hun opleider gevraagdworden zichzelf te beoordelen aan dehand van de items op de vragenlijst voorzowel patiënten als collegae. Tijdens hetvoortgangsgesprek kunnen de resultatenvan deze zelfbeoordeling vergeleken wor-den met de andere resultaten. Wanneergeen gebruik wordt gemaakt van een zelf-beoordeling kan het gesprek worden voor-bereid door bijvoorbeeld te vragen ‘watgaat goed volgens de drie groepen’, ‘watkan beter’ en ‘hoe kan ik deze punten ver-beteren’. De leerdoelen kunnen volgens deSMART criteria opgesteld worden (speci-fiek, meetbaar, acceptabel/haalbaar, resul-taatgericht en tijdgebonden).

Whitehouse et al. beschrijven in hun stu-die over MSF dat de opleider na het voort-gangsgesprek een samenvatting maakt vande MSF en een eindoordeel geeft dat geba-seerd is op de resultaten van de vragenlijs-


S35


In VIVO Richtlijn

ten, op eventueel nader onderzoek (bij-voorbeeld toelichting door beoordelaars)en op bespreking van de resultaten metaios.35 Het advies is om deze samenvattingniet door de opleider, maar door de aios telaten maken. De aios kan dan direct eenvergelijking maken van de sterke enzwakke punten met zijn/haar zelfbeoorde-ling. Deze analyse en de onderliggendegemiddelde beoordelingen en geschrevenopmerkingen worden opgenomen in hetportfolio.

C. Rol van de opleider MSF kent fundamentele verschillen metandere vormen van feedback. De ge -schikte persoon om de feedback aan debeoordeelde arts te verstrekken varieertafhankelijk van het doel van de MSF. In deMSF procedure zoals voorgesteld in dezeRichtlijn, wordt geadviseerd de opleiderde rol van feedbackgever te geven. Zowelde aios als de opleider krijgen vooraf-gaand aan een beoordelingsge sprek, of inieder geval na afronding van een feed-backprocedure, een samenvattend rap-port van de verkregen feedback. De oplei-der zal geen rol hebben in de selectie vanbeoordelaars, maar heeft wel zicht op debeoordelaars die door de aios gevraagdzijn een MSF vragenlijst in te vullen. Erwordt geadviseerd de opleider enkeleweken voor het voortgangsgesprek telaten checken of de aios initiatief onder-neemt en de tevoren gemaakte afsprakennakomt. De verwerking en samenvattingvan de resultaten verloopt automatisch,zodat opleiders meer tijd kunnen beste-den aan het eventueel vragen van toelich-ting aan beoordelaars en het op de juistewijze bespreken van de resultaten met deaios. De opleider schift de eventueleextreem alarmerende boodschappen uithet samenvattende rapport. Deze kunneneventueel met de betreffende collega wor-den doorgesproken. Het resultaat van

deze terugkoppeling kan eventueel met debeoordeelde arts worden besproken;anonimiteit van de bron blijft hierbij ech-ter vereist. De opleider kan door deze roldus bepalen welke weging er wordt ge -geven aan de verzamelde gegevens. Uitzowel de gemiddelde scores als uit degeschreven opmerkingen kan een aantalsterke en zwakke punten worden gedestil-leerd (mogelijk ook gebleken uit anderebeoordelingsmethoden). Vervolgens wordteen grote lijn van feedback bepaald enmet de aios besproken in een persoonlijkgesprek. De feedback dient zoveel moge-lijk met expliciete voorbeelden te wordengeïllustreerd.

Het nut van het gebruik van MSF issterk afhankelijk van de vaardigheden vande opleider om feedback te geven. Ideali-ter ontvangt hij/zij dan ook een training ofinstructie voor het geven van feedbackvolgend op de resultaten van de MSF.3

Het geven van feedback moet onderschei-den worden van het geven van een beoor-deling en het doel van MSF moet duidelijkzijn voor de opleider. Er wordt anoniemfeedback gegeven op gedrag en de feed-back kan daarmee worden gezien als debeoordeling van iemand als persoon,zowel door degene die feedback geeft alsdoor degene die ontvangt. Door een ge-brek aan voorbereiding van één of beidepartijen kan het bespre ken van de feed-back leiden tot misverstanden of erger. Deverkregen feedback kan berichten opleve-ren die erg moeilijk zijn om te ontvangen(bijvoorbeeld collega-aios die het nemenvan verantwoor delijk heid voor eigen han-delen slecht beoordelen). De feedbackge-vers, in dit geval de opleiders, moetengoed geïnformeerd zijn over het beleidvan de organisatie ten aanzien van MSFen het doel en de werkwijze van de proce-dure. Ook moeten zij gewend raken aande vragenlijsten en daaruit voortvloeiendegegevens. Verder moet men bewust wor-


den van de verschillende reacties die men-sen kunnen vertonen op het ontvangenvan feedback en de vaardigheden dienodig zijn voor het houden van een con-structief feedbackgesprek. Een vaardigefeedbackgever zal een individu kunnenhelpen om conclusies te trekken en dezete koppelen aan verschillende personenen situaties.41

In de literatuur worden belangrijkeaspecten genoemd van het geven vanfeedback naar aanleiding van MSF. Vierhoofdprincipes voor het geven van feed-back, ook toepasbaar bij MSF, wordendoor Holmboe et al. beschreven in eenreview over feedback naar aanleiding vankorte klinische beoordelingen, die ookhier nuttig kunnen zijn. Het feedbackge-sprek dient gericht te zijn op het vaststel-len van sterke punten en op het helpenvan de aios te bepalen op welke puntenverbetering nodig is.42 Vermeden moetworden om zich tijdens het gesprek te veelte richten op geïsoleerde negatieve opmer-kingen of uitzonderingen. Beoordelaarszouden constructieve in plaats van des-tructieve feedback moeten geven, maardesondanks kunnen de geschreven opmer-kingen iemand doen schrikken of over-stuur maken. Adequate ondersteuning enverdere begeleiding zijn in deze situatieszeer belangrijk. Verder is het belangrijk teonthouden dat de MSF suggereert welkecompetenties verbeterd kunnen worden,maar dat nader onderzoek nodig is om deprecieze aard en ernst van de problemente bepalen. Bij een lage gemiddelde scorevoor communicatie met patiënten kunnenbijvoorbeeld andere beoordelingstechnie-ken, zoals video-opname, gebruikt wordenom de precieze aard van het probleem vastte stellen.4 Tot slot is het belangrijk datwanneer probleemgebieden naar vorenzijn gekomen er door de opleider en aioseen duidelijk actieplan wordt gemaaktdoor leerdoelen vast te leggen in een per-

soonlijk ontwikkelingsplan en dat dit plannavolging krijgt in vervolggesprekken.42

De resultaten van de MSF moeten incombinatie met andere beoordelings -methoden worden geïnterpreteerd. Des-ondanks biedt deze manier van beoorde-len op zichzelf voor artsen in opleidingeen waardevolle kans om gestructureerdefeedback te krijgen van uiteenlopende col-legae. Op die manier kunnen zij meerinzicht krijgen in hun eigen rol en functio-neren als professional, wat een zinvolle pro-fessionele ontwikkeling vergemakkelijkt.4

Wanneer opleiders meerdere feedback -gesprekken hebben gehouden, kunnen zijwaardevolle informatie verschaffen over dethema’s die veel voorkwamen tijdens degesprekken. Hierbij moet natuurlijk wel deprivacy van individuen gehandhaafd blij-ven. Deze thema’s kunnen een stimulansvormen om breder gedragen problemen inde opleiding aan te pakken.41

14. Opname gegevens in het portfolio

Gedurende de opleiding worden desamenvattende rapporten van voltooidefeedbackprocedures bewaard in het pro-gramma Multisourcefeedback.nl. Het heeftde voorkeur een papieren of digitale ver-sie van het samenvattend rapport van eenMSF ronde op te nemen in het portfolio.Na het voort gangsgesprek zijn de vol-tooide vragenlijsten niet meer afzonderlijkin te zien, tenzij er naar aan leiding van hetvoortgangsgesprek behoefte blijkt te zijnaan nader onderzoek. Om zelfreflectie testimuleren kan de sterkte/ zwakte analysedie de aios maakt naar aanleiding van o.a.de multisource feedback ook een verplichtonderdeel van het portfolio vormen. Totslot wordt geadviseerd een sterk negatiefingevulde vragenlijst op te nemen in hetdossier dat de opleider van de aios heeft.

Het MSF programma is niet ontwikkeldals onderdeel van een specifiek elektro-


S37


In VIVO Richtlijn

nisch portfolio. Niettemin leent het zichgoed voor koppeling aan een dergelijk sys-teem. Het Maastricht-Manchester Toets -service e-portfolio model in ontwikkelingbiedt thans de mogelijkheid om rappor -tages van Mutisourcefeedback.nl automa-tisch te integreren in de overall rappor-tage voor aios.

15. Beschreven effecten van multisource feedback op hetfunctioneren van artsen

Studies tonen aan dat veel artsen de gege-vens van MSF willen gebruiken om veran-deringen in hun handelen en functionerente maken, maar de mate waarin de gege-vens gebruikt worden kan worden beïn-vloed door tal van interne en externe fac-toren. De interne factoren omvatten deeigen perceptie van artsen van hun pres-taties, emoties, persoonlijke verwachtin-gen, en van hun persoonlijke waarden encapaciteit ten aanzien van verandering.De externe factoren die de arts beïnvloe-den omvatten de aard, geloofwaardigheid,specificiteit en de consistentie van defeedback vergeleken met andere feedbacken de barrières voor verandering.43 In ditkader is het belangrijk om realistischeverwachtingen te hebben over verande-ring, aangezien er aanzienlijke variatiebestaat in hoe informatief de gegevenszijn voor de persoon, evenals in de waar-genomen noodzaak tot verandering.44

Er zijn tot op heden nog geen longitudi-nale studies gepubliceerd in de medischesetting, die het effect op scores gedurendetwee of meer tijdspannes onderzochten.Dit is echter wel onderzocht in het bedrijfs-leven en in een meta-analyse van 24 longi-tudinale studies waarbij meer dan tweemetingen verricht werden, en waar aange-toond werd dat de meetbare verbeteringover het algemeen klein was, maar meerwaarschijnlijk was voor sommige ‘ontvan-gers’ dan voor anderen.45 Verbetering was

meer waarschijnlijk wanneer gegevenseen noodzaak tot verandering suggereer-den, ontvangers een positieve visie had-den op feedback, zelf de behoefte haddenom hun gedrag te veranderen, positiefreageerden op de feedback, geloofden inhaalbaarheid van verandering, toepasse-lijke doelstellingen maakten om hungedrag aan te passen en wanneer actiewerd ondernomen tot verbetering vanvaardigheden en prestaties. Dit soort ana-lyses van het gebruik van de gegevensdoor de feedbackontvangers zijn belang-rijk bij het proberen te verkrijgen van voldoende bewijs voor validiteit van de be -oordelings instrumenten. Wanneer men -sen hun feedbackgegevens negeren, is hetwel erg moeilijk om voldoende argumen-ten voor geldigheid van de procedure tevergaren.

Brinkman et al. rapporteerden in 2007de resultaten van een gerandomiseerdegecontroleerde trial waarin het effect vanMSF op communicatieve vaardigheden enprofessionaliteit van kinderartsen in oplei-ding werd onderzocht.46 Achttien aios kin-dergeneeskunde werden tweemaal volgenseen MSF procedure beoordeeld doorouders van patiënten en door verpleeg-kundigen; zij vulden een zelfbeoordelingin en kregen een coachingsessie, naast debestaande standaard feedback. In de con-trolegroep kregen 18 aios alleen de stan-daardfeedback; tot het einde van de trialwerden zij geblindeerd voor de resultatenvan beoordelingen door verpleegkundigenen ouders. Beide groepen werden twee-maal beoordeeld, met een tussenliggendeperiode van vijf maanden. De beoordelin-gen door patiënten verbeterden in beidegroepen; in de eerste groep leken de scoresmeer verbeterd, er werden echter geen sta-tistisch significante verschillen gevonden.De beoordelingen door verpleegkundigenbleven in de eerste groep gelijk of verbe-terden, maar de scores in de tweede groep


verslechterden. De verschillen in scoreswaren statistisch significant en suggereer-den een positief effect van MSF op hetgebied van effectief communiceren metpatiënten en familie, het op tijd vervullenvan taken en het demonstreren van ver-antwoordelijkheid en aansprakelijkheid.Deze studie heeft dus aangetoond dat deinterventie MSF een positieve invloed kanhebben op de competenties communicatieen professionaliteit.

16. Implementatie van de multisource feedback en mogelijke weerstanden

Ten aanzien van het daadwerkelijk invoe-ren van MSF is in de voorgaande hoofd-stukken al een aantal adviezen gegeven.In dit hoofdstuk worden belangrijkeaspecten van de implementatie van MSFen de eventuele weerstanden bij invoeringvan het proces besproken.

Tot op heden bestond er in de medischevervolgopleidingen geen gestructureerdebeoordeling van het functioneren van aiosdoor collega’s waarmee nauw wordtsamengewerkt of door patiënten. MSF zaldus voor vrijwel alle betrokkenen onbe-kend zijn en een goede voorlichting overde procedure is dan ook van belang. Wat betreft schriftelijke voorlichting isbehalve deze Richtlijn ook een folderbeschikbaar over het programma Multi-sourcefeedback.nl, en te downloaden vande betreffende website. Tijdens trainingenvoor opleiders, stafleden en aios kan MSFmondeling toegelicht worden en kan wor-den geoefend met het bespreken van deresultaten door de opleider met de aios.Betrokken boordelaars worden bij hetdigitaal invullen van de vragenlijsten zoduidelijk mogelijk voorgelicht over hetdoel van de MSF, over de anonieme weer-gave van resultaten en over de beveiligingvan gegevens. Het lijkt logistiek niet haal-baar om alle beoordelaars te trainen.

Behalve goede voorlichting zijn tweeandere belangrijke praktische uitdagin-gen in de ontwikkeling van een MSF pro-cedure – het ontwerpen van geschiktebeoordelingsinstrumenten voor alle be -oordelaars en het organiseren van degegevensverzameling van een groteregroep individuen – om tot een geaggre-geerd feedbackrapport te komen, waarbijvertrouwelijkheid van gegevens wordtgewaarborgd.47 In hoofdstuk 7 is de ano -nimiteit van beoordelaars besproken. Dekeuzes die hierbij gemaakt zijn hebben alsdoel de weerstand te verkleinen ten aan-zien van de mogelijk negatieve invloedvan MSF op persoonlijke werk- of arts-patiëntrelaties. Met een automatischeprocedure kan MSF op grote schaal wor-den uitgevoerd en kan een te hoge tijds -investering van betrokkenen wordenvoorkomen. Ten behoeve van een logis-tieke verwerking met een lage tijdsinves-tering voor betrokkenen is een digitaalprogramma ontworpen, waarmee een stu-die is verricht onder 70 aios. De geschikt-heid van de beoordelingsinstrumenten isonderzocht aan de hand van de grote aan-tallen vragenlijsten die verkregen werdenin deze studie. De vragenlijsten zijn vol-doende valide en betrouwbaar geblekenvoor een formatief doel.

Het proces van implementatie van dezenieuwe procedure in de bestaande cultu-ren en organisaties vergt tijd. Voor deinvoering en aanpassing van de procedurekan een periode van twee tot drie jaarnodig zijn. Goede MSF procedures verei-sen steun en toewijding van de leiders vanorganisaties of afdelingen, goede commu-nicatie met de deelnemers aan de proce-dure over doel, werkwijze en gegevensver-werking en tot slot een gemotiveerdaansturend kernteam dat het implemen-tatieproces kan begeleiden.1 Van steun envertrouwen van opleiders, stafleden, aiosen overige betrokkenen ten aanzien van


S39


In VIVO Richtlijn

MSF als formatieve feedbackmethode zalin Nederland in sommige gevallen alsprake zijn, aansturing lijkt dan mindernodig. In andere gevallen zal deze nogmoeten groeien en sommige betrokkenenzullen om verschillende redenen demethode permanent wantrouwen. Oplei-ders kunnen aios stimuleren door zichzelfook open te stellen voor feedback, bij-voorbeeld om feedback te vragen op zijn/haar opleiderskwaliteiten. Tijdens deimplementatie of eerste ronde kan tegenverschillende weerstanden worden aange-lopen bij alle groepen betrokkenen. Aioskunnen bijvoorbeeld moeite hebben met deacceptatie van het beoordeeld worden doorcollega’s van hun eigen of andere discipli-nes. Zij kunnen bang zijn voor slechte be-oordelingen van collega’s/patiënten (waar-mee zij misschien ook nog een nauwe bandhebben) en voor de eventuele maatregelenbij een slechte beoordeling. Ook kunnen debeoordeelde artsen bang zijn voor hetpubliek worden van deze gegevens, of vooreen onvoldoende vertrouwelijke behande-ling van ge ge vens.2 Een gebrek aan ver-trouwen in de anonieme verwerking vangegevens kan bij beoordelaars leiden toteen te hoge beoordeling of weerstand inhet geven van tips ter verbetering.1 Beoor-delaars kunnen moeite hebben met hetgeven van een eerlijk en oprecht oordeelover het functioneren van (collega-) art-sen. Wanneer deelnemers meer vertrouwdraken met het hele proces, neemt de angsten weerstand ten aanzien van de proce-dure vaak af en wordt het vermogen omde procedure effectief toe te passenmeestal groter.37 Bij de ontwikkeling eninvoering van MSF is het tevens belang-rijk zich te realiseren dat de feedbackslechts een onderdeel is van meerderebeoordelingsprocessen gedurende deopleiding. In tegenstelling tot reedsgestandaardiseerde beoordelingsmetho-den kunnen kleine variaties bij de invoe-

ring van het proces echter tot grote ver-schillen leiden in de kwaliteit van deinformatie die wordt verkregen. Het isdan ook van belang rekening te houdenmet mogelijke weerstanden van deelne-mers en deze bespreekbaar te maken.

In de toepassing van Multisourcefeed-back.nl procedure bij de opleiding Gynae-cologie/Obstetrie in de Onderwijs- enopleidingsregio Amsterdam/AMC is metsucces één maand per jaar uitgeroepen tot’MSF-maand’; in de weken daarvoor door-lopen alle aios de procedure. In het anderehalf jaar wordt een vergelijkbare feed-backprocedure uitgevoerd waarin de aiosde klinische stafleden beoordelen. Vandeze complementaire procedure gaat eengrote kracht uit van een open en kwets-bare opstelling waarvan zowel aios als deklinische staf beter worden.

Bij het werken met MSF zijn de visiesvan de ‘eindgebruikers’ en van degenendie worden beoordeeld een essentieelonderdeel van de implementatie en evalu-atie. Verschillende studies tonen aan datzowel de beoordelaars als beoordeeldeartsen MSF zien als een belangrijk beoor-delingsinstrument.5 9 22 29 32 Higgins et al.beschrijven in 2004 dat participerendeaios positiever reageren op MSF naar-mate de procedure langer bestaat. Vol-gens de auteurs kan dit secundair zijn aande angst die er in eerste instantie bestondom door uiteenlopende collegae te wor-den beoordeeld. Ook geven zij aan datiedere verandering in de cultuur van eenafdeling of organisatie leidt tot weerstan-den, die echter de neiging heeft met hetvorderen van de tijd te verminderen. Dit iszeker het geval wanneer een positievecyclus van verandering in gang gezetwordt, gekenmerkt door verbetering vande omgang tussen aios en andere werkne-mers in de zorg. 37 In de acceptatie vanhet proces kan meespelen dat de feedbackdie wordt verkregen met MSF, in tegen-


stelling tot toetsing van kennis en vaar-digheden, zeer gevoelig van aard kan zijn.Wanneer de feedback op het functionerenniet goed wordt gecommuniceerd of weer-gegeven, kan dit direct of op lange termijnernstige gevolgen hebben. Artsen werkenvaak gedurende langere tijd samen metverschillende collegae. Het ontdekken datcollegae hun prestaties als onvoldoende ofsuboptimaal beoordelen, kan een groteverrassing zijn en tot onbedoelde reactiesleiden, zelfs tot lang nadat de feedback isgegeven1 32 44 Onvoldoende aandacht voorde beoordelaars, de setting waarin de pro-cedure plaatsvindt en voor de wijzewaarop feedback wordt gegeven kan debruikbaarheid van MSF ernstig verminde-ren.1

17. Multisource feedbackproceduresvoor de minder patiëntgebondenspecialismen

Verreweg het meeste onderzoek over MSFvoor medische opleidingen is uitgevoerdvoor patiëntgebonden specialismen. Voordeze specialismen is deze Richtlijn en hetprogramma Multisourcefeedback.nl pri-mair bedoeld. Uiteraard kan in de oplei-ding in andere medische specialismen,waaronder radiologie, medische micro-biologie en anaesthesiologie MSF even-zeer nuttig zijn. Multisourcefeedback.nlkan ook daar worden toegepast, maar danmet openlating van de categorie van depatiënten, zodat twee groepen van beoor-delaars overblijven.

Literatuur1. Lockyer J, Clyman SM, Holmboe E, Hawkins R

(eds) in: A Practical Guide to the Evaluation ofClinical Competence, Elsevier, 2007 (MSF Chap-ter), in press.

2. Lockyer J. Multisource feedback in the asses-sment of physician competencies. J Contin EducHealth Prof 2003 Winter; 23(1):4-12.

3. Archer J, Norcini J, Davies HA. Peer review ofpaediatricians in training using SPRAT. BMJ2005; 330:1251-53.

4. Davies HA, Archer JC. Multi source feedbackusing Sheffield Peer Review Assessment Tool(SPRAT): Development and practical aspects. Cli-nical Teacher 2005; 2(2):77-81.

5. Hesketh EA, Anderson F, Bagnall GM, Driver CP,Johnston DA, Marshall D, et al. Using a 360 deg-rees diagnostic screening tool to provide an evi-dence trail of junior doctor performance throug-hout their first postgraduate year. Med Teacher2005; 27(3):219-33.

6. Archer J, Norcini J, Southgate L, Heard S, DaviesH. Mini-PAT (peer assessment tool): A valid com-ponent of a national assessment programme inthe UK? Adv in Health Sciences Education 2006[DOI 10.1007/s10459-006-9033-3].

7. Woolliscroft JO, Howell JD, Patel BP, SwansonDB. Resident-patient interactions: The humanis-tic qualities of internal medicine residents asses-sed by patients, attending physicians, programsupervisors and nurses. Acad Med 1994;69(3):216-224.

8. Violato C, Marini A, Toews J, Lockyer J, Fidler H.Using peers, consulting physicians, patients, co-workers and self to assess physicians. Acad Med1994;72 (10 S):57-63.

9. Hall W, Violato C, Lewkonia R, Lockyer J, FidlerH, Toews J., et al. Assessment of physician per-formance in Alberta: The Physician AchievementReview Project. CMAJ 1999;161 (1):52-57.

10. Violato, C, Lockyer, JM, Fidler H: Multi sourcefeedback. A method of assessing surgical prac-tice, BMJ 2003;326: 546-48.

11. Violato C, Lockyer J, Fidler H. The assessment ofpediatricians by a regulatory authority, Paedia-trics 2006;117:79-802.

12. Violato C, Marini A, Toews J, Lockyer J, Fidler H.Feasibility and psychometric properties of usingpeers, consulting physicians, co-workers, andpatients to assess physicians. Acad Med 1997;72(10 Suppl 1):S82-4.

13. Lipner RS, Blank LL, Leas BF, Fortna GS: Thevalue of patient and peer ratings in recertifica-tion, Acad Med 2002;77 (10S):64-66.

14. College of Physicians and Surgeons of Alberta,Physician Achievement Review Program:www.par-program.org

15. Evans R, Elwyn G, Edwards A. Review of instru-ments for peer assessment of physicians. BMJ2004; 328:1240-45.

16. Mazor K, Clauser BE, Holtman M, Margolis MJ.Evaluation of Missing Data in an Assessment ofProfessional Behaviors. Acad Med. 2007;82(10Suppl):S44-S47.

17. Epstein RM. Assessment in medical education. NEngl J Med. 2007 Jan 25;356(4):387-96.

18. Crossley J, Eiser C, Davies HA. Children and theirparents assessing the doctor-patient interaction: arating system for doctors’ communication skills.Med Educ 2005;39(8):820-8.


S41


In VIVO Richtlijn

19. Norcini JJ. Peer assessment of competence: MedEduc 2003; 37(6):539-43.

20. Ramsey PG, Carline JD, Inui TS, Larson EB,LoGerfo JP, Wenrich MD. Use of peer ratings toevaluate physician performance. JAMA 1993;269:1655-60.

21. Rezler AG, Bruce NC, Schmitt BP, et al. Dilem-mas in the evaluation of residents. Proceedings ofthe Annual Conference on Resident Medical Edu-cation 1986; 25:371-378.

22. Wenrich MD, Carline ID, Giles LM, Ramsey PG.Ratings of the performances of practicing inter-nists by hospital-based registered nurses. AcadMed 1993; 68:680-87.

23. Davis JD. Comparison of faculty, peer, self, andnurse assessment of obstetrics and gynecologyresidents. Obstet Gynecol. 2002 Apr; 99(4):647-51.

24. Johnson D, Cujec B. Comparison of self, nurseand physician assessment of residents rotatingthrough an intensive care unit. Critical CareMedicine 1998; 26:1811-1816.

25. Wood L, Hassell A, Whitehouse A, Bullock A, WallD. A literature review of multi-source feedbacksystems within and without health services, lea-ding to 10 tips for their successful design. MedTeach 2006 Nov;28(7):185-91.

26. Lockyer J, Blackmore D, Fidler H, Crutcher R,Salte B, Shaw K, Ward B,Wolfish N. A study of amulti-source feedback system for internationalmedical graduates holding defined licences. MedEduc 2006 Apr; 40(4):340-7.

27. Butterfield PS, Mazzaferri EL. A new rating formfor use by nurses in assessing residents’ humanis-tic behavior. J Gen Intern Med 1991; 6:155-61.

28. Ramsey PG, Wenrich MD. Use of professionalassociate ratings to assess the performance ofpracticing physicians: past, present, future. AdvHealth Sci Educ Theory Pract 1999; 4(1):27-38.

29. Wood L, Wall D, Bullock A, Hassell A, White-house A, Campbell I. ‘Team observation’: a six-year study of the development and use of multi-source feedback (360-degree assessment) inobstetrics and gynaecology training in the UK.Med Teach 2006 Nov; 28(7):177-184.

30. Bleker OP, Cate Th.J. ten, Holdrinet RSG. Dealgemene competenties van de medisch specialistin de toekomst. Tijdschrift voor Medisch Onder-wijs 2004;23(1):4-14.

31. Ten Cate TJ. Trust, competence, and the supervis-or’s role in postgraduate training. BMJ 2006;333;748-751

32. Sargeant JM, Mann KV, Ferrier SN, Langille DB,Muirhead PD, Sinclair DE. Responses of ruralfamily physicians and their colleagues and cow-orker raters to a multi-source feedback process: apilot study. Acad Med 2003;78 (S10):42-44.

33. Penny JA. Exploring differential item functioningin a 360-degree assessment: rater source and

method of delivery. Organisational ResearchMethods 2003;6(1):61-79.

34. Payne, T. Editorial: 360 degree assessment andfeedback. International Journal of Selection andAssessment 1998; 6(1): 16-18.

35. Whitehouse A., Hassell A., Wood L., Wall D.,Walzman M., Campbell I. Development and relia-bility testing of TAB – a form for 360º assessmentof senior house officers’ professional behaviour,as specified by the General Medical Council. MedTeach 2005;27: 252-58.

36. Eva K, Regehr G. Self-Assessment in the HealthProfessions: A Reformulation and ResearchAgenda. Acad Med 2005;80(10):S46-S54

37. Higgins RS, Bridges J, Burke JM, O’Donnell MA,Cohen NM, Wilkes SB. Implementing theACGME general competencies in a cardiothora-cic surgery residency program using 360-degreefeedback. Ann Thorac Surg 2004 Jan;77(1):12-17.

38. Bracken DW, Timmreck CW, Church AH (Eds):The Handbook of Multisource Feedback: TheComprehensive Resource for Designing andImplementing MSF Processes. San Francisco:Jossey-Bass, 2001.

39. Cox EP. The optimal number of response alterna-tives on a scale. J Marketing Research 1980;17:407-22.

40. Lockyer JM, Violato C. An examination of theappropriateness of using a common peer asses-sment instrument to assess physician skills acrossspecialties. Acad Med. 2004 Oct;79(10 Suppl):S5-8.

41. British Psychological Society: www.psychtesting.org.uk/[zoek op: 360 degree feedback].

42. Holmboe ES., Yepes M, Williams F, Huot SJ,Feedback and the mini clinical evaluation exer-cise. J Gen Intern Med, 2004. 19(5 Pt 2):558-61

43. Fidler H, Lockyer J, Toews J, Violato C: Changingphysicians’ practices: The effect of individualfeedback. Acad Med 1999;74:702-14.

44. Sargeant J: Multi-source feedback for physicianslearning and change. Maastricht University. Doc-toral dissertation. September 2006.

45. Smither JW, London M, Reilly RR: Does perfor-mance improve following multisource feedback?A theoretical model, meta-analysis and review ofempirical findings. Personnel Psychology 2005;58:33-66.

46. Brinkman WB, Geraghty SR, Lanphear BP,Khoury JC, Gonzalez del Rey JA, Dewitt TG,Britto MT. Effect of multisource feedback on resi-dent communication skills and professionalism: arandomized controlled trial.Arch Pediatr AdolescMed 2007 Jan;161(1):44-9.

47. Toolbox: Accreditation Council for GraduateMedical Education Competencies: www.acgme.org/outcome/comp/compFull.asp


De auteurs:Prof. dr. Th.J. ten Cate is hoogleraar medische onder-wijskunde en directeur Expertisecentrum voor Onder-wijs en Opleiding, UMC Utrecht.Drs. M.A. Horsman is huisarts in opleiding en was tetijde van dit project werkzaam bij het Expertisecentrumvoor Onderwijs en Opleiding, UMC Utrecht.

Correspondentieadres:Prof. dr. Th.J. ten Cate, Expertisecentrum voor Onder-wijs en Opleiding, UMC Utrecht, postbus 85500, 3508GA Utrecht. E-mail: [email protected]

Belangenconflict: geen gemeldFinanciële ondersteuning: geen gemeld


Documents

Achtergronden bij de Richtlijn multisource feedback voor ...1. Achtergrond multisource feedback De medisch specialist van de 21ste eeuw wordt geacht over verschillende competen-ties