View
220
Download
0
Category
Preview:
Citation preview
Studiedienst van de Vlaamse Regering
Slimme subsidies
17 september 2013
Evaluatie van subsidies
Dries Verlet
Studiedienst van de Vlaamse
Regering
Dries Verlet Studiedienst van de Vlaamse Regering2
Overzicht
• Inleiding• Wat is beleidsevaluatie?• Types van evaluatie• Wat te evalueren• Indicatoren• Zelf doen of uitbesteden?• Evalueren in drie stappen• Ter uitleiding
Dries Verlet Studiedienst van de Vlaamse Regering3
Inleiding
• Wat zijn subsidies?
Een subsidie is een financiële aansporing om het gedrag van de bevolking of van een specifieke doelgroep (dat kan ook een andere overheid zijn) te beïnvloeden in de door de overheid gewenste richting.• Een frequent ingezet instrument: maar liefst 260
soorten premies en subsidies die vanuit de Vlaamse overheid worden gegeven aan een diversiteit aan doelgroepen
Dries Verlet Studiedienst van de Vlaamse Regering4
Inleiding
• Soorten premies en subsidies:Bouwen, wonen en energie (35)Cultuur, sport en vrije tijd (34)Economie en werk (75)Gezin, welzijn en gezondheid (63)Mobiliteit en openbare werken (9)Natuur en milieu (14)Onderwijs en wetenschap (29)Overheid (9)
Bron: http://www.vlaanderen.be/nl/premies-en-subsidies• Belangrijke uitgavepost van de Vlaamse overheid
Dries Verlet Studiedienst van de Vlaamse Regering5
Wat is beleidsevaluatie?
• Enkele definities:
‘Evaluation is the systematic and objective determination of the worth or merit of an object’ (Scriven, 2007)
‘A systematic or careful assessment of the merit, worth, and value of administration, output, and outcome of government interventions, which is intended to play a role in the future, practical action situation’ (Vedung, 1997)
• Link met beleidspraktijk• Evalueren is waarderen• Evaluatie ≠monitoring
Dries Verlet Studiedienst van de Vlaamse Regering6
Beleidsevaluatie versus monitoring
• Evaluatie en monitoring tegenover elkaar:
• Globaal: verschillend qua focus en gebruik, maar methodologisch complementair
• Gelijkenissen: qua structurering, planning alsook wat betreft het verkrijgen, analyseren en beoordelen van data
Monitoring:
Beschrijvend, wat
Permanent
Algemeen
Bronnen vaker verankerd in organisatiestructuur
Belangrijke rol voor managers
Evaluatie
Waarom/hoe
Ad hoc
Onderwerpspecifiek
Gerichte bronnen nodig
Vaak niet door het management zelf
Dries Verlet Studiedienst van de Vlaamse Regering7
Types van beleidsevaluaties I
• Naargelang het tijdstip in de beleidscyclus
Bron figuur: De Peuter, 2007, 36
Dries Verlet Studiedienst van de Vlaamse Regering8
Types ex ante evaluaties van subsidies
• Bevragen van de potentiële ontvangers
Enkele aandachtspunten:
- Strategisch gedrag vermijden
- Goede steekproef
- Wel overwogen voorstelling van de thematiek
- Nood aan een controlegroep• Eerder kwalitatieve bevraging van experten• “Modellenspoor”: door middel van structurele
modellen die gebaseerd zijn op economische theorie de reactie van subsidieontvangers trachten in te schatten.
Bron: studie LNE
Dries Verlet Studiedienst van de Vlaamse Regering9
Types ex post evaluaties van subsidies
• beleidsdoorlichting: evaluatie van het beleid op het niveau van de algemene of operationele doelstellingen
• effectenonderzoek ex post: het meten van netto-effecten van beleid
Bron: studie LNE
Dries Verlet Studiedienst van de Vlaamse Regering10
input
input
Structuren, institutionele
en management
Activiteiten en
processenOutputs
Outcomes op korte
en ml termijn
Outcomes op
langere termijnD
oe
lste
llin
ge
n
Maatschappelijke problemen en noden
Beleid
Omgevingsfactoren
Bel
eids
nive
auO
rgan
isat
ieni
veau
Context
Wat te evalueren?
Dries Verlet Studiedienst van de Vlaamse RegeringStudiedienst van de Vlaamse Regering van11
•Doelstellingen: strategische versus operationele; stabiliteit en consistentie doorheen de verschillende planningsdocumenten•Input: mensen en middelen die men inzet•Throughput: processen en activiteiten waarin inputs tot outputs worden omgezet•Output: volume, kwaliteit en waarde van goederen en diensten •Outcome: gebeurtenissen of omstandigheden die het (on-)bedoelde resultaat zijn van de acties van de overheid. Vaak niet éénduidig toe te schrijven aan de handelingen van de overheid•Omgevingsfactoren: als organisatie geen vat op, maar kunnen doorslaggevende invloed uitoefenen
Omschrijving van de samenstellende delen
Dries Verlet Studiedienst van de Vlaamse Regeringvan12
INPUT TROUGHPUT OUTPUT OUTCOME
Makkelijker te meten want zeer concreet
Minder concreet en dus moeilijker te meten
Kunnen op een meer regelmatige basis worden bijgehouden
Zijn moeilijker om op regelmatige basis te verzamelen omdat het langer duurt vooraleer de effecten zich voordoen
Minder externe factoren die een rol spelen
Worden ook bepaald door vele externe factoren
Meer bruikbaar voor dagelijks bestuur Zijn meer bruikbaar voor periodieke plannings- en beleidsdoelstellingen
De betrouwbaarheid van de indicatoren ligt hoger
De betrouwbaarheid van de indicatoren is lager, ze zijn meer vatbaar voor meetfouten
Geven vaak minder informatie over het feit of de organisatie haar missie vervult
Geven wel informatie over het feit of de organisatie haar missie vervult
De indicatoren zijn makkelijker te controleren op hun juistheid
De indicatoren zijn moeilijker te controleren op hun juistheid
Omschrijving van de samenstellende delen
Dries Verlet Studiedienst van de Vlaamse RegeringStudiedienst van de Vlaamse Regering van13
• Middelen: personeel, hun huisvesting en logistiek en financiën
• Activiteiten/processen: juridische kader, subsidiereglement, …
• Prestaties/Output: toekenning van een schooltoelage, bereik van de doelgroepen…
• Effecten: de mate waarin de leerlingen de kennis/attitudes verder ontwikkelen, vorm geven, etc.; toegankelijkheid van het onderwijs verhogen
Voorbeeld: schooltoelage
Dries Verlet Studiedienst van de Vlaamse Regering14
Types van beleidsevaluaties II
• Evaluatiecriteria : AanvaarbaarheidCoherentieConsistentieDoelbereikingDuurzaamheidEfficiëntieEffectiviteitUitvoerbaarheid…
• Interne versus externe evaluatie • Nog tal van subtypes
Dries Verlet Studiedienst van de Vlaamse Regering15
• Wat zijn indicatoren? Enkele ingrediënten: Indicatoren als operationalisering van
abstracte concepten, proxies Maken deel uit van een één of ander
informatiesysteem dat een rol speelt in de beleidsvoering (en expliciet of impliciet deel uitmaakt van beleidstheorie)
Statistieken zijn niet per definitie indicatoren (en omgekeerd)
Indicatoren ter voeding van de evaluatie
Dries Verlet Studiedienst van de Vlaamse Regering16
Wat maakt een indicator een goede indicator?
Indicatoren zelf: “FABRIC”:
Focused
Appropriate
Balanced
Robust
Integrated
Cost effective
Doelstellingen: “SMART”:
SpecificMeasurableAchievableRelevantTime-bound
Dries Verlet Studiedienst van de Vlaamse Regering17
Een diversiteit aan types van indicatoren
• Enkelvoudige versus samengestelde indicatoren
• “Objectieve” versus “subjectieve” indicatoren• Besturingsniveau: strategisch, tactisch of
operationeel• Managementcyclus• Dimensies: bereik, volume, kwaliteit• Productieproces (cf. supra)
Dries Verlet Studiedienst van de Vlaamse Regering18
Op zoek naar indicatoren
• Wetenschap en beleid: een moeilijk huwelijk• Onderbenutting van informatie uit indicatoren:
Redenen:
1. Minder goede match tussen beleid en wetenschap
2. Organisatiestructuren die integratie in de weg staan
3. Onvoldoende politieke incentives
Dries Verlet Studiedienst van de Vlaamse Regering19
De link tussen het beleidsproces, indicatoren en het “veld”
(Brennin, 2007)
Dries Verlet Studiedienst van de Vlaamse Regering20
Lessen uit het gebruik van indicatoren bij overheden
• Cijfers op zich zijn nog geen goede indicatoren• Bruikbare indicatoren vereisen een duidelijke
conceptuele basis• Exhaustief (trachten te) zijn is een rem op de
bruikbaarheid• Symbolische waarde van een indicator, kan het
wezenlijk belang ervan overschaduwen • Indicator ≠ maatschappelijke realiteit • Het meten op zich indiceert nog niet de geschikte
actie• Bij het ondernemen van actie, zoek indicatoren die
iets zeggen over oorzaken, niet over symptomen
Dries Verlet Studiedienst van de Vlaamse Regering21
Lessen uit het gebruik van indicatoren bij overheden
• Het meten op zich oefent een invloed uit: men meet wat men belangrijk acht en indicatoren kunnen ons bewustzijn en focus op specifieke thema’s beïnvloeden
• Uitdaging: van beschrijving naar analyse
Dries Verlet Studiedienst van de Vlaamse Regering22
Evaluatie van subsidies: lessen uit Nederland (Algemene Rekenkamer, 2011)
• Waarom is de kwaliteit van effectevaluaties bij wijlen gebrekkig Bij rapporteringen van de evaluaties heeft men
vaak meer aandacht voor de bruikbaarheid in de politieke context dan voor de kwaliteit van de eigenlijke evaluatie
Sommige subsidies lenen zich minder goed voor een effectevaluatie (bv. exploitatiesubsidies)
De kostprijs van het evalueren leidt soms tot effectevaluaties van mindere kwaliteit
Dries Verlet Studiedienst van de Vlaamse Regering23
Lessen uit Nederland (Algemene Rekenkamer, 2011)
• Waarom is het goed evalueren van de subsidies en hun effectiviteit zo belangrijk? Bewijs voor effectief beleidBewijs voor effectiever en efficiënter beleidBasis voor verbetering van ander beleidBasis voor goede verantwoording
Dries Verlet Studiedienst van de Vlaamse Regering24
Zelf doen of uitbesteden?
• Interne dan wel externe evaluatie
- Intern: evaluator maakt deel uit van de organisatie waarvan het beleid wordt geëvalueerd
- Extern: evaluator staat los van de organisatie• Geen strikt onderscheid• Een combinatie van beiden is mogelijk en
soms ook te verkiezen• Link met motieven tot evaluatie
Dries Verlet Studiedienst van de Vlaamse Regering25
Zelf doen of uitbesteden?
• Voor- en nadelen interne dan wel externe evaluatie (cf. De Peuter e.a., 2007)
Dries Verlet Studiedienst van de Vlaamse Regering26
Evalueren van subsidies in drie stappen
• Algemene Rekenkamer, 2011: http://www.rekenkamer.nl/Publicaties/Handreikingen/Handreiking_effectevaluaties_subsidies
Stap 1: Randvoorwaarden creëren
Stap 2: Voorbereiden en uitvoeren van de evaluatie
Stap 3: Resultaten van de evaluatie benutten
Dries Verlet Studiedienst van de Vlaamse Regering27
Stap 1: Randvoorwaarden creëren
• Voorbereiden van de nieuwe subsidie: gestructureerd aanpakken, o.a. voorzien in de mogelijkheden voor een goede effectevaluatie
• Vastleggen van doel en beleidstheorie:
- Maak een probleemanalyse (cf. RIA)
- Beleidstheorie expliciteren: hoe draagt de subsidie bij tot de gewenste activiteit en de activiteit tot de gewenste maatschappelijke effecten (outcome)
- Doelstellingen SMART formuleren
- Doelstellingen: op niveau van de output en outcome
- Leg de doelen en de beleidstheorie vast en maak ze kenbaar
Dries Verlet Studiedienst van de Vlaamse Regering28
Stap 1: Randvoorwaarden creëren
• Plannen van evaluatie en monitoring:- Plan al bij de start van de subsidie een evaluatie- Best een meting vooraleer de effecten zichtbaar
kunnen zijn
- Weeg af of de subsidie het best afzonderlijk of in samenhang met andere maatregelen kan worden geëvalueerd- Ga na welke gegevens straks nodig zijn voor de
evaluatie, desgevallend opzetten van een monitoringssysteem
- Doe een nulmeting- Experimenteel opzet mogelijk?- Leg de evaluatiedatum vast.
Dries Verlet Studiedienst van de Vlaamse Regering29
Stap 2: Voorbereiden en uitvoeren van de evaluatie
Enkele aandachtspunten voor een goede effectevaluatie:
• Betrek evaluatiedeskundigen bij het onderzoek• Uitbesteden of niet? Zo ja: - Selecteer uitvoerder op kwaliteit
- Denk mee met de uitvoerder gedurende opzet/uitvoering
- Maak goede afspraken over de rapportage
- Beoordeel rapport en conclusies op kwaliteit
• Zorg voor een evaluatie die praktisch nut heeft voor de gebruikers
• Baken de doelen van de subsidie af
• Bewaak de kwaliteit van de metingen: validiteit, betrouwbaarheid, causaliteit
• Bewaak de kwaliteit van de conclusies
• Onafhankelijkheid van de uitvoering van de evaluatie
Dries Verlet Studiedienst van de Vlaamse Regering30
Stap 3: Resultaten van de evaluatie benutten
• Te benutten voor het afleggen van verantwoording dan wel om er lessen uit te trekken• Maak duidelijk onderscheid tussen de resultaten
evaluatie en appreciatie ervan
• Ter bevordering van het leereffect:
- Alle geledingen al betrekken tijdens de uitvoering van het onderzoek
- Verspreid de evaluatie onder alle belanghebbenden - Gebruik alleen voldoende onderbouwde conclusies voor aanpassingen in de subsidie
- Besteed aandacht aan signalen dat de subsidie (deels) ineffectief is (cadeaueffect)
Dries Verlet Studiedienst van de Vlaamse Regering31
Ter uitleiding
• Als overheid beschikken we vaak niet over de informatie om te leren van subsidiëring als beleidsinstrument
• Nood aan een bedrijfsvoering gericht op subsidies teneinde te leren over de effectiviteit van het overheidsoptreden
• Als lerende organisatie: niet alleen evalueren op zich, maar ook plannen om te evalueren
• Evaluatie van de effectiviteit van subsidies: niet evident, maar daarom niet minder belangrijk
Recommended