om evaluering

om evaluering

Oversigt

Projekters væsen – projektanalyse

Evalueringsstrategi

Evalueringers indhold og metode

Evaluering som fænomen

Hvad koster evaluering?

Projekt analyse

Projekters væsen

Tidsbegrænsede

En vej mod ukendte mål

Kontekst-følsomme

Skalérbare

VidenBeslutninger

Tid

Målretningsbalancen

Opdagelse

Afprøvning

Faser i ideers udvikling

Udforskning Hvad er det, der foregår?

Nyhedsforsøg

Virker det?

Demonstrationsforsøg Virker det hensigtsmæssigt?

Acceptforsøg Virker det godt nok? Skal vi indføre det?

Kvalitetssikring Kan det gøres bedre?

Evaluering af implementering

Politik Ledelse Fagfolk Brugere

MŒl Planer Indsats Ydelser

Planer Indsats Ydelser Udbytte

PLANIMPLEMENTERINGS PROCESSEN

De kinesiske æsker

Evalueringsspørgsmål til analyse-enheder

Beskrivende spørgsmål: Hvad, hvem

Udforskende: Hvordan

Testende: Hvis ...så...

Hvorfor : Anledning og formål?

Motiv-blandingen Beslutningsstøtte Ritual Legitimering Taktik .... NPM...

Evaluerings strategi: Indhold og metode

Projektevaluerings-strategi - evalueres efter 3 år.

Projektmodenhed: Hvor på vejen fra vugge til grav?

Projektklima: Fra håb og tro til mistro?

Extern/ intern evaluering

Evaluerbarhed & evalueringskapacitet

Fokus på beslutningsstøtte?

Forankringsstrategi og evalueringsfaser

Proces / resultatbalance

Valg af evalueringsmodel

Vurdering af kontekst

Hvad er kontekst?

Motiv-blandingen: ritual, taktik, legitimering

Er der et behov?

Er der en opbakning og interesse?

Hvordan påvirker kontekst udviklingen

Evalueringsprotokollen

Baggrund

Formål

Resultat

Evalueringsspørgsmål

Strategi

Delundersøgelser

Etik

Tidsplan

Organisation

Økonomi

Modeller til evaluering

Behovsevaluering

Virkningsevaluering Procesevaluering Effekt evaluering -

Interessent evaluering: Fourth-generation

Audits

Bruger-evaluering - empowermentevaluering -

Målbaseret evaluering, målfri evaluering -

Standardprojekt-evaluering

Løsning af den faglige opgave Målgruppen Indsatsen Resultaterne

Løsning af driftsopgaven Aktivitetsniveau Økonomi

Løsning af den organisatoriske opgave Driftsledelse Faglig ledelse Samspil og samarbejde

Løsning af den strategiske opgave Placering i den store sammenhæng

Patton: anvendelsesorienteret evaluering

Brugerengagement

Anvendelsestænkning fra start

Anvendelse af den personlige faktor

Interessent-analyse er vigtig

Anvendelsesfokusering

Brugerinddragelse i design

Anvendelse er ikke rapportering

Hvad indeholder virkningsteorier?

- Input og kontekst

- Komponenter som er uundværlige grupper af aktiviteter

- Aktiviteter som er det man gør Aktivitetsmål og aktivitetsindikatorer

- Aktører som aktiviteterne omfatter- Aktørmål og aktørindikatorer

- Processer Samspils- og forløbsbeskrivelser

- De kortsigtede og langsigtede resultater man regner med at opnå med aktiviteterne. - Resultatmål og resultatindikatorer- Utilsigtede resultater

Virkningsevaluering

Teorispørgsmålene Hvad er det, vi tror, vi gør? Hvad tror vi, der kommer ud af det?

Hvorfor?

Evalueringsspørgsmålene Gør vi det, vi siger vi gør? Kommer der det ud af det som vi tror?

Interessent- evaluering am. Guba

En organisatorisk proces,

der udforsker forskellige interessentgruppers

opfattelse af fordele, ulemper og brændpunkter

knyttet til beslutningsprocesser omkring et bestemt fænomen.

Formålet er at kvalificere processen ved at stille nye spørgsmål, skaffe nye informationer, nye forståelser i samarbejde med interessenterne.

GUBA:

Agenter

Vindere

Taber

Investorer/ politikere

Leverandører/ henvisere

Aktører/behandlere

Aftagere

Slutbrugere

Audit evaluering

Valg af analyseenhed

Valg af vurderingskriterier

Udarbejdelse af cases

Individuel bedømmelse

Auditteam vurderer

Auditteam anbefaler

Light-samling

Most significant change method

PDSA-cirklen

Behovsmåling

Målopnåelse

CIA-analyse

Valg af metodebeskrivelse

Procedurer

Guidelines

Virkningsteori √

Standarder

Benchmarking

Akkreditering

Evidensbaserede standarder

Hvordan måler vi effekt?

Problemomfang- symptomer Ændringer i problemadfærd og symptomer

Tilpasning CBT kan ændre depressive symptomer, men ikke social fucntion

Mekanismer Ændringer i cognitive og emotionelle færdigheder

Samspil Ændrede samspilsformer i familien hos mennesker med skizofreni

Interventionsanvendelse MST viser mindre forbrug af politi, socialrådgivning mv.

Livsløbsændringer Veje ud af/ind i negative udviklingsforløb

Evaluerbarhed

God evaluering?

Besvarer stillede spørgsmål med den lovede grad af troværdighed

Bekræfter eksisterende viden - så vi bliver stærkere I troen

Afkræfter eksisterende viden - så vi bliver svagere I troen

Skaber evt. ny viden - så vi må tro noget andet

Danner udgangspunkt for dialog

Brændpunkter & Trends

Evidensdebatten

De konstitutive virkninger

Nytteværdien

Evalueringskapacitet: Fra projektevaluering til evalueringskultur?

Evaluering som fænomen

Hvad er evaluering og alt det andet?

Kvalitetssikring/Udvikling Monitorering Benchmarking Certificering

Aktionsforskning Praksisforsning Real world Research MTV- Medicinsk Teknologivurdering

Evaluering som fænomen

”Evaluering simple” som ubemærket aktivitet.

”Evaluering light.” Beslutningsstøtte dvs. data, vurdering, beslutning - altid

bedre en ingenting.

”Evaluering classic.” Evaluering som eksplicit, formaliseret aktivitet. Når man

skal være det bekendt.

”Evaluering pro”. Evaluering som forskning. Når man vil have det bedste.

Brændpunkterne

Motivdebatten: Beslutningsstøtte, ritual, legitimering, NPM

De konstitutive virkninger: Kriterier bliver værdier Tiden Standardiseringer Interessentforskydning Forhandling af virkeligheden

Evidensdebatten

Insider positionen

Vil evaluators relation til informanterne få informanten til at opføre sig anderledes?

Vil evaluators forhåndsviden føre til misfortolkning af data eller til fejlagtige slutninger?

Vil evaluators viden indebære antagelser, som gør at UFO mister vigtig viden.

Vil evaluators politik,loyalitet eller skjulte dagsorden føre til misfortolkninger.

Vil evaluators moralske, kulturelle, eller politiske synspunkter føre til ubevidst manipulation?