Faglig refleksion og selvevaluering gennem effektmålingsredskaber

(Progressionsmålingsredskaber)

Malene Arnfast Bruun, Københavns KommuneMartin Bæksgaard Jakobsen, New Insight

1

Program

• Præsentation og program• Rammesætning• Tre slags progressionsmålinger, - med

øvelse• Betydning for handleplan, - med øvelse• Betydning for faglig dialog og ledelse• Perspektiverne for progressionsmålinger

2

Rammesætning

• Hvem er vi og hvorfor har vi behov for progressionsmålinger?

• Hvad er progressionsmåling?– Gentagne målinger over tid på samme

indikatorer– Indikatorer, der siger noget om slutbrugers

tilstand eller kompetencer – Tilstand eller kompetencer, der ligger i

forlængelse af en indsats (effekt/outcomes).

3

Tre grundlæggende forskellige kerner/forståelser

1. Objektiv funktion eller tilstand2. Mestring af situationen3. Forholden sig til/erkendelse af problem

4

Objektiv funktion eller tilstand• Bedømmelse af funktion eller graden af problem• Erkendbar af 3. person – den professionelle• Har sin berettigelse

Eksempler:• Måling til opfølgning på politiske mål• Måling til myndighedens visitation og grundlag

for budgettildeling

5

Mestring af situation: Eksempel Forandringskompas for borgere med handicap• Kompasset skal sætte fokus på indsatser, som giver borgerne en

øget oplevelse af livskvalitet og selvhjulpenhed. • Forandringskompasset er et redskab som skal bidrage til at formidle

og dele viden om hvilken virkning, borgerne får af de indsatser, vi i forvaltningen tilbyder.

• Kompasset skal på den måde bidrage til at skabe viden og læring om effekten af indsatsen for borgerne

• Mestringsperspektivets berettigelse• Når man ikke har en forandringsteori• Et løft af den faglige dialog på handicapområdet

6

Forandringskompas for borgere med handicapsom redskab

Redskab for personalet• følge den enkelte beboers

udvikling konkret• kvalificere den pædagogiske

drøftelse af indsats • dokumentere udvikling /

vedligehold • forbedre samtalen med beboeren

Redskab for borger/pårørende• følge sin egen udvikling konkret • får dokumentationen visuelt• stille relevante spørgsmål til

personalet om indsats, støtte m.m.• få større indflydelse på egen

udvikling / hverdag• bedre mulighed for inddragelse af

pårørende

7

Værdiskalaer?

8

9

10

Implementeringsaktiviteter

11

Forholden sig til/erkendelse af problem

• Outcomes Star– Et redskab til både at understøtte og

dokumentere udvikling hos borgere.– Et redskab, der bruges af medarbejder og

borger sammen.– Bruges som integreret del af socialfagligt

arbejde – og forbedrer det.

12

Outcomes

• Den forandring, der sker med borgerene• Ikke output – dvs. ikke borgertilfredshed,

kvalitetssikring, performance management, aktivitetsregistrering.

• Bløde og hårde outcomes • FORHOLDEN SIG TIL!!

13

Outcomes Star/ Hjemløsestjernen

14

Baggrund

• Prototype udviklet af Triangle til St. Mungos i 2003

• Revideret og første gang officielt udgivet i 2006

• Bottom-up udviklet sammen med borgere, medarbejdere og ledere i 9 mdr.

15

Forandringsrejsen – eller den transteoretiske model

1 – Fastlåst/Før-erkendelse

2- Accepterer hjælp/Erkendelse

5 – Selvstændig/uafhængighed

3 – Tror/Forberedelse

4 – Lærer/Handler

16

Reflektionsrum

• Finde 7-8 ’reflektorer’ med borgerkontakt eller –kendskab (case)

• Del op i 7-8 grupper – 3-4 grupper arbejder med progressionsmåling

ud fra mestring – 3-4 grupper arbejder med progressionsmåling

ud fra forholden sig/erkendelse

17

Øvelse i at score…

• ’Reflektor’ repræsenterer en borger (rollespil?)

• Udfyld hhv. Kompas eller Outcomes Star på 2-3 dimensioner.– Fysisk helbred, sundhed– Psykisk helbred, trivsel og tryghed– ??

• Fælles opsamling

18

Opsamling på score-øvelse

• Hvordan er det at sætte tal på et menneske?

• Datasikkerhed – validitet og reliabilitet?• Hvad kan man måle med de to/tre

redskaber?• Hvori består de respektive udfordringer?

19

Erfaring med Kompas• Fra synsning til faglig vurdering og observationer• Styrker notater og skriftlighed i det hele taget• Styrker daglig fokus på formål med indsatsen• Udbreder kendskabet til borgeren• Mindsker blinde pletter• Gør kritik mere faglig og mindre personlig• Nødvendigt med kompleksitet, men det er svært• Udfordring når progression ikke er mulig eller hvor det

kun kan gå tilbage• Scoren, er det kompromis eller konsensus?

20

Erfaringer med Outcomes Star• Opfanger de meget små fremskridt – de 80 %• Differentiering af en meget homogen masse• Validitet og reliabilitet• Kræver:

– faglig og personlig indsigt– regelmæssig kontakt– rum for egentlig socialt arbejde – god tid til samtale– Refleksion over og øvelse med scoring

21

Erfaringer med handleplan i OS

• OS giver et udgangspunkt for dialog om problemer og muligheder.

• Strukturerer og prioriterer en samtale• Illustrere eller usynlige fremskridt.• Målrette indsatser (bestillinger)

Datarapporter til faglig dialog og ledelsesdialog

Eksempel fra Københavns Kommune• Fra tal til fortællinger• Ledelsesdialog• Brugerstatusrapporter, - gruppebillede• Forandringsrapporter

23

Udvikling i Materiale og Produkter gennem ledelsesdialogen

Afdelingsleder ogTilbudsleder

Datarapporter

Målgruppe og Direktion

Analyser og læring fra fortællingerne

Centerledelserne og centerchef-kredsen med DU

Datarapporter og fortællinger

Ledelsesopgave i forhold til den årlige rapportering

Afdelingsledere og tilbudsledere– Opgave: Faglig dialog om effekt, på yderste niveau. – Rapportering: Den gode historie og det lærende eksempel.

Centerledelse– Opgave: Strategisk ledelsesdialog i relation til centeret.– Rapportering: Læring, overvejelser og eventuelle initiativer.

DU og Centerchefkredsen– Opgave: Strategisk ledelsesdialog i relation til handicapområdet.– Rapportering: Læring, overvejelser og eventuelle initiativer på

tværs.

Målgruppemøde (DIR,DU,MY,Tværgående)– Opgave: Gensidig Orientering

Brugerstatusrapport

Profil af to borgergrupper. Er det en bekræftelse af målgrupperne for de to tilbud eller er der også overraskelser i forskellene?

Tilbud 1

Tilbud 2

Forandringsrapport

Tilbud 1

Tilbud 2

Spørgeguide til refleksion over Brugerstatusrapporten, som viser den aktuelle kompasscore for borgerne tilknyttet

tilbuddet, - et kompasgruppebillede.

• Hvordan stemmer gruppebilledet overens med jeres målgruppebeskrivelse og jeres forventning?

• Er der noget I undrer jer over eller som overrasker?

Spørgeguide til refleksion over forandringsrapporten, som viser forandringen for den samlede gruppe af borgere og i

relationen til teamets samlede indsats – teamorienteret

• Hvilke faglige indsatser har der været på afdelingen som helhed?• Har det afspejlet sig i brugernes/borgernes scoringer?• Er der noget, som har overrasket jer, eller som undrer jer, i det

billede som scoringerne viser?• Den gode historie: hvad kan i særlig grad fremhæves som

effektfulde indsatser?• Behov for udvikling: Hvor er det svært at spore en effekt af

indsatsen? Hvor ser det derfor ud til at der er behov for udvikling?• Hvad kunne det give anledning til af initiativer i centeret?

LederopgavenStrategiske drøftelser på baggrund af:• Tilbuddenes bearbejdning af data• Den gode historie fra afdelinger og tilbud• Behov for udvikling fra afdelinger og tilbud

Spørgsmål til drøftelse i centerledelsen:• Hvad ved vi? Hvad viser data? Hvad har vi undret os over? Er der noget vi vil

holde øje med?• Hvad har vi fået af ideer til læring på tværs, fælles udfordringer mv.?• Hvad gør vi? Er der initiativer vi selv kan tage i centeret? Er der noget, vi skal

bringe op mellem centre? • Har vi noget viden, som skal udbredes til andre?

Data fra Outcomes Star

• Stjernen som grafik – individuel, aggregeret, filtreret

• Tabelrapport og rådata• Fordeling af progression, regression,

stagnation• Kobler progression til indsats – effekt.

Plenum refleksion

• Hvad ser I som umiddelbare problemstillinger, når vi bruger aggregeret data?

34

Progressionsmålingsredskaber i fremtiden?

• ”Vi ved fortvivlende lidt om, hvad der sker i den offentlige sektor”

• ”Vi har brug for flere og bedre data, så vi kan holde de offentlige ledere ansvarlige”

• ”I stedet for en masse regler…, er der brug for klare krav til, hvilke resultater de offentlige institutioner opnår”

35

Peter Birch SørensenFormand for produktivitetskommissionenPolitiken, 10.0.13

Progressionsmålingsredskaber i fremtiden?

• Beskæftigelsesområdet – centralt progressionsmålingsredskab

• Sociale og psykosociale – ikke systematisk brug

• Specialområderne, fx autisme

36

Tak for i dag

Malene: VN92@sof.kk.dkMartin: mbj@newinsight.dk

37