Vad är det vi vet och inte vet om samverkan?

Uppföljning och/eller? utvärdering av samverkan

Först måste vi reda ut begreppen!

Uppföljning UtvärderingProduktivitet EffektivitetMedel MålKontroll UtvecklingIntern ExternFokus på faktorer verksamheten själv kan ha kontroll över

Fokus på faktorer ofta utanför verksamhetens kontroll

OBS! Definitionerna är i högsta grad förenklade och det finns ingen skarp gräns begreppen emellan.

Fortfarande vet vi inte vilka effekterna är av samverkan

Varför?• De utvärderingar som hittills gjorts av samverkan har inte varit designade så att det varit möjligt att dra slutsatser som effekter.

Några tänkbara förklaringar• Bristande utvärderar- och beställarkompetens.• Otillräckliga data av tillräckligt hög kvalitet.• För dåliga på att motivera samtycke.• För många kockar?• Lagstiftningens utformning riskerar att skapa felaktiga drivkrafter.

Så vad vet vi då?

ISF:s sammanställning NHV:s litteraturöversikt

122 rapporter sammanlagt, varav 42 med utvärderingsansats, 2004-2010:

5 avsåg 2-partssamverkan4 avsåg handlingsplanssamverkan94 avsåg 4-partssamverkan19 avsåg återrapporteringar till regeringen från FK och AF.

50 vetenskapliga internationellt publicerade artiklar, 1995-2010:

case managementpartnerskap mellan org.samlokaliseringfinansiell samordninginterprofessionella kontakterflerpartsmötenmultiprofessionella teamutvärderingar av rehab.samverkan

Kunskapssammanställning

Framgångsfaktorer• Tydlig målgrupp• Relevanta aktörer involverade• Förankring• Incitament att samverka• Formaliserade kontakter• Gemensamt arbetssätt• Gemensamt synsätt• Gemensamma utbildningsinsatser• Ett ledarskap som inte bevakar revir

ISF:s sammanställning

Tvåpartssamverkan(2010 satsades 100 miljoner kronor)

• 1 effektutvärdering av resursteam:negativa effekter för individen, nöjd personal.

• 4 intervjustudier av personal och chefer i resursteam: nöjda med arbetsmetoden.

Slutsatser• Endast resursteam har studerats.• Tydlig målsättning saknas.• Förankringen oklar.• Beslut om fortsatt satsning för föregås av fler krav på utformningen och utvärderingen.

Handlingsplanssamverkan(2010 satsades 460 miljoner kronor)

• 1 akademisk avhandling ur handläggarperspektiv.• 3 uppföljningar, intervjuer med personal.

Slutsatser• Anmärkningsvärt få utvärderingar då denna samverkansform funnits sedan 2002.

• Goda förutsättningar att lyckas.• Saknar relevanta aktörer.• Målsättningen bör relateras till målgruppen.• Har bäst förutsättningar att utvärderas.

Fyrpartssamverkan(2010 satsades 250 miljoner kronor)

• 20 samhällsekonomiska utvärderingar.• 74 uppföljningar (individ-, samverkans- och organisationsperspektiv).

Slutsatser• Ingen effektutvärdering.• Bäst förutsättningar att lyckas.• Beställare och mottagare av utvärderingar saknas.• Krav på förbunden bör istället för att utvärdera sig själva vara att producera tillförlitlig och relevant statistik.

• Ompröva finansieringen.

ISF:s övergripande slutsatser

• Fler effektutvärderingar behövs. • Antalet uppföljningar och utvärderingar varierar mellan samverkansformer utan koppling till använda medel.

• Effektiva beställare och mottagare av utvärderingsrapporter saknas.

• Målen behöver preciseras och relateras till målgrupp.

ISF:s förslag

• Initiera en effektutvärdering av den nationella handlingsplanssamverkan.

• Ändra lagen så att krav på utvärdering inte ställs på samordningsförbunden. Kravet bör istället förtydligas på att producera relevant och tillförlitlig statistik.

• Finansieringen av fyrpartssamverkan bör omprövas.

• Inkludera de relevanta aktörer. • Beslut om fortsatt satsning bör föregås av fler krav på utformning och utvärdering.

Nästa regeringsuppdrag

Stöd för utvärdering av samordningsförbundens insatser

Motiv

•Det saknas systematiskt sammanställd kunskap om effekterna av rehabiliteringsinsatser

•Det finns behov av att öka kunskapen om effektiva metoder i syfte att skapa generaliserbara slutsatser om effekter av samordnade rehabiliteringsinsatser.

Syfte

•Föreslå hur ett samlat stöd för systematisk utvärdering av samordningsförbundens rehab.insatser kan utvecklas.

•Definiera och beskriva olika relevanta effektmått samt

•Lämna förslag på vilken instans som kan ges ett löpande ansvar för ett sådant samlat stöd

Svårigheter vid effektutvärdering av samverkan

• Vad är det som studeras:samverkan, samarbete eller samordning?enskilda eller sammansatta åtgärder?

• Förändringar över tid• Etiska problem• Selektionsproblem• Hawthorne-effekter• Val av resultatmått

Varför är utvärdering av samverkan svårt?

Vertikal integration

Horisontell integration

Samordning Samverkan Samarbete

(Modifierad från Axelsson & Axelsson, Red (2007). Folkhälsa i samverkan mellan professioner, organisationer och samhällssektorer . Lund: Studentlitteratur, s. 16.)

Olika typer av utvärdering

• Före- och efterjämförelse• Måluppfyllelseanalys• Processutvärdering• Effektutvärdering (fokus för ISF:s regeringsuppdrag)

Slutsats

• Utvärderingsinstans bör ha kompetens/erfarenhet.• Centralisera utvärderingsansvaret. • Uppföljning och utvärdering av god kvalitet fordrar ett komplett och enhetligt utformat register där deltagarna kan följas i olika insatser.

• Kravet på samtycke för registrering av personuppgifter i ett sådant register bör tas bort.

• Utfallsmått bör anpassas utifrån typ av insats och målgrupp.

Exempel på utfallsmått

• Ökat arbetsutbud• Inskrivning vid AF• Påbörjade studier• Varaktighet som mottagare av ersättning från försörjningssystem

• Självupplevd hälsa

Fler tänkbara mått• Vårdkonsumtion• Läkemedelskonsumtion• Motivation• Orsak till ev. avbrott eller fullföljande

ISF:s argument för extern centraliserad utvärdering

• Kompetens• Drivkrafter• Tillgång till data• Finansiering

Samordningsförbundens roll

7 § Lag (2003:1210) om finansiell samordning av rehabiliteringsinsatser

Ett samordningsförbund har till uppgift att…

… svara för uppföljning och utvärdering av rehabiliteringsinsatserna...

Slutord

Det ena utesluter inte det andra! Hur kan externa och interna utvärderingsresurser komplettera varandra?

Tänk efter före!

Våga prioritera!

Uppfinn inte hjulet på nytt, använd den kunskap som finns!