Embed Size (px)
DESCRIPTION
Rolf Kromand og Claus Rebien. Evaluering i innovationsprocesser. Formål Oplæg (ca. 35 min) Respons (ca. 15 min) Plenum og diskussion. Den næste time. Ca. 80 økonomi - og management- konsulenter Et management bureau i løbende samarbejde med - PowerPoint PPT Presentation
Citation preview
20 SEPTEMBER 2013EVALUERING I INNOVATIONSPROCESSER1
Evaluering i innovationsprocesser
Rolf Kromand og Claus Rebien
EVALUERING I INNOVATIONSPROCESSER2
Den næste time
4 SEPTEMBER 2013
› Formål› Oplæg (ca. 35 min)› Respons (ca. 15 min)
› Plenum og diskussion
3
› Ca. 80 økonomi- og management-konsulenter
› Et management bureau i løbende samarbejde med 6000 tekniske eksperter om at skabe stærke beslutningsgrundlag og effektive ændringsprocesser
› Vi gennemfører cirka 50 evalueringer om året
COWI Management– kvalitet i opgaveløsningen
4 SEPTEMBER 2013EVALUERING I INNOVATIONSPROCESSER
EVALUERING I INNOVATIONSPROCESSER4
Formål
4 SEPTEMBER 2013
› Konferencetema: Evaluering som forandrende kraft› Evaluering er langt fra en "voksen" og fejlfri "videnskab". Der er flere
ufuldstændigheder og svagheder. › Kan innovationstænkning og –forskning på frugtbar vis anvendes til at styrke
evaluering?
EVALUERING I INNOVATIONSPROCESSER5
Problem med evaluering
4 SEPTEMBER 2013
EVALUERING I INNOVATIONSPROCESSER6 4 SEPTEMBER 2013
Evalueringsdisciplinens udfordringer/ufuldstændighederUdfordringer for evaluering Performance og succes rate
Anvendelse, herunder skabe forandring og double-loop learning
Det halter fortsat
Attribution og Evidensudfordring Vi har sjældent stærkt evidensbaseret grundlag for konklusionerne – og attribution kan så godt som aldrig besvares
Udfordring med åbenhed for nye indsigter
Kundeopdraget binder. Vi måler på det, vi skal måle på (WYSIWYG)
Bæredygtighed og omkostningseffektivitet
Disse centrale evalueringskriterier kan ikke for alvor besvares
Anbefalinger til fremtiden Mange anbefalinger ender som bekræftelse af forhold vi ved i forvejen (se under manglende double-loop learning).
Evaluation systems produce largely routinized information relevant for day-to-day practices and single loop-learning but of little relevance for fundamental reassessments and double-loop learning" (Leeuw and Furubo, 2008)
EVALUERING I INNOVATIONSPROCESSER7
To forslag til den innovative tilgang til evaluering
4 SEPTEMBER 2013
• Finding the 'sweet spot'
• Bagemaskinemodellen
EVALUERING I INNOVATIONSPROCESSER8
Finding the sweet spot- the VC approach
4 SEPTEMBER 2013
› Venture Capitalistisk tilgang med fokus på fejl og det ekstreme tilfælde
EVALUERING I INNOVATIONSPROCESSER9
Finding the sweet spot
4 SEPTEMBER 2013
› Most attempts at innovation, by definition, are risky and should ‘fail’ — otherwise they are using safe, rather than unknown or truly innovative approaches. A few key impacts by a minority of projects or participants may be much more meaningful than changes in mean (or average) scores. Yet the most common measure of programme impact is the mean. In contrast, this paper suggests that evaluation of innovation should identify the minority of situations where real impact has occurred and the reasons for this. This is in keeping with the approach venture capitalists typically take where they expect most of their investments to ‘fail’, but to be compensated by major gains on just a few. (Perrin, B. 2001)
Finding the sweet spot› Finding the sweet spot – evaluering fra en
anden vinkel› Gennemsnitsbetragtningen kan gemme de
vigtige data› Vi har ofte en forsimplet forståelse af
sammenhænge og kausalitet› Problemet med objectives og performance
management
20 40 60 80 100 120 140 160 1800
50
100
150
Input of ressources
Out
put
of r
esul
ts
EVALUERING I INNOVATIONSPROCESSER11
En innovationsmodel fra en bagemaskine
4 SEPTEMBER 2013
› Et forslag med udgangspunkt i Nonaka og Takeushis model for innovationsprocesser
› Fra Nonaka, Ikujiro og Hirotaka Takeuchi´s the knowlegde creating company
EVALUERING I INNOVATIONSPROCESSER12
En innovationsmodel fra en bagemaskine
4 SEPTEMBER 2013
› Projektet var kort fortalt, at vise hvorfor japanske firmaer var bedre til innovation og til at lave bedre produkter
› De sendte ingeniørerne ud….
EVALUERING I INNOVATIONSPROCESSER13
En innovationsmodel fra en bagemaskine
4 SEPTEMBER 2013
› En model baseret på at indfange 'tacit' knowledge
› Gøre det formiddelbart og forståeligt til eksplicit knowledge
› Dele det og kontekstualisere det med anden viden
› Indbygge det i produkter eller processern (som kan læres og internaliseres)
EVALUERING I INNOVATIONSPROCESSER14
Projekt/processer
Evalueringsspg. og
analyseramme
Interessent 3#
Evaluator Interessent 1#
Interessent 2#
Combination
En innovationsmodel for en evaluering
4 SEPTEMBER 2013
Internalization
ExternalizationSocialization
Tacit
Tacit
Eksplicit
Eksplicit
EVALUERING I INNOVATIONSPROCESSER15
Brug af modellen på et byrdestudie for danske søfolk
4 SEPTEMBER 2013
EVALUERING I INNOVATIONSPROCESSER16
En innovationsmodel for en evaluering af byrde på danske fartøjer
4 SEPTEMBER 2013
› Formålet med undersøgelsen var at:› kortlægge hvordan danske søfolk oplever administrative byrder
om bord på skibene
› afdække årsager og begrundelse for administration med udgangspunkt i de daglige rutiner om bord på skibene
› igangsætte overvejelser over hvordan man kan adressere disse resultater
› Metoder vi anvendte var: › Interview med opdragsgiver og folk på land
› Surveyundersøgelse blandt søfolk
› Observationsstudier på skibene
› Workshops med branche- og interesseorganisationer
Emne:Administrative
byrder på danske skibe
Evalueringsspg. og
analyseramme
Evaluator
Teknisk ekspertise Rederier
Branche org.
EVALUERING I INNOVATIONSPROCESSER17
En innovationsmodel for en evaluering af byrde på danske fartøjer
4 SEPTEMBER 2013
› Hvad vi fik ud af det:› Vi fik en enorm praktisk forståelse af søfolks dagligdag
› Vi kom ud over kun at se på opfyldelse af procedurer med udgangspunkt i procedurerne
› Vi så på det som rent faktisk virkede
› Konkrete resultater: › Fik sat et stærkt fokus på craftmanship
› Fik sat en positiv dialog i gang ml. rederierne og deres søfolk
› Reduceret administrative byrder og hjalp dem til at rydde op. Et rederi gik igennem deres procedurer og reducerede dem fra ca. 4000 til 800
Emne:Administrative
byrder på danske skibe
Evalueringsspg. og
analyseramme
Evaluator
Teknisk ekspertise Rederier
Branche org.
EVALUERING I INNOVATIONSPROCESSER18
Kan innovationstænkning løse vores evalueringssvagheder?
4 SEPTEMBER 2013
EVALUERING I INNOVATIONSPROCESSER19
Spørgsmål og diskussion - plenum
4 SEPTEMBER 2013
• Tror du innovationstænkning kan befrugte evalueringspraksis?
• Hvilke svagheder/udfuldstændigheder kan man især få bugt med?
EVALUERING I INNOVATIONSPROCESSER20 4 SEPTEMBER 2013
Evaluerings udfordring/ufuldstændigheder (vers 2.0)Udfordring Performance Kan innovationstænkning
hjælpe os?
Anvendelse, herunder skabe forandring og double-loop learning
Det halter fortsat JA
Attribution og Evidensudfordring
Vi har sjældent stærkt evidensbaseret grundlag for konklusionerne – og attribution kan så godt som aldrig besvares
NEJ
Udfordring med åbenhed for nye indsigter
Kundeopdraget binder. Vi måler på det, vi skal måle på (WYSIWYG)
Sandsynligvis
Bæredygtighed og omkostningseffektivitet
Disse centrale evalueringskriterier kan ikke for alvor besvares
NEJ
Anbefalinger til fremtiden Mange anbefalinger ender som bekræftelse af forhold vi ved i forvejen (se under manglende double-loop learning).
JA. Afsæt i praktikernes hverdag med fokus på løsning af deres kerneopgave
EVALUERING I INNOVATIONSPROCESSER21
Med hvad kan innovationstænkning styrke evaluering?
4 SEPTEMBER 2013
› En metode til at få nye øjne på praksis og samle erfaringer op som måske ellers er svære at samle op ved at inkludere tavs viden
› Have et godt blik for 'the sweet spot'› Dialog mellem opdragsgiver og evaluator: Kan man slække på kriterier (sustainability og efficiens) og
gøre opdraget mere "innovationsparat"?› Begynde at tænke evaluering mere i lyset af at komme frem til gode anbefalinger til kunden – måske
fordi evaluator har set det på en måde som kunden ikke gør› Tænk ud af boksen i forhold til hvem og hvordan der inddrages i evalueringen, så det ikke kun er 'the
usual suspects' der kommer til orde
EVALUERING I INNOVATIONSPROCESSER22
Kilder:
4 SEPTEMBER 2013
› How to −− and How Not to −− Evaluate Innovation. 2001. Burt Perrin : http://www.rismes.it/pdf/Perrin.pdf› Patton og developmental evaluation/formativ evaluering, når du siger evaluering som innovationsmotor (jf. Weiss vs. Patton debat).› The Knowledge-Creating Company. Ikujiro Nonaka & Hirotaka Takeuchi:http://ukcatalogue.oup.com/product/9780195092691.do
