15
1 Analyse av evalueringene etter FRIPRO-tildelingen i 2013 Evalueringer ved Helsefak (ref. 2013/383) Det helsevitenskapelige fakultet Seksjon for forskningstjenester Rådgiver Marita Pedersen

Analyse av evalueringene etter FRIPRO-tildelingen i …20171307122726/FRIPRO...1 Rådgiver Marita Pedersen Analyse av evalueringene etter FRIPRO-tildelingen i 2013 Evalueringer ved

  • Upload
    others

  • View
    2

  • Download
    0

Embed Size (px)

Citation preview

Page 1: Analyse av evalueringene etter FRIPRO-tildelingen i …20171307122726/FRIPRO...1 Rådgiver Marita Pedersen Analyse av evalueringene etter FRIPRO-tildelingen i 2013 Evalueringer ved

1

Analyse av evalueringene etter FRIPRO-tildelingen i 2013 Evalueringer ved Helsefak (ref. 2013/383)

Det helsevitenskapelige fakultet Seksjon for forskningstjenester

Rådgiver Marita Pedersen

Page 2: Analyse av evalueringene etter FRIPRO-tildelingen i …20171307122726/FRIPRO...1 Rådgiver Marita Pedersen Analyse av evalueringene etter FRIPRO-tildelingen i 2013 Evalueringer ved

2

Bakgrunn AFU har gjort en opptelling av innsendte søknader for 2013-tildelingen og opplyser at UiT sendte inn

ca. 78 søknader til FRIPRO. Kun tre av disse ble innvilget, som gir en suksessrate på 3,8 %. Helsefak

hadde ingen innvilgede prosjekter i FRIPRO-tildelingen i 2013.

Helsefak søker i hovedsak til FRIMEDBIO, ett av tre underprogrammer i FRIPRO. I praksis har det kun

vært prosjekter med karakterene 6 eller 7 som i 2013 fikk finansiering via FRIMEDBIO (7 er best, 1 er

dårligst). Totalt fikk 24 % av søknadene til FRIMEDBIO karakter 6 eller 7, og om lag 1/3 mottok

finansiering. Ingen prosjekter innsendt fra Helsefak fikk karakter 7, og kun 4 søknader oppnådde

karakter 6, av disse var ett prosjekt til FRINATEK og ett sannsynligvis i karantene pga tidligere

innsendt søknad som oppnådde finansiering i 2012, men dette er ubekreftet.

Med bakgrunn i dette er det viktig for fakultetet å analysere evalueringene av 2013 søknadene for å

kunne si noe om hvilke tiltak som kan løfte våre søknader opp til karakter 6 og 7.

Metode Del 1 er en kvantitativ analyse av karakterene med deskriptiv statistikk. Delkarakterene er

sammenlignet med den overordnede karakteren for å se på tendenser i sammenheng. Del 2 er en

kvalitativ analyse av positive og negative tilbakemeldingene fra panelene på Helsefak sine søknader

med karakter 5 og 6. For karakterene 2-4 er det gjort en sammenslått kvalitativ analyse av de

underordnede karakterene i forhold til hva de blir trukket for.

Datagrunnlag

Totalt er det identifisert 25 innsendte prosjekter til FRIPRO fra Helsefak i 2013-tildelingen. To av disse

er personlige postdoc-stipend. Det er ingen missing på overordnet karakter, men 3 missing på øvrige

evalueringskriterier pga manglende innsendte evalueringer fra instituttene. 96 % av søknadene til

FRIPRO gikk til FRIMEDBIO, 4 % (n=1) til FRINATEK.

Data inneholder karakter for overordnet nivå, for vitenskapelig kvalitet,

prosjektleder/prosjektgruppe, gjennomførbarhet og formidling. Tilleggskriterier får ikke karakter,

men kan tillegges vekt i tilfelle alt annet står likt i en søknad. Disse er planlagt utenlandsopphold,

internasjonalt og nasjonalt samarbeid, internasjonalisering, rekruttering av kvinner, kjønnsbalanse i

prosjektet, kjønnsperspektiver i forskningen, miljømessige konsekvenser og etiske perspektiver. Det

er gjort kvantitative analyser av tilleggskriterier som faller inn under samarbeid og

internasjonalisering, dette utvalget er basert på innledende analyser.

Resultater

Kvantitative analyser Overordnet karakter

Seks av åtte institutter sendte søknader til FRIPRO 2013-tildelingen. Institutt for medisinsk biologi var

det instituttet som sendte flest søknader (36 %), etterfulgt av Institutt for klinisk medisin (20 %) og

Institutt for farmasi (16 %). RKBU og IKO sendte ikke søknader til FRIPRO. Se tabell 1.

Page 3: Analyse av evalueringene etter FRIPRO-tildelingen i …20171307122726/FRIPRO...1 Rådgiver Marita Pedersen Analyse av evalueringene etter FRIPRO-tildelingen i 2013 Evalueringer ved

3

Gjennomsnittlig overordnet karakter ved Helsefak i 2013 er 4,5 (min/maks=2-6). Oppnådd

overordnet karakter fordeler seg med 48 % på karakter 5, 36 % på karakterene 2-4 og 16 % på

karakteren 6. Alle instituttene har minst én søknad innenfor karakteren 5 eller 6, kun ISM har ingen

søknader med karakter 2-4, se tabell 1.

Tabell 1: Fordeling av søknader pr. institutt, fordeling av karakter pr. institutt og total fordeling av karakter

Antall Tot Tot (%) Kar 6 (%) Kar 5 (%) Kar 2-4 (%)

IFA 4 16 % 25 % (n=1) 0 % 33,3 % (n=3)

IHO 2 8 % 25 % (n=1) 0 % 11,1 % (n=1)

IKM 5 20 % 50 % (n=2) 8,3 % (n=1) 22,2 % (n=2)

IMB 9 36 % 0 % 58,3 % (n=7) 22,2 % (n=2)

IPS 2 8 % 0 % 8,3 % (n=1) 11,1 % (n=1)

ISM 3 12 % 0 % 25 % (n=3) 0 %

RKBU 0 0 % 0 % 0 % 0 %

IKO 0 0 % 0 % 0 % 0 %

Av tot antall søknader

25 100 % 16 % (n=4)

48 % (n=12)

36 % (n=9)

Vitenskapelige karakter

Gjennomsnittlig vitenskapelig karakter ved Helsefak i 2013 er 4,6 (min/maks=2-6). Vitenskapelig

karakter fordeler seg med 36 % på karakter 5, 20 % på karakter 6, 16 % på karakter 4 og 8 % på hver

av karakterene 3 og 2. 12 % mangler informasjon om vitenskapelig karakter. I all hovedsak speiles

den vitenskapelige karakteren den overordnede karakteren, se tabell 2.

Tabell 2: Vitenskapelig karakter sortert etter overordnet karakter

Vitenskapelig karakter Total

2 3 4 5 6

Overordnet

karakter

2 2 0 0 0 0 2

3 0 2 2 0 0 4

4 0 0 2 0 0 2

5 0 0 0 9 1 10

6 0 0 0 0 4 4

Total 2 2 4 9 5 21

Karakter for prosjektleder/prosjektgruppe

Gjennomsnittlig karakter for prosjektleder/prosjektgruppe ved Helsefak i 2013 er 4,7 (min/maks=2-

7). Karakter for prosjektleder/prosjektgruppe fordeler seg med 40 % på karakter 5, 16 % på karakter

6, 12 % på karakter 4 og 8 % på hver av karakterene 3 og 2. 12 % er missing. Det er en viss

sammenheng mellom overordnet karakter og karakter på prosjektleder og forskningsgruppe. Se

tabell 3.

Page 4: Analyse av evalueringene etter FRIPRO-tildelingen i …20171307122726/FRIPRO...1 Rådgiver Marita Pedersen Analyse av evalueringene etter FRIPRO-tildelingen i 2013 Evalueringer ved

4

Tabell 3: Karakter for prosjektleder/gruppe sortert etter overordnet karakter

Karakter prosjektleder/gruppe Total

2 3 4 5 6 7

Overordnet

karakter

2 2 0 0 0 0 0 2

3 0 2 2 0 0 0 4

4 0 0 1 1 0 0 2

5 0 0 0 8 2 0 10

6 0 0 0 1 2 1 4

Total 2 2 3 10 4 1 21

Karakter på gjennomførbarhet

Gjennomførbarhet vurderes med karakterene A, B og C. Der A er høyst gjennomførbar, B er

gjennomførbar og C er ikke gjennomførbar. Helsefaks søknader fordeler seg med 48 % på karakteren

B, 32 % på karakteren A og 8 % på karakteren C. 12 % er missing.

To prosjekter har fått karakteren C - ikke gjennomførbart, disse har overordnet karakter 2 og 3.

Øvrige prosjekter har fått karakteren B - gjennomførbar (n=12) og A - høyst gjennomførbar (n=8).

Skåren på denne karakteren ser ikke ut til å henge så tett sammen med overordnet karakter, selv om

det er en tendens til sammenheng også her, se tabell 4.

Tabell 4: Karakter på gjennomførbarhet sortert etter overordnet karakter

De som har fått A på gjennomførbarhet har også fått gode karakterer på

prosjektleder/prosjektgruppe (5-7). Ingen med karakter 2-4 på prosjektgruppen har fått karakter A

og ingen med karakter 4-7 på prosjektgruppe har fått C på gjennomførbarhet. Størst andel er det

likevel som har fått karakter B på gjennomførbarhet, og i denne gruppen er det 5 med karakter 2-4

og 7 med karakter 5 og 6 på prosjektgruppe. Se tabell 5.

Tabell 5: Karakter på gjennomførbarhet sortert etter karakter på prosjektleder/gruppe

Karakter på gjennomførbarhet Total

A B C

Karakter på

prosjektleder

2 0 1 1 2

3 0 1 1 2

Karakter på gjennomførbarhet Total

Missing A B C

Overordnet

karakter

2 0 0 1 1 2

3 0 0 3 1 4

4 1 1 1 0 3

5 2 4 6 0 12

6 0 3 1 0 4

Total 3 8 12 2 24

Page 5: Analyse av evalueringene etter FRIPRO-tildelingen i …20171307122726/FRIPRO...1 Rådgiver Marita Pedersen Analyse av evalueringene etter FRIPRO-tildelingen i 2013 Evalueringer ved

5

/ gruppe 4 0 3 0 3

5 5 5 0 10

6 2 2 0 4

7 1 0 0 1

Total 8 12 2 22

Karakter på plan for formidling

Plan for formidling vurderes med karakteren A, B og C, Der A er Meget god, B er god og C er svak.

Helsefak har 56 % søknader med karakteren B, 20 % søknader med karakteren A og 12 % med

karakteren C. 12 % er missing.

Hovedvekten av søknadene får karakter B - god på plan for formidling. Kun prosjekter med karakter 5

og 6 oppnår karakter A - meget god plan for formidling, og kun prosjekter med karakter 2-4 oppnår

karakter C - svak plan for formidling. 9 av de14 som får B har karakter 5 eller 6, det vil si ca 2/3 deler,

se tabell 5. Det kan tyde på at formidlingsplaner også henger sammen med uttelling på overordnet

karakter.

Tabell 6: Karakter for formidlingsplaner sortert etter overordnet karakter

Karakter for formidlingsplaner Total

missing A B C

Overordnet

karakter

2 0 0 1 1 2

3 0 0 3 1 4

4 1 0 1 1 3

5 2 4 6 0 12

6 0 1 3 0 4

Total 3 5 14 3 24

Vurdering av tilleggskriterier for samarbeid og internasjonalisering

36 % av prosjektforslagene har et betydelig internasjonaliseringspotensial, 36 % har noe og 16 % har

ubetydelig internasjonaliseringspotensial (se tabell 7). Under internasjonalt samarbeid er det 48 %

som får meget godt, 32 % får godt og 8 % svakt. 44 % får meget godt på nasjonalt samarbeid, 36 %

godt og 8 % svakt, 12 % er også her missing (se tabell 8).

Tabell 7: Plan for internasjonalisering sortert etter overordnet karakter

Internasjonalisering Total

missing betydelig noe ubetydelig

Overordnet

karakter

2 0 0 0 2 2

3 0 1 2 1 4

4 1 2 0 0 3

5 2 4 6 0 12

Page 6: Analyse av evalueringene etter FRIPRO-tildelingen i …20171307122726/FRIPRO...1 Rådgiver Marita Pedersen Analyse av evalueringene etter FRIPRO-tildelingen i 2013 Evalueringer ved

6

6 0 2 1 1 4

Total 3 9 8 4 24

Tabell 8: Plan for internasjonalt og nasjonalt samarbeid sortert etter overordnet karakter

Internasjonalt samarbeid Nasjonalt samarbeid Total

missing svakt godt meget svakt godt meget

Overordnet

karakter

2 0 1 1 0 1 0 1 2

3 0 0 1 3 0 2 2 4

4 1 0 0 2 0 1 1 3

5 2 1 4 5 1 4 5 12

6 0 0 2 2 0 2 2 4

Total 3 2 8 11 2 9 11 24

Kvalitativ analyse av evalueringene

Karakter 6

Fire prosjekter fra Helsefak fikk karakteren 6. En søknad var fra IHO, en fra IFA og to fra IKM. En

søknad gikk til FRINATEK, og de tre andre til FRIMEDBIO. En av de fire søknadene er ikke med på

oversikten vi har fått tilsendt fra FRIMEDBIO, fordi prosjektleder fikk finansiering av et prosjekt i

2012-tildelingen og dermed kan antas å være i karantene.

Overordnet vurdering

Viktig og relevant forskning. Søknaden er velskrevet, bakgrunnslitteratur er godt dekt og det er en

meget god forskningsplan. Metoden er nyskapende. Forventninger om publikasjoner i høyt rangerte

tidsskrift. Høy gjennomførbarhet, blant annet basert på vurdering av forskningsgruppen som erfarne.

Det trekkes for manglende beskrivelse av hvordan studien skal være mer suksessfull enn tidligere

lignende studier, dersom det mangler en styringsplan i komplekse studier, eller gjennomføring og

analysestrategi er for dårlig beskrevet. Det trekkes for manglende samarbeidspartnere dersom det

ville ha forbedret studien om den ble replikert i en annen populasjon.

Vitenskapelig kvalitet - Gjennomsnittlig karakter: 6 (min/maks 6)

Prosjektet er originalt, relevant og nyskapende. Det har potensiale for å si noe om kausalitet og/eller

forebyggende tiltak. Data er ofte allerede samlet, og dersom det skal samles ny data er det gjort

poweranalyser. Søknaden er velskrevet på alle områder – litteratur, forskningsspørsmål, hypoteser

og metode er godt beskrevet og har en naturlig sammenheng. Studien baseres ofte på preliminære

data.

Momenter som trekker ned vurderingen av den vitenskapelige kvaliteten i disse prosjektene er:

Studien har for vidt fokus, mangler fokus på innovasjon og utvikling, confounders behandles ikke,

Page 7: Analyse av evalueringene etter FRIPRO-tildelingen i …20171307122726/FRIPRO...1 Rådgiver Marita Pedersen Analyse av evalueringene etter FRIPRO-tildelingen i 2013 Evalueringer ved

7

manglende internasjonale samarbeidspartnere der studien kunne vunnet på å bli replikert i andre

populasjoner.

Prosjektgruppen - Gjennomsnittlig karakter: 6 (min/maks 5-7)

Forskergruppen er kvalifiserte og har høy ekspertise innenfor forskningsområdet. Prosjektleder har

enten demonstrert erfaring innenfor området eller viser god utvikling. Det ligger en god organisering

i bunn. Prosjektgruppen har etablerte nasjonale og/eller internasjonale kontakter.

Dersom prosjektleder har lav publiseringsrate, ikke har publisert i høyt rangerte tidsskrift og/eller har

lav siteringsfrekvens trekker dette ned vurderingen av prosjektgruppen.

Gjennomføringsevne - Median karakter: A (min/maks B-A)

Studien baseres på preliminære data. Budsjettet, delmål og tidsplan er realistisk.

Dersom metode ikke er tydelig nok eller virker urealistisk og/eller studien ikke vil bli fullfinansiert

etter tildeling, trekker dette ned vurderingen av gjennomføringsevne.

Formidling - Median karakter: B (min/maks B-A)

Alle planlegger ordinær vitenskapelige publisering i artikler og på konferanser. I tillegg er det planer

om nyhetsbrev til deltakere og/eller interessegrupper, offentlige møter og avisartikler.

Dersom det ikke er konkrete planer for hvordan interessegruppene skal nås, trekkes inntrykket ned.

Det savnes også ekstraordinære ideer for formidling og samarbeid med industrien/næringslivet for

innovasjon.

Tilleggsvurderinger

Panelene i FRIMEBIO har generelt sett få ekstra kommentarer på disse utover skårer på skalaen.

Søknaden til FRINATEK har fått noen flere tilbakemeldinger på dette punktet.

Karakter 5

Det ble sendt 10 prosjekter fra Helsefak som oppnådde karakter 5. Alle ble sendt til FRIMEDBIO, og

fordelte seg med to fra ISM, seks fra IMB, en fra IKM og en fra IPS.

Overordnet vurdering

Forslaget presenterer viktig forskning og samfunnsrelevante og klinisk viktige forskningsspørsmål av

både nasjonal og internasjonal interesse. Det er klare potensialer for nyskapning og ny kunnskap.

Søknadene har gode bakgrunns- og teorikapitler, det er klare hypoteser også i delstudier.

Forskergruppene er av høy kvalitet og har gode samarbeidspartnere.

Trekk på overordnet karakter begrunnes med begrensninger i design og datagrunnlag og andre

metodesvakheter. Mangler i klarhet på mål, originalitet og potensiale for nyskapning trekker ned.

Manglende eller tilfeldige internasjonale samarbeidspartnere trekker ned. Budsjett med for lav

oppløselighet og for høyt budsjett trekker ned den overordnede karakteren.

Page 8: Analyse av evalueringene etter FRIPRO-tildelingen i …20171307122726/FRIPRO...1 Rådgiver Marita Pedersen Analyse av evalueringene etter FRIPRO-tildelingen i 2013 Evalueringer ved

8

Vitenskapelig kvalitet - Gjennomsnittlig karakter: 5 (min/maks 5)

Prosjektene er preget av viktige underliggende forskningsspørsmål og det finnes potensiale for

nyskapning. Prosjektene har gode bakgrunnsbeskrivelser og teoretiske tilnærminger, og baseres ofte

på preliminære data. Det er noen gode metodetilnærminger, deriblant longitudinelle studier. Det er

positivt med eksiterende datasett.

Svakheter med disse prosjektene er: Prosjektforslagene kan bli for lite presis og mangle en god

metodebeskrivelse. Delstudiene kan mangle sammenheng og egne hypoteser. Det kan være uklart

hvor originalt prosjektet er, og noen er for ambisiøse. Skisserte problemer i eksisterende datasett

følges ikke opp, det mangler behandling av confounders, og noen datasett ser ikke ut til å kunne

svare på det forskergruppen ønsker å undersøke. Der data skal samles inn mangler det

poweranalyser og noen datasett virker for omfattende i forhold til tidsbruk og muligheter til å

gjennomføre analyser.

Prosjektgruppen - Gjennomsnittlig karakter: 5,2 (min/maks 5-6)

Prosjektgruppene har erfarne prosjektledere og består av gode forskere blant de øvrige

medlemmene. De har kontakter med fremragende forskermiljøer nasjonalt og/eller internasjonalt.

De har gode veiledererfaringer.

Inntrykket av prosjektgruppen trekkes ned dersom prosjektgruppen mangler erfaring på det

konkrete forskningsområdet eller om det er uklart at de har relevant erfaring. Manglende eller

tilsynelatende tilfeldig/bekvemmelig valg av nasjonalt/internasjonalt samarbeid trekker også ned

inntrykk.

Gjennomføringsevne - Median karakter: B (min/maks B-A)

Det er positivt at prosjektene baserer seg på eksisterende datasett. Metodevalgene er relevante.

Delmål er realistiske, og budsjettet er godt. Utenlandsopphold er inkludert i budsjettet i søknad om

personlig postdoc.

For høyt eller for dårlig forklart budsjett, for lite eller for mye data, og uklarhet i forhold til

kompetanse/tid/metode til å analysere data og gjennomføre studien trekker ned vurderingen av

gjennomføringsevnen.

Formidling - Median karakter: B (min/maks B-A)

Gjengivelse av den generelle kommunikasjonsplanen for overordnede prosjekter er en fin måte å

redegjøre for formidlingstiltak. Innovative planer for allmenrettet formidling er positivt.

For store ambisjoner om antall publiserte artikler og for lave ambisjoner om å publisere i tidsskrift

med høy impact trekker ned vurderingen. Dårlig utviklede planer for allmennrettet formidling og

manglende planer for patentering og implementering av funn påpekes også.

Karakter 2-4

Åtte prosjekter fra Helsefak oppnådde karakter mellom 2 og 4. IFA hadde tre av disse prosjektene,

med karakterene 3, 4 og 4. IMB og IKM hadde begge hver sitt prosjekt med karakter 2 og 3, IPS

hadde ett prosjekt med karakter 3. Gjennomsnittskarakter er 3.

Page 9: Analyse av evalueringene etter FRIPRO-tildelingen i …20171307122726/FRIPRO...1 Rådgiver Marita Pedersen Analyse av evalueringene etter FRIPRO-tildelingen i 2013 Evalueringer ved

9

I analysen av prosjektene med disse karakterene behandles kun det som det trekkes for.

Vitenskapelig kvalitet - Gjennomsnittlig karakter: 3,3 (min/maks 2-4)

Prosjekter med disse karakterene får trekk for å være ufokuserte, overfladiske søknader. Oppsettet

er dårlig, metoden ofte uklar og det mangler nyskapning.

Prosjektgruppen - Gjennomsnittlig karakter: 3,4 (min/maks 2-5)

Prosjektleder mangler erfaring eller er for vagt beskrevet. Panelet er usikker på kompetansen til

forskningsgruppen.

Gjennomføringsevne - Gjennomsnittlig karakter: B (min/maks C-A)

Budsjettet er dårlig beskrevet og urealistisk

Formidling - Gjennomsnittlig karakter: B (min/maks C-B)

Formidlingsplanen er overfladisk, plan for å oppnå formidlingsambisjoner mangler.

Page 10: Analyse av evalueringene etter FRIPRO-tildelingen i …20171307122726/FRIPRO...1 Rådgiver Marita Pedersen Analyse av evalueringene etter FRIPRO-tildelingen i 2013 Evalueringer ved

10

Diskusjon

Vitenskapelig karakter

En gjennomgang av evalueringene på innsendte prosjektforslag til FRIPRO viser at det er størst

sammenheng mellom den vitenskapelige karakteren og den overordnede karakteren på forslaget.

Kun tre søknader har høyere vitenskapelig karakter enn den overordnede karakteren, og ingen har

lavere vitenskapelig karakter enn overordnet karakter. Alle seksersøknader har 6 på vitenskapelig

karakter. I den kvalitative analysen av tilbakemeldingene ser man også dette igjen. De trekk som

gjøres fra hovedkarakteren begrunnes hovedsakelig i vitenskapelig kvalitet på prosjektet. I de tilfeller

der vurdering ikke begrunnes direkte med vitenskapelig kvalitet er det lagt vekt til kvaliteten på

forskningsgruppen, styringsplan, nasjonale og internasjonale samarbeidspartnere og budsjett med

for lav oppløselighet. Med unntak av budsjett begrunnes likevel også disse vurderingenes relevans

med innvirkningen det har på den vitenskapelige kvaliteten, f.eks. med kompetanse til å gjennomføre

planlagt studie i forhold til metode- og analysevalg og kvaliteten på resultatene dersom studien kan

replikeres i andre populasjoner. En bør derfor identifisere de som har kar 5 og 6 på vitenskapelig

kvalitet og ikke bare de som har 5 og 6 på overordnet kvalitet for videre arbeid med søknaden for en

ny runde. Pga. den tette sammenhengen mellom disse karakterene bør prosjekter med god

vitenskapelig karakter ha gode muligheter til å høyne sin overordnede karakter. Disse funnene ble

også bekreftet da Forskningsrådet holdt informasjonsmøte for UiT, det er den vitenskapelige

karakteren som tillegges størst vekt.

Det som i all hovedsak kjennetegner en søknad med en utmerket vitenskapelig karakter (karakter 6)

er at den er velskrevet og har en logisk sammenheng fra bakgrunn til hypotese og metode.

Delstudiene har også en god sammenheng og egne delhypoteser er klart formulert. Det er vesentlig

flere kommentarer i negativ retning på karakter 5 enn på karakter 6. Disse kommentarene går i all

hovedsak ut på tydelighet i prosjektbeskrivelsen, spesielt når det kommer til hypoteser og metode.

Dette indikerer nødvendigvis ikke lavere kvalitet på forskningen, men i alle fall at fremstillingen er

ikke god nok. På informasjonsmøte poengterte også Forskningsrådet at dersom metoden er ny og lite

kjent må det brukes mer plass til å beskrive den enn dersom den er velkjent.

Tiltak for å høyne kvaliteten på framstillingen kan være å gjennomføre kursing i søknadsskriving -

med fokus på tydelig oppsett, klare mål og tydeliggjøring av sammenhengen mellom budsjett og

prosjekt. Et annet tiltak som kan ha effekt er å bruke interne “referee”-panel til gjennomlesning av

søknaden, og kanskje spesielt se på formuleringene under viktige punkter som hoved- og delmål

Analysen viser også at prosjekter som vurderes som gode også er nyskapende og har potensiale for å

svare på kausalitet og forebyggende tiltak. Studier som baseres på preliminære data gjort av

forskningsgruppen selv er positivt. Dersom data ikke allerede er samlet er det foretatt poweranalyser

og confounders diskuteres. Samarbeid nasjonalt og internasjonalt verdsettes som del av målet for å

oppnå best mulige resultater, men for å få full uttelling på dette må det komme tydelig frem hva

samarbeidspartnere skal bidra med, f.eks. hvor mange deltakere til studien som skal rekrutteres i

samarbeidspartners region.

Page 11: Analyse av evalueringene etter FRIPRO-tildelingen i …20171307122726/FRIPRO...1 Rådgiver Marita Pedersen Analyse av evalueringene etter FRIPRO-tildelingen i 2013 Evalueringer ved

11

Karakter på prosjektleder/prosjektgruppe

Det er større spredning mellom karakterene på prosjektleder/prosjektgruppe og overordnet karakter

enn det er på vitenskapelig karakter og overordnet karakter, men det er likevel relativt stort samsvar

også her. Prosjekt med karakter 5 og bedre har også alle karakterer mellom 5 og 7 på

prosjektleder/prosjektgruppe, mens prosjekter med karakter mellom 2og 4 har karakter fra 2 til 5 på

prosjektleder/prosjektgruppe. Det er verdt å merke seg at ett sekserprosjekt skårer 5 her og ett 7,

altså over og under sin overordnede karakter. Det er også to femmerprosjekt som skårer 6 på

prosjektgruppen.

Det som kjennetegner en god PL/PG-karakter er at prosjektleder og prosjektgruppen har

demonstrert erfaring og ekspertise innenfor forskningsfelt og metode i det innsendte

forskningsforslaget. Prosjektleder bør også ha en god produksjon bak seg med tanke på antall

publikasjoner, impact på tidsskrift som det er publisert i, og antall siteringer. Med mer beskjedne

meritter hos prosjektleder kan også god utvikling de siste 2-5 år i noen tilfeller kompensere for dette.

Det legges også vekt på at forskningsgruppen har et godt forskningsnettverk nasjonalt og

internasjonalt, spesielt dersom de er knyttet til konkrete deler av prosjektforslaget.

Ut fra dette kan en tenke seg at det i større grad gjøres strategiske valg av hvem som skal være

prosjektleder og hvem som for øvrig skal inngå i gruppen. Viktige kompetanseområder gitt av

prosjektforslaget må være dekket av forskere med dokumentert erfaring. Prosjektleder må ha gode

forskningsresultater den siste tiden, eller vise god progresjon de siste 2-5 år på antall publikasjoner,

antall siteringer og nivå på tidsskrift inn. Dannelse av konsortier bør alltid vurderes for å gi store,

gode søknader.

Forskningsrådet kommenterer også i møte ved UiT at det er viktig å prioritere ryddige oppsett i

CV’ene som sendes inn, og at det er viktig å sette på kjønn da det ikke er like lett for utenlandske

evaluatorer å se dette ut i fra navn.

Gjennomførbarhet

Den kvalitative analysen viser at gjennomførbarhet baseres på en samlet vurdering av metode,

prosjektgruppe/leders erfaring og budsjett. Ut fra den kvantitative analysen er det ikke entydig at

prosjekter med lav overordnet karakter eller lav karakter på prosjektgruppe/leder også får lav

gjennomførbarhet. Samtidig får ikke de svakeste prosjektene den beste karakteren på

gjennomførbarhet (A). Det betyr at karakteren på gjennomførbarhet ikke alene kan forklares av

vitenskapelig kvalitet (basert på overordnet karakter) eller erfaring hos prosjektleder/gruppe. Det gis

ikke egen karakter for budsjett, men den uklare sammenhengen på øvrige karakterer tyder på at

oversiktlige og realistiske budsjett har sin egen vekting på denne karakteren.

For å forbedre karakter på gjennomføring må det gjøres tiltak for å forbedre oppløseligheten på

budsjettene og det må komme tydeligere frem sammenhengen mellom prosjekt og budsjett. Her må

instituttadministrasjonene i større grad kunne tilby hjelp til å utarbeide realistiske budsjettforslag

som er forankret i selve søknaden og tydeliggjort i planer for gjennomføring.

Page 12: Analyse av evalueringene etter FRIPRO-tildelingen i …20171307122726/FRIPRO...1 Rådgiver Marita Pedersen Analyse av evalueringene etter FRIPRO-tildelingen i 2013 Evalueringer ved

12

Formidling

Bare prosjekter med karakter 5 eller 6 oppnår karakter A og 9 av 14 som fikk karakter B på formidling

har karakter 5 eller 6. Det kan tyde på at formidlingsplaner også henger sammen med uttelling på

overordnet karakter. Det er likevel såpass liten sammenheng med den overordnede karakteren at

den nok ikke har den største innvirkningen på den overordnede karakteren. Muligens vil karakteren

på formidling har innvirkning på utvelgelse av ellers like gode søknader.

Samtidig ser man av fordeling at det er mange som er gode/på vei når det gjelder formidling. De

fleste har planer for publisering av vitenskapelige artikler og innlegg på konferanser og her er det

viktig å ha realistiske ambisjoner, spesielt for antall artikler og for publisering i anerkjente tidsskrift.

Både for høye og for lave ambisjoner her vurderes negativt.

Mange har en tanke for allmennrettet formidling, men panelene kommenterer ofte at det mangler

ekstraordinære ideer, samt en plan for å oppnå målene for formidling. Det etterlyses også planer for

patentering og implementering av resultater. For å skåre høyt på denne karakteren bør det derfor

settes opp gode formidlingsplaner, spesielt med tanke på allmennrettet formidling og

ekstraordinære planer. Planene må være konkret og realistisk. Seksjon for formidlingstjenester har

utarbeidet en mal for å utarbeide en kommunikasjonsplan og denne bør brukes i enda større grad av

forskerne. I tillegg tilbyr Seksjon for formidlingstjenester rådgivning i arbeidet med å sette opp

konkrete formidlingstiltak og de tilbyr kurs for ph.d.-studenter og ansatte i allmenrettet formidling.

Disse tiltakene bør kunne sette de fleste i stand til å oppnå gode karakterer på formidling. Samme

seksjon har også en rekke aktiviteter som bidrar til å profilere Helsefak og forskningen vår, som f.eks.

produksjon av nyhetsartikler til forskning.no og andre medier. Slik tiltak kan inngå i en

kommunikasjonsplan. Til sist har Helsefak opprettet en nettbasert kompetansekatalog for forskere

som stiller seg til disposisjon for media. Dette vil også kunne telle positivt i en formidlingsplan.

Tilleggskriterier – Internasjonalisering og samarbeid

Panelene i FRIMEBIO har generelt sett få utfyllende kommentarer på tilleggsvurderingen, men de

skårer alle på dette. Av tilleggsvurderingene er det internasjonalisering og samarbeid som merker seg

ut. I hovedsak har alle prosjekter fått karakteren godt eller meget godt på nasjonalt og internasjonalt

samarbeid. Den kvalitative analysen nyanserer bildet noe, der grad av samarbeid og valg av

internasjonalsamarbeidspartner spiller inn på den vitenskapelige karakteren. Der det er relevant for

studien trekker internasjonalt samarbeid opp den vitenskapelige karakteren.

Ett prosjekt med karakter 6 har skåret med ubetydelig grad av internasjonalisering. Øvrige prosjekter

med karakter 5 og 6 (n=13) har skåret noe/betydelig grad av internasjonalisering. Prosjektene med

karakter 2-4 fordeler seg over hele skalaen. Samtidig ser man at 5 av 9 lavt rangerte prosjekter mot

13 av 16 høyt rangerte prosjekter har noe eller betydelige planer for internasjonalisering.

De beste søknadene må over i kategorien betydelig når det kommer til internasjonalisering. Dette

kan gjøres gjennom konkret internasjonalt samarbeid og planlagte utenlandsopphold, sett i

sammenheng med forskningsspørsmålet. Det bør også være større fokus på samarbeid på tvers for å

utnytte nasjonale og internasjonale nettverk og forskerne bør tilstrebe å reise ut ved FoU-termin for

å utnytte potensiale for å bygge internasjonale nettverk. Forskningsrådet bekrefter også disse

Page 13: Analyse av evalueringene etter FRIPRO-tildelingen i …20171307122726/FRIPRO...1 Rådgiver Marita Pedersen Analyse av evalueringene etter FRIPRO-tildelingen i 2013 Evalueringer ved

13

funnene, og de poengterer at 7’er prosjekt skal ha et internasjonaliseringsfokus, det skal altså være

forskning av internasjonal interesse eller forskning som vil bli lagt merke til internasjonalt. I årets

tildeling var den en suksessrate på 7 %, og 4 % av søknadene fikk karakter 7. I prinsipp betyr det at

det i all hovedsak er prosjekter med internasjonaliseringspotensial som når opp. Videre kom det fram

på møtet Forskningsrådet hadde ved UiT at tilleggsvurderingene ikke er en del av den overordnede

karakteren, men at det er viktig å si noe om: 1) hvorfor/hvorfor ikke man har/ikke har

nasjonale/internasjonale samarbeidspartnere, 2) andre punkter der det er relevant. Det er også viktig

å føre på kvinneandel i prosjektgruppen, der prosjektene ellers er like vil det gis forrang til kvinnelige

forskere. Dette har imidlertid ikke hatt uttelling på årets søknader. Selv om man ikke får karakter for

det oppfordret også Forskningsrådet til å skrive gode titler på søknaden. En tittel bør ikke være for

lang eller for kort. Tittelen må være informativ og ikke inneholde ekspertord, da ikke alle i panelet vil

være ekspert på alle områdene de skal vurdere. De mente også det var viktig å selge ideen i større

grad, gjerne med bruk av gode illustrasjoner.

Konklusjon

Prosjekter som ønsker en reel mulighet til å delta i konkurransen om FRIPRO-midler må sikte mot

karakter 6 og 7 på overordnet og vitenskapelig karakter. Disse karakterene kan oppnås dersom

prosjektet tydelig har en internasjonal interesse og har nasjonale og/eller internasjonale

samarbeidspartnere med konkrete oppgaver inn i prosjektet. I den vitenskapelige delen er det viktig

at den har en tydelig målsetning både overordnet og for delstudiene, at studien baserer på

preliminære data, at det er gjort poweranalyser og at confounders diskuteres. Det er av stor

betydning at prosjektet har en prosjektgruppe som både har demonstrert erfaring innenfor tema og

metode, og som har vist evnet til produktivitet tidligere i form av publiseringsrate, impact og

siteringsfrekvens. Videre er det viktig å bruke fakultetets kompetanse når det kommer til å sette opp

budsjett og lage en konkret formidlingsplan med fokus både på vitenskapelig og allmennrettet

publisering. Institutt og fakultet må også bidra med kvalitetsheving på andre områder det vil være

naturlig, som f.eks. å tilby en ordning for referee-grupper på søknader, administrativ hjelp og

kontinuerlige analyser av hva som gir uttelling på søknader til FRIPRO til hjelp for forskerne for å

perfeksjonere sine søknader.

Nytt i utlysningen 2013 (tildeling i 2014) er at unge talenter, dristighet og fornyelse i forskningen skal

vektlegges sterkere. Hovedkriteriene vil fremdeles være vitenskapelig kvalitet, men Forskningsrådet

vil akseptere en høyere risiko. Forskningsrådet konkretiserer hvem som kan søke og hvordan

søknadene vil bli vurdert i denne nyhetsartikkelen. I tillegg vil det bli svært viktig å lese utlysningen

som kommer i uke 15 nøye. Forskningsrådet har også opprettet en egen Facebook-side for

rådgivning av unge forskere som tenker å søke.

Page 14: Analyse av evalueringene etter FRIPRO-tildelingen i …20171307122726/FRIPRO...1 Rådgiver Marita Pedersen Analyse av evalueringene etter FRIPRO-tildelingen i 2013 Evalueringer ved

14

Appendiks

Tabell A. Oversikt over innsendte FRIPRO-søknader ved Helsefak i 2012

Inst PL Prosjekttittel Kar

Viten

sk-

kar.

PL/

PG

Gj-

før

Form

idling

Utl.-

opph

Intern.-

lisering

Interna

sj.-

samarb

Nasj.-

samarb

ubetydelig

IHO Åshild

Bjørnerem

Cortical Porosity -

Target for Fracture

Prevention: The

Tromsø Study - To

identify why some

women have

fragility fracture

after menopause -

6 6 6 A B

IHO Gunn

Pettersen

Judging recovery

from eating

disorders, a

tripartite…

4

6 6 7 A A

IKM Rolf Jorde Polymorphisms in

the vitamin D

system and health

6 6 6 A B

noe

(pers. postdoc)

3 4 3 B B ja noe

2 2 2 C C

ubetydelig svakt

IMB Johanna S. U.

Ericson

Searching targets

for infection

prevention and

treatment: The

Tromsø Staph and

Skin Study

5 5 5 B B

noe svakt svakt

noe

1 Søknad til FRINATEK

Page 15: Analyse av evalueringene etter FRIPRO-tildelingen i …20171307122726/FRIPRO...1 Rådgiver Marita Pedersen Analyse av evalueringene etter FRIPRO-tildelingen i 2013 Evalueringer ved

15

noe

noe

ubetydelig

ubetydelig svakt

5

3 3 4 B B

noe meget

godt godt

ISM Bente Morseth

(pers. postdoc)

Long-term physical

activity and risk of

cardiovascular

disease

5 5 5 A B ja noe

ISM Eiliv Lund Overdiagnosis of

breast cancer in

the

mammographic

screening program

- the need

of novel functional

diagnostic tests

5 5 5 B B

noe

ISM Frauke Musial Manual therapies

for chronick neck

pain…

5