Kritisk vurderingaf forskningslitteratur

Modul 13

Udarbejdet af Lea D. Nielsen, Sygeplejerskeuddannelsen, UC Syddanmark

Esbjerg, efterår 2011

Udarbejdelse af kliniske retningslinjer - processen

Identificering af problemstilling

Udarbejdelse affokuserede spørgsmål

Udarbejdelse af søgestrategi

Systematisklitteratursøgning

Vurdering af litteratur

Inkludering af litteratur Ekskludering af litteratur

Resumering i evidenstabel

Udarbejdelse af anbefalinger

Kritisk vurdering og udvælgelse af litteratur;

Hvad står der i skabelonen?

Vurdering af litteratur via relevant tjekliste og evidenshieraki. Evidenstabel skal udfyldes og fremvises som bilag

• Hvad forstår I ved kritisk vurdering?• Hvordan kan I kritisk vurdere de undersøgelser

i udvælger?

Hvad er kritisk vurdering af artikler?

At evidensvurdere vil sige at vurdere kvaliteten af de undersøgelser, man har fundet.

Man vurderer undersøgelsens:

- Relevans- Troværdighed - anvendelighed

Hvordan kritisk vurderer vi artikler?• I en evidensvurdering vurderes hver enkelt artikels videnskabelige kvalitet.

Vurderingen skal foregå udfra ensartede kriterier, der er fastsat på forhånd. Til hjælp foreligger der nationale og internationale tjeklister, der anvendes for at sikre sig, at man har taget stilling til alle aspekter af artiklen.

• Sekretariatet for Referenceprogrammer under Center for Evaluering og Medicinsk Teknologivurdering har oversat australske tjeklister til både oversigtsartikler (reviews), metaanalyser, randomiserede kontrollerede undersøgelser, kohorte studier, case-control studier og diagnostiske tests.

• Disse tjeklister anvendes i regi af Center for Kliniske Retningslinjer til at kritisk gennemgå og vurdere kvaliteten af de kvantitative studier, der inkluderes i litteraturgennemgangen i en klinisk retningslinje

Kilde: Center for Kliniske Retningslinjer

Uddybning:I centrets manual for udarbejdelse af

KR står der..• Det anbefales at anvende checklisterne udarbejdet af Sekretariatet for

Referenceprogrammer, disse kan findes på (http://www.kliniskeretningslinjer.dk/check.php).

• Enhver vurderingsproces involverer uundgåeligt et element af subjektiv bedømmelse.

• Det kan være et tidskrævende proces at skulle læse og vurdere de undersøgelser, der skal danne baggrund for den kliniske retningslinje. Arbejdet kan med fordel fordeles mellem arbejdsgruppens medlemmer.

• For at styrke troværdigheden af vurderingen af de enkelte undersøgelser skal mindst 2 af gruppens medlemmer uafhængigt af hinanden gennemlæse og vurdere de respektive undersøgelser. Derefter sammenligner man de enkelte vurderinger. Eventuelle forskelle i vurderinger bør diskuteres af hele gruppen

• I metodeafsnittet skal det angives, hvordan man er nået frem til den endelige vurdering.

Graduering af evidensniveau(Sekretariatet for Referenceprogrammer, 2004)

Publikationstype Niveau Styrke

Metaanalyse, systematisk oversigt, Randomiseret kontrolleret studie

Ia Ib

A

Kontrolleret, ikke-randomiseret studieKohorteundersøgelseDiagnostisk test (direkte diagnostisk metode)

IIa

IIb

B

Case-kontrol undersøgelseDiagnostisk test (indirekte nosografisk metode)BeslutningsanalyseDeskriptiv undersøgelse

III C

Mindre serier, oversigtsartikelEkspertvurdering, ledende artikel

IV D

Mindst biased

eksperimentiel

analytiske

observationel

beskrivende

Mest biased

Randomiserede kontrollerede forsøg

Kohorte studier

Case- kontrol studier

Tværsnits studier

Studietyper

Kliniske studier

Eksperimentelle (interventionsstudier)

Ikke-eksperimentelle - deskriptive f.eks.,

Tværsnitsstudier eller analytiske studier som case-control og kohortestudier.

kontrollerede Ikke kontrollerede

Randomiserede

Ikke-randomiserede

Eksempel på litteraturgennemgang og anbefaling

LitteraturgennemgangEt Cochrane review konkluderer på baggrund af meta-analyse af resultaterne fra 5

randomiserede kontrollerede studier, at præoperativ rygestoprådgivning kan reducere forekomsten af postoperative komplikationer.

• Endvidere konkluderes, at rygestoprådgivning initieret mindst 4 uger før operation, og med en total perioperativ varighed af 8 uger (herefter benævnt højintensive interventioner), synes nødvendig for at forebygge postoperative komplikationer (20 Ia). To randomiserede kontrollerede studier, som undersøgte effekten af rygestopintervention af denne varighed, fandt en reduktion i forekomsten af postoperative komplikationer på op til 50% hos patienter, som fik foretaget elektivt kirurgisk indgreb (20 Ia).

Anbefaling:• Rygere, der skal gennemgå et elektivt kirurgisk indgreb, bør tilbydes

rygestopintervention med ugentlig rådgivning og nikotinerstatning i en periode på minimum 4 uger præoperativt og med en total perioperativ varighed af 8 uger (Ia, A, 20)

Kilde: Center for Kliniske Retningslinjer

Evidensvurdering på grundlag af studiedesign

• En foreløbig evidensvurdering kan man i nogen grad foretage alene på grundlag af studiedesign.

• Inden for den primære litteratur betragtes randomiserede kontrollerede undersøgelser som rangerende højst med bedste evidens, mens kohorte studier og case control studier rangerer på et lavere evidensniveau.

• Men der kan være stor forskel på for eksempel forskellige randomiserede kontrollerede undersøgelser inden for samme behandlingsområde. Der kan f.eks. være forskel på undersøgelsens omfang (stor gruppe, lille gruppe), og dårlige randomiserede kontrollerede undersøgelser kan undertiden udkonkurreres af andre undersøgelsesdesign.

Hvilke elementer er indeholdt i tjeklisterne?Det interessante er om vi kan tro på det resultat, som artiklen fremkommer

med!

Den interne validitet: Du skal fremkomme med din vurdering af den interne validitet. Er undersøgelsen udført grundigt og skyldes undersøgelsens udfald den behandling der undersøges.

Hvert spørgsmål afdækker et område af metodologien som har væsentlig betydning for undersøgelsens konklusioner.

Er der valgt korrekt design til at besvare undersøgelsens formål og er det valgte design udført korrekt??

Tjeklisternes opbygning1. Artiklens troværdighed (Den interne validitet)

– Vurdering af metode– Statistik

2. Overordnet bedømmelse af studiet – Er der mange brud på den interne validitet?

3. Beskrivelse af studiet – (outcome, effekt, population)– sammenfatning af nøgleområder i studiet som efterfølgende skal

anføres i evidenstabellen

4. Generelle kommentarer

Checkliste 2: Randomiserede kontrollerede undersøgelserForfatter, titel: Tidsskrift, år:

Checkliste udfyldt af:

1. INTERN GYLDIGHED (troværdighed)

Evalueringskriterier I hvor høj grad er kriteriet opfyldt?

1.1 Er der en velafgrænset og relevant klinisk problemstilling?

1.2 Blev forsøgspersonerne randomiseret?

1.3 Var behandlings- og kontrolgruppen ens ved undersøgelsens start?

1.4 Var randomiseringen (allokeringen) skjult?

1.5 Blev forsøgspersonerne, behandler og forsker blindet?

1.6 Er alle relevante slutresultater (outcome) målt standardiseret, gyldigt og pålideligt?

1.7 Bortset fra den undersøgte behandling, blev grupperne så behandlet ens?

1.8 Hvor stor en del af de personer, der blev rekrutteret til undersøgelsen, blev endeligt medtaget i analyserne? (dropout)

1.9 Blev alle de undersøgte personer analyseret i henhold til randomiseringen?(intention to treat analyse)

1.10 Er resultaterne homogene mellem de forskellige undersøgelsessteder (multicenterundersøgelser)?

Bias (systematiske fejl)

• Selektionsbias: en systematisk fejl opstået i et studie pga. selektion af studiedeltagerne. Fejlen opstår når associationen mellem eksponering og outcome er forskellig for de som deltager og de som ikke deltager

• Informationsbias: en systematisk fejl opstået fordi den indsamlede information om studiedeltagerne er forkert.

• Confoundere: effekten af en eksponering er forstyrret på grund af eksponeringens association med en anden faktor – confounderen. Denne forstyrrelse påvirker outcome

2. OVERORDNET BEDØMMELSE AF UNDERSØGELSEN 2.1 I hvor høj grad forsøgte undersøgelsen at minimere bias? Anfør ++, + eller .

2.2 Hvis bedømt som + eller , i hvilken grad kan bias påvirke undersøgelsesresultatet?

2.3 Med baggrund i kliniske overvejelser, evaluering af metoden og undersøgelsens statistiske styrke, mener du så, at sluteffekten skyldes undersøgelsens ”intervention”?

2.4 Er resultatet af undersøgelsen direkte anvendeligt på referenceprogrammets patientmålgruppe?

3. BESKRIVELSE AF UNDERSØGELSEN

3.1 Hvilke behandlinger evalueres i undersøgelsen?

3.2 Hvilke måleparametre er anvendt på slutresultatet? (outcome)

3.3 Hvor mange patienter deltog i undersøgelsen? (totalt og i behandlings- hhv. kontrolgruppen).

3.4 Hvorledes er effekten målt? Og i hvilken retning gik den målte effekt?

3.5 Er der statistiske usikkerhedsberegninger? (p-værdier eller sikkerhedsintervaller)

3.6 Hvad karakteriserer deltagerne (populationen)? (fx køn, alder, sygdomsprævalens).

3.7 Hvorfra er forsøgspersonerne rekrutteret? (fx by, land, hospital, ambulatorier, almen praksis, amt).

3.8 Hvor mange grupper/centre er med i undersøgelsen?

3.9 Er der rejst nogle specifikke spørgsmål ved denne undersøgelse? Anfør generelle kommentarer vedr. undersøgelsens resultater og betydningen af disse).

Kritisk vurdering af artiklerFor hvert spørgsmål i tjeklisten skal det vurderes i hvor høj grad,

evalueringskriteriet er opfyldt ud fra nedenstående graduering:

1. I høj grad opfyldt 2. Tilstrækkeligt opfyldt 3. Dårligt opfyldt 4. Ikke opfyldt 5. Ikke oplyst 6. Ikke anvendeligt på den aktuelle undersøgelse

Søg hjælp i jeres metodelitteratur for foregående moduler!Søg vejledning!

Redskaber til kritisk vurdering – kilder:

• Center for Kliniske Retningslinjer, ”Checklister til brug for bedømmelse ved bedømmelse af artikler” http://www.kliniskeretningslinjer.dk/article.php?id=2her findes tjeklister indeholdende specifikke spørgsmål til kvantitative undersøgelser. Desuden er der noter til hver tjekliste, som indeholder rigtig god uddybning af hvad der skal forstås ved hvert spørgsmål i tjeklisterne.

• Willman, A., mfl. 2007 ”Evidensbaseret sygepleje – en bro mellem forskning og den kliniske virkelighed” Gads Forlag, s.182-185. Her findes et skema til vurdering af henholdsvis systematiske oversigter og kvantitative undersøgelser – disse skal suppleres med specifikke tjeklister jf ovenstående

• Andersson, I., 2008 ”Epidemiologi for sundhedspersonale – en introduktion” Gads Forlag, s.150-51. Denne bog har I anvendt på modul 5. Den indeholder en kort oversigt over generelle spørgsmål til kvantitative undersøgelser

• Jørgensen, T. mfl. 2005 ”Klinisk forskningsmetode”, Munksgaard Danmark, s 104-6. Denne bog har I anvendt på modul 9. Den indeholder oversigt over generelle og enkelte specifikke spørgsmål til kvantitative undersøgelser

Redskaber til kritisk vurdering – kilder (fortsat):

• Center for Kliniske Retningslinjer, ”CASP instrumentet” http://www.kliniskeretningslinjer.dk/article.php?id=50 Internationalt anerkendt redskab til vurdering af kvalitative undersøgelser

• Melnyk B.M. & Fineout-Overholt E. 2011, Evidence-based practice in Nursing & Healthcare – A guide to best practice, Lippincott Williams & Wilkins, 2 udgave s. 494-518. Rigtig gode engelsksprogede tjeklister til både kvalitative og kvantitative undersøgelser af forskellige typer.

• Andersen, I.B., Matzen, P. 2010 ”Evidensbaseret medicin” Gads Forlag, e-materiale på: http://www.gadsforlag.dk/Evidensbaseret%20medicin/1590d7fd-b1cd-4a49-9c69-b5eb92bd1e6b. Gode tjeklister der er lettilgængelige

• Malterud, K. 2004, ”kvalitative metoder i medicinsk forskning – en innføring” Universitetsforlaget, 2 udgave, s. 213-214. denne bog har I anvendt på modul 9. Tjekliste til kvalitative undersøgelser

Redskab til vurdering (fortsat)• CASP-tjeklisterne (Critical Appraisal Skills Programme)

http://www.ouh.dk/wm194967 Her findes internationalt anerkendte tjeklister til både kvantitative og kvalitative undersøgelser. Tjeklisterne er oversat til dansk

Fokuseret spørgsmål

Systematisk litteratursøgning

Tjeklister

Evidenstabel til hvert fokuseret spørgsmål

En anbefaling for hvert fokuseret spørgsmål

Fra evidens til anbefaling

Resumering i evidenstabel:• Her samles og resumeres den gennemgåede litteratur som er

udvalgt til at indgå i anbefalingerne.

• Gennemskueligheden øges.

• Ved hjælp af evidenstabellen vurderes det i arbejdsgruppen, om det fokuserede spørgsmål er besvaret med tilstrækkelig styrke for at danne grundlag for en anbefaling.

• Skal vedlægges som bilag.

Eksempel:

Evidenstabel

• Når kvaliteten af evidensen er bedømt, udvælges data fra undersøgelser med mindst bias. Herefter opstilles de individuelle undersøgelser i en evidenstabel, og den gennemgående tendens af evidensen sammenfattes i litteraturgennemgangen og konkretiseres i anbefalinger

Baggrund for anbefalinger

• En enkelt velgennemført metaanalyse eller en meget stor randomiseret, kontrolleret klinisk undersøgelse med et klart resultat kan alene underbygge en anbefaling.

• Mindre velgennemførte undersøgelser, systematiske oversigtsartikler, RCT med en højere grad af usikkerhed eller observationsundersøgelser kræver en mere ensartet evidens og en højere grad af konsistens for at underbygge en anbefaling.

Evidensniveau og –styrkePublikationstype evidensniveau evidensstyrke

Metaanalyse, systematisk oversigtRandomiseret kontrolleret studie

Ia

Ib

AA

Kontrolleret, ikke-randomiseret studieKohorte undersøgelseDiagnostiske test (direkte diagnostisk metode)

IIa

IIbIIb

B

BB

Case-kontrol undersøgelseDiagnostisk test (indirekte nosografisk metode)BeslutningsanalyseDeskriptiv undersøgelse

IIIIII

IIIIII

CC

CC

Mindre serie, oversigtartiklerEkspertvurderinger, ledende artikler

IVIV

DD

kilde: Center for Kliniske Retningslinjer

Fortsat…

• Evidenstabellen til et givet fokuseret spørgsmål skal indeholde de tre udvalgte validerede studier fra jeres systematiske litteratursøgning.

• Evidenstabellen udgør en vigtig del af den kliniske retningslinje og sikrer, at de data, der danner basis for den kliniske retningslinjes anbefalinger, er gennemskuelige.

Hvad står der så i skabelonen at I derefter skal?

• Hovedkonklusioner fra de udvalgte artikler anbefalingerne baseres på beskrives. Der skal angives evidensniveau i forhold til de citerede artikler (se tabel 1)

• Ud fra den vurderede litteratur opstilles punktformet, logisk opbyggede anbefalinger for klinisk praksis.

• Anbefalingerne skal være specifikke og entydige og forsynet med evidensstyrke (se tabel 1). De enkelte anbefalinger skal tillige forsynes med referencer

Litteraturgennemgangen

Sagt anderledes….• Formålet med litteraturgennemgangen er kort at angive

hovedkonklusioner fra den inkluderede litteratur om, hvad man ved og lige så vigtigt, hvad man ikke ved inden for det pågældende område.

• Den tilgrundliggende dokumentation for anbefalingerne skal være omtalt i litteraturgennemgangen.

• Evidensen er ikke altid klar, og der kan være usikkerhed mht. grundlaget for anbefalingen. I sådanne tilfælde skal usikkerheden beskrives.

Eksempel på lavt evidensniveau:Metode til gennemskylning af centrale venekatetre og

permanente centrale intravenøse porte:

• ”…..Indtil flere studier foreligger, fravælges det i denne retningslinje at lave en konkret anbefaling på området. Det anbefales derfor indtil videre, at den enkelte afdeling har en lokal instruks for, hvorledes gennemskylning af centrale venekatetre og permanente centrale intravenøse porte bør foregå. Der bør dog udvises forsigtighed ved gennemskylning af centrale venekatetre af hensyn til risiko for ruptur…(59, 1a) (60, IV) (39, IV)”

Litteraturgennemgang

• Litteraturgennemgangen skal opbygges logisk og sammenhængende opdelt i afsnit efter f.eks.:

• De fokuserede spørgsmål• De forskellige interventioner• De forskellige instrumenter

Evidensniveau

Igen…..• Det er i litteraturgennemgangen, at evidensniveauet af

litteraturen skal fremgå.

Eksempel:I samme analyse konkluderes det, at low airloss madrasser samt vekseltryk madrasser har en forebyggende effekt på udvikling af trykskader. Det kan dog ikke påvises, at disse har en bedre forebyggende effekt end viscoelastiske madrasser (50) (Ia).

Flere eksempler:

Systematiske oversigter (1;27) (Ia) og randomiserede kontrollerede studier (21;34;35) (Ib) viser, at håndsprit er signifikant bedre til reduktion af mikroorganismer på hænder sammenlignet med traditionel håndvask, givet hænder ikke er synligt forurenede.

Et kohortestudie identificerer, at lange negle øger risikoen for kontaminering af hospitalsansattes hænder (65) (IIb).

Derudover er der flere mindre litteraturstudier om vigtigheden af at udføre mundpleje, herunder systematisk gennemgang af forskellige mundplejemidler samt hvordan mundplejen bør udføres (2,4,13 (III), 14 (IV), 15 (Ib), 16 (III), 17 (Ib)).

Anbefalinger• Ud fra den vurderede forskningslitteratur opstilles

punktformet, logisk opbyggede anbefalinger. Der bør være en nøje sammenhæng mellem anbefalingerne og den litteratur, der ligger til grund for disse.

• Anbefalingerne skal være specifikke og entydige. Ligeledes skal anbefalingerne værehandlingsanvisende.

• Det skal være let at finde de mest centrale anbefalinger. Sådanne anbefalinger besvarer de vigtigste problemstillinger.

Anbefalinger• Anbefalinger i en klinisk retningslinje gradueres A-D, for at

skelne mellem de anbefalinger, der bygger på stærk evidens, og de anbefalinger, der bygger på svag evidens.

• Det skal understreges, at gradueringen ikke relaterer sig til vigtigheden af anbefalingen, men til styrken af den tilgrundliggende evidens, specielt styrken af undersøgelsesdesignet (6).

• Den graduering, en anbefaling er tillagt, indikerer sandsynligheden for, at det formodede resultat vil blive opnået, såfremt anbefalingen følges. I selve formuleringen af anbefalingen anvendes ordene bør eller skal alene ved anbefalinger med evidensstyrke A. Ved lavere evidens bør begge ord så vidt muligt undgås (6).

AnbefalingerEn anbefaling bør give en konkret og præcis beskrivelse af den rette

behandling/pleje i hver enkelt situation og for hver enkelt patientgruppe, i overensstemmelse med den samlede mængde evidens.

• Eksempel på stærk anbefaling: Den systematiske intervention bør indeholde anvisninger om regelmæssig tandbørstning med flour (mundpleje)

• Eksempel på svag anbefaling: Dem systematiske intervention kan indeholde anvisning om anvendelse af elektrisk tandbørstning (B) (mundspleje)

• Eksempel på en specifik anbefaling: antibiotika skal udskrives til børn på to år og opefter med akut otitis media, hvis symptomerne varer mere end tre dage, eller hvis symptomerne forværres efter konsultationen på trods af relevant behandling med smertestillende medicin; i sådanne tilfælde bør der behandles med amoxicillin i syv dage (suppleret med en doseringsoversigt).

• Eksempel på en vag anbefaling: antibiotika er indiceret for tilfælde med et unormalt eller kompliceret forløb.

Dvs. udarbejdelse af anbefalinger…

• Baseres på evidenstabeller over hvert fokuserede spørgsmål

• Vægtning ud fra foreliggende evidens (evidensniveau og –styrke)

• Sammenfatning på basis af konsensus i gruppen

Gør jer disse overvejelser i udarbejdelsen af anbefalingerne…

• Er anbefalingerne anvendelige i min kliniske hverdag?• Hvad behøver jeg yderligere for at kunne gøre brug af

denne anbefaling?• Hvad er alternativerne?• Er mine patienter så forskellige fra de som indgik i

undersøgelserne bag anbefalingerne, at jeg slet ikke kan bruge anbefalingerne?

• Vil fordelene overstige ulemperne?• Hvad tænker patienterne?

Referencer:

• Krøll, V. (red), 2011, ” Kliniske Retningslinjer – hvordan og hvorfor”

• www.kliniskeretningslinjer.dk Diverse faglige artikler, undervisningsmateriale, generelle oplysninger fra hjemmesiden fx tjeklister til vurdering af RCT undersøgelser mv. (se referencelisten).

• Melnyk, B.M. & Fineout-Overholt, E. (red), 2011, ”Evidence-Based Practice in Nursing & Healthcare” 2 udg., Lippincott