1 Analisi critica della letteratura e dei lavori scientifici Metodologia per il medico di famiglia...

1

Analisi critica della letteratura Analisi critica della letteratura e dei lavori scientificie dei lavori scientifici

Metodologia per il medico di famiglia

Scuola Toscana di Formazione

2

Elementi di validità di un Elementi di validità di un lavoro di ricerca.lavoro di ricerca.

Validità metodologica.

Rilevanza clinica.

Trasferibilità.

3

Analisi critica dei lavori Analisi critica dei lavori scientificiscientifici

Quale ipotesi gli autori volevano provare?

Quale tipo di studio è stato effettuato?

La metodologia è corretta?

4

Classificare un articoloClassificare un articolo

Studi osservazionaliStudi sperimentali

Ricerche quantitativeRicerche qualitative

5

La ricerca qualitativaLa ricerca qualitativa

Se le ricerche quantitative studiano la diversità quantitativa dei fenomeni, esprimendola in forma numerica e probabilistica, le ricerche qualitative ne cercano i motivi e postulano spiegazioni o pongono interrogativi 

6

La ricerca qualitativaLa ricerca qualitativa

Metodi        Documentazione (atti dei convegni e

comportamento dei medici)        Osservazione passiva (descrizione)        Osservazione partecipativa        Intervista (di solito strutturata) Focus groups

7

Classificare un articoloClassificare un articolo

Studi primari        Studi sperimentali        RCT        Studi di coorte        Studi caso controllo        Studi osservazionali trasversali

8

Classificare un articoloClassificare un articolo

Studi secondari

       Revisioni Sistematiche       Non sistematiche       Metaanalisi Linee Guida

9

Classificare un articoloClassificare un articoloStudi secondari

Revisioni non sistematiche: riassumono un gruppo di studi primari

Revisioni sistematiche: riassumono studi primari esaminati e valutati secondo una metodica precisa e rigorosa

Metanalisi: integrano i risultati numerici di più studi primari

Linee guida: si basano sugli studi primari per trarre conclusioni su come si dovrebbe svolgere la pratica clinica

Analisi decisionali/ analisi economiche

10

Classificare un articoloClassificare un articolo

In ordine di importanza

1.  RCT definitivi Metaanalisi 

2.   RCT non definitivi

3.   Studi di coorte o caso controllo

4.   Studi osservazionali

5.   Casi clinici

6.   Studi ecologici

11

Gerarchia dei Gerarchia dei tipi di studio tipi di studio in funzione del livello di provein funzione del livello di prove

Metanalisi

Revisioni Sistematiche

RCTs

(Studi Controllati Random)

Studi di Coorte

Studi Caso-Controllo

Studi Osservaz. Trasversali

Casi Clinici

12

Metaanalisi( over review)Metaanalisi( over review)

Revisione globale, sistematica ed organizzata e sintesi statistica retrospettiva dei risultati di più studi clinici che affrontano il medesimo argomento.

Si basa su criteri di valutazione espliciti.

13

Revisioni di studi clinici Revisioni di studi clinici (pubblicati(pubblicati))

Non sistematiche

Sistematiche

14

Metanalisi: i metodi.Metanalisi: i metodi.

NARRATIVO ( il più classico),tipico della revisione tradizionale in cui chi analizza i dati ne riassume i risultati ed esprime la sua opinione.

IL METODO DEI VOTI, in cui si suddividono gli studi disponibili in positivi, negativi, incerti ( posta troppa enfasi sulla sugnificatività statistica).

15

Metanalisi.Metanalisi.

Come i trials randomizzati anche le MA possono essere condotte in modo inappropriato e concludersi con risultati inattendibili.

Con le MA non si possono avere informazioni che non erano presenti nei singoli studi.

16

Criteri di validità che gli AA Criteri di validità che gli AA devono documentaredevono documentare..

1. Modalità di selezione degli studi. 2. Definizioni adeguate di pazienti,

trattamenti e razionale dell’analisi. 3. Modalità di estrazione dei dati. 4. Qualità dell’analisi statistica ( test

utilizzati, misurazione della variabilità dei risultati, presentazione grafica e interpretazione dei risultati.

17

Metanalisi: criteri di validità.Metanalisi: criteri di validità.

1. Obiettivo della MA è ben definito e clinicamente rilevante?

2. E’ verosimile che la ricerca degli studi abbia mancato l’identificazione di studi importanti?

3. I criteri di inclusione ed esclusione erano ragionevoli e coerenti con l’obiettivo?

18

Metanalisi : criteri di validità.Metanalisi : criteri di validità.

4. Esiste un numero di studi sufficiente per la MA ed il numero dei pazienti è ragionevolmente elevato?

5. Sono studi simili per caratteristiche dei pazienti inclusi,modalità di trattamento, end points?

6. Sono i risultati degli studi non eterogenei, cioè tendono a dimostrare un chiaro beneficio?

19

MetanalisiMetanalisi

20

MetanalisiMetanalisi

Vantaggi      Metodi di inclusione precisi (selezione

di lavori validi)       Grande quantità di informazioni   Riduzione del ritardo fra ricerca e

applicazione Generalizzabilità dei risultati

(popolazione diversificata)

21

Metanalisi : i limitiMetanalisi : i limiti..

I trials sono assai diversi per numerosità dei pazienti.

I pazienti sono diversi da studio a studio anche se reclutati con analoga diagnosi.

Condizioni di setting differenti. Validità scientifica e attendibilità dei

risultati diversi ( carenze metodologiche).

22

Metanalisi : i limiti.Metanalisi : i limiti.

Quando si fa una MA si finisce invariabilmente per dimostrare una qualche efficacia del trattamento studiato.

23

Analisi critica dei lavori Analisi critica dei lavori scientifici.scientifici.

La valutazione va fatta soprattutto sui singoli lavori.

Elementi da valutare:OriginalitàDisegno sperimentale adeguato al quesito di

ricerca.Metodo, validato e accuratamente descritto.Analisi.

24

L’ABSTRACTL’ABSTRACT

Importante quando si vuole effettuare su internet una ricerca.

Convenzionale, descrive: problema,metodi,risultati,conclusioni

Strutturato , descrive : obiettivo,disegno,setting,caratteristiche dei pazienti,intervento,misure di outcome, risultati, conclusioni.

25

Articolo scientifico: IMRAD.Articolo scientifico: IMRAD.

Introduzione.Metodi Risultati ( And)Discussione

26

INTRODUZIONEINTRODUZIONE

Riassume le informazioni più importanti.

Aiuta a comprendere le ragioni dello studio.

Descrive lo scopo (non le conclusioni) della ricerca.

Cita altri lavori analoghi o correlati allo studio.

27

METODIMETODI

Disegno dello studio.Selezione dei pazienti.Definizione della malattia.Intervento,metodi e trattamenti.Misure di outcomePotenza ed analisi statistiche.Aspetti etici.

28

RISULTATIRISULTATI

Descrizione dei partecipanti allo studio (rifiuto e perdita nel follow-up).

Risposta alle ipotesi formulate.

29

DISCUSSIONEDISCUSSIONE

Sintesi dei risultati principali.Conseguenze “pratiche” dei

risultati.Vantaggi e limiti dei metodi

utilizzati.Studi futuri.

30

Articoli clinici: caratteristiche Articoli clinici: caratteristiche generaligenerali

Importanza/prestigio della rivista

Peer review ( lavori accuratamente valutati da revisori esperti)

Impact factor ( parametro che pesa le riviste sul numero di citazioni ricevute normalizzato per il numero di lavori pubblicati)

Conflitti di interesse

31

La caccia agli errori della La caccia agli errori della ricerca.ricerca.

ERRORI METODOLOGICI: nella impostazione ed interpretazione dello studio.

DISTORSIONI : diversità fra ciò che esce dai laboratori di ricerca e ciò che arriva al medico ( risultati diversi da quelli realmente riscontrati).

32

ERRORI METODOLOGICIERRORI METODOLOGICI..

Gli errori nell’analisi e nell’interpretazione dei risultati possono essere corretti, se identificati in tempo, gli errori nella impostazione sono sempre irrimediabili e spesso condizionano il destino della ricerca.

33

ERRORI METODOLOGICI.ERRORI METODOLOGICI.

1. Mancanza di un confronto : fra i più comuni errori l’organizzazione di una ricerca di tipo NON COMPARATIVO (modo migliore per ottenere un risultato positivo).

2. Errata scelta del confronto: non validi i confronti retrospettivi o storici né quelli contemporanei ma non randomizzati.

34

ERRORI METODOLOGICIERRORI METODOLOGICI..

3. Mancata o errata randomizzazione : non è sufficiente prevedere un gruppo di confronto, occorre che ciò avvenga per randomizzazione. Molto spesso previsti sistemi alternativi ( assegnazione in successione alternata oppure in base al giorno di ricovero o data di nascita).

Errata perché si può prevedere o anticipare il trattamento da assegnare.

35

ERRORI METODOLOGICI.ERRORI METODOLOGICI.

4. Non adozione delle condizioni di CECITA’ singola o doppia.

Essenziale non solo in fase di assegnazione dei trattamenti ma anche , e soprattutto, nella fase di conduzione della ricerca e della valutazione dei risultati.

36

ERRORI METODOLOGICI.ERRORI METODOLOGICI.

5. Non adeguata scelta del disegno sperimentale.

Anche se organizzate secondo i principi della sperimentazione controllata e randomizzata molte ricerche non sono in grado di fornire tutta l’informazione che dovrebbero perché pianificate secondo un disegno non appropriato.

37

ERRORI METODOLOGICI.ERRORI METODOLOGICI.

6. Mancata stima delle dimensioni del campione : errore estremamente frequente.

Nella maggioranza degli studi non c’è accenno alla stima del campione che è necessario studiare per avere una buona probabilità di mettere in evidenza, se esiste, una determinata differenza fra i trattamenti in studio.

38

ERRORI METODOLOGICI.ERRORI METODOLOGICI.

6. Mancata stima delle dimensioni del campione : in uno studio ben organizzato si deve stabilire a priori la numerosità del campione sapendo quale sia la “ potenza” dello studio ( cioè la differenza minima che si può svelare come statisticamente significativa).

39

ERRORI METODOLOGICIERRORI METODOLOGICI..

7. Mediocre livello dello standard statistico: è quella che potremmo definire la frenesia del p>0,05 , valore che in troppi lavori assume un’alea magica di significatività dimostrativa. “p” non è la probabilità di fare un errore ritenendo l’effetto osservato come vero ma semplicemente la probabilità dell’ “ipotesi nulla”.

40

ERRORI METODOLOGICIERRORI METODOLOGICI..

7. Mediocre livello dello standard statistico:

nell’applicazione del Test di significatività un errore nel quale è facile imbattersi è l’uso improprio del test “ T di Student” (parametrico) per esempio per effettuare confronti multipli a coppia, creando confusione fra inferenza ed estrapolazione dei dati.

41

DISTORSIONI : 5 DISTORSIONI : 5 MECCANISMI MECCANISMI

FONDAMENTALI.FONDAMENTALI.

1. Vizio del risultato positivo : più facile la pubblicazione di ricerche con risultato positivo.

2.Parzialità dell’arbitro : più facile la pubblicazione di un articolo recante un messaggio che concorda con quello dei revisori.

42

DISTORSIONI.DISTORSIONI.

3. Dilemma del rischio relativo ed assoluto:

più facile che venga prescritto un trattamento se i risultati della sperimentazione vengono rappresentati in termini di rischio relativo piuttosto che di rischio assoluto.

4. Tono del linguaggio : più facile venga prescritto un trattamento se i risultati vengono enfatizzati.

43

DISTORSIONI.DISTORSIONI.

5. Informazione pilotata : più facile che venga prescritto un trattamento se l’informazione è parziale o si omettono dati importanti o vengono rappresentati in modo fallace.

44

DUE errori da non DUE errori da non commettere.commettere.

1- Printed word bias:

“ mi fido dello studio perché è stato

pubblicato”.

2- Omission bias:

“ Ho fretta, quindi passo subito alle

conclusioni”.

45

CONCLUSIONI: gli 11 item.CONCLUSIONI: gli 11 item.

1. Se sono stabiliti i criteri di eligibilità. 2. Se questi sono stati applicati prima

della allocazione del trattamento. 3. Se l’allocazione è stata fatta con

randomizzazione. 4. Quale metodo di randomizzazione. 5. Le condizioni di cecità.

46

CONCLUSIONI : gli 11 item.CONCLUSIONI : gli 11 item.

6. Se la valutazione dei risultati è fatta in cieco.

7. Quali sono state le complicanze del trattamento.

8. Quanti pazienti persi nel follow-up e perché e se sono stati considerati

( Intention to treatment)

47

CONCLUSIONI : gli 11 item.CONCLUSIONI : gli 11 item.

9. Il tipo di analisi statistica utilizzato.

10. I metodi statistici utilizzati. 11. In che modo è stata calcolata

l’entità del campione o l’entità della differenza attesa.