Francisco Javier Burguillo

Metodologías de Investigación Universidad de Salamanca

Francisco Javier Burguillo

El Meta-análisis como herramienta de investigación

en Ciencias de la Salud

(Medicina basada en la evidencia)

Tema 3


¿Por qué los meta-análisis se están haciendo tan importantes?

• Los usan médicos y farmacéuticos para mantenerse al día ante la imposibilidad de leer todos los estudios que se publican.

• Los organismos de financiación los valoran como parte de los proyectos, para asegurarse de que la investigación está justificada.

• Los sistemas de salud basan sus guías clínicas en los meta-análisis y revisiones sistemáticas (Medicina Basada en la Evidencia (MBE)).


La “pirámide de la evidencia”

Estudios clínicosaleatorizados

Estudios de cohorte

Estudios de casos-controles

Estudios de casos aislados

Ideas, opiniones, editoriales

Revisiones sistemáticas con Metaanálisis


• Guías clínicas (MBE)

• ClinicalEvidence (BMJ)

• ClinicalGuide (Ovid)

• Revistas (MBE)

• EBM journal (BMJ)

• Best evidence topics

Estudios clínicosaleatorizados

Estudios de cohorte

Estudios de casos-controles

Estudios de casos

Ideas, Editoriales, Opiniones

Revisiones sistemáticas

con metaanálisis • Bases de datos (MBE)

• Cochrane Library

• Biblioteca Cochrane Plus

• TRIP data base

•CRD Center for Review and disemination)

“Movimiento” de la Medicina basada en la evidencia


Terminología usada para las revisiones• Revisiones narrativas: Un experto lee las publicaciones

sobre un tema, resume los hallazgos y llega a una conclusión.

- Tienen algo de subjetivas y son cualitativas.

• Revisiones sistemáticas: Existen reglas transparentes para buscar “todas” las publicaciones y criterios de inclusión y exclusión.

a) Cualitativas: Los resultados se presentan de forma descriptiva, sin análisis estadístico porque éste no resulta apropiado.

b) Revisiones sistemáticas con metaanálisis: Los datos de los estudios individuales se combinan cuantitativamente por métodos estadísticos y se obtiene un valor “promedio” del efecto.

META-ANÁLISIS


Etapas de un meta-análisis (1/2)

1) Formular la pregunta clínica y fijar cómo se va a medir el resultado

2) Hacer la búsqueda bibliográfica de las publicaciones

3) Extraer los datos usando un protocolo, analizando la calidad de los estudios (criterio “Jadad score”)

4) Decidir los criterios de inclusión/exclusión de estudios


Etapas de un meta-análisis (2/2)

5) Hacer un análisis de la heterogeneidad de los estudios seleccionados

6) Decidir los métodos estadísticos a emplear para combinar los resultados

7) Sacar las conclusiones clínicas

8) Analizar un posible sesgo de publicación (“Funnel plot”)

y hacer un análisis de sensibilidad (“Trim an fill”)


Etapa 1): Formular la pregunta clínica y fijar cómo se va a medir el resultado

• ¿Es más efectiva la terapia con metronidazol comparada con Tinidazol en Giardiasis?

• ¿Es más eficaz el Prazicuantel frente a Oxamniquina en el tratamiento de la infección por Schistosoma mansoni?

(El resultado se medirá como cura parasitológica “si” o “no”)

(¡variable dicotómica!)

(El resultado se medirá como número de parásitos por gramo de heces)

(¡variable continua!)


¿Cómo se miden resultados dicotómicos?

dc

O 2Odds (OXA):

dcba

OO

OR//

2

1 Odds ratio (PZQ/OXA):

ba

O 1Odds (PZQ):

2

1

PP

Ratio Razón de proporciones:

(parecido riesgo relativo (RR) )

1) Pregunta clínica y cómo medir el resultado

Proporción curados (PZC):

(parecido riesgo absoluto R1)ba

aP 1

Proporción curados (OXA):

(parecido riesgo absoluto R2 )dc

cP 2

dcOxamniquina

baPrazicuantel

Curación NO

Curación SI

Efecto

Tratamiento

Diferencia de proporciones:

(diferencia de riesgos (RD) )21 PPD


21 XXMD Diferencia de medias:

Diferencia de medias estandarizada:

2)1()1(

21

222

211

nnsnsn

s

sXX

SMD21

n2

n1

Nº sujetos

Placebo

Fármaco

Desviación estándar

Media

Efecto

Tratamiento

1s1X2X 2s

1) Pregunta clínica y cómo medir el resultado

¿Cómo se miden resultados en var. continua?


Etapa 2): Hacer la búsqueda bibliográfica

• Elegir las bases de datos adecuadas (PubMed, Cochrane, CRD)• Definir las “palabras claves” de la pregunta

• Combinar las palabras clave correctamente (AND, OR, NOT) y tomar precauciones para no perder términos equivalentes

• Usar filtros adecuados para encontrar un número de citas más ajustado

Human, All child (0-18 years), Clinical Trials

• Usar el filtro meta-analysis para encontrar si ya se ha hecho algún meta-análisis de nuestra pregunta y en qué año

• Luego usar el filtro clinical trials para encontrar cuantos ensayos clínicos hay de nuestra pregunta.


Elegir las bases de datos adecuadas

2) Hacer la búsqueda bibliográfica


Palabras clave y sus combinaciones

(atovaquone AND proguanil) OR (Malarone) AND (malaria)

AND (prophylaxis OR prevention)

• El uso de paréntesis es muy recomendable:

(los operadores se suelen escribir con mayúsculas )

• Uso de operadores booleanos

AND

OR

NOT



Precauciones para hacer búsquedas

• Conviene usar “guiones” cuando la palabra se escriba así:

Marine-aquaculture

• Uso de “comillas”Fuerza la búsqueda de la frase entera:

• Uso de truncamientos mediante signo * :

Bacter* (captaría: bacteria, bacterias, bacterium, bacteriophage, etc.)

(muy importante para capturar singulares y plurales, pero en general puede ser peligroso por excesivo)


“Schistosoma mansoni”



Acotar la búsqueda con filtros adecuados


Gestores de citas bibliográficas(Programas RefWorks, EndNote…)


REFERENCES

AbleBits (2008) Add-in tools for excel. WWW document. URL: http://www.ablebits.com/about-us.php. ASTERIAS (2008) Applications for the analysis of genomic data. WWW document. URL: http://asterias.bioinfo.cnio.es/.

Bardsley, W.G. (2009) SIMFIT statistical package. university of manchester (U.K.). WWW document. URL: http://www.simfit.man.ac.uk.

Bax, L., Yu, L.M., Ikeda, N. & Moons, K.G. (2007) A systematic comparison of software dedicated to meta-analysis of causal studies. BMC Medical Research Methodology, 7, 40.

Benjamini, Y. & Hochberg, Y. (1995) Controlling the false discovery rate: A practical and powerful approach to multiple testing. J. R. Statis. Soc. B. 57, 289-300.

Breitling, R. & Herzyk, P. (2005) Rank-based methods as a non-parametric alternative of the T-statistic for the analysis of biological microarray data. Journal of Bioinformatics and Computational Biology, 3, 1171-1189.

Breitling, R., Armengaud, P., Amtmann, A. & Herzyk, P. (2004) Rank products: A simple, yet powerful, new method to detect differentially regulated genes in replicated microarray experiments. FEBS Letters, 573, 83-92.


Etapa 3): Extraer datos usando un protocolo

Estudio Localización

Número de pacientes Población Intensidad de transmisión. PZQ OXM PBO

De Jonge Sudan central,

Gezira.40 47 21 Varones de 6 a 11 años Alta

M.L.A. Ferrari, Brazil, Minas Gerais.

36 34 36 Pacientes de 18-65 años Alta,

Gryseels Burundi, 96 95 ------ Niños y adultos infectados.

Alta

Foekje F. Stelma

Norte de Senegal. 66 72 ------ Pacientes de entre 5 y 75 años con o sin

tratamiento previo.

Extremadamente alta intensidad de infección

Polderman Rep. Dem. Del Congo.

95 205 119 Niños y adultos infectados.

Alta

Zwingerberger Noreste de Brasil 18 26 ----- Pacientes de 10 a 62 años infectados.

Alta

da Silva Rep. Dem. Del Congo.

48 46 ------- Pacientes mayores de 14 años

Alta

Hoja de cálculo

EXCEL


Etapa 3): Extraer datos usando un protocolo

Estudio Localización

Número de pacientes Población Intensidad de transmisión. PZQ OXM PBO

De Jonge Sudan central,

Gezira.40 47 21 Varones de 6 a 11 años Alta

M.L.A. Ferrari, Brazil, Minas Gerais.

36 34 36 Pacientes de 18-65 años Alta,

Gryseels Burundi, 96 95 ------ Niños y adultos infectados.

Alta

Foekje F. Stelma

Norte de Senegal. 66 72 ------ Pacientes de entre 5 y 75 años con o sin

tratamiento previo.

Extremadamente alta intensidad de infección

Polderman Rep. Dem. Del Congo.

95 205 119 Niños y adultos infectados.

Alta

Zwingerberger Noreste de Brasil 18 26 ----- Pacientes de 10 a 62 años infectados.

Alta

da Silva Rep. Dem. Del Congo.

48 46 ------- Pacientes mayores de 14 años

Alta

Calidad de los

estudios

(Jadad score)

4

3

2

3

4

3

2


Escala de Jadad para calidad de los estudios

1) ¿El estudio se describe como randomizado (=aleatorizado)? Sí= 1 punto; No= 0 puntos.2) ¿Se describe el método utilizado para generar la secuencia de randomización y este método es adecuado? Sí= 1 punto; No= 0 puntos; el método es inadecuado= -1 punto.3)¿El estudio se describe como doble ciego? Sí= 1 punto; No= 0 puntos.4)¿Se describe el método de cegamiento (=enmascaramiento) y este método es adecuado? Sí= 1 punto; No= 0 puntos; el método es inadecuado= -1 punto.5)¿Hay una descripción de las pérdidas de seguimiento y los abandonos? Sí= 1 punto; No= 0 puntos.

http://es.wikipedia.org/wiki/Escala_de_Jadad


Etapa 4): Decidir criterios de inclusión/exclusión

a) Población (adultos en zonas endémicas de esquistosomasis)

f) Idioma de los estudios (sin restricciones)

b) Tipo de tratamiento (Prazicuantel vs. Oxamniquina)

c) Periodo de seguimiento (3 -6 meses)

e) Ensayos aleatorizados, doble ciego

Inclusión:

Exclusión:

a) Tamaño de muestra < 20

b) Zonas geográficas de bajo riesgo


Diagrama de flujo con detalles de inclusión/exclusión4) Criterios de inclusión/exclusión

1 excluido por serestudio a largo plazo.

2 excluidos por ser estudios con datos no combinables

50 estudios potencialmente relevantes han sido identificados y explorados.

37 recuperados para una revisión más detallada

9 estudios incluidos.

28 excluidos:Sólo existía el “abstract” (19)Otras técnicas de diagnóstico (2) Comparaban otros factores como la nutrición (2)No estudio comparativo (5)

13 excluidos.(Se comparaban otras opciones de tratamiento)

6 estudios fueron sometidos a tratamiento estadístico


Etapa 5): Análisis de heterogeneidad de los estudios

a) Inspección gráfica de la dispersión

Homogéneos Heterogéneos

Estudio 3

Estudio 1

Estudio 4

Estudio 5

Estudio 6

Estudio 7

Estudio 8

Estudio 9

Estudio 10

Estudio 2

Estudio 1

0.25 0.5 2 41

A favor del tratamiento

A favor del controlOR

Estudio 3

Estudio 1

Estudio 4

Estudio 5

Estudio 6

Estudio 7

Estudio 8

Estudio 9

Estudio 10

Estudio 2

Estudio 1

0.25 0.5 2 41

A favor del tratamiento

A favor del controlOR


Tests estadísticos de heterogeneidad5) Análisis de homogeneidad

Abandonar la combinación numérica de los estudios o hacer metaanálisis por subgrupos

Combinar todos los estudios bajo la hipótesis de “efectos aleatorios”

Test Q2)( pii yywQ

i

iip w

ywy2

1

ii s

w

Test I2

¿¿¿Si la heterogeneidad es significativa ???

1

1002

kdf

QdfQ

I 25% heterogeneidad baja 50% heterogeneidad moderada 75% heterogeneidad alta

idadheterogenehay pSi 050.

LibertadGradoskconóndistribucisigueQ 12

df =Degrees of freedom

k =Nº estudios


Hipótesis de efecto fijo y efectos aleatorios

5) Análisis de homogeneidad

Efecto fijo Efectos aleatorios

• Hay un solo promedio que estimar (por ej. OR) que sería común (“fijo”) para todos los estudios. Se considera sólo variabilidad intra-estudios.

•Para estimar un parámetro promedio (ej. OR) hay que considerar variabilidad intra-estudios e inter-estudios.

•Se asume que los estudios proceden de la misma población origen (homogeneidad)

• Los estudios se seleccionan “al azar” de diferentes poblaciones origen (heterogeneidad)

Europeos AsiáticosAfricanos…etc


n=200OOR=1.6 s=0.5

0 1 2

OR F/P

n=200 OR=0.7s=0.8

0 1 2

OR F/P

n=2000 OR= 2.3 s=0.2

0 1 2OR F/P

¿Por qué ese interés en combinar los resultados?

0 1 2OR F/P

(OR promedio (pooled))

Se combinan los 3 estudios usando pesos estadísticos que dan más influencia a los de menor desviación estándar

)a(ORp 125171 ...

FUNDAMENTO

DEL

METAANÁLISIS

(Promediar ponderando)

(Es más eficaz F que P (MBE))


SIMFIT

MIX

Software para hacer meta-análisis

CMA

RevMan


Etapa 6): Decidir el método estadístico para combinar los resultados (meta-análisis)

Método 1: Cuando los resultados a combinar son dicotómicos

Método 2: Cuando los resultados a combinar son de variable continua

• Ejemplo: Cura parasitológica “si” o “no” de un fármaco frente a otro.

• Ejemplo: Número de parásitos por gramo de heces.


Estudio

Prazicuantel Oxamniquina

Curados SI

Curados NO

Curados SI

Curados NO

De Jonge 2001 31 9 26 21

Ferrari 2002 26 0 28 3

Stelma 2002 24 42 57 15

Grysseels 2003 87 9 82 13

Polderman 2005 66 29 82 123

Zwingen 2007 17 1 24 2

da Silva 2008 38 10 39 7

Ejemplo: Cura parasitológica de Prazicuantel frente a Oxamniquina

Método 1: Cuando los resultados a combinar son dicotómicos

6) Métodos estadísticos


suelen combinar los Ln (odds ratio) de todos los estudios

Estudio OR Ln(OR)

(yi)

Desv. Estand. de Ln(OR)

(si)

Peso estadístico(wi = 1/(si)2)

De Jonge 2001 2.78 1.022 0.479 4.36

…. …. …. ….

Zwigen 2007 1.42 0.3507 1.27 0.62

da Silva 2008 0.68 -0.386 0.543 3.39

2

11

ii svarianza

w

Peso estadístico

Método 1: Cuando los resultados son dicotómicos se


Considerando: “efecto fijo” y pesos por “inverso de la varianza”

Desv. Estand. de Ln(OR)

dcbas

1111

Notación Matemática

y (es el efecto correspondiente)

yi (es el efecto para estudio “i”)

Yp (es el efecto combinado o promedio ponderado)


Combinando los Ln (odds ratio) de todos los estudios

320.)(

)(

i

iip w

ORLnwORLn

i

iip w

ywy

i

p wV

1

Estima del efecto combinado (promedio):

pp Vy 96.1

3403200300961320 .....)( pORLn

03001

. i

p wV

En nuestro ejemplo de prazicuantel vs. oxamniquina:

2

1

ii s

w

6) Métodos estadísticos: método 1

Considerando: “efectos fijos” y pesos por “inverso de la varianza”

).a.( ORp 931990381. (EBM)

Se deshace el logaritmo


Significancia del valor combinado según el test z

320.)(

)(

i

iip w

ORLnwORLn 0300

1.

ip w

V

6) Métodos estadísticos: método 1

(Considerando: “efectos fijos” y pesos por “inverso de la varianza”)

17300300 .. ppp SEVSEDesviación

estándar (Standard error) 011 LnORefectoNo p:

2)Test “z” para significancia del valor combinado:

811730

0320.

.

.

zLn ),.(. ivosignificatnop colas 0500702

1) Estima del efecto combinado (promedio) en nuestro ejemplo de prazicuantel vs. oxamniquina:


Los detalles para todos los estudios serían:6) Métodos estadísticos

Forest plot

Estudio 1

Estudio 2

Estudio 3

Estudio 4

Estudio 5

Estudio 6

Estudio 7 Efecto promedioPromedio

Considerando: “efecto fijo” y pesos por “inverso de la varianza”

2

1

ii s

w

)( antiLnluego

w

ywy

i

iip

iOR

Ojo: hetogeneidad significativaBasado en

programa MIX

Test z significancia


Estudios dicotómicos bajo “efectos aleatorios” (1/5)

Cuando la heterogeneidad entre los estudios es significativa:


Efectos aleatorios

¡Variabilidad inter-estudios!

¡Varibilidad intra-estudios!





Basado en Borestein et al 2009 (Ed. Wiley)

Efecto fijo Efectos aleatorios

Efecto observado de un estudio

Efecto verdadero de un estudio

Efecto verdadero combinado

Efecto combinado estimado

Variabilidad intraestudios Variabilidad intraestudios

Va

ria

bil

ida

d i

nte

res

tud

ios




),0(; 2 Niii

Hay que minimizar ambos tipos de variabilidad:

1) Hay variabilidad “intra”-estudios por error experimental

2) Hay variabilidad “inter”-estudios por otras circunstancias


),0(; 2iiiii sNy ¡Varianza intra-estudios!

¡Varianza inter-estudios!

Tau cuadrado



k

k

i

k

i

i

w

ww

kQ

1

1

1

2

2 )1(

a) Cálculo de Método de DerSimonian and Laird 1986:

Se calcularía de modo análogo a lo visto para efectos fijos:

*

**

i

iip w

ywy22

* 1

i

i sw

** 1

ip w

V ** . pp Vyy 961

i

iip w

ywy2

1

ii s

w

2)( pii yywQ

b) Cálculo del efecto promedio o combinado (pooled en inglés):


El asterico denota “bajo efectos aleatorios”


Estudio 1

Estudio 2

Estudio 3

Estudio 4

Estudio 5

Estudio 6

Estudio 7

Promedio

Cálculos bajo hipótesis de efectos-aleatorios (5/5)


Efecto promedio

Bajo efectos-fijos el promedio fue: 1.38 (0.99 a 1.89) Ojo: no significativo


Método 2: Cuando los resultados son de variable continua

iii xxy 21 ii

ii

ii

iiiiy nn

nn

nn

snsnV

i

21

21

21

222

211

2

11

)()(

ii V

w1

i

iip w

ywy

i

p wV

1pp Vy 96.1

Se utilizan las mismas expresiones generales de antes:

Pero ahora el efecto en cada estudio se mide como:

Diferencia entre medias Varianza de la diferencia Peso estadístico

(Donde “ i ” se refiere al estudio “i” (1 al tratamiento y 2 al placebo))

2

1

ii s

w



Etapa 7): Sacar conclusiones clínicamente relevantes

2) Por tanto se combinan los resultados bajo la hipótesis de efectos aleatorios, siendo la ORp de 1.28 (0.43 a 3.83). Por lo tanto el prazicuantel parece ser un poco más eficaz que la oxamniquina, pero los estudios disponibles hasta la fecha no lo sancionan estadísticamente (p >> 0.05) y se recomienda aumentar el número de ensayos clínicos.

1) El análisis de heterogeneidad confirma que los estudios publicados son heterogéneos (Q = 49 (p < 0.01)).

Prazicuantel vs. Oxamniquina


Etapa 8) Análisis de sesgo de publicación

Funnel plot

Des

viac

ión

est

ánd

ar

Ln OR

Vacío


8) Sesgo de publicación

Cierto vacío

Análisis de sesgo de publicación para prazicuantel vs. oxamniquina

Ligero sesgo de publicación


Etapa 8) Análisis de sensibilidad del metaanálisis(Algoritmo de “Trim and Fill”)


8) Análisis de sensibilidad

Análisis de sensibilidad para prazicuantel vs. oxamniquina

No hay imputa-ciones

(Algoritmo de “Trim and Fill”)

Resultados parecen robustos


Caso Práctico: Metaanálisis sobre la eficacia de la terapia combinada Prazicuantel + Artemisinas frente a monoterapia de Prazicuantel en esquistosomosis.Luis Pérez Villar del Moro, Universidad de Salamanca


El prazicuantel como tratamiento de elección en esquistosomosis

…necesidad de encontrar otros fármacos,

…Resistencia al prazicuantel

…ineficacia del tratamiento, re-infección,

…solamente actúa sobre las formas adultas

Fenwick et al. 2002

Ross et al. 2002

Keiser et al. 2009

Danso-Appiah et al. 2009

Introducción


Ross et al. 2002 Gryssels et al. 2006

Fenwick et al. 2002 Xiao et al. 2005

…Eficaces para el tratamiento de malaria

Derivados de artemisina como alternativa al tratamiento con prazicuantel

Introducción


Etapa 1): Pregunta clínica y medida del resultado

Pregunta 1:

¿Los derivados de la Artemisina en combinación con Prazicuantel son más eficaces que el Prazicuantel

sólo en el tratamiento de la esquistosomosis ?

La eficacia de un tratamiento respecto a otro se medirá mediante odds ratio.


Etapa 2): Búsqueda bibliográficaPalabras clave:

Criterios de inclusión:

(1) Los estudios deben valorar la eficacia en el tratamiento de la

esquistosomosis.

(2) La eficacia terapéutica se debe valorar por métodos de análisis parasitológicos.

(3) El seguimiento del paciente será a corto plazo.

“Artemether”, “Artesunate”, “Artemisinin derivates”, “Praziquantel”, “schistosom*”.

Criterios de exclusión:

(1) Revisiones bibliográficas y análisis económicos.

(2) Estudios que comparan los derivados de Artemisina frente a placebo.

(3) Otros fármacos implicados.

Etapa 3): Criterios de selección


7 Ensayos (ART+PZQ vs PZQ) 3 S. mansoni 2 S. haematobium 2 S. japonicum (n = 665)

258 estudios potencialmente relevantes a través de las bases de datos.

50 publicaciones seleccionadas para un mayor análisis

35 artículos excluidos 24 no en humanos 7 en malaria 2 sólo abstract disponible 1 El diseño no incluye grupo de referencia 1 Sulfadoxine/pyrimethamine están implicados en el tratamiento

15 estudios incluidos en la revisión sistemática(36 grupos de tratamiento)

208 Artículos excluidos

13 Ensayos (ART vs PZQ) 5 S. mansoni 8 S. haematobium (n = 1563)

15 Ensayos (ART vs PBO) 1 S. mansoni 1 S. haematobium 13 S. japonicum (n= 7171)

Etapa 3: Diagrama de flujo con la selección de estudios


Etapa 4). Extracción de datos


Etapa 5) Análisis estadístico

Etapa 5a): Evaluación de la homogeneidad

Etapa 5b): Meta-análisis


1) Inspección gráfica de los datos

2) Test Q de Heterogeneidad

Etapa 5a).Evaluación de la homogeneidad

p>> 0.05

1) Existe homogeneidad2) Metaanálisis por efectos fijos

H0: la variabilidad encontrada puede explicarse como meras fluctuaciones aleatorias debidas al muestreo.

H1: Existe una variabilidad adicional.


Etapa 6). Metaanálisis de efectos fijos con pesos por Inverso de la Varianza

OR (promedio) = 1.61 (1.08 a 2.39)


Etapa 7): Conclusiones clínicas

1) The meta-analysis suggests that Praziquantel should remain as the drug of choice for all Schistosoma spp. that affect humans. 2) Combination therapy offers a great promise appearing to increase the cure rates of schistosomiasis treatment. 3) Artemisinin derivates significantly reduce the incidence of S.haematobium, S. japonicum and S. mansoni infections showing a strong prophylactic effect against all sorts of Schistosomiasis.

6th European Congress on Tropical Medicine and International Health 6-10 Septiembre 2009 (Verona, Italia)

Documents

Francisco Javier Burguillo