Sesión VII Muestreo y Podersiteresources.worldbank.org/INTLACREGTOPLABSOCPRO/... · 2007-01-24 ·...

SesiSesióónn VIIVIIMuestreoMuestreo y y PoderPoder

Christel Vermeersch

Noviembre 2006

2WBIFPSILACHDN

Introducción

p Objetivo: evaluar programas y/o intervenciones ( ¿Tiene efecto o no?)

p Necesitamos suficientes datos para detectar cambiosdebidos a la intervención:→parte 1: discusión sobre poder

p Necesitamos datos representativos:→parte 2: discusión sobre muestreo

3WBIFPSILACHDN

PARTE 1: Evaluar el efecto

p Evaluar una intervención es una prueba de significanciap Ejemplo: y es el resultado de una prueba de logro. Estimamos el

efecto de doblar el presupuesto de la escuela en el resultado promedio de la prueba de logro.

H0: E(y|Tratamiento) = E(y|Control)

H1: E(y|Tratamiento) > E(y|Control)

Prueba

estadística Error tipo IIOKNo rechazamos H0

OKError tipo IRechazamos H0

SiNo

Intervención tiene efecto (en realidad)

4WBIFPSILACHDN

Error de tipo I

5WBIFPSILACHDN

Error de tipo II y poder

6WBIFPSILACHDN

Errores tipo I y tipo II

p Error tipo I = αn probabilidad de rechazar la hipótesis nula cuando ésta es verdaderan probabilidad de concluir que la intervención tiene efecto si no tiene

efecto n Valores típicos: 0.01, 0.05, 0.1

p Error tipo II = βn probabilidad de no rechazar la hipótesis nula cuando está falsa

p Poder = 1 - βn probabilidad de rechazar la hipótesis nula cuando una hipótesis

alternativa es verdadera n probabilidad de concluir que la intervención tiene efecto si

realmente tiene efecto

p Queremos maximizar el poder de la muestra, dado el nivel α

7WBIFPSILACHDN

Qué afecta el poder de una prueba?

El poder de la prueba aumenta cuando…p Aumenta a (el error de tipo I)p Aumenta el tamaño del efecto esperadop Disminuye la varianza del indicador… como???n La varianza del promedio es proporcional a 1/n, donde n es

el tamaño de la muestra à aumentar el tamaño de la muestra

? Para detectar un cambio de indicador dado con un error de tipo a dado, hay que aumentar el tamaño de la muestra.

? En la practica, se calcula el tamaño de muestra necesario para detectar un cambio X en el indicador, con un alpha de 5 % y un poder de 80/90 %.

8WBIFPSILACHDN

Algunas simulaciones en Stata*computar el tamaño de la muestra;

sampsi 130 135, alpha (0.05) power(0.8) sd1(15) sd2(18) onesided;

*aumentamos el efecto esperado del programa==> se necesita una muestra mas pequeña;

sampsi 130 145, alpha(0.05) power(0.8) sd1(15) sd2(18) onesided;

*aumentamos el poder requerido ==> se necesita una muestra mas grande;

sampsi 130 135, alpha (0.05) power(0.9) sd1(15) sd2(18) onesided;

9WBIFPSILACHDN

Algunas simulaciones en Stata*computar el poder de una prueba;

sampsi 130 135, alpha (0.05) sd1(15) sd2(18) n1(100) n2(100) onesided;

*aumentamos el efecto esperado del programa==> poder aumenta;

sampsi 130 145, alpha (0.05) sd1(15) sd2(18) n1(100) n2(100) onesided;

*aumentamos el tamaño de la muestra => poder aumenta;

sampsi 130 135, alpha (0.05) sd1(15) sd2(18) n1(200) n2(200) onesided;

10WBIFPSILACHDN

Parte 2: Muestreo (? Datos representativos)

p Encuestas representativasn Meta: aprender acerca de la población

p (p.ej. ENCOVI: encuesta nacional)n Muestra: representativa de toda la población

p Evaluación de impacton Meta: medir los cambios de indicadores claves en la

población objetiva/ grupo de interésn En la práctica: medir la diferencia entre los grupos de

tratamiento y de controln Concentrar estratégicamente la muestran Importancia del presupuesto

11WBIFPSILACHDN

Definicionesp Unidad de análisis: El tipo de entidad para la cual

buscamos datos (personas, sitios, escuelas,…)p Población: El conjunto de todas las unidades de análisis

sobre las cuales queremos inferir conclusionesp Marco muestral: El listado de unidades de análisis utilizado

para sacar la muestra (?Cual es la situación ideal?)p Muestra: las unidades de análisis sacadas del marco

muestral, para las cuales intentamos recollectar datosp Encuestados: las unidades de análisis de la muestra para las

cuales conseguimos datos.p Fracción muestral: proporción de casos del marco muestral

seleccionada para la muestra (n/N)p Tasa de respuesta: proporción de unidades de análisis de la

muestra para las cuales recollectamos datos.

12WBIFPSILACHDN

Gráficamente…

Población

Marco muestral

Muestra

Encuestados

13WBIFPSILACHDN

Validez interna del experimento

n i.e. dentro del experimenton Pregunta: ?El grupo control es válido?n No hay diferencia sistemática entre el grupo control y el

grupo tratamiento en ausencia de la intervención.

14WBIFPSILACHDN

Validez externa del experimento

p ?Se pueden generalizar los resultados del experimento a beneficiarios fueradel experimento?

p Eso depende del marco muestral del experimento y del método de muestreop Necesitamos representatividad al nivel de la población meta

n Si no vamos a implementar la intervención nunca para personas de tipoX, no tiene sentido incluirlas en el marco muestral del experimento.

p Representatividad para una población más diversa implica que necesitamosuna muestra más granden Por qué? La inclusión de población menos “sensible” a la intervención

diluye el efecto de la intervenciónn Ejemplo: efecto de intervenciones de salud en diarrhea – concentrar la

muestra en los hogares con niños de menos de 5 años.p El presupuesto limita el tamaño de la muestra.p “Nunca arriesga su hipótesis central”p Balance entre el poder dentro de la población de interés y la representación

de la población.

15WBIFPSILACHDN

Métodos de muestreo

p Muestreo aleatorion Simple: cada unidad en el marco muestral tiene la misma probabilidad

de ser seleccionadan Estratificado: el marco muestral se divide en dos o mas estratas, en

dónde se hace un muestreo simplen de conglomerados (“clusters”): se muestrean conglomerados de

unidades, ej. pueblosn Multi-etapa – combina dos o más de los métodos anteriores, ej. muestro

aleatorio (estratificado o simple) de pueblos, y muestreo aleatorio simple de personas dentro de cada pueblo

p Muestreo sistemáticon Ej. Estudio de caso “típico”– no es correcto hacer análisis estadistico

sobre este típo de muestra!!!

16WBIFPSILACHDN

El muestreo multi-etapa cambia la varianza del indicador

p Los individuos en un cluster tienden a ser más parecidos entre ellos que con los de otros clusters:n 10 hogares del mismo cluster nos dan menos información que 10

hogares de clusters diferentesp Consecuencia: errores estándar mayores que con un muestreo

aleatorio simple (MAS)

n ρ es una medida del grado de homogeneidad entre los sujetos del cluster para la medida de interés

n k=numero de observaciones dentro de cada clustern deff puede ser estimado tanto para medidas de asociación como para

medidas de prevalencia (o medias)

44 344 21deff

kVarVarMASConCluster

))1(*1(* −+= ρ

17WBIFPSILACHDN

Ajuste de la muestra para compensarel efecto de diseño

p Varianza mas grande à poder de la prueba menor para un tamaño de muestra fijo !!!

p La pérdida de poder debida al efecto de diseño puede ser compensada por incrementar el tamaño de muestra

p Por cuanto tenemos que aumentar el tamaño de la muestra cuando hay conglomerados en la muestra?

18WBIFPSILACHDN

Tamaño de muestra con efecto de diseño

p Utilizamos métodos estándares para determinar el tamaño de muestra necesario bajo el método de muestreo aleatorio simple, .

p Calculamos el tamaño de muestra necesaria para el muestreo multi-etapas, con la formula siguiente:

p Se necesita el tamaño estimado del cluster y un valor de ρ -que es una característica de la población estudiada

p Utilizar Stata!

))1(*1(** −+== knefdinnMASMASConCluster

ρ

MASn

19WBIFPSILACHDN

Después de que tengamos la muestra… …

Población

Marco muestral

Muestra

Encuestados

20WBIFPSILACHDN

La tasa de respuesta …p Idealmente es 100 por cientop Cuando es baja, hay un riesgo de sesgo debido a la selección de los

encuestados, p.ej. cuando los “control” no quieren participar en la encuesta de seguimiento.

p Debe de ser más de 70 por ciento en ambos grupos (control y tratamiento)p No puede ser significativamente diferente entre grupos control y

tratamientop ?Que hacemos cuando la tasa de respuesta es baja?

n Mala solución: aumentar el tamaño de muestra para “compensar”n Buenas soluciones:

p hacer esfuerzos suplementarios para recolectar información sobre los non-respondientes.

p Sub-muestrar los non-respondientes para investigar si son diferentes de los respondientes.

p Comparar las características línea base de los respondientes y non-respondientes.

p Es imperativo informar sobre la tasa de respuesta en el informe de evaluación