View
226
Download
0
Category
Preview:
Citation preview
Como Randomizar?
Seminário de Avaliação de ImpactoLuanda, Angola
Novembro 19 – 20, 2015
Visão Geral
1. Oportunidades para Randomizar
2. Defina o grupo alvo
3. Selecione aspectos do programa para avaliar
4. Nível de randomização
5. Você deve avaliar?
Video: Oportunidades para Randomizar
Configuração básica de uma avaliaçãorandomizada
Randomization methodsIndividuals/Clusters Multiple/Cross-cutting treatments
Alocação
Aleatória
Grupo de
tratamento
Grupo de
Controle
Verificar Balanço
Survey pós-
programa
Medir o Impacto
ValidadeInterna
População
Alvo
Fora da
avaliação
Amostra de
Avaliação
AmostraAleatória
ValidadeExterna
Survey inicial de
Base
Amostraaleatória da área de interesse
Amostra aleatória e alocação aleatória
Aleatóriamenteselecione a áreade interesse
DesigneAleatóriamentepara tratamentoe controlo
Amostra aleatória e alocação aleatória
Aleatóriamenteselecione ambos grupos, tratamento e controlo
Amostra aleatória e alocação aleatória
2006
Renda por pessoa,
mensal, Xelim (Sh)
1000
500
0Trate Compare
1457 1442
Oportunidades para Randomizar quandoRecursos são Limitados
Sorteie quando há excesso de candidatos
Que são elegíveis e que podem ser servidos peloprograma
Sorteie quando há excesso de candidatos:Grupo de Apoio à Juventude em Uganda
Sorteio Direcionado
Exclui alguns do sorteio
Randomiza para os outros
Sorteio Direcionado
Randomize o restante da população elegível
Aleatóriamente altere quando receber o programa
TempoDuranteAntes
período de avaliação
Depois
Aleatóriamente altere quando receber o programa: Pré-escola na Cambodia
Aleatóriamente altere a potência
Resumo: oportunidade para randomizar
Considere
1. Critérios de focalização do programa: Quem é elegível para o programa? O programa tem participação restrita, é amplamente aberto, algumacombinação distinta?
2. Recursos: O programa possui recursos suficientespara atingir todod os beneficiários elegíveis?
3. Tempo: Como os potenciais beneficiários são inscritosno programa – todos de uma só vez ou em fasesgraduais?
Visão Geral
1. Oportunidades para Randomizar
2. Defina o grupo alvo
3. Selecione aspectos do programa para avaliar
4. Nível de randomização
5. Você deve avaliar?
Quem este programa esperabeneficiar?
População Inteira População Alvo
Não Elegível
Visão Geral
1. Oportunidades para Randomizar
2. Defina o grupo alvo
3. Selecione aspectos do programa para avaliar
4. Nível de randomização
5. Você deve avaliar?
Testando várias funcionalidades do programaBasic Setup Randomization methodsIndividuals/Clusters
População
Alvo
Fora da
avaliação
Amostra de
Avaliação
População Total
Alocação
Aleatória
Grupo de
Tratamento 3
Grupo de
Controle
Grupo de
Tratamento 2
Grupo de
Tratamento 1
Funcionalidades do programa transversalRandomization methodsIndividuals/Clusters Multiple/Cross-cutting treatments
População
Alvo
Fora da
avaliação
Amostra de
AvaliaçãoAlocação
Aleatória
T 1 C 1
T 2 T1*T2 T2
C 2 T1 C
Visão Geral
1. Oportunidades para Randomizar
2. Defina o grupo alvo
3. Selecione aspectos do programa para avaliar
4. Nível de randomização
5. Você deve avaliar?
Qual é o nível da randomização?
unidade INDIVIDUAL: unidade de CONGLOMERADO:
exemplo: aluno, mãe, pai, família
Exemplo: sala, clínica de saúde, vila
Qual é o nível da randomização?
Individual ou Conglomerado?
Qual é o nível da randomização?
Individual
Qual é o nível da randomização?Conglomerado (grupo)
Qual é o nível da randomização?Por exemplo, escola
Qual é o nível da randomização?Fatores que importam
1. Unidades de Implementação
2. Efeitos de contaminacao
3. Unidade de amostragem e poderestatístico
4. Ética e Justiça
Qual é o nível da randomização?
Aluno
Escola
Comunidade
Classe
A unidade de randomizaçãodeve estar no mesmo patamarda unidade de intervenção do programa:
Exemplo:
SE o programa foca em classes ->
Randomização deve ser no patamar da classe, escola, comunidade
Qual é o nível da Randomização?
A. Unidade de Implementação
B. Efeitos de transbordamento: indivíduo no controle também benefícia do tratamento
C. Amostragem e Custo
D. Ética e Justiça
Aulasindividuais
Transbordamento: alunos do programaconversam com seus colegas
Com efeitos de transbordamento para impactosuperestimado/subestimado
Controle
Impacto Real Contaminacao
ImpactoMedido
Tratamento
Impacto
Maior unidade de randomização reduz o riscodo efeito de contaminacao
Exemplo: randomize ao nível escolar para diminuirinterações entre os alunos do tratamento e controle
Escola
Aluno
Pergunta: Há algum risco de efeito de contaminacao nos programas abaixo?
• Exemplo 1: Programa de capacitação profissional
• Candidatos a emprego no grupo de controle são menospropensos a conseguirem empregos como resultado do programa, se os empregos disponíveis são dados para aqueles que receberam treinamento.
• Impacto medido do programa = empregos no tratamento –empregos na comparação
• Como resultado, impacto medido do programa é maior que o impacto real do programa
Pergunta: Há algum risco de efeito de contaminacao nos programas abaixo?
• Exemplo 2: Programa educacional de HIV-AIDS
• Pessoas que participaram do programa educacional irãodizer aos seus amigos
• Impacto medido do programa = HIV-AIDS conscientizaçãono tratamento – HIV-AIDS conscientização na comparação
• Como resultado, impacto medido está abaixo do que oimpacto real
Qual é o Nível da Randomização?
1. Unidades de Implementação
2. Efeitos de contaminacao
3. Unidade de amostragem e poderestatístico
4. Ética e Justiça
Maior unidade de randomização exigemaior amostra
Algum poder estatístico:
Randomização na escola: • 800 no tratamento e
800 no controle ….em• 40 tratamento e 40
escolas de controle, 20 alunos por escola
Randomização de alunos: • 393 no tratamento e
393 no controle
Assuma uma correlação de intraconglomerado de 0.05
Precisa aumentar número de conglomerados, e não o número de indivíduos por conglomerado
Por exemplo, os dois estudos abaixo tem o mesmopoder:• 80 conglomerados, 20 indivíduos por
conglomerado• 40 conglomerados, 1067 indivíduos por
conglomeradoIsto são 1,600 indivíduos comparados a 42.680!
Assuma uma correlação de intraconglomerado de 0.05
Qual é o Nível da Randomização?
1. Unidades de Implementação
2. Efeitos de transbordamento
3. Unidade de amostragem e poderestatístico
4. Ética e Justiça
As vezes, na percepção individual, surje umapercepção de injustiça no grupo de controle
caso haja ocorrido uma escolha aleatória dos colegas, membros da comunidade, etc.
Menos se todos no mesmo grupo ou vila estão no controle
Qual é o Nível da Randomização?
1. Unidades de Implementação
2. Efeitos de transbordamento
3. Unidade de amostragem e poderestatístico
4. Ética e JustiçaRandomize aomenor nívelpossível
Por que nos preocupamos com o
tamanho da amostra?• Pergunta geral:
Quão grande a amostra precisa ser para
detectar com credibilidade um efeito de
tamanho determinado?
O que “Credibilidade” significa aqui?Significa que podemos estar razoavelmente certos de que a
diferença entre o grupo que recebeu o programa e o grupo que
não recebeu é devida ao programa
• Randomização remove o viés, mas não
remove a variancia: ele funciona por causa
da lei dos grandes números… quão grande
grande tem que ser?
Coisas para ter em mente quando considerarum projeto
• Qual é o nível ao qual o programa é administrado? (individual, vila, grupo, distrito, etc.)
• Se é conglomerado, quantos conglomerados a organizaçãoimplementadora pode atingir através do orçamentoexistente?
• Se é conclomerado, quantos conglomerados podem seridentificados adicionalmente aos conglomerados do programa?
• Qual é o nível de adesão ao programa que vem sendoobservado em programas pilotos e em outrasconfigurações?
• É esperado grandes efeitos de transbordamento?
Coisas para ter em mente quando considerarum projeto
• É esperado que o programa tenha um diferente efeitosobre as pessoas/grupos com diferentes características?
• O programa pode ser implementado ao longo do tempo?
• Existem muitos programas (tratamentos) a seremavaliados?
• Existem programas complementares a serem avaliados?
Alguns Exemplos
Em que nível devemos randomizar um programa de vermifugação escolar?
A. Escola
B. Professor
C. Sala de Aula
D. Clínica
E. Comunidade
F. Aluno
Em que nível devemos randomizar para um programa de transferência de renda
condicionada?
A. Individual
B. Família
C. Vila/Comunidade
Em qual grupo devemos randomizar para um programa de formação de professores?
A. Escola
B. Professor
C. Sala de Aula
D. Aluno
Em que nível devemos randomizar para umapequena empresa receber uma contribuição?
A. Individual
B. Família
C. Clínica
D. Escola
E. Vila/Comunidade
Visão Geral
1. Oportunidades para Randomizar
2. Defina o grupo alvo
3. Selecione aspectos do programa para avaliar
4. Nível de randomização
5. Você deve avaliar?
Isto precisa de uma Avaliação de Impacto?
Maximize o aprendizado
Considere1. Você já sabe a resposta?2. Esta política é relevante?
a) Este é um programa que o governo pode propagarse bem sucedido?
b) Isto é estrategicamente relevante para a redução da pobreza?
3. Isto adiciona conhecimento?4. Este programa esta preparado para uma avaliação de
impacto?5. Há opções de elaboração de programa que precisam ser
comparadas?6. Existe uma restrição de recursos que proporciona uma
oportunidade para a randomização?
Agora, esta é a sua oportunidade de integrar uma avaliação de impacto no
seu próprio programa
Thank you!
Recommended