Hoje, há muita confusão com relação ao que é realmente oimpacto de projetos sociais

• Aprendizagem dos alunos• Aumento da renda feminina• Redução da taxa de mortalidade• Redução na taxa de evasão escolar

MUDANÇA NA VIDADOS ATENDIDOS

PODE SER IMPACTO

• Alunos participantes• Mulheres atendidas• Pacientes tratados• Acessos à plataforma de ensino

VOLUME DE ATENDIMENTO

NÃO É IMPACTO

Para refletir sobre essa questão, é preciso começar pelo significado da ideia de ‘avaliação’

• Verificação• Ato de avaliar• Valor determinado pelos avaliadores• Estabelecimento do valor de algo, cálculo• Prova• Apreciação da competência ou do progresso de um aluno ou de um profissional• Arbitragem, feita por peritos, que tem por fim a determinação do valor de certos bens ou direitos

(Direito)• Apreço, estima (figurado)

Avaliar, remete a assinalar, estimar, apreciar ou calcular o valor de algo:

Fonte: http://pt.wiktionary.org/wiki/avalia%C3%A7%C3%A3o

Qualquer avaliação implica diferentes dimensões práticas e simbólicas

Avaliação é um processo de reflexão que requer:

Engajamento dos envolvidos

Consideração sobre a natureza dos

valores emapreciação

Argumento racional para justificar a

avaliação produzida

Acesso a informações para substanciar a

avaliação

• O que avaliar?• Qual o significado

da avaliação para o projeto?

• Como avaliar?• Quais os parâmetros

utilizados?

• Quais os dados disponíveis?

• Quem demanda a avaliação?

• Quem avalia?• Quem participa?

Uma primeira decisão importante é a seleção de quem será o responsável pela avaliação

Avaliador interno

• Conhece o projeto em profundidade

• Tem menos tempo, em função da lógica operacional

• Pode se sentir mais pressionado a apresentar resultados positivos em função do seu envolvimento

• Pode não ser um especialista em avaliação

• Conhece pouco o projeto

• Tem mais tempo, quando se dedica exclusivamente à avaliação

• Tende a ter mais autonomia, dependendo dos termos de sua contratação e de sua ética profissional

• Deve ser um especialista

Muitas organizações demandam a realização de avaliações externas para assegurar sua imparcialidade

Avaliador externo

No caso da avaliação externa, a relação com os executores do projeto tem um papel crítico

Avaliador responde à alta gestão

Avaliador externo

Alta gestão

Executores do programa

Avaliador externo

Alta gestão

Executores do programa

Risco de boicote: baixo engajamento com os executores

Risco de viés: excessiva subordinação aos executores

Avaliador responde aos executores

Cada momento do projeto exige uma modalidade diferente de avaliação

1. O projeto saiu do papel?

SIM NÃO (ou em parte)

2. O projeto foi executado (ou entregue)?

SIM NÃO (ou em parte)

3. O projeto tem efeitos para o beneficiário?

SIM NÃO

AVALIAÇÃO DE PROCESSOS

AVALIAÇÃO DA IMPLEMENTAÇÃO

AVALIAÇÃO DE IMPACTO

Concepção

Execução

Efeitos

A avaliação de processos estuda aspectos organizacionais de um dado projeto

• Capacidades institucionais• Financiamento e gasto• Seleção dos agentes implementadores• Seleção do público-alvo• Sistemas de informação• Capacitação dos implementadores• Sistemas logísticos• Sistemas de monitoramento e avaliação

Fonte: Draibe, S. 2001. Análise de processo da Implementação: subsistemas e indicadores

O projeto tem consistência

organizacional, financeira e

jurídica?

PREDOMINANTEMENTE

QUALITATIVA

Já a avaliação de implementação examina os resultados operacionais

O projeto tem consistência

organizacional, financeira e

jurídica?

1. Prestação da atividade-fim• Produção• Regularidade• Cobertura• Produtividade• Qualidade

2. Opinião e satisfação dos atores• Satisfação dos beneficiários• Envolvimento da sociedade civil• Engajamento dos profissionais

Fonte: Draibe, S. 2001. Análise de processo da Implementação: subsistemas e indicadores

QUALITATIVA E

QUANTITATIVA

• Como foi a entrega?

• Como o serviço/produto chegou ao beneficiário?

• Como o beneficiário percebe esse serviço?

Nas avaliações de impacto, o ponto central é compreender que “diferença” o projeto faz na vida do seu público

O projeto tem consistência

organizacional, financeira e

jurídica?

• Melhoria das condições nutricionais

• Aumento da renda familiar

• Melhoria nos exames padronizados

• Maior frequência escolar

• Ampliação da taxa de ocupação

• Maior valor atribuído à educação

• Elevação da autoestima

• Maior sensação de pertencimento à comunidade

• Aumento do controle das ações governamentais

Fonte: Draibe, S. 2001. Análise de processo da Implementação: subsistemas e indicadores

O projeto mudou as condições de

vida do beneficiário?

PREDOMINANTEMENTE

QUANTITATIVA

• Condições da criança

• Condições familiares

• Desempenho escolar

• Comportamento

• Empregabilidade

• Atitude

• Sentimentos

• Percepção

• Empowerment

Dimensões consideradas Exemplos

As avaliações de impacto requerem um planejamento minucioso

O projeto tem consistência

organizacional, financeira e

jurídica?

Identificar a tese de

impacto*

Selecionar uma dimensão a ser avaliada

Definir claramente os grupos de tratamento e

controle

Escolher uma variável

instrumental

Construir a base de dados

em dois pontos do tempo

Efeito do novo material didático sobre o desempenho dos alunos em língua portuguesa

Desempenho na nota Saresp de Língua Portuguesa no 9º ano do Fundamental

Escolas sorteadas para começar o programa versus restante da rede

Momento anterior e posterior ao início da ação

Exemplos

Hipótese de que um novo material escolar acelera a aprendizagem dos alunos

Planejamento Execução

* A Din4mo (www.din4mo.com) disponibiliza uma ferramenta para auxiliar o empreendedor social a refletir sobre sua tese de impacto: cadastre-se, acesse a aba comunidade na parte superior da página e acesse avaliações

A tese de impacto oferece hipóteses sobre como um dado projeto provoca certa mudança

O projeto tem consistência

organizacional, financeira e

jurídica?

Para testar estas hipóteses, a avaliação de impacto estima a relação de causa e efeito entre o projeto e a dimensão avaliada.

• Verificar se o uso do material provocou aumento no desempenho

• Quantificar o aumento no desempenho causado por esse uso

Uso do material didático

Tempo

Antes do novo material Depois do novo material

Desempenho dos alunos

Aumento do desempenho dos alunos

O grande desafio da avaliação de impacto é conseguir isolar a influência do projeto dos demais fatores

A avaliação de impacto buscará determinar o quanto o projeto em questão produz

mudança efetiva.Estrutura da escola

Programa de reforço escolar

Capacitação de professores

Frequência de professores

Perfil socioeconômico Material didático

Gestão da escola

Perfil do diretorda escola

Outros

Desempenho dos alunos

Inúmeros fatores podem influenciar o desempenho dos alunos

Para isso, a avaliação de impacto emprega grupos de tratamento e controle

• É fundamental que os dois grupos sejam muito similares (linha de base) para

permitir a comparação

• Há impacto se houver diferença no desempenho dos dois grupos depois do

projeto

Grupo tratamento

Participantes do projeto

Grupo controle

Não participantes do projeto

Comparação entre o desempenho dos dois grupos

IMPACTO DO PROJETO

Ao usar o novo material didático, o grupo de tratamento aumentou seu desempenho, mas isso não significa necessariamente que houve impacto

O projeto tem consistência

organizacional, financeira e

jurídica?

20

30

0

5

10

15

20

25

30

35

Antes Depois

No

ta n

o S

ares

p

Exemplo

Uso do material didático

Ao observamos o grupo de controle, vemos que seu desempenho médio também cresceu

O projeto tem consistência

organizacional, financeira e

jurídica?

Exemplo

20

25

0

5

10

15

20

25

30

35

Antes Depois

No

ta n

o S

ares

p

Tempo

Isso leva a crer que a nota do grupo de tratamento poderia ter crescido independentemente do uso do material didático

Só é possível observar o impacto ao comparar a evolução dos dois grupos

O projeto tem consistência

organizacional, financeira e

jurídica?

Desta forma, podemos concluir que o impacto médio do uso do novo material didático sobre o desempenho escolar é da ordem de 5 pontos, segundo o exame Saresp.

Exemplo

20

25

20

30

0

5

10

15

20

25

30

35

Antes Depois

No

ta n

o S

ares

p

Impacto = 5 pontos no Saresp

Controle vs Tratamento

Para realizar uma avaliação de impacto, a melhor forma de seleção de participantes é por sorteio

O projeto tem consistência

organizacional, financeira e

jurídica?

Público-alvo

Tratamento

Controle

SO

RT

EIO = Impacto

Dentro do projeto

Fora do projeto

≠ ImpactoMODELAGEM ESTATÍSTICA

Tratamento

Controle

≈

Iníc

io d

o p

roje

toIn

ício

do

pro

jeto

O método experimental é o

que garante maior

semelhança entre grupos

de tratamento e controle

Caso o sorteio não seja

possível, a escolha é feita

por métodos estatísticos,

buscando simular grupos

semelhantes

Apesar de não ser simples em termos técnicos, a avaliação de impacto

pode trazer contribuições preciosas para o desenvolvimento do projeto

O projeto tem consistência

organizacional, financeira e

jurídica?

Avaliar não é sentenciar, mas sim

uma contribuição para a melhoria contínua.

(Re)desenhar

AplicarAvaliar

Aprender

PROJETO