A avaliação das ações públicas, uma forma de avaliação entre outras
Podemos avaliar : Podemos avaliar : O pessoal O pessoal (nível de conhecimento, (nível de conhecimento,
competências, práticas profissionais)competências, práticas profissionais) As estruturas (instituições, organismos, As estruturas (instituições, organismos,
serviços)serviços) As técnicas (produtos, processos, As técnicas (produtos, processos,
procedimentos)procedimentos) As açõesAs ações (políticas, programas, projetos)(políticas, programas, projetos)
Vários tipos de ações
PolíticasPolíticas ProgramasProgramas ProjetosProjetos Normas, regulamentação (leis, decretos)Normas, regulamentação (leis, decretos) ProcedimentosProcedimentos DispositivosDispositivos FunçõesFunções
Definição da avaliação das políticas (ações) públicas (I)
Avaliar uma política consiste em Avaliar uma política consiste em ““avaliar sua eficiência, comparando avaliar sua eficiência, comparando seus resultados com os objetivos seus resultados com os objetivos fixados e os meios utilizados”fixados e os meios utilizados” (Decreto de 18/11/1998)(Decreto de 18/11/1998)
Definição da avaliação (V)
Atividade de estudo e análise sobre a Atividade de estudo e análise sobre a implementação e os resultados de uma implementação e os resultados de uma ação pública ação pública
Realizada num quadro metodológico e Realizada num quadro metodológico e institucional (mais ou menos) formalizadoinstitucional (mais ou menos) formalizado
No intuito de prestar contas e/ou de No intuito de prestar contas e/ou de melhorar essa ação melhorar essa ação
A avaliação : um momento no ciclo de vida das ações
Avaliação ex-anteAvaliação concomitanteAvaliação a meio caminhoAvaliação ex-post
Três dimensões da avaliação
CognitivaCognitiva NormativaNormativa InstrumentalInstrumental
Controle
Auditoria
Consultoria
Pesquisa socialAnálise de políticas
Medição da performanceBenchmarking
AVALIAÇÃO
Finalidade da avaliação
Prestar contas sobre o “bom uso dos fundos públicos” (accountability)
Tomar decisões em base mais racional
estratégia (relação com a prospectiva)otimização do uso dos recursos
Mobilizar-se, dar sentido à ação Compartilhar informações, fazer convergir as
representações
Princípios da avaliação como procedimento institucional
A avaliação institucional utiliza os resultados da pesquisa avaliativa
Trata-se de um trabalho coletivo, monitorado e sintetizado por uma instância de avaliação
Toda avaliação começa pela elaboração coletiva de um projeto (referencial, questionamento, hipóteses, métodos)
Etapas de uma avaliação
Carta de mandatoCarta de mandato Elaboração de um projeto de avaliaçãoElaboração de um projeto de avaliação Constituição de uma instância de avaliação, Constituição de uma instância de avaliação,
que valida o projeto que valida o projeto Lançamento de um programa de estudoLançamento de um programa de estudo Acompanhamento e validação dos estudos Acompanhamento e validação dos estudos Redação e validação do relatórioRedação e validação do relatório Acompanhamento e valorização das Acompanhamento e valorização das
conclusõesconclusões
O PROJETO DE AVALIAÇÃO
Contexto, expectativas, apostas Delimitação das ações a serem avaliadas Critérios de avaliação (referencial) Diagnóstico e hipóteses Questionamento (agenda analítica) Balanço informacional Programa de estudo (entrevistas, pesquisas)
Escolha dos operadores
Papel da instância de avaliação Elaborar uma lista de questionamentos com Elaborar uma lista de questionamentos com
base no mandatobase no mandato Escolher um (uns) método(s) Escolher um (uns) método(s) Juntar informações e documentos pertinentes Juntar informações e documentos pertinentes Realizar audições Realizar audições Organizar e conduzir as pesquisas Organizar e conduzir as pesquisas Sintetizar e interpretar seus resultadosSintetizar e interpretar seus resultados Redigir o relatório de avaliação Redigir o relatório de avaliação Comunicar, explicar, divulgar Comunicar, explicar, divulgar
Elaborar um referencial:
Transformar objetivos imprecisos, contraditórios e incompletos em um
sistema hierarquizado de resultados ou de impactos esperados, suscetíveis de serem
medidos ou objetivados através de indicadores ou de descritores
Distinguir diferentes níveis de resultados
Outputs (“resultados operacionais”) : resultado direto da atividade dos serviços, bens e serviços produzidos no âmbito de um programa
Outcomes (impacto, efeitos): efeitos econômicos e sociais do programa, a curto, médio ou longo prazo
A cadeia dos resultados
Um exemplo simples : O policial e a segurança rodoviária
Os efetivos da polícia (os “meios”)Os efetivos da polícia (os “meios”) As horas de trabalho disponíveis do As horas de trabalho disponíveis do
policial (o “potencial”)policial (o “potencial”) Os controles de alcoolismoOs controles de alcoolismo Os controles positivosOs controles positivos As sançõesAs sanções A informação públicaA informação pública A dissuasãoA dissuasão A redução do alcolismo ao volanteA redução do alcolismo ao volante A redução do número de mortosA redução do número de mortos
“Saídas”
ou
“Impactos”
“Meios”
ou
“Recursos”
“Outputs”
ou
“Produções”
Os principais objetos do questionamento
Implementação Implementação (conformidade, mobilização dos (conformidade, mobilização dos atores)atores)
Alcance dos objetivos Alcance dos objetivos (como o problema evolui) (como o problema evolui) Efeitos líquidos sobre os objetivos Efeitos líquidos sobre os objetivos (eficácia)(eficácia) Efeitos inesperados Efeitos inesperados ((efeitos de sistemaefeitos de sistema…)…) Mecanismos de ação Mecanismos de ação ((porquê e como a política porquê e como a política
operaopera)) Influência do contexto Influência do contexto ((circunstâncias influindo circunstâncias influindo
na implementação e na eficáciana implementação e na eficácia))
“Meta-critérios” de avaliação
PERTINÊNCIA (objetivos / finalidades /
necessidades)
COERÊNCIA (meios / dispositivo / objetivos)
EFICÁCIA (resultados / objetivos)
EFICIÊNCIA (resultados / meios / custos) IMPACTO SISTÊMICO (impacto global sobre
o sistema)
ProblemasNecessidades Problemas
NecessidadesAmbienteSociedade
Resultados EfeitosPOLÍTICAObjetivos – Meios – Recursos – Atores
COERÊNCIA
EFICIÊNCIA
EFICÁCIA
IMPACTO SISTÊMICO
PERTINÊNCIA
Fonte : Guia da ComissãoAvaliando as Despesas da UE
Redigir um relatório de avaliaçãoo que o leitor deve poder entender :
Objetivo da avaliaçãoObjetivo da avaliação Delimitação exata do objetoDelimitação exata do objeto Como a avaliação foi planejada e conduzidaComo a avaliação foi planejada e conduzida Quais fatos foram estabelecidosQuais fatos foram estabelecidos Quais conclusões foram tiradasQuais conclusões foram tiradas Quais recomendações resultaram delaQuais recomendações resultaram dela
A Carta da Sociedade Francesa para a Avaliação (SFE) Princípios de : Princípios de :
PluralidadePluralidadeDistanciamentoDistanciamentoCompetênciaCompetênciaRespeito das pessoasRespeito das pessoasTransparênciaTransparênciaOportunidadeOportunidadeResponsabilidadeResponsabilidade
Onde encontrar as informações ? Dados quantitativos
exploração de arquivos estatísticosinformações administrativaspesquisa por sondagem (questionário,
telefone, entrevista) Dados qualitativos
entrevistas abertas ou semi-abertasanálise de documentosvídeosdiscussão em grupoobservação participativa
Os métodos da análise causal
Objetivo : comprovar e quantificar uma Objetivo : comprovar e quantificar uma relação causal entre um “tratamento” e relação causal entre um “tratamento” e um efeito observávelum efeito observável
Uma tarefa central na ótica de uma Uma tarefa central na ótica de uma racionalização da decisão racionalização da decisão
Método preferido : a experimentação Método preferido : a experimentação controladacontrolada
Outro método : a estimativa de um Outro método : a estimativa de um modelo econométricomodelo econométrico
O modelo da experimentação socialO modelo da experimentação social Um “tratamento” social é aplicado a uma Um “tratamento” social é aplicado a uma
amostra aleatória de beneficiáriosamostra aleatória de beneficiários Uma amostra estatisticamente equivalente de Uma amostra estatisticamente equivalente de
não-beneficiários é formadanão-beneficiários é formada A situação dos indivíduos em relação aos A situação dos indivíduos em relação aos
objetivos é observada antes, durante e após a objetivos é observada antes, durante e após a implementação do programaimplementação do programa
Testes estatísticos permitem estabelecer em Testes estatísticos permitem estabelecer em qual medida o tratamento “faz a diferença”qual medida o tratamento “faz a diferença”
Limites e dificuldades da experimentação
Utilização limitada a certos tipos de Utilização limitada a certos tipos de programas (efeitos específicos, programas (efeitos específicos, existência de um ”contrafactual”)existência de um ”contrafactual”)
Obstáculos éticos / práticos Obstáculos éticos / práticos Custos, prazosCustos, prazos Problemas de validade externa Problemas de validade externa
(generalização)(generalização)
Métodos microeconométricos
Exigem muitos dados individuais a Exigem muitos dados individuais a respeito dos beneficiários de um respeito dos beneficiários de um “tratamento”“tratamento”
Sua validade depende da validade dos Sua validade depende da validade dos modelos explicativos subjacentes modelos explicativos subjacentes
Modelos macroeconométricos
Exigem séries temporais bastante Exigem séries temporais bastante longaslongas
Sua validade depende da validade do Sua validade depende da validade do modelo explicativo subjacentemodelo explicativo subjacente
Na prática : utilização limitada à Na prática : utilização limitada à análise dos efeitos econômicos das análise dos efeitos econômicos das políticas políticas
A avaliação não se limita à análise causal
A avaliação visa tanto explicar mecanismos A avaliação visa tanto explicar mecanismos quanto medir efeitosquanto medir efeitos
Ela participa tanto da explicitação do significado Ela participa tanto da explicitação do significado da ação quanto da sua racionalizaçãoda ação quanto da sua racionalização
Ela deve produzir uma argumentação apropriada Ela deve produzir uma argumentação apropriada para convencer um público diversificado…para convencer um público diversificado…
e para fundamentar novas ações / decisões com e para fundamentar novas ações / decisões com base em informações heterogêneasbase em informações heterogêneas
agindo por indução mais do que por agindo por indução mais do que por demonstraçãodemonstração
Os métodos qualitativos
Pesquisas qualitativas (entrevistas…)Pesquisas qualitativas (entrevistas…) Estudos de casos, monografias Estudos de casos, monografias Análise de documentosAnálise de documentos Etno-metodologiaEtno-metodologia Utilização de material audiovisual Utilização de material audiovisual ““Palavra de especialistas” Palavra de especialistas” Métodos de trabalho em grupoMétodos de trabalho em grupo
As técnicas de decisão
Custo – eficácia: comparação de relações Custo – eficácia: comparação de relações custo / resultados para diferentes custo / resultados para diferentes programas comparáveisprogramas comparáveis
Custo – benefícios : os resultados e os Custo – benefícios : os resultados e os impactos são traduzidos em termos impactos são traduzidos em termos monetários e comparados ao custo do monetários e comparados ao custo do programaprograma
Análise multicritérios Análise multicritérios
Os métodos econômicos da avaliação ambiental
Método dos “preços hedônicos”Método dos “preços hedônicos”
Avaliação contingenteAvaliação contingente
Limites desses métodos : o valor dos bens Limites desses métodos : o valor dos bens ambientais é assimilado à sua utilidade ambientais é assimilado à sua utilidade para os indivíduos para os indivíduos
A “neutralidade carbono”
Princípio geral : Princípio geral : compensaçãocompensação obrigatória por obrigatória por economias equivalentes, em termos economias equivalentes, em termos físicosfísicos (toneladas de carbono), no âmbito de um (toneladas de carbono), no âmbito de um territórioterritório (região), do impacto dos novos (região), do impacto dos novos projetos de desenvolvimento sobre as projetos de desenvolvimento sobre as emissões de gases com efeito estufa emissões de gases com efeito estufa
Ferramenta de base : sistema de cálculo dos Ferramenta de base : sistema de cálculo dos “balanços de carbono” de acordo com a “balanços de carbono” de acordo com a natureza dos projetosnatureza dos projetos
Implantada na França dentro dos contratos de Implantada na França dentro dos contratos de planos Estado – Regiõesplanos Estado – Regiões
Objetivo : estabilidade ou “fator 4” ? Objetivo : estabilidade ou “fator 4” ?
As agendas 21
Programa de ação para o século 21, adotado em Programa de ação para o século 21, adotado em 1992 por 173 países, na Cúpula da Terra, Rio 1992 por 173 países, na Cúpula da Terra, Rio 9292
as coletividades territoriais foram convidadas a as coletividades territoriais foram convidadas a implementar uma Agenda 21 localimplementar uma Agenda 21 local
Objetivos : desenvolvimento econômico e Objetivos : desenvolvimento econômico e social ; conservação e administração dos social ; conservação e administração dos recursos para o desenvolvimento; dar força aos recursos para o desenvolvimento; dar força aos principais grupos sociais principais grupos sociais
Mais de 200 ações na França Mais de 200 ações na França
A diretriz européia sobre os planos e programas (2001)
Torna obrigatória a avaliação ambiental Torna obrigatória a avaliação ambiental ex-ex-anteante dos planos e programas suscetíveis de dos planos e programas suscetíveis de ter uma incidência significativa sobre o meio ter uma incidência significativa sobre o meio ambienteambiente
Na França, essa diretriz é aplicada em Na França, essa diretriz é aplicada em dezenas de procedimentos administrativos dezenas de procedimentos administrativos