Upload
gilberto-fialho-marreiro
View
216
Download
1
Embed Size (px)
Citation preview
Universidade Federal do ABCCurso: Políticas Públicas
Disciplina: Avaliação e Monitoramento de Políticas PúblicasProfa. Maria Luiza Levi
Aula 3 – Avaliação & Monitoramento: panorama geral e principais conceitos (1ª. Parte)
Pontos a serem abordados
1) Monitoramento x avaliação
2) Objetos da avaliação: o que se avalia?
3) Finalidades da avaliação: para quê se avalia?
4) Tipos de avaliação
5) Perguntas, critérios e abordagens de avaliação
Avaliação é ..... “identificação, esclarecimento e aplicação de critérios defensáveis para determinar o valor (valor ou
mérito), a qualidade, a utilidade, a eficácia ou a importância do objeto avaliado em relação a esses
critérios” (Worthen, R. et. al., 2004)
Retomando e especificando o conceito de avaliação
Exame sistemático das políticas públicas como objetos de conhecimento, ou seja, com base em procedimentos científicos (alguns autores diriam “reconhecidos”) de coleta e análise de
informações, do conteúdo, da estrutura, do processo de implementação e dos resultados e impactos das políticas
Avaliação formal
Monitoramento x Avaliação
Ferramenta de gestão por excelência, atividade gerencial interna e cotidiana de acompanhamento de ações e indicadores de uma determinada intervenção
Um processo de monitoramento bem estruturado é um importante subsídio a uma pesquisa avaliativa
Monitoramento
Feito basicamente por meio de indicadores, busca produzir informações sintéticas e tempestivas (“termômetros”)
Não deve se restringir a intervenções específicas, mas, sim, envolver o acompanhamento contínuo de grandes temas da área (expertise interna)
É atividade contínua, ao contrário da avaliação (“um momento de ‘parada’ no tempo”), e interna aos órgãos de gestão de políticas públicas
Objeto dos estudos de Avaliação de Políticas Públicas
Política
Programa
Projeto
Programa
Projeto
Projeto
Projeto
Hierarquia: política, programas, projetos
Políticas públicas se materializam através de Programas e Projetos,
que são os objetos mais frequentes de avaliação
Política = princípios orientadores gerais de determinada área de
atuação do Estado
Programa = grandes intervenções ou conjunto de intervenções
relacionadas
Projeto = intervenção (ou ação) específica
Constituição (capítulos: educação, saúde, assistência etc.), leis orgânicas, consensos (academia, corporações profissionais), planos nacionais de longo
prazo
Frequentemente por meio de leis específicas (quando alteram leis existentes)
Objetivos, metas e recursos financeiros constam das leis do “ciclo de planejamento e orçamento” da ação pública no Brasil:
PPA, LDO e LOA
+Documentação/divulgação institucional de governos
Referências básicas
Política
Programa
Projeto
Objeto dos estudos de Avaliação de Políticas Públicas
Exemplos: política, programas, projetos em âmbito federal
Educação
“É dever do Estado garantir educação básica dos 4 aos 17
anos”Política
Programa
Projeto
Garantia de merenda escolar
Incentivo para implantação de infra estrutura para merenda nas escolas
Capacitação para formação de merendeiros
Saúde
“A saúde é direito de todos e dever do Estado”
Programa Mais Médicos
Contratação de médicos brasileiros e estrangeiros para atuação em locais específicos
Abertura de vagas para graduação e residência médica em determinadas especialidades
Assistência Social
“A assistência social será prestada a quem dela necessitar,
independentemente de contribuição à seguridade social”
Programa Bolsa Família
Incentivo financeiro para a capacitação de funcionários para o cadastramento e acompanhamento das famílias
Transferência financeira para pagamento de benefícios do Bolsa Família
Objeto dos estudos de Avaliação de Políticas Públicas
Política
Programa
Projeto
Princípios fundantes, ações gerais e perenes
Ações/intervenções específicas, com prazos,
recursos, objetivos, parcerias e população alvo definidos,
responsabilidades delimitadas
Ou seja: referências mais precisas para balizar avaliações
Importante: as intervenções objeto de avaliação podem ser de tempo determinado ou de médio prazo/permanentes
Objeto dos estudos de Avaliação de Políticas Públicas
Objeto de estudo avaliativo e questão federativa
Adoção do formato político-
administrativo federativo
Diferenças (regionais, geográficas, étnicas,
culturais)
resposta objetiva
Preservar a unidade respeitando as diferenças, repartindo competências
entre os entes federados (e esferas de tributação)
Em qualquer avaliação de políticas públicas
É necessário mapear:1) Responsabilidades definidas no arcabouço legal
2) O desenho específico de determinada política em termos de atribuições dos diferentes entes, incluindo possíveis sobreposições ou “vazios de responsabilidade”
Objeto dos estudos de Avaliação de Políticas Públicas
Elementos mapeados na literatura
Finalidades da avaliação
1) Avaliação diagnóstica de políticas públicas
2) Subsídio à gestão de políticas públicas
3) Produção de conhecimento científico
4) Accountability
4.1) Avaliação de conformidade
4.2) Avaliação de adequabilidade das ações de gestão (economicidade, conteúdo)
4.3) Avaliação institucionalizada em órgãos gestores
5) Empoderamento
6) Advocacy
7) Outras formas de uso político
8) A avaliação como um substituto do processo de precificação via mercado
Finalidades da avaliação
1) Diagnóstico
Determinantes de um problema ou necessidade:
principais causas, contexto em que
ocorre, caracterização dos
grupos populacionais atingidos
Avaliação quanto
+
No Brasil, pouco comum enquanto pesquisa avaliativa sistemática; Capacidade de diagnóstico interna aos órgãos públicos muito heterogênea (ministérios, secretarias e níveis de
governo); Exigência relativamente comum de órgãos centrais no processo de formulação/implementação de políticas
públicas (Ministérios/Secretarias ligadas ao Planejamento, Fazenda/Finanças, Casa Civil); Particularmente enfatizada por órgãos financiadores multilaterais (Banco Mundial, BIRD, Banco
Interamericano de Desenvolvimento, BID).
À adequabilidade de diferentes alternativas (de política, de desenho, de estratégia)
Aos recursos necessários (financeiros, parcerias, ações etc.)
Ao público-alvo candidato a se beneficiar da intervenção
2) Subsídio à gestão de políticas públicas
A avaliação como “modalidade de pesquisa que visa a atender às demandas informacionais dos
‘administradores de programas’”
Apoio à identificação do público-alvo
Identificação do cumprimento de padrões mínimos de qualidade (de um serviço, um processo)
Identificação de erros de concepção, problemas de desenho da estratégia ou de condução da intervenção
Fornecimento de elementos para fundamentar a adoção de medidas corretivas;
Finalidades da avaliação
2) Subsídio à gestão de políticas públicas (continuação)
Controle do cumprimento de metas
Identificação / mensuração de resultados obtidos e de impactos junto à população
Aprimoramento da gestão dos programas/projetos via aprendizado institucional;
Apoio à tomada de decisão quanto à continuidade do programa/projeto;
Finalidades da avaliação
O subsídio à gestão pública é a justificativa mais frequentemente apontada como finalidade da avaliação de políticas públicas. A
produção de conhecimento “sem aplicabilidade prática” é apontada como o risco do trabalho dos pesquisadores avaliadores
Discussão específica a partir do texto do
Jannuzzi
2) Subsídio à gestão de políticas públicas (continuação)
Avaliação para melhorar a eficiência do gasto público (mapeamento de desperdícios, possibilidade de ganhos: Desafio: adaptar a lógica privada aos constrangimentos da gestão pública
Avaliação de qualidade dos produtos/serviços. Exemplo: mistery shopping
Finalidades da avaliação
3) Produção de conhecimento científico
É comum um pesquisador ou uma
entidade ter uma visão sobre um tema de
política pública
Pesquisa avaliativa = pesquisa aplicada que pode gerar conhecimento científico
“programas de transferência de renda, tipo Bolsa Família, criam comportamentos de acomodação e dependência”
Ou, “programas de transferência de renda vinculados à mulher chefe de família contribuem para a emancipação feminina”
Ou, “a prestação de serviços públicos por entidades privadas é mais eficiente do que em órgãos geridos pelo Estado”
Muito frequentemente pesquisas avaliativas são
realizadas para responder a esse tipo de questão “finalística” das políticas públicas, ou a identificar problemas
típicos da gestão pública
Finalidades da avaliação
4.1) Avaliação de conformidade dos atos da gestão pública em relação a regras jurídicas e contábeis (órgãos de controle)
Formal legal
Formal contábil
Fiscal (p. ex. Lei de Responsabilidade Fiscal)
Processo de implementação das
políticas públicas
Obs.: Tipo pouco explorado nos manuais de avaliação de políticas públicas.Formato da avaliação: auditoria
Posteriormente os órgãos de controle
verificam a conformidade
(Tribunais de Contas e órgãos de
Controle Interno)
4) Accountability É um princípio orientador da gestão pública que envolve prestação de contas, transparência e responsabilização
(elemento de exercício do controle social)
Finalidades da avaliação
Recomendações obrigatórias (não
simplesmente sugestivas)
4.2) Avaliação da adequabilidade da ação dos governos em relação às políticas públicas (órgãos de controle)
Qualidade, celeridade, menor custo na prestação
de serviços/trato com bens públicos
4) Accountability (continuação)
Economicidade
Forma e conteúdo da
política pública
Coerência da intervenção, análise da adequabilidade
dos mecanismos utilizados (cadastros, critérios, parcerias),
adequação ao espírito geral da política
Critérios, referências de avaliação
Finalidades da avaliação
Como elemento de transparência / divulgação institucional de governos
Avaliações “positivas” tendem a ser mais
comuns
Divulgação institucional da ação de governo
Sistemas institucionalizados de avaliação (“termômetros”
controversos)
Educação, Saúde: indicadores avaliativos que
sintetizam e ranqueiam
Avaliação em processo de institucionalização
Ministério do Desenvolvimento Social:
inovação institucional
4.3) Avaliação institucionalizada em órgãos gestores de políticas
Finalidades da avaliação
4) Accountability (continuação)
5) Empoderamento Avaliação como processo que dá voz a indivíduos envolvidos
com uma política pública específica
Da expressão em inglês “empowerment”: capacidade de indivíduos ou grupos de escolher, definir, reivindicar cursos de ação (no caso pública) que interfiram
em suas vidas
Burocracia de médio escalão
Burocracia do “nível da rua”
Usuários
Parceiros privados
Finalidades da avaliação
6) Advocacy
Grupos de interesses variados, incluindo entidades de defesa
de direitos, grupos de usuários, atividade de lobby (influência em espaços decisórios) para
empresas, ONGs
7) Outras formas de uso político
Propaganda política, instrumentalização de
posicionamentos políticos, discussões no legislativo etc.
Usos raramente mencionados nos
manuais de Avaliação de Políticas Públicas
A explicitação da noção de interesse se choca com a pretensa
neutralidade da avaliação
Finalidades da avaliação
8) Avaliação como um substituto do processo de precificação de mercado
Visão de que os serviços públicos não contam com um mercado competitivo de oferta de
similares, que fornece informação sobre qualidade e eficiência
Costa & Castanhar (2003). Avaliação de programas públicos: desafios conceituais e
metodológicos
Finalidades da avaliação