View
546
Download
3
Embed Size (px)
DESCRIPTION
PortoAlegre, 05 dezembro de 2011 Monitoramento e Avaliação no mundo real, necessidades, dificuldades e potencialidades
Citation preview
Porto Alegre, 05 dezembro de 2011
Monitoramento e Avaliação no mundo real:
necessidades, dificuldades e potencialidades
IV Seminário de Avaliação de Políticas Públicas e Qualidade do Gasto
Vetores da modernização da gestão pública
Experiência Internacional e conceitos gerais de
monitoramento e avaliação
1
3
2
Experiência do Governo Federal
Vetores da modernização da gestão pública
1
4 vetores de transformação
Disciplina fiscal e estabilidade da moeda: um valor societário
Democracia estável: demandas sociais crescentes, controle social, transparência, descentralização e governança
Globalização e competitividade: convergência do padrão gerencial e de produtividade entre o setor público e o privado
Sociedade da informação: governo-eletrônico, produtividade, controle e transparência
Vetores da modernização da gestão pública
Crise 1: fiscal ou déficit fiscal
Crise fiscal X democracia = crise de legitimidade
Crise 2: de legitimidade ou déficit de legitimidade
Crise de legitimidade X Capacidade do Estado = crise do
Estado burocrático - reconhecimento das demandas da
sociedade pela administração pública
Crise 3: do Estado burocrático ou déficit de eficiência
Mudança na forma de criação do valor público comparado ao valor privado
Crise do Estado diante de um novo padrão de produção e sociedade democrática
Vetores da modernização da gestão pública
Experiência internacional e conceitos gerais de avaliação
2
Inerente à gestão por desempenho
Inerente ao fortalecimento da democracia com participação social, transparência e controle social
Preocupações crescentes com a qualidade do gasto e a produtividade do setor público
Forte incremento nos últimos 20 anos, porque?
Experiência internacional e conceitos gerais de avaliação
Constituição de sistemas de avaliação: Canadá é o exemplo mais antigo e bem sucedido, seguido da Austrália, Inglaterra, Chile, Espanha (casos menos freqüentes)
Avaliações aleatórias, dependentes da orientação gerencial de cada organização, sem obrigações para com o órgão responsável pela administração do serviço público: EUA (caso mais freqüente)
Prestação de contas anual: Holanda, Suécia, mais recentemente a França etc.
Três modelos principais de estruturação da função avaliativa no setor público
Experiência internacional e conceitos gerais de avaliação
Sistema descentralizado de avaliação – a avaliação é contratada e executada pelo Ministério; depende de rede de avaliadores externos credenciados e mercado de avaliação forte; há órgão central que lidera o sistema (mais freqüente)
Sistema centralizado – a avaliação é contratada pelo cabeça de sistema - é o caso do Chile, cujo órgão responsável é a Secretaria de orçamento, do Ministério de Economia (pouco freqüente)
Sistemas públicos de avaliação: dois modelos principais
Experiência internacional e conceitos gerais de avaliação
Sumario
Coordenação
de
Governo
Beneficiários
e Formadores
de opinião
Relacionado
ao
orçamento
Sistemas de Monitoramento e Avaliação pelo lado da demanda (incentivos vindo dos usuários)
Inerente ao bom desempenho da coordenação de governo
O peso da personalidade do mandatário e sua assessoria dificultam a institucionalização de sistemas M.A. de suporte ao funcionamento do Alto Governo
Inexistência de quadros permanentes e os aspectos cumulativos das especificidades de cada governo afetam o seguinte
Não é frequente o uso de mecanismos especializados para a tomada de decisão no Alto Governo:
Prevalece o caráter discricionário e pautado pela emergência
Os instrumentos de apoio tendem a limitar a intervenção direta e pessoal do Mandatário
Coordenação e Sistemas de M.A.
Experiência internacional e conceitos gerais de avaliação
Governo FHC 1 e 2 (experiências)
Brasil em Ação + Câmaras de Governo (sem vasos comunicantes)
Avança Brasil + Câmaras de Governo (sem vasos comunicantes)
Governo Lula 1 e 2 (experiências): Sistema de Metas Presidenciais + SIGOV/PNUD Gestão da Agenda presidencial (vasos comunicantes)
Programa de Aceleração do Crescimento (PAC)+ SIGOV/PNUD Gestão da Agenda presidencial (vasos comunicantes) + Salas de Situação responsáveis pela supervisão e resolução de gargalos
Governo Dilma (experiências): Ainda é cedo para saber como funciona, mas o esquema está mantido embora o PAC esteja no MPOG
Coordenação e Sistemas de M.A.
Experiência internacional e conceitos gerais de avaliação
Cada vez mais frequente
Faz parte da boas práticas de gestão de risco público
É sequência natural de processos de planejamento com participação social
Há risco do cidadão e mesmo gestores públicos compararem serviços públicos com serviços privados equivalentes
Participação tem começado na fase inicial de formulação de políticas
Participação dos beneficiários e Sistemas de M.A.
Experiência internacional e conceitos gerais de avaliação
Participação dos beneficiários e Sistemas de M.A.
Experiência internacional e conceitos gerais de avaliação
BARCELONA - ESPANHA
Relação entre a avaliação e orçamento: combinação de difícil execução
Do orçamento incremental para o orçamento por desempenho, de uma cultura orientada pelo gasto para outra orientada pelo resultado ( gastar com qualidade e eficiência)
O problema central no orçamento não é o conflito distributivo e sim a forma de arbitragem (importância do planejamento e da avaliação)
A responsabilização c/ maior autonomia administrativa, baseada na contratualização e avaliação, depende da estabilidade de recursos
Experiência internacional e conceitos gerais de avaliação
Os resultados da avaliação não substituem a negociação
política que influencia o orçamento
Rigidez orçamentária: fixação da despesa por lei específica
e crescimento de contribuições no perfil tributário
Assimetria temporal: defasagem entre o tempo da
avaliação e a sua influencia possível no gasto
Experiência internacional e conceitos gerais de avaliação
Relação entre a avaliação e orçamento: combinação de difícil execução
Relação entre a avaliação e orçamento: combinação de difícil execução
Experiência chilena revela algumas disfunções quando o M.A.
está no Tesouro ou no Orçamento
Doença dos 100% de resultado
Uso de indicadores de baixo risco, inócuos
Organizações com 2 grupos de indicadores, os de baixo
risco para o contrato de gestão e os desafiadores
Efeito Túnel (OCDE) metas de produtos ou
intermediárias, de curto prazo desvinculadas de outras
organizações, porque não há indicadores de resultados
na sociedade associados a desempenho de longo prazo
Experiência internacional e conceitos gerais de avaliação
Sumario
Órgãos de
estatística
Sistemas de Monitoramento e Avaliação pelo lado da oferta (incentivos aos produtores de informação)
Sistemas de
M.A.
Registros
administrativos
setoriais
Independência e transparência
Pesquisa de opinião e avaliação participativa
Auditoria de terceira parte
Definir o problema ou a oportunidade para a elaboração de política, programa, projeto de investimento – Marco Lógico
Melhorar a capacidade de decisão sobre novas políticas, programas e projetos – Fase de apreciação, vai além do modelo lógico
Existem maneiras melhores de atingir este objetivo?*
Existem usos melhores para estes recursos?*
Avaliar os riscos de implementação
Criar ou fortalecer Sistemas de M.A.
4 procedimentos essenciais
Experiência internacional e conceitos gerais de avaliação
* Livro Verde, Guia do Departamento do Tesouro do UK
Porque avaliar
Apreender com a ação (nem sempre é lembrado, além disso responsabilização e culpa dificultam)
Melhorar a tomada de decisão (como mitigar a influência da intervenção direta, pessoal, política e do valor da intuição dos decisores)
Melhorar a alocação de recursos (como conviver com a rigidez orçamentária)
Prestar contas aos parlamentos e a sociedade (como evitar a inapetência desses segmentos)
Experiência internacional e conceitos gerais de avaliação
O que avaliar
Políticas e Programas – avaliação de políticas públicas (mede sobretudo efetividade)
Projetos de Investimentos – avaliação ex-ante de custos, prazos, qualidade e impactos ambientais
Servidores - avaliação de desempenho individual (problemático)
Organizações – avaliação institucional, geralmente baseada na experiência ISO (mede frequentemente apenas a eficiência e a eficácia, raramente resultados)
Experiência internacional e conceitos gerais de avaliação
Evolução
Valor da Mudança
Resultados
Outputs
Inputs
Processos
Efetividade (impactos na sociedade)
Eficiência (custos e produtividades)
Eficácia (atendimento à demanda)
Experiência internacional e conceitos gerais de avaliação
Menos frequentee, no entanto a mais importante das medições
Diferença entre avaliação e pesquisa está na finalidade distinta
O compromisso da avaliação de programas está
em gerar informações relevantes sobre o
desempenho com vistas a melhoria contínua do
programa (incide sobre o programa ou projeto)
O compromisso da pesquisa avaliativa é o de gerar
conhecimento, teste de teorias, estabelecimento de
“verdades” e/ou Melhorar a alocação de recursos
(incide sobre as diretrizes das políticas públicas)
Experiência internacional e conceitos gerais de avaliação
Quanto ao promotor
Auto-avaliação com meta-avaliação (se pratica no Brasil)
Avaliação independente (se pratica no Chile e no Brasil)
Pesquisa avaliativa (se pratica no EUA)
Auto-avaliação, com participação social, combinada com pesquisa avaliativa(promissora)
Experiência internacional e conceitos gerais de avaliação
Quanto a temporalidade
Avaliação ex-ante
Qualidade da intervenção e definição da linha de Base
Avaliação durante a execução
Monitoramento de desempenho - rotineiro
Avaliação de impactos - tópico
Avaliação ex-post (mais adequada a projetos)
Avaliação de impactos
Experiência internacional e conceitos gerais de avaliação
O paradoxo entre necessidade de recursos e qualidade e eficiência do gasto
Dicotomia entre carências sociais e econômicas graves e
dificuldade fiscal não se resolve apenas com mais recursos
Desafio de ser mais eficiente no gasto mostra-se com
maior intensidade nos períodos de crise, mas geralmente a
urgência embaça a oportunidade para grandes mudanças
de cultura gerencial
Outro problema grave é administrar na prosperidade –
gastar é tão complicado, no setor público, como gastar de
forma eficiente e efetiva
Experiência internacional e conceitos gerais de avaliação
Experiência do Governo Federal
3
Vários sistemas estruturados de M.A. operando ao mesmo tempo
Sistema de M.A. do PPA (Secretaria de Planejamento e
Investimentos Estratégicos - MPOG)
Sistema de Avaliação Externa de Programas de Governo (Tribunal de Contas da União)
Sistema de Avaliação e Monitoramento das Políticas e
Programas Sociais (Secretaria de Avaliação e Gestão da
Informação – MDS)
Sistema de Monitoramento do PAC (Presidência da República,
governo Lula, MPOG no governo Dilma)
Experiência do Governo Federal
Sistema de M.A. do PPA
Abrangente – toda a atuação de governo, escapa o que é realizado fora da função, no abrigo das ações orçamentárias
Auto-avaliação com meta-avaliação por parte do MPOG
Correlacionado ao orçamento
Avaliação de projetos de grande impacto – funciona mal
Avalia programas, política setorial do Ministério e estratégia do plano – o primeiro mais consistente e os dois últimos apresentam fraca consistência
Combina SIGPLAN sistema centralizado de informática com InfraSigs, sistemas por Ministério
Referência para o Balanço Geral da União e Mensagem Presidencial – Doc. com forte mediação política
Experiência do Governo Federal
Sistema de Avaliação Externa de Programas de Governo
Combina instrumentos de auditoria com pesquisa primária juntos aos órgãos implementadores e envolve o beneficiário
Tenciona com a tradição da auditoria de contas de caráter punitivo no consumo interno (TCU) das informações
Procura enfatizar o caráter de aprendizado, mas gera nos
órgãos desconfiança com uso da informação pelo TCU
Fortalece a cultura de resultados no Executivo, valoriza uso
de indicadores, de bons indicadores nos programas do PPA
Avaliações rápidas, profundas e focadas
Informações checadas e confiáveis
Experiência do Governo Federal
Sistema de Avaliação e monitoramento das políticas e programas sociais
Focado nos programas do MDS
Promove o monitoramento físico financeiro dos programas (21 programas em 2007, correspondendo a 6 no PPA)
Avalia os impactos na realidade social
Avaliação de terceira parte, independente
Uso de métodos sofisticados, quantitativos
Realiza pesquisas de opinião
Experiência do Governo Federal
Sistema de Monitoramento do PAC
Monitoramento físico-financeiro
Apoio do Alto Governo na resolução de gargalos à execução
Possui incentivos baseado no caráter privilegiado da alocação e execução financeira – os recursos pertencem ao Alto Governo e não aos Ministérios setoriais
Mobiliza a agenda do Alto Governo e Presid. – SIGOV/PNUD
Execução ancorado em salas de situação na Presidência
Esteve no período Lula na Presidência, agora está no MPOG
Experiência do Governo Federal
Lições da experiência
São superpostos, embora complementares
Aumenta a informação e melhora o M.A.
Há canais de comunicação entre os Sistemas, com sinergias
Pluralidade de Sistemas atende a diversidade e
complexidade da Administração Pública e da demanda
Os Sistemas informatizados tem baixa interoperabilidade
Uma estimativa de custos dos 4 Sistemas, registrava em 2007, valor de R$ 24,1 milhões/ano, 0,0058% do Orçamento da União, quando se aceita até 2% internacionalmente (Humberto Falcão Martins – CLAD)
Estratégia de institucionalização e partir de uma oferta e criar a demanda
Experiência do Governo Federal
Sistemas de M.A seletivos, no Alto Governo, com sistemas abrangentes para o resto do governo (restrições do resto do governo afetam o desempenho das prioridades)
Sistema de M.A. associado ao processo orçamentário
Funcionamento descentralizado do sistema de M.A. com unidades nos setoriais
Combinar auto-avaliação com meta-avaliação
Avaliação com participação social, sobretudo quando
envolve serviços públicos
Avaliação de projetos ex-ante
Criar incentivos associados ao bom desempenho
Enfrentar a polêmica dos indicadores: mais vale uma
métrica do que um indicador preciso
Alguns desafios dos Sistemas de M.A. que merecem destaque