Embed Size (px)
Citation preview
Classificação de Risco de Transferências Voluntárias
João Batista Rodrigues FonsecaSecretaria de Gestão de Informações para o Controle Externo – Seginf
Diretoria de Gestão de Informações Estratégicas – DGISetembro/2015
• Probabilidade de ocorrência de um evento que possa prejudicar, total ou parcialmente, as chances de sucesso de um projeto. (ALENCAR E SCHMITZ, 2006)
• Valor, estimado ou calculado, da probabilidade da ocorrência de um fato ou da sua gravidade, sendo normalmente relacionado a possíveis perdas ou impactos negativos. (BM&F BOVESPA, 2012, com adaptações)
• Probabilidade de ocorrência de um evento que poderá impactar o alcance dos objetivos que afetam a entrega dos serviços governamentais para o cidadão. (NAO apud TCU/FGV, 2005, com adaptações)
Definição de Risco
• Definição: transferências de recursos a outros entes da federação ou a entidades privadas, a título de cooperação, auxílio ou assistência financeira, que não decorra de determinação constitucional, legal ou os destinados ao Sistema Único de Saúde.
• Finalidade: descentralização de políticas públicas• Escopo de análise: Siconv
– cerca de 89 mil transferências desde 2008– abrange convênios, contratos de repasse e termos de parceria– informações disponíveis sobre todo o ciclo de vida das transferências– transferências voluntárias executadas fora do Siconv são exceção
Transferências Voluntárias
– elemento transversal: existência (ou não) de débito
Obrigação de devolução de recursos por não comprovação de boa utilização é sintoma de falha na entrega da política pública em nível local
Problema• Elevado número de irregularidades
• Limitada capacidade operacional dos órgãos de controle
• Diversidade de políticas públicas:– objetos e regulamentos diversos
– aspectos comuns às transferências voluntárias são de natureza formal
Requisitos
Subsidiar ações: Tempestivas Preventivas Pedagógicas
Subsidiar atuação: Sistêmica Seletiva
CAPACIDADE PREDITIVA
Mineração de dados
Dados
Solução Proposta
Mineração de Dados• É a exploração e a análise, por meio automático ou
semiautomático, de grandes quantidades de dados, a fim de descobrir padrões e regras significativos. (BERRY e LINOFF, 2004)
• Objetivo: extrair informação de dados– implícita– previamente desconhecida– potencialmente útil
• Nossa necessidade: prever o resultado da execução de transferências voluntárias
Capacidade Preditiva• Capacidade de fazer previsões sobre eventos
desconhecidos
• Os eventos podem estar no passado, no presente ou no futuro
Solução Proposta• Modelo Classificatório: infere regras de classificação a
partir de objetos previamente classificados
• Risco: probabilidade de a política pública fracassar
• Débito: indicativo de fracasso
• Classes:– Êxito: submetida ao escrutínio de uma das possíveis instâncias
de controle, constata-se a correta aplicação dos recursos, salvo falhas formais, não se configurando nenhuma das hipóteses de devolução de recursos por não comprovação de boa utilização.
– Fracasso: configura-se uma das hipóteses de devolução de recursos por não comprovação de boa utilização.
• Compreensão do negócio• Levantamento e compreensão dos dados• Levantamento de variáveis de interesse e
de técnicas possíveis• Preparação dos dados• Modelagem• Teste/Validação• Avaliação• Implementação
Fases da Metodologia
estamos aqui
• Variáveis:– diretas: modalidade, órgão concedente, esfera administrativa do
convenente, etc;– indiretas: faixa de valor do repasse, percentuais de contrapartida e
de liberação de recursos, prazo de aprovação, etc;– calculadas: indicador de tempo de análise, capacidade de
fiscalização do concedente, etc.• Dados de aprendizado – 9823 transferências voluntárias:
– 50% com indicação de fracasso: existência de TCE, registro de inadimplência, não atingimento dos objetivos previstos
– 50% com indicação de êxito: foram fiscalizados e não foram constatadas irregularidades graves
Construção do Modelo Classificatório
Modelo Classificatório – Aprendizado
85% 15%
TreinamentoFloresta de árvores de decisão C5.0
(Quinlan, 1993)
TesteAcurácia: 90%Falso : 4,5%Falso : 5,5%
Modelo
• Classificação da base de dados do Siconv• Previsão (probabilidade) das 89 mil transferências
Modelo Classificatório – Aplicação
• Fiscalização para validar o modelo• TC 010.247/2015-7 (MIN-BZ)• Coordenação: Secex-MT• ES, GO, MA, MS, MT, PR, RR, RS e SC• Conclusão: outubro/2015
Modelo Classificatório – Validação
• Dados preliminares indicam alta taxa de acerto das previsões (>90%)
• Fiscalização sistemática• Ranqueamento
• Órgão
• Programa
• Convenente
• Município
• UF
Perspectivas
