Embed Size (px)
Citation preview
CASA CIVIL DA PRESIDÊNCIA DA REPÚBLICA
INSTITUTO NACIONAL DE COLONIZAÇÃO E REFORMA AGRÁRIA – INCRA
DIRETORIA DE GESTÃO ESTRATÉGICA – DE
Coordenação-Geral de Monitoramento e Avaliação da Gestão – DEA
Divisão de Avaliação da Gestão – DEA-2
Metodologia para definição de
indicadores e metas da Avaliação
Institucional – 6º Ciclo
Brasília, junho de 2016.
2
Sumário
HISTÓRICO DE REVISÕES 3
INTRODUÇÃO 4
METODOLOGIA 4
AVALIAÇÃO DE DESEMPENHO 4
INDICADORES 6
CONCEITOS 6
CLASSIFICAÇÃO 7
HISTÓRICO 8
PROPOSTA DE INDICADORES 11
CRITÉRIOS UTILIZADOS PARA DEFINIÇÃO DOS INDICADORES DO 6º CICLO DE AVALIAÇÃO 11
SUPERINTENDÊNCIAS REGIONAIS DO INCRA NOS ESTADOS E UNIDADE AVANÇADA DE ALTAMIRA 11
DIRETORIAS DO INCRA E DEMAIS UNIDADES DE AVALIAÇÃO (SEDE EM BRASÍLIA) 15
MÉTODO PARA DEFINIÇÃO DE METAS 16
META PARA O EXERCÍCIO 16
MÉDIA DE EXECUÇÃO DOS EXERCÍCIOS ANTERIORES 17
METAS GLOBAIS E INTERMEDIÁRIAS - MÉDIA DE EXECUÇÃO DOS EXERCÍCIOS ANTERIORES PARA O PRIMEIRO EXERCÍCIO
17
METAS GLOBAIS - MÉDIA DE EXECUÇÃO ALCANÇADA NOS EXERCÍCIOS ANTERIORES PARA O SEGUNDO EXERCÍCIO 17
METAS INTERMEDIÁRIAS - MÉDIA DE EXECUÇÃO ALCANÇADA NOS EXERCÍCIOS ANTERIORES PARA O SEGUNDO EXERCÍCIO
18
SOBRE A AFERIÇÃO DAS METAS 22
CONCLUSÃO 23
ANEXO I – MODELO DE PLANILHA DE APURAÇÃO DE METAS GLOBAIS 24
ANEXO II – MODELO DE PLANILHA DE APURAÇÃO DE METAS INTERMEDIÁRIAS 25
REFERÊNCIAS 26
3
Histórico de Revisões
Data Versão Descrição Autor
17/06/2016 1.0 Criação do documento DEA
4
Introdução
A definição de parâmetros para definição de indicadores e metas que influenciam
diretamente no cálculo de gratificações que impactam nos proventos dos servidores não é
uma tarefa fácil. A questão da remuneração já se mostrou, há muito tempo, ser um dos
maiores desafios da administração, principalmente quando as gratificações de desempenho
são, na maioria dos casos, maior que o salário base dos servidores.
Sobre a avaliação de desempenho, qualquer proposta, por melhor que seja, deve tentar se
equilibrar na tênue linha que separa a motivação dos servidores e seu nível de satisfação com
seu ambiente de trabalho bem como deve buscar ser clara e não fugir aos objetivos previstos
no artigo 140 da Lei nº 11.784/2008:
“I – promover a melhoria da qualificação dos serviços públicos; e
II – subsidiar a política de gestão de pessoas, principalmente quanto à
capacitação, desenvolvimento no cargo ou na carreira, remuneração
e movimentação de pessoal.”
Em que pese a legislação prever que a avaliação possui dois entes (art. 141, Lei 11.784/2008),
o servidor e a instituição (órgão), cabe apenas ao primeiro o ônus do não alcance das metas
como se dele dependesse todo seu resultado. Com isso em mente deve-se ter o cuidado,
quando da definição de indicadores e metas, para que estas sejam realistas e condizentes
com a estrutura operacional da autarquia, bem como que considere o histórico de
execuções que são um bom indício da capacidade de operacionalização do órgão.
“Importante ressaltar que o bom ou mau desempenho não é
responsabilidade apenas do indivíduo. Outras variáveis, relativas à
natureza da tarefa e ao contexto, devem ser amplamente
consideradas em todas as etapas da gestão do desempenho, assim
como a diferenciação entre os tipos de desempenho: medido
enquanto processo (indicador de eficiência) ou enquanto produto
(indicador de eficácia).” (BRASIL, 2013)
O presente trabalho visa apresentar a metodologia para definição de indicadores e metas
para fins de avaliação de desempenho institucional.
Metodologia
Quando da elaboração da metodologia, realizada em 2015 para iniciar no 5º ciclo, foi feito
estudo das planilhas de cálculo que realizaram as aferições relativas aos vários ciclos de
Avaliação Institucional no Instituto Nacional de Colonização e Reforma Agrária – INCRA e
documentação pertinente, bem como interpretação do arcabouço legal que versa sobre o
tema. Procurou-se também verificar como outras instituições realizam suas avaliações além
de rever alguns conceitos básicos sobre indicadores e avaliação de desempenho.
Avaliação de Desempenho
O art. 141 da Lei nº 11.784/2008 define avaliação de desempenho como o monitoramento
sistemático e contínuo da atuação individual do servidor e institucional dos órgãos e das
entidades que compõem o Sistema de Pessoal Civil da Administração Federal (SIPEC), tendo
como referência suas metas globais e intermediárias.
5
O ciclo de avaliação de desempenho proposto pelo Decreto nº 7.133/2010 apresenta as
seguintes etapas: publicação das metas institucionais globais; pactuação inicial dos
compromissos de trabalho (construção do plano de trabalho); acompanhamento do
desempenho; avaliação parcial dos resultados; apuração final das pontuações para
fechamento das avaliações institucional e individual; publicação do resultado final e retorno
aos avaliados. (§ 1º do art. 10, Decreto 7.133/2010).
Figura 1 - Ciclo da Avaliação de Desempenho
Fonte: Brasil, 2013.
A Avaliação de Desempenho Institucional com vistas à repercussão percentual no valor da
gratificação dos servidores do INCRA e de outros órgãos foi regulamentada pelo Decreto N°.
7.133, publicado em 2010. O Decreto instituiu os seguintes percentuais para a Avaliação de
Desempenho:
6
Tabela 1 - Distribuição percentual da avaliação de desempenho
Avaliação Individual Avaliação Institucional
Avaliação Global Avaliação Intermediária
20% 80%
As Metas Globais expressam o esforço de toda a organização no alcance de seus resultados
finalísticos. As Metas Intermediárias devem ser definidas em consonância com as metas
globais, segmentadas por unidade de avaliação e previamente acordadas entre as chefias,
as equipes de trabalho e os servidores. As Metas Individuais são metas de desempenho
pactuadas entre o servidor e a respectiva chefia em consonância com as metas
intermediárias correspondentes à equipe de trabalho a qual pertence.
O percentual de alcance das metas institucionais intermediárias e globais são aferidas através
de indicadores, cuja apuração final resulta em uma pontuação.
Indicadores
Com a evolução da forma de apresentação orçamentária onde se privilegia mais o aspecto
gerencial do orçamento, existe a necessidade de não só verificar com o que o governo
gastou, mas também o que foi feito pelo governo, se o plano de governo foi ou está sendo
cumprido. Para tanto é necessário que existam, além dos tradicionais e indispensáveis
instrumentos de prestação de contas (balanços, demonstrativos de resultado e outros
relatórios contábeis), outros instrumentos que, através da utilização de variáveis passíveis de
mensuração possam “indicar” o grau de cumprimento das metas e objetivos ou mesmo a
comparação com outros padrões conhecidos.
Nesse contexto, a produção e o tratamento de informações permitem a ampliação do
conhecimento sobre as políticas públicas. Isto ganha destaque em um momento que o
Estado busca ampliar sua capacidade de fazer e entregar bens e serviços a sociedade,
reforçando o processo de aprendizado necessário para viabilizar a implementação das
políticas.
Na gestão pública, os indicadores são instrumentos que contribuem para identificar e medir
aspectos relacionados a um determinado fenômeno decorrente da ação ou da omissão do
Estado. A principal finalidade de um indicador é traduzir, de forma mensurável, um aspecto
da realidade dada (situação social) ou construída (ação), de maneira a tornar operacional
a sua observação e avaliação.
Conceitos
O indicador é uma medida, de ordem quantitativa ou qualitativa, dotada de significado
particular e utilizada para organizar e captar as informações relevantes dos elementos que
compõem o objeto da observação. É um recurso metodológico que informa empiricamente
sobre a evolução do aspecto observado. (BRASIL, 2012, apud Ferreira, Cassiolato e Gonzales;
2009).
Para o IBGE os indicadores são ferramentas constituídas de variáveis que, associadas a partir
de diferentes configurações, expressam significados mais amplos sobre os fenômenos a que
se referem. (BRASIL, 2012).
7
O Plano Plurianual 2012-2015 concebe os indicadores como instrumentos que possibilitam a
identificação e aferição de aspectos de determinada política pública e, uma vez apurado
periodicamente, auxiliam o monitoramento da evolução de uma determinada realidade,
gerando subsídios para a avaliação (BRASIL, 2012).
Em suma, indicadores são informações que permitem descrever, classificar, ordenar,
comparar ou quantificar de maneira sistemática aspectos de uma realidade e que atendam
às necessidades dos tomadores de decisões.
Classificação
a) Indicadores de Gestão
Essa classificação permite separar os indicadores de acordo com a sua aplicação nas
diferentes fases do ciclo de gestão de uma política pública, quais sejam: antes, durante ou
depois de sua Implementação. Esses indicadores podem divididos nos seguintes tipos: Insumo,
Processo, Produto, Resultado ou Impacto, conforme tabela a seguir.
Tabela 2 - Tipos de Indicadores de Gestão
Tipo Descrição Fase
Insumo Indicadores que têm relação direta com os recursos a serem
alocados, ou seja, com a disponibilidade dos recursos humanos,
materiais, financeiros e outros a serem utilizados pelas ações de
governo.
Antes
Processo Medidas que traduzem o esforço empreendido na obtenção dos
resultados, ou seja, medem o nível de utilização dos insumos
alocados.
Durante
Produto Medida de alcance das metas físicas. São indicadores que
expressam as entregas de produtos ou serviços ao público-alvo.
Depois
Resultado Medidas que expressam, direta ou indiretamente, os benefícios
no público-alvo decorrentes das ações empreendidas no
contexto de uma dada política e têm particular importância no
contexto de gestão pública orientada a resultados.
Depois
Impacto Indicadores que possuem natureza abrangente e
multidimensional, têm relação com a sociedade como um todo
e medem os efeitos das estratégias governamentais de médio e
longo prazos. Na maioria dos casos estão associados aos
objetivos setoriais e de governo.
Depois
Fonte: Brasil, 2012.
b) Indicadores de Avaliação de Desempenho
Essa classificação possui foco maior na avaliação dos recursos alocados e dos resultados
alcançados. Segundo essa ótica, os indicadores podem ser de Economicidade, Eficiência,
Eficácia e Efetividade.
8
Tabela 3 - Tipos de indicadores de desempenho
Tipo Utilidade
Economicidade Medem os gastos envolvidos na obtenção dos insumos (materiais,
humanos, financeiros etc.) necessários às ações que produzirão os
resultados planejados. Visa a minimizar custos sem comprometer os
padrões de qualidade estabelecidos e requer um sistema que
estabeleça referenciais de comparação e negociação
Eficiência Essa medida possui estreita relação com produtividade, ou seja, o
quanto se consegue produzir com os meios disponibilizados. Assim,
a partir de um padrão ou referencial, a eficiência de um processo
será tanto maior quanto mais produtos forem entregues com a
mesma quantidade de insumos, ou os mesmos produtos e/ou
serviços sejam obtidos com menor quantidade de recursos
Eficácia Aponta o grau com que um Programa atinge as metas e objetivos
planejados, ou seja, uma vez estabelecido o referencial (linha de
base) e as metas a serem alcançadas, utiliza-se indicadores de
resultado para avaliar se estas foram atingidas ou superadas
Efetividade Mede os efeitos positivos ou negativos na realidade que sofreu a
intervenção, ou seja, aponta se houve mudanças
socioeconômicas, ambientais ou institucionais decorrentes dos
resultados obtidos pela política, plano ou programa. É o que
realmente importa para efeitos de transformação social.
Fonte: Brasil, 2012.
A Orientação Normativa nº 7 de 31 de agosto de 2011, publicada no Diário Oficial da União
nº 169 de 01/09/2011, que estabelece diretrizes para a realização das avaliações de
desempenho individual e institucional e o pagamento das gratificações de desempenho a
que se refere o Decreto nº 7.133/2010, estabelece em seu artigo 12, § 1º, que para fins de
aferição das metas globais, poderão ser utilizados indicadores de eficiência, eficácia e
efetividade. O mesmo normativo estabelece, em seu artigo 14, que devem ser estabelecidos
indicadores de desempenho para as metas intermediárias.
Histórico
Traçando um histórico recente de como os indicadores e metas eram estabelecidos no
âmbito do Incra, tomamos como base os critérios utilizados para definição dos indicadores
do 4º ciclo de avaliação institucional (01/05/2014 até 30/04/2015).
Durante o processo de planejamento 2014-2015 foram discutidas as diretrizes, ações e metas
das áreas finalísticas e de gestão do INCRA. Neste mesmo processo, cada Superintendência
Regional indicou quais metas deveriam compor a Avaliação Institucional. A partir das
escolhas feitas pelas SRs, foram ranqueados aqueles indicadores que possuíram mais
indicações. Selecionaram-se, então, todos aqueles que foram indicados por 50% ou mais das
SRs como metas Globais.
Em consonância com o Plano de Ação para o biênio 2014-2015 e de acordo com os
indicadores apontados pelas SRs em seus planejamentos, desenvolvidos nas oficinas
realizadas no primeiro semestre de 2014, foram definidas Metas Intermediárias para as
seguintes Unidades de Avaliação: 30 Superintendências Regionais do INCRA,
Superintendência Nacional de Regularização Fundiária da Amazônia Legal (SRFA), Unidade
9
Avançada de Altamira-PA, Gabinete da Presidência, Procuradoria Federal Especializada,
Auditoria Interna e Diretorias do INCRA/Sede (DT, DD, DF, DA, DE).
Para compor as metas das diretorias do INCRA Sede foram considerados os projetos
estratégicos desenvolvidos no âmbito do processo de planejamento, conforme definido na
Portaria nº 412, de 30 de julho de 2014, publicada no DOU, Seção I de 14 de agosto de 2014.
O Gabinete da Presidência, Procuradoria Federal Especializada e a Auditoria Interna foram
avaliados pelo percentual de cumprimento das metas globais.
Em que pese o caráter participativo, esse método permitiu com que um número muito grande
de indicadores fossem alocados pelas unidades de avaliação (Superintendências Regionais).
Isso também acarretou uma desigualdade “matemática” enquanto permitiu que
determinada SR tivesse uma quantidade de indicadores diferentes de outra como, por
exemplo, a SR-08/SP que possuía 29 (vinte e nove) indicadores contra apenas 10 (dez)
indicadores da SR-26/TO.
Neste contexto, por exemplo, caso uma SR que tivesse um maior número de indicadores
obtivesse o mesmo resultado nos mesmos indicadores de uma SR que tivesse uma quantidade
menor de indicadores, sua pontuação tenderia a ser menor que a segunda tendo em vista
que o resultado final é feito sobre a média de execução de todos os indicadores. Isso pode
causar um viés na interpretação dos resultados e na consequente avaliação das unidades.
No método utilizado no 4º ciclo de avaliação, a forma encontrada para que houvesse
alinhamento entre as metas pactuadas pelas SRs e as metas globais, conforme previsto no §
5º, inciso II do art. 5º do Decreto 7.133/2010 e demais instrumentos legais foi a repetição dos
mesmos indicadores globais como metas intermediárias obrigatórias, com algumas exceções.
Com base no resultado final da avaliação do 4º ciclo, verificou-se que a média de alcance
das metas intermediárias foi de 71%, sendo que 17 (dezessete) SRs tiveram execução abaixo
dessa média, 5 (cinco) entre 71% e 74%, 7 (sete) entre 80% e 88%, uma com 90% e outra com
100%. Caso as metas intermediárias estivessem em consonância com as metas globais,
conforme definido no §5º, inciso II, art. 5º do Decreto 7.133/2010 e no art. 10 da Portaria MDA
33/2013, a tendência seria que o resultado das metas globais estivesse mais próximo desses
70%, sendo que o alcance foi de 95%, o que corrobora com a ideia de um possível
desalinhamento entre o que foi definido como meta intermediária e as metas globais.
Uma outra hipótese lógica que corrobora com esse possível desalinhamento seria a
possibilidade de ocorrer justamente o contrário, ou seja, que algumas unidades de avaliação
tivessem suas pontuações maiores que a das metas globais. Por exemplo: Se a meta
intermediária relacionada ao crédito fosse “Contratos de beneficiários aptos, assinados e
inseridos no SNCCI” ao invés de simplesmente o mesmo indicador da meta global “Número
de famílias com crédito instalação ou equivalente concedido”, no caso de uma SR ter inserido
toda sua demanda no sistema, ou seja, tivesse feito sua parte no esforço, essa teria 100% de
alcance enquanto a meta global, por motivos diversos, não alcançou os 100%.
Ainda com base nos resultados alcançados no 4º ciclo de avaliação, foi feita uma análise
junto aos indicadores de metas intermediárias para verificação do seu nível de ajustamento
(consonância) com as metas globais. Os indicadores que, por sua própria natureza, não
possuíam nenhuma relação com alguma meta global não foram considerados nessa análise.
10
Utilizando-se o coeficiente de correlação de Pearson1, observou-se que, com exceção dos
indicadores que, na realidade, são os mesmos indicadores globais e que foram repetidos
como indicadores intermediários, dos 73 (setenta e três) indicadores intermediários utilizados
por diversas SRs, encontrou-se apenas 4 (quatro) com uma forte correlação com a meta
global, ou seja, a sua execução contribuiu diretamente para o alcance da meta global.
Pelo exposto concluiu-se existir um forte viés na interpretação dos resultados alcançados nas
metas intermediárias pelas unidades de avaliação em relação ao resultado alcançado nas
metas globais, ou seja, não se pode afirmar, com certeza, que determinada SR teve melhor
ou pior desempenho em relação à outra com base na comparação dos percentuais de
atingimento das suas metas.
Para o 5º Ciclo, considerando que a metodologia para o planejamento das ações do Incra
em 2015 sofreu fortes mudanças que impediram que o método aplicado no 4º ciclo fosse
replicado e considerando ainda que os indicadores globais para o 5º Ciclo de Avaliação já
haviam sido divulgados, conforme Portaria 176 de 30 de abril de 2015, foi realizada pela
Divisão de Avaliação da Gestão DEA-2 em conjunto com a Divisão de Monitoramento da
Gestão – DEA1 uma proposta de indicadores para as metas institucionais intermediárias com
base em metodologias recomendadas pelo TCU e pelo MPOG.
Com base nas metas globais, bem como no rol de indicadores monitorados, foram propostos
25 (vinte e cinco) indicadores que foram classificados conforme método proposto pelo TCU
(análise de trade-off). Para tanto, foi montada uma matriz de avaliação cujos critérios
eliminatórios e classificatórios seguiram as recomendações contidas nas orientações do
Ministério do Planejamento, Orçamento e Gestão – MPOG (Brasil, 2012).
O objetivo foi o de definir quais seriam os indicadores a serem utilizados pelas
Superintendências Regionais. Os indicadores foram previamente qualificados visando manter
sua consonância com as metas globais da avaliação institucional.
Com base nesses indicadores, foi disponibilizada uma planilha eletrônica às SRs para que essas
pudessem pactuar suas metas.
Para as demais unidades de avaliação, foi realizada consulta através dos memorandos nº 17,
18, 19 e 20/2015/DEA-2/DEA/DE/Incra de 22/06/2015 reiterada pelos memorandos nº 70, 71 e
72/2015/DEA/Incra de 15/07/2015 para detecção das tarefas/procedimentos realizados pelas
mesmas que contribuíssem diretamente na consecução das metas globais inerentes a cada
uma. Foram consultadas também a Procuradoria Federal Especializada, a Auditoria Interna e
o Gabinete da Presidência. Com base nas respostas, bem como nas diretrizes institucionais
ligadas à cada diretoria2, foi montada3 uma proposta de indicadores para as metas
institucionais intermediárias com base nas mesmas metodologias citadas anteriormente para
definição dos indicadores das Superintendências Regionais. Em seguida foi montada uma
matriz de avaliação cujos critérios eliminatórios e classificatórios também seguiram as
recomendações contidas nas orientações do Ministério do Planejamento, Orçamento e
Gestão – MPOG (Brasil, 2012).
1 Correlação de Pearson (ƿ): 0.70 para mais ou para menos indica uma forte correlação; 0.30 a 0.7 positivo ou
negativo indica correlação moderada e 0 a 0.30 Fraca correlação.
2 Segundo o art. 5º do Decreto 7.133/2010, a avaliação pode considerar “condições especiais de trabalho, além de outras características específicas”. No caso das diretorias uma das características destacada foi a de unidade de avaliação com poder de decisão e gerenciamento das ações, podendo influenciar direta ou indiretamente no alcance das metas globais ou na condução da política institucional a qual está ligada.
11
Proposta de Indicadores
Para elaboração do Plano de Trabalho que tem por objetivo estabelecer as metas de
desempenho individual e as metas intermediárias de desempenho institucional, faz-se
necessário dotar as Unidades de Avaliação de, no mínimo, os indicadores que melhor
apontarão para o alcance das metas. (§ 1º, art. 10 Portaria MDA nº 26/2012).
Com base nos critérios que serão demonstrados a seguir, foi aprovado pela presidência do
Incra, conforme Despacho/INCRA/P/Nº 128/2016 de 13 de junho de 2016, os indicadores para
fins de avaliação de desempenho institucional, metas intermediárias.
Critérios Utilizados para definição dos indicadores do 6º Ciclo de
Avaliação
Superintendências regionais do Incra nos Estados e Unidade Avançada
de Altamira
Para a definição dos indicadores globais, que já se encontram publicados conforme Portaria
INCRA nº 185 de 22 de abril de 2016, procurou-se manter aqueles que já estavam em uso e
que, além de refletirem as preferências indicadas pelas Superintendências Regionais nos
ciclos anteriores de avaliação, torna possível a avaliação da série histórica. Todos os produtos
objeto de mensuração estão presentes do Plano de Metas 2016, resultado dos acordos de
gestão e os indicadores intermediários propostos, guardam relação com os indicadores
globais, obedecendo o que determina o §5º, II, art. 5º Dec. 7.133/2010 e art. 10 Port. MDA nº
33/2013.
Assim como realizado na definição dos indicadores globais, utilizando-se metodologia
recomendada pelo TCU e MPOG, realizamos uma análise de trade-off sobre os indicadores
intermediários, conforme matriz de avaliação, que resultou em uma classificação.
12
13
14
Para a seleção final dos indicadores foi utilizado como parâmetro os que obtiveram
pontuação final maior que 0 (zero).
Do total de 18 (dezoito) indicadores, foram selecionados 8 (oito). Dez indicadores não foram
selecionados por não atenderem requisitos eliminatórios.
A pontuação total que subsidiou a análise de trade-off seguiu a seguinte fórmula:
Total = C1 x C2 x C3 x C4 x C5 ((C6 x Peso6) + (C7 x Peso7) + (C8 x Peso8))
Onde:
Total – Pontuação Total;
C1 a C5 – Critérios de eliminatórios;
C6 a C8 – Critérios classificatórios;
Peso6 a Peso8 – Peso de cada critério classificatório.
Fonte: Brasil, 2010.
O percentual em relação à maior nota foi obtido seguindo a seguinte expressão:
P = (Total ÷ MP) x 100
Onde:
P = % em relação à maior pontuação;
MP = Maior Pontuação obtida pelos indicadores.
Os indicadores selecionados foram minuciosamente detalhados em manual específico. A
seguir relação dos indicadores propostos:
Indicadores das Unidades de Avaliação “Superintendências Regionais”
Indicador de meta intermediária Unidade Indicador Global ao qual está vinculado Diretoria
Número de famílias efetivamente atendidas com assistência técnica (com registro no
SIATER) Família
Número de famílias atendidas com assistência técnica
DD
Preenchimento mensal do módulo de monitoramento em cumprimento da IN
Incra nº 55/2009 % Todos DE
Quantidade de contratos de crédito de beneficiários qualificados, assinados e
atualizados no SNCCI Contrato
Número de famílias com novo crédito instalação da Reforma Agrária concedido
DD
Área total de imóveis vistoriados com trabalho de campo concluído no período
ha
Área de imóveis vistoriados com laudo entregue DT Número de imóveis com levantamento de
Cadeia Dominial concluída no período Imóvel
% de hectares cadastrados no SNCR fiscalizados (privado)
%
Número de atualizações cadastrais realizadas no SNCR
DF Número de Unidades Municipais de
Cadastramento (UMC) implantadas no período
UMC
Número de Unidades Municipais de Cadastramento (UMC) mantidas no período
UMC
15
Detalhamento da pontuação atribuída para alguns indicadores
Segundo análise realizada no rol de indicadores para avaliação institucional, optou-se por
pontuar com “0” (zero) no critério “C1” aqueles que, devido à inexistência de indicadores
globais que guardem relação com os mesmos, estão em desacordo com o previsto no §5º, II,
art. 5º Dec. 7.133/2010 e art. 10 Port. MDA nº 33/2013, ou seja, não possuem consonância com
as metas globais. Receberam essa pontuação os indicadores “Índice de famílias atendidas
com obras contratadas para implantação e/ou recuperação de infraestrutura básica para
famílias assentadas em projetos de assentamento”, “Número previsto de famílias para
atendimento em convênios ou licitações em obras de implantação e/ou recuperação de
infraestrutura básica publicadas no período”, “% de diminuição no consumo de água em
m³/pessoal total em relação ao período do exercício anterior”, “% de diminuição no consumo
de energia elétrica em kWh/m² em relação ao período do exercício anterior”, “Índice de
abrangência de capacitação” e “% de atualizações cadastrais realizadas no Sipra em
relação à demanda por atualização”.
O indicador “Número de famílias em chamadas públicas publicadas no período (ATER)”
recebeu “0” (zero) no critério “C2” devido as restrições sobre novas contratações de serviços
de ATER e os indicadores “% de famílias homologadas no SIPRA no período” e “Número de
famílias candidatas cadastradas no Sipra no período”, devido às restrições impostas no
Acórdão TCU 775/2016 – Plenário, especificamente os itens 9.2.1 e 9.2.2.
O indicador “% de hectares cadastrados no SNCR fiscalizados” ficou com a mesma nota no
critério “C5” devido à dificuldade na disponibilização dos dados pela área finalística às
Unidades de Avaliação, que ocorreu no 5º ciclo inviabilizando a utilização desse indicador.
Justifica-se a manutenção do indicador “Preenchimento mensal do módulo de
monitoramento em cumprimento da IN Incra nº 55/2009” pois, em que pese não estar
relacionado à atividade finalística do INCRA, sem informações atualizadas tempestivamente
sobre a execução física, o alcance das metas poderá ser prejudicado, pois as unidades de
avaliação não teriam parâmetros para que possam agir de forma a corrigir seus rumos. Nesse
sentido, considera-se que a informação (ou a falta dela) pode influenciar diretamente na
consecução das atividades finalísticas do órgão.
Ressalta-se que mesmo realizando análise sobre o rol de indicadores, espera-se que durante
a pactuação das metas pelas Unidades de Avaliação sejam apontadas várias justificativas
pelas mesmas para a não pactuação de metas, em especial àquelas relacionadas às
condicionantes do Acórdão TCU 775/2016, como ATER e Crédito Instalação.
Diretorias do Incra e demais unidades de avaliação (sede em Brasília)
O ciclo que se inicia mostra-se atípico em relação aos demais. Além dos contingenciamentos
orçamentários e o Acórdão TCU, que já fizeram com que as atividades do Incra sede fossem
totalmente fora do normal nesse primeiro semestre, a Medida Provisória 726/2016 que
extinguiu o Ministério do Desenvolvimento Agrário e vinculou o INCRA a um novo Ministério
tornou tarefa quase impossível definir indicadores e metas para as diretorias e outras unidades
ligadas à sede em Brasília. Dada essas dificuldades, decidiu-se que essas Unidades de
Avaliação, excepcionalmente, não estabeleceriam metas para o 6º Ciclo e seguirão o rito
previsto no § 3º, art. 12 da Portaria MDA nº 23/2012 alterada pela Portaria MDA nº 33/2013:
“§ 3º Excepcionalmente, não havendo metas estabelecidas para a avaliação
intermediária em determinada unidade de avaliação, a avaliação institucional
corresponderá ao índice de cumprimento das metas globais”.
16
Método para definição de metas
Visando ainda contribuir com a construção do Plano de Trabalho bem como manter
alinhamento com os preceitos legais, foi construída uma metodologia para definição das
metas.
Conforme art. 5º do Decreto 7.133/2010, para as unidades de avaliação cujas atribuições são
mais gerenciais, as metas foram pactuadas com as respectivas chefias conforme o grau de
importância de suas ações e para as unidades cujas atribuições são mais voltadas às ações
finalísticas operacionais, utilizou-se o método abaixo detalhado, cujo principal fator de
influência foi a observância dos índices alcançados nos exercícios anteriores, que está
definida no § 3º, inciso II, art. 5º do Decreto 7.133/2010:
“§ 3º As metas referidas no § 2º devem ser objetivamente mensuráveis, utilizando-se
como parâmetros indicadores que visem a aferir a qualidade dos serviços
relacionados à atividade finalística do respectivo órgão ou entidade de lotação,
levando-se em conta, no momento de sua fixação, os índices alcançados nos
exercícios anteriores.” (Grifamos).
O método também levou em consideração o previsto no § 3º, inciso II, art. 5º do mesmo
decreto no que tange à elaboração de metas em consonância com o processo de
planejamento da autarquia (diretrizes, políticas e metas governamentais).
Neste sentido a metodologia prevê que as metas terão seus valores fixados mediante
comparação entre os valores estabelecidos no planejamento anual da autarquia e a média
de execução alcançada nos exercícios anteriores, prevalecendo a que for menor, conforme
expressão a seguir:
Meta para o exercício
Onde:
m = meta do exercício para fins de avaliação institucional;
mea = média de execução alcançada nos exercícios anteriores;
mp = meta prevista no planejamento anual da autarquia.
Considerando que a avaliação institucional abrange exercícios diferentes, m1 representará a
meta do primeiro exercício e m2 a meta do segundo exercício.
O motivo de se ter o planejamento como limitador das ações está diretamente relacionado
às questões orçamentárias e financeiras, pois de nada adianta estabelecer uma meta
superior à capacidade da autarquia em financiá-la ou esta ser superior às diretrizes atuais do
órgão.
Na hipótese de não previsão da meta no planejamento anual da autarquia, as metas terão
seus valores fixados conforme à média (simples) de execução alcançada nos exercícios
17
anteriores, salvo os casos onde não há histórico de execuções e se faz necessária a definição
das metas até que se tenha uma série histórica.
A média de execução a ser considerada no cômputo das metas para fins de avaliação,
deverá considerar em seu cálculo a execução dos últimos 4 (quatro) exercícios, com peso 2
(dois) para o último. Caso inexista execução, por falta de meta definida ou por outro fator de
força maior, em um ou mais dos 4 (quatro) últimos exercícios, a média deverá levar em
consideração apenas a quantidade de exercícios onde houve execução, com peso 2
aplicado ao último exercício disponível, observando-se a fórmula a seguir:
Média de execução dos exercícios anteriores
Onde:
me = média de execução dos exercícios anteriores;
xn = execução de cada um dos quatro últimos exercícios;
ne = constante relativa ao número de exercícios considerados na média somado a 1 (um) relativo ao
peso 2 aplicado no último exercício.
A média de execução alcançada das metas globais e intermediárias relativas ao primeiro
exercício, a ser considerado no cômputo das metas para fins de avaliação (m1), deverá
considerar em seu cálculo a execução dos últimos 4 (quatro) exercícios, evidenciando o
último exercício como linha de tendência aplicando peso 2 (dois) para este, observando-se
a fórmula a seguir:
Metas Globais e Intermediárias - Média de execução dos exercícios
anteriores para o primeiro exercício
Onde:
mea1 = média de execução dos exercícios anteriores para o primeiro exercício – metas globais e
intermediárias;
me = média de execução dos exercícios anteriores.
A média de execução alcançada a ser considerada no cômputo das metas globais do
segundo exercício para fins de avaliação, conforme m2, deverá considerar em seu cálculo a
média encontrada conforme fórmula descrita anteriormente (me) multiplicada pelo
percentual, até o limite de 25% (vinte e cinco por cento), do desvio padrão da média de
execução dos últimos 4 (quatro) exercícios, observando-se as fórmulas a seguir:
Metas Globais - Média de execução alcançada nos exercícios
anteriores para o segundo exercício
Onde:
𝑚𝑒 = 𝑥4 + 𝑥3 + 𝑥2 + (𝑥1 × 2)
𝑛𝑒 + 1
𝑚𝑒𝑎1 = 𝑚𝑒
𝑚𝑒𝑎𝑔 = 𝑝𝑑𝑝 > 25% 𝑚𝑒 − 𝑚𝑒 × 25%
𝑚𝑒𝑎𝑔 = 𝑝𝑑𝑝 ≤ 25% 𝑚𝑒 − 𝑚𝑒 × 𝑝𝑑𝑝
18
meag = média de execução alcançada nos exercícios anteriores para o segundo exercício – metas
globais;
pdp = percentual do desvio padrão em relação à média de execução dos 4 (quatro) últimos exercícios;
me = média de execução dos exercícios anteriores;
25% = constante conforme limite admitido para o desvio padrão em relação à média de execução dos
4 (quatro) últimos exercícios.
Onde:
pdp = percentual do desvio padrão em relação à média de execução dos 4 últimos exercícios;
dpm = desvio padrão em relação à média dos quatro últimos exercícios;
me = média de execução dos exercícios anteriores.
Onde:
dpm = desvio padrão em relação à média dos quatro últimos exercícios;
Xn = execução de cada um dos quatro últimos exercícios;
Ẋ = média dos quatro últimos exercícios.
A média de execução alcançada a ser considerada no cômputo das metas intermediárias
do segundo exercício para fins de avaliação, conforme m2, deverão ser definidas na faixa de
execução encontrada dentro dos limites do desvio padrão da média de execução dos
últimos 4 (quatro) exercícios até o limite de 25% (vinte e cinco por cento), observando-se as
fórmulas a seguir:
Metas Intermediárias - Média de execução alcançada nos exercícios
anteriores para o segundo exercício
Limite inferior:
Limite médio:
Limite superior:
Onde:
meaii = média de execução alcançada nos exercícios anteriores para o segundo exercício, metas
intermediárias – limite inferior;
𝑝𝑑𝑝 =𝑑𝑝𝑚
𝑚𝑒× 100
dpm = 𝑥1 − 𝑋 2 + 𝑥2 − 𝑋 2 + ⋯ + 𝑥𝑛 − 𝑋 2
𝑛 − 1
𝑝𝑑𝑝 > 25% 𝑚𝑒𝑎𝑖𝑖 = 𝑚𝑒 − 𝑚𝑒 × 25%
𝑝𝑑𝑝 ≤ 25% 𝑚𝑒𝑎𝑖𝑖 = 𝑚𝑒 − 𝑚𝑒 × 𝑝𝑑𝑝
𝑚𝑒𝑎𝑖𝑚 = 𝑚𝑒
𝑝𝑑𝑝 > 25% 𝑚𝑒𝑎𝑖𝑠 = 𝑚𝑒 + 𝑚𝑒 × 25%
𝑝𝑑𝑝 ≤ 25% 𝑚𝑒𝑎𝑖𝑠 = 𝑚𝑒 + 𝑚𝑒 × 𝑝𝑑𝑝
19
meaim = média de execução alcançada nos exercícios anteriores para o segundo exercício, metas
intermediárias – limite médio;
meais = média de execução alcançada nos exercícios anteriores para o segundo exercício, metas
intermediárias – limite superior;
pdp = percentual do desvio padrão em relação à média de execução dos 4 (quatro) últimos exercícios;
me = média de execução dos exercícios anteriores;
25% = constante conforme limite admitido para o desvio padrão em relação à média de execução dos
4 (quatro) últimos exercícios.
Na hipótese da SR definir meta fora do intervalo, essa escolha deve vir acompanhada de
justificativa feita pelo Superintendente. Neste caso o Diretor da diretoria cujo indicador esteja
relacionado, decidirá por sua utilização ou não como meta para fins de Avaliação
Institucional da SR.
A metodologia prevê uma diferenciação entre a forma de escolha entre a meta global e a
intermediária. Enquanto é possível escolher um valor dentro de um intervalo para definição
das metas intermediárias, o método disponibiliza apenas o limite inferior desse intervalo para
escolha das metas globais. Isso evita que, na hipótese de as unidades de avaliação
escolherem apenas os valores do limite inferior, não se tenha uma execução, mesmo que
total, abaixo da meta esperada, mesmo que as unidades atinjam a pontuação máxima.
Uma das dificuldades no acompanhamento da avaliação de desempenho diz respeito à não
coincidência do período de avaliação com o exercício fiscal. Considerando que o ciclo de
avaliação abrange 8 (oito) meses de um exercício e 4 (quatro) meses do exercício seguinte,
as metas calculadas, conforme métodos descritos anteriormente, serão ajustadas seguindo a
proporção de 2/3 das metas do primeiro exercício e de 1/3 do exercício seguinte, conforme
segue:
Onde:
mc = meta, para fins de avaliação institucional, para o ciclo de avaliação;
m1 = meta, para fins de avaliação institucional, para o primeiro exercício abrangido pela avaliação;
m2 = meta, para fins de avaliação institucional, para o segundo exercício abrangido pela avaliação.
Na hipótese de criação de indicadores cujos parâmetros para definição das metas não sejam
passíveis de apuração, conforme os critérios definidos nesta metodologia, as metas deverão
ser pactuadas com as unidades de avaliação com base em instrumentos que demonstrem a
possibilidade de aferição tempestiva das mesmas. A partir daí, então, através do
monitoramento contínuo será possível criar uma base e o acompanhamento do indicador.
No exemplo contido na Tabela 4 são calculadas as metas globais para os indicadores para
as metas globais utilizando-se a metodologia proposta.
No exemplo, o indicador “1. Número de famílias assentadas” teve a meta limitada pela média
de execução, enquanto o indicador “4. Área de imóveis vistoriados com laudo entregue”
teve sua meta definida com base na limitação do Plano de Metas (ou diretriz institucional).
Na Tabela 5 são calculadas algumas metas intermediárias para uma SR com base na
metodologia.
Na simulação, os indicadores “Índice de abrangência de capacitação” e “Índice de famílias
atendidas com obras contratadas para implantação e/ou recuperação de infraestrutura
básica para famílias assentadas em projetos de assentamento”, que estão com os valores da
𝑚𝑐 = 𝑚1 ×2
3 + 𝑚2 ×
1
3
20
coluna “Metas PM ou diretriz institucional 2015 (mp)” em destaque, tiveram seus valores
calculados pela média, tendo em vista a inexistência desses indicadores no caderno de
metas (Plano de Metas) da autarquia para o exercício de 2015. Para estes casos, utilizou-se a
Métrica para a meta do exercício vigente quando não previsto no caderno de metas ou nas
diretrizes institucionais conforme consta detalhamento dos indicadores.
Ainda no exemplo, a SR pactuou as metas utilizando valores dentro do intervalo proposto. Os
valores escolhidos estão em destaque para fins de exemplo (na prática a unidade poderá
escolher qualquer valor entre o limite inferior e o limite superior). Ressalta-se que, segundo o
método, o valor escolhido servirá para definir a meta do segundo exercício abrangido pela
avaliação (no exemplo, 2016), para fins de comparação com o valor previsto no plano de
metas, prevalecendo o que for menor. No caso do indicador “Índice de famílias atendidas
com obras contratadas para implantação e/ou recuperação de infraestrutura básica para
famílias assentadas em projetos de assentamento”, mesmo escolhendo o limite inferior de
356,63%, o método faz o ajuste para o limite imposto no planejamento que, no caso, é de
100%.
Em todos os casos, os valores em percentual, quando maiores que 100%, são normalizados em
100%.
21
Tabela 4 - Simulação da definição das metas globais com base na metodologia proposta
Tabela 5 - Simulação da definição das metas intermediárias para uma unidade de avaliação (SR) com base na metodologia proposta
22
Sobre a aferição das metas
O percentual médio de cumprimento das metas institucionais globais, considerará até duas
casas decimais e será calculado observando-se a seguinte fórmula:
Onde:
pcmg = Percentual médio de cumprimento das metas institucionais globais;
∑ %mg = % atingimento meta global 1 +% atingimento meta global 2 + ... + % atingimento
meta global n;
ng = número de metas globais.
O acompanhamento do percentual de cumprimento das metas globais será feito através de
planilha que demonstra o percentual de atingimento, conforme modelo no anexo III.
O percentual médio de cumprimento das metas institucionais intermediárias, considerará até
duas casas decimais e será calculado observando-se a seguinte fórmula:
Onde:
pcmi = Percentual médio de cumprimento das metas institucionais intermediárias;
∑ %mg = % atingimento meta intermediária 1 +% atingimento meta intermediária 2 + ... + %
atingimento meta intermediária n;
ni = número de metas intermediárias.
O acompanhamento do percentual de cumprimento das metas intermediárias será ser feito
através de planilha que demonstre o percentual de atingimento, conforme modelo no anexo
IV.
O percentual de atingimento de cada meta, caso ultrapasse 100% será normalizado em 100%
e caso seja negativo, corresponderá à 0% e será calculado observando-se a seguinte fórmula:
Onde:
pm = Percentual de atingimento da meta (global ou intermediária);
r = resultado obtido;
m = meta prevista.
23
Conclusão
Com esse método, procurou-se a definição de indicadores pautados nas recomendações
metodológicas do MPOG e TCU bem como buscou-se a redução da quantidade utilizada
anteriormente fazendo com que, na medida do possível, todas as unidades de avaliação
possuíssem a mesma quantidade de indicadores.
A definição das metas levou em consideração, além do histórico de execução, as limitações
orçamentárias e as diretrizes institucionais, sempre dentro de um limite plausível,
permanecendo o que for menor, conforme preceitua a legislação pertinente à avaliação de
desempenho.
24
Anexo I – Modelo de planilha de apuração de metas globais
25
Anexo II – Modelo de planilha de apuração de metas intermediárias
26
Referências
Brasil. Ministério do Planejamento, Orçamento e Gestão. Secretaria de Orçamento
Federal. Indicadores de Programas – Guia Metodológico. Brasília: MPOG, Secretaria
de Planejamento e Investimentos Estratégicos, 2010.
Brasil. Tribunal de Contas da União. Técnica de indicadores de desempenho para
auditorias. Brasília: TCU, Secretaria de Fiscalização e Avaliação de Programas de
Governo, 2011.
Brasil. Ministério do Planejamento, Orçamento e Gestão. Secretaria de Orçamento
Federal. Indicadores - Orientações Básicas Aplicadas à Gestão. Brasília: MPOG,
Secretaria de Planejamento e Investimentos Estratégicos, 2012.
Brasil. Ministério do Planejamento, Orçamento e Gestão. Manual de Orientação para
a Gestão do Desempenho. Brasília: MPOG, Secretaria de Orçamento Federal, 2013.
