Tema IIQualidade do Gasto PblicoMensurao de Efcincia Produtiva das Instituies Federais de Ensino Superior (Ifes)Qualidade do Gasto Pblico Segundo LugarEdward Martins Costa *Francisco de Sousa Ramos ** Hermno Ramos de Souza ****Doutor em Economia pela Universidade Federal de Pernambuco (UFPE). Professor da Universidade Federal do Rio Grande do Norte (UFRN).** Doutor em Economia pela Universite Catholine de Louvain. Professor da Universidade Federal de Pernambuco (UFPE).***Doutor em Economia pela Universidade Federal de Pernambuco (UFPE). Professor da (UFPE).AgradecimentosAgradeoprimeiramenteaDeuseatodaaminhafamlia;Coordenaode AperfeioamentodePessoaldeNvelSuperior(Capes)porseuapoiofnancei-ro;SecretariadeEducaoSuperiordoMinistriodaEducao(SESu/MEC) pela disponibilizao dos dados para esta pesquisa; a todos os professores que de algumaformaincentivaramestapesquisa,especialmenteaoprofessorHermno Ramos, que desde meu primeiro ano de doutorado vem confando em meu traba-lho, dando-me oportunidades, oportunidades essas que me ajudaram a amadure-cer profssionalmente; ao professor Francisco Ramos, pois sua experincia como professor e pesquisador alm de conselhos nas horas oportunas foram decisivos para a concluso deste trabalho.ResumoNeste trabalho discute-se um ponto importante que faz parte do arcabouo daeducaosuperiorbrasileiraetemcomonfaseasinstituiesfederaisde ensino superior (Ifes). Examina-se a fronteira de efcincia da educao superior pblica federal utilizando uma metodologia no paramtrica denominada Anli-se Envoltria de Dados (DEA). Foram estimadas as fronteiras estticas de cada anoeafronteiradinmica,bemcomofoiavaliadoondicedeMalmquist,que verifca a produtividade por meio de painis. A mensurao foi realizada usando-se alguns indicadores educacionais de gesto (os inputs e os outputs do proces-so produtivo) fornecidos pelas prprias instituies, cujo perodo se estendeu de 2004 a 2008. O conjunto total das Ifes (49) foi dividido em dois subconjuntos: o Grupo A, contendo 28 instituies, e o grupo B, contendo 21, a fm de minimizar a heterogeneidade existente no setor. Os resultados das estimaes das fronteiras de efcincia do modelo esttico e do modelo dinmico apontaram semelhanas, podendoserconsideradasemsuagrandemaioriafronteirasnveisdescoresde efcincia elevados. Tambm, a variao de produtividade das Ifes em cada painel mostrou queda de produtividade para a maioria delas. Esses resultados mostram queapesardasfronteirasapresentarembaixosscoresdeinefcincia,houveum deslocamento da fronteira tcnica de efcincia para um nvel inferior, indicando que pode estar havendo deteriorao do produto educacional ao longo do tempo.Palavras-chave: Ifes; DEA; fronteira de efcincia.Sumrio1 INTRODUO, 82. INSTITUIES FEDERAIS DE ENSINO SUPERIOR (IFES) DISTRIBUIO GEOGRFICA E ALGUNS INDICADORES DE TAMANHO, 93 REVISO DA LITERATURA SOBRE O USO DA METODOLOGIA DEA NO CLCULO DE EFICINCIA DA EDUCAO SUPERIOR, 114 REFERENCIAL TERICO E PROCEDIMENTOS METODOLGICOS, 144.1 Funo de produo educacional, 144.2 Caractersticas da funo de produo educacional e seus outputs e inputs, 154.3 Escolha do modelo, 164.4 Anlise Envoltria de Dados (DEA), 174.4.1 DEA SBM, 174.4.2 DEA Painel: o ndice de Malmquist com folgas, 184.4.3 DEA Dinmico SBM, 194.4.3.1 Conjunto de possibilidade de produo, 214.4.3.2 Funo objetivo e efcincia, 235 MENSURAO DE EFICINCIA E ANLISE DOS RESULTADOS, 245.1 Indicadores de efcincia do setor educacional, 245.1.1 Indicadores de contexto econmico, social e institucional, 245.1.2 Indicadores de recursos, 255.1.3 Indicadores da atividade e da qualidade docente, 255.1.4 Indicadores da atividade de pesquisa, 255.1.5 Indicadores de gesto universitria, 255.1.6 Indicadores do processo de ensino e aprendizagem, 255.1.7 Indicadores dos resultados de aprendizagem, 265.1.8 Indicadores de empregabilidade e concorrncia, 265.1.9 Indicadores de impacto social, 265.2 Escolha das DMUs, 265.3 Defnio do modelo, 285.4 Obteno de dados, 315.5 Estimao de efcincia e anlise dos resultados, 315.5.1 Identifcao de outliers, 315.5.2 Estimaes das fronteiras de efcincia, 355.5.2.1 Estimaes das Ifes do Grupo A, 355.5.2.2 Estimaes das Ifes do Grupo B, 456 SNTESES E CONCLUSES, 57REFERNCIAS, 60ANEXOS, 66Lista de fguraFIGURA 1.ESTRUTURA DO DEA DINMICO, 20Lista de grfcosGRFICO 1. IFES DO GRUPO A: FRONTEIRA DINMICA, 42GRFICO 2. IFES DO GRUPO A: COMPARAO DE EFICINCIA TOTAL DINMICA VERSUS ESTTICA , 44GRFICO 3. IFES DO GRUPO B: FRONTEIRA DE EFICINCIA DINMICA, 51GRFICO 4. IFES DO GRUPO B: COMPARAO DE EFICINCIA TOTAL DINMICA VERSUS ESTTICA , 53GRFICO 5. COMPARAO DA FRONTEIRA DE EFICINCIA CONJUNTO TOTAL/IFES GRUPO A, 56GRFICO 6. COMPARAO DA FRONTEIRA DE EFICINCIA CONJUNTO TOTAL/IFES GRUPO B, 57Lista de tabelasTABELA 1. GRUPOS DE INSTITUIES DE REFERNCIA, 27TABELA 2. IDENTIFICAO DE OUTLIERS DE IFES DO GRUPO A, 33TABELA 3. IDENTIFICAO DE OUTLIERS DE IFES DO GRUPO B, 34TABELA 4.IFES DO GRUPO A: FRONTEIRA ESTTICA 2004 E 2005, 35TABELA 5. IFES DO GRUPO A: FRONTEIRA ESTTICA 2006 E 2007, 37TABELA 6. IFES DO GRUPO A: FRONTEIRA ESTTICA 2008, 38TABELA 7. DECOMPOSIO DO NDICE DE MALMQUIST (2004 2008), 39TABELA 8. IFES DO GRUPO A: DEA DINMICO, 41TABELA 9. EFICINCIA TOTAL DOS MODELOS ESTTICO E DINMICO (RANKING DINMICO ORDENADO), 43TABELA 10. IFES DO GRUPO B: FRONTEIRA ESTTICA 2004 E 2005, 45TABELA 11. IFES DO GRUPO B: FRONTEIRA ESTTICA 2006 E 2007, 46TABELA 12. IFES DO GRUPO B: FRONTEIRA ESTTICA 2008, 48TABELA 13. DECOMPOSIO DO NDICE DE MALMQUIST (2004 2008), 49TABELA 14. IFES GRUPO B: DEA DINMICO, 50TABELA 15. EFICINCIA TOTAL DOS MODELOS ESTTICO E DINMICO (RANKING DINMICO ORDENADO), 52TABELA 16. COMPARAO CONJUNTO TOTAL/GRUPOS SEPARADOS, 54TABELA 17. INDICADORES DAS IFES POR REGIO GEOGRFICA, 66TABELA 18. DISTRIBUIO DE PESQUISADORES POR IFES, 69TABELA 19. RANKING DAS IFES POR INVESTIMENTO EM BOLSAS E FOMENTO PESQUISA/2008EM R$ MIL CORRENTES, 70Qualidade do Gasto Pblico Edward Martins Costa, Francisco de Sousa Ramos e Hermno Ramos de SouzaFinanas Pblicas XV Prmio Tesouro Nacional 2010 81 IntroduoOdesempenhodasinstituiesdeensinosuperior(IES)temsidoobjeto de ateno crescente nos ltimos anos. Tanto em nvel nacional quanto em nvel internacional,diversosestudostratamdoassunto;algunsutilizamferramentas estatsticaseoutrosutilizamferramentasnoestatsticasparamedirodesem-penho das IES. Esses trabalhos fazem uso de indicadores de desempenho (por exemplo, a proporo de alunos em determinado ano, o custo por estudante) a fm de verifcar a efcincia das IES, sejam elas pblicas ou privadas.Para a mensurao de desempenho, as IES so tratadas como unidades pro-dutivascomooutrasquaisquer,ouseja,requeremautilizaodeinsumospara obter determinado nvel de produto. Alm disso, no clculo de efcincia so con-sideradas as peculiaridades inerentes ao setor educacional. Com base nesse ponto composto um ranking de desempenho que busca determinar a melhor escolha na alocao de recursos para as IES.O setor educacional bastante diferenciado. Dessa forma, necessrio ter muita ateno na construo dos indicadores de desempenho para a mensura-o de efcincia das IES. Duas questes so importantes: em primeiro lugar, as instituies operam sob diferentes condies e em diferentes ambientes, os quais muitas vezes no so explicados por razes simples. Em segundo lugar, o setor de produo educacional detentor de muitos insumos e produtos.Otemasobrecomodevemseralocadososrecursospblicosnosetorde educaosuperiorvemdirecionandoagrandemaioriadosestudosparaamen-suraodeefcinciadasIESpblicas. Aolongodosanos,muitosestudostm como objetivo mensurar a efcincia e ranquear as IES pblicas por meio de seu grau de efcincia. Ademais, cada pas tem sua estrutura de fnanciamento e alo-cao de recursos, que serve como base para a estimao de efcincia do setor educacional superior.No Brasil, o setor pblico possui universidades e faculdades federais, esta-duais e municipais. Por sua vez, as universidades e as faculdades privadas podem ou no ter fns lucrativos. No ano de 2008, segundo o censo da educao superior realizado pelo MEC, existiam no Brasil 2.252 IES. Na distribuio por categoria administrativa, 90% so instituies privadas e 10%, instituies pblicas, sendo 4,1% de IES pblicas federais, 3,6%, estaduais, e 2,7%, municipais.As instituies federais de ensino superior (Ifes) so fnanciadas principal-mente pelo governo federal por meio da vinculao de alguns impostos previstos noart.212daConstituioFederalde1988.Asinstituiestambmrecebem recursosdeemendasparlamentares,contratoscomrgospblicoseprivados Qualidade do Gasto Pblico Edward Martins Costa, Francisco de Sousa Ramos e Hermno Ramos de SouzaFinanas Pblicas XV Prmio Tesouro Nacional 2010 9e possuem recursos prprios. A alocao dos recursos oriundos da Unio feita pela Sesu/MEC por meio de uma matriz de alocao de recursos que procura pri-vilegiar a efcincia das Ifes.Osmtodosmaisutilizadosparamediraefcincianocontextodosetor educacional so os estatsticos e os no estatsticos. As tcnicas estatsticas em-pregadas so baseadas nos Mnimos Quadrados Ordinrios (MQO) de regresso para anlise de fronteira estocstica. As tcnicas de programao linear (PL) so feitas para equacionar as relaes de insumos e produtos, sendo a Anlise Envol-triadeDados(DEA)amaisapropriadaparaoestudodeefcinciautilizando essas tcnicas (PL).AmetodologiaDEAvemsendoamaisempregadaparaestimara efcinciadosetoreducacional.Issosedeve,principalmente,aofatodeeste setor ser composto por mltiplos insumos e produtos, o que facilita a estimao dafronteirapeloDEA;almdisso,ofatodenohavernecessidadedaforma funcionaldafunodeproduonocausanaestimaooproblemadem especifcao do modelo.Portanto,diantedessecontexto,oobjetivodestetrabalhoestimara fronteira de efcincia do setor educacional pblico federal a fm de obter o grau deefcinciaprodutivadecadainstituiofederaldeensinosuperior(Ifes)e, posteriormente, compor um ranking, partindo da instituio mais efciente para a menos efciente.2 Instituies federais de ensinosuperior (Ifes) distribuio geogrfcae alguns indicadores de tamanhoO sistema de ensino superior pblico federal no Brasil em 2008, segundo o censo do Ministrio da Educao (MEC), era composto por 93 instituies, das quais55soconsideradasinstituiesfederaisdeensinosuperior(Ifes),distri-budas por todo o territrio nacional. De acordo com a distribuio geogrfca, as instituies federais de ensino superior no Brasil esto classifcadas da seguinte forma: na Regio Nordeste encontram-se 14 Ifes; na Regio Norte, 8; a Regio SudestepossuiomaiornmerodeInstituies,nototalde19;naRegioSul, esto 9 Ifes; por fm, a Regio Centro-Oeste possui o menor nmero de Ifes, no total de 5.Qualidade do Gasto Pblico Edward Martins Costa, Francisco de Sousa Ramos e Hermno Ramos de SouzaFinanas Pblicas XV Prmio Tesouro Nacional 2010 10As Ifes distinguem-se por seu tamanho: grandes, mdias e pequenas. A an-lise do tamanho das universidades importante, pois d uma noo de possvel homogeneidade ou heterogeneidade do conjunto total das Ifes brasileiras. Alguns indicadores corroboram a identifcao do tamanho das Ifes, destacando-se entre eles alunos matriculados, distribuio oramentria, docentes e pesquisas. A Ta-bela 17 anexa mostra alguns desses indicadores para o ano de 2008.LocalizadanaRegioSudeste,aUFRJnotadamenteauniversidadep-blicafederalbrasileiracomomaioraportederecursosfnanceirosoriundosdo Tesouro R$ 1,4 bilho. Com relao aos outros indicadores, a UFRJ possua 68 cursos de graduao; 3.628 docentes; 4.508 tcnicos administrativos; 29.132 alu-nos matriculados e 4.052 concluintes. Esses indicadores comprovam que a UFRJ uma universidade de grande porte. Na Regio Sudeste, as instituies UFMG, UFF e Unifesp, de acordo com seus indicadores, tambm podem ser consideradas de grande porte.Analisandoasuniversidadescombasenessesindicadoresemoutrasregi-es, nota-se que na Regio Sul a universidade que mais se destaca a UFRGS, com um aporte de recursos de R$ 662 milhes; em 2008 havia 68 cursos de gradu-ao; 2.542 docentes; 2.363 tcnicos administrativos; 2.885 concluintes; e 21.662 alunosmatriculadosemseuscursosdegraduao. AUFSCeaUFPRtambm fazem parte do grupo das instituies consideradas de grande porte.Situada na Regio Centro-Oeste, a UnB obteve R$ 701 milhes de recursos oriundosdoTesouro.Comrefernciaaosoutrosindicadores,estauniversidade possua 73 cursos de graduao; 1.474 docentes; 1.353 tcnicos administrativos; 3.496 concluintes; e 18.230 alunos matriculados. Nessa regio tambm podemos considerar a UFG como uma universidade de grande porte.Na Regio Nordeste, a UFBA recebeu R$ 622 milhes de recursos oriundos doTesouro;existiam74cursosdegraduao;2.605docentes;3.557tcnicos administrativos,2.946concluintese20.656alunosmatriculadosnoscursosde graduao. As instituies UFC, UFPE e UFPB tambm podem ser consideradas de grande porte na Regio Nordeste.Na Regio Norte, a UFPA recebeu um aporte de recursos oramentrios oriun-dos do Tesouro de R$ 451 milhes; havia 244 cursos de graduao; 1.954 docentes; 1.519 tcnicos administrativos; 3.194 concluintes; e 31.069 alunos matriculados.Algumas instituies podem ser consideradas de pequeno porte, tais como: (i)aUnifap,localizadanaRegioNorte,recebeudaUnioR$38,66milhes; possua um total de trinta cursos de graduao; 201 docentes; 170 tcnicos admi-nistrativos; 300 concluintes; e 7.946 alunos matriculados; (ii) a Ufersa, estabele-cidanaRegioNordeste,comR$62,88milhesreferentesarecursosoriundos doTesouro,dispunhade12cursosdegraduao;146docentes;205tcnicos Qualidade do Gasto Pblico Edward Martins Costa, Francisco de Sousa Ramos e Hermno Ramos de SouzaFinanas Pblicas XV Prmio Tesouro Nacional 2010 11administrativos; 129 concluintes; e 1.693 alunos matriculados; (iii) a Unifei, ins-tituiolocalizadanaRegioSudeste,comumaportederecursosoriundosdo Tesouro de R$ 48,30 milhes, tinha um total de 14 cursos de graduao; 214 do-centes; 277 tcnicos administrativos; 301 concluintes; e 2.146 alunos matricula-dos; (iv) a UFGD, situada na Regio Centro-Oeste, recebeu R$ 44,25 milhes de recursos da Unio; possua vinte cursos de graduao; 291 docentes; 269 tcnicos administrativos; 408 concluintes; e 3.208 alunos matriculados.3 Reviso da literatura sobre o uso da metodologia DEA no clculo de efcinciada educao superiorA literatura internacional fornece alguns estudos sobre a efcincia das uni-versidades pblicas em diversos pases. Esses estudos utilizam, em sua maioria, a metodologia Anlise Envoltria de Dados (DEA). Ahn, Charnes e Cooper (1988) apud Beasley (1990), utilizando trs fatores de input e trs de output, compararam instituies de nvel superior orientadas para a pesquisa nos EUA. Em seus resul-tados, as universidades pblicas obtiveram um maior nvel de efcincia quando comparadas s universidades privadas.Em outro estudo, Rhodes e Southwick (1986), apud Wong e Beasley (1990), compararamaefcinciade96universidadespblicase54privadasnosEUA por meio do modelo DEA, utilizando cinco fatores de input e seis de output. Os resultadosindicaramqueaefcinciarelativadasinstituiesprivadasnaquele momento era maior do que a efcincia das universidades pblicas.BreueRaab(1994)utilizarama AnliseEnvoltriadeDadosparamedir aefcinciarelativadas25universidadesdosEUAmaisbemranqueadas.Seus resultados mostraram que a metodologia DEA apropriada para a mensurao de efcincia do ensino superior. Ademais, houve uma relao inversa do ranking j preestabelecido com o ranking obtido pela DEA.Sarricoetal.(1997)avaliaramnoventainstituiesdeensinosuperiordo Reino Unido, ponderando a perspectiva de trs categorias: (i) governo/sociedade; (ii) instituies: departamentos, corpo funcional e estudantes; e (iii) estudantes em potencial. Para tal propsito, utilizaram a metodologia DEA para obter os nveis de efcincia e compararam com um ranking local Times League Table. Os resultados obtidos pela metodologia DEA indicaram um melhor resultado de efcincia.Qualidade do Gasto Pblico Edward Martins Costa, Francisco de Sousa Ramos e Hermno Ramos de SouzaFinanas Pblicas XV Prmio Tesouro Nacional 2010 12Forsund e Kalhagen (1999) avaliaram a efcincia das faculdades regionais naNoruegaparaosanosde1994,1995,1996.Osresultadosapontarampara algumas instituies efcientes com relao aos servios prestados de educao; quantosfaculdadesinefcientes,houveumagrandevariaoentreosnveis deinefcincia. Ademais,houvemelhoriadeprodutividadenosanosestudados, denotandoumefeitopositivodeprodutividade,deslocandoafronteirade efcincia para um nvel maior de efcincia.Flegg, Allen, Thurlow e Field (2004) analisaram a efcincia tcnica de 45 universidades britnicas de 1980-1981 a 1992-1993, perodo escolhido principal-menteportercaracterizadoumapocadegrandesmudanasnofnanciamento pblico. No estudo, foi detectado um aumento signifcativo na efcincia tcnica durante o perodo em questo, embora esse aumento tenha sido mais visvel nos perodos 1987-1988 e 1990-1991.AfonsoeSantos(2004)estimaramaefcinciarelativadasuniversidades pblicas portuguesas utilizando os dados relativos ao ano de 2003. Os inputs fo-ram construdos com base no nmero de professores e nos gastos da universidade, enquanto os outputs foram baseados na taxa de sucesso na graduao e no nmero de teses de doutorado. Os resultados apontaram um ndice de efcincia mdia de aproximadamente 55,3% e 67,8% entre as instituies avaliadas.AbboteDoucouliagos(2003)estudaramaescalatcnicadeefcinciade cada uma das universidades australianas por meio da metodologia DEA. Os resul-tados demonstraram homogeneidade no desempenho em todo o sistema universi-trio, o que sugere que as universidades australianas operam em um nvel bastan-te elevado de efcincia. Entretanto, segundo os autores, existem ainda condies para a obteno de aumento nos nveis de efcincia de algumas universidades.Joumady e Ris (2005) mensuraram por meio da metodologia DEA as dife-renas de efcincia para um conjunto de 210 instituies de ensino superior entre oito pases da Europa por meio de amostra de estudantes com mais de trs anos deformados.Foramestimadostrsmodelos:oprimeirocentrou-senascompe-tnciasdosservioseducacionais;osegundo(modelodeajustamento)estimou a efcincia da aprendizagem aps o trmino do curso de graduao; e o terceiro (modelo global) foi projetado para explorar o sucesso da universidade em atrair odesempenhogeral.Seusresultadosforambastantediferenciadosparaostrs modelos, ou seja, a efcincia variou conforme o modelo utilizado.No Brasil, o estudo analtico da efcincia relativa das universidades fede-raisdeensinosuperiorvemseintensifcandonaltimadcada,principalmente devidopressodergosligadosaoensinosuperiorjuntoaoMinistrioda Educaoparaavaliaramagnitudedessaefcinciaedeseusresultadosparaa sociedade como um todo.Qualidade do Gasto Pblico Edward Martins Costa, Francisco de Sousa Ramos e Hermno Ramos de SouzaFinanas Pblicas XV Prmio Tesouro Nacional 2010 13Ramos e Souza (1997) analisaram o desempenho das instituies federais deensinosuperiorutilizandoatcnicadeAnliseEnvoltriadeDados,cujos resultados mostraram que aproximadamente 39,1% das instituies avaliadas al-canaram o nvel mximo de efcincia, enquanto 6,5% se encontravam na calda mais baixa de efcincia. Em comparao com estudos de outros pases, pode-se ver que os resultados obtidos pelos autores revelaram que naquele perodo havia um baixo nvel de efcincia das instituies federais pblicas de ensino superior.Corbucci (2000) avaliou os gastos do MEC com as instituies federais de ensino superior. Seu estudo estabeleceu indicadores de efcincia e produtividade noperodode1995-1998.Seusresultadosconstataram,apesardareduonos gastos operacionais das instituies analisadas, um aumento do acesso do nme-ro de formandos tanto na graduao quanto na ps-graduao stricto sensu, bem como um incremento da produo cientfca, o que signifcou ganhos de efcincia e de produtividade nessas instituies.Faanha e Marinho (2001) estudaram as diferenas entre o desempenho das IES localizadas nas grandes regies brasileiras. O perodo analisado foi de 1995 a 1998, tendo sido utilizada a metodologia DEA para a mensurao de efcincia. Ademais,nombitodamensurao,foiconsideradaadistribuiodasIESem federais, estaduais e municipais. Com relao ao ensino de graduao, os resulta-dos mostraram que as IES municipais e particulares obtiveram efcincia relativa maior que as estaduais e federais no perodo analisado. Com relao ao ensino de ps-graduao, os resultados denotaram que houve assimetria quanto efcincia relativa entre as IES que compunham o estudo.Belloni (2001), em sua tese de doutorado, avaliou o desempenho da efcincia produtiva de 33 universidades federais brasileiras, aplicando no estudo a metodolo-gia DEA. No obstante os resultados obtidos por Ramos e Souza (1997), apenas seis das 33 universidades federais investigadas foram consideradas tecnicamente efcien-tes. O autor verifcou que a propriedade de retornos constantes escala no se aplica aocasodasuniversidadespblicasfederais.Dessaforma,suasestimativasforam realizadas de acordo com o modelo DEA-BCC com retornos variveis escala.Por fm, Oliveira e Turrioni (2005) avaliaram a efcincia relativa das ins-tituiesfederaisdeensinosuperior(Ifes).Osinputseosoutputsforamcons-trudos com a utilizao dos indicadores do Tribunal de Contas da Unio (TCU). O modelo DEA-CCR levou em considerao retornos constantes escala. Foram avaliadas 19 instituies federais de ensino superior, das quais cinco foram consi-deradas tecnicamente inefcientes. Comparando-se esses resultados com os obti-dos por Ramos e Souza (1997) e por Belloni (2001), nota-se que os de Oliveira e Turrioni (2005) apontaram numa direo oposta, talvez pela utilizao do modelo com rendimentos constantes escala.Qualidade do Gasto Pblico Edward Martins Costa, Francisco de Sousa Ramos e Hermno Ramos de SouzaFinanas Pblicas XV Prmio Tesouro Nacional 2010 144 Referencial terico eprocedimentos metodolgicosNestaseosoabordadososmodelos utilizadoseateoria queforneceo arcabouoparaestetrabalho,bemcomoametodologiamaisadequadaparaa obteno dos resultados.4.1 Funo de produo educacionalSegundoCohneGeske(1990),afunodeproduoeducacional,em princpio, semelhante a qualquer outro tipo de funo de produo. Para a anlise input-output, necessrio especifcar a forma pela qual os inputs infuenciam os outputs, ou, em termos econmicos, precisamos conhecer o formato da funo de produo educacional.Ateoriaeconmicafornecealgunspressupostosqueconduzemaanlise da especifcao de uma funo de produo. Para tratarmos essa funo de pro-duo, temos de lembrar que a indstria da educao bastante diferente da-maioria das outras indstrias em seu escopo e carter, alm disso tambm possui diferenasnoprocessoprodutivo.Entretanto,ospressupostosdedefniode uma funo de produo so vlidos aqui.A generalizao da funo de produo educacional dada por:f = (y, x / s) = 0(1)ondeovetordeoutputseducacionaispodeserdenotadopor:y=y1,y2,...,yn; o vetor de inputs educacionais como x = x1, x2, ..., xn; e o vetor de inputs no edu-cacionais por s = s1, s2, ..., sn. Tem-se um total de n outputs e k + m inputs.A forma geral da funo de produo linear pode ser representada pela se-guinte equao: (2)onde ai o intercepto; big yg; cih xh; dij sj so os coefcientes a serem estimados; ei o erro estocstico.Qualidade do Gasto Pblico Edward Martins Costa, Francisco de Sousa Ramos e Hermno Ramos de SouzaFinanas Pblicas XV Prmio Tesouro Nacional 2010 154.2 Caractersticas da funo de produo educacional e seus outputs e inputsA funo de produo educacional tem algumas diferenas quando compa-rada a outros tipos de funo de produo, principalmente em sua estrutura e car-ter. Alm disso, seu processo produtivo bastante distinto, ou seja, os inputs e os outputs educacionais so especifcamente caracterizados para esse tipo de funo.MancebneMuiz(2003)destacamalgumascaractersticasinerentesao setor de produo educacional: (i) a natureza mltipla e intangvel do produto os produtos educacionais podem ser classifcados como: conhecimento e habili-dades, valores, atitudes, entre outras caractersticas; (ii) a participao do cliente noprocessoprodutivoocliente(aluno)nomeramenteumdemandanteda mercadoria, mas atua de forma decisiva no processo produtivo; (iii) a heteroge-neidade dos servios devido participao do estudante no processo produtivo, as unidades produtivas se diferenciam umas das outras; (iv) a dimenso temporal os resultados obtidos do processo produtivo podem no ser sufcientes para uma mensurao completa da produo do setor educativo, visto que necessrio ob-servar uma trajetria completa da vida dos estudantes; (v) o carter acumulativo doensino;(vi)aincidnciadefatoresexgenosessacaractersticatemcomo embasamento a denominada educao informal, que no obtida pelos anos de estudos, mas, sim, por experincias fora do setor educacional.Hanushek (1986) aponta alguns inputs e outputs que fazem parte do proces-so produtivo educacional. O background familiar avaliado no tempo, a infuncia externa (pares), os inputs escolares e, por fm, as habilidades inatas dos estudantes compem os inputs. Com relao ao output, destacado o conhecimento adquiri-do durante o tempo de estudo.Hernndez(2004)classifcaosinputseducacionaisemdoisgrupos,a saber: o primeiro contm os fatores sobre os quais as IES exercem algum tipo de controle (endgenos): os recursos humanos (docentes, tcnicos administrativos) e a estrutura fsica das universidades. O segundo engloba os fatores que as IES no podem controlar (exgenos): o background familiar e as habilidades inatas dos estudantes.Para os outputs, Hernndez (2004) apud Mancebn e Muiz (2003), De la Orden (1985), Cohn e Millan (1975) e Bloom et al. (1975) evidenciam que, devido ao aspecto multidimensional do processo educacional, consideram-se diferentes fatores no processo produtivo, tais como as dimenses individual; social; temporal; econmicae,fnalmente,acognitivaeanocognitiva.Hernndezcomenta tambmqueototaldealunosconcluintespodeserconsideradoumoutputno processo produtivo educacional Qualidade do Gasto Pblico Edward Martins Costa, Francisco de Sousa Ramos e Hermno Ramos de SouzaFinanas Pblicas XV Prmio Tesouro Nacional 2010 164.3 Escolha do modelo So dois os mtodos mais comuns para medio de efcincia: o primeiro a abordagem estatstica (ou economtrica), e o segundo a abordagem matemti-ca (ou determinstica), sendo as duas abordagens distintas.SegundoForsundetal.(1980),aabordagemeconomtricapressupeque as efcincias seguem uma distribuio especfca. Sengupta (1999) afrma que a abordagemeconomtrica,porutilizarumadeterminadaformafuncionalparaa funodeproduo(porexemplo,aCobbDouglas),muitasvezesparamtri-ca, ou seja, a estimao de efcincia da tecnologia de produo feita por meio de parmetros testados com base em erros padres. Entretanto, existem algumas desvantagens no uso dessa abordagem: pode ocorrer o erro de m especifcao, causadomuitasvezespelaformafuncionaldafunodeproduo. Ademais,a mensuraodeefcinciaemqueexistemmltiplosinsumoseprodutosno facilmente aplicada em um modelo paramtrico.De acordo com Sengupta (1999), a abordagem no estatstica muitas ve-zes no paramtrica, signifcando que so utilizados mtodos de programao li-near para calcular a fronteira envoltria de efcincia com base nos insumos e nos produtos. Consequentemente, essa abordagem evita erros de especifcao. Alm disso,autilizaodemtodosdeprogramaoadequadaemumasituaona qual existem mltiplos insumos e produtos. Basicamente, existem duas desvanta-gens no uso dessa abordagem. De acordo com Geva May (2001), primeiramente ela no fornece estimativa ou testes de signifcncia dos parmetros; segundo, a fronteira envoltria pode ser defnida apenas por amostra pequena.O mtodo escolhido para a estimao de efcincia das instituies federais de ensino superior neste estudo ser o determinstico no paramtrico. A escolha do mtodo deve-se sua aplicao na mensurao de efcincia em que existem mltiplos insumos e produtos, uma vez que este estudo possui tais caractersticas. AestimaodessetipodeabordagemdenominadadeAnliseEnvoltriade Dados(DEA). AshiptesesbsicasdaabordagemDEAestoconsideradasno discorrer desta seo.Nareadeeducao,atcnicaDEAtemsidoutilizadacomsucessopara medir a efcincia relativa das escolas pblicas e das universidades. A metodolo-gia DEA permite a utilizao de tipos de variveis no apenas monetrias; consi-dera vrios critrios na determinao do ndice de efcincia e, alm de ser uma medida de efcincia relativa, torna-se apropriada para ser utilizada em investiga-es na rea de educao, o que possibilita avaliar o desempenho das instituies.A modelagem utilizada para medir a efcincia esttica das instituies fe-deraisdeensinosuperior(Ifes)aDEA(SBMcomfolgas)output-orientado Qualidade do Gasto Pblico Edward Martins Costa, Francisco de Sousa Ramos e Hermno Ramos de SouzaFinanas Pblicas XV Prmio Tesouro Nacional 2010 17(estimada pela equao 4). Posteriormente ser utilizada a modelagem DEA Pai-nel, por meio do ndice de Produtividade Malmquist output orientado com folgas (estimada pela equao 6), para verifcar se houve mudana de efcincia durante otempo.Porltimo,paramensuraraefcinciaintertemporalserutilizadoo modelo DEA SBM Dinmico (DSBM, estimada pela equao 10), proposto por FareeGrosspkof(1996).Dessaforma,deseja-severifcarquaissoasinstitui-es efcientes em cada perodo de tempo e intertemporalmente e tambm medir aspossveismudanasdeprodutividadeedetecnologiaocorridasaolongodo perodo analisado.Porfm,aestruturaoutput-orientadocomretornosvariveisfoiescolhida devido s caractersticas do setor educacional, ou seja, ao analisar a efcincia das Ifes deseja-se, por exemplo, obter o mximo de alunos formados (output), dado ovetordeinputs:razoalunoequivalente/docentes,observandootamanhode escala mais produtivo. 4.4 Anlise Envoltria de Dados (DEA)A metodologia de Anlise Envoltria de Dados (DEA Data Envelopment Analysis)foidesenvolvidaporCharnes,CoopereRhodes(1978).Essetipo deanlisegeneralizaasmedidasdeDantzig(1951)eFarrel(1957)eprocura medir a efcincia produtiva de unidades de produo com mltiplos produtos emltiplosinsumosafmdeobterumindicadorqueatendaaoconceitode efcincia de Koopmans.A estimao da DEA feita de forma no paramtrica, mensurando a efcincia das unidades tomadoras de deciso (Decision Making Units DMU) observadas, comparando-asentresi,eobtendoumindicadordeefcinciarelativa.Essa metodologia utiliza as DMUs como as melhores prticas observadas, construindo com base nelas uma fronteira de produo emprica denominada fronteira efciente.4.4.1 DEA SBMO modelo DEA baseado em folgas (SBM) foi introduzido por Tone (2001) e possui dois pressupostos, a saber:i.Amensuraoconstantecomrelaounidadedemensuraode cada item input e output.ii.A mensurao monotonicamente decrescente em cada folga de input e output.Qualidade do Gasto Pblico Edward Martins Costa, Francisco de Sousa Ramos e Hermno Ramos de SouzaFinanas Pblicas XV Prmio Tesouro Nacional 2010 18Para estimar a efcincia de uma DMU por meio do modelo DEA(SBM) defnido o seguinte problema fracionado de (PL) em , s, s+. (3)NomodeloassumidoqueX0.Sexio=0,entoaexpresso excluda. Na outra mo, se yio 0, teremos um nmero positivo muito pequeno, de modo que a expresso desempenha um papel desvantajoso.O valor da funo objetivo satisfaz o primeiro pressuposto, pois o nume-rador e o denominador so medidos na mesma unidade para cada expresso dessa funo. Almdisso,ovalordafunoobjetivodiminuiapsaumentoseme ,mantidososoutrostermosconstantes;issosedeveaosegundopressuposto. Ademais, 0 1.OmodeloDEA(SBM)podeserdefnidopormeiodasestruturasinput orientado, output orientado e no orientado. Aqui ser tratada somente a output orientado, defnida pela equao a seguir: (4)4.4.2 DEA Painel: o ndice de Malmquist com folgasQuandosetemdadosemPainel,pode-seutilizarametodologiaDEApor meiodeprogramaolinear(inputorientadoou output orientado) paracalcular o ndice de Malmquist com o objetivo de medir a variao de produtividade e a decomposio dessa mudana de produtividade nas mudanas tcnica e de efci-ncia tcnica. Um exame mais detalhado do ndice de Produtividade Malmquist denotado pela equao a seguir:Qualidade do Gasto Pblico Edward Martins Costa, Francisco de Sousa Ramos e Hermno Ramos de SouzaFinanas Pblicas XV Prmio Tesouro Nacional 2010 19 (5)onde MI composto por quatro termos: 1 ((x0, y0)1), 2 ((x0, y0)2), 2 ((x0, y0)1) e 2 ((x0, y0)2). Os dois primeiros esto relacionados com a mensurao no mesmo perododetempocomt=1out=2,enquantoasduasltimasservemparaa comparao intertemporal. Dessa forma, se MI > 1, houve melhoria de efcincia tcnica; com MI = 1, no h mudana na tecnologia de produo; se MI < 1, h melhoria na tecnologia de produo.OndicedeMalmquist(SBM)estruturaoutputorientadodefnidopela equao 6: (6)4.4.3 DEA Dinmico SBMAmensuraodaefcinciaintertemporalpormeiodametodologiaDEA vem sendo objeto de estudo nas ltimas dcadas. A primeira abordagem foi a win-dowanalysis(KLOPP,1985),eposteriormenteFareetal.(1994)incorporaram ondicedeMalmquistnaestruturaDEA.Sengupta(1995)eFareeGrosspkof (1996) foram os primeiros a desenvolver a estrutura do modelo DEA Dinmico. Sengupta verifcou a efcincia dinmica da estrutura de Farrell por meio da va-riao do input capital no tempo com relao s mudanas ocorridas nos preos doinputaolongodotempo.Naoutramo,FareeGrosspkofpropuseramuma fronteira de produo dinmica utilizando um output intermedirio que interliga os processos de produo de cada ano.Qualidade do Gasto Pblico Edward Martins Costa, Francisco de Sousa Ramos e Hermno Ramos de SouzaFinanas Pblicas XV Prmio Tesouro Nacional 2010 20FIGURA 1ESTRUTURA DO DEA DINMICOFonte: Dynamic DEA: a slacks-based measure approachTone e Tsutsui (2010) empregaram, com base no modelo de Fare e Gross-pkof, uma estrutura para o modelo DEA Dinmico na qual so utilizadas variveis carry-over com o objetivo de estimar a fronteira de produo ao longo de vrios perodosdetempo. Ademais,aestimaodafronteirafeitautilizando-seum modelo no radial, ou seja, um modelo baseado em folgas denominado de SBM Dinmico (DSBM). A estrutura do modelo mostrada na Figura 1.O que distingue o DEA Dinmico dos outros tipos de DEA a existncia de uma transio que liga os perodos ao longo do tempo. Os carry-overs, denomi-nados de links, podem ser de quatro tipos, a saber:Desejvel (good) os links desejveis so tratados como outputs, e o valor da ligao de acesso restrito a no menos do que o observado. Escassez com-parativa dos links nessa categoria considerada inefcincia; por exemplo, lucro.Indesejvel (bad) os links indesejveis so tratados como insumos, e seu valor limitado, no podendo ser maior do que o observado. Excesso compara-tivoemlinksnessacategoriacontabilizadocomoinefcincia;porexemplo, prejuzo e inadimplncia.Discricionrios(free)esselinkpodesermanipuladolivrementepela DMU, e seu valor pode ser aumentado ou diminudo do observado. O desvio em relao ao valor atual no refetido diretamente na avaliao da efcincia, mas a condio de continuidade entre os dois perodos de tempo explicados no prximo perodo exerce um efeito indireto sobre o escore de efcincia.No discricionrios (fx) neste caso, o link est alm do controle da DMU, e seu valor fxado em um nvel observado. Esse link tambm afeta indiretamente o escore de efcincia por meio da condio de continuidade entre os dois pero-dos de tempo.Qualidade do Gasto Pblico Edward Martins Costa, Francisco de Sousa Ramos e Hermno Ramos de SouzaFinanas Pblicas XV Prmio Tesouro Nacional 2010 214.4.3.1 Conjunto de possibilidade de produoSejam n DMUs ( j = 1, ..., n) durante T perodos de tempo (t = 1, ..., T) ten-do-se em cada perodo m inputs (i = 1, ..., m), p inputs no discricionrios ( fxos) (i = 1, ..., p), s outputs (i = 1, ..., s) e r outputs no discricionrios ( fxos) (i = 1, ..., r). Alm disso, os inputs (discricionrios) xijt (i = 1, ..., m), os inputs no discricion-rios, os outputs (discricionrios) yijt (i = 1, ..., s) e os outputs no dis-cricionrios representam respectivamente os valores da DMU j e do perodo de tempo t. Os carry-overs so simbolizados em quatro categorias zgood, zfree, zbad, zfx. A fm de identifcar o perodo de tempo (t), DMU ( j) e o item (i), por exemplo,utilizadaanotao,quedenota todos os valores observados do link free at o perodo de tempo T.Dessaforma,oconjuntodepossibilidadesdeproduo ,,, ,,,, defnido por:, , , , , , , , , ,(7)Qualidade do Gasto Pblico Edward Martins Costa, Francisco de Sousa Ramos e Hermno Ramos de SouzaFinanas Pblicas XV Prmio Tesouro Nacional 2010 22onde o vetor intensidade para o perodo de tempo t, e ngood, nfree, nfx so as quantidades dos links bad, free e fx, respectivamente. A ltima restriocorrespondehiptesederetornosvariveisescala.Comaausn-ciadessarestrio,omodeloencontra-senaproposioderetornosconstantes escala. No lado direito das equaes anteriores, as variveis assumem valores positivos;naoutramo,noladoesquerdoestoasvariveisquecorrespondem ao vetor intensidade.A continuidade dos links carry-overs entre o perodo de tempo t e t + 1 garantida pela seguinte condio: (8)onde o smbolo padro para os links good, bad, free e fx. Essa restrio fun-damentalparaomodelodinmico,umavezqueelaconectaasatividadesentre os perodos de tempo t e t + 1. Usando essas equaes para a produo, podemos expressar a DMUo (o=1, ..., n) da seguinte forma:, , , , , , , , Qualidade do Gasto Pblico Edward Martins Costa, Francisco de Sousa Ramos e Hermno Ramos de SouzaFinanas Pblicas XV Prmio Tesouro Nacional 2010 23, ,,,, e(9)onde,,, e so as variveis de folgas que denotam respectivamen-te o excesso de input, o dfcit de output, o dfcit do link, o excesso do link e o desvio do link.4.4.3.2 Funo objetivo e efcinciaA avaliao da efcincia global de uma DMUo (o=1, ..., n) tendo,, ,,,realizadapormeiodasestruturasinputorientado, output orientado e no orientado. Ser tratada aqui somente a orientao a output, dada a defnio do modelo de pesquisa. A efcincia global output orientado com link good dada por: (10)Sujeito s equaes (8) e (9), onde o peso para o output i e satisfaz a condio(11)EssafunoobjetivoumaextensodomodeloSBMoutputorientadoe tratadasinefcinciasdosoutputs,incluindoolink(good),quefuncionacomo meta fundamental na avaliao. Os links indesejveis de inefcincia tambm so contabilizadosnafunoobjetivo,domesmomodoqueocorrecomasinefci-nciasdosoutputs.Entretanto,oslinksindesejveisnosooutputs,elestm apenasafunodeconectarosdoisperodosdetempoconsecutivos,como denotado na equao 8. Na equao 10, cada perodo dentro do colchete refere-se efcincia do perodo t mensurada pelas folgas relativas dos outputs e do link, sendo igual unidade se todas elas forem iguais a zero. Alm disso, so unidades constantes, e seu valor maior ou igual a um. Assim, o lado direito da equao 10 a mdia ponderada dos ganhos de efcincia ao longo do tempo, tendo de ser maior ou igual a um. Dessa forma, desde que foi defnida a efcincia global, por reciprocidade a efcincia global do output estar situada entre zero e um.Usando a soluo tima,,,,,, defni-da a efcincia dinmica output orientado como:Qualidade do Gasto Pblico Edward Martins Costa, Francisco de Sousa Ramos e Hermno Ramos de SouzaFinanas Pblicas XV Prmio Tesouro Nacional 2010 24,(12)Portanto, a efcincia global output orientado durante o perodo uma mdia harmnica das efcincias dos perodos, demonstrada a seguir: (13)5 Mensurao de efcinciae anlise dos resultadosNestaseosoabordadososindicadoreseducacionais,aescolhadas instituies,acomposiodosmodelos,asestimaese,fnalmente,aanlise dos resultados.5.1 Indicadores de efcincia do setor educacionalOusodosindicadoresdeefcinciadescritosnaliteraturaparaosetorde educao foi primeiramente estudado por Bessent (1980), Charnes, Cooper, Rho-des(1981),Beasley(1990)eLovell,Walters,Wood(1990).Hernndez(2004) detalha uma relao de indicadores que devem ser utilizados para a composio dos inputs e dos outputs no processo de avaliao de efcincia das instituies de ensino superior. So eles:5.1.1 Indicadores de contexto econmico, social e institucionalEstes indicadores representam os fatores exgenos que infuenciam no pro-cessodaeducaosuperior:osqueavaliamodesenvolvimentoeconmicoda regioondeestlocalizadaainstituiodeensinosuperior(IES);aquelesque mensuramodesenvolvimentoculturaldaregioondeestlocalizadaaIES;os Qualidade do Gasto Pblico Edward Martins Costa, Francisco de Sousa Ramos e Hermno Ramos de SouzaFinanas Pblicas XV Prmio Tesouro Nacional 2010 25indicadores de concorrncia; os indicadores do ambiente familiar (nvel econmi-co, educacional e cultural dos alunos); e, fnalmente, os indicadores de aptides inatas aos estudantes.5.1.2 Indicadores de recursosOs indicadores de recursos so divididos em dois tipos, a saber: indicadores de recursos fsicos, que podem ser de recursos fnanceiros e de infraestrutura; e os indicadores de recursos humanos, que, por sua vez, so divididos em pessoal docente e de pesquisa e em pessoal de servios administrativos.5.1.3 Indicadores da atividade e da qualidade docenteEste grupo aborda o papel da atividade docente com relao ao processo edu-cacional, sendo dividido em desenvolvimento do ensino e qualidade do ensino.5.1.4 Indicadores da atividade de pesquisaEstes indicadores tm como princpio avaliar a qualidade de pesquisas rea-lizadas pelos docentes a fm de se obter um parmetro de excelncia acadmica, sendo divididos em dois grupos. O primeiro grupo busca medir a atividade inves-tigadora por meio de publicaes e pesquisas realizadas pelas IES; e o segundo procura mensurar a qualidade das pesquisas realizadas pelas IES.5.1.5 Indicadores de gesto universitriaEstesindicadoresauxiliamnamensuraotantodonveldeatividadedo pessoal administrativo como do pessoal de servios, referindo-se basicamente quantidade de pessoal e estrutura fornecidas pelas IES.5.1.6 Indicadores do processo de ensino e aprendizagemEstegrupoauxilianaavaliaodoprocessoeducativorealizadopor cada IES, destacando-se a metodologia docente; a avaliao da aprendizagem; Qualidade do Gasto Pblico Edward Martins Costa, Francisco de Sousa Ramos e Hermno Ramos de SouzaFinanas Pblicas XV Prmio Tesouro Nacional 2010 26odesenvolvimentodenovastecnologiasdeinformticaetelecomunicaes;e, por fm, o learning by doing.5.1.7 Indicadores dos resultados de aprendizagemEstes indicadores resultam do processo de avaliao dos discentes durante os cursos realizados, ou seja, avaliam o rendimento acadmico.5.1.8 Indicadores de empregabilidade e concorrnciaEstesindicadoressoosquemensuramonveleducacionaldaIEScom relao empregabilidade dos estudantes aps a concluso do curso. Para Miguel et al. (2001) apud Hernndez (2004), esses indicadores medem o grau de insero no mercado de trabalho de acordo com a qualidade e a efcincia da IES na qual o estudante se graduou.5.1.9 Indicadores de impacto socialBasicamente, so aqueles que avaliam os impactos do estudo universitrio no bem-estar social da comunidade. Neste grupo, temos os seguintes indicadores: os de equidade, que tm como objetivo mensurar o grau de acesso ao servio p-blico de educao pelas diversas classes sociais; os de demanda, que identifcam e mensuram as necessidades principais dos usurios do servio universitrio; os sociais,quesegundoBokeBowen(1998)apudHernndez(2004)medemos efeitos sociais da educao em longo prazo.5.2 Escolha das DMUsPara o clculo de efcincia da educao superior pblica federal, ser consi-derado um conjunto formado por 49 instituies. As Ifes no includas na estima-o so as seguintes: Fundao Universidade Federal do Vale do So Francisco; UniversidadeFederaldoRecncavodaBahia;FundaoUniversidadeFederal do ABC; Fundao Universidade Federal do Pampa; Universidade Federal Tec-nolgicadoParan;eFundaoUniversidadeFederaldoGrandeDourados. A no incluso dessas universidades se deve insufciente dimenso temporal com respeito ao perodo analisado.Qualidade do Gasto Pblico Edward Martins Costa, Francisco de Sousa Ramos e Hermno Ramos de SouzaFinanas Pblicas XV Prmio Tesouro Nacional 2010 27As instituies federais de ensino superior (Ifes) possuem elevado grau de heterogeneidade, tornando complexa a estimao da fronteira de produo. Inde-pendentemente de qual seja a modelagem utilizada (estatstica ou no estatstica), os modelos estimados devem incorporar as diferenas entre as instituies. Pode-severifcaressasdiferenassobvriosngulos(recursosrecebidos,nmerode alunos matriculados, cursos, entre outros). Entretanto, uma grande universidade, que atua em vrias reas de conhecimento, tanto no ensino quanto na pesquisa e na extenso, quando comparada com uma universidade voltada basicamente para a graduao demonstra a marcante diferena existente nesse setor.Portanto, na busca de resultados consistentes, as estimaes sero realizadas em duas etapas. Na primeira procurou-se minimizar a caracterstica heterognea dosetor,sendoconsideradasasrealidadesdecadainstituio,subdividindo-as em dois grupos: no primeiro grupo so consideradas as instituies que tm uma atuao preponderante no ensino da ps-graduao e na pesquisa; e no segundo soconsideradasasinstituiescompoucaounenhumaatuaonoensinoda ps-graduaoenapesquisa.Nasegundaetapa,serestimadooconjuntoda populao das Ifes selecionadas, ou seja, um modelo com todas as instituies.Os dois grupos da primeira etapa foram determinados por meio da anlise de trs indicadores,1 sendo o primeiro o total de matrculas na graduao. Os outros dois esto presentes nas estatsticas do Conselho Nacional de Desenvolvimento Cientfco e Tecnolgico (CNPq) e constituem: (i) a razo docente/pesquisa; e (ii) o total de investimento em bolsas e o fomento pesquisa. Dessa forma, os dois grupos a serem estimados so os seguintes:TABELA 1GRUPOS DE INSTITUIES DE REFERNCIAGrupo I Grupo IIUniversidade Cdigo siglaUniversidade Cdigo siglaUniversidade Cdigo siglaUniversidade Cdigo sigla01 UFRJ 15 UFF 01 UFRRJ 15 Ufersa02 UFRGS 16 UFPB 02 UFMS 16 UFTM03 UFMG 17 Ua 03 UFS 17 UFVJM04 UFPE 18 UFG 04 Ufma 18 UFSJ05 UFSC 19 UFSM 05 UFPI 19 Unifap06 UnB 20 Ufam 06 UFT 20 Unifal1 As Tabelas 17, 18 e 19 anexas contm esses indicadores.continuaQualidade do Gasto Pblico Edward Martins Costa, Francisco de Sousa Ramos e Hermno Ramos de SouzaFinanas Pblicas XV Prmio Tesouro Nacional 2010 28Grupo I Grupo IIUniversidade Cdigo siglaUniversidade Cdigo siglaUniversidade Cdigo siglaUniversidade Cdigo sigla07 UFC 21 UFRPE 07 Ufop 21 UFCSPA08 UFV 22 UFU 08 Unir09 UFPR 23 Ufal 09 UFJF10 UFBA 24 Furg 10 Ufra11 Ufscar 25 Ufpel 11 Unifei12 UFPA 26 Ufes 12 Ufac13 Unifesp 27 UFMT 13 UFRR14 UFRN 28 UFMT 14 UNI-RIOFonte: MEC/Inep/Deed; elaborao dos autores5.3 Defnio do modeloO conceito de efcincia est relacionado com a utilizao e a alocao dos recursos. Dessa forma, para obter estimativas confveis no clculo de efcincia necessrioempregarindicadoresquerepresentemdeformaconsistenteasca-ractersticas da funo de produo educacional.A partir dos principais outputs e inputs utilizados por diversos trabalhos nas ltimas dcadas, do conjunto de indicadores de efcincia apresentados e consi-derandoarealidadedosistemafederaldeensinosuperiornoBrasil,osoutputs e os inputs a serem empregados para a mensurao de efcincia das instituies federais de ensino superior (Ifes) neste trabalho so os seguintes:OutputOs outputs educacionais podem ser defnidos como funo dos servios ofe-recidos pelas instituies de ensino superior (IES). Dessa forma, para este estudo foram defnidas as seguintes variveis como output:Alunos formados/alunos matriculados (TSG)Qualidade do Gasto Pblico Edward Martins Costa, Francisco de Sousa Ramos e Hermno Ramos de SouzaFinanas Pblicas XV Prmio Tesouro Nacional 2010 29Arazoalunosformados/alunosmatriculadosdefnidapeloTribunalde ContasdaUnio(TCU)2comoaTaxadeSucessonaGraduao(TSG).Seu clculo realizado pela seguinte frmula:Considera-se nmero de diplomados (NDI) o total de concluintes dos cursos nosdoissemestresdoanoletivo.Naoutramo,consideradonmerototalde ingressantes aquele conforme o ano ou o semestre do ingresso dos alunos.3ATSGvisaarepresentarumprodutonoprocessoprodutivoeducacional que contemple o desempenho acadmico das Ifes. Entretanto, sabe-se que existem algumasconsideraesmetodolgicasaseremfeitas,taiscomo:apossvel mobilidade dos estudantes na instituio (por intermdio de mudanas de cursos na prpria instituio) ou para outras instituies, e a possibilidade de existirem concluintes matriculados h vrios anos.Conceito Capes/MEC para a ps-graduao Segundo o TCU (2004), o clculo do conceito Capes/MEC para a ps-gra-duao realizado por meio da mdia aritmtica dos conceitos obtidos por todos os programas de ps-graduao stricto sensu. Esse produto considerado muito importante no clculo de efcincia do setor produtivo educacional, pois capta o grau de comprometimento de ensino e pesquisa das Ifes.InputOsinputseducacionaispodemserdefnidoscomoaquelasvariveisque tornam possvel os servios oferecidos pelas instituies de ensino superior (IES). Desse modo, para esta pesquisa, foram defnidas as seguintes variveis como input:2 Deciso TCU n. 408/2002.3 Mais detalhes, ver TCU (2004).Qualidade do Gasto Pblico Edward Martins Costa, Francisco de Sousa Ramos e Hermno Ramos de SouzaFinanas Pblicas XV Prmio Tesouro Nacional 2010 30Custo corrente/aluno equivalente MedebasicamenteocustocorrentedoalunoparacadaIfes.Seuclculo dadopelosomatriodasdespesasdauniversidadeemquestodivididopelo nmero de alunos equivalentes.Aluno tempo integral/docente equivalenteCapta a habilidade de atendimento dispensado aos alunos pelo corpo docente. Seu clculo obtido pela razo entre o total de alunos equivalentes pelo total de docentes.Aluno tempo integral/funcionrios equivalentesDeterminaacapacidadedeatendimentoprestadoaosalunosportodosos servidores. Seu clculo realizado pela razo do total de alunos equivalentes pelo total de servidores.ndice de qualifcao do corpo docenteO ndice de qualifcao do corpo docente (IQCD) mede o grau de titulao deste.Seuclculorealizadoutilizandoumafrmulamatemticaquebusca determinaracontribuiodosquadrosdosdocentes permanentes etemporrios de uma instituio de ensino superior.Avarivelcarry-overescolhidaparafazeravinculaoentreosperodos ototaldealunosequivalentes.4Aescolhadessavariveldeve-seaofatode elafazerpartedomodelodealocaoderecursosdaSesu/MECparaasIfes, correspondendo como uma varivel de link plausvel.Combasenosoutputs,nosinputsenavarivelcarry-overapresentados determinadoomodeloquerefeteaefcinciaprodutivadosindicadoresde atividade e de qualidade de docncia, de pesquisa e de gesto.ModeloInputs: Despesas correntes/aluno equivalente.Aluno tempo integral/docente equivalente.Aluno tempo integral/funcionrios. ndice de qualifcao do corpo docente.4 Segundo o MEC, o indicador aluno equivalente determina o total de alunos matriculados em determinada Ifes com base em uma frmula matemtica que equipara os alunos de cursos diferenciados. Assim, pode-se comparar o total dos alunos de todos os cursos e de todas as Ifes em estudo.Qualidade do Gasto Pblico Edward Martins Costa, Francisco de Sousa Ramos e Hermno Ramos de SouzaFinanas Pblicas XV Prmio Tesouro Nacional 2010 31 Outputs: Alunos formados/alunos matriculados. Conceito Capes/MEC para a ps-graduao. Defnidas as DMUs e apontado o modelo, determina-se agora o perodo de anlisedamensuraodeefcincia.Ocritrioparaadeterminaodoperodo foifundamentadopeladisponibilidadededadosdosindicadoresutilizadosna pesquisa. Assim, o perodo analisado ser de 2004 a 2008.5.4 Obteno de dadosAsvariveisutilizadasnestetrabalhoforamobtidas,principalmente,nos seguintes rgos:Ministrio da Educao (MEC), pelo site .Instituto Nacional de Estudos e Pesquisas Educacionais (Inep), pelo site .5.5 Estimao de efcincia e anlise dos resultadosEste modelo procurou mensurar a efcincia, considerando alguns indicadores que tratam da gesto das Ifes. As estimaes foram realizadas por meio do software DEA Solver Professional version 7.0. Nesse modelo, foram realizadas trs estima-es. Na primeira, buscou-se obter resultados mais robustos do ponto de vista da homogeneidade das Ifes, sendo estimada a fronteira de efcincia das Ifes em dois grupos, a saber: Grupo A (Ifes consideradas grandes); Grupo B (Ifes consideradas pequenas); ademais feito o DEA Painel e, por fm, uma comparao entre o DEA Esttico e o DEA Dinmico. Posteriormente foi estimada a fronteira do conjunto de todas as Ifes sem levar em considerao critrios de homogeneidade.5.5.1 Identifcao de outliersMuitos trabalhos afrmam que o modelo DEA sensvel a outlier. Nos ltimos anos, vrios procedimentos foram direcionados para o diagnstico e a eliminao desseproblema.Recentemente,SampaiodeSousaeStocic(2003)aplicaramum teste para verifcar possveis DMUs que podem ser consideradas outliers por meio Qualidade do Gasto Pblico Edward Martins Costa, Francisco de Sousa Ramos e Hermno Ramos de SouzaFinanas Pblicas XV Prmio Tesouro Nacional 2010 32de um mtodo denominado Jackstrap, que combina Bootstrap e a estatstica Jackni-fe. Entretanto, essa tcnica foi testada somente para grandes amostras.Oconceitodesuperefcincia,desenvolvidoporAndersenePetersen (1993),calculaatquenmeroasDMUsefcientespodemaumentarosseus inputs, mantendo-se tecnicamente efcientes, ou o total necessrio para que elas possam reduzir seus outputs de maneira que continuem efcientes. Em termos nu-mricos, o procedimento consiste em retirar as observaes efcientes da amostra no momento da avaliao DEA, de modo que as observaes sejam comparadas pormeiodeumacombinaolinearentretodasasoutras,excetoelasprprias, permitindo que sua efcincia possa ser superior a um. Recentemente, Banker e Chang (2006) afrmaram que o uso da metodologia de superefcincia uma boa ferramenta para identifcar que uma DMU seja um outlier.Conhecendo essas duas tcnicas para a identifcao de outlier e o modelo aserestimado,verifca-sequeosdoisgrupossoconsideradoscomopequena amostra (Grupo A 28, Grupo B 21), no sendo aplicado, portanto, o modelo Jackstrap. Dessa forma, sero realizadas estimaes de superefcincia (SBM) a fm de identifcar as Ifes que se localizaram acima de um.Aps a identifcao dessas instituies, ser realizado o teste do score pa-dronizadoparaverifcarsedentreasIfes-quecompemoconjuntoacimade um (superefcincia) existem outliers. O teste do score padronizado dado pela seguinte equao:(14)onde a mdia amostral e s o desvio-padro.HiptesesH0 = |zi| > 3: a observao um outlier.H0 = |zi| < 3: a observao no um outlier.A Tabela 2 mostra os resultados para as estimaes de superefcincia para as Ifes do Grupo A.Qualidade do Gasto Pblico Edward Martins Costa, Francisco de Sousa Ramos e Hermno Ramos de SouzaFinanas Pblicas XV Prmio Tesouro Nacional 2010 33TABELA 2IDENTIFICAO DE OUTLIERS DE IFES DO GRUPO A2004 2005 2006Ifes Scores ZiIfes Scores ZiIfes Scores ZiUa 1,15 1,99 UFU 1,17 1,98 UFU 1,16 2,02UFU 1,08 1,26 Ufscar 1,13 1,55 Ufscar 1,11 1,51UFMG 1,08 1,20 UFMG 1,10 1,31 UFMG 1,11 1,47Ufscar 1,07 1,16 UFRJ 1,08 1,12 UFV 1,07 1,06UFRJ 1,07 1,07 UFV 1,08 1,06 UFSM 1,03 0,58UFRGS 1,03 0,66 UFPB 1,05 0,78 UFC 1,02 0,54Estatsticas Estatsticas EstatsticasMdia 0,97Mdia 0,98Mdia 0,97 Desvio-padro 0,09Desvio-padro 0,10Desvio-padro 0,09 Mximo 1,15Mximo 1,17Mximo 1,16 Mnimo 0,79Mnimo 0,78Mnimo 0,79 2007 2008 Ifes Scores ZiIfes Scores ZiUFBA1,24 2,00 UFPEL 1,17 1,97UFU1,21 1,81 UFMG 1,12 1,49UFMG1,16 1,44 UFRGS 1,09 1,17Ufscar1,10 1,05 UFF 1,08 1,03UFF1,09 0,93 UFRJ 1,04 0,68UFRGS1,05 0,70 UFPE 1,04 0,68UFRJ1,05 0,64 Ufscar 1,04 0,67Estatsticas EstatsticasMdia 0,95Mdia 0,97 Desvio-padro 0,14Desvio-padro 0,10 Mximo 1,24Mximo 1,17 Mnimo 0,61Mnimo 0,77 Fonte: estimaes da pesquisa; elaborao dos autoresQualidade do Gasto Pblico Edward Martins Costa, Francisco de Sousa Ramos e Hermno Ramos de SouzaFinanas Pblicas XV Prmio Tesouro Nacional 2010 34AnalisandoaTabela2,verifca-sequeparatodososperodostemporais os valores de zi < 3, rejeitando-se a hiptese nula e indicando que no existiam outliers.Dessaforma,paraosmodelosestimadosparaasIfesdoGrupo Ano haver excluso de DMUs.A Tabela 3 mostra os resultados para as estimaes de superefcincia para as Ifes do Grupo B.TABELA 3 IDENTIFICAO DE OUTLIERS DE IFES DO GRUPO B2004 2005 2006Ifes Scores ZiIfes Scores ZiIfes Scores ZiUFCSPA 1,48 2,46 UFJF 1,352,88UFT 1,463,23 UFJF 1,16 1,00 Ufersa 1,080,79Ufersa 1,161,12 UFRRJ 1,12 0,82 UFJF 1,130,94 UNI-RIO 1,06 0,54 UFRRJ 1,040,32 Estatsticas Estatsticas EstatsticasMdia 0,94 Mdia 0,97Mdia 1,00 Desvio-padro 0,22 Desvio-padro 0,13Desvio-padro 0,14 Mximo 1,48 Mximo 1,35Mximo 1,46 Mnimo 0,34 Mnimo 0,60Mnimo 0,74 2007 2008 Ifes Scores ZiIfes Scores Zi UFCSPA1,25 2,54 UFCSPA 1,382,84 UFSE1,04 0,74 UFSE 1,221,68 Unir1,03 0,63 Ufra 1,161,25 UFRRJ1,02 0,59Estatsticas EstatsticasMdia 0,96Mdia 0,99 Desvio-padro 0,12Desvio-padro 0,14 Mximo 1,25Mximo 1,38 Mnimo 0,68Mnimo 0,74 Fonte: estimaes da pesquisa; elaborao dos autoresNa anlise da Tabela 3, verifca-se que para todos os perodos temporais os valores de zi < 3, excetuando-se a UFT para o ano de 2006, que obteve um valor parazi=3,23,localizando-senaregiodahiptesenula.Entretanto,tambm Qualidade do Gasto Pblico Edward Martins Costa, Francisco de Sousa Ramos e Hermno Ramos de SouzaFinanas Pblicas XV Prmio Tesouro Nacional 2010 35ser rejeitada a hiptese nula para essa Ifes, pois foram simuladas estimaes e verifcou-se que a excluso no alterou a fronteira de efcincia, ou seja, a retirada da DMU considerada outlier no afetou os scores de efcincia, isso devido con-dio de a Ifes ser efciente por default. Dessa forma, para os modelos estimados para as Ifes do Grupo B no haver excluso de DMUs.5.5.2 Estimaes das fronteiras de efcincia5.5.2.1 Estimaes das Ifes do Grupo AAs Tabelas 4, 5, 6, 7 e 8 exibem os resultados obtidos das estimaes das fronteirasdeproduodoSistemaEducacionalSuperiorPblicoFederal,com nfase nas Ifes que compem o Grupo A.TABELA 4IFES DO GRUPO A: FRONTEIRA ESTTICA 2004 E 20052004 2005Rank Ifes Score Benchmarks Rank Ifes Score Benchmarks1 UFMG 1 10 1 UFMG 1 101 UFBA 1 7 1 UFBA 1 61 UFPA 1 5 1 Ufscar 1 51 UFCG 1 4 1 UFSC 1 41 Ufam 1 3 1 Ufal 1 31 Ua 1 3 1 Unifesp 1 31 Ufscar 1 3 1 UFMT 1 31 Ufal 1 2 1 Ufam 1 21 UFSM 1 2 1 UFSM 1 21 Unifesp 1 2 1 UFRPE 1 21 UFRJ 1 1 1 UFU 1 21 UFV 1 1 1 UFRJ 1 11 UFMT 1 0 1 Ufpel 1 11 UFPB 1 0 1 UFRGS 1 115 Ufpel 1 0 15 UFPE 1 116 UFRGS 1 0 16 UFV 1 017 UFRPE 1 0 17 UFPB 1 0continuaQualidade do Gasto Pblico Edward Martins Costa, Francisco de Sousa Ramos e Hermno Ramos de SouzaFinanas Pblicas XV Prmio Tesouro Nacional 2010 362004 2005Rank Ifes Score Benchmarks Rank Ifes Score Benchmarks18 UFU 1 0 18 UFCG0,99 19 UFF0,98 19 UFPA0,97 20 UFRN0,93 20 Furg0,94 21 Ufes0,88 21 Ua0,90 22 Furg0,88 22 UFG0,90 23 UFSC0,86 23 UnB0,89 24 UnB0,85 24 UFC0,87 25 UFPR0,84 25 Ufes0,83 26 UFPE0,83 26 UFRN0,82 27 UFC0,80 27 UFF0,80 28 UFG0,79 28 UFPR0,78 Fonte: estimaes da pesquisa; elaborao dos autoresAnalisandoosresultadosdosescoresdeefcinciaparaasfronteirasesti-madas em cada ano separadamente, pode-se fazer as seguintes consideraes. Em 2004,aproximadamente64%dasIfesselocalizaramnafronteiradeefcincia, enquanto 36% estavam abaixo dela. As instituies que esto na fronteira tambm podem ser consideradas benchmarks para aquelas que esto abaixo da fronteira; a UFMG, por exemplo, parmetro de referncia (benchmark) para todas as ins-tituies que esto abaixo da fronteira. Por sua vez, a UFMT, a UFPB, a Ufpel, a UFRGS, a UFRPE e a UFU, mesmo estando na fronteira, no foram referncia para as instituies abaixo da fronteira. Ademais, verifca-se que, das dez institui-es que estavam abaixo da fronteira, a UFG, com um score de efcincia de 0,79, obteve o pior resultado entre as Ifes inefcientes.Noanode2005,houvemudananafronteiradeefcincia. Aproximada-mente60%dasIfesselocalizaramnafronteira,destacando-seasinstituies UFMGeUFBAcomoparmetroderefernciaparadezeseisinstituies,res-pectivamente, que se encontravam abaixo da fronteira. A UFV e a UFPB, mesmo estando na fronteira, no foram referncia para as instituies abaixo da fronteira. Nesse sentido, o conjunto de instituies abaixo da fronteira aumentou em uma instituio (UFPA, com score de 0,97). Alm disso, para algumas Ifes houve me-lhora no grau de inefcincia; para outras, o grau de inefcincia aumentou, sendo a Ufa a instituio que obteve a maior queda no score de efcincia. Ademais, a UFPR foi a instituio abaixo da fronteira que obteve o pior resultado, com um score de efcincia de 0,79.Qualidade do Gasto Pblico Edward Martins Costa, Francisco de Sousa Ramos e Hermno Ramos de SouzaFinanas Pblicas XV Prmio Tesouro Nacional 2010 37TABELA 5IFES DO GRUPO A: FRONTEIRA ESTTICA 2006 E 20072006 2007Rank Ifes Score Benchmarks Rank Ifes Score Benchmarks1 UFRJ 1 9 1 UFMG 1 111 UFMG 1 8 1 UFPA 1 101 UFPA 1 7 1 UFF 1 61 Ufpel 1 6 1 UFBA 1 51 UFPB 1 4 1 UFSM 1 51 Ufscar 1 4 1 Ufpel 1 21 UFU 1 3 1 UFRPE 1 21 UFC 1 2 1 UFU 1 21 UFRPE 1 1 1 UFPB 1 11 Ufam 1 0 1 Ufscar 1 11 UFBA 1 0 1 UFV 1 11 UFCG 1 0 1 Unifesp 1 11 UFF 1 0 1 Ufam 1 01 UFMT 1 0 1 UFMT 1 015 UFRGS 1 0 15 UFRGS 1 016 UFSM 1 0 16 UFRJ 1 017 UFV 1 0 17 UFC 0,91 18 Unifesp 1 0 18 Ua0,88 19 UFRN0,97 19 UFSC0,87 20 Ufes0,94 20 UFRN0,87 21 Furg0,90 21 UFG0,86 22 UFG0,90 22 UFPE0,85 23 UFPE0,85 23 UnB0,83 24 Ua0,83 24 Furg0,82 25 UFSC0,83 25 Ufes0,81 26 UFPR0,82 26 UFPR0,76 27 UnB0,81 27 UFCG0,70 28 Ufal0,79 28 Ufal0,61 Fonte: estimaes da pesquisa; elaborao dos autoresEm 2006, 64% das instituies faziam parte do conjunto efciente, enquanto 36% foram do conjunto inefciente. Essa mudana na fronteira deve-se ao fato de que a UFC, a UFCG e a UFPA passaram a fazer parte do conjunto efciente, ao passo que a Ufal e a UFPR deixaram a fronteira obtendo um score de 0,79 e 0,84, Qualidade do Gasto Pblico Edward Martins Costa, Francisco de Sousa Ramos e Hermno Ramos de SouzaFinanas Pblicas XV Prmio Tesouro Nacional 2010 38respectivamente, sendo a Ufal a instituio com maior grau de inefcincia. Com relaoanlisedebenchmark,aUFRJfoiparmetroderefernciaparanove Ifes abaixo da fronteira, e a UFMG continua sendo parmetro de referncia para efcincia para oito Ifes abaixo da fronteira. Ademais, a Ufam, a UFMT, a UFRGS e a UFRJ, apesar de estarem na fronteira, no foram referncia para as instituies abaixo da fronteira.No ano de 2007, a UFC e a UFCG deixaram a fronteira de efcincia. Como consequncia,onmerodeinstituiesabaixodafronteiraaumentouconcomi-tantementediminuiodopercentualdoconjuntoefcienteparaaproximada-mente 57%; alm disso, no conjunto inefciente aumentou o grau de inefcincia da maioria das instituies, sendo mais uma vez a Ufa a obter o score mais baixo. Das Ifes que esto na fronteira, a UFMG e a UFPA so referncia para 11 e dez Ifes, respectivamente. A UFRJ, que no perodo anterior foi referncia para nove instituies, nesse ano no foi parmetro de referncia para nenhuma Ifes abaixo da fronteira de efcincia. A Ufam, a UFMT e a UFRGS, por sua vez, apesar de estarem situadas na fronteira, no foram parmetro de referncia para as institui-es inefcientes.TABELA 6 IFES DO GRUPO A: FRONTEIRA ESTTICA 20082008Rank Ifes Score Benchmarks Rank Ifes Score Benchmarks1 UFMG 1 8 15 UFMT 1 01 UFPA 1 7 16 UFPB 1 01 Ufam 1 3 17 UFRGS 1 01 UFRJ 1 3 18 UFU 1 01 Unifesp 1 3 19 UFV 1 01 UFF 1 2 20 UFG 0,91 1 Ua 1 2 21 UFC 0,88 1 Ufpel 1 2 22 UFRN 0,88 1 Ufscar 1 2 23 UFSC 0,87 1 UFPE 1 1 24 UnB 0,84 1 UFRPE 1 1 25 UFPR 0,82 1 UFSM 1 1 26 Furg 0,81 1 UFBA 1 0 27 Ufes 0,81 1 UFCG 1 0 28 Ufal 0,77 Fonte: estimaes da pesquisa; elaborao dos autoresQualidade do Gasto Pblico Edward Martins Costa, Francisco de Sousa Ramos e Hermno Ramos de SouzaFinanas Pblicas XV Prmio Tesouro Nacional 2010 39A fronteira de efcincia de 2008 est acima das fronteiras dos outros pero-dos analisados, com aproximadamente 67% das Ifes no conjunto efciente. Nesse ano,19Ifesestavamnafronteira,devidoaofatodeaUFPE,aUfaeaUFCG teremdeixadodeserinefcientes.Naoutramo,noveIfesfcaramabaixoda fronteira, com a maioria das instituies abaixo da fronteira obtendo escores de inefcincia menores do que os obtidos no perodo anterior. Na anlise de bench-mark, a UFMG e a UFPA continuam sendo parmetro de referncia para a maioria dasinstituiesqueestoabaixodafronteira.Porsuavez,aUfam,aUFMT,a UFRGS e a UFRJ, apesar de estarem situadas na fronteira, no foram parmetro de referncia para as instituies inefcientes.Porfm,apsverifcarasfronteirasparaoconjuntodeIfesdoGrupo Ae paraoperodode2004a2008,pode-secomentarque,emcadaanoanalisado, apesar de existirem Ifes abaixo da fronteira de efcincia, essas fronteiras mostra-ram-se semelhantes em cada um desses anos, no havendo mudanas signifcati-vas nos scores de efcincia.Depois de analisar as fronteiras de efcincia em cada ano separadamente, interessante examinar a decomposio da mudana de produtividade na mudana tcnica e na mudana de efcincia tcnica durante o tempo. Portanto, necess-rio considerar uma anlise de painel. A Tabela 7 expe o painel obtido durante o perodo analisado.TABELA 7DECOMPOSIO DO NDICE DE MALMQUIST (2004 2008)Ifesndice de mudana pura de ecincia ndice de mudana na escala de ecincia ndice de MalmquistFurg 0,92 0,91 0,84 Ufal 0,77 0,97 0,74 Ufam 1 1 1 UFBA 1 0,95 0,95 UFC 1,09 0,87 0,95 UFCG 1 0,87 0,87 Ufes 0,91 0,91 0,83 UFF 1,09 0,94 1,02 UFG 1,15 0,86 0,99 Ua 0,87 0,98 0,85 UFMG 1,04 0,98 1,02 UFMT 1 1 1 continuaQualidade do Gasto Pblico Edward Martins Costa, Francisco de Sousa Ramos e Hermno Ramos de SouzaFinanas Pblicas XV Prmio Tesouro Nacional 2010 40Ifesndice de mudana pura de ecincia ndice de mudana na escala de ecincia ndice de MalmquistUFPA 1 1,02 1,02 UFPB 1 0,82 0,82 UFPE 1,26 0,85 1,07 Ufpel 1,17 0,90 1,05 UFPR 0,98 0,87 0,85 UFRGS 1,06 0,89 0,95 UFRJ 0,98 0,99 0,97 UFRN 0,95 0,94 0,89 UFRPE 1 1 1 UFSC 1,01 0,91 0,92 Ufscar 0,97 1 0,97 UFSM 1 0,95 0,95 UFU 0,96 0,98 0,94 UFV 1,04 0,94 0,98 UnB 0,98 0,94 0,92 Unifesp 1 0,98 0,98 Fonte: estimaes da pesquisa; elaborao dos autoresPara esse painel (2004 2008), a Ufam, a UFMT e a UFRPE mantiveram sua produtividade constante, com um ndice igual unidade. Contudo, a UFF, a UFMG,aUFPEeaUfpelconseguiramaumentarsuaprodutividadeduranteo painel, tendo a UFPE alcanado o melhor ndice 1,09. Com relao s Ifes que diminuram de produtividade, num total de vinte, a Ufal obteve o pior resultado, com um ndice de 0,74.A decomposio do ndice de Malmquist na Tabela 7 mostra que a perda de produtividade para as Ifes do Grupo A se deve basicamente pelo efeito da mudan-a na escala de efcincia, denominado de efeito deslocamento. Como se pode ve-rifcar, aproximadamente 82% das Ifes obtiveram o ndice de mudana de escala de efcincia menor que um. Como consequncia, durante o painel (2004 2008) houve um deslocamento da fronteira de produo para um nvel mais baixo. Aps verifcar as fronteiras de efcincia (DEA-SMB) em cada ano e a pro-dutividade utilizando ondicede Malmquist, ser verifcada a partir de agora a fronteira de efcincia dinmica (DSBM) a fm de se obter resultados mais robus-tos dos scores de efcincia da fronteira das Ifes do Grupo A. A Tabela 8 mostra esses resultados para o perodo 2004 2008.Qualidade do Gasto Pblico Edward Martins Costa, Francisco de Sousa Ramos e Hermno Ramos de SouzaFinanas Pblicas XV Prmio Tesouro Nacional 2010 41TABELA 8IFES DO GRUPO A: DEA DINMICO2004 2008Rank IfesOverall Score Termo 1 Termo 2 Termo 3 Termo 4Termo 51 Ufam 11 1 11 11 UFBA 11 1 11 11UFCG 11 1 1111UFF 11 1 1111Ua 11 1 1111UFMG 11 1 1111UFMT 11 1 1111UFPA 11 1 1111UFPB 11 1 1111Ufpel 11 1 1111UFRGS 11 1 1111UFRJ 11 1 1111UFRPE 11 1 1111Ufscar 11 1 1111UFSM 11 1 1111UFU 11 1 1111UFV 11 1 1111Unifesp 11 1 11119UFRN 0,92 0,930,940,99 0,87 0,89 20UFPE 0,91 0,840,900,86 1121UFC 0,88 0,820,8110,91 0,91 22Ufes 0,88 0,910,880,94 0,85 0,84 23Furg 0,87 0,890,900,90 0,83 0,84 24UFSC 0,86 0,870,830,83 0,89 0,90 25Ufal 0,86 1 1 0,94 0,67 0,81 26UFPR 0,85 0,841 0,83 0,78 0,83 27UFG 0,85 0,790,790,90 0,87 0,91 28 UnB 0,84 0,870,820,82 0,840,84 Fonte: estimaes da pesquisa; elaborao dos autoresNa estimao do DEA Dinmico, foi introduzida uma varivel carry-over discricionria para fazer o link entre os perodos de tempo. Cada termo na esti-mao representa o perodo com a incluso do link, ou seja, o termo 1 refere-se Qualidade do Gasto Pblico Edward Martins Costa, Francisco de Sousa Ramos e Hermno Ramos de SouzaFinanas Pblicas XV Prmio Tesouro Nacional 2010 42ao perodo 2004 agregando-se o carry-over, ocorrendo procedimento igual para os outros termos.Naanlisedadinmicadafronteira,durantetodaatrajetriaintertemporal temos que aproximadamente 64% das Ifes se localizaram na fronteira de efcincia, enquanto 22% estiveram abaixo da fronteira e 14% delas se situaram tanto na fron-teira de efcincia quanto abaixo da fronteira. Analisando a fronteira dinmica de toda a trajetria intertemporal 2004 2008, temos que aproximadamente 64% das Ifes se localizaram na fronteira de efcincia, fazendo parte do conjunto efciente, ao passo que 36% se situaram abaixo da fronteira, fazendo parte do conjunto inefcien-te. Assim, nota-se que os resultados overalls scores foram semelhantes aos scores obtidosquandoasfronteirasforamestimadasemcadaanoseparadamente. Alm disso,dezinstituiesapontadasaseguirnofzerampartedafronteiradinmi-ca, compondo o conjunto inefciente: Furg; Ufal; UFC; Ufes; UFG; UFPE; UFPR; UFRN; UFSC e UnB, tendo esta ltima obtido o maior grau de inefcincia durante a trajetria intertemporal, com um overall score igual a 0,84.A vantagem de se obter uma fronteira intertemporal a incluso, nos esco-res de efcincia, do comportamento dos inputs e dos outputs durante o perodo de tempo analisado, gerando uma fronteira de efcincia mais robusta. Outro fato a ser analisado que a fronteira de efcincia dinmica se situa acima do score de efcincia em 0,80, denotando que para as Ifes do Grupo A temos uma fronteira relativamente alta em relao ao overall score. Por fm, o Grfco 1 mostra a fron-teira de efcincia tcnica dinmica para esse conjunto de Ifes.GRFICO 1 IFES DO GRUPO A: FRONTEIRA DINMICAFonte: estimaes da pesquisa: elaborao dos autoresQualidade do Gasto Pblico Edward Martins Costa, Francisco de Sousa Ramos e Hermno Ramos de SouzaFinanas Pblicas XV Prmio Tesouro Nacional 2010 43DEA Esttico versus DEA DinmicoParaterminaraanlisedasIfesdoGrupo A,serfeitaumacomparao entre as estimaes do DEA Esttico e as do DEA Dinmico. A Tabela 9 expe a mdia de efcincia tcnica total (overall score) para as duas estimaes. TABELA 9EFICINCIA TOTAL DOS MODELOS ESTTICO E DINMICO (RANKING DINMICO ORDENADO)IfesFronteira dinmica Fronteira estticaRank Overall Score Rank Overall ScoreUfam 1 1 1 1 UFBA 1 1 1 1 UFCG 1 1 16 0,94 UFF 1 1 16 0,96 Ua 1 1 18 0,92 UFMG 1 1 1 1 UFMT 1 1 1 1 UFPA 1 1 1 1 UFPB 1 1 1 1 Ufpel 1 1 1 1 UFRGS 1 1 1 1 UFRJ 1 1 1 1 UFRPE 1 1 1 1 Ufscar 1 1 1 1 UFSM 1 1 1 1 UFU 1 1 1 1 UFV 1 1 1 1 Unifesp 1 1 1 1 UFRN 19 0,9220 0,89 UFPE 20 0,9119 0,91 UFC 21 0,8821 0,89 Ufes 22 0,8825 0,85 Furg 23 0,87230,87 UFSC 24 0,86220,88 Ufal 25 0,8627 0,84 UFPR 26 0,8528 0,81 UFG 27 0,8524 0,87 UnB 28 0,8426 0,85 Fonte: estimaes da pesquisa; elaborao dos autoresQualidade do Gasto Pblico Edward Martins Costa, Francisco de Sousa Ramos e Hermno Ramos de SouzaFinanas Pblicas XV Prmio Tesouro Nacional 2010 44As duas fronteiras so relativamente semelhantes, indicando que o link en-tre os perodos de tempo uma boa varivel carry-over, pois ao ser introduzida nomodifcousignifcativamenteosresultadosobtidosnacomparaoentreas duas fronteiras. Analisando-se vis--vis a posio de cada Ifes nas duas fronteiras deefcincia,nota-sequeosoverallsscoresdoDEADinmicoparaagrande maioria das Ifes so maiores quando comparados aos obtidos para o DEA Estti-co. Alm disso, a UFCG, a UFF e a Ufa, na mudana do modelo dinmico para omodeloesttico,passaramaselocalizarabaixodafronteira,entretantoseus overallsscoresforam0,94,096e0,92respectivamente,denotandoque,apesar de fazerem parte do conjunto inefciente no modelo esttico, no se distanciaram nafronteira.Porsuavez,aUFRN,aUFPE,aUFC,aUfes,aFurg,aUFSC,a Ufal, a UFRPR, a UFG e a UnB localizaram-se abaixo da fronteira de efcincia tanto para os overalls scores da estimao da fronteira de efcincia esttica quan-toparaosdaestimaodafronteiradinmica,representandoaproximadamente 100% do conjunto inefciente para o modelo dinmico e 77% do conjunto inef-ciente para o esttico. Por fm, o Grfco 2 mostra a localizao vis--vis de cada Ifes nos modelos estimados,denotandoquedaouaumentodeefcinciatotal. AlmdasIfesque deixaramafronteiradeefcincia,asinstituiesUFRN,Ufes,UFSC,Ufale UnB, na mudana do modelo dinmico para o modelo esttico, apresentaram au-mento no grau de inefcincia, enquanto as Ifes UFPE, UFC, Furg e UFG tiveram diminuio no grau de inefcincia.GRFICO 2 IFES DO GRUPO A: COMPARAO DE EFICINCIA TOTAL DINMICA VERSUS ESTTICAFonte: estimaes da pesquisa; elaborao dos autoresQualidade do Gasto Pblico Edward Martins Costa, Francisco de Sousa Ramos e Hermno Ramos de SouzaFinanas Pblicas XV Prmio Tesouro Nacional 2010 455.5.2.2 Estimaes das Ifes do Grupo BAs Tabelas 10, 11, 12, 13 e 14 exibem os resultados obtidos da estimao do DEA esttico, do ndice de Malmquist e do DEA Dinmico. Dessa forma, so mostradas as fronteiras de produo do sistema educacional superior pblico fe-deral das Ifes do Grupo B.TABELA 10IFES DO GRUPO B: FRONTEIRA ESTTICA 2004 E 20052004 2005Rank Ifes Score Benchmarks Rank Ifes Score Benchmarks1 UFJF 1 6 1 UFJF 1 61 UFCSPA 1 5 1 UFTM 1 51 UFTM 1 4 1 UFCSPA 1 21 UFSE 1 3 1 UFMA 1 11 Ufersa 1 1 1 Ufra 1 11 UFRR 1 1 1 UFRR 1 11 Unifap 1 1 1 UNI-RIO 1 11 Ufma 1 0 1 Ufac 1 01 Ufra 1 0 1 Ufersa 1 01 UFRRJ 1 0 1 UFT 1 01 UFT 1 0 1 UFVJM 1 01 UFVJM 1 0 1 Unifal 1 01 Unifal 1 0 1 Unifap 1 01 Unirio 1 0 1 Unifei 1 015 Ufop0,90 15 UFSE1016 Ufac0,83 16 UFMS1 017 Unifei0,81 17 Ufop0,8918 UFPI0,74 18 UFPI0,8619 Unir0,72 19 UFSJ0,8520 UFSJ0,62 20 UFRRJ0,8421 UFMS0,34 21 Unir0,60Fonte: estimaes da pesquisa; elaborao dos autoresOsresultadosdosscoresdeefcinciaparaoanode2004mostramque aproximadamente 67% das instituies estavam na fronteira de efcincia e que, Qualidade do Gasto Pblico Edward Martins Costa, Francisco de Sousa Ramos e Hermno Ramos de SouzaFinanas Pblicas XV Prmio Tesouro Nacional 2010 46verifcando o benchmark das Ifes na fronteira, viu-se que a UFJF parmetro de referncia para seis instituies que estavam abaixo da fronteira, e que a UFCSPA e a UFTM foram parmetro de referncia para cinco e quatro instituies abaixo dafronteira,respectivamente.Almdisso,seteoutrasIfes,mesmoestandona fronteira de efcincia, no foram referncia para as instituies abaixo da frontei-ra. Existiam sete instituies abaixo da fronteira de efcincia. Ademais, a UFMS, com um score de efcincia de 0,34, obteve um grau de inefcincia muito alto; a UFSJ tambm obteve um desempenho fraco, com um score de 0,62; e a Ufop, a Ufac, a Unifei, a UFPI e a Unir tambm compuseram o conjunto das Ifes abaixo da fronteira de efcincia.Paraoanode2005,opercentualdeinstituiesnafronteiraeabaixoda fronteira foi modifcado em relao ao perodo anterior, tendo sido de 76% e 24%, respectivamente. A Ufac e a Unifei foram para a fronteira de efcincia, enquanto a UFRRJ passou para o conjunto das Ifes abaixo da fronteira, com score de 0,84. Para algumas Ifes, houve melhora no grau de inefcincia; para outras, o grau de inefcincia aumentou, tendo sido a Ufa a instituio que obteve a maior queda no score de efcincia. A instituio abaixo da fronteira que obteve o pior resul-tado foi a Unir, com um score de efcincia de 0,60. Com relao s instituies de referncia, destacam-se a UFJF e a UFTM como parmetro para seis e cinco Ifes, respectivamente, abaixo da fronteira. Todavia, nove Ifes, mesmo estando na fronteira, no foram referncia para as instituies abaixo da fronteira.TABELA 11IFES DO GRUPO B: FRONTEIRA ESTTICA 2006 E 20072006 2007Rank Ifes Score Benchmarks Rank Ifes Score Benchmarks1 UFCSPA 1 4 1 UFCSPA 1 91 UFTM 1 4 1 Unifal 1 81 Ufersa 1 3 1 UFTM 1 61 UFJF 1 3 1 UNI-RIO 1 31 UFRR 1 2 1 Ufac 1 21 UNI-RIO 1 2 1 UFSE 1 21 UFMA 1 1 1 UFT 1 21 UFRRJ 1 1 1 Ufma 1 11 Unifap 1 1 1 UFRRJ 1 11 Ufac 1 0 1 UFVJM 1 01 UFPI 1 0 1 Unir 1 0continuaQualidade do Gasto Pblico Edward Martins Costa, Francisco de Sousa Ramos e Hermno Ramos de SouzaFinanas Pblicas XV Prmio Tesouro Nacional 2010 472006 2007Rank Ifes Score Benchmarks Rank Ifes Score Benchmarks1 Ufra 1 0 12 Unifap 1 01 UFSE 1 0 13 UFMS 0,97 -1 UFT 1 0 14 UFPI 0,96 -1 UFVJM10 15 Ufra 0,92-1 Unifal1,000 16 Ufop0,91-17 Ufop0,91- 17 UFJF0,91-18 Unifei0,91- 18 UFSJ0,85-19 UFMS0,81- 19 UFRR0,78-20 UFSJ0,76- 20 Unifei0,76-21 Unir0,74- 21 Ufersa0,68-Fonte: estimaes da pesquisa; elaborao dos autoresNo ano de 2006, o percentual de instituies na fronteira e abaixo da fron-teira no foi modifcado em relao ao ano anterior. A UFRJ passou a fazer parte do conjunto das Ifes que se localizaram na fronteira de efcincia. Dentre as insti-tuies de referncia, destacaram-se a UFCSPA e a UFTM como parmetro para quatro Ifes abaixo da fronteira respectivamente. Ademais, sete Ifes, mesmo estan-do nafronteira,noforamrefernciaparaas instituies abaixo da fronteira. A Unifei, por sua vez, passou a fazer parte do conjunto das Ifes abaixo da fronteira, com score de 0,91, e a instituio abaixo da fronteira que obteve o pior resultado foi mais uma vez a Unir, com um score de efcincia de 0,74.A fronteira de efcincia para o ano de 2007 apresentou aproximadamen-te57%deIfesnoconjuntoefcientee43%noconjuntoinefciente,denotando umafronteiradeefcinciamaisbaixaquandocomparadaqueladosperodos anteriores. Somente a Unir passou a fazer parte do conjunto efciente, enquanto a Ufersa, a UFRR, a UFJF, a Ufra e a UFPI passaram para o conjunto inefciente. AnalisandoobenchmarkdasIfesdoconjuntoefciente,aUFCSP,aUnifalea UFTM foram parmetro de referncia para nove, oito e seis instituies, respecti-vamente, localizadas no conjunto inefciente. Por sua vez, a Ufersa obteve o pior score de efcincia das instituies que fazem parte do conjunto inefciente.Qualidade do Gasto Pblico Edward Martins Costa, Francisco de Sousa Ramos e Hermno Ramos de SouzaFinanas Pblicas XV Prmio Tesouro Nacional 2010 48TABELA 12IFES DO GRUPO B: FRONTEIRA ESTTICA 20082008Rank Ifes Score Benchmarks Rank Ifes Score Benchmarks1 UFRA 1 5 1 UFRR 1 01 UFCSPA 1 4 1 UFT 1 01 UFSE 1 4 1 UFVJM 1 01 UNI-RIO 1 3 15 Unifap1,00 1 Ufac 1 2 16 UFMA0,95 1 UFJF 1 2 17 UFMS0,89 1 UFSJ 1 2 18 UFRRJ0,87 1 Unifal 1 2 19 Ufersa0,84 1 UFTM 1 1 20 Unifei0,78 1 Ufop 1 0 21 Unir0,74 1 UFPI 1 0Fonte: estimaes da pesquisa; elaborao dos autoresNa fronteira de efcincia de 2008, 71% das Ifes localizaram-se na fronteira de efcincia, enquanto 39% fcaram abaixo da fronteira. Nesse ano, a UFRA foi ainstituioquemaisserviucomoparmetroderefernciaparaasIfesquese localizaram abaixo da fronteira, num total de cinco. Por um lado, a Ufop, a UFPI, a UFRR, a UFT, a UFVJM e a Unifap, apesar de estarem na fronteira, no foram referncia para as instituies que fazem parte do conjunto inefciente. Por outro lado, a Unir foi a que obteve um score de efcincia de 0,74, o pior dentre as ins-tituies do conjunto das Ifes inefcientes. Para examinar a produtividade de cada Ifes durante o tempo, ser realizada umaanlisedepainelpormeiodondicedeMalmquist. A Tabela13expeos painis obtidos durante o perodo analisado.Qualidade do Gasto Pblico Edward Martins Costa, Francisco de Sousa Ramos e Hermno Ramos de SouzaFinanas Pblicas XV Prmio Tesouro Nacional 2010 49TABELA 13DECOMPOSIO DO NDICE DE MALMQUIST (2004 2008)Ifesndice de mudana pura de ecincia ndice de mudana na escala de ecincia ndice deMalmquistUfac 1,20 0,77 0,93 UFCSPA 0,93 1,12 1,04 Ufersa 0,84 0,93 1 UFJF 0,86 1 0,86 Ufma 0,95 0,88 0,83 UFMS 2,63 0,54 1,43 Ufop 1,12 0,65 0,73 UFPI 1,35 0,64 0,86 Ufra 1,16 0,95 1,11 UFRR 1 0,88 0,88 UFRRJ 0,77 0,93 0,72 UFSE 1,22 0,86 1 UFSJ 1,61 0,96 1,54 UFT 1 0,88 0,88 UFTM 1 0,88 0,88 UFVJM 1 0,91 0,91 Unifal 1 0,95 0,95 Unifap 1 0,59 0,59 Unifei 0,97 0,99 0,96 Unir 1,03 0,81 0,84 UNI-RIO 0,94 0,83 1 Fonte: estimaes da pesquisa; elaborao dos autoresO painel (2004 2008) mostra que as Ifes Ufersa, UFSE e UNI-RIO manti-veram produtividade constante, com um ndice igual unidade. Apenas a UFCS-PA, a UFMS, a Ufra, a UFRRJ e a UFSJ conseguiram aumentar sua produtividade durante o painel, tendo a UFSJ se destacado com o melhor ndice 1,54. O total de Ifes que diminuram a produtividade foi elevado, aproximadamente 76% desse total pertenciam ao conjunto B, tendo a Unifap se destacado com o pior resultado, um ndice de 0,59.Qualidade do Gasto Pblico Edward Martins Costa, Francisco de Sousa Ramos e Hermno Ramos de SouzaFinanas Pblicas XV Prmio Tesouro Nacional 2010 50AdecomposiodondicedeMalmquistnaTabela13mostraque,como ocorridonasIfesdoGrupo A,aperdadeprodutividadeparaasIfesdoGrupoB deve-se basicamente pelo efeito da mudana na escala de efcincia. Como se pode verifcar, aproximadamente 91% da Ifes obtiveram o ndice de mudana de escala de efcincia menor que um. Como consequncia, durante o painel (2004 2008) houve um deslocamento da fronteira de produo para um nvel mais baixo. Ser verifcada agora a fronteira de efcincia dinmica (DSBM) a fm de se obter um resultado mais robusto dos scores de efcincia da fronteira das Ifes do Grupo B. A Tabela 14 mostra os resultados para o perodo 2004 2008.TABELA 14IFES GRUPO B: DEA DINMICO2004 2008Rank DMU Overall Score Termo 1 Termo 2 Termo 3 Termo 4 Termo51 Ufac 1 1 1 1 1 11 UFCSPA 1 1 1 1 1 11 Ufersa 1 1 1 1 1 11 UFJF 1 1 1 1 1 11 UFMS 1 1 1 1 1 11 UFPI 1 1 1 1 1 11 Ufra 1 1 1 1 1 11 UFRR 1 1 1 1 1 11 UFRRJ 1 1 1 1 1 11 UFSE 1 1 1 1 1 11 UFT 1 1 1 1 1 11 UFTM 1 1 1 1 1 11 UFVJM 1 1 1 1 1 11 Unifal 1 1 1 1 1 11 Unifap 1 1 1 1 1 11 UNI-RIO 1 1 1 1 1 117 UFMA0,991 1 1 10,97 18 Ufop0,95 0,93 0,93 0,93 0,95119 Unifei0,901 1 10,77 0,80 20 UFSJ0,84 0,63 0,93 0,85 0,92121 Unir0,80 0,78 0,75 0,7610,78 Fonte: estimaes da pesquisa; elaborao dos autoresQualidade do Gasto Pblico Edward Martins Costa, Francisco de Sousa Ramos e Hermno Ramos de SouzaFinanas Pblicas XV Prmio Tesouro Nacional 2010 51NovamentenaestimaodoDEADinmicofoiintroduzidaumavarivel carry-over discricionrio para fazer o link entre os perodos de tempo. Pela tra-jetria intertemporal da fronteira de efcincia verifcamos que aproximadamente 76% das Ifes se localizaram na fronteira de efcincia durante toda essa trajetria, aopassoque24%selocalizaramabaixodafronteira,localizaram-setantona fronteira de efcincia quanto abaixo da fronteira durante toda a trajetria. Anali-sando os resultados overall score, cinco instituies no fzeram parte da fronteira dinmica: a UFMA, a Ufop, a Unifei, a UFSJ e a Unir, tendo a Unir alcanado o maior grau de inefcincia intertemporal, com um overall score igual a 0,80.OGrfco3mostraafronteiradinmicadooverallscore.Comosepode verifcar, apenas cinco Ifes esto abaixo da fronteira e fora do conjunto efcien-te. Outro fato a ser analisado a localizao da fronteira de efcincia dinmica situar-se acima do score de efcincia de 0,80, denotando que as Ifes do Grupo B confrmam uma fronteira relativamente alta em relao ao overall score. GRFICO 3 IFES DO GRUPO B: FRONTEIRA DE EFICINCIA DINMICA Fonte: estimaes da pesquisa; elaborao dos autoresDEA Esttico versus DEA DinmicoFinalizandoaanlisedasIfesdoGrupoB,realizadaumacomparao entre as estimaes do DEA Esttico e do DEA Dinmico. A Tabela 15 expe a mdia de efcincia tcnica total (overall score) para as duas estimaes. Qualidade do Gasto Pblico Edward Martins Costa, Francisco de Sousa Ramos e Hermno Ramos de SouzaFinanas Pblicas XV Prmio Tesouro Nacional 2010 52TABELA 15EFICINCIA TOTAL DOS MODELOS ESTTICO E DINMICO (RANKING DINMICO ORDENADO)IfesFronteira dinmica Fronteira estticaRank Overall score Rank Overall scoreUfac 1 1 120,97 UFCSPA 1 1 11 Ufersa 1 1 170,90 UFJF 1 1 110,98 UFMS 1 1 200,80 UFPI 1 1 160,91 Ufra 1 1 100,98 UFRR 1 1 130,96 UFRRJ 1 1 140,94 UFSE 1 1 11 UFT 1 1 11 UFTM 1 1 11 UFVJM 1 1 11 Unifal 1 1 11 Unifap 1 1 11 UNI-RIO 1 1 11 UFMA 170,9990,99 Ufop 180,95150,92 Unifei 190,90180,85 UFSJ 200,84190,82 Unir 210,80210,76 Fonte: estimaes da pesquisa; elaborao dos autoresAs duas fronteiras de efcincia tcnica apresentam diferenas; como con-sequncia, a fronteira de efcincia do overall score esttico situa-se em um nvel abaixoparatodasasIfes,quandocomparadacomafronteiradooverallscore dinmco. Apesar dessa diferena, a distncia do overall score esttico no foi to robusta, indicando que o link utilizado entre os perodos de tempo pode ser consi-derado uma varivel carry-over plausvel. Analisando vis--vis a posio de cada Ifes nas duas fronteiras de efcincia, a Ufac, a Ufersa, a UFJF, a UFMS, a UFPI, a Ufra, a UFRR e a UFRRJ, na mudana do modelo dinmico para o modelo es-Qualidade do Gasto Pblico Edward Martins Costa, Francisco de Sousa Ramos e Hermno Ramos de SouzaFinanas Pblicas XV Prmio Tesouro Nacional 2010 53ttico, passaram a se localizar abaixo da fronteira, tornando-se parte do conjunto inefciente,emboraseusoverallsscorestenhamsidode0,97,090,0,98,0,80, 0,91, 0,98, 0,96 e 0,92, respectivamente. Conclui-se, pois, que apesar de fazerem parte do conjunto inefciente no modelo esttico, essas Ifes no se distanciaram na fronteira, excetuando-se a Ufersa e a UFMS. A UFMA, a Ufop, a Unifei, a UFSJ e a Unir localizaram-se abaixo da fronteira de efcincia tanto para os overalls sco-res da estimao da fronteira de efcincia esttica quanto para os da estimao da fronteira dinmica, representando 100% do conjunto inefciente para o modelo dinmico e 38% do conjunto inefciente do modelo esttico.Por fm, o Grfco 4 mostra a localizao vis--vis de cada Ifes nos mode-losestimados,denotandoquedaouaumentodeefcinciatotal.AlmdasIfes que deixaram a fronteira de efcincia, as instituies Ufop, Unifei, UFSJ e Unir, na mudana do modelo dinmico para o modelo esttico, apresentaram aumento no grau de inefcincia, tendo a UFMA mostrado o mesmo grau de inefcincia. GRFICO 4 IFES DO GRUPO B: COMPARAO DE EFICINCIA TOTAL DINMICA VERSUS ESTTICAFonte: estimaes da pesquisa; elaborao dos autoresComparao entre o conjunto total e os grupos separados AsestimaestantoparaoDEAEstticoquantoparaoDEADinmico foram realizadas computando-se dois subconjuntos de Ifes, e no o conjunto con-tendo as 49 instituies. O motivo da repartio do conjunto total em dois sub-conjuntos j foi exposto anteriormente. Entretanto, cabe aqui uma pergunta: o que aconteceria com a fronteira se fosse estimado o conjunto total de Ifes? A Tabela 16 permite fazer uma comparao entre as estimaes da fronteira dinmica do conjunto total de Ifes e da fronteira dos dois subconjuntos j analisados.Qualidade do Gasto Pblico Edward Martins Costa, Francisco de Sousa Ramos e Hermno Ramos de SouzaFinanas Pblicas XV Prmio Tesouro Nacional 2010 54TABELA 16COMPARAO CONJUNTO TOTAL/GRUPOS SEPARADOSFronteira dinmica 2004 2008Rank Ifes Overall score Conjunto total Rank Ifes Overall score Ifes do Grupo A1 Ufam 1 1 Ufam 11 UFBA 1 1 UFBA 11 UFMG 1 1 UFCG 11 UFPA 1 1 UFF 11 Ufpel 1 1 Ua 11 UFRGS 1 1 UFMG 11 UFRJ 1 1 UFMT 11 UFRPE 1 1 UFPA 11 UFSM 1 1 UFPB 11 UFV 1 1 Ufpel 11 Unifesp 1 1 UFRGS 112 Ua 0,981 UFRJ 113 Ufscar 0,971 UFRPE 114 UFU 0,971 Ufscar 115 UFF 0,971 UFSM 116 UFPB 0,941 UFU 117 UFCG 0,901 UFV 118 UFRN 0,901 Unifesp 119 UFPE 0,8619 UFRN 0,92 20 Ufes 0,8420 UFPE 0,91 21 UFMT 0,8421 UFC 0,88 22 Furg 0,8322 Ufes 0,88 23 UFC 0,8323 Furg 0,87 24 UFSC 0,8324 UFSC 0,86 25 Ufal 0,8225 Ufal 0,86 26 UnB 0,8226 UFPR 0,85 27 UFG 0,8227 UFG 0,85 28 UFPR 0,8128 UnB 0,84 1 Ufac 1 1 Ufac 1continuaQualidade do Gasto Pblico Edward Martins Costa, Francisco de Sousa Ramos e Hermno Ramos de SouzaFinanas Pblicas XV Prmio Tesouro Nacional 2010 55Fronteira dinmica 2004 2008Rank Ifes Overall score Conjunto total Rank Ifes Overall score Ifes do Grupo A1 UFCSPA 1 1 UFCSPA 11 UFERSA 1 1 Ufersa 11 Ufra 1 1 UFJF 11 UFRR 1 1 UFMS 11 UFSE 1 1 UFPI 11 UFT 1 1 Ufra 11 UFTM 1 1 UFRR 11 UFVJM 1 1 UFRRJ 11 Unifal 1 1 UFSE 11 Unifap 1 1 UFT 11 UNI-RIO 1 1 UFTM 113 UFMA 0,991 UFVJM 114 UFJF 0,971 Unifal 115 UFPI 0,891 Unifap 116 Ufop 0,841 UNI-RIO 117 UFRRJ 0,8417 UFMA 0,99 18 UFSJ 0,8318 Ufop 0,95 19 Unifei 0,7819 Unifei 0,90 20 Unir 0,7120 UFSJ 0,84 21 UFMS 0,6721 Unir 0,80 Fonte: estimaes da pesquisa; elaborao dos autoresAnalisando primeiramente a fronteira das Ifes que compem o subconjunto doGrupo A(28instituies)ecomparandocomafronteiradetodooconjunto (49 instituies), nota-se que as instituies UFECG, UFF, Ufa, UFMT, UFPB, Ufscare UFU selocalizam nafronteira de efcincia quando seprocuroumini-mizar o critrio heterogeneidade do setor. No entanto, quando descartado esse critrio, essas Ifes deixam a fronteira de efcincia e passam a se localizar abaixo da fronteira, fcando no conjunto inefciente. Ademais, o grau de inefcincia para as instituies abaixo da fronteira em ambas as estimaes maior do que o grau para o conjunto total de Ifes. O Grfco 5 revela a comparao entre as duas esti-maes para cada instituio individualmente.Qualidade do Gasto Pblico Edward Martins Costa, Francisco de Sousa Ramos e Hermno Ramos de SouzaFinanas Pblicas XV Prmio Tesouro Nacional 2010 56GRFICO 5 COMPARAO DA FRONTEIRA DE EFICINCIA CONJUNTO TOTAL/IFES GRUPO A Fonte: Estimaes da pesquisa; elaborao dos autoresA trajetria do overall score na estimao do conjunto total das Ifes fca abai-xo do overall score na estimao do subconjunto das Ifes do Grupo A. Essa trajet-ria confrma que as diferenas de tamanho existentes entre as Ifes um componen-te que altera a fronteira de efcincia, levando-as, nesse caso, para um nvel mais baixo. Dessa forma, conclui-se que a estimao do subconjunto do Grupo A mais robusta, pois procura minimizar o critrio de tamanho entre as Ifes.Analisando agora a fronteira das Ifes que compem o subconjunto do Gru-po B (21 instituies) comparadamente fronteira de todo o conjunto (49 insti-tuies), nota-se que as instituies UFJF, UMS, UFRRJ e UFPI se localizam na fronteira de efcincia quando se procurou minimizar o critrio heterogeneidade do setor. No entanto, quando esse critrio descartado, essas Ifes deixam a fron-teira de efcincia e passam a se localizar abaixo da fronteira, fcando no conjunto inefciente.Ademais,comoocorreunaanliseanterior,ograudeinefcincia paraasinstituiesabaixodafronteiraemambasasestimaesmaiorparao conjunto total de Ifes. O Grfco 6 mosta a comparao entre as duas estimaes para cada instituio individualmente.Qualidade do Gasto Pblico Edward Martins Costa, Francisco de Sousa Ramos e Hermno Ramos de SouzaFinanas Pblicas XV Prmio Tesouro Nacional 2010 57GRFICO 6 COMPARAO DA FRONTEIRA DE EFICINCIA CONJUNTO TOTAL/IFES GRUPO B Fonte: estimaes da pesquisa; elaborao dos autoresPor fm, a trajetria do overall score na estimao do conjunto total das Ifes fcaabaixodooverallscorenaestimaodosubconjuntodasIfesdoGrupoB. Do mesmo modo, como aconteceu nas Ifes do Grupo A, a trajetria confrma que as diferen