PERCALÇOS DA ELABORAÇÃO DE PROPOSTAS DE AVALIAÇÃO DE IMPACTO NO BRASIL: É POSSÍVEL AVALIAR IMPACTOS DE PROGRAMAS

DE FORMAÇÃO DOCENTE?  

Adriana Bauer

Pós-graduanda em Educação

Programa de Pós-Graduação da Faculdade de Educação

Universidade de São Paulo

Área: Estado, Sociedade e Educação.

Resumo

O presente trabalho visa compartilhar com estudiosos do campo da

avaliação as vicissitudes da elaboração de uma proposta de avaliação de

impacto de um programa educacional, objeto atual de estudo da autora. O

estudo provisoriamente intitulado “Avaliação de possíveis impactos de

programas de formação docente: a experiência do Programa Letra e Vida”

originou-se da preocupação com a escassez de estudos que buscassem aferir

impactos de programas educacionais no Brasil. Partindo das dificuldades

inerentes a esse tipo de avaliação, e considerando as limitações de conduzi-la

individualmente, a autora pretende registrar os desafios metodológicos

subjacentes à sua proposta que a impedem de caracterizá-la enquanto

avaliação de impacto. A motivação para a produção do artigo não é, portanto,

compartilhar resultados de pesquisa, mas sim expor, à comunidade de

estudiosos em avaliação, dificuldades encontradas visando à geração de

discussão e ao aprofundamento das reflexões sobre a temática.

PALAVRAS-CHAVE: Avaliação de impacto, formação de professores, Saresp.

Introdução

Algumas políticas educacionais implantadas no Brasil, desde meados da

década de 1990, destinam parte dos recursos disponíveis à formação e ao

desenvolvimento dos professores.

  2  

Como exemplo, pode-se citar o FUNDEF (Fundo de Manutenção e

Desenvolvimento do Ensino Fundamental e de Valorização do Magistério), que

destinou 15% do total de impostos da vinculação para o Ensino Fundamental e

destinou 60% destes recursos à formação e desenvolvimento dos professores.

E o FUNDEB (Fundo de Manutenção e Desenvolvimento da Educação Básica

e de Valorização dos Profissionais da Educação), que manteve a mesma

subvinculação de recursos para a formação de professores da Educação

Básica. Ampliou-se consideravelmente, assim, a possibilidade dos sistemas

educacionais designarem recursos ao desenvolvimento profissional dos

professores.

Além disso, diversas secretarias estaduais de educação vêm

sistematicamente investindo na formação dos professores. A constatação

desse fato, no caso específico do estado de São Paulo, ocorreu quando a

pesquisadora entrou em contato com os programas de formação ofertados pela

rede pública estadual entre 2003 e 2006, durante pesquisas realizadas para a

concretização do mestrado. Naquele momento, diversas ações foram

planejadas chegando, inclusive, a existir mais de cem (100) propostas de

curso, em diversas áreas, visando ao aprimoramento profissional do professor.

A leitura de documentos oficiais sobre a implantação da política

educacional no Estado de São Paulo, inclusive, permite concluir que a

formação docente foi apresentada como um dos eixos da segunda gestão do

governo Alckmin (2003-2006), inserida em um projeto político mais amplo,

focado na “inclusão social e melhoria do ensino” (São Paulo, 2003:13).

Nesse contexto educacional paulista, almejava-se que as práticas

didático-pedagógicas fossem constantemente aprimoradas, assim como a

gestão das escolas, o que fez da formação continuada dos professores uma

peça-chave para a concretização dessa política: Os conhecimentos, valores e competências que qualificam os educadores para desenvolver um trabalho voltado para a aprendizagem eficaz são adquiridos não apenas durante a formação inicial. Eles se constroem permanentemente na prática e na reflexão sobre essa prática, condição para o desenvolvimento de profissionais autônomos, colaborativos, capazes de agir e decidir, em conjunto, sobre os procedimentos que vão assegurar a cada aluno o direito de aprender. Por essas razões, a SEE fará da formação continuada seu principal foco de atuação e investimento. (São Paulo, 2003:13) [grifos meus].

  3  

Nesse sentido, a qualificação docente e a melhor atuação do professor

foram consideradas fatores preponderantes para o desenvolvimento da

qualidade de ensino e do desempenho dos estudantes, por meio do

“aprimoramento das práticas escolares”. (São Paulo, 1003:15). Ao referenciar

os sistemas de avaliação como importantes formas de acompanhamento deste

“aprimoramento”, o documento faz alguns anúncios sobre como se dará a

avaliação das ações implementadas sem, no entanto, especificar critérios que

pudessem balizar essa avaliação e esse acompanhamento: Os programas de acompanhamento e avaliação, instituídos tanto em nível estadual – Sistema de Avaliação do Rendimento Escolar do Estado de São Paulo – SARESP, quanto federal – Sistema Nacional de Avaliação da Educação Básica – SAEB e o Exame Nacional do Ensino Médio – ENEM fazem parte dos esforços do Estado para conduzir uma política pública que visa construir saberes que gerem competências e práticas capazes de: - Pesquisar e identificar questões sobre a realidade; - Levantar possibilidades de ações; - Implementar as ações identificadas como pertinentes e necessárias; - Avaliar as ações implementadas e utilizar os dados dessa avaliação para reiniciar processos de transformação da realidade. (São Paulo, 2003:30) [grifos nossos] [...] A referência a esses sistemas não exclui outros procedimentos de acompanhamento e avaliação que ampliem as possibilidades de os gestores intervirem de modo mais qualificado na remoção dos obstáculos que dificultam o ensino no âmbito da escola pública. (São Paulo, 2003:20)[grifos meus].

Apesar das intenções de acompanhamento e avaliação dos programas

estarem amplamente divulgadas nos documentos oficiais da Secretaria de

Educação de São Paulo, não foram encontradas referências a essa avaliação

em outros documentos pesquisados. Isso acontece também em documentos

específicos do programa de formação continuada denominado Teia do Saber, a

partir do qual se desenvolvem todos os programas de formação da Secretaria

da Educação, dentre os quais o “Letra e Vida”. Este é um programa de

formação para professores alfabetizadores, destinado aos professores do

primeiro segmento do ensino fundamental, mais especificamente aos

professores de 1ª e 2ª séries, objeto do de estudo em nível de doutorado da

autora. Assim como em outros programas de formação do governo, nos

documentos do “Letra e Vida” são feitas afirmações sobre a necessidade de

  4  

seu acompanhamento e avaliação, mas não há especificações acerca de

mecanismos de avaliação do impacto do programa.

O fato da avaliação de possíveis impactos e resultados do programa de

formação não estar especificada nos documentos chamou a atenção da

pesquisadora, principalmente se comparado com a ênfase dada na avaliação

dos resultados dos programas enquanto fator essencial para seu

redimensionamento.

Para além da análise documental, durante a pesquisa empírica realizada

pela autora no processo de elaboração da sua dissertação (BAUER, 2006), foi

possível verificar que são raros os momentos em que programas da Secretaria

Estadual da Educação de São Paulo são avaliados formalmente. Além disso,

as avaliações, quando realizadas, tendem a focar a implementação do

programa ou seus resultados imediatos, deixando de lado o estudo sobre o

impacto dos mesmos. Não seria de se esperar que no momento em que o

discurso da qualidade, da eficiência e eficácia de programas é utilizado como

justificativa das ações desencadeadas, a avaliação dos impactos, da

efetividade ou da eficácia dessas ações fosse incorporada aos desenhos das

políticas?

Tal questionamento deu origem a outros: seria possível saber em que

medida os esforços realizados no sentido de melhorar a qualidade da formação

docente surtem efeito sobre a “qualidade do trabalho docente” ou sobre a

atuação dos professores? Como avaliar a influência que programas de

formação têm sobre a atuação docente e o desempenho dos alunos? Quais

seriam, então, os possíveis impactos das ações formativas na prática docente

e nos resultados dos alunos?

Foi a partir destas questões que o objeto e problema do estudo,

proposto pela autora, em nível de doutoramento, foram definidos: investigar,

com lastros empíricos, eventuais impactos do Programa Letra e Vida,

implantado em 2003 pela Secretaria Estadual de Educação de São Paulo, com

o objetivo de promover uma “mudança nos paradigmas de alfabetização e de

formação docente” (Brasília/MEC, 2001), e influenciar tanto a prática docente

quanto a qualidade do ensino e da aprendizagem. Para esse estudo, as

análises focariam os professores do Ensino Fundamental 1, mais

especificamente os da 1ª série do ciclo de alfabetização.

  5  

O objetivo geral da pesquisa, inicialmente, era analisar eventuais

impactos do Programa Letra e Vida na atuação dos professores e no

desempenho de alunos e professores. E seus objetivos específicos:

- Identificar evidências, na organização do trabalho em sala de aula, de

utilização de princípios metodológicos do Letra e Vida.

- Analisar eventuais diferenças no desempenho de alunos de escolas

estaduais no SARESP que possam ser atribuídas ao “Letra e Vida”.

- Procurar indícios, nos discursos dos professores, que evidenciem a

influência (ou não) da formação recebida em sua prática cotidiana.

- Elencar dificuldades e desafios que se impõem aos professores para

fazer uso dos conhecimentos teóricos adquiridos durante o curso em sua

prática cotidiana.

Feitos os primeiros delineamentos, a autora passou à análise

documental e ao levantamento de dados para realização da pesquisa. Foi

quando as primeiras dificuldades e desafios se impuseram, levando-a a refletir

sobre a organização dos dados das avaliações e as dificuldades relacionadas

ao fazer do pesquisador. Antes de compartilhar essas inquietações, porém,

será realizada uma breve análise do significado de avaliação de impacto.

O que é avaliação de impacto?

A avaliação de um programa social pode envolver diversas etapas: a

análise da proposta (examina se o programa é importante e relevante para o

objetivo pré-definido e se o desenho está adequado, projeta possíveis

resultados, etc.), da implementação (avalia se o projeto está sendo conduzido

conforme o planejado), dos resultados imediatos (analisa se o programa

implementado atingiu os objetivos previamente definidos) e dos impactos. As definições sobre o significado de avaliação de impacto são diversas,

não havendo um consenso, por parte da comunidade científica e dos

avaliadores, sobre o significado do termo. Usualmente, a avaliação de impacto

é entendida como a forma de medir o efeito de um determinado programa, a

fim de saber em que medida seus objetivos foram atendidos. Essa avaliação é

  6  

realizada algum tempo depois do término de um projeto (ou de uma fase do

projeto) com o propósito de avaliar o impacto causado por ele.

Algumas organizações internacionais, como o Banco Mundial e a

Organização para a Cooperação Econômica e para o Desenvolvimento

(OCDE), atestam a importância desse tipo de avaliação para o

desenvolvimento dos países e buscam desenvolver expertise na medida de

impacto, inclusive patrocinando diversos projetos de avaliações. Tais

organizações apresentam, também, suas definições para o significado do

termo e as funções da avaliação de impacto: Uma avaliação de impacto avalia as mudanças no bem-estar dos indivíduos, famílias, comunidades ou empresas que podem ser atribuídos a um determinado projeto, programa ou política. A questão central da Avaliação de impacto é o que teria acontecido a aqueles que receberam a intervenção se não tivessem efetivamente recebido o programa. Uma vez que não podemos observar este grupo tanto com e sem a intervenção, o principal desafio é desenvolver um contra-factual – que é um grupo, que tanto quanto possível, semelhante (em dimensões observáveis e não-observáveis) para aqueles que recebem a intervenção. Esta comparação permite o estabelecimento da causalidade definitiva – atribuindo mudanças observadas no bem bem-estar ao programa, enquanto elimina fatores que possam causar distorções. A avaliação de impacto é destinada a fornecer retroação para ajudar a melhorar o desenho de programas e políticas. Além de proporcionar informações para aperfeiçoar a “accountability”, as avaliações de impacto são um instrumento dinâmico de aprendizagem, permitindo os formuladores de políticas melhorar os programas em andamento e, em última instância, atribuir melhor fundos aos diferentes programas. Existem outros tipos de avaliações de programas incluindo apreciações organizacionais e processos de monitoramento, mas estes não estimam a magnitude dos efeitos com clareza de causalidade. (Fonte: http://web.worldbank.org. Acesso em 21/11/2008) [tradução livre da autora]. O ponto de partida é a definição de impacto do Comitê de Ajuda ao Desenvolvimento (CAD), que é a seguinte: estabelecimento de resultados, positivos e negativos, efeitos de longo-prazo, primários ou secundários, produzidos por uma intervenção para o desenvolvimento, direta ou indiretamente, intencional ou involuntária. Esta definição amplia avaliação de impacto além de efeitos diretos para incluir a gama completa de impactos em todos os níveis da cadeia de resultados. (Fonte: Draft NONIE statement on impact evaluation. Disponível em: http:// www.oecd.org/dataoecd/19/29/40104352.pdf. Acesso em 17/11/2008).

  7  

Apesar da aparente consonância sobre a medida dos efeitos de uma

ação ser a principal razão para a realização das avaliações de impacto, a

terminologia também aparece relacionada a um uso prévio da avaliação, com o

objetivo de prever impactos possíveis de um programa, antes de sua

implementação. Ex-ante ou avaliação de impacto: ou uma avaliação que visa a prever a possibilidade de alcançar os resultados esperados de um programa ou intervenção ou a previsão seus efeitos inesperados. Esta é realizada antes do programa formalmente aprovada ou intervenção ou começaram. (Fonte: The Independent Evaluators’ Webring. Acesso em 20/11/2008) [tradução livre da autora].

Cabe ressaltar que esse uso terminológico aparece relacionado a

avaliações ex-ante e a “impact assessment” enquanto que o uso mais comum,

relacionado à medida dos efeitos de uma determinada iniciativa, usualmente

relaciona a avaliação de impacto ou “impact evalution” com avaliações ex-post.

De qualquer forma, a avaliação de impacto também é vista como um

instrumento importante para a realização da accountability. Tal termo tem sido

utilizado tanto no sentido de “prestação de contas” quanto no sentido de

“responsabilização” e, em ambos os sentidos, a avaliação de impacto tem sido

apontada como mecanismo importante.

Contudo, por sua natureza, esta é uma avaliação extremamente

complexa e nem sempre é possível realizá-la nas Ciências Humanas, o que

talvez explique a pouca difusão, na literatura sobre avaliação de programas

sociais (e, portanto, educacionais), de experiências desse tipo de avaliação.

Para que seja possível compreender a dificuldade de avaliar impacto, é

necessário compreender alguns dos principais princípios desse tipo de

avaliação.

Segundo Sulbrandt (1993), para que seja possível avaliar os efeitos que

foram produzidos em uma determinada situação a partir da realização de

certas políticas ou programas, é necessário identificar as mudanças ocorridas

em decorrência do programa, buscando identificar a efetividade do mesmo.

Para que isso ocorra é preciso encontrar mecanismos que permitam

estabelecer relações de causalidade entre as ações do programa e resultados

finais específicos, isto é, “estabelecer os efeitos natos de uma intervenção

social. Se entender por efeitos natos aqueles que são estritamente imputáveis

  8  

ou atribuídos ao programa, livres de possíveis efeitos de outros elementos

contaminantes que estão presentes na situação” (SULBRANDT, 1993: 317).

Ora, nas ciências biológicas e exatas, isolar o efeito de uma variável

pode ser mais simples do que em Ciências Sociais, para as quais são

colocadas algumas questões: como isolar, por exemplo, o efeito de um curso

na prática de um profissional, sem a possibilidade de controlar os

conhecimentos que ele tinha anteriormente?

Quando se trata de avaliar efeitos de um programa sobre o ser humano,

cujas ações e reações envolvem uma complexidade de fatores, é possível

eliminar outros “efeitos contaminantes”, que possam interferir no resultado da

avaliação? É possível desenvolver indicadores ou instrumentos de medida de

resultados que isolem os aspectos que podem ter interferido no processo e

reflitam se as metas do programa foram atingidas de acordo com o esperado?

Somam-se a essas questões, duas outras, anteriores, inclusive, à

própria medida de resultados: as metas dos projetos/ programas

implementados, cujo impacto se deseja avaliar, são suficientemente bem

definidas e articuladas para que, a partir delas, os impactos esperados sejam

medidos? A implementação do projeto ou programa foi realizada de forma

adequada para alcançar os objetivos desejados sem ?

Segundo Sulbrandt (1993) e Freeman (1993) esses seriam pré-

requisitos básicos para a realização de uma avaliação de impacto e que, nem

sempre, podem ser garantidos, principalmente se o programa não prevê esse

tipo de avaliação e, portanto, não há a preocupação direta com fatores

essenciais para a realização da avaliação.

Além disso, as características que as políticas e programas sociais

assumem, atualmente, também dificultam a realização de avaliações de

impacto, que envolvem metodologias mais rígidas e complexas para que os

resultados obtidos sejam confiáveis. Na visão de Sulbrandt (1993), os aspectos

mais importantes dos programas sociais, que dificultam aferições de

efetividade, são: a) Os problemas estruturais que se pretendem enfrentar

mediante as políticas e programas são debilmente estruturados e não podem ser definidos de maneira rigorosa.

b) As políticas e programadas desenhadas e aprovadas pelo governo não perseguem um objetivo único, mas sim

  9  

objetivos múltiplos, às vezes inconsistentes, e suas metas são definidas de maneira ambígua, da qual emanam não somente problemas técnicos mas também necessidades táticas para assegurar sua aprovação.

c) As metas tendem a ser redefinidas no transcurso da implementação. Uma das razões que explica estas modificações e mudanças de metas é o processo de aprendizagem social que uma organização experimenta ao desenvolver um programa.

d) O caráter fraco das tecnologias utilizadas na quase totalidade dos programas sociais significa que as supostas relações causais que vinculam os insumos e as atividades com os produtos, resultados e impactos não respondem a um conhecimento certo e válido, mas sim que, no melhor dos casos, constituem somente hipóteses a verificar. (SULBRANDT, 1993: 325-326) [ tradução livre da autora].

Seria possível desenvolver modelos alternativos de análise de

efetividade de um programa, que considerem as informações já existentes,

sejam factíveis e possam iluminar o entendimento sobre os resultados das

ações realizadas, contribuindo com a gestão pública de serviços educacionais?

Quais são as tecnologias de análise disponíveis para que se isolem as

variáveis intervenientes em um processo de formação docente, por exemplo, e

que cuidados elas demandariam, já na implementação do programa, para que

informações essenciais ao seu uso possam ser produzidas ou coletadas?

Além disso, caso não seja possível mensurar impactos desse tipo de

programa, como potencializar o uso das informações obtidas pelos sistemas de

avaliação já existentes, visando analisar e compreender a realidade

educacional em sua complexidade e possibilitando a proposição de políticas

baseadas em dados confiáveis?

Que experiências de avaliação de impactos têm sido geradas no âmbito

das universidades e das instituições de pesquisa especializadas em avaliação

e que podem servir para iluminar os meandros metodológicos da medida de

impactos de programas de formação? É possível estudar impacto sem utilizar

métodos experimentais ou quase-experimentais? Antes: vale à pena fazer esse

tipo de estudo em políticas que tendem a ser focalizadas e que podem mudar

com uma freqüência maior que o desejado, devido à sua vinculação ao

contexto político?

Tais preocupações motivam o compartilhar dos percalços gerados pela

pesquisa até o presente momento, pois a busca de soluções para essa questão

deveria, antes de tudo, ser coletiva.

  10  

(Des) Caminhos da pesquisa: há luz no fim do túnel?

No que se refere à formação docente, um estudo bibliográfico inicial

mostrou que, apesar da década de 90 ser marcada por uma proliferação de

estudos sobre a formação dos professores e seu caráter de desenvolvimento

profissional, a maioria deles reflete uma concepção de que a formação deve

relacionar-se ao atendimento das necessidades da escola e do sistema

educacional. Nesse sentido, observa-se que o tema adquire relevo no âmbito

das políticas públicas. Tal preocupação aparece em documentos oficiais: [...] cada vez mais vem se formando um consenso a respeito das condições fundamentais para a garantia de qualidade do ensino e da aprendizagem: existência de um projeto pedagógico compartilhado por toda comunidade escolar; formas de organização e funcionamento ágeis; corpo docente estável; existência de uma equipe de profissionais que planeja o trabalho educativo em colaboração e toma decisões coletivamente; uma perspectiva de experimentação, avaliação e revisão constante da experiência profissional; condições gerais de trabalho e salário; apoio administrativo; conhecimento do professor sobre os conteúdos que vai ensinar e sobre as condições necessárias para a aprendizagem de seus alunos; qualidade do material didático a que os alunos têm acesso; existência de bibliotecas escolares; tempo de permanência dos alunos na escola. Entre essas condições, a formação de professores destaca-se como uma das mais importantes no conjunto das políticas públicas para a educação. (BRASIL, 1997:9) [grifos meus].

Aceitando esse tipo de relação direta entre formação de professores e

resultados educacionais dos alunos, percebe-se que medir os efeitos da

primeira nesses resultados assume papel importante, inclusive para reforçar

essa relação.

É importante destacar, contudo, que a existência de tal relação (entre

formação docente e o desempenho dos alunos) gera muitas controvérsias

entre os pesquisadores e estudiosos, não sendo sempre aceita na comunidade

científica. . Enquanto alguns autores acreditam que a relação entre a formação

dos professores e o desempenho dos alunos é frágil, outros defendem que

esses elementos estão intimamente relacionados. Portanto, tal relação precisa

ser tematizada por estudos que se dedicam à compreensão da política

educacional, pois, enquanto não são traçadas conclusões mais precisas, tal

relação não pode ser descartada enquanto um dos elementos explicativos do

  11  

sucesso ou fracasso de um determinado programa nem, tampouco, ser tomada

como verdade absoluta.

Heraldo Vianna ensina, por exemplo, que é por meio da avaliação de

um programa, aliada à pesquisa, que será possível desvendar a “rede de

fatores confluentes e que se interpenetram, gerando uma rede de causas, fatos

e efeitos” que interferem na realidade educacional e, portanto, na qualidade em

educação. (VIANNA, 2000:23).

Nesse sentido, Marta Sisson de Castro (s/d) aponta a relação entre a

formação dos professores, em nível superior, e os resultados dos alunos no

PISA: Os resultados do PISA, também constataram “o conjunto de fatores escolares explica 31% da variância na leitura” (PISA, 2002). Ao identificar os fatores escolares que influenciam positivamente o rendimento acadêmico dos alunos, enfatizam que professores qualificados são os recursos escolares mais valiosos. Foi constatada uma associação entre a percentagem de professores que possuía curso superior em sua área de atuação e resultado acadêmico dos alunos., por exemplo uma elevação de 25% no percentual de professores com curso superior em sua área de atuação está associado com um aumento de nove pontos no teste de leitura em média nos países da OECD (Organization for Economic Cooperation and Development). Indicando que a preparação dos professores afeta diretamente o rendimento dos alunos. (CASTRO, s/d. Avaliação do Rendimento Educacional e a Formação de Professores. Disponível em: http://www.sbec.org.br/evt2008/trab28.pdf. Acesso em 28/11/2008) [grifos meus].

Já para Torres, no entanto, a relação direta entre formação do professor

e conhecimento do aluno é questionável. Deve-se considerar, contudo, que ao

mesmo tempo em que faz a ressalva sobre as estreitas relações entre

rendimento do aluno e formação do professor, Torres admite que alguns

estudos defendem essa inter-relação. Nas palavras da autora: Não existe uma relação mecânica entre conhecimento do professor e aprendizagem do aluno ou entre capacitação do professor e rendimento escolar: não se pode esperar que cada ano de estudos, cada curso ou oficina de capacitação resulte imediata e necessariamente em quantidades mensuráveis de aprendizagem (melhorada) por parte do alunado. Esta visão corresponde a uma percepção da educação e da aprendizagem escolar que equipara escola e fábrica e vê o ensino e a aprendizagem à luz do modelo fabril insumo-produto (inputs-outputs). (TORRES, 1998:175)

Distanciando-se da perspectiva de Torres, Brunner (2003), se apóia em

estudo realizado por Fuller e Clarke, para concluir que a atuação docente é um

  12  

aspecto central para a melhoria dos resultados escolares dos alunos. Segundo

o autor, a “qualidade da docência” seria determinada: [...] pelas práticas de ensino do docente na sala de aula, pelo desenvolvimento profissional docente (conhecimento da matéria que ensina e capacidade de ensinar a alunos de diversas origens sócio-familiares) e os insumos (tamanho do curso, formação inicial e experiência do professor). (BRUNNER, 2003:77-78)

Esses são poucos, mas ilustrativos, exemplos da divergência de

posições acerca da relação entre investimento na formação docente e melhoria

do desempenho do aluno. Tais exemplos mostram como é necessário analisar

mais detidamente a questão, levantando informações que permitam um

posicionamento nesta polêmica. No caso específico da análise sobre a

influência do Programa Letra e Vida nos desempenhos de alunos e

professores, a intenção da pesquisadora é buscar informações que possam

contribuir para o avanço na discussão dessa polêmica.

Feitas tais ressalvas, pode-se dizer que a partir das análises iniciais da

autora, que tomam como indício do desempenho discente os resultados

obtidos pelos alunos no SARESP, não é possível afirmar que tais resultados se

alteram pelo oferecimento de cursos para professores. Isso porque não é

possível identificar, nos resultados do SARESP, uma continuidade

metodológica e temporal que permita fazer afirmações fidedignas a esse

respeito.

Implantado a partir de 1996, com periodicidade irregular, o SARESP

(Sistema de Avaliação do Rendimento Escolar de São Paulo) já realizou dez

avaliações nas escolas da rede estadual de São Paulo (Ver Quadro 1), sendo

que em alguns anos houve participação, inclusive, de algumas redes

municipais e escolas particulares.

É importante ressaltar que até 1998 o SARESP se caracterizou como

uma avaliação de entrada: ocorria no início do ano e, portanto, analisava o

trabalho realizado pela série anterior. A partir do ano 2000, passou a ser

realizado no final do ano, tornando-se uma avaliação de saída, ou seja, o foco

da avaliação era o trabalho realizado na série em que o aluno se encontrava.

Além disso, inicialmente, o SARESP era uma avaliação de caráter amostral,

sendo que apenas algumas séries eram avaliadas. Entre 2003 e 2005, passou

a ser censitário, com todas as escolas e séries sendo avaliadas. Já em 2007,

  13  

apenas seis séries foram avaliadas, mas em caráter censitário: 1ª, 2ª, 4ª, 6ª e

8ª séries do EF e a 3ª série do EM da rede pública estadual.

Para o interesse específico da pesquisadora, observa-se que os anos

em que os alunos da 1ª série do Ensino Fundamental foram avaliados foram

2003, 2004, 2005 e 2007. O Programa Letra e Vida foi implantado em 2003, o

que permitiria supor que os resultados de 2004, 2005 e 2007 pudessem sofrer

alterações devido à ação de formação docente.

QUADRO 1: Edições do SARESP e Séries Avaliadas por Edição Séries Ano Ensino Fundamental Ensino Médio 1ª 2ª 3ª 4ª 5ª 6ª 7ª 8ª 1ª 2ª 3ª 1996 1997 1998 2000 2001 2002 2003 2004 2005 2007 Fonte:  Secretaria  da  Educação/  FDE.    

Contudo, não é possível realizar uma análise longitudinal dos resultados

da 1ª série. Em 2003, por exemplo, a análise dos resultados foi realizada de

forma qualitativa, não sendo atribuídas porcentagens médias para os acertos

dos alunos, como mostra o trecho do Relatório do SARESP 2003, destacado

abaixo: Cabe ressaltar que as provas das 1a e 2a séries do Ensino Fundamental foram corrigidas de forma qualitativa, sendo criadas categorias de desempenho, portanto, nessas séries não serão discutidas as porcentagens médias de acertos em cada habilidade, mas a porcentagem de alunos em cada categoria, por tópico de análise. As categorias de classificação das respostas dessas duas séries foram determinadas por especialistas da SEE/SP. (SEE/SP. Relatório do SARESP – 2003)

.Já em 2004, os alunos foram distribuídos em níveis, segundo uma

escala de desempenho:

  14  

QUADRO 2: Níveis da escala de desempenho do SARESP 2003 para a 1ª. série do Ensino Fundamental NÍVEIS  DA  ESCALA  DE  DESEMPENHO  EM  LEITURA  E  ESCRITA  

ENSINO  FUNDAMENTAL  –  CICLO  I  –  1ª  SÉRIE  

NÍVEL DE DESEMPENHO: INSUFICIENTE (de 0 a 9 pontos)

Neste nível os alunos ainda não escrevem com correspondência sonora alfabética.

NÍVEL DE DESEMPENHO: REGULAR (de 10 a 12 pontos)

Neste nível os alunos escrevem com correspondência sonora alfabética.

NÍVEL DE DESEMPENHO: BOM (de 13 a 18 pontos)

Neste nível os alunos escrevem com correspondência sonora alfabética e lêem com autonomia, localizando parcialmente informações no texto.

NÍVEL DE DESEMPENHO: MUITO BOM (de 19 a 20 pontos)

Neste nível os alunos escrevem alfabeticamente com ortografia regular e lêem com autonomia, localizando integralmente informações no texto e sendo capazes de inferir uma informação a partir da leitura.

NÍVEL DE DESEMPENHO: ÓTIMO (de 21 a 24 pontos)

Neste nível os alunos escrevem alfabeticamente com ortografia regular e lêem com autonomia, sendo capazes de inferir uma informação a partir da leitura. Produzem texto com algumas características de linguagem escrita e do gênero proposto (carta).

NÍVEL DE DESEMPENHO: EXCELENTE (25 pontos)

Neste nível os alunos escrevem alfabeticamente com ortografia regular e lêem com autonomia, sendo capazes de inferir uma informação a partir da leitura. Produzem texto com características de linguagem escrita e do gênero proposto(carta).

Fonte: SEE/SP. Disponível em: http://www.educacao.sp.gov.br/noticias_2005/01_02_EF.pdf. Acesso em 21/04/2009.

Observa-se, assim, que a análise manteve-se qualitativa, mas,

diferentemente do ano anterior, associou-se um total de pontos a cada nível de

desempenho. Nesse sentido, observa-se uma alteração no tratamento dos

resultados que dificulta um estudo mais direto entre os resultados das duas

avaliações. Tais análises poderiam ser feitas sobre os resultados qualitativos,

presentes nas duas amostras, mas as mudanças ocorridas nos descritores

qualitativos poderiam levar a alterações. Apesar dessas limitações, à época da

divulgação dos resultados, muitas afirmações foram feitas, no âmbito da

Secretaria de Educação, sobre a melhoria que os investimentos em formação

docente já apontavam, tendo em vista os resultados da avaliação.

Vale ressaltar, ainda, que fica clara a relação entre a prova do SARESP

e os pressupostos teórico-metodológicos divulgados no curso, como atesta o

trecho retirado do site da Secretaria de Educação, à época da inscrição para o

SARESP:

  15  

A avaliação das primeiras séries do Ensino Fundamental está vinculada à existência de professores nas redes municipal e particular que participaram do Programa de Formação de Alfabetizadores (PROFA) ministrado pelo Ministério da Educação ou do Projeto Letra e Vida, em desenvolvimento pela Secretaria da Educação do Estado de São Paulo. Essa decisão se justifica em razão da especificidade da avaliação das 1ª e 2ª séries na rede da SEE que, vinculada aos pressupostos desse Projeto, requer procedimentos específicos para a aplicação e correção de provas. (Fonte: SEE/SP. Condições de adesão da rede municipal e particular. Disponível em: http://saresp.edunet.sp.gov.br/2004/subpages/condi_ad_mu.htm. Acesso em 21/04/2009)

Finalmente, a pesquisadora também perdeu a possibilidade de análise e

utilização dos resultados da 1ª série obtidos em 2005 e 2007, visto que houve

alteração significativa no esquema de pontuação da avaliação, acrescida pelas

mudanças na disposição das categorias qualitativas. Inicialmente, pensou-se

que a utilização dos dados do SARESP 2005 e 2007 propiciaria um estudo de

caráter longitudinal, a partir do qual se buscaria observar tendências de

desempenho dos alunos e escolas cujos professores participaram do programa

analisado.

Contudo, enquanto o SARESP 2005 trabalhou com um escore máximo

de 44 pontos, distribuídos em 8 níveis de escala de desempenho, no SARESP

2007 foram adotados 6 níveis de escala de desempenho, com uma pontuação

máxima de 49 pontos, como mostram os quadros a seguir:

QUADRO 3: Níveis da escala de desempenho em leitura e escrita na 1ª série do EF. SARESP 2005 Nível Pontuação Descrição dos Níveis Abaixo do

nível 1 0-4 Alunos que não demonstram domínio das habilidades avaliadas

pelos itens da prova 1 5-9 Escrevem com correspondência sonora ainda não alfabética 2 10-12 Escrevem com correspondência sonora alfabética 3 13-18 Escrevem com correspondência sonora alfabética e lêem com

autonomia (texto informativo) 4 19-25 Escrevem com ortografia regular 5 26-38 Produzem texto com algumas características de linguagem escrita

e do gênero proposto (conto) 6 39-40 Produzem texto com características de linguagem escrita e do

gênero proposto (conto) 7 41-44 Produzem texto com características de linguagem escrita e do

gênero proposto (texto informativo), a partir de situação de leitura autônoma e de texto de outro gênero.

Fonte: FDE. Sumário Executivo do SARESP 2005.

  16  

QUADRO 4: Níveis da escala de desempenho em leitura e escrita na 1ª série do EF. SARESP 2007 Nível Pontuação Descrição dos Níveis

1 0-3 Os alunos escrevem sem correspondência Sonora 2 4-8 Os alunos escrevem com correspondência sonora ainda não alfabética. 3 9-16 Os alunos escrevem com correspondência sonora alfabética. 4 17-25 Os alunos escrevem com correspondência sonora alfabética e produzem texto

com algumas características da linguagem escrita e do gênero proposto (carta). 5 26-37 Os alunos escrevem com ortografia regular; produzem texto com características

da linguagem escrita e do gênero proposto (carta); e, localizam, na leitura, informações explícitas contidas no texto informativo.

6 38-49 Os alunos escrevem com ortografia regular; produzem texto com características da linguagem escrita e do gênero proposto (carta); localizam informações explícitas; e fazem inferência de informações a partir de um texto lido (texto informativo).

FONTE: Sumário Executivo do SARESP 2007. Disponível em http:www.educacao.sp.gov.br/saresp

Observa-se que a própria distribuição dos alunos nos níveis, feita pela

Secretaria de Educação e seus assessores, parece deficitária já que os níveis

são distintos e definidos a partir de número de pontos variáveis.

Em um exercício de reflexão, visando encontrar pontos em comum entre

os grupos que foram avaliados em 2005 e 2007, tentou-se considerar os alunos

com pontuação igual ou maior que 75% e, para complemento do estudo,

aqueles que atingiram menos de 25% da pontuação possível. No caso de

2005, esses alunos eram aqueles que tiveram escores menores que 11 pontos

e maiores do que 33 pontos. Já no caso dos alunos avaliados em 2007, foram

considerados os que obtiveram pontos acima de 36,75 e abaixo de 12,25.

Partindo desse estudo inicial, não foi possível observarar alterações entre os

resultados de desempenho de alunos cujos professores participaram do curso

de formação em alfabetização, que é objeto de estudo. Pode-se afirmar, assim,

que os resultados não permitiram chegar a conclusões sólidas que

evidenciassem impactos do curso sobre o desempenho discente, ao contrário

do que se propagandeou à época.

É claro que isso não significa que o Programa de Formação é inválido,

visto que ele pode atingir seus objetivos enquanto formação de professores.

Contudo, do ponto de vista quantitativo a formação não pareceu repercutir em

diferenças significativas no aprendizado dos alunos. Tal descoberta reforçou a

necessidade de investigar a prática docente dos professores que fizeram o

  17  

curso, a fim de analisar em que medida essa prática é influenciada pelos

pressupostos aprendidos durante a atividade de formação continuada.

Outro fator que influenciou o delineamento inicial de análise proposta foi

a dificuldade de obtenção de informações sobre o nível sócio-econômico da

escola, já que esse tipo de informação nem sempre é incorporado aos

questionários que acompanham as avaliações sistêmicas. Uma forma de

estabelecimento do nível sócio-econômico da escola seria obter dados sobre a

população que ela atende e, então, generalizá-los para a instituição. Nesse

sentido, apresenta-se um dificultador: os alunos de Ciclo 1 do Ensino

Fundamental não estão aptos a responder questões de nível sócio-econômico,

fator pelo qual os organizadores do SARESP começam a colher estes dados

apenas entre os alunos de 4ª série em diante.

Como alternativa, tentar-se-á, a partir das respostas dos alunos de 4ª

série, traçar o perfil sócio-econômico da escola, tendo como pressuposto que a

população de atendimento do entorno escolar é a mesma, estando os alunos

no 1º ano da escolaridade ou no 4º. Sobre a informação disponível cabe ainda

acrescentar que serão utilizados os dados da FDE, baseados em uma

adaptação do Critério Brasil, que incorporam a escolaridade da mãe e a posse

de bens de conforto, mas não questões específicas sobre renda.

Além disso, desde o início do projeto, a pesquisadora intentava verificar

se haveria diferenças substanciais entre o desempenho de alunos de

professores que cursaram o Programa Letra e Vida e o desempenho de alunos

cujos professores não participaram do curso. Para estabelecer essa relação,

seriam utilizadas as respostas dos professores no questionário que

acompanhou o SARESP de 2007. Nesse questionário haviam sido incluídas, a

pedido da Equipe do “Letra e Vida”, questões que permitissem identificar

professores que participaram do Programa, informação que poderia ser útil

para uma avaliação de impacto daquele programa de formação.

A idéia inicial, segundo a supervisora do Programa, professora Telma

Weisz, era identificar professores formados pelo “Letra e Vida” e cruzar essa

informação com os resultados obtidos pelos alunos desses professores.

Contudo, durante a aplicação do SARESP, houve uma troca de professores

aplicadores entre escolas, com exceção dos professores das duas séries

iniciais do ensino fundamental. Nesse caso (1ª e 2ª séries), os professores que

  18  

aplicaram a avaliação foram os professores da própria escola, trocando, porém,

as turmas. Isso fez com que os questionários dos professores de 1ª e 2ª séries

não fossem respondidos pelos responsáveis por cada turma, perdendo-se a

possibilidade de cruzar os dados obtidos pelos respondentes que fizeram o

Letra e Vida com os percentuais de rendimento dos alunos, que seria uma

fonte importante de informação para a análise do impacto do programa.

Finalmente, cabe destacar que a proposta inicial de análise de

possíveis impactos do Programa Letra e Vida contemplava o acompanhamento

de um grupo de professores que foram cursistas do programa, comparando os

resultados dos seus alunos com os de alunos de professores que não se

submeteram a ele. Tal abordagem, contudo, foi dificultada porque ocorreram

inúmeras remoções de professores ao longo do ano, o que não garante que, ao

chegar na escola, a pesquisadora tenha acesso ao mesmo grupo que já estava

Essas três dificuldades permitem chegar a duas conclusões principais.

Primeiramente, percebe-se que a própria natureza do sistema educacional de

São Paulo dificulta uma análise de resultados baseada em uma metodologia

que exige o controle de variáveis e, portanto, a manutenção de algumas

estruturas propostas inicialmente. Programas que mudam constantemente,

informações que não são “controladas” pelos aplicadores do SARESP (e que

poderiam ser úteis à gestão do sistema), desafios técnicos e metodológicos

para manutenção da unicidade nas propostas e equivalência de resultados,

constituem parte dos aspectos que devem ser considerados se o objetivo é o

desenvolvimento de análises mais aprofundadas e sustentáveis, com validade

conceitual.

Em segundo lugar, chama a atenção a postura da Secretaria da

Educação, que facilmente poderia imprimir mudanças no sentido de propiciar

condições mais favoráveis para o desenvolvimento das pesquisas em

Educação e para o aprimoramento da reflexão teórica sobre as análises de

resultados referente ao sistema educacional.

Paralelamente, observa-se que as mesmas dificuldades enfrentadas

pelo pesquisador devem se impor, de alguma maneira, ao pessoal técnico da

Secretaria. De qualquer forma, um maior cuidado na organização das

avaliações e no tratamento de dados sobre professores poderia ser decisivo

para ajudar no desenvolvimento de uma proposta de avaliação de impacto.

  19  

Contudo, são essas mesmas dificuldades que fazem com que seja necessária

a realização de estudos como o que está sendo proposto neste projeto, a fim

de contribuir para o acúmulo de conhecimentos na área de avaliação de

impacto de programas sociais que deve ser focalizada nos próximos anos,

tendo em vista as características que a gestão de programas sociais e

educacionais vêm assumindo nos últimos anos.

BIBLIOGRAFIA

AFONSO, Almerindo. Políticas educativas e avaliação educacional. Portugal: Universidade de Minho, 1998.

ANDRÉ, Marli. “Avaliação revela impacto de um programa de formação de professores”. Revista Ensaio: avaliação de políticas públicas educacionais. Rio de Janeiro: Fundação Cesgranrio, v. 16, n.58, p. 149-168, jan./mar. 2008.

BAKKE, Lianete L. M. B. O discurso e a prática pedagógica do professor alfabetizador. Mestrado. João Pessoa: Universidade Federal da Paraíba. Orientador: Maria Ester Vieira de Sousa. 2006.

BARRETTO, Elba Siqueira de Sá; PINTO, Regina Pahim (Coord.). Avaliação na educação básica (1990-1998). Brasília: MEC/Inep/Comped, 2001. Série Estado do Conhecimento, n. 4.

BOMENY, Helena (org.) Avaliação e determinação de padrões na educação latino-americana: realidades e desafios. São Paulo:FGV Editora, 1997.

FLETCHER, Philip. Propósitos da avaliação educacional: uma análise das alternativas. Estudos em Avaliação Educacional. São Paulo, n.º 11, p. 93-112, jan.-jun., 1995.

FRANCO, Creso. Quais as contribuições da avaliação para as políticas educacionais. FRANCO, Creso; BONAMINO, Alicia; BESSA, Nicia (Org.). Avaliação da educação básica: pesquisa e gestão. Rio de Janeiro: Ed. PUC-Rio : São Paulo: Loyola, 2004. p. 45-63.

LOPEZ-ACEVEDO, Gladys. Professional Development and Incentives for Teacher Performance in Schools in Mexico. The World Bank: Reports and Publicashions, Published in 04/03/2004. Disponível em: http://www-wds.worldbank.org. Acesso em 15/11/2008.

LAVILLE, Cristian e DIONNE, Jean. Em busca de informações. A construção do saber – Manual de Metodologia de Pesquisa em Ciências Humana. Porto Alegre: Editora Artmed e UFMG, 1999.

MILLS, Charles Wright. Do artesanato intelectual. A imaginação sociológica. Rio de Janeiro: Zahar, 1965, p: 211-244.

  20  

NATIONAL SCIENCE FOUNDATION. An overview of quantitative and qualitative data collection methods. Disponível em: http://www.nsf.gov. Acesso em 15/09/2007.

PIATTI, Célia Beatriz. Formação continuada: reflexos na prática dos professores participantes do Programa de Formação de Professores Alfabetizadores – PROFA. Mestrado. Universidade Católica Dom Bosco. Orientador: Leny R. M. Teixeira. 2006.

ROSSI, Peter e FREEMAN, Howard. Monitoreo del programa para su evaluación. Evaluación: un enfoque sistemático para os programas sociais. México: Editorial Trillas, 1989.

SÃO PAULO (Secretaria Estadual de Educação). Política Educacional da Secretaria da Educação do Estado de São Paulo, 2003. Disponível em: www.crmariocovas.sp.gov.br/pdf/ors/PoliticaSEE.pdf. Acesso em 20/04/2009.

SEVERINO, Antônio J. Metodologia do trabalho científico. São Paulo: Cortez Editora, 2001.

SOARES, José Francisco. Melhoria do desempenho cognitivo dos alunos do ensino fundamental. Cadernos de Pesquisa. São Paulo: FCC, 2007, vol. 37, no. 130, p: 135-160. Disponível em: http://www.scielo.br/scielo.php. ISSN 0100-1574. [Acesso em 22/11/ 2008].

SOUSA, Sandra M. Zákia Lian et al. Avaliação educacional e gestão: iniciativas no âmbito do Município e do Estado de São Paulo. Anuário do GT Estado e Política Educacional. Política, gestão e financiamento da educação. São Paulo: Anped, 2000. p. 429-435.

TORRES, Rosa Maria. Tendências da formação docente nos anos 90. Warde, M. (org.). Novas políticas educacionais: críticas e perspectivas. São Paulo: PUC, 1998, p. 173-191.

VERDUG, Evert. Public Policy and Program Evaluation. New Jersey: Transaction Publishers, 2008.

VIANNA, Heraldo. Fundamentos de um programa de avaliação educacional. Brasília: Liber Livro Editora, 2005.

WORTHEN, Blaine, SANDERS, James e FITZPATRICK, Jody. Avaliação de Programas: concepções e práticas. São Paulo: EDUSP/ Editora Gente, 2004.