View
47
Download
0
Category
Preview:
DESCRIPTION
Artigos clássicos de Heraldo Marelim Vianna.
Citation preview
V.25 N.60 NMERO ESPECIAL | DEZEMBRO 2014
ISSN 0103-6831
ESTUDOS EM AVALIAO EDUCACIONAL
FUNDAO CARLOS CHAGAS
CONTRIBUIES DE HERALDO VIANNA PARA A AVALIAO EDUCACIONAL
INDEXADO EM
BAMP Biblioteca Ana Maria Poppovic (Brasil, FCC) www.fcc.org.br
BBE Bibliografia Brasileira de Educao (Brasil, Cibec/Inep/MEC) http://pergamum.inep.gov.br/pergamum/biblioteca/index.php?resolution2=1024_1
Clase Citas Latinoamericanas en Ciencias Sociales y Humanidades (Mxico, Unam) http://biblat.unam.mx/
Edubase Faculdade de Educao (Brasil, Unicamp) http://143.106.58.49/fae/default.htm
Educ@ Publicaes on-line de Educao (Brasil, FCC) http://educa.fcc.org.br/scielo.php
e-Revistas Plataforma Open Access de Revistas Cientficas Electrnicas Espaolas y Latinoamericana (Espanha)http://www.erevistas.csic.es/
Google Scholarhttp://scholar.google.com.br/
Iresie ndice de Revistas de Educacin Superior e Investigacin Educativa (Mxico, Cesu-Unam)http://www.iisue.unam.mx/iresie/
Latindex Sistema Regional de Informacin en Lnea para Revistas Cientficas de Amrica Latina, en Caribe, Espaa y Portugal (Mxico, Unam) http://www.latindex.unam.mx
ESTUDOS EM AVALIAO EDUCACIONAL N. 2 JUL./DEZ. 1990
FUNDAO CArLOS ChAgAS SO PAULO
SemestralA partir de 2006 passa a ser QUADRIMESTRAL
ISSN 0103-6831e-ISSN 1984-932X
1. Avaliao 2. Polticas Educacionais 3. Qualidade do EnsinoI. Fundao Carlos Chagas II. Departamento de PesquisasEducacionais/FCC
VERSO ElEtRNIcA
http://publicacoes.fcc.org.brVErSO IMPrESSA
Dezembro de 2014 Tiragem: 300 exemplares
E-MAIlS
eae@fcc.org.br (contato)publicacoesfcc@fcc.org.br (aquisio e assinaturas)
cOMIt EDItORIAl
Glucia Torres Franco Novaes (Coordenadora)Adriana BauerBernardete A. Gatti Clarilza Prado de Sousa Glria Maria Santos Pereira LimaMarialva Rossi TavaresNelson A. Simo GimenesVandr Gomes da Silva
cOORDENAO DE EDIES
Adlia Maria Mariano da Silva Ferreira
ASSIStENtE DE EDIES
Camila Maria Camargo de Oliveira
SEcREtRIA DE EDIES
Camila de Castro Costa
PADrONIZAO BIBLIOgrFICA
Biblioteca Ana Maria Poppovic
REVISO EStAtStIcA
Miriam BizzocchiRaquel da Cunha Valle
PrOJETO grFICO
E DIAgRAMAO
Gustavo Piqueira | Casa Rex
IMPrESSO
Forma Certa Solues Grficas Personalizadas
EStuDOS EM AVAlIAO EDucAcIONAl
Peridico da Fundao Carlos Chagas criado em 1990 sucedendo Educao e Seleo (1980-1989). Publica trabalhos originais relacionados educao, com perspectiva avaliativa, apresentados sob forma de relatos de pesquisa, ensaios tericos, revises crticas, artigos e resenhas.
As normas para a publicao de artigos e resenhas esto no final do volume. A revista no se responsabiliza pelos conceitos emitidos em matrias assinadas. Direitos autorais reservados: reproduo integral de artigos apenas com autorizao especfica; citao parcial permitida com referncia completa fonte.
cONSElHO EDItORIAl
Dalton Francisco de Andrade (Universidade Federal de Santa Catarina,
Florianpolis, Santa Catarina, Brasil)
Fernando Lang da Silveira (Universidade Federal do Rio Grande do Sul,
Porto Alegre, Rio Grande do Sul, Brasil)
Heraldo Marelim Vianna In memoriam (Fundao Carlos Chagas, So Paulo,
So Paulo, Brasil)
Jos Francisco Soares (Universidade Federal de Minas Gerais,
Belo Horizonte, Minas Gerais, Brasil)
Lina Ktia Mesquita de Oliveira (Universidade Federal de Juiz de Fora,
Juiz de fora, Minas Gerais, Brasil)
Luzia Marta Bellini (Universidade Estadual de Maring,
Maring, Paran, Brasil)
Maria Ins Gomes de S Pestana (Instituto Nacional de Estudos e Pesquisas
Educacionais Ansio Teixeira, Braslia,
Distrito Federal, Brasil)
Naura Syria Carapeto Ferreira (Universidade Tuiuti do Paran, Curitiba,
Paran, Brasil)
Ncia Maria Bessa (Pontifcia Universidade Catlica do
Rio de Janeiro, Rio de Janeiro,
Rio de Janeiro, Brasil)
Nigel Pelham de Leighton Brooke (Universidade Federal de Minas Gerais,
Belo Horizonte, Minas Gerais, Brasil)
Robert Verhine (Universidade Federal da Bahia,
Salvador, Bahia, Brasil)
Sandra Zkia Sousa (Universidade de So Paulo, So Paulo,
So Paulo, Brasil)
Srgio Vasconcellos de Luna (Pontifcia Universidade Catlica de So Paulo,
So Paulo, So Paulo, Brasil)
Yara Lcia Esposito (Fundao Carlos Chagas, So Paulo,
So Paulo, Brasil)
sumRIO
APrESENTAO .................................................................................7
AvAliAo educAcionAl: teoriA e histriA
Avaliao educacional: uma perspectiva histrica .................................. 14
Medida da qualidade em educao: apresentao de um modelo ............................................................................36
Avaliao de programas educacionais: duas questes .........................44
Fundamentos de um programa de avaliao educacional ..................56
AvAliAo educAcionAl: ForMAo do AvAliAdor
Avaliao educacional: problemas gerais e formao do avaliador ................................................ 74
Avaliao e o avaliador educacional: depoimento ..................................86
instruMentos de AvAliAo educAcionAl
Qualificao tcnica e construo de instrumentos de medida educacional ................................................... 106
natureza das medidas educacionais ........................................................... 1 18
validade de construto em testes educacionais ..................................... 136
Aplicao de critrios de correo em provas de redao ............... 154
reFlexes sobre A prticA AvAliAtivA
Avaliando a avaliao: da prtica pesquisa .......................................... 170
A prtica da avaliao educacional: algumas colocaes metodolgicas ............................................................178
Avaliaes nacionais em larga escala: anlises e propostas .............................................................................................. 196
Avaliao educacional: vivncia e reflexo ............................................. 234
AS CONTrIBUIES DE hErALDO VIANNA PArA A AVALIAO EDUCACIONAL
6 Est. Aval. Educ., so paulo, v. 25, n. 60, p. 7-11, n. especial, dez. 2014
heraldo M. vianna,
acervo da Fundao carlos chagas
Est. Aval. Educ., so paulo, v. 25, n. 60, p. 7-11, n. especial, dez. 2014 7
apResentaO
A revista Estudos em Avaliao Educacional, em seu nmero 60, apresenta uma homenagem ao seu idealizador, Heraldo Marelim
Vianna, educador e pesquisador que desenvolveu sua carreira na
Fundao Carlos Chagas. Editor deste peridico desde sua cria-
o, em 1990, at sua aposentadoria, em 2008, foi um dos autores
brasileiros que mais se dedicaram ao tema da avaliao educa-
cional, quando esse ainda era muito incipiente no pas. Foi, tam-
bm, criador e editor da revista Educao e Seleo, igualmente publicada pela Fundao Carlos Chagas, entre 1980 e 1989.
Com graduao em Geografia e Histria, pela Universidade
Estadual do Rio de Janeiro (UERJ), e em Direito, pela Universida-
de Federal do Rio de Janeiro (UFRJ), fez especializaes nos Esta-
dos Unidos e na Frana, no campo da Educao, pela University of Michigan Ann Arbor, e em Pedagogia, pelo Centre International Dtudes Pdagogiques. Mestre e Doutor em Educao, pela Michigan State University e Pontifcia Universidade Catlica de So Paulo, respectivamente, atuou como pesquisador no Departamento
de Pesquisas Educacionais da Fundao Carlos Chagas de 1970 a
2007, tendo exercido cargos de gesto nesse departamento e no
setor de testes e concursos. Foi membro do Conselho Estadual
8 Est. Aval. Educ., so paulo, v. 25, n. 60, p. 7-11, n. especial, dez. 2014
de Educao de So Paulo, no perodo de 1997 a 2000, e prestou
assessoria para o desenvolvimento de importantes avaliaes de
sistemas educacionais, tais como a dos estados de Minas Gerais
e Paran, e para o Exame Nacional de Cursos, por exemplo. A pe-
dido do Ministrio da Educao, desenvolveu, no final dos anos
1980, avaliaes de rendimento educacional com alunos de esco-
las privadas e pblicas envolvendo um nmero considervel de
estudantes em diferentes regies do pas, tarefa quase herclea
naqueles tempos em que as informaes educacionais eram desa-
tualizadas e pouco robustas. Foram trabalhos que permitiram an-
tever importantes polticas de avaliao, como o Sistema de Ava-
liao da Educao Bsica (Saeb), por exemplo. Foi responsvel,
tambm, pelo desenvolvimento de avaliaes inovadoras, como
The International Assessment of Educational Progress (IEAP), avaliao em cincias e matemtica envolvendo alunos de vinte pases,
e Avaliao de habilidades de vida.
Sua obra envolve mais de 60 artigos e 15 livros sobre edu-
cao, sendo fortemente voltada para a avaliao educacional.
Sua preocupao constante era oferecer aos educadores brasilei-
ros elementos tericos, contextualizados historicamente, para
a compreenso do desenvolvimento desse campo de estudos.
Muitos de seus artigos iniciais so voltados para aspectos psico-
mtricos, ou seja, sobre como elaborar e tratar os resultados
de aplicaes de instrumentos de avaliao. Com a criao de
Estudos em Avaliao Educacional, passou a escrever artigos mais centrados na disseminao das teorias e modelos que emba-
sam as avaliaes de programas e sistemas educacionais. Alguns
textos visaram a difundir resultados de avaliaes realizadas no
Brasil, outros ofereceram reflexes pertinentes e atuais sobre os
impasses e problemas que envolvem a avaliao educacional.
Neste ano de 2014, a Fundao Carlos Chagas completa
50 anos de existncia e, naturalmente, almeja homenagear
aqueles que lutaram pela construo de sua slida reputao de
instituio inovadora, competente e sria. No poderia deixar
de resgatar a contribuio de Heraldo Marelim Vianna. Surgiu,
assim, a ideia de reeditar alguns de seus textos. Para a composi-
o de Estudos em Avaliao Educacional n 60 foram selecionados 14 artigos do autor, publicados em peridicos da Fundao
Carlos Chagas, especificamente Cadernos de Pesquisa, Estudos em Avaliao Educacional, Educao e Seleo e Textos FCC. Os artigos
Est. Aval. Educ., so paulo, v. 25, n. 60, p. 7-11, n. especial, dez. 2014 9
esto separados por temas: teoria e histria da avaliao edu-
cacional; formao do avaliador; instrumentos de avaliao; e
reflexes sobre a prtica avaliativa.
Em Avaliao educacional: teoria e histria so apresen-
tados quatro textos. O primeiro, Avaliao educacional: uma
perspectiva histrica, de 1995, discorre sobre o desenvolvi-
mento da avaliao educacional nos Estados Unidos e na Ingla-
terra, e, posteriormente, no Brasil. O texto apresenta autores e
conceitos importantes para interessados na rea. A seguir, em
Medida da qualidade em educao: apresentao de um mo-
delo, de 1990, Heraldo Vianna discute o conceito de qualidade
em educao, suas implicaes e relaes com a responsabiliza-
o educacional. No terceiro artigo deste segmento, Avaliao
de programas educacionais: duas questes, de 2005, o autor
discute aspectos da validade em avaliao de programas, apon-
tando as diferenas entre esse tipo de avaliao e a avaliao de
desempenho, destacando o aspecto democrtico desse proces-
so e ressaltando a importncia da disseminao dos resultados
para seu efetivo impacto. Em Fundamentos de um programa
de avaliao educacional, de 2003, o autor reflete sobre as-
pectos que envolvem a definio de uma poltica de avaliao
do sistema educacional brasileiro, considerando a diversidade
socioeconmica e cultural dos alunos, os problemas para a
disseminao dos resultados e as necessidades envolvidas no
planejamento escolar e na tomada de decises.
A segunda parte, Avaliao educacional: formao do
avaliador, composta por apenas dois textos, mas que traduzem
as condies mais relevantes a serem consideradas quando o foco
quem desenvolve a avaliao. Em Avaliao educacional:
problemas gerais e formao do avaliador, de 1982, Vianna
discorre sobre a complexidade crescente do campo da ava-
liao educacional e suas consequncias para a formao do
avaliador. Dentre os aspectos discutidos esto os modelos te-
ricos desenvolvidos por alguns autores, as diferenas e seme-
lhanas entre pesquisa e avaliao educacional e as funes
do avaliador educacional. Em Avaliao e o avaliador educa-
cional: depoimento, de 1999, Heraldo relata as experincias
vivenciadas por ele no campo avaliativo e as reflexes que sus-
citaram, sobretudo quanto s necessidades na sua formao e
na reviso de seus posicionamentos.
10 Est. Aval. Educ., so paulo, v. 25, n. 60, p. 7-11, n. especial, dez. 2014
Um terceiro grupo de textos refere-se a Instrumentos de
avaliao educacional. Em Qualificao tcnica e construo
de instrumentos de medida educacional, de 1984, Vianna trata
dos problemas tcnicos que frequentemente so observados en-
tre instrumentos de medida do rendimento escolar utilizados
no meio educacional. Para solucionar o problema, sugere mode-
los de anlise de medidas e tpicos para formao de educadores
que abordem o tema. Em Natureza das medidas educacionais,
de 1984, o autor trata das dificuldades inerentes mensurao
de variveis educacionais, das medidas possveis (atributos,
efeitos) e das diferentes formas de medi-las (escalas nominais,
ordinais, intervalares e de razo), bem como reflete sobre as di-
vergncias quanto ao significado e interpretao das medidas.
O texto Validade de construto em testes educacionais, de 1983,
de interesse muito atual, tendo em vista que muitos testes edu-
cacionais visam a medir processos mentais complexos. O artigo
apresenta metodologias diversificadas para validao de testes e
de teorias, diferenciando os conceitos de fidedignidade e valida-
de. H, tambm, um texto sobre Aplicao de critrios de corre-
o em provas de redao, de 1978, que discorre sobre mtodo
de validao do treinamento de professores para correo desse
tipo de prova em vestibulares.
Finalmente, uma quarta parte trata de Reflexes sobre
a prtica avaliativa. Em Avaliando a avaliao: da prtica
pesquisa, de 1992, Vianna faz uma retrospectiva do desenvol-
vimento da avaliao no Brasil e destaca a importncia de se
criar uma cultura da avaliao aliada pesquisa, de forma a lhe
dar credibilidade. Em seguida, o artigo A prtica da avaliao
educacional: algumas colocaes metodolgicas, de 1989, dis-
cute as diferenas entre medir e avaliar, destacando que medir
com fidedignidade no significa realizar uma boa avaliao, pois
preciso haver preciso e validade de diferentes tipos. Em Ava-
liaes nacionais em larga escala: anlises e propostas, de 2003,
Heraldo analisa avaliaes que abrangem grande nmero de pes-
soas, tais como vestibulares e as avaliaes sistmicas desenca-
deadas no Brasil a partir dos anos 1990, e constri um interessan-
te panorama do desenvolvimento da cultura avaliativa no pas.
O ltimo texto selecionado para este nmero especial de Estudos em Avaliao Educacional Avaliao educacional: vivncia e re-flexo, publicado em 1998. Bastante crtico, Vianna questiona
Est. Aval. Educ., so paulo, v. 25, n. 60, p. 7-11, n. especial, dez. 2014 11
o uso de metodologias sofisticadas de anlise que dificultam
o entendimento dos resultados pelos maiores interessados pro-
fessores e alunos , ressalta a necessidade do uso conjunto de
tcnicas qualitativas e quantitativas que apresentem preciso
e validade nos seus mtodos e resultados, bem como ressalta a
responsabilidade pblica do avaliador na elaborao de modelos
avaliativos robustos e factveis, que respondam s necessidades
dos atores educacionais envolvidos.
A obra de Heraldo Marelim Vianna vasta e pode gerar ou-
tras publicaes temticas. Com este nmero ensejamos convi-
dar o leitor a conhecer e refletir sobre os pressupostos tericos e
metodolgicos que envolvem a avaliao educacional, as ne-
cessidades de formao e de reviso das prticas avaliativas, a
fim de contribuir para o debate frente maior complexidade e
aos desafios atuais da realidade educacional.
Muito devo a esse pesquisador, com quem trabalhei des-
de que me formei bacharel em Psicologia, na Pontifcia Uni-
versidade Catlica de So Paulo (PUC-SP). Como bolsista nos
projetos de avaliao, com ele aprendi, primeiramente, a
gostar dos nmeros e das tcnicas estatsticas e psicomtri-
cas; depois, ao nos depararmos com a complexidade da edu-
cao brasileira, foi inevitvel a incorporao de tcnicas mais
qualitativas, que permitissem captar sutilezas e dar aprofun-
damento a hipteses e pistas. Como assistente de pesquisa e
pesquisadora do Departamento de Pesquisas, participei com
o Prof. Heraldo de programas de avaliao de diferentes por-
tes, enfoques e finalidades. Sinto-me honrada em homena-
ge-lo como organizadora deste nmero especial de Estudos em Avaliao Educacional, esperando contribuir para a forma-o de novas geraes de avaliadores, que prezem o rigor
e a qualidade como sempre o fez esse educador.
Glucia Torres Franco NovaesEditora de Estudos em Avaliao Educacional
12 Est. Aval. Educ., so paulo, v. 25, n. 60, p. 7-11, n. especial, dez. 2014
Est. Aval. Educ., so paulo, v. 25, n. 60, p. 7-11, n. especial, dez. 2014 13
AvAliAcAo educAcionAl: teoriA e historiA
14 Est. Aval. Educ., so paulo, v. 25, n. 60, p. 14-35, n. especial, dez. 2014
AVALIAO EDUCACIONAL: UMA PERSPECTIVA HISTRICA1
1. INTRODUO
A pesquisa e a avaliao tm um significado especial no deli-
neamento do processo decisrio em educao. A pesquisa, ini-
cialmente, e, depois, a avaliao, especialmente a avaliao de
programas, projetos e produtos, passaram a ter uma dimenso
maior a partir do sculo XX, sofrendo ambas pesquisa e avalia-
o a influncia de diferentes cincias, como por exemplo, a
psicologia, a psicometria, a sociologia, a antropologia, a etnogra-
fia e a economia, entre outras, de determinaram novos enfoques
metodolgicos com base em vrios posicionamentos tericos.
A avaliao, aps o trauma provocado pela constatao
da deficincia tecnolgica associada carncia educacional,
no mundo ocidental, especialmente nos Estados Unidos, com
o lanamento do Sputnik, no dia 4 de outubro de 1957, tornou-se
impositiva. H todo um esforo no sentido de recuperar o tempo
educacional que fora perdido, sendo criados novos currculos,
e a avaliao passou a ter papel de relevncia no desenvolvimen-
to de novas estratgias de ensino2.
A literatura sobre avaliao educacional, a partir dos
anos 60, cresce enormemente. Surgem novos posicionamentos
1 Artigo publicado na revista Estudos em
Avaliao Educacional, so paulo, n. 12, p. 7-24,
jul./dez. 1995.
2 Alguns desses novos currculos em Matemtica
(Mathematics Study Group MsG), em Fsica (Physical Science Study Committee
pssc), em Qumica (Chemical Bond Approach cbA) e em
biologia (Biological Study Committee bsc), entre outros, foram traduzidos
e adaptados ao contexto
nacional pela Fundao
brasileira para o ensino de
cincias (Funbec) e no
centro de treinamento de
professores de cincias
(cecisp), graas aos
esforos dos professores
isaas raw, Myrian Krasilchik
e norma Maria cleffi, com a
colaborao de professores
brasileiros, no incio da
dcada de 60.
Est. Aval. Educ., so paulo, v. 25, n. 60, p. 14-35, n. especial, dez. 2014 15
tericos e novas propostas de atividades prticas, que enri-
quecem e tornam complexo o campo da avaliao. Algumas
questes fundamentais so levantadas, com profundas impli-
caes na sua teoria e na sua prtica. justo, portanto, que,
inicialmente, seja discutida a sua evoluo histrica a partir
da perspectiva norte-americana, em cujo contexto se desen-
volveram numerosos e importantes trabalhos, em particular
em decorrncia da ao seminal de Ralph W. Tyler. Outras
fontes, entretanto, tambm sero indicadas, especialmente
inglesas e, subsidiariamente, trabalhos de autores nacionais,
ainda que a produo terica destes ltimos seja bastante re-
duzida no seu aspecto quantitativo.
1.1. AvAlIAO eDUcAcIONAl
NOs esTADOs UNIDOs: Um esbOO
A sociedade norte-americana sofreu grandes transformaes
estruturais em decorrncia do impacto advindo da Revoluo
Industrial e, a exemplo do que ocorreu na Inglaterra, o poder
pblico passou a discutir diferentes programas sociais, inclu-
sive de natureza educacional. A avaliao nos Estados Unidos
possui uma tradio de quase dois sculos, ainda que o seu mo-
mento mais intenso tenha ocorrido a partir da dcada de 1960.
tambm nesse perodo que a avaliao comea a se definir
como uma profisso estruturada. A fim de chegar a essa situao,
a avaliao atravessou diferentes momentos, conforme Madaus,
Stufflebeam e Scriven (1993).
A avaliao associada ao processo educativo sempre existiu
sob diferentes formas (WORTHEN; SANDERS, 1987), mas somente
adquire uma natureza formal quando Horace Mann (1845) ini-
cia a prtica da coleta de dados para a fundamentao de deci-
ses de polticas pblicas que afetam a educao. A avaliao,
aos poucos, comea a desenvolver procedimentos ainda utiliza-
dos nos dias de hoje, como o survey, e instrumentos objetivos padronizados. Alm disso, determinadas prticas ainda persis-
tem, porque baseadas na obteno de escores dos alunos como
principal elemento para a avaliao da eficincia de programas
educacionais, alis, trao caracterstico das avaliaes realiza-
das no atual contexto brasileiro (1995).
16 Est. Aval. Educ., so paulo, v. 25, n. 60, p. 14-35, n. especial, dez. 2014
Houve, nessa poca, como mostram Madaus et al. (1993), uma politizao dos dados obtidos atravs de provas escritas,
que foram usados para comparar escolas e promover o afasta-
mento de diretores que se opunham ao programa de eliminao
de castigos fsicos que ento existiam, e cuja supresso era defen-
dida por Samuel G. Howe e Horace Mann. A primeira avaliao
propriamente dita somente teve lugar bem mais tarde, no final
do sculo XIX, entre 1887 e 1898, quando Joseph Rice procurou
verificar a influncia do tempo dedicado a exerccios (drill) no processo de alfabetizao (spelling) em diferentes unidades esco-lares. Ainda que esse trabalho de Rice tenha tido uma grande re-
percusso na poca e levado muitos professores a mudarem seus
procedimentos de alfabetizao, na verdade, o maior impacto
desta avaliao estava no seu carter experimentalista e quan-
titativo, procedimento at ento indito ainda segundo o desta-
que de Madaus et al. (1993). Rice, de certa forma, antecipou-se a ideias sobre pesquisa experimental em educao que somente
seriam defendidas na segunda metade do sculo XX, a partir dos
anos 50, por Lindquist (1953) e Campbell e Stanley (1963).
Os trinta primeiros anos da vida social norte-americana
no sculo XX sofreram a influncia de trs elementos desen-
volvidos em princpio para o gerenciamento industrial: siste-
matizao, padronizao e eficincia, que acabaram por afe-
tar a totalidade da sociedade, inclusive na rea educacional.
A comunidade educacional como um todo passa, ento a pre-
ocupar-se com o desenvolvimento de uma metodologia que
permitisse medir a eficincia dos seus professores, a construir
instrumentos e a definir padres que possibilitassem a men-
surao do grau de eficincia das suas escolas e dos diversos
sistemas educacionais, seguindo, assim, no campo da educa-
o, os procedimentos que empresrios procuravam implantar
no mundo da indstria. Aproximadamente quase cem anos
depois, a educao brasileira, muitas vezes por influncia de
agncias financiadoras externas, comea a se preocupar com
os mesmos problemas ligados diretamente ao processo de ge-
renciamento das instituies educacionais, conforme poder-
-se- observar no item final do presente trabalho.
O grande passo na evoluo da avaliao educacional foi
dado por E. L. Thorndike, nos princpios do sculo XX, ao desen-
volver toda uma fundamentao terica sobre a possiblidade de
Est. Aval. Educ., so paulo, v. 25, n. 60, p. 14-35, n. especial, dez. 2014 17
medir mudanas nos seres humanos (WORTHEN; SANDERS, 1987).
A partir desse momento, todo um aparato tecnolgico desen-
volvido para a medida de capacidades humanas e a avaliao,
em consequncia, passa a ter o significado de medida (testing), concepo que ainda prevalece em amplos setores educacionais,
inclusive fora dos Estados Unidos, como no Brasil.
Madaus, Stufflebeam e Scriven (1993) mostram clara-
mente que essa a poca do survey, que emprega diferentes critrios (taxa de evaso, taxa de aprovao) para medir a efi-
cincia da escola e/ou professor. O uso do survey leva, natural-mente, ao desenvolvimento de diversos tipos de testes obje-
tivos nas vrias reas curriculares. Esses testes, por sua vez,
eram referenciados a objetivos e deram origem aos testes
referenciados a normas, sendo, nesse caso, a porcentagem
de alunos aprovados nos testes o critrio adotado para julgar
a eficincia da escola/professor. Alm disso, nesta mesma
poca, h quase um sculo, que comeam a surgir testes nor-
mativos, elaborados por importantes cientistas educacionais,
como foi o caso de Edward Thorndike, com vistas ao desen-
volvimento de um instrumental que possibilitasse a compa-
rao entre sistemas. Os testes padronizados, bastante ca-
ractersticos da cultura educacional norte-americana, mas
que, felizmente, ainda no chegaram ao meio educacional
brasileiro, surgiram logo aps o conflito mundial de 1914/18
e passaram a ser usados, equivocadamente, na determinao
da eficincia de programas educacionais e na apresentao
de diagnsticos relativos a currculos e sistemas educacionais,
alm de servirem, tambm, para a tomada de decises sobre
o desempenho escolar dos alunos.
Avaliao e medida por meio de testes confundem-se nessa
poca e ainda continuam a se confundir nos dias atuais-; por
outro lado, comeam a surgir instituies especializadas na re-
alizao de surveys na rea educacional. Estas instituies cons-tituram o embrio que geraria futuros e importantes centros
educacionais, criados nos anos 60 e 70, nas universidades, com o
objetivo de realizaram trabalhos avaliativos em diferentes reas,
inclusive na educacional. Os surveys, inicialmente, eram locais, limitados aos school districts, ainda segundo Madaus et al. (1993). No decorrer dos anos 50 e 60 que comeam a surgir efetivamen-
te nos Estados Unidos os primeiros estudos de currculo a nvel
18 Est. Aval. Educ., so paulo, v. 25, n. 60, p. 14-35, n. especial, dez. 2014
nacional. Os problemas passam a ser considerados no apenas
em funo do interesse local, mas levando em conta o contexto
nacional, com uma audincia bem mais ampla do que aquela
dos school districts. E, assim, por via de consequncia, complexos problemas ligados epistemologia da pesquisa/avaliao educa-
cional comeam a ser discutidos por educadores e avaliadores,
que, entre outros aspectos, passam a se preocupar com a ques-
to da generalizabilidade das suas concluses, como mostram
Madaus et al. (1993) e Norris (1993).A influncia de Ralph W. Tyler durante o perodo de 1930
a 1945 foi considervel e, assim, com justa razo, passou a ser
considerado o verdadeiro iniciador da avaliao educacional.
A sua ao foi bastante ampla, influindo na educao em geral,
especialmente em assuntos ligados teoria, construo e im-
plementao de currculos, que procurou conceituar como um
conjunto de experincias educacionais diversificadas que deve-
riam ser planejadas de forma a levar os alunos concretizao
de determinados objetivos. A avaliao educacional, cujo termo
foi por ele criado, objetivaria que professores aprimorassem seus
cursos e os instrumentos de medida que construssem pudessem
verificar a congruncia entre os contedos curriculares e as ca-
pacidades desenvolvidas.
A sociedade norte-americana depois do trmino da Segun-
da Guerra Mundial (1939-45) atravessou um perodo bastante
crtico, envolvendo problemas econmicos e sociais (racismo/
segregacionismo). Houve, por outro lado, como decorrncia da
chamada guerra fria, resultante do conflito ideolgico-mani-
questa entre o capitalismo ocidental e o socialismo real do leste
europeu, a criao de um grande complexo militar-industrial
que atuaria intensamente na vida americana por largo tempo
at o incio dos anos 90, com a crise que levaria desagregao
da Unio Sovitica. Apesar da crise socioeconmica, especial-
mente no perodo inicial, entre 1946 e 1957, importantes trans-
formaes ocorreram na educao americana.
O problema da avaliao educacional foi bastante discuti-
do, somas considerveis de dados foram levantadas, mas quase
no foram utilizadas para a soluo de problemas, como res-
saltaram Madaus et al. (1993). nesse perodo que ocorre o de-senvolvimento da teoria clssica dos testes e o surgimento de
novas abordagens sobre avaliao educacional, como uma rea-
Est. Aval. Educ., so paulo, v. 25, n. 60, p. 14-35, n. especial, dez. 2014 19
o ao modelo proposto por Tyler. importante destacar, nesse
perodo, o aparecimento de uma instituio atuante at os dias
fluentes e que serviu de modelo para a criao de outros rgos
semelhantes nos seus objetivos: o Educational Testing Service
ETS (1947), por inspirao de vrios educadores, destacando-
-se E. F. Lindquist e Ralph W. Tyler. O ETS, a partir de sua
criao, passaria a ter influncia decisiva no desenvolvimento
de testes (padronizados) e em amplos programas de avaliao,
como o National Assessment of Educational Progress (NAEP) e
o International Assessment of Educational Progress (IAEP). A
proliferao dos testes, nem sempre construdos segundo prin-
cpios claros e bem definidos cientificamente, levou algumas ins-
tituies representativas (American Psychological Association APA, American Educational Research Association AERA, National Committee on Measurement in Education NCME, sobretudo) a estabelecerem recomendaes para a construo de testes psicolgicos e
tcnicas de diagnstico (1954) e para a elaborao de testes
de rendimento escolar (1955), o que nem sempre seguido,
inclusive no Brasil, que desconhece essas recomendaes,
salvo as excees de sempre; mais tarde, aps sucessivas re-
vises, essas mesmas recomendaes se transformaram em
padres (standards) a serem seguidos na rea de construo dos vrios instrumentos psicomtricos.
A avaliao educacional nos princpios dos anos 60, nos
Estados Unidos, comea a incidir sobre grandes projetos de
currculos financiados com o apoio federal, surgindo, nesse
momento histrico, a figura do avaliador como um profissio-
nal com atividades especficas at ento exercidas por educa-
dores com formao generalista. o incio de uma poca de
especializao que ainda no chegou ao contexto brasileiro
em que as universidades comeam a se preocupar com a
formao especfica de recursos humanos efetivamente qua-
lificados para os trabalhos de avaliao.
Apesar do envolvimento das melhores cabeas pensantes
na rea educacional e dos grandes fundos alocados a mltiplos
projetos, os resultados das avaliaes durante a dcada de 60,
ainda que realizados com grande rigor tcnico, no se reve-
laram plenamente satisfatrios e surgiram diversas reaes.
nesse contexto que o Teachers College Record publica impor-
tante artigo de Cronbach (1963) criticando a situao e pro-
20 Est. Aval. Educ., so paulo, v. 25, n. 60, p. 14-35, n. especial, dez. 2014
pondo novos caminhos para a prtica da avaliao, conforme
veremos. Apesar da advertncia de Cronbach de que a avalia-
o da eficcia de um currculo se deveria processar ao longo
de sua estruturao e no depois de sua concluso, o impacto
das suas ideias no foi imediato, mas levou especialistas a
discutirem detidamente seus problemas profissionais, como
mostraram Worthen e Sanders (1987).
O trabalho de Cronbach Course Improvement through
Evaluation (1963) levantou importantes questes metodol-
gicas, inclusive a relacionada com a anlise direta dos resul-
tados dos itens em substituio anlise concentrada em
escores globais, alm de abordar outros problemas de natureza
conceitual que continuam vlidos na atualidade e mostrar
as limitaes das avaliaes post-hoc no desenvolvimento de currculos, conforme foi referido anteriormente. Esse arti-
go mostra os fundamentos bsicos da prtica da avaliao
e abre novas e estimulantes perspectivas para o trabalho do
avaliador no seu dia a dia como profissional.
O contexto poltico decorrente, inicialmente, da adminis-
trao John Kennedy e, a seguir, aps 1963, da gesto Lyndon
Johnson, em que houve uma grande preocupao com os re-
flexos das desigualdades sociais na diferenciao das oportuni-
dades educacionais, passa a determinar um grande esforo no
sentido de criar novas condies na rea educacional, surgindo,
por influncia de Robert Kennedy, o conceito de responsabilidade
em educao (accountability), a fim de evitar possveis desperdcios dos recursos financeiros concedidos aos programas curricu-
lares e a suas avaliaes, na rea da educao compensatria.
A avaliao deixa, nesse novo contexto, de ser apenas um traba-
lho terico de alguns educadores, transformando-se numa pr-
tica constante, que, em muitos casos, assume um carter quase
obsessivo na cultura educacional norte-americana.
A aprovao de importante lei sobre educao elemen-
tar e secundria Elementary and Secondary Education Act
(ESEA), em 1965, vai gerar um novo quadro que favorecer
a pesquisa e a avaliao educacional, tendo em vista a imposio
legal de que todos os projetos financiados deveriam ser obriga-
toriamente avaliados (WORTHEN; SANDERS, 1987), o que obrigou
os educadores a dedicarem grandes esforos para a avaliao de
suas atividades e a elaborao de relatrios passou a ser uma
Est. Aval. Educ., so paulo, v. 25, n. 60, p. 14-35, n. especial, dez. 2014 21
prtica habitual, no controle da qualidade do ensino e dos in-
vestimentos feitos em educao.
A situao criada aps 1965 mostrou que os educadores
norte-americanos no estavam preparados para os grandes desa-
fios da avaliao, como, alis, ainda no esto suficientemente
preparados os educadores brasileiros para o enfrentamento dos
grandes problemas da avaliao de hoje (1995), havendo muito
teorizao abstrata sobre o assunto, mas pouca realizao pr-
tica. Professores norte-americanos, sob o impacto do ESEA em
1965, improvisaram-se em avaliadores. Worthen e Sanders (1987)
mostraram que mesmo aqueles que tinham alguma expertise tc-nica no tinham treinamento suficiente em planejamento, me-
didas e estatsticas, quadro que, no momento, ocorre no Brasil.
Isso produziu avaliaes bastante comprometidas, que pouco
serviram para avaliar a efetiva eficincia dos sistemas educacio-
nais, seus currculos e programas.
A prtica generalizada da avaliao mostrou que muitos
instrumentos e estratgias utilizadas em avaliao no eram ade-
quados aos propsitos definidos, ficando, inclusive, caracterizada
a inadequao do emprego de testes padronizados na avaliao
de programas, conforme a discusso de Madaus et al. (1993). Essa insatisfao acabou tendo efeitos positivos. Novas teorias sobre
avaliao comeam a despontar e todo um trabalho de refor-
mulao da prtica da avaliao empreendido, destacando-
-se as figuras exponenciais de M. Scriven (1967), R. Stake (1967)
e D. Stufflebeam (1971), cujos trabalhos vo dar uma nova di-
menso metodolgica avaliao educacional. A avaliao de
alguns programas de impacto, como o Head Start e o Sesame
Street, criados com objetivo de eliminar desequilbrios educa-
cionais decorrentes da origem social e racial, geram, na verdade,
acentuadas controvrsias, conforme a colocao de Madaus, Ai-
rasian e Kellaghan (1980), sobretudo face ao baixo desempenho
das crianas urbanas das reas de periferia. A avaliao desses
e de outros programas sociais teve um grande impacto social,
ao apresentar resultados pouco promissores, e serviu para apro-
fundar as crticas a muitos procedimentos ento em uso e possi-
bilitou o desenvolvimento de novas metodologias.
A partir dos anos 70, a avaliao educacional torna-se um
campo profissional definido, exigindo especializao aprofunda-
da, com a excluso de improvisaes supostamente tcnicas, mas
22 Est. Aval. Educ., so paulo, v. 25, n. 60, p. 14-35, n. especial, dez. 2014
pouco slidas conceitualmente, num campo em que atuavam
diferentes profissionais, inclusive administradores. A avaliao,
pelo menos no contexto norte-americano, deixa de ser uma ter-
ra de ningum. Simultaneamente, surgem importantes revistas
especializadas, algumas de alta qualidade tcnica, associando
avaliao e polticas pblicas, avaliao e planejamento, entre
outras, permitindo, assim, a disseminao de novas ideias, a for-
mulao de teorias e modelos, e sobretudo, a divulgao de im-
portantes estudos.
A literatura sobre avaliao educacional distinta da bi-
bliografia sobre testes e medidas torna-se copiosa e algumas
universidades, como por exemplo, a de Illinois (Urbana), a de
Stanford (Palo Alto, Califrnia) e a Western Michigan University (Kalamazoo, MI), entre outras, desenvolvem intensos progra-
mas de formao de avaliadores, ressaltando-se, ainda, o tra-
balho de Ben S. Bloom em Chicago e o de W. James Popham,
na University of Califrnia (UCLA). Alm disso, numerosos cen-tros de avaliao foram disseminados por todo o territrio
norte-americano, conforme o longo elenco de instituies
apresentado por Madaus et al. (1993).Apesar dos avanos e de todo aparato tcnico desenvolvido,
a rea da avaliao ainda no est exaurida em todas as suas
potencialidades, novas perspectivas de ao esto sendo abertas
e a radicalizao positivismo/quantitativo em relao ao feno-
menolgico/qualitativo menos radical, sendo as divergncias
porventura ainda subsistentes na verdade um reflexo de dife-
renas ideolgicas e menos conflitos metodolgicos, conforme
ressaltam Madaus et al. (1993).Finalmente, aps a longa exposio sobre a avaliao
na perspectiva norte-americana, queremos ressaltar que,
hoje, nos Estados Unidos, h uma grande preocupao com
a qualidade dos trabalhos de avaliao, tendo sido fixados
padres a serem seguidos conforme o posicionamento do Joint
Committee on Standards for Educational Evaluation, coordenado por
D. Stufflebeam. Ainda que a avaliao educacional, suas teorias e
modelos deem margem a grandes controvrsias, , sem dvida,
um campo dinmico, em constante transformao para atendi-
mento das mltiplas exigncias da qualidade em educao.
Est. Aval. Educ., so paulo, v. 25, n. 60, p. 14-35, n. especial, dez. 2014 23
1.2. AvAlIAO eDUcAcIONAl NA INglATeRRA:
AlgUmAs expeRINcIAs
A avaliao educacional na Inglaterra surge em meados do scu-
lo XIX, integrando um programa social maior com vistas efici-
ncia nacional. A educao, na concepo inglesa, considerada
como elemento indiscutivelmente essencial para alcanar essa
eficincia. As pesquisas (e a avaliao) na rea educacional, ini-
cialmente, desenvolvem uma linha ligada a mtodos estatsticos
e tcnica de survey, como ocorreu tambm nos Estados Unidos, contribuindo, assim, para o desenvolvimento de uma tecnologia:
a psicometria, que mais tarde, seria duramente criticada por
muitos educadores ingleses.
Os trabalhos realizados por F. Galton, K. Pearson, C. Spearman
e C. Burt, entre outros, na Inglaterra, contriburam para que a
psicometria tivesse influncia considervel na avaliao educa-
cional, em especial na construo de instrumentos de medidas
psicolgicas e do rendimento escolar. A utilizao da teoria dos
erros e a aplicao da noo de distribuio normal no estudo
da variabilidade das diferenas individuais concorreu para gerar
reaes justificadas ao uso da psicometria da avaliao3. Isso con-
tribuiu para que novos caminhos se abrissem para a explorao
de diversos aspectos da avaliao educacional. Entretanto, ape-
sar dessas reaes adversas tradio psicomtrica, a Inglaterra,
a partir da dcada de 50, realizou importantes trabalhos sobre
a alfabetizao e a aprendizagem da leitura, contribuindo, desse
modo, para o delineamento de novas metodologias experimen-
tais e o desenvolvimento da teoria dos testes (NORRIS, 1993).
A teoria do desenvolvimento econmico, pleno emprego
e segurana nacional, inspirada em concepes apresentadas por
Keynes, teve amplas repercusses na definio das polticas p-
blicas da educao inglesa. Houve, naquele momento histrico,
uma preocupao especial com os problemas relativos qualida-
de dos estudantes que, em grande nmero, procuravam cursos
de cincias aplicadas e tecnologias, e, concomitantemente, um
profundo interesse na formao de professores de cincias des-
tinados s escolas secundrias. A partir do iderio econmico de
Keynes, que em grande parte fundamenta o capitalismo posterior
guerra de 1939-45, inclusive nos Estados Unidos, os educadores
ingleses passaram a considerar a relao entre mo de obra tecni-
camente qualificada pelo processo educacional e o crescimento
3 para um estudo detalhado da influncia da psicometria
na evoluo das medidas
educacionais ver J. rust
e s. Golombok. Modern Psychometrics The Science of Psychological Assessment. london: routledge, 1992.
24 Est. Aval. Educ., so paulo, v. 25, n. 60, p. 14-35, n. especial, dez. 2014
econmico/segurana nacional/e desenvolvimento tecnolgico. A
Inglaterra, por outro lado, constatou a inteira obsolescncia dos
currculos de suas escolas, o que tinha grande impacto nos pro-
gramas que visavam formao de mo de obra qualificada. A
mudana desse quadro se impunha, a fim de proporcionar re-
cursos humanos qualificados capazes de garantir o crescimento
econmico. educao caberia essa tarefa, ainda que as trans-
formaes no sistema educacional no pudessem ser imediatas,
tendo em vista a impossibilidade de o governo ingls influir dire-
tamente em uma estrutura altamente descentralizada.
Havia, desde meados da dcada de 50, uma conscincia
de que a Inglaterra no estava desenvolvendo capacidades e
formando cientistas da mesma forma como outros pases in-
dustrializados. A partir de 1962, graas associao do Gover-
no com a Fundao Nuffield, instituio de carter privado,
iniciaram-se atividades para a reformulao dos currculos e a
formao de professores de cincias. A avaliao, no incio dos
anos 60, estava mais ligada pesquisa educacional e os respon-
sveis pelo Projeto Nuffield revelaram uma certa relutncia em
aceitar a ideia de uma avaliao do Projeto, conforme Norris
(1993); porquanto, argumentavam, o interesse maior estava na
mudana de atitudes dos estudantes em relao cincia e
no na medida de possveis ganhos de conhecimento fatual. A
qualidade do Projeto, na viso da Fundao Nuffield, era bas-
tante clara e para uma concluso a respeito do valor desse em-
preendimento o Projeto dependeria, apenas, de informaes
das escolas que o utilizavam, das crticas que seriam ofereci-
das e do conhecimento dos problemas constatados durante
sua execuo.
Ainda que uma avaliao externa tenha sido afastada, em
virtude da impossibilidade de estabelecer comparaes entre o
Projeto Nuffield e outros tipos de abordagem curricular, uma ava-
liao estava sendo feita na realidade, via informaes, crticas
e anlise dos problemas, conforme foi apontado. Uma avaliao
do tipo que se tornaria bastante utilizado por amplos segmentos
educacionais ingleses: a avaliao qualitativa. Ou seja, uma ava-
liao no-quantitativa, na tradio psicomtrica, mas uma ava-
liao igualmente vlida do ponto de vista cientfico. Isso ocorreu
na parte de cincias do Projeto, na de lnguas (francs).
A National Foudation for Educational Research (1964) reali-
Est. Aval. Educ., so paulo, v. 25, n. 60, p. 14-35, n. especial, dez. 2014 25
zou uma avaliao baseada em testes e questionrios, a fim de
obter dados psicomtricos e sociomtricos, com estudos compa-
rativos de vrios grupos. Apesar da pouca repercusso dos resul-
tados na comunidade educacional o que ocorre com bastante
frequncia, inclusive, ou sobretudo, no Brasil , ficou evidenciada
a coexistncia do quantitativo e do qualitativo no contexto edu-
cacional ingls, tendncia que ainda hoje existe, apesar da falsa
imagem divulgada por alguns de que haveria uma total dominn-
cia da pesquisa e da avaliao qualitativa, simplesmente.
A partir de 1966, ainda segundo o trabalho desenvolvido
por Norris (1993), iniciaram-se estudos avaliativos sobre os Proje-
tos Nuffield (cincias e matemtica) por intermdio dos Schools
Council, agncia autnoma fundada pelo governo central e go-
vernos locais. Algumas colocaes do projeto avaliativo so ex-
tremamente importantes do ponto de vista metodolgico. Assim,
a avaliao era vista no apenas como uma medida dos resulta-
dos do projeto, mas como parte integrante do prprio projeto
de construo do currculo, segundo a perspectiva apresentada
por Cronbach (1963), A avaliao, por outro lado, em relao ao
currculo no deveria ser vista como uma simples apresentao
de meros exerccios para que um produto final fosse avaliado,
mas, na verdade, a avaliao consistiria na coleta e no uso de in-
formaes que possibilitariam decises sobre as diferentes fases
do desenvolvimento de um programa educacional.
Ao destacarem as relaes entre avaliao e tomada de
decises, as diretrizes estabelecidas para os Schools Council deixaram perfeitamente claro os momentos em que a avalia-
o educacional poderia emprestar sua contribuio: 1) nas
decises sobre o contedo dos cursos e relativas aos mtodos
a empregar para o seu ensino; 2) nas decises sobre as ne-
cessidades dos alunos; e 3) nas decises concernentes ao
treinamento de professores.
O projeto do Schools Council, ainda segundo Norris (1993),
destaca a participao dos avaliadores, muitas vezes apenas
professores, e no necessariamente especialistas no campo da
avaliao, desde o incio dos trabalhos avaliativos e acentua a
concepo de uma avaliao para tomada de decises, aspec-
to que expresso na maioria das diferentes abordagens sobre
avaliao desenvolvidas na Inglaterra, e que merece especial
destaque no modelo de Stufflebeam, nos Estados Unidos. A
26 Est. Aval. Educ., so paulo, v. 25, n. 60, p. 14-35, n. especial, dez. 2014
avaliao, na viso do Schools Council, responsabilidade de
um grupo de avaliadores, que nem sempre so avaliadores pro-
fissionais, e no de apenas um nico indivduo.
Avaliao educacional (evaluation avaliao de programa/
assessment avaliao do rendimento escolar) um assunto al-
tamente controvertido na Inglaterra, apresentando tendncias
vrias que quase sempre se opem avaliao somativa, ape-
gando-se mais do tipo individualizada. A avaliao tambm
entra em choque com um dos mitos caros educao inglesa a
autonomia dos professores. Observa-se, ainda, que vrias abor-
dagens tm um contedo sociolgico, refletindo uma posio
aceita por expressivo nmero de educadores. Os que seguem
essa linha mostram a existncia de uma correlao entre o so-
cialmente carente e o rendimento escolar, advogando que os
responsveis pela educao devem apresentar uma discrimina-
o positiva a favor daqueles que se acham nessa situao. Essa
tese parece-nos de certa forma enviesada, pois, na realidade, a
correlao no se limita ao carente, ela simplesmente existe, in-
dependentemente da condio social, tornando-se, entretanto,
evidente entre os mais desfavorecidos economicamente4.
1.3. AvAlIAO eDUcAcIONAl NO bRAsIl (1960-95)
As atividades de avaliao educacional no Brasil so bastante es-
cassas, ainda que, no momento atual (1995), a temtica venha
sendo verbalizada pelo Ministrio da Educao, que tem apre-
sentado ideias, s vezes bastante discutveis, sobre a seleo para
o acesso ao 3 grau de ensino e relativas avaliao institucional
por intermdio de uma avaliao do rendimento acadmico ao
trmino dos cursos de graduao.
A avaliao educacional, conforme ser discutido, mesmo
quando a nvel de sistema, no contexto brasileiro, baseia-se, funda-
mentalmente, no rendimento escolar, ainda que haja uma coleta
simultnea de dados socioeconmicos e de variveis ligadas ao en-
sino, ao professor e escola, em alguns casos. As pesquisas e estu-
dos de avaliao apresentados nesse item em discusso no visam
a uma reviso da literatura e nem incluem trabalhos acadmicos,
quase sempre relacionados a pr-requisitos da ps-graduao uni-
versitria, como, por exemplo, os mencionados por Luckesi (1991);
4 uma apresentao detalhada da evoluo
histrica da avaliao na
inglaterra e suas mais recentes
experincias de avaliao de
programas acha-se em norris
(1993), captulos 2, 4, 5 e 6.
Est. Aval. Educ., so paulo, v. 25, n. 60, p. 14-35, n. especial, dez. 2014 27
na verdade, objetivam mostrar alguns projetos que tiveram, ou
ainda esto tendo, certo impacto nas escolas, especialmente nas
de 1 grau, sem, entretanto, a pretenso de exaurir o assunto, que,
sem dvida, merece ser submetido a uma meta-avaliao.
A evoluo da avaliao educacional no Brasil com o objeti-
vo de verificar a eficincia de professores, currculos, programas
e sistemas, alm de possibilitar a identificao de diferentes
tendncias, sobretudo quanto ao desempenho educacional, en-
tre outros aspectos, como seria desejvel (VIANNA, 1992), ainda
est para ser pesquisada e analisada. A partir da dcada de 60,
e ao longo dos anos seguintes, pode-se constatar que alguma
coisa importante comeou a ser realizada, ainda que de forma
algo incipiente, mas revelando um esforo para proceder de
acordo com orientao metodolgica, especialmente com base
em fontes norte-americanas.
A avaliao no contexto educacional brasileiro quase
sempre promovida por rgos governamentais a nvel federal
Ministrio da Educao ou a nvel estadual, atravs das Secreta-
rias de Estado, que, por falta de estrutura, muitas vezes solicitam
a colaborao de outras instituies, universidades ou funda-
es pblicas e privadas. Ao contrrio do que ocorre nos Estados
Unidos, em que as universidades assumem a iniciativa de pro-
jetos de avaliao, ainda que com financiamento externo, ou o
que se passa na Inglaterra, em que fundaes privadas, contrata-
das para prestao de servios, realizam pesquisas e avaliao, a
nossa situao como ser apresentado, bastante diversa.
A FUNBEC Fundao Brasileira para o Ensino de Cin-
cias, ao iniciar um programa de novos currculos em Fsica,
Matemtica, Qumica, Biologia e Geocincias, nos anos 60 e 70,
comeou, igualmente, uma avaliao de seus programas, con-
tando, para esse fim, com a expertise de Hulda Grobman, na rea da Biologia. Essa atividade pioneira, entretanto, no teve
continuidade em outras instituies, perdendo-se essa rara
oportunidade para o desenvolvimento de know-how e a forma-o de capacitaes na rea de avaliao.
A Fundao Getlio Vargas, igualmente em meados da d-
cada de 60, iniciou importante programa de avaliao somativa
no Rio de Janeiro, desenvolvendo um instrumento para avaliar
a capacitao de crianas ao trmino do 1 grau na rede oficial,
inspirando-se no teste Iowa Basic Skills. O projeto obteve a cola-
28 Est. Aval. Educ., so paulo, v. 25, n. 60, p. 14-35, n. especial, dez. 2014
borao de Anne Anastasi, Frederick Davis e Robert L. Ebel, que
contriburam para a formao de especialistas brasileiros, minis-
trando cursos de treinamento em 1965. Razes diversas, inclusi-
ve uma radical e abrupta alterao curricular, no antigo Estado
da Guanabara (Rio de Janeiro), sem uma prvia avaliao da nova
proposta de currculo, provocou a descontinuidade do programa
e a consequente disperso dos grupos de trabalho, que passaram
a atuar em outras atividades, muitas vezes estranhas avaliao.
Ao longo dos anos 70 e na dcada de 80, face ao proces-
so de massificao das instituies de ensino, especialmente
no 3 grau, houve certa intensificao de estudos ligados ao
acesso ao ensino superior, sobretudo os relacionados a aspec-
tos psicomtricos dos instrumentos de medida e anlise de
dados socioeconmicos, como pode ser observado em algumas
publicaes, especialmente em Educao e Seleo (1980-89)
e a partir de 1990, em Estudos em Avaliao Educacional,
ainda que esta revista tenha modificado a orientao editorial
da anterior, passando a privilegiar problemas ligados avalia-
o em geral, sem se deter, prioritariamente, na problemtica
da seleo para a Universidade. A dcada de 70 apresentou,
igualmente, interesse, ainda que terico, na rea da avaliao
de programas, com a tentativa de disseminao do modelo
CIPP contexto, input, processo e produto desenvolvido por
Daniel Stufflebeam e Egon Guba. Alguns poucos trabalhos fo-
ram realizados nessa linha metodolgica, mas, tambm, no
tiveram prosseguimento, sendo um momento transitrio,
como habitualmente ocorre na rea educacional brasileira.
O Programa de Expanso e Melhoria do Ensino no Meio
Rural do Nordeste Brasileiro EDURURAL , planejado em
1977, na parte referente a estudos e avaliao, esteve a cargo da
Fundao Cearense de Pesquisa, que se ocupou de aspectos
institucionais, e da Fundao Carlos Chagas, que centrou suas
atividades na avaliao do rendimento escolar (GATTI; VIANNA;
DAVIS, 1991). O projeto, com financiamento do Banco Mundial,
coletou dados nos anos de 1981, 1983 e 1985, nos Estados do
Cear, Piau e Pernambuco, por intermdio de provas de Por-
tugus e Matemtica, aplicadas a crianas de 2 e 4 sries do
Ensino Fundamental, em 603 escolas rurais. Alm da qualidade
do ensino da escola rural, o projeto EDURURAL realizou seis
estudos de caso sobre a atuao dessas escolas nos limites das
Est. Aval. Educ., so paulo, v. 25, n. 60, p. 14-35, n. especial, dez. 2014 29
relaes socioeconomicoculturais locais.
O EDURURAL no se limitou a coletar dados sobre o rendi-
mento escolar em Portugus e Matemtica nas 2s e 4s sries
de escolas rurais, que, alis, mostraram que as crianas daque-
les Estados do Nordeste apresentavam uma aprendizagem dos
conceitos bsicos visivelmente prejudicada, nessas escolas de
ensino multisseriado bastante precrio (GATTI, 1993). Incluiu,
tambm, no seu projeto, a avaliao de diversas variveis, como
as condies das escolas, perfil dos professores, impacto do trei-
namento e condies da famlia, entre outras.
Os seis estudos etnogrficos realizados nos trs Estados
possibilitaram identificar algumas razes explicativas para o
baixo rendimento das crianas nas duas reas curriculares:
rotatividade dos professores, influncia poltica na designao
de professores, inconstncia na distribuio de livros, material
e merenda, que feita, igualmente, tendo em vista conside-
raes polticas, baixos salrios, condies precrias das esco-
las multisseriadas, infraestrutura curricular deficiente, pouco
tempo dedicado ao ensino durante o dia (2.00 a 2.30 horas/dia),
frequncia irregular dos alunos, doenas das crianas, condi-
es familiares, dificuldade de acesso escola, ensino baseado
na memorizao sem significado e passividade induzida do
aluno, entre outros fatores, conforme foi caracterizado com
realismo esse estado de coisas por Gatti (1994). Um quadro bas-
tante dramtico do Nordeste rural, refletido pela situao igual-
mente trgica de seu ensino, que a avaliao revelou.
Quase no final da dcada de 80, foi iniciado um amplo pro-
grama de avaliao do rendimento de alunos de escolas de 1
grau da Rede Pblica em todo o Pas, por iniciativa do Instituto
Nacional de Estudos e Pesquisas Educacionais INEP. Inicial-
mente, em 1987, essa avaliao (VIANNA; GATTI, 1988; VIANNA,
1989a; VIANNA, 1989b; GATTI; VIANNA; DAVIS, 1991; GATTI, 1993)
objetivou identificar, na diversidade do quadro educacional bra-
sileiro, pontos curriculares crticos; verificar o desempenho em
aspectos cognitivos bsicos de alunos de 1, 2, 3, 5 e 7 sries;
e subsidiar os professores para uma recuperao de seus alunos
em aspectos bsicos do currculo escolar. Essa avaliao, ao final,
abrangeu uma amostra de 27.455 alunos de 238 escolas em 69
cidades de vrios Estados da Federao existentes poca, inclu-
sive no ento Territrio do Amap. O projeto teve seus desdobra-
30 Est. Aval. Educ., so paulo, v. 25, n. 60, p. 14-35, n. especial, dez. 2014
mentos, com novas avaliaes, a pedido da Secretaria de Esta-
do da Educao do Paran, envolvendo, inicialmente, alunos
de 2 e 4 sries de escolas de sete cidades (VIANNA; GATTI, 1988)
e depois, uma amostra de alunos de escolas oficiais de 22 outras
cidades (VIANNA, 1991), com os mesmos objetivos dos trabalhos
propostos pelo INEP.
As avaliaes a nvel estadual promovidas pelo Instituto
Nacional de Estudos e Pesquisas Educacionais INEP vi-
savam a fornecer s Secretarias de Estado da Educao um con-
junto de informaes sobre as deficincias da aprendizagem
escolar; por outro lado, os projetos procuravam criar, tambm,
condies para que as prprias Secretarias tivessem uma efeti-
va participao nos assuntos pertinentes avaliao do rendi-
mento, assim como se envolvessem, ainda, em projetos outros
relacionados a programas, sistemas e materiais didticos (GATTI,
1994). As concluses do projeto, que mostraram aspectos crticos
do ensino de 1 grau em quase 70 cidades das diversas regies
geogrficas do pas, no podem ser, entretanto, generalizadas,
tendo em vista a natureza da amostra, um segmento estatisti-
camente pouco representativo do universo escolar a nvel de 1
grau, e a falta de equalizao (equating) dos instrumentos. O in-teressante, e digno de ser destacado, que esse projeto, iniciado
em 1987, mais tarde, em 1991, realizaria pela primeira vez uma
avaliao de escolas do sistema privado de ensino, mostran-
do a relao entre condio social e rendimento escolar. O es-
tudo, entretanto, ao comparar o desempenho da escoa privada
com o dos alunos das escolas pblicas, revelou que nem sempre
a escola privada um mar de excelncia e a escola pblica tam-
bm nem sempre to ruim quanto se julga, aprioristicamente.
Ainda na dcada de 80, um novo projeto de avaliao a nvel
nacional foi realizado por intermdio da Secretaria de Ensino do
2 Grau, do Ministrio da Educao, com apoio do Banco Mundial
e a colaborao cientfica da Fundao Carlos Chagas, sobre
o desempenho escolar de alunos da 3 srie do Ensino Mdio
(VIANNA, 1991). A partir de uma amostra de 3.972 sujeitos de es-
colas tcnicas federais, escolas estaduais, escolas particulares,
escolas oficiais e particulares com habilitao magistrio e es-
colas de formao profissional industrial (SENAI), nas cidades de
Fortaleza, Salvador, So Paulo e Curitiba, o projeto identificou
variveis sobre escolaridade e a influncia de fatores socioecon-
Est. Aval. Educ., so paulo, v. 25, n. 60, p. 14-35, n. especial, dez. 2014 31
micos. Esse estudo, que no fundo de avaliao do rendimento
escolar, apresentou resultados surpreendentes, que eram conhe-
cidos mas no constatados, sobre o alto desempenho das escolas
tcnicas federais em relao s demais escolas, sem, entretanto,
pesquisar as razes desse desempenho.
O Ministrio da Educao, utilizando a competncia tcnica
do INEP, no incio de 1990, iniciou a implantao de um Siste-
ma Nacional de Avaliao da Educao Bsica SAEB, com
o objetivo de qualificar os resultados obtidos pelo sistema edu-
cacional de ensino pblico, criar e consolidar competncias
para a avaliao do sistema educacional (PESTANA, 1992), reali-
zando um trabalho cooperativo entre o MEC e as Secretarias de
Estado da Educao. A proposta do SAEB adotou um modelo de
estudo de fluxo e de produtividade da UNESCO, com vistas a es-
tudar questes relacionadas com a gesto escolar, competncia
docente, custo-aluno direto e indireto e rendimento escolar, com
base em uma metodologia de amostras relacionadas (WAISELFISz,
1991), estando em vias de sofrer radical transformao em sua me-
todologia e nos procedimentos de amostragem, na avaliao do
segundo semestre de 1995.
A Avaliao da Jornada nica em So Paulo, realizada
no segundo semestre de 1992, visou a verificar os efeitos da
implantao da Jornada nica no Ciclo Bsico, a partir de 1988,
em escolas da Grande So Paulo. Ou seja, a avaliao procurou
saber, conforme o destaque de Gatti (1992), se o Ciclo Bsico/
Jornada nica causou algum impacto, algum diferencial no
desempenho e no desenvolvimento intelectual das crianas; se
houve diferenciais no desenvolvimento de habilidades bsicas
que devem ser adquiridas, e se ocorreram alteraes na relao
aprovao/reprovao/ e evaso.
A partir de 1992, a Secretaria de Educao do Estado de Minas
Gerais iniciou a Avaliao do Sistema Estadual de Ensino de
Minas Gerais5, envolvendo nesse ano a populao de estudantes
do Ciclo Bsico de Alfabetizao e os da 8 srie. Os trabalhos pros-
seguiram em 1993 com a avaliao da 5 srie do Ensino Funda-
mental, da 2 srie do Ensino Mdio e das 3/4 sries da Habilitao
Magistrio. Ao todo, cerca de 930.000 estudantes foram avaliados
externamente nesses dois anos, sendo levantados dados sobre o
desempenho escolar em reas curriculares, informaes socioe-
conmicas dos alunos, atitudes em relao cincia (2 srie do
5 o artigo de Maria Alba de souza, na revista Estudos em Avaliao Educacional, so paulo, n. 12, 1995,
oferece uma viso bastante
detalhada do programa de
avaliao de Minas Gerais
no perodo de 1992-95.
32 Est. Aval. Educ., so paulo, v. 25, n. 60, p. 14-35, n. especial, dez. 2014
Ensino Mdio), dados relacionados escola, incluindo elementos
sobre os vrios currculos, e informaes relativas formao das
futuras professoras da escola de Ensino Fundamental (alunas das
3/4 sries da Habilitao Magistrio). O programa de avaliao do
sistema de ensino de Minas Gerais, integrante de um programa de
qualidade da escola, com apoio financeiro do Banco Mundial, teve
prosseguimento em 1994, com a repetio do processo nas esco-
las avaliadas em 1992 e a incluso de escolas da rede municipal
de ensino, abrangendo, no caso, o sistema em 414 municpios. O
processo de avaliao em Minas Gerais j comeou a produzir seus
primeiros resultados, sobretudo em modificaes curriculares e na
disseminao de centros de atualizao de professores em 53 dife-
rentes pontos do Estado (VIANNA, 1992), alm da autonomia admi-
nistrativa e financeira, estando em vias a implantao da autono-
mia pedaggica, em um processo de qualidade da escola que tem
como um de seus pontos centrais a avaliao.
Um programa de avaliao foi realizado em 1991 sobre o
Desempenho da Rede Pblica Escolar do Estado de Per-
nambuco na rea da Linguagem, em crianas de 1 a 4
srie, o que possibilitou Secretaria de Educao do Estado,
segundo Buarque et al. (1992), a reviso dos contedos pro-gramticos das Propostas Curriculares, redirecionamento dos
contedos nos programas de capacitao de docentes, acom-
panhamento das classes de alfabetizao e o desenvolvimento
de um programa de pesquisas.
A nvel internacional, no perodo de 1990/92, houve uma
avaliao do desempenho de crianas de 13 anos em Matem-
tica e Cincias, nas cidades de So Paulo e Fortaleza, como
parte integrante do projeto da International Assessment of
Educational Progress IAEP, com a participao de 20 pases, sob a coordenao do Educational Testing Service (Princeton, New
Jersey) e o financiamento da National Science Foundation NSF.
A parte relativa ao Brasil ficou sob a responsabilidade da
Fundao Carlos Chagas, visando o projeto a analisar o de-
sempenho dos estudantes nos vrios pases participantes e a
identificar tipos de ambientes culturais e prticas educacionais
associadas a um alto desempenho (VIANNA, 1992). Alm das pro-
vas de Matemtica e Cincias foram desenvolvidos trs outros
instrumentos questionrio do aluno, da escola e dos pais , a
fim de explorar variveis associadas ao desempenho educacional
Est. Aval. Educ., so paulo, v. 25, n. 60, p. 14-35, n. especial, dez. 2014 33
e proporcionar um contexto que possibilitasse compreender os
resultados da avaliao. O desempenho das crianas brasileiras,
lamentavelmente, foi bastante comprometido, refletindo, as-
sim, a conhecida crise do nosso sistema de ensino da escola de 1
grau. Esse tipo de avaliao costuma, no entanto, com justa ra-
zo, ser criticado por vrios educadores, sobretudo na Inglaterra,
tendo em vista a diversidade curricular, os objetivos do ensino,
as metodologias empregadas, entre outros fatores, e inclusive o
prprio contexto cultural, em termos sociolgicos.
A anlise dos vrios projetos de avaliao, segundo demons-
trou Gatti (1994), evidencia que nem sempre possvel a adoo
de um delineamento experimental, que possibilite comparar di-
ferenas de tratamentos; as amostras, muitas vezes, so bastante
comprometidas, tendo em vista a carncia de estatsticas bsicas
confiveis, os procedimentos de aplicao dos instrumentos e cole-
ta de dados nem sempre so merecedores de confiana, apesar das
orientaes e dos treinamentos a que so submetidos os aplicado-
res; e a adoo de modelos de avaliao que nem sempre se ajus-
tam ao nosso contexto socioeducacional, havendo necessidade,
portanto, de uma adaptao realidade brasileira. Esses e outros
problemas como, por exemplo, a falta de elementos experientes
em avaliao educacional fazem com que, em muitos casos, o
avaliador responsvel tome decises que, em princpio, fogem
ortodoxia doutrinria, mas que resultam da sua experincia e do
seu bom senso, face ao imprevisto das situaes que surgem, sobre-
tudo em pases que no possuem uma tradio de avaliao no seu
sistema educacional, como o caso do Brasil, e em que a realidade
bem diferente da teoria.
A anlise da produo cientfica sobre avaliao educacio-
nal publicada em Cadernos de Pesquisa, no perodo de 20 anos (VIANNA, 1992) mostra que o tema de interesse dos educado-
res, sendo essa produo bastante diversificada e revelando uma
grande preocupao metodolgica na abordagem dos vrios
assuntos, sobretudo na rea de rendimento escolar, educao
de adultos, treinamento e formao de professores, temas do-
minantes no contexto da educao brasileira, pelo menos no
momento atual. Observa-se, tambm, nesses artigos e ensaios, um
destaque em relao ao emprego de metodologias qualitativas,
especialmente estudo de casos, ainda que sejam bastante redu-
zidos os trabalhos tericos sobre essas metodologias por autores
34 Est. Aval. Educ., so paulo, v. 25, n. 60, p. 14-35, n. especial, dez. 2014
nacionais, que se apoiam quase sempre na fundamentao de
tericos estrangeiros, sobretudo norte-americanos e ingleses.
A partir dessa anlise (VIANNA, 1992), percebe-se, entretanto, que
j h uma conscincia da importncia da avaliao e que a sua
prtica, apesar de inspirada em outros contextos, e partindo de
modelos adaptados nossa realidade, mas nem sempre de forma
cientificamente rigorosa, est comeando a criar uma cultura da
avaliao na sociedade brasileira.
ReFeRNcIAs bIblIOgRFIcAs
BUARQUE, Lair L. et al. Avaliao do desempenho da rede pblica escolar do estado de Pernambuco na rea de linguagem. Estudos em Avaliao Educacional, So Paulo, n. 5, p. 95-106, 1992.
CAMPBELL, D. T.; STANLEY, J. C. Experimental and quasi-experimental designs for research on teaching. In: GAGE, N. L. (Ed.). Handbook of research on teaching. Chicago, IL: Rand McNally, 1963. p. 171246.
CRONBACH, L. J. Course improvement through evaluation. Teachers College Record, n. 64, p. 672-683, 1963.
GATTI, Bernardete A. O rendimento escolar em distintos setores da sociedade. Estudos em Avaliao Educacional, So Paulo, n. 7, p. 95-112, 1993.
______. Avaliao da jornada nica em So Paulo. Estudos em Avaliao Educacional, So Paulo, n. 5, p. 85-89, 1992.
______. Avaliao educacional no Brasil: - experincias, problemas, recomendaes. Estudos em Avaliao Educacional, So Paulo, n. 10, p. 67-80, 1994.
GATTI, Bernardete A.; VIANNA, Heraldo M.; DAVIS, Claudia. Problemas e impasses da avaliao de projetos e sistemas educacionais: dois casos brasileiros. Estudos em Avaliao Educacional, So Paulo, n. 4, p. 07-26, 1991.
LINDQUIST, E. F. Design and analysis of experiments in Psychology and Education. Boston, Houghton Mifflin, 1953.
LUCKESI, Cipriano C. Avaliao dos resultados da aprendizagem escolar: a prtica atual e sua compreenso nas concepes pedaggicas. 1991. Tese (Doutorado) Pontifcia Universidade Catlica de So Paulo, So Paulo, 1991.
MADAUS, G. F.; AIRASIAN, P. W.; KELLAGHAN, T. School effectiveness: a reassessment of the evidence. New York: McGraw-Hill Book, 1980.
MADAUS, G. F.; STUFFLEBEAM, D. L.; SCRIVEN, M. S. Program evaluation: a historical overwiew. In: MADAUS, G. F. et al. (Ed.). Evaluation Models: viewpoints on educational and human services evaluation. Boston: Kluwer-Nijhoff, 1993.
NORRIS, N. Understanding educational evaluation. London: Kogan Page, 1993.
Est. Aval. Educ., so paulo, v. 25, n. 60, p. 14-35, n. especial, dez. 2014 35
PESTANA, Maria Ins G. de S. O Sistema Nacional de Avaliao da Educao Bsica. Estudos em Avaliao Educacional, So Paulo, n. 5, p. 81-84, 1992.
SCRIVEN, Michael. The methodology of evaluation: perspectives of curriculum evaluation. Chicago: Rand McNally, 1967. (AERA. Monograph, n.1).
STAKE, Robert E. The countenance of educational evaluation. Teachers College Record, v. 68, n. 7, p. 523-540. 1967.
STUFFLEBEAM, Daniel L. The relevance of the CIPP Evaluation Model for Educational Accountability. Journal of Research and Development in Education, v. 5, n. 1, p. 19-25. 1971.
VIANNA, Heraldo M. Avaliao do rendimento de alunos de escolas de 1 grau da rede pblica: um estudo em 20 cidades. Educao e Seleo, So Paulo, n. 19, p. 33-98, 1989a.
______. Avaliao do rendimento de alunos de escolas de 1 grau da rede pblica: um estudo em 39 cidades. Educao e Seleo, So Paulo, n. 20, p. 5-56, 1989b.
______. Rendimento de alunos das 2 e 4 sries das escolas oficiais do estado do Paran: um estudo avaliativo. So Paulo: Fundao Carlos Chagas, 1991. Relatrio de pesquisa.
______ Avaliao do rendimento escolar de alunos da 3 srie do 2 grau: subsdios para uma discusso. Estudos em Avaliao Educacional, So Paulo, n. 3, 1991.
______. Avaliao do desempenho em matemtica e cincias: uma experincia em So Paulo e em Fortaleza. Estudos em Avaliao Educacional, So Paulo, n. 5, p. 9-14 , 1992a.
______. Avaliando a avaliao: da prtica pesquisa. Estudos em Avaliao Educacional, So Paulo, n. 5, p. 55-64, 1992b.
______. Avaliao do ciclo bsico de alfabetizao em Minas Gerais. Estudos em Avaliao Educacional, So Paulo, n. 5, p. 91-94, 1992c.
______. Avaliao Educacional nos Cadernos de Pesquisa. Cadernos de Pesquisa, So Paulo, n. 80, p. 100-105, 1992d.
VIANNA, Heraldo M.; ANTUNES, Ana Lcia; SOUzA, Maria Alba de. Desenvolvimento de um programa de avaliao do sistema estadual de ensino: o exemplo de Minas Gerais. Estudos em Avaliao Educacional, So Paulo, n. 8, p. 5-37, 1993.
VIANNA, H. M.; FRANCO, Glucia T. Avaliao do rendimento de alunos de escolas do 1 grau da rede privada: pontos crticos e convergncia. Estudos em Avaliao Educacional, So Paulo, n. 7, p. 113-132, 1993.
VIANNA, Heraldo M.; GATTI, Bernardete A. Avaliao do rendimento de alunos de escolas de 1 grau da rede pblica: uma aplicao experimental em 10 cidades. Educao e Seleo, So Paulo, n. 17, p. 5-52, jan./jun. 1988a.
______. Avaliao do rendimento de alunos de 2 e 4 sries de escolas oficiais do estado do Paran. Educao e Seleo, So Paulo, n. 18, p. 5-62, 1988b.
WAISELFISz, Jlio J. O Sistema Nacional de Avaliao Educacional de 1 Grau. Estudos em Avaliao Educacional, So Paulo, n. 4, p. 65-72, 1991.
WORTHEN, B. R.; SANDERS, J. R. Educational Evaluation: alternative approaches and practical guidelines. New York, London: Longman, 1987.
36 Est. Aval. Educ., so paulo, v. 25, n. 60, p. 36-42, n. especial, dez. 2014
MEDIDA DA QUALIDADE EM EDUCAO: APRESENTAO DE UM MODELO1
O problema da qualidade em educao uma preocupao da
sociedade como um todo. Subjacentemente, o conceito de res-
ponsabilidade educacional educational accountability permeia essa inquietao, ou seja, havendo pessoal qualificado, condies
materiais, instrumental instrucional, metodologias e estratgias
adequadas, a educao formal deveria ser, necessariamente, de
boa qualidade. Isso, entretanto, nem sempre ocorre, pois uma
complexa rede de variveis atua no processo e cria um quadro
de elementos interferentes que determinam nveis diversos de
excelncia educacional.
Algumas indagaes surgem de imediato: como conceituar
qualidade em educao? Ser possvel uma definio operacional
de qualidade em educao a fim de mensur-la com adequao?
O problema precisa ser analisado e discutido com a participao
da comunidade educacional e de elementos da sociedade. A me-
dida da qualidade em educao, entretanto, no pode ficar res-
trita apenas ao desempenho escolar, necessita, tambm, verificar
outras variveis que se associam e condicionam o rendimento
escolar. O que as crianas fazem na escola, o que os professores
procuram transmitir aos seus alunos e o que os livros didticos
1 Artigo publicado na revista Estudos em Avaliao
Educacional, so paulo, n. 2, p. 99-104, jul./dez. 1990.
Est. Aval. Educ., so paulo, v. 25, n. 60, p. 36-42, n. especial, dez. 2014 37
apresentam refletem expectativas culturais e educacionais na so-
ciedade, bem como seus valores e seus objetivos sociais e econ-
micos. Assim, impositivo verificar em que medida a interao
dessas variveis contribui para a qualidade da educao.
necessrio reiterar que a avaliao da qualidade da edu-
cao no se limita apenas verificao do rendimento escolar,
que um momento na caracterizao dessa qualidade. O desem-
penho dos estudantes em pesquisas da qualidade da educao
melhor compreendido e interpretado quando se levantam in-
formaes sobre o tipo de ensino que recebem, os procedimen-
tos que vivenciam em sala de aula e no colgio, e ainda sobre
as caractersticas ambientais da famlia que determinam o seu
comportamento. Assim, a pesquisa sobre a qualidade da educa-
o precisa caracterizar o contexto nacional em que o processo educacional se desenvolve, identificar criticamente os fatores no diretamente ligados escola que afetam a educao e analisar a ao da escola em termos de entrada, processo e produto.
A avaliao da qualidade da educao deve, necessariamente,
partir de uma anlise do contexto nacional, envolvendo as caracte-rsticas da populao, os seus valores culturais, os investimentos
financeiros em educao e a organizao das escolas. As caracte-rsticas da populao no se devem limitar a estatsticas demo-grficas, mas apresentar e discutir os vrios nveis de educao,
o processo de transformao da economia e a composio da for-
a de trabalho, assim como suas tendncias. Os valores culturais da sociedade precisam ser identificados, destacando-se, parti-
cularmente, a problemtica da maior ou menor valorizao da
educao, o papel da educao no desenvolvimento individual
e na formao profissional, as oportunidades educacionais ofe-
recidas pela sociedade e o grau de universalizao da educao;
alm disso, problemas cruciais como o do status do professor na sociedade e a responsabilidade da famlia na educao neces-
sitam tambm ser considerados. Os investimentos financeiros em educao no podem deixar de ser considerados como uma das importantes variveis que influenciam na qualidade da educao,
juntamente com a alocao de recursos humanos qualificados
para a rea educacional. Finalmente, no quadro do contexto na-
cional, a avaliao da qualidade da educao deve considerar a
organizao do sistema escolar, identificando os diversos tipos
de escola, os graus de centralizao administrativa, a influncia
38 Est. Aval. Educ., so paulo, v. 25, n. 60, p. 36-42, n. especial, dez. 2014
do processo de seletividade social na escola e a organizao do
sistema de avaliao, que, dependendo da sua filosofia e da sua
estruturao, pode criar diferentes tipos de impedimentos, com
amplas repercusses sociais.
A criana, e mesmo o adolescente, na maioria dos casos,
passa um tempo extremamente reduzido na escola; desse
modo, a fim de avaliar a qualidade da sua educao, funda-
mental que sejam considerados os fatores no diretamente ligados escola, que compreendero, entre outros aspectos, o status socioeconmico da famlia, o nvel de educao dos pais, os
recursos educacionais no lar, o interesse e a participao dos
pais no processo educacional, as atividades educacionais fora
da escola, as atividades de lazer e sociais (televiso, esportes e
interao de grupos) e, ainda, uma anlise das atitudes e das
aspiraes dos estudantes.
A investigao sobre a qualidade da educao envolve,
naturalmente, uma discusso aprofundada da varivel escola, que, no presente modelo, deve sofrer uma abordagem em
termos de entrada, processo e produto. A partir dessa pers-
pectiva, para a configurao do fator entrada, desejvel a identificao e anlise das variveis tamanho e tipo de escola;
extenso do ano letivo e da jornada escolar; tamanho, carac-
tersticas e experincia do pessoal docente; qualidade das ins-
talaes escolares; organizao dos programas escolares; e,
finalmente, a participao dos pais na vida escolar.
A parte do modelo mais diretamente relacionada sala de
aula, ao que ensinado e como ensinado, no seu conjunto,
engloba a varivel processo, que se centra na avaliao do currculo e das prticas instrucionais. A avaliao do currculo visa, particularmente, a anlise dos objetivos e dos conte-
dos programticos, procurando identificar em que medida
so destacados fatos, conceitos e/ou habilidades complexas.
Ainda na varivel processo, o conjunto das prticas instrucio-nais procura identificar o tipo de instruo ministrada (em
grandes e pequenos grupos e/ou instruo programada); a
ocorrncia de aulas expositivas, demonstraes e/ou discus-
ses; o uso de material didtico (impressos e equipamentos);
a natureza das tarefas a serem realizadas em casa; e, final-
mente, a crtica das prticas docimolgicas, ou seja, a anlise
do planejamento e da execuo da avaliao escolar.
Est. Aval. Educ., so paulo, v. 25, n. 60, p. 36-42, n. especial, dez. 2014 39
O presente modelo completa-se com a avaliao da varivel
produto, concentrada no desempenho escolar e na formao de atitudes associadas ao processo educacional, momento em que
sero empregados diferentes instrumentos de mensurao esco-
lar, inclusive, testes de escolaridade e questionrios de atitudes.
Um projeto de avaliao da qualidade da educao, dessa
forma, deve relacionar o desempenho dos estudantes a contex-
tos culturais e a prticas educacionais associadas ao rendimen-
to escolar. Surge, assim, um grave problema a ser discutido a
validade dos instrumentos, particularmente a validade dos tes-
tes de escolaridade.
O uso de testes sem a observncia da teoria das medidas con-
tribui para que sejam negligenciadas importantes caractersticas
dos instrumentos aplicados mensurao dos atributos huma-
nos. Diferentes testes possuem diferentes virtudes e no existe
um teste que seja o melhor para todos os propsitos. Um teste
sempre construdo com uma determinada finalidade, no ha-
vendo, portanto, um nico instrumento que seja capaz de medir
de modo globalizado as diferentes dimenses do homem. Assim,
ao construir um teste, necessrio que se identifique o objeti-
vo do instrumento e em que situao concreta ser utilizado.
Um teste para uso em sala de aula, com a finalidade de promover
uma avaliao formativa, no tem, certamente, as mesmas caracte-rsticas de um outro empregado para fins de seleo, quando se
processa uma avaliao somativa. Um teste serve, ainda, para um determinado contexto e para um fim especifico, no tendo a
mesma utilidade em outros contextos e para outros fins.
As questes relativas validade dos testes educacionais so
complexas e, frequentemente, sujeitas a controvrsias, que, entre-
tanto, precisam ser enfrentadas a fim de solucionar os problemas
relativos construo dos instrumentos de medida, sua anlise
emprica e ao julgamento do seu valor como elementos capazes de
medirem, eficientemente, os atributos definidos no planejamento.
O processo de avaliao de um teste possui uma lgica prpria,
ressaltando-se, entretanto, que a validao de um teste depende
do uso que dele se pretenda fazer. Um teste nunca possui um
nico e exclusivo objetivo; desse modo, no se pode assegurar
que um teste seja vlido em termos gerais. A validao de um
instrumento de medida educacional est, pois, relacionada com
a interpretao que ao mesmo se pretenda dar.
40 Est. Aval. Educ., so paulo, v. 25, n. 60, p. 36-42, n. especial, dez. 2014
A validade de um instrumento de medida est associada
concretizao dos seus objetivos. Assim, no caso especfico
de um teste de desempenho escolar, a validade positivada na
medida em que esse instrumento realiza aquilo a que se pro-
puseram seus construtores. O conceito de validade, entretanto,
multifacetado, no sendo possvel dizer, a priori, se um teste
ou no vlido: um teste pode ser vlido para um currculo e no
o ser para outro; um teste pode ser vlido para um grupo, mas
no para outro. A validade no , pois, um atributo que se possa
apresentar em termos gerais; sempre especfica a um instru-
mento, a um curso, a um currculo, a um professor e a um grupo
de indivduos com caractersticas bem definidas.
O processo de validao presta-se a diferentes interpretaes
muitas vezes conflitantes entre si, sendo necessrio, por conse-
guinte, maiores esclarecimentos sobre sua natureza. Valida-se
no propriamente o teste mas a interpretao dos dados decor-
rentes de um procedimento especfico. Um mesmo teste pode
ser usado para diferentes fins e a cada aplicao do instrumento
pode corresponder, portanto, uma interpretao dos resultados.
Ora, considerando que cada interpretao tem seu prprio grau
de validade, no possvel afirmar que um teste vlido em
geral, pois a validade sempre especfica. Um teste, em sntese,
possui muitas validades; consequentemente, h necessidade de
aprofundar e estender os estudos de validao para que se possa
determinar as diversas dimenses da sua validade.
O problema da validao dos instrumentos deve receber tra-
tamento prioritrio no processo investigativo da qualidade da
educao, conforme a anlise anterior. O uso indiscriminado de
instrumentos de avaliao pode levar a concluses inteiramen-
te falaciosas, com amplas repercusses. Nesse momento, cabem
algumas indagaes referentes ao contexto educacional brasilei-
ro: os instrumentos usados para fins de avaliao educacional
possuem validade empiricamente verificada? Os instrumentos
usados pelos professores possuem validade curricular? Os instru-
mentos empregados no dia a dia da escola possuem validade de
contedo? E, finalmente, uma pergunta dolorosa: os altos ndi-
ces de reprovao nas primeiras sries do 1 grau no decorreriam
em parte da falta de validade dos instrumentos usados na avalia-
o? So questes que precisariam ser respondidas no processo de
investigao da qualidade da educao.
ANexO
meDIDA DA QUAlIDADe em eDUcAO
esQUemA De Um mODelO
1.0. CONTEXTO NACIONAL
1.1. Caractersticas da populao
1.1.1. Estatsticas demogrficas
1.1.2. Nveis de educao
1.1.3. Transformaes da economia
1.1.4. Fora de trabalho
1.2. Valo
Recommended