Embed Size (px)
Citation preview
Luís Cláudio Rodrigues de Carvalho
OFICINA DE APROPRIAÇÃO DE RESULTADOS 2011
O CAEd – Centro de Políticas Públicas e Avaliação daEducação, da UFJF, é uma instituição que elabora e desenvolveprogramas de avaliação sobre o rendimento escolar dos alunosde escola públicas, promovidos pelas Secretarias Estaduais deEducação . Também cria e promove cursos de formação,qualificação e aprimoramento aos profissionais da Educaçãode diversos Estados do Brasil, além de desenvolver softwarepara a gestão de escolas públicas (como por exemplo, osprojetos SisLame e SIMADE) com o objetivo de modernizar agestão educacional .O CAEd também presta serviços de apoio para odesenvolvimento de projetos educacionais promovidos poriniciativas privadas, a exemplo de algumas ações da FundaçãoRoberto Marinho, do Instituto Unibanco e da Fundação OiFuturo .
AVALIAR
É refletir sobre uma determinada realidade, a partir de dados e informações, e emitir um julgamento que
possibilite uma ação.
•Avaliação Interna
• Processo de Aprendizagem
• Diversos Instrumentos de Avaliação
• Avaliação Formativa
• Teoria Clássica dos Testes (Nota)
•Avaliação Externa
• Produto (habilidades)
• Teste de Múltipla Escolha
• Teoria de Resposta ao Item (TRI)
Tipos de Avaliação
Por que avaliar um sistema educacional
Obter informações sobre o nível dedesenvolvimento das habilidadesdos estudantes com vistas àimplementação de políticas públicase à organização dos processos deensino e de aprendizagem
•Quais são os objetivos do Sistema Baiano de Educação?
• O que o Avalie Ensino Médio avaliou em sua edição de
2011?
• Você acha que os resultados dessa avaliação podem ser
utilizados para a melhoria da educação em nossa escola? Se
sim, como?
Algumas características do SABE
•Rede Estadual
• Avalie Ensino Médio: Linguagens e Códigos,Matemática, Ciências Humanas e CiênciasNaturais
• 1ª SÉRIE DO ENSINO MÉDIO;
• 2ª SÉRIE DA EDUCAÇÃO PROFISSIONALINTEGRADA AO ENSINO MÉDIO.
•Rede Estadual e Municipal
• Avalie Alfa: Língua Portuguesa e Matemática
• 2º ano EF.
•Desempenho escolar;
• Análise dos resultados possibilita intervençãopedagógica;
• Dados do Avalie Ensino Médio devem fazer parte daproposta de melhoria da qualidade da educaçãoofertada pela escola.
Alguns objetivos do Avalie Ensino Médio
O CAEd e o Sistema Baiano de Educação
Nessas avaliações, utilizam-se instrumentos chamados detestes de proficiência e também questionárioscontextuais aplicados aos estudantes, professores ediretores das unidades escolares, com o objetivo deoferecer à sociedade uma medida do desempenhoescolar.
Como são construídos os testes de proficiência que permitem medir o
desempenho escolar?
Objetivo
• Analisar e interpretar os resultados do SABEpara (re)planejamento das ações pedagógicasimplementadas em sala de aula, a seremdefinidas pelas escolas envolvidas no processo deavaliação.
Seção 1
Matriz de Referência
Como a Matriz de Referência dá origem aos testes?
• Constitui um parâmetro de orientação;
• Apresenta o objeto da avaliação;
• Caráter de universalidade;
• Orienta a elaboração de itens.
Ressaltamos que as matrizes de referência nãoenglobam todo o currículo escolar.
Um recorte é feito com base no que é possível aferirpor meio do tipo de instrumento de medida utilizadona avaliação e que, ao mesmo tempo, é representativodo que está contemplado nos currículos.
A Matriz de Linguagens e suas tecnologias está estruturada em tópicos:
I. Suportes e gêneros textuais: suas funções Comunicativas;II. Reconstrução dos processos de tematização: tópicos e subtópicostemáticos;III. Modos de recepção de diferentes discursos: implícitos, pressupostos e subentendidos;IV. Processos de referenciação e textualização (outextualidade e textualização);V. Variação linguística no português brasileiro;VI. Oralidade e escrita: processos de retextualização;VII. Estéticas literárias e seus contextos históricos;VIII. Representações literárias: diversidade e universalidade;IX. Análise e crítica de produções artísticas.
Concepções que fundamentam
a construção da matriz de Linguagens e códigos
Língua: interação entre sujeitos em contextos sociaisespecíficos.
Letramento: práticas sociais de leitura e escrita que seconstituem na interação entre sujeitos ou grupos de sujeitos.
Papel da escola: instância de aprendizagem da escrita em seusaspectos gráficos e formais e de vivências de práticas deletramento.
Matriz de Referência para Avaliação
Elemento base de origem dos testes utilizados no Avalie EnsinoMédio. Garante legitimidade e transparência à avaliação.
É formada por um conjunto de descritores que, agrupados emtópicos/temas, apresentam as habilidades consideradas básicas epossíveis de serem aferidas por meio do instrumento utilizado emavaliações em larga escala.
Não abarca todo currículo escolar. Por isso, não pode ser confundidacom parâmetros curriculares, Base Curricular Comum - BCC,procedimentos ou estratégias de ensino ou Orientações Teórico-Metodológicas - OTM, nem com o conteúdo a ser trabalhado peloprofessor em sala de aula.
Algumas interpretações teóricas
Competências e Habilidades
Competências referem-se às diferentes modalidadesestruturais da inteligência que compreendem determinadasoperações que o sujeito utiliza para estabelecer relações com eentre os objetos físicos, conceitos, situações, fenômenos epessoas.
As habilidades instrumentais referem-se especificamente aoplano do saber fazer e decorrem, diretamente, do nível estruturaldas competências já adquiridas e que se transformam emhabilidades.
PERRENOUD, P. Práticas pedagógicas, profissão docente e formação.
Lisboa: Dom Quixote, 1993
MATRIZ DE REFERÊNCIA
Conjunto de descritores
Conteúdo programático na
área de conhecimento a
ser avaliada
Descritores originados do cruzamento entre conteúdos
programáticos e as habilidades e competências cognitivas
que lhes são próprias.
Nível de operação mental
necessário para a
aprendizagem
Aspectos a considerar sobre Descritores
•Os descritores têm origem na associação entre osconteúdos curriculares e as operações mentaisdesenvolvidas pelo aluno que se traduzem em certashabilidades.• Constituem uma sumária “descrição” dashabilidades esperadas ao final de cada períodoescolar avaliado.
O QUE É UM ITEM?
• É uma questão do teste de larga escala.• Avalia uma única habilidade, portanto o item é
unidimensional.• Obtém um resultado por estudante, que
permite avaliar as hipóteses levantadas por ele.
Aspectos a considerar sobre Descritores
ͻDescreve cada uma das habilidades da Matriz
ͻ Avalia apenas uma única habilidade
ͻ Representa uma subdivisão de acordo com o conteúdo, competências de área e habilidades.
ͻ Agrupa as habilidades passíveis de avaliação em um teste de proficiência.
MatrizTema
Tópico
DescritorItem
Das Matrizes aos itens dos testes de proficiência
Considerar
Grau de Dificuldade – diz respeitoà adequação entre a formulaçãodo item e a capacidade deresposta do estudante.
Discriminação –capacidade do itemde dist inguir estudantes comdiferentes níveis de habilidade.
EnunciadoSuporte
DistratoresDistratores
Gabarito
Distratores Comando
O ITEM E SUAS PARTES
- redigir o enunciado de forma direta e af irmat iva;
- ut ilizar vocabulário adequado ao nível de escolaridade do estudante;
- incluir no enunciado uma f igura, um recorte de j ornal ou revista,
uma fotograf ia,em sua elaboração;
- redigir o enunciado de forma direta e af irmat iva;
- ut ilizar vocabulário adequado ao nível de escolaridade do
estudante;
- excluir qualquer referência discriminatória quanto a etnia; religião, gênero ou
orientação sexual;- observar as normas da ABNT na apresentação
de textos e f iguras;- não ut ilizar “ pegadinhas” nem “ dicas” ;- não ut ilizar termos como “ sempre” ,
“ nunca” , “ todo” ,“ totalmente” .
estar diretamente relacionada a um único descritor da Mat riz de Referência;
formular de maneira posit iva;
a tarefa desej ada em conexão com o problema proposto.
Quanto à Redação
Enunciado: deve ser claro, preciso e conciso.
Gabarito: exclusivamente um.
Dist ratores: devem ser plausíveis.
Suportes: devem conter informações relevantes.
Atividade 1: Os Itens do Teste
Resolvam os itens.
Identifiquem a habilidade avaliada pelo itemem análise.
Elaborem hipóteses cognitivas para osdistratores (alternativas erradas).
Gabarito:D D01: Reconhecer o objetivo comunicativo e/ou a função sociocomunicativa de um gênero textual
Gabarito:A
D02: Identificar o leitor alvo de um texto considerando sua forma, assunto, tema, indícios gráficos, notacionais e imagens.
Gabarito:C D03: Estabelecer, em textos de diferentes gêneros, relações de sentido entre recursos verbais e não verbais.
Gabarito:A D04: Reconhecer em novas formas de interação entre o leitor e o texto, a relação entre o discurso e as inovações tecnológicas.
Gabarito:D
D06: Identificar informações explícitas em um texto.
Gabarito:B
D07:Inferir tema ou assunto principal do texto.
Gabarito: E
D08: Diferenciar ideias centrais de secundárias.
Gabarito:B
D09:Comparar textos que tratam de um mesmo quanto ao tratamento dado a esse tema, em relação ao leitor, ao suporte e às intencionalidades.
Gabarito:B D10: Distinguir fato de opinião relativa a esse fato.
Gabarito:D D11:Avaliar posições distintas entre duas ou mais opiniões relativas ao mesmo fato ou mesmo tema.
Gabarito:D D12:Inferir informações implícitas em textos de diferentes gêneros.
Gabarito:B D13: Inferir efeitos de ironia e humor em um texto.
Gabarito:D D14: Inferir o significado de palavras e expressões usadas em um texto.
Gabarito:B D15:Estabelecer relações entre partes de um texto, identificando repetições ou substituições.
Gabarito:A D16: Reconhecer recursos linguístico de conexão textual (coesão sequencial) em um texto
Gabarito:A D17: Reconhecer a função de diferentes composições tipológicas em textos diversos.
Gabarito:B D20: Identificar, em textos de diferentes gêneros, as marcas linguísticas que singularizam as variedades linguísticas sociais, regionais e de registro.
Gabarito:E D22: Identificar marcas linguísticas típicas da oralidade.
Gabarito:D
D23: Reconhecer elementos que caracterizam a literariedade de um dado texto, como objeto estético e semiológico.
Gabarito:E
D26: Estabelecer relações intertextuais entre textos literários da contemporaneidade e diferentes manifestações literárias e culturais.
Gabarito:D
D27:Interpretar efeito de sentido decorrente do uso de figuras de linguagem no texto.
Gabarito:D D28:Analisar as diversas produções artísticas como meio de explicar diferentes culturas, padrões de beleza e preconceitos.
Gabarito:A
D31:Identificar diferentes modalidades e funções da música.
44,7
63,8
44,4
34,9
24,2
59,7
51,8
37,2
50,7
31,7
43,3
61,155,9
66,6
41,5
27,1
35,7
27,0
41,5 38,6
26,832,1
22,127,0
38,5
29,133,9
28,223,1
44,9 41,938,8
0,0
20,0
40,0
60,0
80,0
100,0
1ª SÉRIE EM - LINGUAGENS, CÓDIGOS E SUAS TECNOLOGIASRede Estadual
57,6
69,5
50,8
40,1
28,1
67,7
57,2
47,1
58,1
38,7
53,2
67,464,0
77,2
51,0
31,839,2
31,2
50,245,0
29,636,4
25,529,9
46,9
29,535,6 33,3
25,6
53,047,8
44,7
0,0
10,0
20,0
30,0
40,0
50,0
60,0
70,0
80,0
90,0
2ª SÉRIE EDUCACAO PROFISSIONAL INTEGRADO - LINGUAGENS, CÓDIGOS E SUAS TECNOLOGIAS
Rede Estadual
Objetivos da oficinaNessa etapa da nossa oficina, iremos:
• apresentar a descrição dos Intervalos de Proficiência de Linguagens,códigos e suas tecnologias e a sua relação com as Matrizes deReferência para a Avaliação.
• interpretar os Intervalos de Proficiência de Linguagens, códigos e suastecnologias considerando os agrupamentos de seus intervalos (Padrõesde Desempenho Estudantil).• analisar e interpretar pedagogicamente os resultados
Seção 2
Interpretação pedagógicados resultados
PADRÕES DE DESEMPENHO
Os padrões de desempenho estudantil são os balizadores dos diferentes graus derealização educacional alcançados pela escola. Por meio deles é possível analisar adistância de aprendizagem entre o percentual de estudantes que se encontra nosníveis mais altos de desempenho e aqueles que estão nos níveis mais baixos. Adistância entre esses extremos representa, ainda que de forma alegórica, o abismoexistente entre aqueles que têm grandes chances de sucesso escolar e,consequentemente, maiores possibilidades de acesso aos bens materiais, culturais esociais; e aqueles para os quais o fracasso escolar e a exclusão social podem sermera questão de tempo, caso a escola não reaja e promova ações com vistas àpromoção da equidade.
Formas de Apresentação dos Resultados
Proficiência média – médias comparadas
Participação
Distribuição do percentual de alunos por nível de proficiência e padrão de desempenho
Evolução do percentual de alunos por padrão de desempenho
Como você interpreta a participação?
Se 20 fosse o número de estudantes que NÃO participaram da avaliação no
MUNICIPIO? Como seria esse percentual?
Participação
De que forma você acha que a participação pode interferir nos resultados de nossa escola?
Pense em aspectos positivos e negativos!
Quais são as habilidades desenvolvidas por aproximadamente 22,7% dos estudantes?E por 52,3% dos estudantes? E por 22,7% dos estudantes? E por 2,3% dos estudantes?
Número de alunos Percentual44 100%? 22,7%
10 23 10
1
Cálculo... variação proporcional direta
? = x44. 22,7 = 100.x
998,8 = 100.x998,8 /100 = x
9,98= xX= 10
Número de Alunos Percentual64 100%? 22,7%
Padrões de desempenho
estudantil
Estabelecimento e monitoramento das metas de qualidade
educacional
Caracterização do desempenho escolar
Grau de realização das ações
educacionais
Políticas públicas voltadas à
promoção da equidade
Identificação do percentual de
alunos em risco pedagógico (evasão,
reprovação ou abandono)
100
Como você interpreta a posição de “sua” escola em relação ao resultado do estado?
Vamos localizar as proficiências médias nos níveis de proficiência?
Qual é a quantidade de estudantes do ESTADO em cada padrão de desempenho?
Qual é o percentual de estudantes do ESTADO que estão MUITO CRÍTICO, CRÍTICO, BÁSICO e AVANÇADO?
Qual é a quantidade de estudantes da “sua” escola em cada padrão de desempenho?
Qual é o percentual de estudantes da “sua” ESCOLA que estão MUITO CRÍTICO, CRÍTICO, BÁSICO e AVANÇADO?
Como você interpreta a participação de estudante no ESTADO e em “sua” escola? Essa participação é representativa?
INICIANTE O estudante já faz uso do sistema de escrita, mas desconhece suas convenções. Nesse caso, o estudante apresenta uma escrita confusa
e desconexa.
O estudante reconhece o tema, mas não
consegue estruturar sua escrita de modo
que a mesma constitua-se como um
texto.
Texto desarticulado.
Média Final: 0 (zero)C1 (norma culta) = 0
C2 (tema) = 0C3 (tipologia) = 0
C4 (coesão/coerência) = 0
INICIANTE AVANÇADO
O estudante demonstra domínio insuficiente da norma-padrão e dos articuladores coesivos, compreende a proposta equivocadamente e, por isso, sua produção tangencia o tema
e a tipologia textual solicitados.
C1 (norma culta): estruturas frasais, predominantemente,
nominais ou períodos simples.
C2 (tema): predomínio de paráfrases de um dos
textos motivadores. Só apresenta autoria na
segunda parte do texto, mas de forma desconexa.
C3 (tipologia): o texto produzido tangenciou a tipologia
argumentativa. Nota-se apenas alguns traços na segunda parte.
Média Final: 2C1 (norma culta) = 3C2 (tema) = 3C3 (tipologia) = 1C4 (coesão/coerência) = 1
C4 (coesão/coerência): o texto não estabelece progressão harmônica.
ATIVO Constrói sua produção textual de forma mediana, desenvolvendo a temática proposta a partir de argumentos do senso comum, cópias
recorrentes de trechos dos textos motivadores, demonstrando ainda pouco domínio do tipo textual argumentativo, com muitas inadequações
na utilização dos recursos coesivos.
Média Final: 3,25C1 (norma culta) = 4C2 (tema) = 4C3 (tipologia) = 2C4 (coesão/coerência) = 3
C1 (norma culta): supressão de letras, desvios ortográficos e ausência de letra maiúscula etc.
C2 (tema) e C3 (tipologia): ideias do senso comum, parafraseadas dos textos motivadores., sem defender um ponto de vista pessoal.
C4 (coesão/coerência): o único elemento utilizado para estabelecer a progressão textual é a vírgula, que aparece exaustivamente no texto.
INTERATIVO Esse estudante já se encontra em um nível considerado básico, porque demonstra domínio adequado da norma-padrão, mas ainda apresenta
alguns desvios gramaticais e de convenções da escrita. Quanto ao tema e à tipologia textual delimitados, ele apresenta adequação argumentativa, mas seu texto ainda apresenta ideias previsíveis, ainda com significativa
inadequação na utilização dos recursos coesivos
Média Final: 5,25C1 (norma culta) = 6C2 (tema) = 6C3 (tipologia) = 5C4 (coesão/coerência) = 4
C1 (norma culta): desvios ortográficos recorrentes: uso inadequado de verbo, acentuação gráfica, escolha equivocada de termos.
C2 (tema) e C3 (tipologia): argumentação previsível e, às vezes, incoerente, sem indícios de autoria.
C4 (coesão/coerência): ideias sem articulação e ausência de conectivos, principalmente no segundo parágrafo.
INTERATIVO AVANÇADO
Esse estudante já está em visa de se tornar um escritor proficiente, pois apresenta desvios escassos, que não podem ser desconsiderados porque
afetam a inteligibilidade textual em alguns casos.
Média Final: 7,75C1 (norma culta) = 9C2 (tema) = 8C3 (tipologia) = 7C4 (coesão/coerência) = 7
Domínio da norma-padrão, com desvios escassos, na maioria de pontuação.
Argumentação consistente e bom domínio do tipo textual argumentativo.
Poucas inadequações na utilização dos recursos coesivos
Resultado geral dos estudantes de acordo com as competências linguístico-textuais aferidas
COMPETÊNCIAS
NÍVEIS (% de estudantes)
TOTALINICIANTE INICIANTE
AVANÇADO ATIVO INTERATIVO INTERATIVO AVANÇADO
PROFICIENTE
(Nível 0) (Nível I: 0,1 pt a 2,0 pts)
(Nível II: 2,1pts a 4,0pts)
(Nível III: 4,1pts a 6,0 pts)
(Nível IV:6,1pts a 8,0pts)
(Nível V: 8,1pts a 10pts)
Registro(Competência I)
10,2 1,6 16,8 44,3 24,3 2,8 100%
Tema(Competência II)
10,4 4,5 25,2 38,5 18,9 2,4 100%
Tipologia textual(Competência III) 10,5 4,6 27,5 39,1 16,6 1,7 100%
Coesão/coerência(Competência IV) 10,7 5,4 27,2 39,6 15,6 1,5 100%
Proficiência geral dos estudantes
Pe
rcen
tual d
e e
stud
antes
Uso dos Resultados1. Gestor
De Rede: Planejamento e execução de políticas públicas;Criação de metas de qualidade e equidade
educacionais;Implementação de medidas de responsabilização;Políticas de incentivos diretos ou indiretos;Ações de formação continuada de professores.
De Escola : Elaboração do projeto da escolaMonitoramento da qualidade de ensino Subsídio para avaliação institucional
Uso dos Resultados2 . Professor
• Intervenção pedagógica
• Elaboração de projetos especiais
• Foco nos estudantes com dificuldades
• Ações de reforço escolar
• Planejamento das ações de sala de aula
• Visão proativa quanto ao desenvolvimento de habilidades e competências ao longo da educação básica
Uso dos Resultados3. Estudante
• Acompanhamento individual do desempenho escolar pelos estudantes e seus familiares
• Informações sobre a qualidade dos serviços educacionais oferecidos
