85
Oficina Apropriação de Resultados

Oficina Apropriação de Resultados. por Bruno Rinco Dutra Pereira Analista de Avaliação e-mail: [email protected]

Embed Size (px)

Citation preview

Page 1: Oficina Apropriação de Resultados. por Bruno Rinco Dutra Pereira Analista de Avaliação e-mail: brdp@caed.ufjf.br

Oficina Apropriação de Resultados

Page 2: Oficina Apropriação de Resultados. por Bruno Rinco Dutra Pereira Analista de Avaliação e-mail: brdp@caed.ufjf.br

por Bruno Rinco Dutra PereiraAnalista de Avaliação

e-mail: [email protected]

Page 3: Oficina Apropriação de Resultados. por Bruno Rinco Dutra Pereira Analista de Avaliação e-mail: brdp@caed.ufjf.br

Objetivos da oficina

• realizar a análise pedagógica dos resultados da avaliação de desempenho aplicada no estado de Rondônia – SAERO.

Page 4: Oficina Apropriação de Resultados. por Bruno Rinco Dutra Pereira Analista de Avaliação e-mail: brdp@caed.ufjf.br

Seções Apresentadas

• Matriz de Referência• Teste e Itens • Padrão de Desempenho • Escala de Proficiência• Resultados

Page 5: Oficina Apropriação de Resultados. por Bruno Rinco Dutra Pereira Analista de Avaliação e-mail: brdp@caed.ufjf.br

Matriz de ReferênciaSeção

Page 6: Oficina Apropriação de Resultados. por Bruno Rinco Dutra Pereira Analista de Avaliação e-mail: brdp@caed.ufjf.br

Avaliação EducacionalTestes de

Proficiência

Questionário

s Contextuais

Oferecer uma medida

Desempenho

Escolar

Page 7: Oficina Apropriação de Resultados. por Bruno Rinco Dutra Pereira Analista de Avaliação e-mail: brdp@caed.ufjf.br

Testes de Proficiência

• Os testes de proficiência têm como objetivo aferir habilidades que são esperadas dos alunos em diferentes etapas de escolarização.

• Essas habilidades são descritas por descritores.

Page 8: Oficina Apropriação de Resultados. por Bruno Rinco Dutra Pereira Analista de Avaliação e-mail: brdp@caed.ufjf.br

Testes de Proficiência

• Um conjunto de descritores formam a Matriz de Referência.

• A Matriz de Referência apresenta o objeto de uma avaliação.

Page 9: Oficina Apropriação de Resultados. por Bruno Rinco Dutra Pereira Analista de Avaliação e-mail: brdp@caed.ufjf.br

Habilidades

• Ao falarmos da relação Testes, Habilidades, Descritores e Matriz de referência pensamos:

• O que compreendemos por Habilidades?

Page 10: Oficina Apropriação de Resultados. por Bruno Rinco Dutra Pereira Analista de Avaliação e-mail: brdp@caed.ufjf.br

Habilidades

• Segundo Perrenoud (1999), – competências referem-se ao domínio prático de um

tipo de tarefas e de situações. Tais domínios práticos só podem ser alcançados se junto com eles forem desenvolvidos as habilidades dos alunos, o que só se pode realizar a partir da compreensão do conteúdo que explica aquele domínio.

– Vamos ver dois exemplos?

PERRENOUD, P. Avaliação: da excelência à regulação das aprendizagens, entre duas lógicas. Porto Alegre: Artmed, 1999.

Page 11: Oficina Apropriação de Resultados. por Bruno Rinco Dutra Pereira Analista de Avaliação e-mail: brdp@caed.ufjf.br

Habilidades

– Exemplo 1: desenvolver o domínio prático da Matemática nas tarefas cotidianas dos alunos. Para tal, precisamos desenvolver as habilidades numéricas desses alunos, introduzindo conceitos sobre número, quantidade, agrupamento, etc...

– Exemplo 2 (matriz de referência): a capacidade de medir grandezas, requer o desenvolvimento de habilidades como: resolver problema envolvendo o calculo de perímetro de figuras planas; resolver problema envolvendo o calculo de área de figuras planas; resolver problema envolvendo volume de um sólido.

Page 12: Oficina Apropriação de Resultados. por Bruno Rinco Dutra Pereira Analista de Avaliação e-mail: brdp@caed.ufjf.br

Matriz de Referência

• Retomando à compreensão da Matriz de Referência...

Vamos apontar algumas de suas características e de seus objetivos?

Dinâmica!

Page 13: Oficina Apropriação de Resultados. por Bruno Rinco Dutra Pereira Analista de Avaliação e-mail: brdp@caed.ufjf.br

Dinâmica

Page 14: Oficina Apropriação de Resultados. por Bruno Rinco Dutra Pereira Analista de Avaliação e-mail: brdp@caed.ufjf.br

Considerações sobre a Dinâmica

• Quais características podemos apontar para a Matriz de Referência?

Page 15: Oficina Apropriação de Resultados. por Bruno Rinco Dutra Pereira Analista de Avaliação e-mail: brdp@caed.ufjf.br

Matriz de Referência

• É formada por um conjunto de tópicos ou temas que representam uma subdivisão de acordo com conteúdo, competências de área e habilidades.

• Cada tema apresenta um conjunto de habilidades

• Cada habilidade é descrita por um descritor.

Page 16: Oficina Apropriação de Resultados. por Bruno Rinco Dutra Pereira Analista de Avaliação e-mail: brdp@caed.ufjf.br

4

Matriz de Referência

CONJUNTO DE DESCRITORES

conteúdo programático na área de conhecimento a

ser avaliada

nível de operação mental necessário para a

aprendizagem

Descritores originados do cruzamento entre conteúdosprogramáticos e as habilidades e competências cognitivas

que lhes são próprias.

Page 17: Oficina Apropriação de Resultados. por Bruno Rinco Dutra Pereira Analista de Avaliação e-mail: brdp@caed.ufjf.br

Matriz de Referência

• A Matriz de Referência não esgota o conteúdo a ser trabalhado em sala de aula e, portanto, não pode ser confundida com propostas curriculares, estratégias de ensino ou diretrizes pedagógicas. (ver próximo slide!)

Page 18: Oficina Apropriação de Resultados. por Bruno Rinco Dutra Pereira Analista de Avaliação e-mail: brdp@caed.ufjf.br

Vejamos um exemplo

Simulação de Pesquisas

Elaboração e aplicação de

questionários

Interpretação dos resultados da

PesquisaResolver problemas

envolvendo informações

apresentadas em Tabelas e/ou Gráficos

Construção de gráficos e /ou

tabelas

Conteúdo: Estatística Ler tabelas e/ou Gráficos

Organização dos dados

Page 19: Oficina Apropriação de Resultados. por Bruno Rinco Dutra Pereira Analista de Avaliação e-mail: brdp@caed.ufjf.br

Vejamos um exemplo para a sala de aula

Pesquisa sobre time de futebol

Separar alunos em grupo e pedir que façam um questionário com questões

sobre o assunto da pesquisa Pedir os alunos que apliquem o questionário na escola com

professores e alunosApós coleta dos dados, fazer a análise criando gráficos e tabelas

Pedir que os alunos apresentem o trabalhoA partir dos resultados encontrados,

elaborar problemas envolvendo os dados coletados pelos alunos, pedir

que resolvam e discutir com eles

Como avaliar?

Page 20: Oficina Apropriação de Resultados. por Bruno Rinco Dutra Pereira Analista de Avaliação e-mail: brdp@caed.ufjf.br

Vejamos um exemplo para uma avaliação em larga escala

Page 21: Oficina Apropriação de Resultados. por Bruno Rinco Dutra Pereira Analista de Avaliação e-mail: brdp@caed.ufjf.br

Matriz de Referência

• Vamos conhecer, em seguida, a Matriz de Referência para a Avaliação do SAERO.

Page 22: Oficina Apropriação de Resultados. por Bruno Rinco Dutra Pereira Analista de Avaliação e-mail: brdp@caed.ufjf.br
Page 23: Oficina Apropriação de Resultados. por Bruno Rinco Dutra Pereira Analista de Avaliação e-mail: brdp@caed.ufjf.br
Page 24: Oficina Apropriação de Resultados. por Bruno Rinco Dutra Pereira Analista de Avaliação e-mail: brdp@caed.ufjf.br
Page 25: Oficina Apropriação de Resultados. por Bruno Rinco Dutra Pereira Analista de Avaliação e-mail: brdp@caed.ufjf.br
Page 26: Oficina Apropriação de Resultados. por Bruno Rinco Dutra Pereira Analista de Avaliação e-mail: brdp@caed.ufjf.br

Teste e ItensSeção

Page 27: Oficina Apropriação de Resultados. por Bruno Rinco Dutra Pereira Analista de Avaliação e-mail: brdp@caed.ufjf.br

Composição dos Cadernos de Teste

Page 28: Oficina Apropriação de Resultados. por Bruno Rinco Dutra Pereira Analista de Avaliação e-mail: brdp@caed.ufjf.br

Itens

• É uma questão do teste de larga escala.

Page 29: Oficina Apropriação de Resultados. por Bruno Rinco Dutra Pereira Analista de Avaliação e-mail: brdp@caed.ufjf.br

Itens

Este NÃO é um exemplo de Item

Referência: http://www.esev.ipv.pt/mat1ciclo/temas%20matematicos/Triangulos_quadrilateros.pdf

Page 30: Oficina Apropriação de Resultados. por Bruno Rinco Dutra Pereira Analista de Avaliação e-mail: brdp@caed.ufjf.br

Itens

Este é um exemplo de Item

Page 31: Oficina Apropriação de Resultados. por Bruno Rinco Dutra Pereira Analista de Avaliação e-mail: brdp@caed.ufjf.br

Itens

• Vamos observar alguns itens e suas características

Page 32: Oficina Apropriação de Resultados. por Bruno Rinco Dutra Pereira Analista de Avaliação e-mail: brdp@caed.ufjf.br

Itens

Page 33: Oficina Apropriação de Resultados. por Bruno Rinco Dutra Pereira Analista de Avaliação e-mail: brdp@caed.ufjf.br

Itens

Page 34: Oficina Apropriação de Resultados. por Bruno Rinco Dutra Pereira Analista de Avaliação e-mail: brdp@caed.ufjf.br

Itens

Page 35: Oficina Apropriação de Resultados. por Bruno Rinco Dutra Pereira Analista de Avaliação e-mail: brdp@caed.ufjf.br

Itens

Page 36: Oficina Apropriação de Resultados. por Bruno Rinco Dutra Pereira Analista de Avaliação e-mail: brdp@caed.ufjf.br

Itens

• Quais características podemos apontar para o Item?

Page 37: Oficina Apropriação de Resultados. por Bruno Rinco Dutra Pereira Analista de Avaliação e-mail: brdp@caed.ufjf.br

Itens

• Avalia uma única habilidade, portanto o item é unidimensional.

• Obtém um resultado por estudante, que permite avaliar as hipóteses levantadas por ele (distratores).

Page 38: Oficina Apropriação de Resultados. por Bruno Rinco Dutra Pereira Analista de Avaliação e-mail: brdp@caed.ufjf.br

Partes do Item

Distratores

Gabarito

Comando

Suporte

Enunciado

Page 39: Oficina Apropriação de Resultados. por Bruno Rinco Dutra Pereira Analista de Avaliação e-mail: brdp@caed.ufjf.br

Padrão de DesempenhoSeção

Page 40: Oficina Apropriação de Resultados. por Bruno Rinco Dutra Pereira Analista de Avaliação e-mail: brdp@caed.ufjf.br

Padrão de Desempenho

• Mas qual o significado desses intervalos?

• Vamos fazer a leitura dos Padrões de Desempenho para o 5º ano

Page 41: Oficina Apropriação de Resultados. por Bruno Rinco Dutra Pereira Analista de Avaliação e-mail: brdp@caed.ufjf.br

Padrão de Desempenho

Page 42: Oficina Apropriação de Resultados. por Bruno Rinco Dutra Pereira Analista de Avaliação e-mail: brdp@caed.ufjf.br
Page 43: Oficina Apropriação de Resultados. por Bruno Rinco Dutra Pereira Analista de Avaliação e-mail: brdp@caed.ufjf.br
Page 44: Oficina Apropriação de Resultados. por Bruno Rinco Dutra Pereira Analista de Avaliação e-mail: brdp@caed.ufjf.br
Page 45: Oficina Apropriação de Resultados. por Bruno Rinco Dutra Pereira Analista de Avaliação e-mail: brdp@caed.ufjf.br
Page 46: Oficina Apropriação de Resultados. por Bruno Rinco Dutra Pereira Analista de Avaliação e-mail: brdp@caed.ufjf.br

Padrão de Desempenho

• Há diferença no grau de desenvolvimento das habilidades desses dois estudantes?

Sim!

• Como interpretar essas diferenças?

Page 47: Oficina Apropriação de Resultados. por Bruno Rinco Dutra Pereira Analista de Avaliação e-mail: brdp@caed.ufjf.br

Escala de ProficiênciaSeção

Page 48: Oficina Apropriação de Resultados. por Bruno Rinco Dutra Pereira Analista de Avaliação e-mail: brdp@caed.ufjf.br

Escala de Proficiência

• Então...

Podemos fazer uma interpretação dos resultados em um intervalo menor de proficiência?

Sim! Por meio da escala de Proficiência.

Page 49: Oficina Apropriação de Resultados. por Bruno Rinco Dutra Pereira Analista de Avaliação e-mail: brdp@caed.ufjf.br

Escala de Proficiência

• Vamos observar a Escala de Proficiência.

Page 50: Oficina Apropriação de Resultados. por Bruno Rinco Dutra Pereira Analista de Avaliação e-mail: brdp@caed.ufjf.br
Page 51: Oficina Apropriação de Resultados. por Bruno Rinco Dutra Pereira Analista de Avaliação e-mail: brdp@caed.ufjf.br

Escala de Proficiência

• Podemos observar que as habilidades apresentadas na Matriz de Referência, estão associadas às Competências da Escala de Proficiência.

• Vamos observar:

Page 52: Oficina Apropriação de Resultados. por Bruno Rinco Dutra Pereira Analista de Avaliação e-mail: brdp@caed.ufjf.br
Page 53: Oficina Apropriação de Resultados. por Bruno Rinco Dutra Pereira Analista de Avaliação e-mail: brdp@caed.ufjf.br

Escala de Proficiência

• Com base nas Competências, podemos realizar uma interpretação dos resultados alcançados pelos estudantes na avaliação do SAERO.

Page 54: Oficina Apropriação de Resultados. por Bruno Rinco Dutra Pereira Analista de Avaliação e-mail: brdp@caed.ufjf.br

Escala de Proficiência

• Vamos observar os intervalos da Escala de Proficiência.

Page 55: Oficina Apropriação de Resultados. por Bruno Rinco Dutra Pereira Analista de Avaliação e-mail: brdp@caed.ufjf.br

Os intervalos

Page 56: Oficina Apropriação de Resultados. por Bruno Rinco Dutra Pereira Analista de Avaliação e-mail: brdp@caed.ufjf.br

Escala de Proficiência

• Vamos observar as Competências na Escala Proficiência.

• Vejamos um exemplo:

Page 57: Oficina Apropriação de Resultados. por Bruno Rinco Dutra Pereira Analista de Avaliação e-mail: brdp@caed.ufjf.br

As competências

Page 58: Oficina Apropriação de Resultados. por Bruno Rinco Dutra Pereira Analista de Avaliação e-mail: brdp@caed.ufjf.br

As competências

Page 59: Oficina Apropriação de Resultados. por Bruno Rinco Dutra Pereira Analista de Avaliação e-mail: brdp@caed.ufjf.br

As competências

Page 60: Oficina Apropriação de Resultados. por Bruno Rinco Dutra Pereira Analista de Avaliação e-mail: brdp@caed.ufjf.br

Escala de Proficiência

• Vamos observar, por exemplo, o grau de complexidade das competências para uma determinada proficiência, de acordo com a Escala de Proficiência.

Page 61: Oficina Apropriação de Resultados. por Bruno Rinco Dutra Pereira Analista de Avaliação e-mail: brdp@caed.ufjf.br

As competências

Page 62: Oficina Apropriação de Resultados. por Bruno Rinco Dutra Pereira Analista de Avaliação e-mail: brdp@caed.ufjf.br

Escala de Proficiência

• Vamos observar também, os Padrões de desempenho na escala.

Page 63: Oficina Apropriação de Resultados. por Bruno Rinco Dutra Pereira Analista de Avaliação e-mail: brdp@caed.ufjf.br
Page 64: Oficina Apropriação de Resultados. por Bruno Rinco Dutra Pereira Analista de Avaliação e-mail: brdp@caed.ufjf.br

Escala de Proficiência

• Observe o Padrão de Desempenho Abaixo do Básico ( até 150 pontos).

Page 65: Oficina Apropriação de Resultados. por Bruno Rinco Dutra Pereira Analista de Avaliação e-mail: brdp@caed.ufjf.br
Page 66: Oficina Apropriação de Resultados. por Bruno Rinco Dutra Pereira Analista de Avaliação e-mail: brdp@caed.ufjf.br

Escala de Proficiência

• Conhecendo a Matriz de Referência e a Escala de Proficiência, vamos analisar os resultados da avaliação!

Page 67: Oficina Apropriação de Resultados. por Bruno Rinco Dutra Pereira Analista de Avaliação e-mail: brdp@caed.ufjf.br

ResultadosSeção

Page 68: Oficina Apropriação de Resultados. por Bruno Rinco Dutra Pereira Analista de Avaliação e-mail: brdp@caed.ufjf.br

Resultados

• Revista Pedagógica– Proficiência média;– Participação;– Evolução do percentual de estudantes por padrão

de desempenho;– Percentual de estudantes por padrão de

desempenho;

• Portal da Avaliação– Percentual de acerto por descritor.

Page 69: Oficina Apropriação de Resultados. por Bruno Rinco Dutra Pereira Analista de Avaliação e-mail: brdp@caed.ufjf.br

Escala de Proficiência

• Como os resultados podem ser interpretados?

Page 70: Oficina Apropriação de Resultados. por Bruno Rinco Dutra Pereira Analista de Avaliação e-mail: brdp@caed.ufjf.br
Page 71: Oficina Apropriação de Resultados. por Bruno Rinco Dutra Pereira Analista de Avaliação e-mail: brdp@caed.ufjf.br
Page 72: Oficina Apropriação de Resultados. por Bruno Rinco Dutra Pereira Analista de Avaliação e-mail: brdp@caed.ufjf.br
Page 73: Oficina Apropriação de Resultados. por Bruno Rinco Dutra Pereira Analista de Avaliação e-mail: brdp@caed.ufjf.br

Quais são as habilidades desenvolvidas por aproximadamente 2,44% dos estudantes?E por 25,61% dos estudantes? E por 41,46% dos estudantes? E por 30,49% dos

estudantes?

Page 74: Oficina Apropriação de Resultados. por Bruno Rinco Dutra Pereira Analista de Avaliação e-mail: brdp@caed.ufjf.br
Page 75: Oficina Apropriação de Resultados. por Bruno Rinco Dutra Pereira Analista de Avaliação e-mail: brdp@caed.ufjf.br

Padrão de Desempenho

Padrões de desempenho

estudantil

Estabelecimento e monitoramento das metas de qualidade

educacional

Caracterização do desempenho

escolar

Grau de realização das ações

educacionais

Políticas públicas voltadas à

promoção da equidade Identificação do

percentual de alunos em risco pedagógico (evasão, reprovação ou abandono)

Page 76: Oficina Apropriação de Resultados. por Bruno Rinco Dutra Pereira Analista de Avaliação e-mail: brdp@caed.ufjf.br

Padrão de Desempenho

• Sabemos a distribuição percentual dos estudantes por padrão de desempenho apresentado.

• Qual o número de estudantes que esse percentual representa?

Page 77: Oficina Apropriação de Resultados. por Bruno Rinco Dutra Pereira Analista de Avaliação e-mail: brdp@caed.ufjf.br

Agora é a sua vez!

77

Quais as habilidades desenvolvidas pelos estudantes em cada padrão de desempenho?

Qual é a quantidade desses estudantes em cada padrão de desempenho?

Qual é o percentual de estudantes do Município que estão nos padrões de desempenho Muito Crítico, Crítico, Intermediário e Adequado?

Diferencie as habilidades desenvolvida pelos estudantes em cada padrão.

Localizar as proficiências médias na escala de proficiência.

Como você interpreta o desempenho de “sua” escola em relação ao Município. (média de proficiência e distribuição por padrão de desempenho)

Como você interpreta a participação de alunos no Município em relação a “sua” escola?

Page 78: Oficina Apropriação de Resultados. por Bruno Rinco Dutra Pereira Analista de Avaliação e-mail: brdp@caed.ufjf.br

Obrigada pela atenção!

e-mail: [email protected]

Page 79: Oficina Apropriação de Resultados. por Bruno Rinco Dutra Pereira Analista de Avaliação e-mail: brdp@caed.ufjf.br
Page 80: Oficina Apropriação de Resultados. por Bruno Rinco Dutra Pereira Analista de Avaliação e-mail: brdp@caed.ufjf.br
Page 81: Oficina Apropriação de Resultados. por Bruno Rinco Dutra Pereira Analista de Avaliação e-mail: brdp@caed.ufjf.br
Page 82: Oficina Apropriação de Resultados. por Bruno Rinco Dutra Pereira Analista de Avaliação e-mail: brdp@caed.ufjf.br
Page 83: Oficina Apropriação de Resultados. por Bruno Rinco Dutra Pereira Analista de Avaliação e-mail: brdp@caed.ufjf.br

Revista Pedagógica

Page 84: Oficina Apropriação de Resultados. por Bruno Rinco Dutra Pereira Analista de Avaliação e-mail: brdp@caed.ufjf.br

De que forma você acha que a participação pode interferir nos resultados de “sua”

escola?

Pense em aspectos positivos e negativos!

Participação

Page 85: Oficina Apropriação de Resultados. por Bruno Rinco Dutra Pereira Analista de Avaliação e-mail: brdp@caed.ufjf.br

Outros resultados...