CRIAÇÃO E VALIDAÇÃO DE QUESTÕES EM ESTATÍSTICA … · Programa de Pós-Graduação em Ensino de Ciências, Matemática e Tecnologias (PPGECMT), é de cunho quantitativo e aborda

EDUARDO NAGEL

CRIAÇÃO E VALIDAÇÃO DE QUESTÕES EM ESTATÍSTICA DESCRITIVA PELA

TCT E TRI

Dissertação apresentada ao Curso de Pós-

Graduação em Ensino de Ciências, Matemática e

Tecnologias, da Universidade do Estado de Santa

Catarina, Centro de Ciências Tecnológicas–CCT,

como requisito parcial para obtenção do grau de

Mestre em Ensino de Ciências, Matemática e

Tecnologias.

Orientadora: Profa. Dra. Elisa Henning

JOINVILLE, SC

2018

Ficha catalográfica elaborada pelo programa de geração automática da

Biblioteca Setorial do CCT/UDESC,

com os dados fornecidos pelo(a) autor(a)

Nagel, Eduardo

CRIAÇÃO E VALIDAÇÃO DE QUESTÕES EM ESTATÍSTICA

DESCRITIVA PELA TCT E TRI / Eduardo Nagel. -- 2018.

100 p.

Orientadora: Elisa Henning

Dissertação (Mestrado) - Universidade do

Estado de Santa Catarina, Centro de Ciências

Tecnológicas, Programa de Pós-Graduação Profissional

em Ensino de Ciências, Matemática e Tecnologias,

2018.

1. Estatística Básica. 2. Banco de questões.

3. Teoria da resposta ao item. 4. Teoria clássica

dos testes. I. Henning, Elisa. II. Universidade do

Estado de Santa Catarina. Programa de Pós-Graduação.

III. Título.

AGRADECIMENTOS

Em primeiro lugar, à Jesus, meu maior exemplo, que está comigo em todos os

momentos demostrando seu impressionante, infinito e ousado amor.

À minha esposa Elizangela e meus filhos, Esther, Heron e Eloá, pelo incondicional

amor em todos esses momentos de estudos e privações.

Ao meu irmão Cristiano Nagel, pelas suas preciosas correções textuais.

À minha orientadora profa. Elisa, pela sua paciência, suas sugestões e correções em

toda essa caminhada. Obrigado por acreditar em meu trabalho.

Ao professor Dalton Francisco de Andrade (UFSC) e Fernando Campos de Andrade

(UNISUL) pela prontidão em me ajudar em vários momentos.

Ao professor Cipriano Luckesi, pelos comentários sobre avalição.

Aos integrantes da banca, Profa. Teresa Paula Costa Azinheira Oliveira, Prof. Rafael

Tezza e Prof. Dra. Luciane Mulazani dos Santos.

Aos professores do PPGECMT por todo aprendizado e companheirismo.

RESUMO

A presente pesquisa, realizada na Universidade do Estado de Santa Catarina (UDESC), no

Programa de Pós-Graduação em Ensino de Ciências, Matemática e Tecnologias (PPGECMT),

é de cunho quantitativo e aborda o ensino de Estatística Básica, especificamente a Estatística

Descritiva propondo a criação e validação de questões pela Teoria Clássica dos Testes (TCT)

e pela Teoria da Resposta ao Item (TRI). Nesse contexto, foi desenvolvido um produto

educacional, um banco de questões calibradas pela TCT, procurando apontar o nível de

dificuldade, discriminação e confiabilidade dos itens, e também pela TRI, no qual foram

identificados os índices de dificuldade, discriminação e acerto ao acaso dos itens. Para essas

estimações, foi desenvolvido um teste-piloto aplicado a 237 alunos do ensino superior, tanto

no modelo presencial quanto no híbrido em turmas de engenharias, tecnólogos e das áreas da

saúde. Com os resultados obtidos nessa fase, foram efetuadas implementações e correções no

produto educacional, procurando aperfeiçoar os enunciados e suas alternativas. Dentro desse

contexto e procurando auxiliar professores de Estatística em suas práticas pedagógicas, pode-

se refletir sobre os desafios e potencialidades em criar questões de múltiplas escolhas em

Estatística Descritiva.

Palavras-chaves: Estatística Básica. Banco de questões. Teoria da resposta ao item. Teoria

clássica dos testes.

ABSTRACT

The present research, conducted at the State University of Santa Catarina (UDESC), in the

Math, Sciences, and Technology Teaching Graduate Program (PPGECMT), is of a

quantitative nature, and approaches the teaching of basic mathematics, specifically descriptive

statistics, proposing the creation and validation of questions through Classical Test Theory

(CTT) and Item Response Theory (IRT). In this context, an educational product was

developed: a question database calibrated by CTT, seeking to identify the level of difficulty,

discrimination and reliability of items, and also through IRT, in order to identify the level of

difficulty, discrimination and guessing parameter items. In order to conduct such trials, a

pilot-test was developed and applied to 237 higher education students, both in classroom and

hybrid programs in engineering, technology, and health sciences. With the results obtained in

this phase, implementations and corrections in the educational products were made seeking to

perfect the statements and their alternatives. Within this context and seeking to aid statistics

teachers in their pedagogical practice, it was possible to reflect on the challenges and

potentialities of creating multiple-choice questions in descriptive statistics.

Key-words: Basic Statistics. Questions Database. Theory of the response to the item.

Classical test theory.

LISTA DE FIGURAS

Figura 1 - Exemplo de matriz de referência ............................................................................. 23

Figura 2 - Exemplo da organização do conhecimento na forma matricial ............................... 26

Figura 3 - Novos nomes das categorias de aprendizagem na Taxonomia de Bloom Revisada.

.................................................................................................................................................. 26

Figura 4 - A taxonomia de Bloom Original. ............................................................................. 29

Figura 5 - Elementos que constituem cada item. ...................................................................... 31

Figura 6 - Exemplo de item de complementação simples. ....................................................... 32

Figura 7 - Exemplo de item de interpretação. .......................................................................... 32

Figura 8 - Exemplo de item de resposta múltipla. .................................................................... 33

Figura 9 - Exemplo de item de asserção-razão. ........................................................................ 34

Figura 10 - Exemplo de CCI do item. ...................................................................................... 40

Figura 11 - Exemplo de CCI de um parâmetro. ....................................................................... 41

Figura 12 - Exemplo de CCI com 2 parâmetros. ...................................................................... 43

Figura 13 - Exemplo de CCI com 3 parâmetros. ...................................................................... 44

Figura 14 - Classificação de uma variável ............................................................................... 47

Figura 15 - A média, mediana e moda...................................................................................... 52

Figura 16 - Calculando e interpretando o CV........................................................................... 53

Figura 17 - Informações pedagógicas da questão. .................................................................... 59

Figura 18 - O enunciado da questão. ........................................................................................ 59

Figura 19 - Alternativas, distratores e gabarito. ....................................................................... 60

Figura 20 - Questão 1: Frequência de escolha de cada alternativa nos três grupos de

desempenho. ............................................................................................................................. 62

Figura 21 - Curva característica do item e curva de informação do item - Questão 1. ............ 62


desempenho. ............................................................................................................................. 66

Figura 23 - CCI e CII - Questão 2. ........................................................................................... 66


desempenho. ............................................................................................................................. 69



desempenho. ............................................................................................................................. 72



desempenho. ............................................................................................................................. 75



desempenho. ............................................................................................................................. 79



desempenho. ............................................................................................................................. 82



desempenho. ............................................................................................................................. 85


LISTA DE TABELAS

Tabela 1 - Classificação e percentuais esperados para os índices de dificuldade na TCT. ...... 36

Tabela 2 - Classificação dos itens de acordo com sua discriminação. ..................................... 37

Tabela 3 - Exemplo de tabela com seus elementos. ................................................................. 48

Tabela 4 - Tabela de distribuição de frequências pontuais. ...................................................... 50

Tabela 5 - Tabela de distribuição de frequência por classes. ................................................... 50

LISTA DE QUADROS

Quadro 1 - A avaliação formativa conforme vários autores. .................................................... 24

Quadro 2 - Características da Questão 1. ................................................................................. 63








SUMÁRIO

SUMÁRIO ............................................................................................................................... 11

1 INTRODUÇAO .................................................................................................................. 13

2 AVALIAÇÕES EDUCACIONAIS .................................................................................. 19

2.1 AS AVALIAÇÕES DE APRENDIZAGEM .................................................................... 19

2.1.1 Conceitos e características da avaliação ......................................................................... 19

2.1.2 Avaliação por competências ........................................................................................... 21

2.1.3 As avaliações diagnósticas, formativas e somativa......................................................... 23

2.2 TAXONOMIA DE BLOOM ............................................................................................. 25

2.3 BANCO DE QUESTÕES ................................................................................................. 29

2.3.1 A elaboração de itens ...................................................................................................... 30

2.3.2 Tipos de itens de múltipla escolha .................................................................................. 31

3 MODELOS PSICOMÉTRICOS APLICADOS EM EDUCAÇÃO .............................. 35

3.1 A TEORIA CLÁSSICA DOS TESTES (TCT) ................................................................. 35

3.1.1 Índice de dificuldade ....................................................................................................... 35

3.1.2 Índice de discriminação................................................................................................... 36

3.1.3 Correlação bisserial ......................................................................................................... 37

3.1.4 Confiabilidade ................................................................................................................. 38

3.2 A TEORIA DE RESPOSTA AO ITEM - TRI .................................................................. 38

3.2.1 Modelo logístico de um parâmetro ................................................................................. 40

3.2.2 Modelo logístico de 2 parâmetros ................................................................................... 42

3.2.3 Modelo logístico de 3 parâmetros ................................................................................... 43

3.2.4 Condições para aplicação da TRI: unidimensionalidade e independência local............. 44

4 TÓPICOS EM ESTATÍSTICA DESCRITIVA .............................................................. 46

4.1 ESTATÍSTICA DESCRITIVA ......................................................................................... 46

4.1.1 Tipos de variáveis ........................................................................................................... 46

4.1.2 Construindo tabelas ......................................................................................................... 47

4.1.3 Tabelas de distribuição de frequências ........................................................................... 48

4.1.4 Distribuição de frequências pontuais .............................................................................. 49

4.1.5 Distribuição de frequências por classes .......................................................................... 50

4.1.6 Medidas de tendência central .......................................................................................... 51

4.1.7 Medidas de dispersão ...................................................................................................... 52

5 PROCEDIMENTOS METODOLÓGICOS .................................................................... 55

6 RESULTADOS .................................................................................................................. 58

6.1 DESCRIÇÃO DO PRODUTO EDUCACIONAL ............................................................ 58

6.2 BANCO DE QUESTÕES – TESTE PILOTO .................................................................. 60

7 CONSIDERAÇÕES E PERSPECTIVAS ....................................................................... 87

REFERÊNCIAS ..................................................................................................................... 89

APÊNDICES ........................................................................................................................... 95

APÊNDICE A – Verificação da Unidimensionalidade ........................................................... 96

APÊNDICE B – Escore da TRI............................................................................................... 97

ANEXOS ................................................................................................................................. 99

ANEXO 1 – Formulário para questões .............................................................................. 100

13

1 INTRODUÇAO

Meu prazer em estudar Matemática, teve início no 9º ano, com as aulas do Professor

Euclides Trissoto, o que me levaram em 2002 a cursar Licenciatura Plena em Matemática na

Univille (Joinville/SC). Já na fase da docência, em 2009, fui convidado pelo SENAI/Jaraguá

do Sul, a participar da capacitação: Elaboração que questões para os processos seletivos

SENAI/SC, onde, pela primeira vez, me deparei com temas como: matriz de referências,

descritores, banco de questões e TRI (Teoria da Resposta ao Item). A partir desse curso,

fiquei curioso em relação às aplicações da TRI e o que ela significava realmente. Motivado

por essas premissas, tive a grande oportunidade em trabalhar com ela e me aprofundar melhor

no tema, com meu ingresso no Programa de Pós-Graduação em Ensino de Ciências,

Matemática e Tecnologias (PPGECMT) da UDESC em 2016/2.

Inicialmente para a pesquisa, foi proposta a criação de um caderno didático de apoio

ao professor de Estatística do ensino híbrido. Nesse caderno, haveria questões sobre

probabilidade, que poderiam ser utilizadas durante os encontros presenciais daquele modelo

de ensino. Porém, por solicitação da banca de qualificação, tivemos que escolher outro

encaminhamento para pesquisa. Diante deste fato, decidimos criar um banco de questões em

estatística descritiva desassociado ao ensino híbrido.

Como professor de Estatística em cursos do Ensino Superior, observo o quão sério é

avaliar corretamente meus alunos durante o processo de ensino e aprendizagem. Muitos casos

ocorrem no qual o aluno, após resolver vários exercícios em sala ou fazer uma avaliação, não

consegue expressar seus conhecimentos e atingir uma boa nota. Assim, surgem

questionamentos: “O que é avaliar? Como avaliar corretamente o aluno? Quais são os

instrumentos para realizar uma avaliação?” Diante do exposto, procurando responder a essas

questões, apresentaremos no decorrer desta dissertação, um produto educacional com o

objetivo de propor um banco de questões de Estatística Descritiva, que auxilie os professores

na elaboração de suas avaliações.

Para muitos autores, como Gonçalves, Larchert (2012); Freitas, da Costa e Miranda,

(2014); Oliveira, Pontes e Marques (2016), o tema avaliação se torna complexo e polêmico,

devido ao fato de estar inserido em vários espaços da vida cotidiana, e não apenas o

educacional, sendo influenciado por impressões, crenças e valores. A avaliação, dentro do

contexto educacional, busca expressar as competências (habilidades) que foram construídas a

partir das informações trabalhadas nas aulas, tendo um papel fundamental para sua

consolidação. Seu objetivo pode ser entendido como a busca de melhorias para as

14

metodologias utilizadas durante o processo de ensino-aprendizagem, pois de acordo com os

seus resultados, é possível identificar os pontos fortes e fracos do processo de aprendizagem

verificando se os objetivos educacionais foram atingidos ou não (SEVERINO; PARROZZI,

2010).

A avaliação deve estar presente em todos os momentos de convívio entre aluno e

professor. Deve ser objetiva e coerente com os temas abordados durante as aulas. Para isso, é

necessário que se utilizem “instrumentos e técnicas diversificados para verificar os

conhecimentos adquiridos, respeitando-se as capacidades de cada aluno, de modo que esse

não tenha apenas a preocupação de gravar conteúdos para atender aquilo que foi proposto

pelo docente” (SEVERINO; PARROZZI, 2010, p. 60).

Sobre a Educação Estatística, estudamos Carvalho (2015), Perini (2016), Moura e

Samá (2017), Lopes (2008), Campos (2007), Walichinski (2012) entre outros. Segundo

Moura e Samá (2017) a contribuição da Educação Estatística é científica e tecnológica numa

sociedade na qual seus indivíduos respondem adequadamente às demandas sociais que

envolvem o tratamento da informação e a produção do conhecimento. Assim, uma das

exigências da sociedade moderna, é o conhecimento de técnicas Estatísticas, para que seus

cidadãos possam desenvolver suas capacidades e orientar-se em seu mundo, concebendo a

eles uma forma de pensar e uma consciência quantitativa dos fenômenos socioeconômicos

(BAYER; ECHEVESTE, 2003).

Neste sentido, devido as grandes transformações que estão ocorrendo na sociedade,

nas relações de trabalho, na forma de viver do homem, nos estilos de conhecimento e nos

acessos a informações, a Educação Estatística passou a ganhar uma importância fundamental

no currículo escolar, buscando que o aluno tenha uma formação crítica, a fim de que seja

capaz de tomar decisões conscientes, avaliando contextos e transformando informações em

conhecimentos aplicáveis nas várias situações do cotidiano (CARVALHO, 2015;

WALICHINSKI, 2012).

A Educação Estatística tem como objetivo a investigação de problemas relacionados

ao ensino e aprendizagem dos conceitos de Estatística, Probabilidade e Combinatória

(SANTOS, 2011; LOPES, 2010). Para Andrade (2008), a Educação Estatística preocupa-se

ainda com as discussões geradas pela manipulação de dados, constituindo-se um campo de

investigação cujo objetivo é o ensino e a aprendizagem de conceitos estatísticos de modo a

contribuir para uma aprendizagem mais significativa para os alunos.

O olhar predominante da Educação Estatística é para um ambiente no qual se

destacam a investigação e a reflexão, como elementos essenciais no processo da construção

15

do conhecimento. Espera-se não apenas competências para uma pesquisa científica, mas

também para o desenvolvimento de uma postura investigativa, reflexiva e crítica (PERIN,

2016).

Acredita-se que o ensino de Estatística, possa contribuir para o desenvolvimento de

uma visão mais crítica no aluno, de forma que as informações apresentadas pelos mais

diversos meios de comunicação, possam ser analisadas e até mesmo refletir sobre sua

confiabilidade (WALICHINSKI, 2012).

Para Lopes (2008) não basta o cidadão entender porcentagens expostas em índices

estatísticos:

É preciso analisar/relacionar criticamente os dados apresentados,

questionando/ponderando até mesmo sua veracidade. Assim como não é suficiente

ao aluno desenvolver a capacidade de organizar e representar uma coleção de dados,

faz-se necessário interpretar e comparar esses dados para tirar conclusões (LOPES,

2008, p. 60).

Para que o ensino de estatística contribua de fato na formação do cidadão, é necessário

que o aluno seja confrontado com problemas do mundo real, desafiando-o a encontrar

soluções e criar estratégias para resolver os problemas que lhe são propostos. Deve-se ainda,

incentivá-los a compartilhar essas diferentes soluções de forma que os alunos aprendam a

ouvir críticas, apreciar pontos de vistas diferentes e valorizar os trabalhos dos seus demais

colegas (PERIN, 2016).

O ensino de estatística é de grande importância, sendo um instrumento indispensável

para o meio social e para a educação, colaborando na formação dos profissionais,

garantindo a qualidade das informações, nas mais distintas áreas, como sociais,

políticas, ambientais, entre outras (PIROCA; CRIEBELER; WELTER, 2016)

Moura e Samá (2017) enfatizam que os conhecimentos estatísticos contribuem

científica e tecnologicamente em uma sociedade, na qual seus cidadãos passam a responder às

demandas sociais que envolvem o tratamento da informação e a produção do conhecimento,

de modo que os recursos tecnológicos potencializam e ampliam sua utilização na análise de

dados em todas as áreas do conhecimento.

Desta maneira a educação estatística passa a ganhar importância fundamental no

currículo escolar, pois as mudanças sociais exigem que tenhamos uma formação crítica, que o

estudante consiga se apropriar do conhecimento e aplicá-lo em situações do cotidiano para

conseguir se comunicar, compreender e avaliar informações e notícias, além de tomar

decisões.

Um dos conteúdos desenvolvidos nas escolas é o letramento estatístico presente na

vida escolar dos alunos a partir dos anos iniciais. Sendo contemplado e tendo sequência em

16

todos os anos letivos até o ensino médio. Nos cursos de formação complementar, no ensino

superior ou pós-graduação, podemos observar também o desenvolvimento da estatística e suas

aplicabilidades. Ao final desses processos de ensino, Campos, Wodewotzki e Jacobini, (2011,

p. 44) afirmam que é fundamental saber “[...] ler, escrever, demonstrar e trocar informações

gráficas e tabelas e entender as informações estatísticas dadas nos jornais e outras mídias,

sendo capaz de se pensar criticamente sobre elas”, ou seja, temos que desenvolver e dar o

devido valor a educação estatística em nosso sistema de ensino.

Pesquisas realizadas por Coggon (2015), Rodrigues, Lima e Barbosa (2017) e Santos

et al. (2014), demostram a importância do uso da Estatística Descritiva, que tem como

objetivo a organização, o resumo e a representação dos dados, em diversas áreas do

conhecimento. Segundo Goggon (2015) “os enormes avanços na medicina nos últimos dois

séculos, deu-se mediante a aplicação da ciência que outrora, foi uma arte ineficiente, e os

métodos estatísticos estão no coração desta revolução” (COGGON, 2015, p. 10). O autor

ainda afirma, que todos os profissionais de saúde, deveriam pelos menos, ter um

conhecimento básico em estatística descritiva, sabendo utilizar corretamente conceitos como

média, mediana, desvio padrão e variabilidade.

Rodrigues, Lima e Barbosa (2017) trazem em seu artigo “Importância do uso

adequado da estatística básica nas pesquisas clínicas” uma revisão de tópicos básicos de

estatística, como média, mediana, moda e desvio padrão, apontando que “o uso inadequado

da estatística básica é o maior responsável pelo erro de interpretação dos artigos científicos”

(RODRIGUES; LIMA; BABOSA, 2017, p. 619).

Já de acordo com Santos et al. (2014), a estatística descritiva, pode ser utilizada na

solução de problemas em várias áreas de uma empresa, como financeira, produção,

marketing, e de recursos humanos, trazendo exemplos de aplicação para distribuição de

frequências, média, mediana, moda e variância. Nesse sentido, a Estatística Descritiva está

presente em diversas áreas do conhecimento, evidenciando sua importância para leitura e

interpretação crítica das informações que os dados fornecem, por meio de sua organização e

sumarização (RODRIGUES; LIMA; BARBOSA, 2017).

Em um cenário como este, a avaliação dos assuntos trabalhados durante as aulas de

Estatística, se torna primordial, sendo uma ação provocativa por parte do professor,

desafiando o aluno a reflexões sobre suas situações vividas e sua produção do conhecimento;

a formular e reformular suas hipóteses, encaminhando-o dessa forma, à superação e ao

enriquecimento do saber. A avaliação é uma relação dialógica que “concebe o conhecimento

como apropriação do saber pelo aluno e também pelo professor, como ação-reflexão-ação que

17

se passa na sala de aula em direção a um saber aprimorado, enriquecido, carregado de

significados, de compreensão” (HOFFMANN, 1994, p. 56).

Portanto, pensando em auxiliar os professores de Estatística, nos momentos

avaliativos, foi desenvolvida nesta pesquisa, a criação de produto educacional na forma de um

banco de questões, sobre Estatística Descritiva, no qual utilizamos Larson e Farber (2016),

Bussad e Morettin (2010) e Vieira (2011), abordando os seguintes temas: Tabelas de

distribuição de frequências, medidas de tendência central e medidas de dispersão. Para

verificação do nível cognitivo de cada questão, utilizamos a Taxonomia de Bloom Original,

estudando os autores Azevedo (2017), Ferraz e Belhot (2017) e Oliveira e Pontes (2016).

Procurando verificar se os itens do banco de questões, são de fato um instrumento para dar

feedback aos estudantes e professores, em termos da aprendizagem estatística, utilizamos a

Teoria da Resposta ao Item (TRI) e a Teoria Clássica dos Testes (TCT). Para isso estudamos

Devellis (2006), Maia (2009), Azevedo (2017), Quaresma (2014), Andrade e Borgatto (2012),

Sartes e Formigoni (2013), Pasquali (2013) entre outros.

Um exemplo de banco de questões aplicado em Estatística é o projeto LOCUS (Níveis

de Compreensão Conceitual em Estatística) do College of Education da Universidade da

Flórida (EUA). Esse projeto busca a criação de avaliações confiáveis para a compreensão

conceitual e não processual em estatística (WHITAKER; FOTI; JACOBBE, 2015). Nesse

projeto, foram aplicadas questões de múltiplas escolhas a 3400 alunos do ensino fundamental

ao médio em seis estados norte-americanos. Essas questões foram divididas em dois níveis:

Inicial/Intermediário e Intermediário/Avançado. Buscando sua validade e confiabilidade, a

equipe do LOCUS utilizou em suas análises a Teoria da Resposta ao Item e Análises Fatoriais

Confirmatórias (WHITAKER; FOTI; JACOBBE, 2015).

Nossa pesquisa é quantitativa, tendo como objetivo principal propor e disponibilizar

um banco de questões de Estatística Descritiva. Os objetivos específicos são:

Criar questões de Estatística Descritiva calibradas pela TCT e TRI;

Auxiliar os professores de Estatística Descritiva em seus momentos

avaliativos.

Assim, esta dissertação é formada por cinco capítulos: o primeiro apresenta a

introdução, abordando a problemática, justificativa e objetivos. No segundo capítulo

abordamos sobre o que é avaliação, os principais aspectos de um banco de questões e

discorremos sobre a Taxonomia de Bloom. No capítulo três, abordaremos os principais

aspectos da TCT e TRI. No capítulo quatro, abordamos brevemente os conteúdos de

Estatística Descritiva que fazem parte do produto educacional. Apresentamos no capítulo

18

cinco, os encaminhamentos metodológicos. O produto educacional é descrito no capítulo seis,

trazendo discussões e análises dos resultados obtidos no Teste Piloto. E finalmente no

capítulo sete, trazemos considerações sobre como foi desenvolver esta pesquisa, dificuldades

encontradas, perspectivas e sugestões de trabalhos futuros.

19

2 AVALIAÇÕES EDUCACIONAIS

Neste capítulo iremos abordar aspectos sobre avaliação, quais os tipos de avaliações e

seus objetivos. Também iremos explorar alguns aspectos da Taxonomia de Bloom no

contexto avaliativo. Por fim, abordaremos os principais elementos que constituem um banco

de questões e algumas diretrizes para sua elaboração.

2.1 AS AVALIAÇÕES DE APRENDIZAGEM

A avaliação da aprendizagem é um tema complexo e polêmico por estar presente em

vários espaços da vida humana, não apenas o acadêmico, inserida em dimensões políticas,

econômicas e culturais, envolvendo desta forma, impressões, crenças, valores, princípios e

metas, podendo ser utilizada de várias formas e finalidades (GONÇALVES; LARCHERT,

2012; FREITAS; DA COSTA; MIRANDA, 2014; OLIVEIRA; PONTES; MARQUES,

2016).

Como o objetivo presente é a criação de um banco de questões de múltipla escolha,

que poderá ser utilizado em momentos avaliativos, neste capítulo, iremos explorar alguns

conceitos e características que devem nortear uma avaliação, e para isso buscamos autores

que refletem esse tema, tais como: Severino e Porrozzi (2010), Luckesi (2008) e Datrino,

Meireles (2010) e Hoffmann (1994). Em seguida, abordamos a avaliação por competências e

os tipos de avaliações: formativa, diagnóstica e somativa. Para finalizar, exploramos a

Taxonomia de Bloom, que foi a base para elaboração dos itens em seus níveis cognitivos.

2.1.1 Conceitos e características da avaliação

O processo de avaliação, sendo de suma importância no contexto acadêmico, “pode ser

entendido como um momento que os discentes têm para consolidar os conteúdos trabalhados

em aula” (SEVERINO; PORROZZI, 2010, p. 58). É um instrumento de melhoria para as

metodologias utilizadas durante o processo de ensino-aprendizagem, pois a partir da

avaliação, são analisados os resultados quantitativos e qualitativos obtidos pelos alunos,

possibilitando com eles identificar se os objetivos foram atingidos ou não em determinado

período do processo (SEVERINO; PORROZZI, 2010).

20

Ela deve estar presente em todos os momentos de convívio entre aluno e professor.

Deve ser objetiva e coerente com os temas abordados durante as aulas. Para isso, é necessário

que se utilizem “instrumentos e técnicas diversificados para verificar os conhecimentos

adquiridos, respeitando-se as capacidades de cada aluno, de modo que esse não tenha apenas a

preocupação de gravar conteúdos para atender aquilo que foi proposto pelo docente”

(SEVERINO; PARROZZI, 2010, p. 60).

Ainda segundo os mesmos autores, se a avaliação oportunizar a expressão daquilo que

foi construído a partir das informações trabalhadas nas aulas e das competências (habilidades)

dos discentes, ela contribuirá desta forma, para a formação profissional e crítica dos alunos,

capacitando-os para o exercício da cidadania (SEVERINO; PORROZZI, 2010).

Para Luckesi (2008) a avaliação é um instrumento de coleta de dados, fornecendo ao

professor, uma compreensão do estágio de aprendizagem que o aluno se encontra. A partir

dessa compreensão, é dado ao aluno um suporte de mudanças quando necessário, dos mais

variados meios, objetivando desta forma, seu avanço no processo de crescimento e na

apropriação de conhecimentos, habilidades, hábitos e convicções. Além disso, os resultados

obtidos pela avaliação poderão auxiliar o aluno em sua automotivação, na medida que lhe

fornece consciência dos níveis obtidos da aprendizagem.

Ainda segundo Luckesi (2008), a avaliação exige entrega por parte do educador, ao

desejo que o educando cresça e desenvolva suas habilidades, procurando clarear para o

educando quais são as exigências para o crescimento.

Porém,

Ninguém cresce sem ação e a ação contém dentro de si uma disciplina. Cada ato tem

sua disciplina própria que necessita ser descoberta e seguida se quer aprender a

crescer com ela. A avaliação é uma forma de tomar consciência sobre o significado

da ação na construção do desejo que lhe deu origem (LUCKESI, 2008, p. 166).

Por fim, Luckesi (2008) considera a avaliação da aprendizagem fundamental para o

crescimento do educador e educando, na sua reponsabilidade social, que aliados constroem a

aprendizagem, testemunhando-a à escola, e esta, à sociedade.

Já de acordo com Datrino e Meireles (2010), a avaliação é uma etapa do processo de

aprendizagem, levando a uma reflexão sobre as ações e pensamentos. A avaliação por ser um

processo formativo, carece ser avaliada em sua forma, efeito, método e evolução dos

aprendentes. Quando a avaliação contribui para “o desenvolvimento das capacidades dos

alunos, podemos dizer que ela se converte em uma ferramenta pedagógica, em um elemento

21

que melhora a aprendizagem do aluno e a qualidade do ensino. Esse é o sentido de um

processo de avaliação formativa” (DATRINO; MEIRELES, 2010, p. 40).

Mesmo que o ato de avaliar indique alguma forma de medição, avaliar é uma ação

mais ampla que medir ou qualificar. Não é parcial ou linear, pois está inserida em um

processo de ensino-aprendizagem, no qual deve sofrer constantes ajustes para atingir as

habilidade e competências desejadas (DATRINO; MEIRELES, 2010).

Para Hoffmann (1994), a avaliação é uma ação provocativa por parte do professor,

desafiando o aluno a reflexões sobre suas situações vividas e sua produção do conhecimento;

a formular e reformular suas hipóteses, encaminhando-o dessa forma, à superação e ao

enriquecimento do saber. É uma relação dialógica 1 que “concebe o conhecimento como

apropriação do saber pelo aluno e também pelo professor, como ação-reflexão-ação que se

passa na sala de aula em direção a um saber aprimorado, enriquecido, carregado de

significados, de compreensão” (HOFFMANN, 1994, p. 56).

O professor para avaliar seu aluno, necessita acompanhá-lo, e isso não significa

simplesmente estar junto dele, mas favorecer o seu desenvolvimento por meio de ações, como

orientações em tarefas, sugestões de novas leituras, novas explicações, proporcionando desta

forma, novas vivências e a ampliação do saber (HOFFMANN, 1994).

2.1.2 Avaliação por competências

No contexto da avaliação por competências, são considerados, além dos aspectos

quantitativos e qualitativos, os contextuais do aluno, procurando desta forma expressar nas

avaliações suas competências desenvolvidas durante o processo de ensino e aprendizagem

(OLIVEIRA; PONTES; MARQUES, 2016).

Para Araújo e Rabello (2015), o conceito de competências no âmbito educacional, não

deve ser reduzido a um conjunto de técnicas, a um saber tático que provém de treinamentos

ou trabalhos realizados individualmente, a um caráter operacional, observável, aparente e

mensurável (ARAUJO; RABELO, 2015). De acordo com Oliveira, Pontes e Marques (2016)

nas questões educacionais, ao se referir sobre avaliação por competências, leva-se em conta

além dos conhecimentos e habilidades desenvolvidas durante o processo educacional,

questões subjetivas do aluno, como emoções, atitudes, desejos. Nas palavras de Araújo e

1 Dialógica. Conforme Hoffmann (1994) é refletir em conjunto (professor e aluno) sobre o objeto de

conhecimento.

22

Rabelo (2015) considera-se “as dimensões afetivas e sociais, combinadas ao desenvolvimento

cognitivo e ao domínio de conhecimentos científicos e tecnológicos” (ARAUJO; RABELO,

2015, p. 450), tornando o contexto de competências na educação, mais amplo e complexo.

Nas palavras de Luckesi (2011), as habilidades se associam ao desempenho em

atividades simples e limitadas, por outro lado, as competências “são modos complexos de

agir, que envolve um conjunto de tarefas específicas. Uma competência exige uma cadeia de

várias habilidades” (LUCKESI, 2011, p. 409).

Desta forma, segundo Oliveira, Pontes e Marques (2016), a avaliação que se baseia em

competências, busca desenvolver indicadores que demonstrem a trajetória do aluno ao longo

do processo de ensino e aprendizagem, não priorizando o acúmulo de informações ou

conhecimentos. Nas palavras de Araújo e Rabelo (2015):

Há que se desenvolver processos avaliativos que consigam evidenciar a forma pela

qual ocorre a articulação teoria e prática, bem como indicadores de como as

competências se constroem, vinculadas às subjetividades individuais e sociais

próprias às relações e aos contextos vivenciados (ARAÚJO; RABELO, 2015, p.

447).

Para que isso ocorra, não se deve oportunizar apenas uma avaliação durante o

processo, ou uma forma de avaliação, mas sim, diversas metodologias que busquem expressar

as competências dos alunos, sejam individuais ou coletivas (OLIVEIRA; PONTES;

MARQUES, 2016). Conforme Antunes (2011) um aluno se torna “competente” quando

consegue, a frente de desafios das mais variadas formas, articulando os conhecimentos e

habilidades aprendidas em sala de aula, refletir e analisá-lo sob diferentes ângulos, utilizando

para isso, diferentes níveis cognitivos, desde os mais simples até os mais complexos.

A fim de identificar, desenvolver e avaliar indicadores de competências, Araújo e

Rabelo (2015) sugerem a criação de matrizes de referências (figura 1), construídas a partir do

perfil que se espera do aluno. Com o perfil definido, identificam-se quais são os recursos

necessários para a construção dessas competências esperadas. De forma prática, segundo os

autores, essa matriz pode ser desenhada utilizando linhas e colunas: nas linhas são dispostas

as características do perfil que se espera no aluno; nas colunas, as habilidades, conhecimentos,

atitudes que irão compor as competências e que serão avaliadas. No contexto educacional, a

matriz é base para a elaboração de instrumentos avaliativos, fornecendo tanto ao professor

quanto ao aluno, orientações e feedbacks da sua trajetória durante o processo educativo.

23

Figura 1 - Exemplo de matriz de referência

Fonte: Bridon, Neitzel (2014, p. 445).

2.1.3 As avaliações diagnósticas, formativas e somativa

A avaliação no ambiente escolar é um processo dinâmico na construção do

conhecimento, tanto para o aluno, quanto para o professor. A avaliação, ao estar presente em

todas as etapas de ensino e aprendizagem, auxilia o professor em coletar informações, que

tem como objetivo a construção do conhecimento do aluno. Para isso, ele o olha, de diferentes

formas, investigando e refletindo sobre seus avanços e dificuldades (ROMÃO, 2003;

FURLAN, 2006).

Nesse sentido, o professor deve utilizar de variados recursos para investigar o processo

de ensino e aprendizagem dos seus alunos. Como nossa temática é a criação de um banco de

questões, que poderá ser utilizado como instrumento de avaliação durante o processo da

construção do conhecimento, iremos abordar três tipos de avaliações: Diagnóstica, formativa

e somativa, utilizando como aporte Bloom, Hastings e Madaus (1983); Aranha (1993); Silva,

Matos e Almeida (2014); Costa, Freitas e Miranda (2014); Azevedo (2017) entre outros.

A avaliação diagnóstica tem como objetivo identificar, no início do processo, a

existência ou ausências de conhecimentos e habilidades prévias por parte dos alunos,

contribuindo desta forma, para possíveis ajustes no plano de ensino atual (COSTA;

FREITAS; MIRANDA, 2014). Ela pode ser realizada de várias formas, como questionários

com questões abertas ou fechadas, entrevistas, observações entre outras (SILVA; MATOS;

ALMEIDA, 2014).

24

Os principais aspectos da avaliação formativa, são expostas no quadro 1, com uma

descrição feita por vários autores.

Quadro 1 - A avaliação formativa conforme vários autores.

“é a modalidade avaliativa que acompanha

permanentemente o processo de ensino-aprendizagem,

sendo fundamental para a qualidade do mesmo”.

OLIVEIRA, et al., 2007,

p. 42.

“é realizada ao longo do processo, é contínua, e dá

parâmetros ao professor para verificar se os objetivos

foram alcançados, podendo interferir no que pode estar

comprometendo a aprendizagem”.

FREITAS, DA COSTA,

MIRANDA, 2014, p. 87.

“A avaliação formativa responde a uma concepção do

ensino que considera que aprender é um longo processo,

por meio do qual o aluno vai reestruturando seu

conhecimento a partir das atividades que executa”.

SILVA; MATOS;

ALMEIDA, 2014, p. 78.

“A formativa, como o próprio nome indica, intervém

durante a formação do aluno, e não quando se supõe que

o processo chegou ao término. Ela indica as áreas que

necessitam ser recuperadas, de forma que o ensino e o

estudo imediatamente subsequentes possam ser realizadas

de forma mais adequada e benéfica. A avaliação

formativa aplica-se àquelas unidades menores do

programa”.

BLOOM; HASTINGS;

MADAUS, 1983, p. 22.

“Avaliação Formativa é toda prática de avaliação

contínua que pretenda contribuir para melhorar as

aprendizagens em curso, qualquer que seja o quadro e

qualquer que seja a extensão concreta da diferenciação do

ensino”.

MENDES, 2008, p. 178.

“Na avaliação formativa, procura-se informações sobre o

desenvolvimento do processo de ensino-aprendizagem,

para adequá-lo às necessidades dos alunos. Nesse caso,

não há a finalidade de aprovar ou reprovar, pois busca-se

inventariar os conhecimentos dos alunos e orientá-los na

busca de soluções para os problemas detectados. O

professor pode, assim, regular o ritmo das atividades

propostas ou o tipo de estratégias empregadas para o

ensino”.

CURY, 2005.

“A função formativa da avaliação, numa perspectiva

ampla, supõe uma ação do avaliador em direção ao

desenvolvimento e crescimento do avaliado. A avaliação

formativa implica um processo não punitivo e excludente,

mas orientado por princípios éticos que compreende a

situação do professor e assiste o seu desenvolvimento”.

RIOS, 2006.

Fonte: Autor, 2018.

25

A avaliação formativa, é uma avaliação processual que é aplicada buscando

informações relevantes para a melhora da aprendizagem. Com essa avaliação, o professor

consegue reavaliar o processo e indicar ao aluno pontos fortes e fracos no seu conhecimento,

fazendo com que ele busque outras formas para alcançar os seus objetivos.

Já a avaliação somativa, é aplicada no final programa, sendo um juízo do rendimento

do aluno, levando em consideração seus resultados gerais (OLIVEIRA, 2007). Ou seja, na

avaliação somativa, é possível considerar os resultados parciais nas avaliações formativas.

Tem caráter classificatório e não é contínua, tendo como finalidade a tomada de decisão sobre

a promoção ou reprovação do aluno ao final do processo (SILVA; MATOS; ALMEIDA,

2014).

Nesse contexto, de acordo com Luckesi (2018) o uso de questões criadas e calibradas

poderá ser uma ótima ferramenta nos momentos que se pratica a investigação da qualidade do

desempenho do estudante. Elas podem ser utilizadas para definir um projeto de ensino

(diagnóstica), para ter ciência de como vem ocorrendo as aprendizagens dos alunos

(formativa) e para saber se efetivamente eles adquiriram as competências trabalhadas durante

o ensino (somativa). Segundo Silva, Matos e Almeida (2014), os momentos avaliativos não

devem ser vistos apenas como provas com questões abertas ou fechadas, mas como uma

oportunidade de análise das aprendizagens construídas pelos alunos.

2.2 TAXONOMIA DE BLOOM

A Taxonomia de Bloom foi originalmente criada em 1948 durante a convenção da

Associação Americana de Psicologia (APA), onde sob a liderança de Benjamin Bloom, um

grupo de psicólogos demonstrou o interesse na criação de um “quadro teórico de referência

que facilitasse a comunicação entre examinadores e estimulasse a pesquisa sobre avaliação,

estabelecendo uma articulação entre os envolvidos no processo de avaliar” (TEVISAN;

AMARAL, 2016, p. 451). Seu objetivo principal nesse sentido, foi a classificação de

objetivos de aprendizagem, estabelecendo critérios que busquem a objetividade durante o

processo avaliativo (AZEVEDO, 2017; TREVISAN; AMARAL, 2016).

Ela foi estruturada inicialmente em três diferentes domínios: Cognitivo, afetivo e

psicomotor.

O domínio cognitivo está relacionado com a memória e o desenvolvimento de

capacidades intelectuais; o domínio afetivo centra-se em objetivos relacionados com

interesses, atitudes e valores; e o domínio psicomotor centra-se em habilidades

motoras e de manipulação (COSTA; MIRANDA, 2017, p. 68).

26

No nível domínio cognitivo, a taxonomia de Bloom é estrutura em seis níveis

crescente de complexidade, significando que o aluno para adquirir uma nova habilidade,

precisa adquirir e dominar antes a habilidade de nível anterior, ou seja, o aluno apenas poderá

aplicar determinado conhecimento, se antes, ele tiver o conhecido e compreendido (FERRAZ;

BELHOT, 2017).

Nesse sentido, a taxonomia proposta não é apenas um esquema para classificação,

mas uma possibilidade de organização hierárquica dos processos cognitivos de

acordo com níveis de complexidade e objetivos do desenvolvimento cognitivo

desejado e planejado. (FERRAZ; BELHOT, p. 424, 2017).

Em 2001, foi apresentada uma revisão da taxonomia de Bloom, buscando um

equilíbrio entre a original e os novos desenvolvimentos na educação. Essencialmente, as

mudanças consistem na organização do conhecimento em forma matricial (Figura 2),

possibilitando a separação entre tipos de conhecimento (conteúdos) e processos cognitivos,

além da substituição de alguns nomes das categorias dos objetivos de aprendizagem, figura 3

(COSTA MIRANDA, 2017; FERRAZ; BELHOT, 2010).

Figura 2 - Exemplo da organização do conhecimento na forma matricial

Fonte: Autor (2018). Adaptado de: Ferraz e Belhot (2010, p. 429).

Figura 3 - Novos nomes das categorias de aprendizagem na Taxonomia de Bloom Revisada.

Fonte: Ferraz e Belhot (2010, p. 427).

27

Segundo Ferraz e Belhot (2010), a Taxonomia de Bloom é um instrumento facilitador

para planejamentos, avaliações e objetivos educacionais, sendo um suporte ao professor que

deseja acompanhar o desenvolvimento de seus alunos. Com ela, o professor pode verificar se

eles estão progredindo nos objetivos educacionais propostos, refletindo desta forma a

necessidade de mudanças estratégicas durante o percurso, seja no conteúdo, instrumentos de

avaliação ou metodologias, buscando assim uma aprendizagem significativa e autônoma de

seus alunos (OLIVEIRA; PONTES; MARQUES, 2016).

Nesse sentido, muitos estudos ainda são produzidos utilizando a Taxonomia de

Bloom, tanto a original quanto a revisada, como por exemplo: Oliveira, Pontes e Marques

(2016): “O Uso da Taxionomia de Bloom no Contexto da Avaliação por Competência”,

Trevisan e Amaral (2016): “A Taxionomia revisada de Bloom aplicada à avaliação: um

estudo de provas escritas de Matemática”, Silva e Martins (2014): “Análise de questões de

física do ENEM pela Taxonomia de Bloom Revisada”, Costa e Miranda (2017):

“Desenvolvimento e validação de uma prova de avaliação das competências iniciais de

programação”, entre outros.

Como nosso estudo incide sobre conceitos introdutórios de Estatística e uma

quantidade limitada de conteúdo, para a construção do produto educacional utilizaremos a

Taxonomia de Bloom original. Considerando esses aspectos, entendemos que o produto

educacional está sustentado no domínio cognitivo da taxonomia de Bloom Original, que é

dividido em seis níveis de aprendizagem: conhecimento, compreensão, aplicação, análise,

síntese e avaliação (FERRAZ; BELHOT, 2010). Esses níveis são representados de forma

hierárquica na Figura 4, onde cada nível de habilidade está associado a suas palavras-chave

que, de acordo com Ferraz e Belhot (2010), Azevedo (2017) e Oliveira e Pontes (2016), têm

as seguintes características:

a) conhecimento: Corresponde ao nível mais baixo do domínio cognitivo,

consistindo em resolver questões relembrando as informações previamente

aprendidas. Nessa fase da aprendizagem, espera-se que o aluno recorde

informações arquivadas em sua memória, de maneira a tratar algo simples e usual.

Principais verbos: Enumerar, descrever, listar, combinar, recordar, solucionar,

memorizar, ordenar, reproduzir, reconhecer, realçar;

b) compreensão: As questões avaliativas neste campo, se referem a habilidade de

compreender e dar significado ao conteúdo, utilizando-o em diferentes contextos.

Para isso, o aluno é capaz de traduzir o conteúdo com suas próprias palavras, por

28

meio da linguagem escrita e oral, diagramas, etc. Principais Verbos: Alterar,

construir, converter, descrever, estimar, dar exemplos, inferir, resolver, prever,

classificar, interpretar;

c) aplicação: É a utilização de informações, conteúdos e métodos aprendidos

anteriormente, em novas situações, procurando resolver problemas concretos. Para

que isso ocorra, o aluno deverá ter vencido os outros dois níveis anteriores

(conhecimento e compreensão), pois sem o conhecimento e sua compreensão,

como poderá haver efetivamente a aplicação? Segundo Pontes, Marques e Oliveira

(2016) “Compreender e saber aplicar os conteúdos estudados poderia ser um dos

objetivos para efetividade dos currículos escolares, esse é um dos desafios da

educação” (PONTES; MARQUES; OLIVEIRA, 2016, p. 18). Principais Verbos:

Aplicar, alterar, programar, desenvolver, descobrir, interpretar, manipular,

organizar, prever, resolver, construir, esboçar, praticar;

d) análise: Nesse nível cognitivo, procura-se verificar no aluno a habilidade de

subdividir o conteúdo em partes menores, a fim de entender suas relações entre si e

a forma de como se organizam. O aluno identifica as partes, analisa seus

relacionamentos e reconhece a estrutura do objeto estudado. Principais verbos:

Analisar, comparar, contrastar, deduzir, diagramar, distinguir, identificar, apontar,

inferir, relacionar, separar, subdividir, examinar, discriminar, questionar;

e) síntese: Habilidade de combinar partes não organizadas com a finalidade de criar

algo novo. Nesse aspecto, o aluno aplica seus conhecimentos e competências

adquiridas previamente, na resolução, construção ou elaboração de uma nova

informação. Nesse nível cognitivo, é oportunizado ao aluno desenvolver um

comportamento criador. Principais verbos: Categorizar, combinar, compor, criar,

construir, elaborar, reescrever, inventar, modificar, sistematizar, reorganizar,

estruturar, revisar;

f) avaliação: Nesse último nível cognitivo, espera-se que o aluno domine todos os

outros anteriores, e seja capaz de julgar o valor de ideias, trabalhos, soluções,

métodos, resoluções entre outros, objetivando um propósito específico. A

avaliação pode ser qualitativa ou quantitativa. É baseada em critérios previamente

definidos pelo próprio aluno ou por outros. Principais verbos: Avaliação, escolher,

comparar, concluir, criticar, contrastar, decidir, discriminar, explicar, validar,

justificar, interpretar.

29

Figura 4 - A taxonomia de Bloom Original.

Fonte: Autor (2018). Adaptado de: Ferraz e Belhot (2010, p. 424).

2.3 BANCO DE QUESTÕES

Um banco de questões é uma coleção de itens e pode ser visto como uma base de

dados (repositório) que tenha uma parte descritiva (enunciados, respostas, distratores,

gabaritos, entre outros) e uma psicométrica, que procura mostrar os indicadores e parâmetros

da sua qualidade (AZEVEDO, 2017; RODRIGUES, 2016). Cada questão que pertence a um

repositório, está associada a um descritor que procura definir um certo número de

características, como dificuldade, nível acadêmico, competências etc. Desta maneira, “um

bom banco de itens deve ter, em seu acervo, itens diversificados ao máximo, de modo a

satisfazer as demandas de várias naturezas, tais como níveis de dificuldade, níveis de

discriminação e enunciados apropriados aos hábitos, costumes e características regionais”

(RODRIGUES, p. 36, 2016).

Um banco de questões é calibrado quando seus itens foram utilizados em um teste-

piloto, e os resultados analisados pela TRI, procurando indicar os parâmetros de

discriminação, dificuldade e acerto ao acaso. De acordo com Rodrigues (2016) “um banco de

itens é considerado bem calibrado se as estimativas dos parâmetros dos itens forem adequadas

e seus respectivos erros padrões forem baixos” (RODRIGUES, p. 36, 2016).

Um exemplo de banco de questões aplicado em Estatística, é o projeto LOCUS

(Níveis de Compreensão Conceitual em Estatística) da universidade da Flórida (EUA). Esse

projeto busca a criação de avaliações confiáveis para a compreensão conceitual e não

APLICAÇÃO

ANÁLISE

SÍNTESE

AVALIAÇÃO

Enumerar - descrever - listar - combinar recordar - solucionar - memorizar - ordenar

reproduzir - reconhecer - realçar

Alterar - construir - converter - descrever - estimar - dar exemplos - inferir - resolver

prever - classificar - interpretar

Aplicar - alterar - programar - desenvolverdescobrir - interpretar- manipular - organizar

prever - resolver - construir - esboçar - praticar

Analisar - comparar - calcular - deduzirdiferenciar - ilustrar - relacionar - subdividir discriminar - examinar - testar - questionar

categorizar - combinar - conceber - criar elaborar - generalizar - inventar - modificar

propor - relacionar - montar - sistematizar - projetar

Avaliar - averiguar - comparar - concluircriticar - defender - explicar - resolver

validar - julgar - selecionar

Nív

el C

on

gitiv

o

CONHECIMENTO

COMPREENSÃO

30

processual em estatística, ou seja, avaliações que consideram apenas a resposta final do item,

e não sua resolução passo-a-passo (WHITAKER; FOTI; JACOBBE, 2015). Nesse projeto,

foram aplicadas questões de múltiplas escolhas a 3400 alunos do ensino fundamental ao

médio em seis estados norte-americanos. Essas questões foram divididas em dois níveis:

Inicial/Intermediário e Intermediário/Avançado. Buscando sua validade e confiabilidade, a

equipe do LOCUS utilizou em suas análises a Teoria da Resposta ao Item e Análises Fatoriais

Confirmatórias (WHITAKER; FOTI; JACOBBE, 2015).

2.3.1 A elaboração de itens

A elaboração dos itens, é uma das fases mais importantes para a avaliação, e criação

de um Banco de Itens. Sua qualidade é justificada por sua eficácia em medir o nível real de

domínio em determinada habilidade ou competência que o respondente se encontra

(RODRIGUES, 2016). Desta forma, é importante avaliar sua qualidade, e saber até que

ponto, pode-se confiar em seus resultados. Como a TCT se preocupa em medir o teste (ou

escore final), temos na TRI os parâmetros de discriminação (a), dificuldade (b) e acerto ao

acaso (c) que procuram atestar a fidedignidade do item (AZEVEDO, 2017).

Para isso, na elaboração de cada item do produto educacional, seguimos as diretrizes

apresentadas nos estudos de Azevedo (2017), Rodrigues (2016) e do Guia de elaboração e

revisão de itens ENADE (2011). Cada item (questão) foi escrito no formato de múltiplas

escolhas, com cinco alternativas, onde apenas uma é a verdadeira.

Os elementos que constituem cada item, são apresentados na Figura 5, e são eles:

Texto-base: É o texto que procura motivar a situação problema, pode ser um desafio

que leve o aluno a um contexto reflexivo, instigando-o a tomar decisões. Para isso, podem ser

utilizados elementos textuais, figuras, gráficos, tabela, diagramas, ou qualquer elemento que

comunique uma ideia.

Enunciado: É a instrução (comando) que o aluno deverá executar. Deve ser redigido

de forma clara e objetiva, podendo ser expresso por meio de uma pergunta, uma frase a ser

completada ou respondida pela alternativa correta. É no enunciado que se determina o nível

cognitivo que se procura avaliar, desde níveis mais básicos (conhecimento, compreensão) até

mais complexos, como síntese e avaliação.

Alternativas: São as opções de respostas à situação problema apresentada, sendo

divididas em gabarito (a única alternativa correta) e distratores (alternativas incorretas).

31

Gabarito: De acordo com BRASIL (2011), é incontestavelmente a única alternativa

correta, que concretiza o domínio da habilidade que se procura identificar no respondente. É

escrita de forma a não se tornar atrativa em relação aos distratores.

Distratores: São as alternativas incorretas. Devem ser escritas com aparência de

resposta correta, porém inquestionavelmente incorreta. São alternativas plausíveis, que

parecem corretas aos participantes que não desenvolveram as habilidades propostas pela

questão. Segundo Rodrigues (2016) “geralmente, os distratores são os erros e distrações mais

comuns na abordagem de um conceito ou técnica relativos à competência avaliada”

(RODRIGUES, 2016, p. 38). Os distratores não devem retratar erros grosseiros ou

alternativas absurdas, que induzam o respondente ao erro.

Justificativas: São formuladas separadamente para cada alternativa, indicando tanto a

resposta correta quanto as incorretas, oferecendo desta maneira, as justificativas que permitem

compreender o erro ou acerto na resolução da situação-problema.

Figura 5 - Elementos que constituem cada item.

Fonte: BRASIL (2017, p. 19).

2.3.2 Tipos de itens de múltipla escolha

Seguindo as diretrizes do Guia de elaboração e revisão de itens ENADE (2011), as

questões de múltiplas escolhas são classificadas da seguinte forma:

Complementação simples: São as questões onde o enunciado desse ser completado

nas alternativas propostas. Na figura 6, exemplificamos esse tipo de questão.

32

Figura 6 - Exemplo de item de complementação simples.

Fonte: LOCUS. Disponível em: https://locus.statisticseducation.org/professional-

development/questions/analyze-data?type=prodev_multiple_choice_question&page=6. Acesso em: 15 nov 2018,

tradução nossa.

Interpretação: Esses tipos de itens (Figura 7), são formulados a partir de uma

situação que procure estimular no respondente, a organização de ideias, dados ou informações

para sua resolução. São utilizados para isso, textos, tabelas, gráficos, quadros, diagramas,

figuras e mapas.

Figura 7 - Exemplo de item de interpretação.

Fonte: LOCUS. Disponível em: https://locus.statisticseducation.org/professional-

development/questions/analyze-data?type=prodev_multiple_choice_question&page=10. Acesso em: 15 nov

2018, tradução nossa.

33

Resposta múltipla: São apresentadas ao respondente conforme figura 8, três ou

quatro afirmações relacionadas ao texto-base que deverão ser analisadas e julgadas,

verificando desta forma a coesão e coerência entre estas estruturas. Geralmente esse tipo de

item, exige do aluno, operações intermediárias da Taxonomia de Bloom, como Aplicar e

Analisar.

Figura 8 - Exemplo de item de resposta múltipla.


Asserção-razão: Questões desta forma, são constituídas de duas asserções, conectadas

pela palavra PORQUE, sendo a segunda a razão ou justificativa da primeira (Figura 9). Ou

seja, no processo de resolução, o respondente deverá analisar o texto base, julgando a

veracidade das asserções e procurar verificar se há uma relação de causalidade entre elas.

Esses tipos de itens costumam ser mais complexos, sendo classificados como questões de

nível difícil.

34

Figura 9 - Exemplo de item de asserção-razão.


35

3 MODELOS PSICOMÉTRICOS APLICADOS EM EDUCAÇÃO

Neste capítulo iremos abordar os dois principais modelos aplicados em psicometria2: a

Teoria Clássica dos Testes (TCT) e a Teoria da Resposta ao Item (TRI).

3.1 A TEORIA CLÁSSICA DOS TESTES (TCT)

A TCT, baseia-se em um conjunto de técnicas e conceitos relacionados, que tem sido

utilizada como base para o desenvolvimento de numerosos instrumentos de medidas, e como

ponto de referência para abordagens não só na educação, mas em diversas áreas do

conhecimento, procurando estudar a influência do erro de medida na determinação dos

escores verdadeiros de um teste. (DEVELLIS, 2006; MAIA, 2009).

Tradicionalmente a avaliação do desempenho dos alunos em um teste, por exemplo, se

baseia na quantidade total de itens respondidos corretamente, obtendo desta forma o escore

total do teste. A TCT, procura interpretar o significado desse escore, verificando desta forma,

a qualidade do teste aplicado (QUARESMA, 2014; MAIA, 2009).

Nesse contexto, de acordo com Andrade e Borgatto (2012), a análise clássica dos itens

de um teste, baseia-se em seus parâmetros descritivos, auxiliando na interpretação da

distribuição das respostas em cada alternativa do item. Ainda segundo os autores, as

propriedades psicométricas de cada item em um teste, são dados pelos seguintes parâmetros:

Índice de Dificuldade; Índice de Discriminação, Correlação Bisserial e Coeficiente Alfa de

Cronbach (ALMEIDA; SANTOS; COSTA, 2010; QUARESMA, 2014).

3.1.1 Índice de dificuldade

É a proporção de participantes que responderam o item corretamente, analisando desta

forma o grau de dificuldade de cada item por meio da porcentagem de acertos. Quanto menor

a porcentagem de acerto de cada item, maior será seu grau de dificuldade. O índice de

dificuldades varia entre zero (0), quando nenhum individuo acertou a questão e um (1),

quando todos os indivíduos acertaram a questão (AMARAL; HENNING; KNÜPFER, 2016).

2 “De um modo geral, a psicometria procura explicar o sentido que têm as respostas dadas pelos

sujeitos a uma série de tarefas, tipicamente chamadas de itens” (PASQUALI, 2009, p. 993).

36

De acordo com Pasquali (2013), para que uma avaliação educacional tenha nível de

dificuldade ideal, é preciso que seus índices de dificuldades estejam distribuídos de acordo

com uma curva normal, conforme tabela 2:

Tabela 1 - Classificação e percentuais esperados para os índices de dificuldade na TCT.

% esperada de

itens na prova

Índice de dificuldade do

item (d)

Classificação da

dificuldade do item

10% 0,9d Muito fácil

20% 0,7 0,9 d Fácil

40% 0,3 0,7 d Médio

20% 0,1 0,3 d Difícil

10% 0,1d Muito difícil

Fonte: Adaptado de Pasquali (2013, p. 129).

Porém, para Sartes e Formigoni (2013), o número de respostas omitidas e a

probabilidade de um indivíduo responder corretamente o item ao acaso, podem influenciar a

interpretação do índice de dificuldade. Desta forma, “se um grande número de indivíduos não

responder ao item por falta de tempo, o índice de dificuldade não será avaliado corretamente”

(SARTES; FORMIGONI, 2013, p. 243).

3.1.2 Índice de discriminação

Mede a capacidade do item em diferenciar os participantes com maior desempenho

(alta pontuação) daqueles de menor desempenho (baixa pontuação). De acordo com Sartes e

Formigoni (2013), utiliza-se a divisão dos indivíduos em dois grupos: 27% que obtiveram os

escores mais altos e os 27% que obtiveram os escores mais baixos. O índice de discriminação

é dado pela diferença entre o índice de dificuldade do primeiro grupo e a do segundo grupo,

variando entre [-1;1]. Segundo Andrade e Borgatto (2012), espera-se que para um item com

boa qualidade, a porcentagem de acerto seja maior para o grupo com a maior pontuação, e

quanto maior a diferença entre as porcentagens de acertos dos dois grupos, maior será a

discriminação do item.

Em uma avaliação educacional, de acordo com Vilarinho (2016), espera-se que o

poder de discriminação do item seja maior de 0,40, como mostra a tabela 3:

37

Tabela 2 - Classificação dos itens de acordo com sua discriminação.

Valores Classificação

Discriminação < 0,20 Ineficiente: Deve ser rejeitado ou

revisado completamente.

0,20 ≤ Discriminação < 0,30 Necessita revisão.

0,30 ≤ Discriminação < 0,40 Aceitável, mas sujeito a aprimoramento.

Discriminação ≥ 0,40 Adequado, devendo permanecer no

teste. Fonte: Adaptado de Arias, Lloreda e Lloreda (2013, p. 88).

3.1.3 Correlação bisserial

É uma medida de associação entre o desempenho do indivíduo no item e o seu

desempenho no teste, avaliando a contribuição que um item tem na discriminação dos

respondentes. Conforme Rodrigues (2016, p. 61): “O coeficiente de correlação bisserial avalia

como o escore total do teste se relaciona com uma variável latente supostamente responsável

pelo desempenho do avaliado”. O coeficiente bisserial (rbis) equação 3.1, varia no intervalo (-

1,1), onde valores negativos e próximos a zero, indicam que os indivíduos com melhores

desempenhos, estão errando o item, ou seja, o item tem baixa discriminação em relação ao

resultado final do teste (VILARINHO, 2015).

1bis

p pM Mr

S h p

, (3.1)

M + é a média dos escores dos alunos que acertaram o item; M – é a média dos escores dos

alunos que erraram o item; S o desvio padrão dos escores no teste para todos os alunos; p

índice de dificuldade do item e h(p) é o valor da densidade da distribuição normal com média

0 e variância 1 no ponto em que a área da curva à esquerda deste ponto é igual a p.

Espera-se que o gabarito do item (questão correta), apresente correlação positiva, e que

seus distratores (questões erradas), valores negativos. Desta forma, podemos afirmar que os

alunos de melhor desempenho no teste, estão acertando o item (VILARINHO, 2015).

38

3.1.4 Confiabilidade

Um teste é válido, quando mede o que se deseja medir. Nesse sentido, para ser válido,

ele deve ser confiável. Um teste se torna confiável, quando seu escore reflete o escore

verdadeiro (ALMEIDA; SANTOS; COSTA, 2010; KLEIN, 2013). Segundo Richardson

(2015), a validade de um instrumento, como um banco de questões, “pode ser assegurada pela

identificação de diversos indicadores, justificando-se sua relação com os conceitos que serão

medidos” (RICHARDSON, 2015, p. 87).

Um dos principais indicadores de confiabilidade, que procura estimar a precisão de um

instrumento de avaliação, é o coeficiente alfa de Cronbach (equação 3.2), que pode ser

conceituado como “a medida pela qual algum constructo, conceito ou fator medido está

presente em cada item” (ALMEIDA; SANTOS; COSTA, 2010, p. 5).

2 2

1

21

k

x i

i

x

SSk

k S

, (3.2)

2

iS é a variância relacionada a cada item i; 2

xS é a variância da soma das respostas (escore) de

cada respondente e k um fator de correção.

O coeficiente alfa de Cronbach varia no intervalo [0;1], de modo que valores mais

próximos de 1, indicam maior confiabilidade do item, ou instrumento, de outra forma, valores

mais próximos de 0, indicam menor confiabilidade.

De acordo com Almeida, Santos e Costa (2010), o valor mínimo aceitável em

avaliações educacionais para o alfa é 0,70. Abaixo desse valor, indica uma baixa

confiabilidade do instrumento. Por sua vez, valores acima de 0,90, indicam questões

redundantes ou duplicadas, sendo necessário eliminá-las.

3.2 A TEORIA DE RESPOSTA AO ITEM - TRI

Originalmente a TRI foi desenvolvida na década de 1940 para suprir limitações que a

TCT apresentava, melhorando desta forma, a qualidade da avaliação da estrutura de testes

(SARTES; FORMIGONI, 2013; ARAÚJO; ANDRADE; BORTOLOTTI, 2009). Segundo

39

Andrade, Laros e Gouveia (2010), a TCT não foi abandonada, mas ainda é utilizada associada

a TRI, procurando fornecer desta forma informações adicionais em suas análises.

A TRI fornece modelos matemáticos, que objetivam avaliar traços latentes, analisando

para isso, individualmente cada item em um teste (ARAÚJO; ANDRADE; BORTOLOTTI,

2009). Segundo Azevedo (2017), procura-se em várias situações, como em uma avaliação,

medir uma variável de interesse, como por exemplo, a habilidade de resolver uma equação.

Afirma-se que essa variável, representa um traço latente, ou seja, uma característica não

observável de um indivíduo.

Ainda segundo Azevedo (2017), o objetivo da TRI é medir o quanto do traço latente, o

examinando possui, que representamos pela letra . Para cada nível de habilidade (traço

latente), há uma probabilidade P , de o examinando dar a resposta correta, e essa

probabilidade é proporcional ao traço latente dos examinandos (AZEVEDO, 2017).

De acordo com Arias, Lloreda e Lloreda (2006) a TRI se fundamenta em dois pontos.

O primeiro é o desempenho de um examinando em um item de um teste, pode ser previsto, ou

explicado, através de um conjunto de fatores que ele possui chamado traços latentes. Por

exemplo, em um teste sobre estatística, o que se observa é o escore obtido pelo respondente

(componente observável), que depende do conjunto de seus conhecimentos (componente não

observável) ou traços latentes que ele possui sobre determinado assunto.

De uma forma geral, segundo Arias, Lloreda e Lloreda (2003, p. 128) “o traço latente

pode ser qualquer atributo ou construto em que se manifestem diferenças individuais, tais

como rendimentos acadêmicos, variáveis de personalidade, atitudes, interesses, etc.”.

O segundo ponto de fundamentação da TRI, é a relação entre desempenho do

respondente em um item e o conjunto dos traços latentes responsáveis pelo seu rendimento,

pode ser descrito através de uma função monótona crescente, chamada Função de

Característica do Item ou Curva Característica do Item (CCI).

Uma CCI é o gráfico de P , que relaciona a probabilidade do respondente dar uma

resposta correta em um item, com a habilidade medida pelo teste e com as características da

questão, ou seja, seus parâmetros (AZEVEDO, 2017). Graficamente essa função possui a

seguinte forma (Figura 10):

40

Figura 10 - Exemplo de CCI do item.


Uma das diferenças que permitem distinguir os diversos modelos da TRI, é o número e

o tipo de parâmetros do item, que afetam o desempenho do respondente. Segundo Pasquali

(2013), há três modelos que se distinguem através do número de parâmetros utilizados para

descrever os itens e que são apropriados apenas para itens dicotômicos:

Modelo Logístico de um parâmetro;

Modelo Logístico de dois parâmetros;

Modelo Logístico de três parâmetros.

3.2.1 Modelo logístico de um parâmetro

Nesse modelo da TRI, considera-se que apenas a dificuldade influencia o desempenho

do respondente (HAMBLETON; SWAMINATHAN; ROGERS, 1991). Desta forma, cada

questão do teste é membro de uma família de curvas, dada pela equação (3.3).

, 0 , 1,2,3,..., .

1

i

i

b

i ib

eP b i n

e (3.3)

41

iP é a probabilidade de que um respondente escolhido aleatoriamente, com habilidade ,

responda corretamente a questão i ; ib é a dificuldade da questão i ; n é o número de

questões do teste;e é o número de Euler (e = 2,718...).

Segundo Maia (2009), uma característica importante desse modelo na CCI é que seu

ponto de inflexão ocorre quando ib , ou seja, quando o nível de dificuldade do item for

igual ao nível de habilidade do respondente. Em outras palavras, o parâmetro ib para cada

item, é o ponto na escala de habilidade onde a probabilidade de uma resposta correta é 0,5

(equação 3.4).

0

0

10,5

211

i

i

b

i b

e eP

ee

(3.4)

Quanto maior o valor do parâmetro ib , mais habilidade será necessária para que um

respondente tenha 50% de probabilidade para acertar o item (Figura 11). Os itens mais

difíceis estão localizados a direta, ou na extremidade superior da escala de habilidade. Itens

fáceis, estão localizados abaixo ou, na parte inferior da escala (HAMBLETON;

SWAMINATHAN; ROGERS, 1991).

Figura 11 - Exemplo de CCI de um parâmetro.


42

3.2.2 Modelo logístico de 2 parâmetros

O modelo logístico de 2 parâmetros da TRI, considera a dificuldade ib e a

discriminação ia dos itens que influenciam no desempenho do respondente (HAMBLETON;

SWAMINATHAN; ROGERS, 1991). Assim, cada questão do teste é membro de uma família

de curvas, dada pela equação (3.5):

1, 1,2,3,...,

1 1

i i

i i i i

Da b

i Da b Da b

eP i n

e e

(3.5)


responda corretamente a questão i ; ib é a dificuldade da questão i ; D é um fato de escala

para tornar a função logística mais próxima da curva Normal. Para 1,7D , os valores de

iP normal difere do logístico em menos de 0,001 para todos os valores de

(HAMBLETON; SWAMINATHAN; ROGERS, 1991); ia é a discriminação da questão i ; n

é o número de questões do teste; e é o número de Euler (e = 2,718...).

O modelo logístico de 2 parâmetros é uma generalização do modelo logístico de um

parâmetro, mantendo seus aspectos em relação a habilidade , a probabilidade iP , ao

parâmetro ib e a CCI. Em relação ao parâmetro de discriminação do item ia , ele é

proporcional a inclinação da reta tangente a CCI no ponto ib (que é um ponto de inflexão) na

escala habilidade (Figura 12).

De acordo com Azevedo (2017), os itens cuja discriminação ia seja mais elevada

(maior inclinação), são mais úteis para separar os respondentes com diferentes níveis de

habilidade do que os itens com menor discriminação ia .

Ainda segundo o autor, os itens com discriminação ia negativas, devem ser rejeitados,

pois a probabilidade do respondente acertar, diminui em relação a sua habilidade.

43

Figura 12 - Exemplo de CCI com 2 parâmetros.


Na figura 12, podemos observar que, embora o gráfico do item 2 tenha um índice de

dificuldade maior que o item 1 (b2 > b1), esse item é menos discriminativo (a2 < a1), pois sua

inclinação é menor em relação ao item 2.

3.2.3 Modelo logístico de 3 parâmetros

Para o modelo logístico de 3 parâmetros da TRI, segundo Hambleton, Swaminathan e

Rogers (1991), além da dificuldade ib e da discriminação ia , considera-se também o

parâmetro de acerto ao acaso ic , que influencia também o desempenho do respondente.

Desta forma, cada questão do teste é membro de uma família de curvas, dada pela equação

(3.6):

1 , 1, 2, 3,...,

1

i i

i ii i

Da b

i Da bc

eP c i n

e

(3.6)


responda corretamente a questão i ; ib é a dificuldade da questão i ; D é um fato de escala

para tornar a função logística mais próxima da curva Normal. Para 1,7D , os valores de

44

iP normal difere do logístico em menos de 0,001 para todos os valores de

(HAMBLETON; SWAMINATHAN; ROGERS, 1991); ia é a discriminação da questão i ;

ic é o nível de acerto casual da questão i ; n é o número de questões do teste; e é o número

de Euler (e = 2,718...)

Na figura 13, podemos verificar o “tamanho do chute” ic , que é o valor da ordenado

onde a CCI corta o eixo P .

Figura 13 - Exemplo de CCI com 3 parâmetros.


No entender de Maia (2009), o modelo logístico de 3 parâmetros é o mais geral. Caso

o valor de ic seja igual a zero, ou seja, não houver acerto do item ao acaso, o modelo de

três parâmetros se transforma no de dois parâmetros. Caso o valor de ia for constante e

igual a 1, para todos os itens, se obtém o modelo de um parâmetro.

3.2.4 Condições para aplicação da TRI: unidimensionalidade e independência local

No entender de Azevedo (2017), apenas uma habilidade do respondente pode ser

medida na resolução dos itens de um teste. Essa suposição é chamada de

unidimensionalidade. Porém, Pasquali (2013) chama a atenção que essa suposição, não pode

45

ser atendida estritamente, pois vários fatores cognitivos e de personalidade, por como

exemplo, motivação, ansiedade, capacidade de responder rapidamente e o próprio “chute”

podem afetar no desempenho do respondente.

Nesse contexto, a TRI postula haver uma habilidade dominante (traço latente)

responsável pelo conjunto de itens, e que os desvios em relação a traços secundários na

interpretação dos escores de um teste, são suficientemente pequenos (PASQUALI, 2013).

Segundo Maia (2009), a determinação da dimensionalidade é um desafio para a TRI,

pois não há consenso por partes dos pesquisadores quanto aos métodos utilizados. Desta

forma, segundo Pasquali (2003, p. 117) “a TRI não demostra a unidimensionalidade, ela a

supõe”. Mesmo diante do exposto, tradicionalmente é utilizado a técnica de análise fatorial a

partir da matriz de correlações tetracóricas para se verificar a dimensionalidade dos itens

(ANDRADE; VALLE, 1998).

Outra condição é a independência local, que basicamente significa que a probabilidade

de um sujeito responder corretamente a um item, não é afetada pelas suas respostas nos outros

itens do mesmo teste (ARIAS; LLOREDA; LLOREDA, 2014). No entender de Andrade,

Laros e Gouveia (2010), a probabilidade de um sujeito responder corretamente a um item,

depende unicamente dos parâmetros de cada item e de sua habilidade. Mantendo-se constante

sua habilidade, suas respostas a um conjunto de itens, são estatisticamente independentes.

Segundo Pasquali (2013), é improvável que um sujeito, ao responder diversos itens de

um mesmo teste, não seja influenciado por fatores secundários – além do fator dominante

(traço latente). Porém, a independência local afirma que se, esses outros fatores forem

mantidos constantes, o traço latente será a única fonte de variação e as respostas do sujeito, e

os itens do teste, serão estatisticamente independentes. Desta forma, segundo Arias, Lloreda e

Lloreda (2014), quando a unidimensionalidade for comprovada, a independência local é

obtida e, nesse sentido, as suas suposições são equivalentes.

46

4 TÓPICOS EM ESTATÍSTICA DESCRITIVA

Neste capítulo traremos o aporte em Estatística Descritiva que foi utilizado na

elaboração dos itens do produto educacional.

4.1 ESTATÍSTICA DESCRITIVA

A palavra Estatística, muitas vezes pode estar associada apenas a números. Porém, seu

significado vai muito além: “Estatística é a ciência que fornece os princípios e os métodos

para coleta, organização, resumo, análise e interpretação de dados” (VIEIRA, 2011, p. 3).

Neste capítulo faremos uma breve exploração dos conceitos estatísticos que utilizamos na

criação e elaboração dos itens do banco de questões. Para isso, nos embasamos com os

seguintes autores: Larson e Farber (2016), Bussad e Morettin (2010) e Vieira (2011).

4.1.1 Tipos de variáveis

Há dois conceitos fundamentais em Estatística: População e Amostra. Segundo Vieira

(2011, p. 4): “População ou universo é o conjunto de unidades sobre o qual desejamos obter

informação. Amostra é todo subconjunto de unidades retiradas de uma população para obter a

informação desejada.” Os elementos que compões a amostra, deverão ser selecionados de

modo apropriado para que as conclusões são sejam distorcidas, ou seja, ela deve ser

“representativa de uma população de modo que seus dados possam ser usados para tirar

conclusões sobre aquela população” (LARSON; FARBER, 2016, p. 3) A característica

estudada na população e amostra é chamada de variável. Essa variável de interesse (Figura

14), pode ser classificada em:

47

Figura 14 - Classificação de uma variável

Fonte: Adaptado de Bussab e Morettin (2010, p. 10).

Variável Qualitativa: Quando os dados consistem em atributos ou qualidades. Como

por exemplo: Cor dos olhos, tipo sanguíneo, escolaridade, etc.

Variável Quantitativa: É a variável que é expressa por meio de um número.

Variável Qualitativa Nominal: Quando os dados são distribuídos em categorias,

indicadas em qualquer ordem. São exemplos de variáveis nominais: cor dos cabelos (loiro,

ruivo, preto, castanho), gênero (masculino, feminino), etc.

Variável Qualitativa Ordinal: Quando os dados são distribuídos em categorias que

têm ordenação natural, como por exemplo: Escolaridade (primeiro grau, segundo grau,

terceiro grau), classe social (A, B, C, D, E), etc.

Variável Quantitativa Discreta: São as variáveis cujos “valores formam um conjunto

finito ou enumerável de números, e que resultam, frequentemente, de uma contagem.”

(BUSSAD; MORETTIN, 2010, p. 10). Como por exemplo: Número de filhos (0, 1, 2, ...).

Variável Quantitativa Contínua: São aquelas que assumem qualquer valor real num

dado intervalo. Exemplos: Peso, tempo de espera, estatura, etc.

4.1.2 Construindo tabelas

Uma vez obtidos os dados de interesse, há a necessidade de representá-los de forma

clara, ordenada e resumida (Tabela 4). Para isso, utilizamos tabelas, que devem ser

construídas de acordo com as normas técnicas do IBGE – Fundação Instituto Brasileiro de

48

Geografia e Estatística 3 . As tabelas devem ser colocadas perto do texto em que são

mencionadas pela primeira vez. Os elementos fundamentais das tabelas são: Título, corpo,

cabeçalho e coluna indicadora. O título explica o que a tabela contém. O corpo é formado

pelos dados, em linhas e colunas. O cabeçalho especifica o conteúdo das colunas, a coluna

indicadora especifica o conteúdo das linhas.

Toda tabela é delimitada por linhas horizontais, mas não verticais. Os traços verticais

podem ser utilizados apenas para separar colunas. O cabeçalho deve ser separado do corpo da

tabela por um traço horizontal. Outros elementos importantes na tabela são suas fontes e

notas. Fonte é a entidade, ou pesquisador que publicou ou forneceu os dados. As notas

esclarecem os aspectos relevantes do levantamento dos dados ou sua apuração.

Tabela 3 - Exemplo de tabela com seus elementos.

Fonte: Bussab e Morettin (2010, p. 12).

4.1.3 Tabelas de distribuição de frequências

Quando um conjunto de dados tem muitos valores, é difícil identificar certos padrões.

Nesse caso, devemos organizar os dados, agrupando-os em intervalos (classes) e formando

uma distribuição de frequências, que segundo Larson e Farber (2016): “É uma tabela que

mostra classes ou intervalos dos valores com a contagem do número de ocorrências em cada

3 Disponível em: https://biblioteca.ibge.gov.br/visualizacao/livros/liv23907.pdf Acesso: 15 set. 2018.

49

classe ou intervalo. A frequência f de uma classe é o número de ocorrências de dados na

classe.” (LARSON; FARBER, 2016, p. 37).

Abordamos a seguir, alguns conceitos importantes para elaboração e análise das

tabelas de distribuição de frequências para valores pontuais e agrupados por classes.

Dados Brutos: São os dados originais obtidos durante a coleta e que não foram

organizados numericamente.

Rol: São os dados brutos organizados em ordem crescente ou decrescente.

Amplitude Total (AT): É a diferença entre valor máximo e mínimo observado da

variável de interesse.

Frequência Absoluta (fa): É o número total de vezes que cada elemento se repete na

amostra, ou o número de elementos pertencentes a uma classe.

A soma das frequências absolutas é igual ao tamanho da amostra (n).

af n (4.1)

Frequência Relativa (fr): É a razão entre a frequência absoluta (fa) e o total de

observações (n).

ar

ff

n (4.2)

Para expressar esse resultado em termos percentuais, basta multiplicarmos o resultado

em (1.2) por 100.

A soma das frequências relativas dever ser igual a 1 ou 100%.

1

a

r

f nf

n n (4.3)

Frequência Absoluta Acumulada (Fa): É a soma das frequências absolutas de certa

classe com as frequências absolutas anteriores a ela.

Frequência Relativa Acumulada (Fr): é a soma das frequências relativas de certa

classe com as frequências relativas anteriores a ela.

4.1.4 Distribuição de frequências pontuais

É a tabela de distribuição para valores que aparecem individualmente, geralmente

utilizada para representar variáveis discretas ou para representar dados qualitativos (Tabela 5).

50

Tabela 4 - Tabela de distribuição de frequências pontuais.


4.1.5 Distribuição de frequências por classes

É a tabela indicada para representar dados contínuos que apresentam muitos valores.

Nessa tabela os dados aparecem agrupados por intervalos – classes. A tabela 6 apresenta um

exemplo de tabela de distribuição de frequências por classes.

Tabela 5 - Tabela de distribuição de frequência por classes.


O símbolo Ⱶ indica a inclusão do limite a esquerda e a exclusão do limite a direita na

frequência dessa classe. Para construção de uma tabela de distribuição de frequências por

51

classe, apresentamos os seguintes conceitos, que completam os outros anteriormente

apresentados.

Número de classes (k): Podemos utilizar duas regras para determinação do número de

classes:

a) Regra de Sturges: 1 3,3log i n , onde n é o tamanho da amostra.

b) i = 5 para 25n e i n para n > 25.

Amplitude das Classes (h): É a razão entre a amplitude total (AT) e o número

de classes (k):

AT

hh

(4.4)

4.1.6 Medidas de tendência central

Muitas vezes desejamos resumir um conjunto de dados, apresentando um valor que

seja representativo a toda série. Esses valores, são conhecidos como Medidas de Tendência

Central, que de acordo com Larson e Farber (2016): “representa uma observação típica ou

central de um conjunto de dados. As três medidas de tendência central mais comumente

usadas são a média, a mediana e a moda.” (LARSON; FARBER, 2016, p. 64).

Média amostral ( X ): É a soma dos valores dos dados dividida pelo número de

observações.

x

Xn

(4.5)

Mediana (Md): É o valor que ocupa a posição central de uma série de observações

ordenadas em ordem crescente, dividindo em duas partes com quantidades iguais de valores.

Quando o conjunto de dados tem um número ímpar de observações, a mediana será o

elemento do meio. Caso o conjunto tenha uma quantidade par de elementos, a mediana será a

média dos dois elementos que ocupam as posições centrais.

Moda (Mo): É definida como o termo que tem a maior frequência no conjunto de

dados observados. Uma série pode ter uma moda, mais de uma moda (bimodal, polimodal) ou

nenhuma moda (amodal), quando todos os elementos do conjunto tiverem a mesma

frequência. Na figura 15 abaixo, apresentamos a média, mediana e moda localizada em um

histograma.

52

Figura 15 - A média, mediana e moda.

Fonte: Larson e Farber (2016, p. 72).

4.1.7 Medidas de dispersão

Uma única medida de posição central, esconde toda a informação sobre variabilidade

do conjunto observado ao redor dela. Nesse sentido, é essencial criar medidas de expressem a

dispersão dos dados ao redor de uma medida central de referência, que no caso é a média. Se

os dados estiverem próximo a média, dizemos que a distribuição tem pouca dispersão. Caso

os dados estejam dispersos, longe em relação à média, a dispersão é grande. Apresentaremos a

seguir as medidas de dispersão mais utilizadas: Variância, Desvio Padrão e Coeficiente de

Variação (LARSON; FARBER, 2016).

Desvio Padrão (S): Para calcularmos o Desvio Padrão Amostral, utilizamos a

seguinte fórmula:

2

1

x XS

n

(4.6)

Em outras palavras, para determinar o desvio padrão amostral, seguimos as seguintes

instruções:

1. Calculamos a média do conjunto: x

Xn

.

2. Calcule o desvio de cada valor em relação à média: x X .

3. Eleve ao quadrado todos os desvios e some seus resultados: 2

x X .

53

4. Divida o resultado por n – 1 para obter a Variância Amostral (S2):

2

2

1

x XS

n.

5. Calcule a raiz quadrada da variância para obter o Desvio Padrão:

2

1

x XS

n.

Coeficiente de Variação (CV): É a razão entre o desvio padrão e a média. O

resultado é multiplicado por 100, para que o CV seja dado em porcentagem. Então:

100S

CVX

(4.7)

Figura 16 - Calculando e interpretando o CV.

Fonte: Vieira (2008, p. 100).

54

Uma das vantagens do CV é que ele é uma medida adimensional (sem unidade de

medida). Por ter essa característica, esse coeficiente de variação é útil para comparar a

dispersão relativa de variáveis medidas em diferentes unidades (Figura 16).

55

5 PROCEDIMENTOS METODOLÓGICOS

Esta pesquisa é classificada como quantitativa, pois consegue traduzir em números as

informações coletadas e depois classifica-las utilizando técnicas estatísticas (KAUARK;

MANHÃES; MEDEIROS, 2010). Este aspecto é observado em nossa pesquisa, na qual a

decisão sobre os itens, foi feita a partir de medidas quantitativas fornecidas pela TCT e TRI.

De acordo com Zanella (2011), uma pesquisa quantitativa “caracteriza-se pela adoção

de métodos dedutivos4 e busca a objetividade, a validade e a confiabilidade” (ZANELLA,

2010, p. 95). No âmbito educacional, as pesquisas quantitativas

possibilitam testar hipóteses, analisar a realidade de forma objetiva e generalizar os

resultados pesquisados por meio de procedimentos estatísticos, avaliando os dados

obtidos no processo da investigação, bem como utilizar recursos tecnológicos

(computadores, softwares, planilhas eletrônicas) para auxiliar o pesquisador na

descrição, analise, interpretação e apresentação dos resultados da pesquisa

(NASCIMENTO; CAVALCANTI, 2018, p. 252).

Segundo Gatti (2004), no âmbito da avaliação educacional é que se encontra a maioria

dos estudos quantitativos feitas em Educação:

É no campo dos estudos de avaliação educacional, mais especialmente nos estudos

de rendimento escolar em nível de sistemas ou sub-sistemas, que se encontra a

maioria dos estudos de cunho quantitativo nos últimos dez anos. É também nessa

área que modelos de análise mais complexos vêm sendo utilizados: modelos da

“teoria da reposta ao item”, modelos de análise hierárquica, estudos de relações

multivariadas, uso da teoria dos valores agregados, testes de componentes de

variância diversos entre outros (GATTI, 2004, p. 24).

Observando esses aspectos, nesta pesquisa foram adotadas as seguintes etapas para sua

execução: a parte inicial para criação dos itens, foi a delimitação dos assuntos que iríamos

abordar. Escolhemos a Estatística Descritiva, por conter temas mais usuais na educação do

ensino superior pertencentes a diversos cursos, como engenharias, administração/gestão e das

áreas da saúde. Os temas escolhidos para elaboração dos itens foram: tabela de distribuição de

frequências, medidas de tendência central (média, mediana e moda) e medidas de dispersão

(desvio padrão e coeficiente de variação). Para essa elaboração, utilizamos como referência

livros que são utilizados pelo mestrando em sua prática docente: Estatística Aplicada - Larson

e Farber (2016); Estatística Básica - Bussab e Morettin (2010) e Introdução à Bioestatística -

Vieira (2011).

4 Método Dedutivo: “Na dedução, o raciocínio parte de uma premissa geral para o particular. De um

princípio geral, chega-se ao particular” (ZANELLA, 2011, p. 21).

56

As questões, todas de múltipla escolha, foram elaboradas pelo mestrando, seguindo as

diretrizes apresentadas nos estudos de Azevedo (2017), Rodrigues (2016) e do Guia de

elaboração e revisão de itens ENADE (2011). Procurou-se contextualizar as questões,

utilizando assuntos reflexivos, como aborto, microcefalia, doenças relacionadas ao uso do

cigarro, além de questões mais diretas, não tão contextualizadas.

Procurando identificar, desenvolver e avaliar indicadores de competências, criamos

uma matriz de referências (Figura 16) com os seguintes perfis que esperamos do aluno ao

resolver essas questões: P1 – Analisar as diversas medidas de tendência central e seus

significados. Determinar os valores dessas medidas. P2 – Analisar os tipos de frequências em

uma tabela de dados e P3 – Analisar as diversas medidas de dispersão e seus significados.

Com esses perfis definidos, identificamos as habilidades necessárias para a construção desses

perfis. Identificamos três habilidades: H1 – Interpretar tabelas de distribuição de frequências.

H2 – Calcular e interpretar a média, mediana e moda e H3 – Calcular e interpretar o desvio

padrão e coeficiente de variação.

Figura 16 - Matriz de Referências em Estatística Descritiva

Fonte: Produção Própria, 2018. Adaptado de Araújo, Rabelo (2015).

Os itens foram reescritos em um formulário, que é uma adaptação dos materiais

utilizados no curso em 2009 (Anexo 1), procurando identificar informações sobre a estrutura

pedagógica de cada um deles, como: conteúdo, objetivo da questão no ensino de Estatística,

habilidade que se procura medir no aluno, nível de cognitivo, texto-base, enunciado,

alternativas, distratores, gabarito e justificativas.

57

Após essa fase de elaboração, enviamos as questões impressas para sete professores

que lecionam estatística em cursos similares, com o objetivo de avaliar o nível cognitivo dos

itens, utilizando para isso, a Taxonomia de Bloom. Recebemos a resposta de dois professores,

que após suas análises classificaram as questões da seguinte forma: Questão 1 (Análise),

questão 2 (Análise), questão 3 (Compreensão / Aplicação), questão 4 (Aplicação), questão 5

(Aplicação), questão 7 (Compreensão / Análise), questão 8 (Aplicação / Análise), Questão 9

(Aplicação / Análise). Como o número de professores que classificaram as questões foi par e

não ímpar, para algumas questões foi sugerido mais de um nível cognitivo.

A próxima etapa para a elaboração do banco de questões, foi a aplicação dos itens.

Essa fase chamamos de teste-piloto, e visa a calibração das questões tanto pela TCT e TRI. A

aplicação do teste-piloto ocorreu entre abril e junho de 2018, em seis turmas do ensino

superior nos cursos de engenharias da produção, civil, elétrica e química, tecnólogos de

gestão financeira, administração, enfermagem e biomedicina. Dos 237 participantes, 90

responderam presencialmente durante duas aulas de Estatística de 50 minutos e 147

responderam on-line, em um formulário criado na plataforma Google

(https://goo.gl/forms/KVBaEeIINq86Y8Cs1), que ficou disponível durante duas semanas.

Tivemos que escolher esse procedimento, devido as dificuldades de conseguir um número

razoável de respondentes e a programação das aulas de Estatística na instituição de ensino

superior que o mestrando faz parte.

Neste estudo, as análises foram realizadas com o software R (R Core Team, 2018)

utilizando os pacotes mirt (CHALMERS, 2012) e ltm (RIZOPOULOS, 2006) com script

desenvolvido por ANDRADE (2018).

Na fase de calibração dos itens pela TCT, foi feita a estimação do nível de dificuldade

de cada item, valores de discriminação, confiabilidade (Alfa de Cronbach) e correlação

bisserial. Nessa fase também ordenamos a pontuação dos respondentes, e dividimos em três

partes iguais. A partir dessa divisão, foi criado um gráfico de linhas que mostra a porcentagem

de respostas para cada alternativa nesses três grupos.

Na calibração dos itens pela TRI, inicialmente verificamos a unidimensionalidade dos

itens, por meio da análise fatorial a partir da matriz de correlações tetracóricas (Apêndice A).

Utilizamos o modelo de três parâmetros logísticos (dificuldade, discriminação e acerto ao

acaso), pelo fato das questões serem todas de múltipla escolha. Foram feitas também as

curvas características do item (CCI) e as curvas de informação do item (CII) para cada

questão.

58

De posse das calibrações, foram feitas as análises desses resultados, juntamente com a

professora orientadora, que sugeriu algumas correções nos itens. Feitas as correções, o

produto educacional foi finalizado.

6 RESULTADOS

Apresentamos neste capítulo o produto educacional, comentando os resultados obtidos

pela TCT e TRI no teste-piloto, assim como as melhorias de algumas questões.

6.1 DESCRIÇÃO DO PRODUTO EDUCACIONAL

Nesta seção, temos a descrição do produto educacional “BANCO DE QUESTÕES

EM ESTATÍSTICA DESCRITIVA”. Esse produto é apresentado em um arquivo separado da

dissertação, disponível on-line no site http://www.cct.udesc.br.

O produto educacional é um banco de questões formado por 8 itens contextualizados,

todos de múltipla escolha, que foram calibrados e analisados pela TRI e TCT, por meio de um

pré-teste aplicado a 237 alunos do ensino superior. Todas as questões apresentaram

confiabilidade aceitável, discriminação alta, nível de dificuldade alto, médio e baixo,

probabilidade de acerto ao acaso “chute” baixo e avaliam apenas um traço latente (Apêndice

A - Unidimensionalidade).

Os assuntos abordados no banco de questões foram: Tabela de distribuição de

frequências, medidas de tendência central (média, mediana e moda) e medidas de

variabilidade (desvio padrão e coeficiente de variação).

O objetivo da criação dos itens, é oferecer um banco de questões que auxilie os

professores de Estatística em sua prática docente, como por exemplo, em momentos

avaliativos.

Cada questão foi elaborada em um formulário que pode ser dividido em três partes:

Informações pedagógicas do item (figura 17), enunciado da questão (figura 18) e suas

alternativas (figura 19).

59

Figura 17 - Informações pedagógicas da questão.

Fonte: Produção própria, 2018.

As informações pedagógicas do item, procuram responder os seguintes

questionamentos, em relação a sua elaboração:

a) Conteúdo: Qual o conteúdo abordado pelo item?

b) Objetivo da questão no ensino de Estatística: Qual contribuição a questão tem no

ensino e aprendizagem de Estatística?

c) Habilidade que se procura observar no aluno (traço latente): Ao utilizar este

item, qual habilidade procura-se medir no aluno?

d) Nível Cognitivo: Quão desenvolvido cognitivamente o aluno deverá estar para

resolver corretamente esta questão?

No enunciado (figura 18), é apresentado o comando da questão, ou seja, a tarefa que

deve ser realizada pelo aluno. Ele deve ser claro e objetivo, pois é nessa parte da questão que

se determina o nível de habilidade que se procura avaliar no aluno. Essa instrução é

apresentada como pergunta ou frase a ser completada pela alternativa correta (BRASIL,

2011).

Figura 18 - O enunciado da questão.


60

As alternativas (figura 19) da questão de múltipla escolha, são as possibilidades de

resposta à situação problema apresentada no enunciado da questão. O gabarito indica de

forma inquestionável, a única alternativa correta que responde o problema. Em seguida é dada

sua justificativa, que permite compreender o motivo pelo qual a alternativa apresentada é a

correta. As alternativas incorretas (distratores), também são justificadas, não devendo retratar

erros grosseiros ou alternativas absurdas, mas devem ser redigidas com aparência de resposta

correta (BRASIL, 2011).

Figura 19 - Alternativas, distratores e gabarito.


6.2 BANCO DE QUESTÕES – TESTE PILOTO

Apresentemos a seguir, os itens que formam o banco de questões do teste piloto,

trazendo uma análise dos resultados obtidos pela TCT e TRI. A partir dessas análises, foram

feitas algumas correções que se encontram no produto educacional.

61

Questão 1

Conteúdo Tabela de distribuição de frequências.

Objetivo da questão no Ensino de Estatística

Reconhecer os tipos de frequências em uma tabela de dados.

Habilidade que se procura observar no aluno (TRAÇO LATENTE)

Interpretar tabelas de distribuição de frequências.

Nível Cognitivo (Taxonomia de Bloom)

Conhecimento Compreensão Aplicação Análise Síntese Avaliação

En

un

cia

do

/Co

man

do

da q

uestã

o

A cada minuto uma mulher faz um aborto no Brasil Apenas em 2015, 500 mil mulheres realizaram um aborto ilegal, mostra pesquisa nacional inédita.

Disponível em: https://www.cartacapital.com.br/sociedade/ aborto-a-cada-minuto-uma-mulher-faz-um-aborto-no-brasil Acesso em 13 fev 2018

Os dados abaixo são os resultados da Pesquisa Nacional de Aborto de 2016 (PNA 2016) quanto ao perfil das mulheres e a magnitude do aborto no Brasil.

Analisando os dados da pesquisa, podemos observar que:

05 Alternativas

A 25% das mulheres fizeram o último aborto com 20 e 24 anos.

Distrator 70/251 = 0,278

B Aproximadamente 25 mulheres que fizeram aborto estudaram até a 4ª série e possuem 16 e 17 anos.

Distrator Analisando os valores das tabelas, não podemos afirmar isso.

C 78% das mulheres entrevistadas possuem o ensino médio.

Distrator Possuem ensino médio: 114 (Ens. Médio) + 58 (Ens. Superior) = 172/251 = 0,685.

D Aproximadamente 70% das mulheres que participaram da pesquisa, tem menos de 30 anos.

Gabarito (19+26+28+70+32)/251 = 0,697

E A maioria das mulheres que praticaram o aborto, tem o ensino superior.

Distrator A maioria das mulheres que praticaram aborto, tem ensino médio.

Idade do último aborto Escolaridade

Fez aborto fi Fez aborto fi fr % Fi Fr %

12 a 15 anos 19 Até 4ª série 25 10 25 10

16 e 17 anos 26 5-8ª série 54 22 79 32

18 e 19 anos 28 Ens. Médio 114 46 193 78

20 e 24 anos 70 Superior 58 22 251 100

25 e 29 anos 32

30 e 34 anos 24

35 a 39 anos 8

Não respondeu 44

62


desempenho.


Figura 21 - Curva característica do item e curva de informação do item - Questão 1.


63

Quadro 2 - Características da Questão 1.

ANÁLISE DO ITEM – QUESTÃO 1

TCT

Alfa de Cronbach Dificuldade Discriminação Bisserial

0,704 0,654 0,493 0,578

Alternativas x Frequências

A B C D E

8,9% 11,8% 11,8% 65,4% 2,1%

TRI

Discriminação (a) Dificuldade (b) Acerto ao acaso (c)

1,758 -0,329 0,169


Na questão 1, o traço latente que se deseja medir no aluno é “Interpretar tabelas de

distribuição de frequências”, com nível cognitivo “Análise”. De acordo com os resultados da

TCT, o item apresentou confiabilidade aceitável (Alfa de Cronbach acima de 0,70) e grau de

dificuldade mediano, pois 65,4% dos respondentes acertaram a questão. Para determinarmos o

grupo de maior e menor desempenho, dividimos a pontuação ordenada dos 237 respondentes

em três grupos iguais, que a partir do gráfico da figura 20, percebemos que aproximadamente

32% dos participantes que pertencem ao grupo de menor desempenho, acertaram a questão,

enquanto que no grupo de maior desempenho, esse percentual sobre para próximo de 100%,

ou seja, aproximadamente 100% dos melhores alunos no teste, acertaram essa questão. O item

apresentou discriminação igual a 0,493, que indica ser adequado para o banco de questões,

pois conseguiu distinguir os alunos com baixo e alto desempenho. Todos os distratores

apresentaram bisserial negativo, indicando que os alunos com bom desempenho, não

procuraram escolher essas alternativas. A alternativa (E) teve uma proporção de escolhas

(2,1%) muito baixa em relação as outras, indicando que deveria ser revisada, pois não

demostrou coerência para sua escolha. Essa correção foi aplicada no produto educacional,

mudando a alternativa (E) para “A maioria das mulheres que praticaram o aborto, tem ensino

médio e idade entre 20 e 24 anos”.

Segundo os resultados da TRI, esta questão tem poder de discriminação muito alto, ou

seja, o item tem grande poder para diferenciar os respondentes com proficiências distintas.

Como esse valor ficou acima de 1,7 (a = 1,7587), o item discrimina os alunos basicamente em

dois grupos: aqueles que tem proficiência acima de b = -0,329 e aqueles com proficiência

abaixo desse valor. Esses valores podemos observar no Apêndice B, na coluna Score_TRI. O

64

nível de dificuldade do item (b) é mediano (de -0,51 a 0,51). Em outras palavras, o valor de b

= -0,329 indica a proficiência necessária para que o item seja respondido corretamente. Mais

especificamente, esse valor fornece a habilidade necessária para que o respondente tenha uma

probabilidade de acerto igual a (1 + c)/2, neste caso, (1 + 0,169)/2 = 0,5845. Em relação ao

acerto ao acaso, o “chute”, o índice c = 0,169 ficou dentro do desejável, que é abaixo de 0,20.

Ou seja, um respondente, mesmo com uma habilidade muito baixa, tem cerca de 16,9% de

probabilidade em responder corretamente este item. Na figura 21, a Curva de Informação do

Item, fornece a quantidade de informação que a questão nos dá para a avaliação do traço

latente. Por meio dela, analisamos o intervalo de proficiência que o item é mais preciso em

sua informação, que nesse caso ficou entre -1 e 0,8 (Apêndice B).

65

Questão 2

Conteúdo Tabela de distribuição de frequências.


Reconhecer os tipos de frequências em uma tabela de dados.


Interpretar tabelas de distribuição de frequências.



En

un

cia

do

/Co

man

do

da q

uestã

o

A cada hora, 23 pessoas morrem no Brasil por causa de doenças relacionadas ao cigarro

Disponível em: http://anoticia.clicrbs.com.br/sc/geral/joinville/noticia/2017/06/ saiba-quais-doencas-sao-provocadas-pelo-uso-do-cigarro-e-derivados-do-tabaco-9806642.html.

Acesso em: 10 fev 2018.

Os dados a seguir, obtidos em um hospital público, nos fornecem as frequências acumuladas de pacientes atendidos que desenvolveram algum tipo de doença, como consequência do uso do cigarro, durante o primeiro semestre do 2016.

Doenças relacionadas ao uso do tabaco

Doenças Fi Fr (%)

Câncer de Pulmão 130 26

Câncer de Próstata 225 45

Câncer da Boca e Língua

330 66

Infarto Fulminante 415 83

Gangrena e Amputações

450 90

Impotência Sexual 500 100

Observando os dados da pesquisa, podemos afirmar que:

05 Alternativas

A Cerca de 500 pacientes desenvolveram Impotência Sexual devido ao uso do cigarro.

Distrator Como Fi representa a frequência acumulada.

B 100 pacientes apresentaram Câncer de Boca e Língua.

Distrator 330 – 225 = 105 pacientes apresentaram câncer de boca e língua.

C 20% desses pacientes tiveram Câncer de Próstata.

Distrator 225 – 130 = 95 pacientes apresentaram câncer de próstata. Assim: 95/500 = 19%.

D 35 pacientes apresentaram Gangrena e Amputações.

Gabarito 450 – 415 = 30 pacientes.

E Foram observados 100 pacientes nessa pesquisa.

Distrator A frequência acumulada (Fi) na última linha é 500.

66


desempenho.


Figura 23 - CCI e CII - Questão 2.


67



TCT


0,704 0,443 0,557 0,619


A B C D E

40,1% 7,6% 5,9% 44,3% 2,1%

TRI


2,163 0,479 0,142


O traço latente na questão 2, que se deseja medir no aluno é “Interpretar tabelas de

distribuição de frequências”, com nível cognitivo “Análise”. Os resultados da TCT indicam

que o item apresentou confiabilidade aceitável (0,704) e grau de dificuldade mediano (44,3%

dos respondentes acertaram a questão). O item apresentou também discriminação igual a

0,557, que indica ser um bom item. Todos os distratores apresentaram bisserial negativo. A

porcentagem de respondentes que escolheram a alternativa A (40,1%) é próxima a alternativa

D (44,3%), indicando falta de atenção durante a leitura do item, pois o enunciado indica que a

tabela mostra as frequências acumuladas. Analisando o gráfico da figura 22, a maior

frequência de respondentes da alternativa errada está no grupo de menor desempenho (60%) e

no grupo de maior desempenho este índice cai para aproximadamente 10%. A alternativa E,

passou por revisões, pois teve o menor índice de escolhas (2,1%).

Os resultados da TRI, indicam uma questão discriminação muito alta 1,70a , com

dificuldade mediana 0,51 0,51 b e com baixo índice de acerto ao acaso 0,20c . Pela

CCI, podemos observar que a proficiência mínima para o candidato ter uma probabilidade de

acerto igual a 57,16% é de 0,4729. Já a curva de informação do item (figura 23), nos diz que o

item é mais informativo para alunos com aptidão entre 0 e 1,3, ou seja, nesse intervalo de

proficiência, a questão é mais precisa, fornecendo mais informação para a avaliação do traço

latente que se deseja medir. A CII traz mais informação que o item anterior, devido a

discriminação a ser maior e o parâmetro c ser menor.

68

Questão 3

Conteúdo Medidas de tendência central


Reconhecer as diversas medidas de tendência central e seus significados. Determinar os valores destas medidas.


Calcular e interpretar a média, mediana e moda.



En

un

cia

do

/Co

man

do

da q

uestã

o

Aborto no Brasil Segundo a Pesquisa Nacional sobre o Aborto (PNA), uma em cada cinco brasileiras com até 40 anos já interrompeu uma gravidez e estima-se que, a cada ano, 1 milhão de abortos são feitos no Brasil. De acordo com o estudo, o procedimento é realizado, normalmente, no auge do período reprodutivo feminino (isto é, entre 18 e 29 anos) e é mais comum entre mulheres de menor escolaridade.

Disponível em: https://mdemulher.abril.com.br/saude/ saiba-quando-e-legal-fazer-um-aborto-no-brasil-e-como-proceder. Acesso em 13 fev 2018

Os dados abaixo apresentam o perfil escolar das mulheres que já realizaram um aborto clandestino no Brasil. Analisando os dados da pesquisa, podemos observar que em relação a mediana (Md) e moda (Mo):

05 Alternativas

A Md = Até a 4ª série | Mo = Ens. Médio

Distrator Posição da Med: (n + 1)/4 = (252)/2 = 125,5º. Até a 4ª série = Fi = 25.

B Md = 5-8ª série | Mo = Superior

Distrator 5-8º série: Fi = 79 | Superior: fi = 58.

C Md = Ens. Médio | Mo = Ens. Médio

Gabarito Mo (maior frequência simples) = 114 Ens. Médio | Md: Posição 125,5º. Ens Médio: Fi = 193.

D Md = Superior | Mo = Superior

Distrator Superior: fi = 58 e Fi = 251.

E Md = 5-8ª série | Mo = Ens. Médio

Distrator 5-8º série: Fi = 79.

Escolaridade

Fez aborto fi fr % Fi Fr %

Até 4ª série 25 10 25 10

5-8ª série 54 22 79 32

Ens. Médio 114 46 193 78

Superior 58 22 251 100

69


desempenho.




70



TCT


0,712 0,595 0,502 0,575


A B C D E

6,3% 5,5% 59,5% 11% 17,7%

TRI


2,177 0,024 0,2069


O traço latente na questão 3, é “Calcular e interpretar a média, mediana e moda de

dados agrupados ou não.”, com nível cognitivo “Conhecimento”. Na TCT, os índices indicam

que o item apresentou consistência aceitável (0,712), grau de dificuldade mediano (59,5% dos

respondentes acertaram a questão) e discriminação igual a 0,502, que indica ser um bom item.

Todas as outras alternativas (distratores) apresentaram bisserial negativo.

Para TRI, a questão tem discriminação muito alta 1,70a , com dificuldade mediana

0,51 0,51 b e com índice de acerto ao acaso quase ideal 0,20c . Observando a CII,

podemos observar que ela traz máxima informação para a avaliação do traço latente, para

alunos com proficiência próxima de 0,1.

71

Questão 4

Conteúdo Medidas de Dispersão.


Reconhecer as diversas medidas de dispersão e seus significados. Determinar os valores destas medidas.


Calcular e interpretar as aplicações das medidas de variação: Desvio Padrão e Coeficiente de Variação (CV).



En

un

cia

do

/Co

man

do

da q

uestã

o Grãos

O Brasil é um dos maiores produtores de grãos do mundo. A safra 2015/2016 alcançou 196,5 milhões de toneladas e estima-se que deve chegar a 255 milhões de toneladas em dez anos.

Disponível em: https://www.embrapa.br/grandes-contribuicoes-para-a-agricultura-brasileira/graos. Acesso em Fev. 27 fev. 2018

Em uma cooperativa que produz e comercializa o Café BRS Ouro Preto, a média das sacas são de 60 kg com desvio padrão de 1,3 kg. O controle de qualidade dessa cooperativa, rejeita as sacas cujo peso ultrapasse 2 desvios padrão da média. Qual das sacas a seguir será rejeitada pelo controle de qualidade?

05 Alternativas

A 62,5 kg

Distrator Não será rejeitada, pois não ultrapassou o peso máximo de: 60 + 2*1,3 = 62,6 kg.

B 61,3 kg


C 60,5 kg


D 62,8 kg

Gabarito Será rejeitada pois ultrapassou o peso máximo: 60 + 2*1,3 = 62,6 kg.

E 60,3 kg


72


desempenho.




73



TCT


0,722 0,785 0,404 0,570


A B C D E

6,3% 9,3% 4,2% 78,5% 1,7%

TRI


1,614 -0,991 0,171


O traço latente na questão 4, é “Calcular e interpretar as aplicações das medidas de

variação: Desvio Padrão e Coeficiente de Variação (CV).”, com nível cognitivo

“Conhecimento”. Para TCT, a questão apresentou consistência aceitável (0,722), grau de

dificuldade fácil (78,5% dos respondentes acertaram a questão) e discriminação igual a 0,404

que indica ser um bom item. Todas as outras alternativas (distratores) apresentaram bisserial

negativo. O gráfico da figura 26, indica que dos alunos que acertaram o item,

aproximadamente 55,7% estão no grupo de menor desempenho e 96,1% estão no grupo

mediano e de melhor desempenho, indicando mais uma vez que a questão é considerada fácil.

Analisando a questão pela TRI, sua discriminação foi alta 1,35 1,70 a , com nível

de dificuldade fácil 1,27 0,52 b e com índice de acerto ao acaso dentro do esperado

0,20c . Já a curva de informação do item, nos diz que o item é mais informativo para

alunos com baixa proficiência, fornecendo pouca informação para a avaliação do traço latente

que se deseja medir.

74

Questão 5








En

un

cia

do

/Co

man

do

da q

uestã

o

Qual a Frequência Cardíaca normal, alta e baixa A frequência cardíaca indica a quantidade de vezes que o coração bate por minuto e o seu valor normal, em adultos, varia entre 60 e 100 bpm. Porém, ela pode variar com a idade, se a pessoa faz alguma atividade física ou se possui alguma doença cardíaca.

Disponível em: https://www.tuasaude.com/frequencia-cardiaca/ Acesso em: 04 mar. 2018.

A tabela abaixo, apresenta as frequências cardíacas (em bpm) medidas em dois grupos de idosos em um lar de repouso.

Amostra 1 62 58 70 65 60

Amostra 2 42 55 65 78 75

Sabendo que a média das duas amostras é a mesma 63 bpm, em qual das amostras ela é menos representativa?

05 Alternativas

A Nas duas amostras, pois suas médias são iguais.

Distrator O que torna a média menos representativa, é o seu desvio padrão.

B Na amostra 1, pois sua amplitude total é maior.


C Na amostra 2, pois possui o maior valor: 78 bpm.


D Na amostra 2, pois seu desvio padrão é maior.

Gabarito O que torna a média menos representativa, é o seu desvio padrão: Desvio padrão (1) = 4,69 e Desvio padrão (2) = 14,81.

E Na amostra 1, pois sua variância é maior.

Distrator A variância da amostra 2 é maior: Variância (1) = 21,99 e Variância (2) = 219,33.

75


desempenho.




76



TCT


0,703 0,633 0,565 0,636


A B C D E

11,4% 9,3% 8,4% 63,3% 6,3%

TRI


2,156 -0,271 0,161


O traço latente na questão 4, é “Calcular e interpretar as aplicações das medidas de

variação: Desvio Padrão e Coeficiente de Variação (CV).”, com nível cognitivo

“Conhecimento”. Os índices na TCT são: Consistência aceitável (0,703), grau de dificuldade

mediano (63,3% dos respondentes acertaram a questão) e discriminação igual a 0,565 que

indica ser um bom item. Todas as outras alternativas (distratores) apresentaram bisserial

negativo. O gráfico da figura 28, indica que dos alunos que acertaram o item,

aproximadamente 35,1% estão no grupo de menor desempenho e 91,6% estão no grupo de

melhor desempenho.

Analisando a questão pela TRI, sua discriminação foi muito alta 1,70a , com nível

de dificuldade mediano 0,51 0,51 b e com índice de acerto ao acaso dentro do esperado

0,20c . Já a curva de informação do item, nos diz que a questão é mais informativa para

alunos com aptidão entre -0,5 e 0,2, ou seja, nesse intervalo de proficiência, a questão é mais

precisa, fornecendo mais informação para a avaliação do traço latente que se deseja medir.

77

Questão 6*








En

un

cia

do

/Co

man

do

da q

uestã

o Como se verifica a microcefalia

Para ser considerado um caso suspeito de microcefalia, o tamanho da cabeça do bebê tem que ser menor do que 32 centímetros. No caso de bebês prematuros, a medida é feita com base em um cálculo mais complexo, que leva em consideração o peso da criança. A medição inicial é feita pelo próprio obstetra, depois do parto, e notificada online para o Ministério da Saúde por meio de um formulário chamado Registro de Eventos em Saúde Pública (RESP).

Disponível em: https://brasil.elpais.com/brasil/2016/01/27/politica/1453918039_775654.html Acesso: 28 fev. 2018.

Em um hospital do Pernambuco, uma equipe de enfermeiros analisou a circunferência do crânio de 1017 bebês recém-nascidos, obtendo uma média de 35,5 cm com desvio padrão de 5,2 cm. O peso médio desses mesmos bebês foi de 1,838 kg com desvio padrão de 0,52 kg. Nessa pesquisa, qual das variáveis apresentaram maior variabilidade?

05 Alternativas

A O peso, pois possui menor desvio padrão.

Distrator Como estamos comparando duas variáveis de naturezas diferentes, não podemos utilizar o desvio padrão, mas sim, o coeficiente de variação (CV).

B A circunferência do crânio, pois seu desvio padrão é maior.

Distrator Como estamos comparando duas variáveis de naturezas diferentes, não podemos utilizar o desvio padrão, mas sim, o coeficiente de variação.

C* O peso, pois seu coeficiente de variação é menor.

Gabarito O peso tem MAIOR CV: CV (peso) = 0,52/1,838 = 28,29 e CV (circunf.) = 5,2/35,5 = 14,64.

D A circunferência do crânio, pois seu coeficiente de variação é maior.

Distrator O peso tem maior CV: CV (peso) = 0,52/1,838 = 28,29 e CV (circunf.) = 5,2/35,5 = 14,64.

E Ambas as variáveis possuem e mesma variabilidade.

Distrator CV (peso) > CV (circunf.).

A questão 6 apresentou um erro de digitação no gabarito. Onde lemos na alternativa C

“O peso, pois seu coeficiente de variação é menor.”, deveríamos ler “O peso, pois seu

coeficiente de variação é maior.” Dessa forma, não foi feita a análise do item e a excluímos

do Produto Educacional.

78

Questão 7

Conteúdo Medidas de tendência central: Média, mediana e moda.


Reconhecer as diversas medidas de tendência central e seus significados. Determinar os valores destas medidas.


Calcular e interpretar a média, mediana e moda.



En

un

cia

do

/Co

man

do

da q

uestã

o

Intuitivamente na ilustração abaixo, identifique as medidas de posição: Média, mediana e moda.

05 Alternativas

A 6; 7,5; 13X Md Mo .

Distrator Média = (2+3+4+5+9+13+13)/7 = 7 | Md (divide a série em duas partes de 50%) = 5.

B 5; 7; 13X Md Mo .


C 6; 7; 13X Md Mo .


D 7; 7,5; 13X Md Mo .

Distrator Md (divide a série em duas partes de 50%) = 5.

E 7; 5; 13X Md Mo .

Gabarito Média = (2+3+4+5+9+13+13)/7 = 7 | Md (divide a série em duas partes de 50%) = 5 | Mo = 13.

2 3 4 5 6 7 8 9 10 11 12 13 14

50% 50%

79


desempenho.




80



TCT


0,715 0,515 0,493 0,553


A B C D E

1,3% 16,9% 5,9% 24,5% 51,5%

TRI


2,865 0,351 0,211


O objetivo avaliativo da questão 7, é “Calcular e interpretar a média, mediana e moda

de dados agrupados ou não”, com nível cognitivo “Conhecimento”. Na TCT temos:

Consistência interna aceitável (0,715), grau de dificuldade mediano (51,5% dos respondentes

acertaram a questão) e discriminação igual a 0,493 que indica ser um bom item. Em relação

aos coeficientes bisseriais, o gabarito (E) apresentou valor positivo (0,553) com bom poder de

discriminação. As alternativas (B), (C) e (D) apresentaram valores negativos, indicando que

os alunos de baixo desempenho no teste escolheram mais estas alternativas do que os alunos

de alto desempenho. Porém, a alternativa (A) apresentou coeficiente bisserial positivo (0,166),

o que indica que esta opção atraiu muitos estudantes de bom desempenho. Diante disso,

sugerimos a revisão da alternativa (A). O gráfico da figura 30, corrobora com essa

informação, pois nenhum aluno do grupo com o menor desempenho escolheu essa alternativa

(A) e 2,1% dos alunos de maior desempenho a escolheram.

Utilizando a TRI, sua discriminação foi muito alta 1,70a , com nível de

dificuldade mediano 0,51 0,51 b e com índice de acerto ao acaso um pouco acima do

esperado 0,2117c . Observando a CII, a questão traz muita informação para a medida do

traço latente, devido ao valor de a ser muito alto (a = 2,8658).

81

Questão 8








En

un

cia

do

/Co

man

do

da q

uestã

o

Procurando verificar a homogeneidade das equipes de basquete em dois torneios infantis, a comissão técnica organizou a seguinte tabela:

Equipes de basquete: Torneio infantil 2016 e 2017

2016 2017

Quantidade de jogadoras

85 125

Média das alturas (cm) 160,6 161,9

Desvio padrão 5,97 6,01

Analisando as informações da tabela acima, em qual ano houve menor dispersão em relação as alturas?

05 Alternativas

A Em 2016, pois o desvio padrão das alturas foi menor.

Distrator É uma resposta plausível. Porém analisando o CV em cada ano, temos: CV(2016) = 0,03717 e CV(2017) = 0,03712, percebemos que nos dois anos temos praticamente a mesma homogeneidade.

B Em 2017, pois pela quantidade de jogadoras, o desvio padrão foi muito próximo do ano anterior.

Distrator A quantidade não é um fator decisivo para inferir sobre homogeneidade.

C Nos dois anos houve praticamente a mesma homogeneidade.

Gabarito Observando os dois CV, temos: CV(2016) = 0,03717 e CV(2017) = 0,03712.

D Em 2016, pois o CV foi menor que 2017.

Distrator O CV nos dois anos foi praticamente o mesmo: CV(2016) = 0,03717 e CV(2017) = 0,03712.

E Em 2017, pois a média das alturas foi maior.

Distrator A média não mede a dispersão de dados.

82


desempenho.




83



TCT


0,734 0,295 0,373 0,443


A B C D E

18,6 31,6 29,5 9,7 8,4

TRI


1,893 1,312 0,157


Tendo como objetivo avaliativo “Calcular e interpretar as aplicações das medidas de

variação: Desvio Padrão e Coeficiente de Variação (CV)”, a questão 8 apresentou nível

cognitivo “Aplicação” pela Taxonomia de Bloom. Na TCT sua consistência interna aceitável

(0,734), grau de dificuldade Difícil (29,5% de acertos) e discriminação igual a 0,373 que

indica ser um item bom, mas sujeito a aprimoramento. Em relação aos coeficientes bisseriais,

o gabarito (C) apresentou valor positivo (0,443) com bom poder de discriminação. As

alternativas (A), (D) e (E) apresentaram valores negativos, indicando que os alunos de baixo

desempenho no teste escolheram mais estas alternativas do que os alunos de alto desempenho.

Porém, a alternativa (B) apresentou coeficiente bisserial positivo (0,037), o que indica que

esta opção atraiu estudantes de bom desempenho.

Utilizando a TRI, sua discriminação foi muito alta 1,70a , com nível de

dificuldade muito difícil 1,28b e com índice de acerto ao acaso dentro do esperado

0,157c .

84

Questão 9








En

un

cia

do

/Co

man

do

da q

uestã

o

Na figura abaixo, temos a resolução de uma atividade realizada durante as aulas de Estatística:

Avaliando a resolução do exercício acima, podemos concluir que:

05 Alternativas

A Toda a resolução da questão está correta.

Distrator A variância está errada e desvio padrão.

B A média da distribuição foi calculada errada.

Distrator A média foi calculada corretamente.

C O valor da variância está errado, porém o desvio padrão está correto.

Distrator Se a variância está errada, consequentemente o desvio padrão também está.

D A variância foi calculada corretamente, porém o desvio padrão está errado.

Distrator A variância está errada: Não foram consideradas as frequências em cada classe e feita a divisão por (n – 1).

E A variância foi calculada errada, como consequência o desvio padrão também está errado.

Gabarito No cálculo da variância faltou considerar as frequências de cada classe e a divisão por (n – 1).

2 2 2 2 2

25 24 25 15 24 48 25 24 66 35 24 44 45 24 17

200 1

S .

85


desempenho.




86



TCT


0,722 0,397 0,476 0,514


A B C D E

24,9 12,2 8,9 14,3 39,7

TRI


1,510 0,830 0,1519


Com o objetivo avaliativo de “Calcular e interpretar as aplicações das medidas de

variação: Desvio Padrão e Coeficiente de Variação (CV)”, a questão 9 apresenta nível

cognitivo “Compreensão” pela Taxonomia de Bloom. Na TCT sua consistência interna

aceitável (0,722), grau de dificuldade Mediano (39,7% de acertos) e discriminação igual a

0,476 que indica ser um item bom. Em relação aos coeficientes bisseriais, apenas o gabarito

(E) apresentou valor negativo.

Na TRI, sua discriminação foi alta 1,35 1,70 a , com classificação de índice de

dificuldade Difícil 0,52 1,27 b e índice de acerto ao acaso dentro do esperado.

Observando o gráfico da figura 35, podemos perceber que a questão apresenta pouca

quantidade de informação para o traço latente.

87

7 CONSIDERAÇÕES E PERSPECTIVAS

Pensamos que a criação e validação de questões de Estatística Básica, que contribuam

para os professores em seus variados momentos avaliativos, seja o produto educacional dessa

pesquisa, pois é um banco de questões calibradas pela TCT e TRI, com assuntos utilizados em

vários cursos superiores, com temas reflexivos, que propõe aos alunos pensar e buscar o

conhecimento, fazendo com que eles se auto avaliem, questionando se seus objetivos foram

alcançados. Desse modo, propomos um material que possivelmente irá contribuir para o

ensino e aprendizado de Estatística, tanto pelas suas medidas psicométricas, quanto pela sua

objetividade.

Muitas vezes o professor não dispõe de instrumentos que consigam avaliar ou medir,

se os resultados de suas avaliações foram coerentes com os objetivos educacionais propostos,

não tendo conhecimento de técnicas estatísticas que possam o auxiliar nesse sentido. O

produto educacional desta pesquisa tem essa preocupação, fornecendo associado a

dissertação, os principais conceitos da psicometria clássica (TCT - Teoria clássica dos testes)

e da moderna (TRI – Teoria da resposta ao item).

Nosso banco de questões não é um produto fechado, acabado, podendo passar por

ajustes e melhorias provenientes de nossas práticas futuras, ou de outros professores que o

queiram utilizar, ou até mesmo por alunos que procuram se auto avaliar.

Criar questões e avaliá-las pela TRI, foi um desafio: pelo tempo em escrevê-las, pela

quantidade de respondentes para aplicá-las, pelos imprevistos, pelo conhecimento (ou falta)

em TRI e o programa R. Mesmo diante desses desafios, motivado pela “curiosidade” e de

forma colaborativa, o produto educacional foi aplicado, e conseguimos bons resultados pela

TRI e TCT.

A partir da construção do produto educacional e da dissertação, consegui ampliar

meus conhecimentos sobre Estatística, TCT, TRI, sobre avaliação e suas formas. Pude

perceber, quão sério são os momentos avaliativos, e como os alunos muitas vezes o

consideram como um momento de stress. A avaliação deve buscar expressar as habilidades

construídas em sala de aula, estando presente em todos os momentos de convívio entre

professor e aluno. Deve ser coerente e objetiva, sendo capaz de contribuir para a

aprendizagem do aluno, e não para sua desmotivação.

Pude aprender também como utilizar, mesmo em nível básico, o RStudio, uma ótima

interface para o programa R, além do Rcmdr, um “pacote” que facilita a análise estatística de

dados, devido a sua interface gráfica “amigável”. Utilizando, mesmo apenas os resultados

88

psicométricos da TRI nesse trabalho, me motivei a buscar em estudos futuros, qual a

matemática por detrás desses resultados, e isso demandará mais tempo e estudos na própria

Estatística, além é claro do aperfeiçoamento na linguagem R.

Durante a criação das questões, pude também perceber, que muitas vezes aquilo que

objetivamos em um teste, ou mesmo em um item, não fica tão claro para aqueles que irão

resolvê-lo, ou seja, nossa linguagem nem sempre alcança os alunos, podendo tornar as

questões subjetivas, ao invés de objetivas e claras. Esse cuidado e reflexão creio que irá

perpetuar em minhas práticas docentes.

Em virtude do tempo, não conseguimos aplicar as questões em outros ambientes

universitários, aumentando a representatividade dos resultados, além de fazer um pós-teste

com os itens corrigidos da primeira etapa. Acreditamos que seria interessante comparar os

resultados obtidos no pré e pós-teste e disponibilizá-los para professores e alunos, também

separar os alunos que cursam a disciplina em EAD dos que cursam presencial. Além de

termos mais professores especialistas em Estatística Descritiva para avaliar as questões antes

de suas aplicações – Avaliação por juízes.

Sobre os assuntos abordados no banco de questões, sugerimos expandi-los a outros

temas, como por exemplo, ampliar os assuntos em Estatística Descritiva, Probabilidades,

Teste de Hipótese e Distribuições Contínuas de Probabilidades, como a Normal. Seria

interessante criar um banco de questões on-line e continuar a avalia-los pela TCT e TRI, e por

que não, também criar questões dissertativas e avalia-las por meio da análise dos erros?

Nesse sentido, me motivo a continuar meus estudos sobre Tecnologias Educacionais,

voltadas à Educação Estatística, não apenas para o ensino superior, mas também para o ensino

médio e fundamental, procurando desenvolver projetos que auxiliem os professores em seus

diversos momentos avaliativos.

Este trabalho contribuiu para minhas práticas em sala de aula, e também como futuro

pesquisador. Espero que ele também proporcione benefícios para outros professores, que

buscam melhorar suas práticas em Estatística.

89

REFERÊNCIAS

ALMEIDA, Diogo; SANTOS, Marco Aurélio Reis dos; COSTA, Antônio Fernando.

Aplicação do Coeficiente Alfa de Cronbach nos Resultados de um Questionário para

Avaliação de Desempenho da Saúde Pública. In: ENCONTRO NACIONAL DE

ENGENHARIA DE PRODUÇÃO, 30., 2010, São Carlos. Anais Eletrônicos.... São Carlos,

2010. Disponível em: <

http://www.abepro.org.br/biblioteca/enegep2010_TN_STO_131_840_16412.pdf> Acesso em:

10 jun. 2018.

ANDRADE, Dalton Francisco de; BORGATTO, Adriano Ferreti. Análise Clássica de Testes

com Diferentes Graus de Dificuldade. Est. Aval. Educ. v. 23, n. 52, p. 146-156, 2012.

ANDRADE, Fernando Campos de. TCT-TRI [mensagem pessoal]. Mensagem recebida por

<[email protected]> em 22 set. 2018.

ANDRADE, Josemberg Moura de; LAROS, Jacob Arie; GOUVEIA, Valdiney Veloso. O uso

da Teoria da Resposta ao Item em Avaliações Educacionais: Diretrizes para Pesquisadores.

Avaliação Psicológica, n. 3, v. 9, p. 421-435, 2010.

ANDRADE, Mirian Maria. Ensino e aprendizagem de estatística por meio da modelagem

matemática: Uma investigação com o ensino médio. 2008. Dissertação (Mestrado em

Educação Matemática) – Universidade Estadual Paulista, Rio Claro, 2008.

ANTUNES, Celso. Como Desenvolver as Competências em Sala de Aula. Petrópolis:

Vozes, 2011.

ARAÚJO, Claisy Maria Marinho; RABELO, Mauro Luiz. Avaliação educacional: A

Abordagem por Competências. Avaliação. v. 20, n. 2, p. 443-466, 2015.

ARAÚJO, Eutalia Aparecida Candido de; ANDRADE, Dalton Francisco de; BORTOLOTTI,

Silvana Ligia Vincenzi. Teoria da Resposta ao Item. Revista da Escola de Enfermagem da

USP. v. 43, n. especial 1, p. 1000-1008, 2009.

ARIAS, Maria Rosario Martínez; LLOREDA, Maria José Hernández; LLOREDA, Maria

Victoria Hernández. Psicometria. Madrid: Alianza Editorial, 2014.

AZEVEDO, José Manuel Monteiro Lopes de. Avaliação sumativa em matemática no

Ensino Superior com recurso a questões de escolha-múltipla: uma abordagem utilizando a

metodologia investigação-ação. 2017. Tese (Doutorado em Educação) – Universidade da

Beira Interior, Covilhã, 2017.

BAYER, Arno; ECHEVESTE, Simone. Estatística na escola: importância dos conteúdos de

estatística no ensino fundamental e médio. Acta Scientiae, v. 5, n. 1, p. 35- 42, jan./jun.,

2003.

BLOOM, Benjamin S.; HASTINGS, J. Thomas; MADAUS, George F. Manual de

Avaliação Formativa e Somativa do Aprendizado Escolar. São Paulo: Pioneira, 1983.

90

BRASIL, INEP, Enade 2017: Matemática Licenciatura, Brasília, 2017.

BRASIL, INEP, Guia de Elaboração e Revisão de Itens: Banco Nacional de Itens ENADE,

Brasília, 2011.

BRIDON, Janete; NEITZEL, Adair de Aguiar. Competências Leitoras no Saeb: qualidade da

leitura na educação básica. Educação & Realidade. v. 39, n. 2, p. 437-462, 2014.

CAMPOS, Celso Ribeiro; WODEWOTZKI, Maria Lúcia Lorenzetti; JACOBINI, Otávio

Roberto. Educação Estatística: Teoria e prática em ambientes de modelagem matemática.

Belo Horizonte: Autêntica, 2011.

CARVALHO, Alexandre. A importância do ensino de estatística na formação inicial do

professor de matemática. In: ENCONTRO BRASILEIRO DE ESTUDANTES DE PÓS-

GRADUAÇÃO EM EDUCAÇÃO MATEMÁTICA, 19., 2015, Juiz de Fora. Anais

eletrônicos... Juiz de Fora: UFJF, 2015. Disponível em: <

http://www.ufjf.br/ebrapem2015/files/2015/10/Artigo- EBRAPEM-Revisado.pdf> Acesso

em: 15 set. 2017.

CARVALHO, Carolina. Interacção entre pares: contributos para a promoção do

desenvolvimento lógico e do desempenho estatístico no 7º ano de escolaridade. 2001. Tese

(Doutorado em Educação) – Universidade de Lisboa, Lisboa, 2001.

COGGON, David. A importância da estatística na pesquisa em saúde. Cogitare

Enfermagem, v. 20. n. 1, 2015.

COSTA, Joana Martinho; MIRANDA, Guilhermina Lobato. Desenvolvimento e validação de

uma prova de avaliação das competências iniciais de programação. RISTI - Revista Ibérica

de Sistemas e Tecnologias de Informação. n. 25, 12/2017.

CHALMERS, Philip R., mirt: A Multidimensional Item Response Theory Package for the R

Environment. Journal of Statistical Software, v. 48, n. 6, p. 1-29, 2012.

CURY, Helena Noronha. Aprendizagem em Cálculo: uma experiência com avaliação

formativa. In: CONGRESSO NACIONAL DE MATEMÁTICA APLICADA E

COMPUTACIONAL – CNMAC, 28., 2005, Santo Amaro. Anais Eletrônicos... Santo

Amaro, 2005. Disponível em: <

http://www.sbmac.org.br/eventos/cnmac/cd_xxviii_cnmac/resumos%20estendidos/helena_cur

y_SE1.pdf> Acesso em: 01 out. 2018.

DATRINO, Roberto Cezar; DATRINO, Iraci Ferro; MEIRELES, Pedro Henrique. Avaliação

como processo de ensino-aprendizagem. Revista de Educação. v. 13, n. 15, p. 27-44, 2010.

DEVELLIS, Robert F. Classical Test Theory. Medical Care, v. 44, n. 11, 2006.

FERRAZ, Ana Paula do Carmo Marcheti; BELHOT, Renato Vairo. Taxonomia de Bloom:

revisão teórica e apresentação das adequações do instrumento para definição de objetivos

instrucionais. Gestão & Produção, v. 17, n. 2, p. 421-431, 2010.

91

FREITAS, Sirley Leite; da COSTA, Michele Gomes Noé; MIRANDA, Flavine Assis de.

Avaliação educacional: formas e uso na prática pedagógica. Meta: Avaliação, Rio de Janeiro,

v. 6, n. 16, p. 85-98, 2014.

FURLAN, Ignez Carlin. Avaliação da aprendizagem escolar: convergências e Divergências

entre os atores do processo de uma Escola pública de ensino médio. 2006. Dissertação

(Mestrado em Educação) – Universidade do Oeste Paulista, Presidente Prudente, 2006.

GATTI, Bernadete A. Estudos quantitativos em educação. Educação e Pesquisa, São Paulo,

v.30, n.1, p. 11-30, jan./abr. 2004.

GONÇALVES, Alba Lúcia; LARCHET, Jeanes Martins. Avaliação da aprendizagem:

Pedagogia, v. 6. Ilhéus, EDITUS, 2012.

HAMBLETON, Ronald K.; SWAMINATHAN, H.; ROGERS, H. Jane. Fundamentals of

Item Response Theory. Newbury Park: SAGE Publication, 1991.

HENNING, Elisa; AMARAL, Aruana; KNÜPFER, Raíra Elberhardt. Análise Clássica de

Testes: Uma proposta de análise de desempenho dos estudantes na primeira fase da OBMEP.

In: COLÓQUIO LUSO-BRASILEIRO DE EDUCAÇÃO – COLBEDUCA, 2., 2016,

Joinville. Anais..., Joinville: UDESC, 2016. p. 272-284.

HOFFMANN, Jussara Maria Lerch. Avaliação mediadora: uma relação dialógica na

construção do conhecimento. In: ALVES, M.L. et al. (Orgs.). Avaliação do rendimento

escolar. São Paulo: FDE, p.51-59, 1994. Disponível em: <

http://www.crmariocovas.sp.gov.br/pdf/ideias_22_p051-059_c.pdf> Acesso em: 10 out. 2018.

KAUARK, Fabiana da Silva; MANHÃES, Fernanda Castro; MEDERIOS, Carlos Henrique.

Metodologia da Pesquisa – Um Guia Prático. Bahia: Via Litterarum, 2010.

KLEIN, Ruben. Alguns aspectos da Teoria de Resposta ao Item relativos à estimação das

proficiências. Ensaio: Avaliação e Políticas Públicas em Educação. [online]. n. 78, v. 21, pp.

35-56, 2013.

LARSON, Ron; FARBER, Betsy. Estatística Aplicada. 6. ed. São Paulo: Pearson, 2016.

LOPES, Celi Aparecida Espasandin. O conhecimento profissional dos professores e suas

relações com estatística e probabilidade na educação infantil. 2003. Tese (Doutorado em

Educação) – Universidade Estadual de Campinas, Campinas, 2003.

LUCKESI, Cipriano Carlos. Avaliação [mensagem pessoal]. Mensagem recebida por

<[email protected]> em 3 maio 2018.

__________. Avaliação da aprendizagem escolar: Estudos e Proposições. 19. ed. São

Paulo: Cortez, 2008.

___________. Avaliação da aprendizagem: componente do ato pedagógico. São Paulo:

Cortez, 2011.

92

MAIA, José Leudo. Uso da Teoria Clássica dos Testes – TCT e da Teoria de Resposta ao

Item – TRI na Avaliação da Qualidade Métrica de Testes de Seleção. 2009. Tese (Doutorado

em Educação) – Universidade Federal do Ceará, Fortaleza, 2009.

MARQUES, Marcos Aurélio; OLIVEIRA, Ana Paula Salgado Beleza de; PONTES, José

Nelciclébio de Aguiar. O uso da taxonomia de Bloom no contexto da avaliação por

competência. Revista Uniamérica. v. 10, n. 20, p. 12-22, 2016.

MENDES, Olenir Maria. Avaliação formativa no ensino superior: reflexões e alternativas

possíveis. In: VEIGA, Ilma P. A.; NAVES, Marisa L. de P. (Orgs.). Currículo e avaliação

na educação superior. Araraquara: Junqueira & Marin, 2005.

MORETTIN, Pedro A.; BUSSAB, Wilton de O. Estatística Básica. 6. ed. São Paulo:

Saraiva, 2010.

MOURA, Gabriela Machado; SAMÁ, Suzi. Blended learning potencializando a

aprendizagem da estatística no ensino superior. Informática na educação: teoria & prática,

v. 20, n. 1, p. 60-70, jan./abri. 2017.

NASCIMENTO, Leandra Fernandes do; CAVALCANTE, Maria Marina Dias. Abordagem

quantitativa na pesquisa em educação: investigações no cotidiano escolar. Revista Tempos e

Espaços em Educação, Sergipe, v. 11, n. 25, p. 251-262, abr./jun. 2018.

OLIVEIRA, Eloiza da Silva Gomes, et al. Uma Experiência de Avaliação da Aprendizagem

na Educação a Distância. O Diálogo entre Avaliação Somativa e Formativa. REICE - Revista

Electrónica Iberoamericana sobre Calidad, Eficacia y Cambio en Educación, v. 5, n. 2e,

2007.

PASQUALI, Luiz. Psicometria – Teoria dos testes na Psicologia e na Educação. 5. ed.

Petrópolis: Vozes, 2013.

PERIN, Andréa Pavan. Educação estatística crítica: um estudo das práticas discentes em um

curso de tecnologia. In: ENCONTRO BRASILEIRO DE ESTUDANTES DE PÓS-

GRADUAÇÃO EM EDUCAÇÃO MATEMÁTICA, 30., 2016, Curitiba. Anais Eletrônicos...

Curitiba: UFPR, 2016. Disponível em: < http://www.ebrapem2016.ufpr.br/wp-

content/uploads/2016/04/gd12_andrea_pavan_perin.pdf> Acesso em: 17 jan. 2019.

PIROCA, Caroline; GRIEBELER, Lourdes Conci; WELTER, Maria Preis. A importância do

ensino de estatística na formação de um cidadão crítico e responsável. Saberes e sabores

educacionais, n. 2, p. 1-17, 2015.

QUARESAMA, Edilan de Sant´Ana. Modelagem para construção de escalas avaliativas e

classificatórias em exames seletivos utilizando teoria da resposta ao item uni e

multidimensional. 2014. Tese (Doutorado em Ciências) – Escola Superior de Agricultura

“Luiz de Queiroz”, Piracicaba, 2014.

R CORE TEAM. A Language and Environment for Statistical Computing. R Foundation

for Statistical Computing. Vienna, Austria. 2018. Disponível em: https://www.R-project.org/.

93

RICHARDSON, Roberto Jarry; et al. Pesquisa Social: Métodos e Técnicas. 3. ed. São Paulo:

Atlas, 2015.

RIOS, Mônica Piccione Gomes. A avaliação formativa como procedimento de qualificação

docente. Revista E-Curriculum. v. 1, n. 1, jul. 2010. Disponível em:

<https://revistas.pucsp.br/curriculum/article/view/3112/2052>. Acesso em: 22 jan. 2019.

RIZOPOULOS, D. ltm: An r package for latent variable modelling and item response theory

analyses. Journal of Statistical Software, v. 17, n. 5, p. 1–25, 2006.

RODRIGUES, Célio Fernando de Sousa; LIMA, Fernando José Camello de; BARBOSA,

Fabiano Timbó. Importância do uso adequado da estatística básica nas pesquisas clínicas.

Revista Brasileira de Anestesiologia. v. 67. n. 6, p.619-625, 2017.

RODRIGUES, Rogério. Aplicação da Teoria da Resposta ao Item na Avaliação das

Habilidades Matemáticas em Alunos do Ensino Médio de uma Escola de Belo Horizonte. Dissertação (Mestrado em Ensino de Ciências e Matemática). Pontifícia Universidade

Católica de Minas Gerais, Minas Gerais, 2016.

ROMÃO, José Eustáquio. Avaliação: Desafios e Perspectivas. São Paulo: Cortez, 2003.

SANTOS, Rodrigo Medeiros dos. A Evolução Histórica da Educação Estatística e da sua

Pesquisa no Brasil. In: Encontro Nacional de Pesquisa em História da Educação Matemática,

2. 2014, Bauru. Anais eletrônicos... Bauru: UNESP, 2014. Disponível em: <

http://www2.fc.unesp.br/enaphem/sistema/trabalhos/1.pdf> Acesso em: 12 ago. 2017.

SARTES, Laisa Marcorela Andreoli; FORMIGONI, Maria Lucia Oliveira de Souza. Avanços

na Psicometria: Da Teoria Clássica dos Testes à Teoria de Resposta ao Item. Psicologia:

Reflexão Crítica, v. 26, n. 2, p. 241-250, 2013.

SEVERINO, Cláudio Delunardo; PARROZZI, Renato. Uma reflexão acerca da avaliação no

ensino superior. Revista Práxis. v. 2, n. 4, p. 57-63, 2010.

SILVA, Danilo Scherre Garcia da; MATOS, Poliana Michetti de S.; ALMEIDA, Daniel

Manzoni de. Métodos avaliativos no processo de ensino e aprendizagem: uma revisão.

Cadernos de Educação. n. 47. p. 73-84, 2014.

SILVA, Vailton Afonso da; MARTINS, Maria Inês. Análise de questões de Física do ENEM

pela Taxonomia de Bloom Revisada. Revista Ensaio. n. 03, v. 16, p. 189-202, 2014.

SOUZA, Antônio Carlos de; LOPES, Celi Espasandin. A construção de ideias estatísticas na

Educação Infantil. In: Congresso de Leitura do Brasil, 16., Seminário De Educação

Matemática, 3., 2007, Campinas. Anais eletrônicos... Campinas: Unicamp, 2007. Disponível

em: < http://alb.com.br/arquivo-

morto/edicoes_anteriores/anais16/sem15dpf/sm15ss01_01.pdf> Acesso em: 15 set. 2017.

TREVISAN, André Luis; AMARAL, Roseli Gall do. A Taxionomia revisada de Bloom

aplicada à avaliação: um estudo de provas escritas de Matemática. Ciênc. Educ., Bauru, v.

22, n. 2, p. 451-464, 2016.

94

VIEIRA, Sonia. Introdução à Bioestatística. 4. ed. Rio de Janeiro: Elsevier, 2011.

VILARINHO, Ana Paula Lima. Uma proposta de análise de desempenho dos estudantes e

de valorização da primeira fase da OBMEP. Dissertação (Mestrado Profissional em

Matemática). Universidade de Brasília, Brasília, 2015.

WALICHINSKI, Danieli. Contextualização no ensino de estatística: uma proposta para os

anos finais do ensino fundamental. 2012. Dissertação (Mestrado Profissional em Ensino de

Ciência e Tecnologia) – Universidade Tecnológica Federal do Paraná, Ponta Grossa, Paraná,

2012.

WHITAKER, Douglas; FOTI, Steven; JACOBBE, Tim. The Levels of Conceptual

Understanding in Statistcs (LOCUS) Project: Results of the Pilot Study. Numeracy, v. 8, n. 2,

2015.

ZANELLA, Liane Carly Hermes. Metodologia de Pesquisa. 2. ed. Florianópolis:

Departamento de Ciências da Administração/USFC, 2011.

95

APÊNDICES

96

APÊNDICE A – Verificação da Unidimensionalidade

> o1=fa(respostas,nfactors=1,cor="tet") > o1$loadings Loadings: MR1 Q1 0.671 Q2 0.748 Q3 0.681 Q4 0.649 Q5 0.748 Q7 0.620 Q8 0.566 Q9 0.611 MR1 SS loadings 3.531 Proportion Var 0.441

pacote psych - matriz de correlações tetracorica

97

APÊNDICE B – Escore da TRI.

ID

ALUNO

SCORE

TRI

ID

ALUNO

SCORE

TRI

ID

ALUNO

SCORE

TRI

ID

ALUNO

SCORE

TRI

ID_5 -1,4543 ID_58 -0,8535 ID_53 -0,3605 ID_164 0,1243

ID_49 -1,4543 ID_181 -0,8093 ID_54 -0,3605 ID_200 0,1243

ID_72 -1,4543 ID_93 -0,8062 ID_90 -0,3605 ID_59 0,1543

ID_83 -1,4543 ID_195 -0,8047 ID_136 -0,3605 ID_147 0,1543

ID_132 -1,4543 ID_48 -0,7571 ID_161 -0,3605 ID_25 0,1741

ID_141 -1,4543 ID_38 -0,7325 ID_171 -0,3605 ID_18 0,213

ID_150 -1,4543 ID_71 -0,7325 ID_177 -0,3442 ID_23 0,213

ID_183 -1,4543 ID_74 -0,7325 ID_19 -0,3393 ID_61 0,213

ID_186 -1,4543 ID_88 -0,7325 ID_78 -0,3191 ID_118 0,213

ID_92 -1,4223 ID_91 -0,7325 ID_137 -0,257 ID_138 0,213

ID_98 -1,3884 ID_116 -0,7325 ID_66 -0,2494 ID_39 0,2641

ID_125 -1,3884 ID_149 -0,7325 ID_32 -0,1998 ID_203 0,2641

ID_126 -1,3884 ID_114 -0,7291 ID_163 -0,1998 ID_35 0,3251

ID_128 -1,3884 ID_1 -0,6938 ID_172 -0,1883 ID_36 0,3452

ID_196 -1,3454 ID_3 -0,6938 ID_10 -0,1841 ID_73 0,3452

ID_204 -1,345 ID_106 -0,6938 ID_191 -0,1841 ID_85 0,3452

ID_21 -1,338 ID_151 -0,6938 ID_144 -0,1552 ID_153 0,3452

ID_86 -1,2713 ID_174 -0,6938 ID_145 -0,1552 ID_8 0,356

ID_133 -1,2713 ID_194 -0,6938 ID_30 -0,126 ID_185 0,356

ID_140 -1,2713 ID_173 -0,6621 ID_33 -0,126 ID_60 0,3844

ID_44 -1,2524 ID_199 -0,6621 ID_152 -0,126 ID_52 0,4016

ID_113 -1,149 ID_206 -0,6403 ID_75 -0,1123 ID_16 0,4605

ID_129 -1,149 ID_51 -0,631 ID_111 -0,0901 ID_156 0,4851

ID_47 -1,1466 ID_68 -0,631 ID_112 -0,0901 ID_55 0,5444

ID_188 -1,1466 ID_99 -0,631 ID_119 -0,0584 ID_120 0,5806

ID_24 -1,1391 ID_84 -0,6223 ID_123 -0,0584 ID_42 0,5975

ID_121 -1,0976 ID_115 -0,6154 ID_124 -0,0584 ID_43 0,5975

ID_9 -1,0896 ID_77 -0,5833 ID_26 -0,0547 ID_45 0,5975

ID_100 -1,0896 ID_117 -0,5833 ID_27 -0,0547 ID_57 0,6239

ID_192 -1,0758 ID_148 -0,5833 ID_28 -0,0547 ID_6 0,7487

ID_64 -1,0529 ID_175 -0,5833 ID_101 -0,0414 ID_12 0,7487

ID_205 -1,0529 ID_4 -0,5136 ID_41 -0,0378 ID_13 0,7487

ID_160 -1,0031 ID_198 -0,5076 ID_46 -0,0378 ID_14 0,7487

ID_193 -1,0031 ID_110 -0,4543 ID_89 -0,0378 ID_17 0,7487

ID_167 -1,0029 ID_197 -0,4543 ID_95 -0,0378 ID_20 0,7487

ID_15 -0,9929 ID_182 -0,4493 ID_96 -0,0378 ID_22 0,7487

ID_34 -0,9929 ID_162 -0,4439 ID_158 -0,0378 ID_62 0,7487

ID_102 -0,9929 ID_105 -0,4424 ID_134 0,0521 ID_63 0,7487

ID_97 -0,9792 ID_166 -0,4424 ID_122 0,0525 ID_67 0,7487

ID_127 -0,9694 ID_179 -0,4424 ID_189 0,0635 ID_69 0,7487

ID_2 -0,9263 ID_143 -0,4282 ID_201 0,0794 ID_70 0,7487

ID_40 -0,9263 ID_169 -0,4282 ID_184 0,1021 ID_79 0,7487

ID_176 -0,9263 ID_108 -0,417 ID_31 0,1112 ID_81 0,7487

ID_107 -0,9169 ID_135 -0,383 ID_50 0,1112 ID_87 0,7487

ID_165 -0,8866 ID_168 -0,383 ID_139 0,1112 ID_94 0,7487

ID_187 -0,8813 ID_207 -0,383 ID_142 0,1112 ID_109 0,7487

ID_178 -0,8544 ID_146 -0,3782 ID_170 0,1112 ID_130 0,7487

98

ID

ALUNO

SCORE

TRI

ID

ALUNO

SCORE

TRI

ID_154 0,7487 ID_218 1,5547

ID_190 0,8452 ID_219 1,5547

ID_11 0,9028 ID_220 1,5547

ID_29 0,9028 ID_221 1,5547

ID_202 0,9028 ID_222 1,5547

ID_223 1,0174 ID_224 1,5547

ID_225 1,0174 ID_226 1,5547

ID_237 1,0174 ID_227 1,5547

ID_37 1,0627 ID_228 1,5547

ID_65 1,0627 ID_229 1,5547

ID_76 1,0627 ID_230 1,5547

ID_80 1,0627 ID_231 1,5547

ID_82 1,0627 ID_232 1,5547

ID_131 1,0627 ID_233 1,5547

ID_157 1,0627 ID_234 1,5547

ID_159 1,0627 ID_235 1,5547

ID_180 1,0627 ID_236 1,5547

ID_7 1,0973

ID_155 1,0973

ID_56 1,5547

ID_103 1,5547

ID_104 1,5547

ID_208 1,5547

ID_209 1,5547

ID_210 1,5547

ID_211 1,5547

ID_212 1,5547

ID_213 1,5547

ID_214 1,5547

ID_215 1,5547

ID_216 1,5547

ID_217 1,5547

99

ANEXOS

100

ANEXO 1 – Formulário para questões

Documents

CRIAÇÃO E VALIDAÇÃO DE QUESTÕES EM ESTATÍSTICA … · Programa de Pós-Graduação em Ensino de Ciências, Matemática e Tecnologias (PPGECMT), é de cunho quantitativo e aborda