Upload
elainefran9904
View
130
Download
1
Embed Size (px)
Citation preview
1
TEORIA DA RESPOSTA AO ITEM: Conceitos, Modelos e Aplicações
Dalton F. Andrade ([email protected])
Departamento de Informática e Estatística – UFSC
IME/USP – verão 2005
2
Conteúdo Introdução Modelos matemáticos Estimação: um único grupo (população) Equalização Estimação: dois ou mais grupos A escala de proficiência: construção e
interpretação Modelos para dados longitudinais Modelos Multidimensionais Modelos Multivariados
3
Conteúdo DIF e DRIFT Recursos computacionais: em todos os tópicos Principais aplicações no Brasil em Educação Aplicações em outras áreas
Qualidade de vida Serviços Gestão pela qualidade etc
4
Referências iniciais Lord, F.M., Norvick, M.R. (1968). Statistical Theories of
Mental Test Score. Reading: Addison-Wesley Lord, F.M. (1980). Applications of Item Response Theory
to Practical Testing Problems. Hillsdale: Lawrence Erlbaum Associates
Hambleton, R.K., Swaminathan, H., Rogers, H.J. (1991). Fundamentals of Item Response Theory. Newburry Park: Sage Publications.
Andrade, D.F., Tavares, H.R., Cunha, R.V. (2000). Teoria da Resposta ao Item: Conceitos e Aplicações. São Paulo: Associação Brasileira de Estatística.
5
Introdução
A Teoria da Resposta ao Item (TRI) é um conjunto de modelos matemáticos que relacionam um ou mais traços latentes (não observados) de um indivíduo com a probabilidade deste dar uma certa resposta a um item
Traço latente: habilidade/proficiência em Matemática, grau de satisfação do consumidor, grau de maturidade de uma empresa em Gestão pela Qualidade, etc.
Item: questão (prova), pergunta (questionário sobre qualidade de vida), ...
6
A partir de um conjunto de itens (questionário, prova, ...) deseja-se : estimar os parâmetros dos itens (calibração) “estimar” a habilidade, proficiência, grau de
satisfação, grau de maturidade, ...
Exemplos: prova de matemática para alunos de uma determinada série, questionário sobre os recursos físicos e pedagógicos da escola (Censo Escolar do INEP/MEC), questionário sobre qualidade de vida de pacientes que foram submetidos a determinado tratamento médico, ..)
7
Modelos• Dependem do tipo de item
• Item de múltipla escolha (corrigido como certo/errado)
Logístico (unidimensional) com 1, 2 ou 3 parâmetros ( p/ itens corrigidos como certo/errado)
)b(aiijijijie1
1)c1(c)|1U(P
8
Modelo Logístico de 3 parâmetros
Curva característica do item - CCI
0,0
0,2
0,4
0,6
0,8
1,0
-4,0 -3,0 -2,0 -1,0 0,0 1,0 2,0 3,0 4,0
habilidade (traço latente)
prob
abilid
ade
de re
spos
ta
corr
eta
b
a
c
iiiiiiii
a: discriminação ou inclinação do itemb: dificuldade (medido na mesma métrica do traço latente)c: acerto casual (probabilidade)
9
Modelo Logístico de 3 parâmetros(a=2,5; b=1,2; c=0,2)
0
0,2
0,4
0,6
0,8
1
-6 -5 -4 -3 -2 -1 0 1 2 3 4 5 6
habilidade(traço latente)
pro
ba
bil
ida
de
P1 P0
10
• Modelo Nominal(considera todas as categorias de resposta)
im
hihjih
isjis
jijs
ba
baUP
1
)](exp[
)](exp[)|1(
Logístico modelo no como b e a com isis
11
Modelo Nominal
a=(-2,-1,1,0) e b=(-2,-1,2,1)
0,00,10,20,30,40,50,60,70,80,91,0
-4,0 -3,0 -2,0 -1,0 0,0 1,0 2,0 3,0 4,0
Traço latente
Pro
ba
bili
da
de
P1 P2 P3 P4
12
• Modelo de Resposta Gradual (categorias ordinais)
)](exp[1
1
)](exp[1
1)|1(
)1(
siji
isji
jijs
ba
baUP
iimiibbb ...
21
13
Modelo Resposta Gradual a=1,2 e b=(-2,-1,1)
0,00,20,40,60,81,01,2
-4,0 -3,0 -2,0 -1,0 0,0 1,0 2,0 3,0 4,0
Traço latente
Prob
abili
dade
P0 P1 P2 P3
14
• Modelo de Crédito Parcial: Modelo de Resposta Gradual sem o parâmetro de discriminação a
•Modelo de Escala Gradual: Modelo de Resposta Gradual com bis = bi – ds
15
Aplicações em Avaliação Educacional
SAEB: Sistema Nacional de Avaliação da Educação Básica
- anos: 95/97/99/2001/2003(outubro)- séries: 4a. e 8a. do EF e 3a. do EM
- disciplinas: Matemática, Português, Ciências, Física, Química, Biologia, História, Geografia- itens de múltipla escolha (95: itens 0,1,2)- um grande número de itens para cobrir a grade curricular- provas diferentes para uma mesma série/disciplina (BIB)- aluno faz somente uma das provas de uma das disciplinas- http://www.inep.gov.br/basica/saeb/
16
Aplicações em Avaliação Educacional
PISA – Programme for International Student Assessment (Programa Internacional de Avaliação de Alunos)
- anos: 2000(Leitura), 2003(Matemática), 2006(Ciências) - alunos com 15 anos (independente da série)
- itens de múltipla escolha e itens abertos (corrigidos 0,1,2)- modelo de 1 parâmetro (somente parâmetro b: dificuldade)- esquema BIB- 32 países em 2000- http://www.inep.gov.br/internacional/pisa/
17
Equalização
Kolen, M.J., Brennan, R.L. (1995). Test Equating – Methods and Practices. New York: Springer.
Resultados de diferentes provas em uma mesma escala Exemplo: SAEB (entre séries e anos) Como obter resultados comparáveis? Itens comuns entre séries e anos
18
Equalização
Calibração em separado: equalização pelo princípio da invariância Exemplo: dados do SARESP
Estimativas dos parâmetros dos itens comuns aos grupos 3ª série 96 e 97. Parâmetro a Parâmero b Parâmetro c
Item 3ª. 96 3ª 97 3ª. 96 3ª 97 3ª. 96 3ª 97 C3S01 1,37 1,04 -1,27 -2,18 0,01 0,01 C3S02 2,29 1,33 -0,30 -0,90 0,01 0,01 C3S03 2,24 1,18 0,09 -0,18 0,01 0,01 C3S04 1,25 1,08 -2,33 -3,12 0,20 0,25 C3S05 1,63 1,54 -2,09 -2,90 0,21 0,24 C3S06 1,32 1,57 -2,43 -3,14 0,19 0,24 C3S07 1,03 0,79 0,35 0,54 0,22 0,19 C3S08 1,04 0,80 0,96 0,88 0,29 0,25 C3S09 1,37 1,70 0,94 0,82 0,29 0,27 C3S10 0,85 1,17 -0,83 -1,05 0,19 0,23 C3S11 0,99 1,56 -0,12 -0,88 0,22 0,17
19
Equalização
-4
-3
-2
-1
0
1
2
-4 -3 -2 -1 0 1 2
3a. série 1996
3a
. sé
rie
19
97
20
Bock, R.D., Zimowski, M.F. (1997). Multiple group IRT. In Handbook of Modern Item Response Theory. W.J. van der Linden and R.K. Hambleton Eds. New York: Springer-Verlag Andrade, D.F. (2001). Desempenhos de grupos de alunos por intermédio da teoria da resposta ao item. Estudos em Avaliação Educacional, no. 23, 31-70.
Questões: - Número e distribuição de itens comuns- Como ¨posicionar¨ novos grupos em uma escala já construída- Avaliações Estaduais e outras: itens calibrados + itens novos
Calibração simultânea: Modelo dos Grupos Múltiplos
)b(aiikjijikjie1
1)c1(c)|1U(P
21
“Régua (métrica) criada a partir dos resultados do SAEB
- Média 250 (rendimento médio dos alunos da 8a. Série em 1997)
- Desvio padrão 50- http://www.inep.gov.br/download/saeb/2004/ resultados/BRASIL.pdf
Interpretação pedagógica da escala- Beaton, A.E., Allen, N.L. (1992). Interpreting scales through scale anchoring. Journal of Educational Statistics, 17, 191-204.- Valle, R.C. (2001). Construção e interpretação de escalas de conhecimento: um estudo de caso. Estudos em Avaliação Educacional, no. 23, 71-92.
Escala Nacional de Proficiência – INEP/MEC
22
Escala Nacional de Proficiência – INEP/MEC
Língua Portuguesa - Brasil
150
200
250
300
1995 1997 1999 2001 2003
anos
ren
dim
en
to m
éd
io
4a. 8a. 3a.
23
Escala Nacional de Proficiência – INEP/MEC
Matemática - Brasil
150
200
250
300
1995 1997 1999 2001 2003
anos
rend
ime
nto
méd
io
4a. 8a. 3a.
24
Dados Longitudinais
• PDE/FUNDESCOLA
-Alunos de 4a. em 1999 acompanhados até a 8a. s em 2003
-Novos alunos podem entrar no estudo
-Dados Incompletos
- Duas disciplinas (Mat. e Port.): Bivariado
25
Dados Longitudinais
International Project on Mathematical Attainment - IPMA (Profa. Ednéia Consolin Poli – UEL)
1999 2000 2001 2002 2003
G1-1ª.
G1-2ª.
G2-1ª.
G1-3ª.
G2-2ª.
G1-4ª.
G2-3ª.
G2-4ª.
Professores 22 22 22 20 18 24 16 17
Alunos 568 557 512 395 309 307 282 270
Escolas 8 8 6 8 6 8 6 6
No. de itens 20 40 20 60 40 80 60 80
Fatores Assoc. - - - - - sim - sim
26
Dados Longitudinais
Questões:• Modelos: Longitudinal, Multivariado
• Programas computacionais
Referência:• Tavares, H. R.(2001). Modelos da Teoria da Resposta ao Item para Dados Longitudinais. Tese de Doutorado. IME/USP.• Andrade, D.F. and Tavares, H.R. (2004). Item response theory for longitudinal data: population parameter estimation. (aceito para publicação em Journal of Multivariate Analysis).• Tavares, H.R. and Andrade, D.F. (2004). Item response theory for longitudinal data: item and population parameter estimation. (aceito para publicação em TEST).
27
• ENEM- Exame Nacional do Ensino Médio
Prova multidisciplinarItens multidimensionais
Questões: Estudar a dimensão: análise fatorial Unidimensional: eliminar itens multidimensionais Multidimensional: Propor modelos Interpretar as dimensões/criar escalas Desenvolver programas computacionais
• http://www.inep.gov.br/basica/enem/
28
Aplicações em outras áreas Gestão pela Qualidade- Alexandre, J.W.C., Andrade,D.F., Vasconcelos,A.P. e Araújo, A.M.S.(2002).
Uma proposta de análise de um construto para a medição dos fatores críticos da gestão pela qualidade através da teoria da resposta ao item. Gestão & Produção, v.9, n.2, p.129-141.
Serviços/Marketing- Costa, M.B.F. (2001). Técnica derivada da teoria da resposta ao item aplicada
ao setor de serviços. Dissertação de Mestrado – PPGMUE/UFPR- Bortolotti, S.L.V. (2003). Aplicação de um modelo de desdobramento da
teoria da resposta ao item – TRI. Dissertação de Mestrado. EPS/UFSC- Bayley, S. (2001). Measuring customer satisfaction. Evaluation Journal of
Australasia, v. 1, no. 1, 8-16.
29
Aplicações em outras áreas Médica- Mesbah, M., Cole, B.F., Lee, T.M. Eds. (2002). Statistical
Methods for Quality of Life Studies. Dordrecht: Kluwer Academic Publishers
- DeRoos, Y., Allen-Meares, P. (1998). Application of the Rasch Analysis: exploring differences in depression between african-american and white children. Journal of Social Service Research, v. 23, no. ¾, 93-107.
Biologia/Genética- Tavares, H.R., Andrade, D.F. and Pereira, C.A.B. (2004).
Detection of determinant genes and diagnostic via item response theory. (aceito para publicação em Genetics and Molecular Biology).