63
OCENJEVANJE ZANESLJIVOSTI TESTA “V kolikšni meri na testne dosežke vplivajo slučajne napake?” Zanesljivost Kaj je zanesljivost (2 (+1) koncept zanesljivosti)

OCENJEVANJE ZANESLJIVOSTI TESTA

  • Upload
    crwys

  • View
    94

  • Download
    0

Embed Size (px)

DESCRIPTION

OCENJEVANJE ZANESLJIVOSTI TESTA. “V kolikšni meri na testne dosežke vplivajo slučajne napake?”. Zanesljivost K aj je zanesljivost (2 (+1) koncept zanesljivosti). Klasična testna teorija (teorija pravega dosežka):. X = T + E T = E(X) r TE = 0. Koeficient zanesljivosti. - PowerPoint PPT Presentation

Citation preview

Page 1: OCENJEVANJE ZANESLJIVOSTI TESTA

OCENJEVANJE ZANESLJIVOSTI TESTA

“V kolikšni meri na testne dosežke vplivajo slučajne napake?”

Zanesljivost 

Kaj je zanesljivost (2 (+1) koncept zanesljivosti)

Page 2: OCENJEVANJE ZANESLJIVOSTI TESTA

Klasična testna teorija (teorija pravega dosežka):

X = T + E

T = E(X)

rTE = 0

Page 3: OCENJEVANJE ZANESLJIVOSTI TESTA

Koeficient zanesljivosti

2

2

2

2

1'

X

E

X

TXX

r

'1XXXE r

X T E2 2 2

Page 4: OCENJEVANJE ZANESLJIVOSTI TESTA

Klasična testna teorija vs. teorija posplošljivosti

Kadar hočemo meriti neko spremenljivko (vedenje), imamo po tej teoriji vedno opraviti s celotnim področjem ali univerzumom vedenj.

Ker se univerzum vedno nanaša na zelo veliko število obnašanj v neki dejavnosti, se moramo iz čisto praktičnih razlogov odločiti za končni vzorec obnašanj.

Končni vzorec vedenj je isto kot izmerjeni dosežek v klasični testni teoriji, tako kot je univerzalni dosežek isto kot pravi dosežek v klasični psihometrični teoriji. Razlika je v tem, da teorija posplošljivosti dopušča možnost različnih alternativnih možnih univerzumov generalizacije, pri katerih vsak vsebuje drugačne vire napake merjenja.

Varianca napake je vse, kar sestavlja končni, dobljeni dosežek in ni pravi dosežek.

Page 5: OCENJEVANJE ZANESLJIVOSTI TESTA

Varianca napake načeloma lahko “pride od koderkoli”, vendar:

(i) Sestavljanje testa (npr. posledica t.i. vzorčenja nalog ali vzorčenja vsebine).

(ii) Administriranje testa (vpliv testatorja ali medsebojnega vplivanja med testatorjem in testirancem ter testirančeva pozornost, pazljivost, natančnost, motivacija, fizično in psihično splošno počutje, prespanost, nivo testne anksioznosti, obremenjenost s čustvenimi problemi, trenutna podvrženost vplivu raznih poživljajočih ali pomirjajočih substanc ...; faktorji okolja (sobna temperatura, stopnja osvetlitve, prezračenost, hrup, prostornost in udobnost mesta testiranja za posameznika ...).

(iii) Vrednotenje rezultatov ter interpretacija. Bolj ko je test objektiviziran pri postopkih vrednotenja in razlaganja izsledkov, manjša bo napaka merjenja, ki od tod izvira. Napako, ki od tod izvira, je zelo težko kontrolirati.  

Page 6: OCENJEVANJE ZANESLJIVOSTI TESTA

Največ očitkov predpostavki, da gre pri merjenju le za slučajne napake, ki med seboj ne korelirajo in tudi ne korelirajo s pravim dosežkom. Alwin (1989) - komponente, ki vplivajo na varianco izmerjenega dosežka: -       dejanska vrednost, -       lastnosti merskih postopkov, -       napake pri konceptualizaciji in operacionalizaciji, -       slučajne napake in -      napake, ki so sicer slučajne glede na dejanske vrednosti, a korelirajo med seboj pri ponovljenih meritvah. Ocena vseh komponent je praktično nemogoča, vendar lahko ocenimo vsaj nekatere od njih. KTT upošteva le (i) in (iv).

Kritika KTT in koeficientov, ki izvirajo iz nje (npr. α)

Težava KTT – temelji na treh predpostavkah:

o kongeneričnosti, o -enakovrednosti,o vzporednosti meritev.

Page 7: OCENJEVANJE ZANESLJIVOSTI TESTA

X = T + E

Page 8: OCENJEVANJE ZANESLJIVOSTI TESTA
Page 9: OCENJEVANJE ZANESLJIVOSTI TESTA
Page 10: OCENJEVANJE ZANESLJIVOSTI TESTA

Termini • xi…neodvisne merske spremenljivke• yi… odvisne merske spremenljivke• ξ (Ksi)..eksogeni latentni konstruki• η (eta)…endogeni latentni konstrukti• γ (gama)…zveze med latentnimi konstrukti• Λ (lambda)…zveze med merskimi spremenljivkami in latentnimi

konstrukti• Φ (fi)…korelacije med eksogenimi latentnimi konstrukti• β (beta)…korelacije med endogenimi latentnimi konstrukti• δ (delta)…napake merjenja pri odvisnih spremenljivkah• ε (epsilon)…napake merjenja pri neodvisnih spremenljivkah• ζ (zeta)…rezidualna varianca v strukturi• Ψ (psi)…korelacija med rezidualnimi variancami v strukturi• … m x n matrika koeficientov eksogenih spr. v strukturnem od.• B … m x m matika koeficientov endogenih spr. v strukturnem odnosu

(B ima 0 v diagonali)

Page 11: OCENJEVANJE ZANESLJIVOSTI TESTA

Merski modeli:

odnos med pravimi dosežki narazličnih meritvah (postavkah, testih)

izbira & interpretacija postopkaocenjevanja zanesljivosti

Naslednja težava KTT: temelji na treh predpostavkah: o kongeneričnosti, o -enakovrednosti,o vzporednosti meritev.

Page 12: OCENJEVANJE ZANESLJIVOSTI TESTA

T a bTi j 1. Kongenerični model:

Pravi dosežki pri različnih meritvah so popolnoma korelirani (= testi / postavke merijo isto lastnost),T in X imajo lahko različne M in SD.

Page 13: OCENJEVANJE ZANESLJIVOSTI TESTA

Predpostavka o kongeneričnosti

Page 14: OCENJEVANJE ZANESLJIVOSTI TESTA
Page 15: OCENJEVANJE ZANESLJIVOSTI TESTA

T a Ti j

2a. V bistvu (esencialno) - enakovredni model:

Kongenerični model +• meritve imajo enake prave variance,• meritve imajo lahko različne dejanske M in SD.

Page 16: OCENJEVANJE ZANESLJIVOSTI TESTA

T Ti j2b. - enakovredni model:

Kongenerični model +• pravi dosežki (in s tem prave variance) na različnih meritvah so

enaki;• meritve imajo lahko različne dejanske SD, vendar enake M.

Page 17: OCENJEVANJE ZANESLJIVOSTI TESTA

Predpostavka o -enakovrednosti

α tudi počiva na teh predpostavkah; zakaj KTT vseeno še v uporabi?

Page 18: OCENJEVANJE ZANESLJIVOSTI TESTA

Predpostavka o vzporednosti meritev: KTT računa na popolno koreliranost dejanskih spremenljivk pri prvem in ponovljenem merjenju (predpostavlja, da vsi merski postopki merijo natanko eno in isto in da se dejanske vrednosti dosežka ne spreminjajo v času).

rxx' = korelaciji med testom in retestom, pri čemer kovarianca

med vzporednima meritvama daje oceno variance dejanske vrednosti odgovora.

Vemo pa, da pri merjenju v več t točkah na r med izmerjenimi dosežki vpliva: -         (ne)stabilnost dejanskega dosežka v času, -         specifičnost metode -         mnogi drugi sistematični dejavniki.

Zato nižji r med merami ne pomeni nujno tudi majhne zanesljivosti merjenja.

Page 19: OCENJEVANJE ZANESLJIVOSTI TESTA

T Ti j

3. Vzporedni model:

- enakovredni model +

• meritve imajo enake variance napak in zato enake dejanske aritmetične sredine in variance.

E Ei j

2 2

Page 20: OCENJEVANJE ZANESLJIVOSTI TESTA

Preverjanje predpostavk merskih modelov:

• pregled aritmetičnih sredin, varianc, kovarianc in korelacij,

Predvsem pa:

• konfirmatorna faktorska analiza.

Page 21: OCENJEVANJE ZANESLJIVOSTI TESTA

NAČINI OCENJEVANJA ZANESLJIVOSTI

1. ponovno testiranje,

2. enakovredne oblike,

3. notranja skladnost.

Page 22: OCENJEVANJE ZANESLJIVOSTI TESTA

1. PONOVNA MERITEV (RETEST)

• Test po določenem času ponovno apliciramo.

• Zanesljivost = korelacija med dosežki na obeh testiranjih.

• Meritvi morata biti vzporedni (ni vpliva učenja, lastnost se ni spremenila).

Page 23: OCENJEVANJE ZANESLJIVOSTI TESTA

2. ENAKOVREDNI OBLIKI

• Imamo vsaj dve inačici testa.

• Meritvi morata biti vzporedni (ni sistematičnega vpliva vzorčenja nalog ter vaje oz. učenja).

• Zanesljivost = korelacija med dosežki na obeh testiranjih.

Page 24: OCENJEVANJE ZANESLJIVOSTI TESTA

3. NOTRANJA SKLADNOST (INTERNA KONSISTENTNOST)

• Test razdelimo na več (od 2 do n) eksperimentalno neodvisnih delov.

• Če ti deli merijo isto lastnost, so nepopolne korelacije posledica napake merjenja.

• Zadostuje eno testiranje (dele testa obravnavamo kot ločene meritve).

Page 25: OCENJEVANJE ZANESLJIVOSTI TESTA

Cronbachov koeficient:

n ij

S

nn

i

S

2

2 1

2

21

“Kovariance med postavkami so odraz prave variance postavk.”

Page 26: OCENJEVANJE ZANESLJIVOSTI TESTA

Prednosti koeficienta :

• enostavno izračunljiv in razumljiv,

• vzorčni je nepristranska ocena populacijskega ,

• znana vzorčna porazdelitev.

Page 27: OCENJEVANJE ZANESLJIVOSTI TESTA

Pomanjkljivost koeficienta :

je enak zanesljivosti le, če so postavke vsaj v bistvu -enakovredne;

sicer je ocena spodnje meje zanesljivosti.

Vendar:

je razmeroma dobra ocena zanesljivosti, če test ni izrazito multidimenzionalen.

Page 28: OCENJEVANJE ZANESLJIVOSTI TESTA

Poseben primer za dihotomno točkovane postavke jeKuder-Richardsonov obrazec št. 20

KR

nn

i i

Y

p q20 1 21

Page 29: OCENJEVANJE ZANESLJIVOSTI TESTA

Dihotomne postavke z enakimi težavnostmi:Kuder-Richardsonov obrazec št. 21

KR

Y

Y

n Y n Y

n21

2

21

( )

( )Če so M oz. SD postavk različne, je KR21 nižji od KR20.

Page 30: OCENJEVANJE ZANESLJIVOSTI TESTA

Zanesljivost časovno omejenih testov:

1. merjenje odgovornih časov ali

2. test razdelimo na več delov in jih ločeno apliciramo.

Page 31: OCENJEVANJE ZANESLJIVOSTI TESTA

Spearman-Brownov obrazec: odnos med zanesljivostjo in dolžino testa.

XX

XX

rkkr

kkr )1(1 Ocena zanesljivosti, če:• združimo n vzporednih postavk,• test podaljšamo s homogenimi postavkami,• iz testa izločimo naključno izbrane postavke.

Page 32: OCENJEVANJE ZANESLJIVOSTI TESTA

Spearman-Brownov obrazec =

za standardizirane oz. vzporedne postavke

Page 33: OCENJEVANJE ZANESLJIVOSTI TESTA

Razpolovitveni koeficient zanesljivosti:

1. test razdelimo na dva enaka dela (npr. parne in neparne postavke);

2. izračunamo skupni dosežek za vsak del posebej;

Page 34: OCENJEVANJE ZANESLJIVOSTI TESTA

3a. Varianci obeh delov približno enaki:Spearman-Brownov obrazec.

3b. Varianci obeh delov različni:Guttmanov razpolovitveni koeficient.

rXXX X

2 1

412

22

2122

rr

rXX 2

112

12

Page 35: OCENJEVANJE ZANESLJIVOSTI TESTA

SB obrazec

rr

rXXhh

hh'

'

'

2

1

kk

k

n

n' ( )

1 1

k = koeficient zanesljivosti testa z dolžino k,

k’ = test z drugačno dolžino (k’);

n = ulomek k’/k

oziroma k k k k

k k

' '

'

1

1 n

k

kk k

k k

' '

'

1

1

k kk k

k k

'

'

1

1dodano (odvzeto) število nalog

Page 36: OCENJEVANJE ZANESLJIVOSTI TESTA

Hoytov postopek

dvosmerna analiza variance:1. faktor - osebe,2. faktor - postavke.

Notacija:N = št.subjektovn = št.postavk / ocenjevalcevXs. = povprečni odgovor osebe sX.o = povprečni odgovor na postavki o /

povprečna ocena ocenjevalca o, X.. = povprečje vseh odgovorov,Ts., T.o = skupni dosežek, vsota po postavkiT.. = skupna vsota

Page 37: OCENJEVANJE ZANESLJIVOSTI TESTA

Viri variance:

1. med subjekti:

SS n X XT

n

T

Nndf Nsubj S

S ( . ..). ..2

2 2

1

SS N X XT

N

T

Nndf no O

O ( ..).. ..22 2

1

2. med postavkami / ocenjevalci:

Page 38: OCENJEVANJE ZANESLJIVOSTI TESTA

3. interakcija - rezidual:

4. skupna varianca:

SSrez = (XSO - XS. - X.O - X..)2 = SST - SSsubj - SSO

df = (N-1)(n-1)

SST = (XSO - X..)2 = XSO2 - T..2/Nn

df = Nn - 1

Page 39: OCENJEVANJE ZANESLJIVOSTI TESTA

Postopek je uporaben tudi pri dihotomnih postavkah, vendar lahko F - test izvedemo le, če so postavke na intervalni lestvici.

MS MS

MSsubj rez

subj

Page 40: OCENJEVANJE ZANESLJIVOSTI TESTA

Spodnja meja intervala zaupanja za populacijski :

s=1-(1-)F

F = vrednost F porazdelitve pri N-1 in (N-1)(n-1) stopnjah svobode pri želenem p.

Page 41: OCENJEVANJE ZANESLJIVOSTI TESTA

Rezultati po nalogah Testni rezultati

Oseba 1 2 3 4 5 6 7 8 Skupaj (X) Neparni Parni

1 1 0 1 1 0 1 1 1 6 3 3

2 1 1 1 1 1 1 1 1 8 4 4

3 0 0 0 0 1 0 1 0 2 0 2

... ... ... ...

P (pravilno) 0.4 0.3 0.5 0.6 0.6 0.7 0.7 0.8

Q 0.6 0.7 0.5 0.4 0.4 0.3 0.3 0.2

2 0.24 0.21 0.25 0.24 0.24 0.21 0.21 0.16 9.60 2.45 2.67

Tabela 6.1: Podatki za primer analize zanesljivosti (angl. reliability analysis)

ki

X

k

k

1

12

2

Page 42: OCENJEVANJE ZANESLJIVOSTI TESTA

(A) Koeficient alfa:

k

k

s

s

items

Total11

2

2

(C) “Split-half” koeficient zanesljivosti:

rr

rXXhh

hh'

'

'

2

1

(B) Kuder-Richardsonova formula KR20 - zgolj varianta formule (A)

KRk

k

PQ

s Total

201

12

Page 43: OCENJEVANJE ZANESLJIVOSTI TESTA

-         kako zanesljivi so različni testi

Tipična ocena zanesljivosti

Tip testa

Interpretacija

.95 - standardizirani skupinski testi E ima majhen vpliv

.90 inteligentnosti visoka do zmerna zanesljivost

.85 - standardizirani testi dosežka

.80

.75 - objektivni testi znanja v šoli in srednja do nizka zanesljivost

.70 nekateri objektivni vprašalniki osebnosti

.65 - ocenjevalne lestvice nizka zanesljivost

.60 - nekatere projekcijske mere

.55 - mere poštenosti, iskrenosti pravi dosežek in napaka imata

.50 enak vpliv na testni rezultat

Page 44: OCENJEVANJE ZANESLJIVOSTI TESTA

Interpretacija koeficienta zanesljivosti (VIRI VARIABILNOSTI različni za različne rxx'):

•rxx' = 0,82 (???)

•kaj merimo (inteligentnost, znanje, specifične sposobnosti, veščine, osebnostne lastnosti, temperament, stališča, vrednote ...)

•kakšen koeficient smo računali

 

Page 45: OCENJEVANJE ZANESLJIVOSTI TESTA

Od kod pride napaka merjenja?

Pozor: irelevantni konstantni dejavniki niso napaka merjenja (npr. testna anksioznost)!

Retest Vzporedneoblike

Notranjaskladnost

Vzorčenjepostavk

Trenutnanepozornost

Spremembemerjene lastnosti

(gl. na čas.razmik)

Spremembepočutja, motiv.,zun. pogojev…

(gl. na čas.razmik)

Učenje

Zapomnitevodgovorov

Page 46: OCENJEVANJE ZANESLJIVOSTI TESTA

Viri variabilnosti, ki zvečujejo dano E, kadar podatke dobimo z različnimi postopki:

internakonsistentnost

vzporedne testne oblike,

isti dan

vzporedne testne oblike, različni

dnevi

test-retest (isti test -

različni dnevi)

Trenutna nepozornost, sreča pri ugibanju. x x x xNeposrečena izbira določenega niza nalog, ki predstavlja neko področje (lastnost).

x x x

Zdravje, počutje ali druga trenutna stanja testiranca.

x x

Spremembe v motivaciji od trenutka do trenutka.

x x

Možnost za učenje, ki v času pri osebah povzroči spremembo stanja.

x x

Tabela 6.2: Kaj pomeni “napaka” glede na različne postopke preverjanja zanesljivosti

Page 47: OCENJEVANJE ZANESLJIVOSTI TESTA

r = .90r = .30

Test A

Tes

t B

Res

tr.

Restr.

-         vpliv omejenosti obsega na zanesljivost

Page 48: OCENJEVANJE ZANESLJIVOSTI TESTA

r

r

r r

c

u

r

u

r

1 2 22

2

rc = ocena pravega koeficienta, korigiranega za omejen obseg

r = koeficient zanesljivosti testa, dobljen na omejenem vzorcu

u = standardni odklon izmerjenega dosežka v neomejenem vzorcu ali v osnovni populaciji (oziroma njena ocena)

r = standardni odklon izmerjenega dosežka vzorca z omejenim obsegom

Page 49: OCENJEVANJE ZANESLJIVOSTI TESTA

Vpliv napake merjenja na korelacijo med t. rezultatom in kriterijem

rr

rYXYX

XXt

'

rr

r rXYtXY

XX YY

' '

izmerjeni rXY rXX’ rYY’ popravljeni rXYt

.30 .90 .80 .353 .70 .60 .462 .50 .40 .671 .40 .30 .867

.20 .90 .80 .235 .70 .60 .308 .50 .40 .447 .40 .30 .578

.10 .90 .80 .117 .70 .60 .154 .50 .40 .223 .40 .30 .289

Page 50: OCENJEVANJE ZANESLJIVOSTI TESTA

Kako izboljšamo zanesljivost testa?

•povečati objektivnost testa

•izločiti najtežje in prelahke naloge in jih

nadomestiti s srednje težkimi

•popraviti testni rezultat za stopnjo možnosti

ugibanja (pri nalogah izbirnega tipa)

•podaljšati test

•uporabiti sestavljen niz testov

Page 51: OCENJEVANJE ZANESLJIVOSTI TESTA

Zanesljivost sestavljenih dosežkov

rYY

ri ii i

Y

12 2

2

(kadar je zanesljivost komponent večja od korelacije z drugimi komponentami)

Standardizirane vrednosti:

rYY

k rii

Y

1 2

Page 52: OCENJEVANJE ZANESLJIVOSTI TESTA

Zanesljivost sestavljenih dosežkov

r

k kr

k k k rsd

ii

ij

1

2

rsd = zanesljivost sestavljenega dosežka

k = število testov (komponent) v kompozitu

rii = pov posameznih testnih zanesljivosti

rij = povpreèna interkorelacija med testi v

kompozitu

Page 53: OCENJEVANJE ZANESLJIVOSTI TESTA

podtesti star. v letih povp.

7 8 9 10 11 12 13 14 15 16 rxxb

6;6-7;5 7;6-8;5 8;6-9;5 9;6-10;5 10;6-11;5 11;6-12;5 12;6-13;5 13;6-14;5 14;6-15;5 15;6-16;75

2. Poučenost .73d .80 .70 .73 .81 .79 .81 .79 .78 .78 .78 4. Podobnosti (S)e .67 .65 .72 .50 .69 .60 .68 .67 .65 .72 .66 6. Računanje (S) .78 .71 .87 .89 .89 .90 .92 .89 .93 .95 .89 8. Besednjak .83 .79 .81 .77 .80 .78 .82 .75 .83 .79 .80

10. Razumevanje .72 .67 .70 .58 .66 .61 .67 .55 .58 .60 .64 12. Ponavljanje številk .61 .56 .52 .59 .71 .69 .72 .76 .74 .77 .68

1. Dopolnjevanje slik .76 .70 .74 .67 .71 .65 .69 .65 .65 .60 .69 3. Šifriranje -c .70 - c .78 .82 - c - c .70 .90 - c .80 5. Razvrščanje (S) .79 .78 .76 .76 .77 .79 .84 .83 .81 .84 .80 7. Sestavljanje kock (S) .66 .70 .66 .67 .69 .72 .72 .73 .70 .73 .70 9. Sestavljanje predmetov (S) .70 .54 .59 .52 .48 .34 .47 .39 .45 .42 .50

11. Iskanje simbolova .78 .82 .59 .70 .67 .74 .70 .77 .77 .78 .74

13. Labirinti (S) .75 .77 .72 .61 .71 .52 .57 .66 .87 .92 .73

Besedni IQ (VIQ)f .93 .91 .92 .90 .93 .92 .94 .91 .92 .92 .94 Nebesedni IQ (NIQ) .88 .89 .88 .88 .89 .88 .88 .88 .89 .90 .91 Skupni IQ (SIQ) .90 .89 .89 .88 .90 .89 .91 .88 .90 .91 .92

VCI .91 .90 .91 .86 .91 .90 .91 .88 .90 .89 .91 POI .86 .86 .85 .84 .84 .84 .86 .85 .83 .86 .89 FDI .79 .77 .80 .83 .87 .86 .89 .88 .89 .91 .87

PSI .83 .89 .73 .79 .77 .84 .81 .85 .86 .83 .86

N 60 103 125 112 117 128 114 124 104 93 1080

Opomba: N = 1080. Koeficienti lestvice IQ in faktorsko osnovane lestvice so bile izračunane po obrazcu za zanesljivost kompozita (Nunnally, 1978); vrednosti za dodatne podteste (Obseg številk, Labirinti, Iskanje simbolov) niso bile vključene v te izračune.b Povprečni rxx je bil izračunan s pretvorbo v Fisherjeve z vrednosti.d Koeficienti zanesljivosti so računani kot Cronbachovi alfa koeficienti notranje skladnosti. Glede na tabelo 4.3a, v kateri beremo razpolovitvene koeficente notranje skladnosti, so nižji, saj je znano, da se razpolovitveni koeficienti nagibajo k precenjevanju, alfa koeficienti pa k podcenjevanju ocene zanesljivosti.

Page 54: OCENJEVANJE ZANESLJIVOSTI TESTA

Rok Šifra Predmet Termin N k IZ SN RSN IV(3) IV(4) IT % IT<0,1 IT>0,9 IO % ID % Prag neg %041 501 GEO 1 3017 55 0,87 4,15 0,06 0,50 0,55 20,80 0,00 20,80 32,00 2,40 50 4,14041 501 GEO 2 939 61 0,86 4,60 0,07 0,46 0,57 24,00 0,00 24,00 23,20 8,00 50 4,90042 501 GEO 1 334 52 0,75 5,74 0,11 0,25 0,42 0,00 0,00 0,00 44,80 38,40 50 33,83042 501 GEO 2 241 55 0,73 6,06 0,12 0,33 0,34 0,00 0,00 0,00 26,40 36,00 50 34,44

Rok Šifra Predmet Termin N k IZ SN RSN IV(3) IV(4) IT % IT<0,1 IT>0,9 IO % ID % Prag neg %041 511 ZGO 1 2568 50 0,94 3,84 0,06 0,53 0,57 1,67 0,83 0,83 60,00 1,67 40 6,31041 511 ZGO 2 782 50 0,94 4,13 0,07 0,50 0,56 0,00 0,00 0,00 40,83 7,50 40 9,08042 511 ZGO 1 285 50 0,90 4,02 0,09 0,18 0,26 1,67 1,67 0,00 41,67 9,17 40 24,21042 511 ZGO 2 299 50 0,92 3,79 0,09 0,33 0,23 0,83 0,83 0,00 52,50 3,33 40 43,81

Rok Šifra Predmet Termin N k IZ SN RSN IV(3) IV(4) IT % IT<0,1 IT>0,9 IO % ID % Prag neg %*041 521 SOC 1 549 35 0,33 10,39 0,17 0,39 0,45 0,50 0,00 0,50 49,00 0,75 44 6,01*041 521 SOC 2 1208 34 0,28 11,97 0,20 0,44 0,50 0,50 0,00 0,50 41,50 1,50 44 6,62*042 521 SOC 1 178 34 0,12 11,39 0,27 0,31 0,23 0,50 0,50 0,00 22,25 33,50 44 44,38*042 521 SOC 2 163 34 0,37 9,67 0,22 0,34 0,30 5,25 5,25 0,00 41,50 9,50 44 36,20

Rok Šifra Predmet Termin N k IZ SN RSN IV(3) IV(4) IT % IT<0,1 IT>0,9 IO % ID % Prag neg %*041 531 FIL 1 134 3 0,65 7,37 0,10 0,34 0,41 0,00 0,00 0,00 0,00 0,00 50 0,75*041 531 FIL 2 102 3 0,66 8,13 0,11 -0,23 0,24 0,00 0,00 0,00 0,00 0,00 50 1,96

Rok Šifra Predmet Termin N k IZ SN RSN IV(3) IV(4) IT % IT<0,1 IT>0,9 IO % ID % Prag neg %*041 541 PSI 1 548 34 0,82 6,83 0,11 0,43 0,53 5,00 2,00 3,00 54,33 5,00 43 6,57*041 541 PSI 2 1106 34 0,80 7,09 0,10 0,46 0,59 5,00 0,00 5,00 47,67 5,00 43 5,52*042 541 PSI 1 120 34 0,70 7,59 0,16 0,51 0,49 7,00 4,00 3,00 16,00 6,00 43 30,00*042 541 PSI 2 116 34 0,63 8,71 0,18 0,40 0,38 3,00 2,00 1,00 11,33 11,00 43 31,03

Rok Šifra Predmet Termin N k IZ SN RSN IV(3) IV(4) IT % IT<0,1 IT>0,9 IO % ID % Prag neg %041 551 LIT 1 119 18 0,63 6,49 0,09 0,47 0,50 0,00 0,00 0,00 32,67 8,00 53 0,00

Rok Šifra Predmet Termin N k IZ SN RSN IV(3) IV(4) IT % IT<0,1 IT>0,9 IO % ID % Prag neg %041 561 UZG 1 380 53 0,81 6,58 0,09 0,41 0,59 14,44 0,00 14,44 1,11 1,11 50 5,26042 561 UZG 1 51 53 0,54 10,52 0,26 0,24 0,27 11,11 11,11 0,00 5,56 24,44 50 60,78

Rok Šifra Predmet Termin N k IZ SN RSN IV(3) IV(4) IT % IT<0,1 IT>0,9 IO % ID % Prag neg %041 591 GLP 1 76 24 0,67 5,42 0,07 0,48 0,66 0,00 0,00 0,00 70,67 0,34 50 0,00

Page 55: OCENJEVANJE ZANESLJIVOSTI TESTA

ZanesljivostZa celotni preizkus je računan indeks zanesljivosti (IZ) kot koeficient notranje skladnosti nalog v preizkusu (Cronbachov ).

21

2.

2

1 izpit

k

inalizpit i

k

kIZ

- število nalog pri izpitu

- varianca skupnega relativnega števila točk pri izpitu

- varianca relativnih točk pri določeni nalogi

k2izpit2

.inal

Gašper Cankar (RIC) - doktorska teza: »Standardna napaka ocenjevalnega procesa pri testih dosežka« Izpeljava stand. napake ocenjevalnega procesa (SNOP) kot mere subjektivnosti ocenjevanja. SNOP predstavlja del variance, ki se nanaša na spremenljivost zaradi različnih pogojev ocenj.  Cankar, G. (2004). Standardna napaka rezultatov ocenjevalnega procesa preizkusov znanja. Psihološka obzorja/Horizons of Psychology, 13(3), 63-76.

Page 56: OCENJEVANJE ZANESLJIVOSTI TESTA

Vzporedne oblike testa.

 dolžina; vrsta uporabe in formalni kriteriji (čas testiranja, navodila, oblika testnega zvezka in odgovornega lista); težavnost posameznih nalog v testu, razporeditev po težavnost (krivulja!) kakor tudi težavnost celotnega testa; zanesljivost in veljavnost (oba testa isto strukturo – pri faktorsko čistih ali večfaktorskih testih).

Vzporedni TestiTestne Serije Testne Baterije Testni Profili

Page 57: OCENJEVANJE ZANESLJIVOSTI TESTA
Page 58: OCENJEVANJE ZANESLJIVOSTI TESTA
Page 59: OCENJEVANJE ZANESLJIVOSTI TESTA

Lienert in Raatz (1994): enakovrednost v …

•veljavnosti,•zanesljivosti,•karakteristikah razpršenosti in •lastnostih frekvenčne porazdelitve pri posameznih nalogah in v celotnem testu  

Page 60: OCENJEVANJE ZANESLJIVOSTI TESTA

The main idea:

Testna serija WPPSI/WISC/WAIS mora imeti primerljive IQ: (i) za isto osebo skozi različne razvojne stopnje, (ii) za različne osebo na isti razvojni stopnji, (iii) za različne osebo skozi različne razvojne stopnje …

WPPSI

WAIS

4 do 8

WISC6 do 17

15

Testna serija: testi, ki se razlikujejo v povprečni težavnosti, vse ostale karakteristike testov v seriji pa so enake (Binetarij, Wechslerjeve lestvice)

Page 61: OCENJEVANJE ZANESLJIVOSTI TESTA

Testne baterije in testni profili.

Bistveno:

(i) da je položaj posameznika prikazan relativno glede na “referenčno skupino”, torej da je normiran glede na relevantne oziroma primerljive udeležence in

(ii) da so vsi rezultati in podrezultati na isti merski lestvici (z-vrednosti ali Z-vrednosti, ali pa so percentili, T- oziroma C-lestvica.

Page 62: OCENJEVANJE ZANESLJIVOSTI TESTA
Page 63: OCENJEVANJE ZANESLJIVOSTI TESTA