Izvestaj o realizaciji on-line testiranja (pd09)

IIzzvveeššttaajj oo rreeaalliizzaacciijjii oonn--lliinnee tteessttiirraannjjaa iizz PPrriirrooddee ii ddrruuššttvvaa zzaa uuččeenniikkee ččeettvvrrttoogg rraazzrreeddaa ((mmaajj 22000099))

Report on realization of on-line pretesting for fourth grade pupils Srdjan Verbić, Boris Tomić, Vesna Kartal

Srđan Verbić, Boris Tomić i Vesna Kartal

Beograd, 2009

2

Sadržaj Uvod...............................................................................................................................3

Način i metode ispitivanja .........................................................................................3 Uslovi.........................................................................................................................4 Test.............................................................................................................................4 Interaktivnost testa .....................................................................................................4 Metode analize rezultata ............................................................................................5 Dodatni izvori informacija.........................................................................................5

Poređenje rezultata godišnjeg i pilot-testa .....................................................................6 Poređenje metrijskih karakteristika zadataka dobijenih na godišnjem i pilot-testu...6 Broj neodgovora za godišnji i pilot-test.....................................................................9 DIF po polu ispitanika .............................................................................................10

Zaključak......................................................................................................................11 Prilog 1: Metrijske karakteristike ajtema.....................................................................13 Prilog 2: Spisak osnovnih škola koje su učestvovale u on-line testiranju ...................46 Prilog 3: Osobine uzorka za pilot-test..........................................................................47 Prilog 4: Upitnik za učenike ........................................................................................48 Reference .....................................................................................................................51

3

Uvod Online testiranje iz Prirode i društva je istraživanje realizovano kao dopuna projekta „Izrada godišnjeg testa za ispitivanje obrazovnih postignuća na kraju prvog obrazovnog ciklusa za predmet Priroda i društvo“ Zavoda za vrednovanje kvaliteta obrazovanja i vaspitanja [1]. Osnova celog istraživanja je računarski test znanja na koji su učenici odgovarali preko Interneta. U online testiranju su mogle da učestvuju sve osnovne škole u Srbiji u kojima za to postoje interesovanje i tehničke mogućnosti. Motivacija za ovakav način testiranja je činjenica da škole u Srbiji danas imaju bitno bolji pristup Internetu nego pre samo godinu dana. Računarska testiranja (ili e‐testiranja) omogućavaju realizaciju pilot‐testova na prigodnom uzorku sa bitno jednostavnijim administriranjem i analizom testova što, konačno, ovakva testiranja čini mnogo jeftinijim i jednostavnijim za organizaciju. Korišćenje Interneta za računarska testiranja (online testiranja) omogućava testiranje kod kog se sva komunikacija sa učenicima i nastavnicima koji organizuju testiranja odvija putem Interneta. Osnovni ciljevi ovog istraživanja su bili:

1. ispitivanje mogućnosti za online testiranje nacionalnog nivoa u Srbiji i 2. ispitivanje osobina testiranja na prigodnom uzorku u slabo kontrolisanim

uslovima. U ovom izveštaju prikazani su nalazi koji se tiču mogućnosti za online testiranja, kao i detaljna analiza i poređenje rezultata dobijenih za godišnji test i pilot‐test.

Način i metode ispitivanja Online testiranje je realizovano po okončanju godišnjeg testa iz Prirode i društva u aprilu 2009. godine i trajalo je od 5. do 19. maja iste godine. Za online testiranja je korišćena modifikovana veb aplikacija Moodle (sa Ttest modulom) [2] koji se poslednjih godina koristi za sve računarska testiranja koja realizuje Zavod. Za pilot‐test nije projektovan uzorak već su učestvovali svi oni koji su to želeli. Jedini zahtevi koji smo mi imali je da test rade učenici četvrtog razreda koji pohađaju škole u Srbiji i da nas škole obaveste o načinu na koji su odabrali učenike za testiranje. Putem javnih glasila i elektronskom poštom pozvali smo sve osnovne škole u Srbiji da se uključe u e‐testiranje. Na naš poziv se odazvalo 56 škola (Prilog 2). Svaka škola je prema svojim potrebama i mogućnostima određivala učenike koji su učestvovali u testiranju. Škole su za e‐testiranje prijavile ukupno 1341 učenika. Za sve te učenike smo otvorili naloge za prijavljivanje na portal za e‐testiranje i svima su prosleđeni veb adresa na kojoj se nalazi portal, korisničko ime, lozinka, redni broj testa koji im je dodeljen i vreme kada treba da počnu sa testiranjem. Dve nedelje pre testiranja na portalu za elektronsko testiranje učenicima je bio dostupan kratak primer‐test koji su mogli da rade i tako se upoznaju sa procedurom testiranja i načinom rešavanja testa. Ovaj test je radilo 247 učenika i znatiželjnih nastavnika.

4

Pilot‐test je radilo ukupno 926 učenika iz 50 osnovnih škola. Najviše učenika je radilo test u školi „Sveti Sava“ u Batočini (81 učenik), a najmanje u školi „Đura Jakšić“ u Ravnima (samo 1 učenik). Zbog brojnih tehničkih problema, kao što je prekid Internet veze, nisu dobijeni validni podaci za sve učenike. Analiza rezultata pilot‐testa je konačno urađena za rezultate 903 učenika.

Uslovi Testiranje je planski izvedeno u uslovima koje nismo kontrolisali na nivou pojedinačnih škola. To znači da smo mi dali uputstvo nastavnicima kako da realizuju testiranje, ali da samu realizaciju nismo kontrolisali. Da bismo nastavnicima olakšali kontrolu rada učenika, napravili smo četiri varijante istog testa. To je zapravo jedan isti test u četiri varijante gde se razlikuje samo redosled pod‐testova, odnosno klastera zadataka. Svi učenici su dobili uputstvo za rad na testu. Kratko uputstvo se pojavljuje na ekranu odmah nakon prijavljivanja na portal za e‐testiranje. Neposredno pre početka testiranja, nastavnik čita učenicima detaljnije uputstvo. Učenici ne mogu da počnu rad na testu dok nastavnik ne završi čitanje uputstva jer nemaju lozinku za pokretanje testa koju nastavnik pročita na kraju uputstva. Zbog toga što u svojim školama učenici najčešće imaju različite tastature i jezička podešavanja [3], a da bi pokretanje testa učinili što jednostavnijim, sva korisnička imena i lozinke su bili isključivo nizovi cifara. Nakon ukucavanja lozinke za pokretanje testa, nema više potrebe da učenik koristi tastaturu. Na sve zadatke u testu učenici odgovaraju tako što mišem obeleže određenu alternativu ili opciju. Nakon završetka testa, učenici su mogli da vide broj bodova koje su osvojili. Posle toga smo od učenika tražili da popune kratak upitnik od tri pitanja (Prilog 4).

Test Sve zadatke za test je pripremila grupa autora za godišnji test iz Prirode i društva. Pilot‐test je sačinjen od 32 zadatka (po osam iz svake sveske sa godišnjeg testa). Za e‐testiranje su odabrani zadaci tipa višestruki izbor (sa jednim ili više ispravnih odgovora). Raspodela zadataka po temama i težini je približno ista kao i za godišnji test. Vreme rada na oba testa bilo je ograničeno na 50 minuta.

Interaktivnost testa Računarski testovi, generalno, omogućavaju automatsko bodovanje rezultata na testu i brojne povratne informacije. Kod ovog testa te mogućnosti su ograničene kako ne bi uticale na performanse sistema za e‐testiranje i pouzdanost ispitivanja. Učenici su odmah posle predaje testa mogli da vide koliko su bodova imali, ali nisu mogli da vide koji su odgovori ispravni. Nastavnici koji su organizovali testiranje u svojoj školi imali su mogućnost da vide rezultate svih svojih učenika. U tu svrhu svim nastavnicima‐organizatorima otvoreni su nalozi sa odgovarajućim privilegijama u pristupu sistemu.

5

Nekoliko dana nakon završetka e‐testiranja, test je otvoren i svi učenici i nastavnici su, koristeći ranije dobijene naloge, mogli da vide sve zadatke i ispravne odgovore.

Metode analize rezultata Rezultati godišnjeg i pilot‐testa su obrađivani koristeći klasičnu testovsku teoriju i teoriju ajtemskog odgovora (IRT od eng. Item Response Theory). Za analizu je korišćen statistički softver R sa dodatnim paketom irtoys [4]. Za IRT analizu je korišćen dvoparametarski model (2PL IRT). Parametri modela su određivani korišćenjem programa IRT Command Language [5]. Standardne greške parametara su određivane bootstrapping metodom. Za određivanje latentne sposobnosti učenika uvek je korišćen a posteriori metod [6]. Pojedinačne alternative u zadacima višestrukog izbora (uključujući neodgovore) posebno su analizirane. Za svaku alternativu su određeni težina, diskriminativnost i karakteristično vreme odgovora. Kako Ttest modul omogućava merenje vremena svakog pojedinačnog odgovora, analizirano je i vreme odgovora. Ovakva analiza nam daje dodatne informacije o pojedinačnim zadacima i testu u celini. Za predstavljanje IRT parametara zadataka i raspodela latentne sposobnosti korišćene su dve različite skale: skala godišnjeg i pilot‐testa. Procene latentne sposobnosti su date na skali koja je određena godišnjim testom. Kod analize alternativa korišćena je druga skala pilot‐testa.

Dodatni izvori informacija Za potrebe ovog istraživanja korišćeni su podaci sa godišnjeg testa iz Prirode i društva, kao i podaci koji su prikupljeni tokom pripreme za test za izradu predloga standarda. Godišnji test nije sadržavao upitnik za učenike i nastavnike pa su podaci o učenicima dobijeni korišćenjem baze podataka o učenicima Zavoda za vrednovanje kvaliteta obrazovanja i vaspitanja.

6

Poređenje rezultata godišnjeg i pilottesta Učenici koji su radili pilot‐test su, u proseku, bili značajno uspešniji od učenika na godišnjem testu. Uzimajući IRT parametre zadataka na godišnjem testu kao referentne, možemo da odredimo latentne sposobnosti svih učenika na oba testa i da ih prikažemo na istoj skali. Na taj način možemo da utvrdimo koliko se prigodni uzorak pilot‐testa razlikuje od reprezentativnog. Na Slici 1 vidimo raspodele procenjene latentne sposobnosti za godišnji i pilot‐test. Očigledno je da uzorak za pilot‐test ima skoro normalnu raspodelu koja se od reprezentativnog uzorka, praktično, razlikuje samo po srednjoj vrednosti latentne sposobnosti.

Slika 1: Raspodele procenjene latentne sposobnosti

za godišnji test (sivo) i pilottest (zeleno) Raspodelu latentne sposobnosti za godišnji test možemo opisati kao normalnu krivu sa srednjom vrednošću μg= 0,00 i standardnom devijacijom σg=0,88. Za pilot‐test imamo srednju vrednost μp= 0,62 i standardnu devijaciju σp=0,80. Ovo, drugim rečima, znači da bi težine zadataka određene na pilot‐testu trebalo da budu manje od onih koje su određene na godišnjem testu. Ta razlika bi trebalo da bude približno jednaka razlici u srednjim latentnim sposobnostima za ova dva uzorka.

Poređenje metrijskih karakteristika zadataka dobijenih na godišnjem i pilot‐testu Ako nemamo standardne zadatke kojima bismo kalibrisali skalu pilot‐testa, parametre zadataka možemo da odredimo jedino u odnosu na uzorak koji imamo. Na taj način nezavisno određujemo parametre za godišnji i pilot‐test. U dvoparametarskom IRT modelu, diskriminativnost (parametar a) bi, u idealnom slučaju, trebalo da ima istu vrednost bez obzira na korišćeni uzorak, dok bi težine zadataka (parametar b) trebalo da se razlikuju za konstantnu vrednost određenu parametrima korišćenih uzoraka [7].

7

U Tabeli 1 su date procene parametara a i b i njihovih standardnih grešaka za pilot‐test i godišnji test. Iz ovih podataka možemo da primetimo kako su procene diskriminativnosti približno jednake za oba uzorka što smo i očekivali. Procene težine zadataka, međutim, variraju više nego što smo očekivali. Razlike u proceni težine su naročito izražene kod veoma teških zadataka na godišnjem testu (bg>2) i veoma lakih zadataka na pilot testu (bp<‐2). Ovo odstupanje od teorijskog modela ukazuje na mogućnost da se dva testa ne razlikuju samo po uzorku već i po nekim drugim osobinama koje ovde nismo merili.

pilot‐test godišnji test redni broj zadatka ap bp ag bg

1 1.1(0.1) ‐1.1(0.1) 1.1(0.1) ‐0.1(0.1) 2 0.8(0.1) 0.8(0.1) 0.4(0.1) 3.4(0.7) 3 1.7(0.2) ‐1.6(0.1) 1.4(0.2) ‐1.2(0.1) 4 0.8(0.1) 1.8(0.2) 0.7(0.1) 1.9(0.3) 5 1(0.1) ‐2(0.2) 1(0.1) ‐1.3(0.2) 6 0.8(0.1) ‐0.9(0.1) 0.8(0.1) ‐1.3(0.2) 7 0.8(0.1) ‐0.6(0.1) 0.5(0.1) 1.8(0.4) 8 0.6(0.1) ‐0.6(0.2) 0.6(0.1) 0.4(0.2) 9 0.6(0.1) 0.7(0.2) 0.5(0.1) 2.9(0.6) 10 0.5(0.1) ‐0.8(0.2) 0.5(0.1) 0.1(0.2) 11 0.7(0.1) 0.4(0.1) 0.8(0.1) 1.8(0.3) 12 1(0.1) ‐0.9(0.1) 0.7(0.1) ‐0.7(0.2) 13 1(0.1) ‐2(0.2) 1.1(0.2) ‐1.6(0.2) 14 0.7(0.1) ‐1.4(0.2) 0.8(0.1) 0.6(0.2) 15 0.9(0.1) ‐1.5(0.2) 0.7(0.1) 0.1(0.1) 16 0.7(0.1) 1.7(0.2) 0.4(0.1) 3.7(0.7) 17 1(0.1) ‐0.5(0.1) 1(0.1) ‐0.3(0.1) 18 1.2(0.1) ‐1.1(0.1) 1.5(0.2) ‐0.4(0.1) 19 0.5(0.1) ‐0.3(0.2) 0.5(0.1) 0.9(0.3) 20 0.7(0.1) 1(0.2) 0.6(0.1) 1.8(0.3) 21 0.9(0.1) ‐1(0.1) 0.8(0.1) 0.6(0.2) 22 0.8(0.1) ‐1.7(0.2) 1.1(0.2) ‐1(0.2) 23 1.1(0.1) ‐1.1(0.1) 1.5(0.2) ‐0.4(0.1) 24 0.9(0.1) ‐0.6(0.1) 1(0.1) 0.1(0.1) 25 0.6(0.1) 1.8(0.3) 0.7(0.1) 2.1(0.4) 26 0.8(0.1) ‐0.5(0.1) 0.7(0.1) ‐0.3(0.2) 27 1(0.2) ‐3.1(0.5) 0.8(0.2) ‐3.3(0.6) 28 0.9(0.1) ‐1.9(0.2) 0.4(0.1) ‐0.2(0.3) 29 0.9(0.1) ‐2.5(0.3) 1.4(0.2) ‐1.8(0.2) 30 0.7(0.1) ‐2.5(0.4) 0.8(0.1) ‐1.2(0.2) 31 1.3(0.2) ‐1.3(0.1) 1.3(0.2) ‐0.6(0.1) 32 0.9(0.1) ‐2.7(0.4) 1(0.1) ‐1.6(0.2)

Tabela 1: Poređenje IRT parametara zadataka na godišnjem i pilottestu Na Slici 2 je prikazano poređenje parametara diskriminativnosti dobijenih na godišnjem i pilot testu. Isprekidana linija prikazuje teorijski očekivane vrednosti diskriminativnosti na pilot‐testu, tj. skup tačaka gde su diskriminativnosti jednake za oba testa. Na Slici 3 je prikazano poređenje parametara težine dobijenih na ova dva testa. Isprekidana linija predstavlja očekivane vrednosti težine zadataka za pilot‐test, tj. vrednosti koje su za 0,62 manje od onih na godišnjem testu.

8

Slika 2: Poređenje diskriminativnosti zadataka(parametar a) dobijenih

na godišnjem i pilottestu

Slika 3: Poređenje težine zadataka (parametar b) dobijenih

na godišnjem i pilottestu

9

Broj neodgovora za godišnji i pilot‐test Broj neodgovorenih zadataka na godišnjem i pilot‐testu se drastično razlikuju. U prvom slučaju ima zadataka na koje čak 20% učenika nije odgovorilo dok na računarskom testu udeo neodgovorenih zadataka ne prelazi 3%. Ova razlika može biti posledica načina na koji su učenici ispitivani (mod testiranja), ali i različitog načina na koji su učenici odabrani za učešće na testiranju. Od ukupno 409 neodgovora na pilot‐testu 44 ima vreme odgovora 0 sekundi. To znači da učenici taj zadatak nisu ni videli pa ga stoga tretiramo kao neprikazan umesto kao preskočen. Pošto vreme odgovora za pojedinačni zadatak na godišnjem testu ne možemo da izmerimo, ne možemo da znamo podatak o broju zadataka koje učenici na ovom testiranju nisu videli. U Tabeli 2 i na Slici 4 je prikazan udeo neodgovorenih zadataka po ukupnom broju odgovora za svaki zadatak.

redni broj

zadatka

šifra

zadatka

udeo neodgovora

(godišnji test)

udeo neodgovora

(pilot‐test)

1 PP031031 0.03 0.01 2 PP013012 0.02 0.02 3 PP041047 0.01 0.01 4 PP061069 0.01 0.01 5 PP071081 0.02 0.01 6 PK093104 0.02 0.03 7 PK123146 0.17 0.01 8 PD171192 0.05 0.01 9 PP033036 0.01 0.01 10 PP013010 0.01 0.01 11 PP043051 0.03 0.01 12 PP063072 0.03 0.01 13 PP073082 0.02 0.01 14 PK111131 0.13 0.01 15 PK121136 0.13 0.01 16 PK123144 0.15 0.02 17 PP043052 0.03 0.02 18 PP061067 0.02 0.01 19 PK093107 0.02 0.01 20 PK101113 0.02 0.01 21 PK123142 0.20 0.02 22 PD141159 0.02 0.01 23 PD133154 0.11 0.01 24 PP013009 0.03 0.02 25 PP083095 0.05 0.02 26 PK101118 0.02 0.02 27 PK111132 0.01 0.01 28 PK121139 0.14 0.01 29 PD143165 0.02 0.01 30 PD153176 0.03 0.02 31 PP021015 0.02 0.01 32 PK093106 0.01 0.01

3231302928272625242322212019181716151413121110987654321

0.00 0.05 0.10 0.15 0.200.00 0.05 0.10 0.15 0.20

Слика 4: Удео неодговора за годишњи (сиво) и пилоттест (зелено)

10

DIF po polu ispitanika Različito ponašanje ajtema (DIF od eng. Differential Item Functioning) za ispitanike grupisane po polu je analizirano Mantel‐Henzel metodom [8]. DIF r‐vrednost je određivana posebno za godišnji i pilot‐test. Svi ajtemi kod kojih je r‐vrednost manja od 0,05 pokazuju ponašanje koje se statistički značajno razlikuje za dečake i devojčice. Ova razlika ne mora nužno da bude pokazatelj pristrasnosti ajtema, ali je svakako razlog da još jednom proverimo šta i na koji način taj ajtem meri. U Tabeli 3 i na Slici 5 prikazane su r‐vrednosti za godišnji i pilot‐test. Odavde možemo videti da je DIF za ajteme na reprezentativnom uzorku primećen i na pilot‐testu za ajteme broj 18 i 23, dok kod se kod ajtema 10, 17 i 25 to ne vidi. Za ajtem broj 23 značajnost DIF razlike je najveća na oba testa (r<0,01).

redni broj

zadatka

šifra

zadatka

DIF p‐vrednost

(godišnji test)

DIF p‐vrednost

(pilot‐test)

1 PP031031 0.98 0.95 2 PP013012 0.92 0.95 3 PP041047 0.60 0.77 4 PP061069 0.39 0.92 5 PP071081 0.07 0.38 6 PK093104 0.02 0.23 7 PK123146 0.53 0.62 8 PD171192 0.53 0.20 9 PP033036 0.15 0.93 10 PP013010 0.98 0.04 11 PP043051 0.37 0.77 12 PP063072 0.24 0.80 13 PP073082 0.38 0.87 14 PK111131 0.26 0.43 15 PK121136 0.11 0.31 16 PK123144 0.97 0.51 17 PP043052 0.31 0.04 18 PP061067 0.04 0.05 19 PK093107 0.95 0.36 20 PK101113 0.27 0.28 21 PK123142 0.70 0.84 22 PD141159 0.27 0.88 23 PD133154 0.00 0.00 24 PP013009 0.92 0.13 25 PP083095 0.46 0.05 26 PK101118 0.51 0.55 27 PK111132 0.70 0.56 28 PK121139 0.39 0.97 29 PD143165 ‐ 0.92 30 PD153176 0.77 0.89 31 PP021015 0.44 0.97 32 PK093106 0.81 0.61

0.002 0.005 0.010 0.020 0.050 0.100 0.200 0.500 1.000

0.00

20.

005

0.02

00.

050

0.20

00.

500

DIF p-вредност (рачунарски)

DIF

p-вредност

(папир

-оловка)

5

6

10

17

18

23

25

Слика 5

11

Zaključak Online testiranje iz predmeta Priroda i društvo je zasnovano na računarskom testu znanja na koji su učenici odgovarali preko Interneta. U ovom testiranju su mogle da učestvuju sve osnovne škole u Srbiji u kojima za to postoje interesovanje i tehničke mogućnosti. Organizaciju online testiranja, kao inovacije u obrazovnoj praksi, pratili su mnogi problemi tehničke prirode. Pre samo dve godine ovakva vrsta testiranja, zbog kvaliteta i pouzdanosti Internet veza, uopšte nije bila moguća. Danas, ipak, možemo reći da je takvo testiranje moguće u većini škola u Srbiji. Najveća prepreka u realizaciji e‐testiranja je i dalje kvalitet Internet veze koju škole imaju. Od 56 osnovnih škola koje su se prijavile za testiranje, u šest škola testiranje nije moglo da se realizuje do kraja. Druga najveća prepreka e‐testiranja je kvalitet veze koju ima Zavod za vrednovanje kvaliteta obrazovanja i vaspitanja gde se fizički nalazi server za e‐testiranje. Povratne informacije o toku testiranja u školama smo dobili od 25 nastavnika. Četrnaestoro njih je izjavilo da nije bilo nikakvih problema u radu, troje da su se neke strane sporije učitavale, petoro da se Internet veza prekidala ali da to nije ugrozilo testiranje, dok je kod ostalih problem bio preveliki da bi realizaciju testiranja smatrali uspešnom. 22 nastavnika su izjavila da su učenici bili veoma zainteresovani da test urade što bolje. 19 nastavnika smatra da bi praksa e‐testiranja bila veoma korisna za sve učenike, dok ostali smatraju da bi korist od toga imali samo neki učenici. Generalno, nastavnici veoma zainteresovani da ovakva testiranja budu češća. Analizom rezultata e‐testiranja ispitane su i neke psihometrijske osobine pilot‐testa. Karakteristike pojedinačnih ajtema u testu poređene su sa odgovarajućim podacima dobijenim na glavnom testiranju. Rezultati oba testa su analizirani korišćenjem klasične testovske teorije i dvoparametarskog modela teorije ajtemskog odgovora (2PL IRT). Glavno testiranje je realizovano na reprezentativnom uzorku (ukupno 1842 učenika) u formi papir‐olovka testa, dok je uzorak za pilot‐test bio prigodan (926 učenika iz 50 osnovnih škola). Zbog neizbežnih tehničkih problema u realizaciji e‐testiranja, neki pokušaji rada na testu nisu bili validni. Konačno smo analizu rezultata uradili za 903 učenika. Pilot‐test je bio sačinjen od 32 zadatka (po osam iz svake sveske godišnjeg testa). Svi odabrani zadaci su bili tipa višestruki izbor (sa jednim ili više ispravnih odgovora). Raspodela zadataka po temama i težini je bila približno ista kao i za glavni test. Vreme rada na oba testa je bilo ograničeno na 50 minuta. Po teoriji ajtemskog odgovora, parametre ajtema za celu populaciju možemo jednostavno da rekonstruišemo ako te parametre odredimo za neki drugi, dovoljno veliki uzorak sa normalnom raspodelom ukoliko imamo standardne zadatke kojima bismo kalibrisali skalu. To znači da bi procena diskriminativnosti ajtema, u idealnom slučaju, trebalo da ima istu vrednost bez obzira koji uzorak sa normalnom raspodelom koristili, dok bi procena težina ajtema trebalo da se menja linearno sa srednjom latentnom sposobnošću korišćenog uzorka. Ovim istraživanjem je ispitivano u kojoj meri na osnovu online pilot‐testa na prigodnom uzorku možemo da odredimo parametre ajtema za celu populaciju. Pretpostavljena sličnost krivih ajtemskog odgovora za ova dva testa otvara još jedno istraživačko pitanje – da li je na osnovu pilot‐testa moguće uočiti

12

diferencijalno funkcionisanje ajtema (DIF) koje bi bilo karakteristično za celu populaciju. Rezultati pokazuju da su razlike u procenama diskriminativnosti ajtema za godišnji i pilot‐test male i uporedive sa njihovim standardnim greškama. Kod težine ajtema vidimo da postoji jasna linearna zavisnost između procena dobijenih na ovim testovima sa koeficijentom korelacije r=0,89. Ovakvo slaganje sa teorijskim modelom, međutim, nije dovoljno da bismo samo na osnovu pilot‐testa pravili dobre procene parametara za pojedinačne ajteme. Razlike u načinu i uslovima testiranja svakako imaju veliki uticaj na procene parametara konkretnih ajtema. (Postoje indicije da u nekim školama uslovi nisu bili sasvim korektni, što ima za posledicu da rezultati slabije „fituju“ na teorijski model nego što je to očekivano.) Rezultati numeričkih simulacija odgovora ukazuju da se ova dva testa razlikuju više nego što to objašnjava razlika u uzorcima. Evidentno je da postoji razlika i u načinu na koji učenici pristupaju testu. Ovo se najbolje ogleda u broju zadataka na koje učenici nisu dali odgovor i koji je na godišnjem testu (5,0%) četiri puta veći u odnosu na pilot‐test (1,3%). Analiza diferencijalnog funkcionisanja ajtema pokazuje da su dva od tri ajtema sa DIF p‐vrednošću manjom od 0,05 za godišnji test uspešno identifikovana na osnovu rezultata pilot‐testa. U ovom istraživanju posebno su analizirane alternative, odnosno opcije zadataka višestrukog izbora. Analizom zavisnosti učestalosti alternativa od procenjena latentne sposobnosti učenika možemo da utvrdimo koje su alternative loše ili predstavljaju previše jake distraktore. Informacija o vremenu odgovora upotpunjuje ovu sliku jer nam omogućava da jake distraktore uočimo čak i kada nam težina i diskriminativnost alternative o tome skoro ništa ne govore (npr. četvrta alternativa zadatka broj 9). Opšti zaključak je da su online testiranja izvodljiva, da su nastavnicima potrebna i da motivišu učenike. Na psihometrijskom planu, online pilot‐testovi u delimično kontrolisanim uslovima su takođe korisni, pre svega za analizu kvaliteta zadataka i upotrebljivosti alternativa kod zadatka višestrukog izbora. Procena težine zadataka je takođe moguća, ali uz određena ograničenja koja tek treba ispitati.

13

Prilog 1: Metrijske karakteristike ajtema U ovom prilogu su dati zadaci sa pilot‐testa. U zaglavlju svake strane su dati redni broj i šifra zadatka. Svim alternativama (kod zadataka sa jednim ispravnim odgovorom) i svim opcijama (kod zadataka sa više ispravnih odgovora) su pridruženi kôdovi: , , , . Kôd je rezervisan za neodgovoreni zadatak. Za svaku alternativu i opciju su označeni su ispravni ( ) i pogrešni odgovori ( ). Zadatke kod kojih je jednoznačno određena formula skorovanja (šta se smatra uspešno rešenim zadatkom a šta ne) nazivamo ajtemima. Kod zadataka sa jednim ispravnim odgovorom, ajtem je ovde isto što i zadatak. Međutim, kod zadataka sa više ispravnih odgovora ajtemom, zbog usaglašenosti sa godišnjim testom, smatramo da je zadatak uspešno rešen samo ako je ispravno odgovorio na sve opcije zadatka. Za svaki ajtem određeni su parametri klasične testovske teorije (uspešnost odgovora – r‐vrednost i diskriminativnost – r‐vrednost). Uspešnost odgovora je određena kao odnos broja ispravnih odgovora i ukupnog broja odgovora na određeni zadatak. Diskriminativnost je određena kao ajtem‐total korelacija sa isključenjem. Za svaki ajtem su, takođe, određeni i parametri korišćenjem dvoparametarskog modela teorije ajtemskog odgovora (težina – b i diskriminativnost – a). Svi parametri su određeni, poređenja radi, za oba testa: godišnji i pilot‐test. Za pilot‐test su posebno analizirane sve alternative, odnosno opcije zadataka i u tabeli su posebno dati podaci za broj odgovora, r‐vrednost, r‐vrednost i karakteristično vreme odgovora za svaku od njih. Karakteristično vreme odgovora je izraženo u sekundama i dato kao medijana raspodele vremena odgovora na zadatak gde je izbrana odgovarajuća alternativa, odnosno opcija. Krive frekvencija pojedinačnih alternativa, odnosno opcija za pilot‐test predstavljene su grafikonom. Ovde je korišćena nekalibrisana skala latentne sposobnosti određena za pilot‐test. Krive alternativa i opcija su prikazane bojom koja odgovara kôdu odgovora, odnosno izabranih opcija.

14

Zadatak 1 PP031031 U prirodna staništa ubrajamo: Odaberi jedan odgovor.

reku, njivu i jezero šumu, reku i baru vinograd, farmu i voćnjak livadu, njivu i povrtnjak

(bez odgovora) Parametri ajtema

klasična testovska teorija teorija ajtemskog odgovora r‐vrednost p‐vrednost a b

godišnji test 0.40 0.51 godišnji test 1.1 ‐0.1 pilot‐test 0.35 0.72 pilot‐test 1.1 ‐1.0

Analiza alternativa

kôd odgovora

broj odgovora

p‐vrednost alternative

r‐vrednost alternative

karakteristično vreme odgovora [s]

65 0.07 ‐0.14 43 639 0.72 0.35 39 80 0.09 ‐0.18 41 94 0.11 ‐0.18 40 10 0.01 ‐0.10 76

15

Zadatak 2 PP013012 Korenje biljaka sprečava: Odaberi jedan odgovor.

spiranje zemljišta zagađivanje zemljišta isušivanje zemljišta đubrenje zemljišta



godišnji test 0.09 0.23 godišnji test 0.4 3.4 pilot‐test 0.28 0.37 pilot‐test 0.8 0.8

Analiza alternativa

kôd odgovora

broj odgovora




327 0.37 0.28 46 230 0.26 ‐0.13 43 221 0.25 ‐0.05 48 93 0.10 ‐0.15 39 17 0.02 ‐0.08 58

16

Zadatak 3 PP041047 Šta od navedenog ne ubrajamo u prirodna bogatstva? Odaberi jedan odgovor.

biljni i životinjski svet kuće rude vodu




Analiza alternativa

kôd odgovora

broj odgovora




36 0.041 ‐0.19 40 770 0.87 0.39 27 51 0.06 ‐0.26 34 23 0.03 ‐0.14 43 8 0.01 ‐0.14 37

17

Zadatak 4 PP061069 Koja svojstva ima vazduh? Odaberi bar jedan odgovor.

ima stalan oblik kreće se zauzima prostor ima boju u gasovitom je stanju

Parametri ajtema



Analiza opcija opcija broj

odgovora p‐vrednost opcije

r‐vrednost opcije karakteristično vreme odgovora [s]

191 0.22 ‐0.14 41 555 0.63 0.10 44 403 0.46 0.25 39 17 0.02 ‐0.11 35 657 0.74 0.32 41

18

Zadatak 5 PP071081 Šta će se desiti ako u posudu sa vodom stavimo dve loptice: jednu od stiropora, a drugu od stakla? Odaberi jedan odgovor.

Obe će potonuti. Obe će plutati. Loptica od stiropora će potonuti, a staklena će plutati. Loptica od stiropora će plutati, a staklena će potonuti.




Analiza alternativa

kôd odgovora

broj odgovora




21 0.02 ‐0.15 42 54 0.06 ‐0.17 51 65 0.07 ‐0.12 50 736 0.83 0.27 42 12 0.01 ‐0.07 60

19

Zadatak 6 PK093104

Na kojoj slici je tačno prikazan položaj senke? Odaberi jedan odgovor.

a b v g

(bez odgovora)

Parametri ajtema



Analiza alternativa

kôd odgovora

broj odgovora




141 0.16 ‐0.24 53 71 0.08 ‐0.11 51 584 0.66 0.31 43 67 0.08 ‐0.01 54 25 0.03 ‐0.15 50

20

Zadatak 7 PK123146 Šta je bio povod za izbijanje Prvog srpskog ustanka? Odaberi jedan odgovor.

danak u krvi seča knezova zidanje Ćele kule seoba Srba (bez odgovora)

Parametri ajtema


godišnji test 0.18 0.31 godišnji test 0.5 1.8 pilot‐test 0.31 0.60 pilot‐test 0.8 ‐0.6

Analiza alternativa

kôd odgovora

broj odgovora




140 0.16 ‐0.07 38 529 0.60 0.31 30 40 0.05 ‐0.10 49 167 0.19 ‐0.23 34 12 0.01 ‐0.16 42

21

Zadatak 8 PD171192 Ko se kreće pravilno ulicom bez trotoara? Odaberi jedan odgovor

pešak A pešak B i pešak A i pešak B ni pešak A ni pešak B

(bez odgovora)

Parametri ajtema



Analiza alternativa

kôd odgovora

broj odgovora




519 0.58 0.23 44 243 0.27 ‐0.09 42 27 0.03 ‐0.18 48 90 0.10 ‐0.11 46 9 0.01 ‐0.09 75

22

Zadatak 9 PP033036 Koji se uslovi za život u staništima najviše menjaju tokom godine? Odaberi jedan odgovor

svetlost i toplota količina vode količina vazduha broj živih bića (bez odgovora)

Parametri ajtema



Analiza alternativa

kôd odgovora

broj odgovora




370 0.42 0.22 50 68 0.08 0.00 55 35 0.04 ‐0.12 52 404 0.45 ‐0.16 40 11 0.01 ‐0.05 26

23

Zadatak 10 PP013010 Na travi je stajala kanta sa đubretom. Posle nekoliko dana trava ispod kante je požutela. Zbog čega? Odaberi jedan odgovor.

Nije imala dovoljno vode. Nije imala dovoljno vazduha. Nije imala dovoljno sunčeve svetlosti. Nije imala dovoljno toplote.




Analiza alternativa

kôd odgovora

broj odgovora




111 0.12 ‐0.16 46 212 0.24 ‐0.04 46 528 0.59 0.20 42 25 0.03 ‐0.13 43 12 0.01 ‐0.07 44

24

Zadatak 11 PP043051 Koje prirodno bogatstvo ljudi koriste i kao izvor energije i kao sirovinu? Odaberi jedan odgovor.

gas drvo kamen zemljište




Analiza alternativa

kôd odgovora

broj odgovora




343 0.39 ‐0.07 39 400 0.45 0.26 40 16 0.02 ‐0.05 45 117 0.13 ‐0.25 38 12 0.01 ‐0.04 38

25

Zadatak 12 PP063072 Jednog letnjeg jutra Marko je primetio da su svi pločnici suvi, a da na travi u baštama ima kapljica vode. Čime se to može objasniti? Odaberi jedan odgovor.

Padala je kiša. Padao je grad. Trava je pustila sokove. Na travi se zgusnula vodena para.




Analiza alternativa

kôd odgovora

broj odgovora




155 0.17 ‐0.29 54 29 0.03 ‐0.12 56 84 0.09 ‐0.07 58 607 0.68 0.36 52 13 0.01 ‐0.11 66

26

Zadatak 13 PP073082 Zašto se posude za kuvanje hrane prave od metala? Odaberi jedan odgovor.

zato što metal dobro provodi toplotu zato što metal provodi električnu struju zato što se metal ne lomi zato što metal nije providan




Analiza alternativa

kôd odgovora

broj odgovora




739 0.83 0.30 40 43 0.05 ‐0.12 39 83 0.09 ‐0.24 44 12 0.01 ‐0.06 45 11 0.01 ‐0.10 47

27

Zadatak 14 PK111131 Kosovska bitka se odigrala 1389. godine. Koji je to vek? Odaberi jedan odgovor.

jedanaesti vek dvanaesti vek trinaesti vek četrnaesti vek (bez odgovora)

Parametri ajtema



Analiza alternativa

kôd odgovora

broj odgovora




26 0.03 ‐0.19 45 83 0.09 ‐0.11 34 137 0.15 ‐0.13 40 631 0.71 0.27 31 11 0.01 ‐0.10 38

28

Zadatak 15 PK121136 Ko je bio vođa prvog srpskog ustanka? Odaberi jedan odgovor.

Miloš Obrenović Karađorđe Car Dušan Petar Prvi Karađorđević




Analiza alternativa

kôd odgovora

broj odgovora




74 0.08 ‐0.15 27 667 0.75 0.29 24 50 0.06 ‐0.21 30 86 0.10 ‐0.08 30 11 0.01 ‐0.11 37

29

Zadatak 16 PK123144 Koje su tvrdnje o životu u vreme Nemanjića tačne? Odaberi bar jedan odgovor.

najveći broj stanovnika činili su seljaci kuće su obično bile građene od cigala sva deca su išla u školu najveći broj ljudi bavio se trgovinom posuđe se pravilo od drveta i pečene gline

Parametri ajtema




odgovora p‐vrednost opcije r‐vrednost opcije karakteristično

vreme odgovora [s] 600 0.68 0.31 65 134 0.15 ‐0.19 72 133 0.15 ‐0.22 67 309 0.35 0.10 68 576 0.65 0.33 65

30

Zadatak 17 PP043052 Zašto je voda obnovljiv izvor energije? Odaberi jedan odgovor.

Zato što se nalazi svuda oko nas. Zato što se može naći u tri agregatna stanja. Zato što je ima najviše na Zemlji. Zato što neprekidno kruži u prirodi.




Analiza alternativa

kôd odgovora

broj odgovora




134 0.15 ‐0.26 42 95 0.11 ‐0.01 47 104 0.12 ‐0.15 41 541 0.61 0.33 38 14 0.02 ‐0.14 39

31

Zadatak 18 PP061067 Koje je zajedničko svojstvo vode i svih drugih tečnosti? Odaberi jedan odgovor.

nema boju nema stalan oblik nema miris nema ukus (bez odgovora)

Parametri ajtema



Analiza alternativa

kôd odgovora

broj odgovora




54 0.06 ‐0.18 44 649 0.73 0.35 37 106 0.12 ‐0.18 43 67 0.08 ‐0.19 38 12 0.01 ‐0.04 70

32

Zadatak 19 PK093107 Zbog čega će zgužvani list papira brže pasti na tlo nego isti list papira koji nije zgužvan? Odaberi jedan odgovor.

zbog oblika zbog hrapavosti zbog debljine zbog težine (bez odgovora)

Parametri ajtema



Analiza alternativa

kôd odgovora

broj odgovora




474 0.53 0.19 42 15 0.02 ‐0.09 37 26 0.03 ‐0.02 46 361 0.41 ‐0.15 40 12 0.01 ‐0.05 22

33

Zadatak 20 PK101113 Ako je kuća na istoku, na kojoj strani sveta je šuma u odnosu na kuću? Odaberi jedan odgovor.

na jugu na severu na zapadu na istoku




Analiza alternativa

kôd odgovora

broj odgovora




312 0.35 0.26 47 192 0.22 0.00 50 304 0.34 ‐0.14 41 67 0.08 ‐0.20 46 13 0.01 ‐0.05 54

34

Zadatak 21 PK123142 Car Dušan je bio veliki osvajač i moćni vladar Srbije. Zbog toga je u narodu zapamćen kao Dušan Silni. Zbog čega je njegovog sina narod nazvao Uroš Nejaki?

Odaberi jedan odgovor.

Bio je najmlađi Dušanov sin. Bio je nežne i krhke građe. Za vreme njegove vladavine nije donet novi zakonik. Za vreme njegove vladavine velikaši su rasparčali carstvo.




Analiza alternativa

kôd odgovora

broj odgovora




94 0.11 ‐0.28 56 102 0.11 ‐0.07 56 68 0.08 ‐0.13 56 611 0.69 0.32 48 13 0.01 ‐0.07 61

35

Zadatak 22 PD141159 Šta su od navedenog simboli svake države? Odaberi bar jedan odgovor.

teritorija himna glavni grad zastava grb

Parametri ajtema




odgovora p‐vrednost opcije r‐vrednost opcije karakteristično

vreme odgovora [s] 53 0.06 ‐0.08 47 791 0.89 0.31 37 71 0.08 ‐0.12 46 807 0.91 0.32 38 807 0.91 0.31 38

36

Zadatak 23 PD133154 Ana i Milica su se posvađale za vreme školskog odmora. Ana je tužila Milicu kod učiteljice. Učiteljica je izgrdila Milicu, ne saslušavši šta ona ima da kaže o tome. Koje se dečje pravo ne poštuje u ovom primeru?

Odaberi jedan odgovor.

pravo na slobodno vreme i igru pravo na zaštitu kada ih odrasli zlostavljaju pravo na izražavanje vlastitog mišljenja pravo na lične tajne




Analiza alternativa

kôd odgovora

broj odgovora




73 0.08 ‐0.19 64 103 0.12 ‐0.18 62 639 0.72 0.36 57 61 0.07 ‐0.17 51 12 0.01 ‐0.06 61

37

Zadatak 24 PP013009 Životinje nastanjene u zemljištu pomažu da ono bude: Odaberi jedan odgovor.

toplije rastresitije vlažnije manje zagađeno (bez odgovora)

Parametri ajtema



Analiza alternativa

kôd odgovora

broj odgovora




80 0.09 ‐0.17 44 549 0.62 0.34 40 66 0.07 ‐0.09 44 178 0.20 ‐0.19 44 15 0.02 ‐0.13 46

38

Zadatak 25 PP083095 Tri kašike soli sipane su u posudu sa vodom. Voda u kojoj je rastvorena so stavljena je u šerpu da prokuva. Voda sa solju je isparavala sve dok na dnu šerpe nije ostala samo so. Šta je istraživač hteo da pokaže ovim ogledom? Odaberi jedan odgovor

da voda isparava kada se jako zagreje da se so rastvara u vodi da je rastvaranje soli u vodi povratna promena da je rastvaranje soli u vodi nepovratna promena




Analiza alternativa

kôd odgovora

broj odgovora




265 0.30 0.08 82 217 0.24 ‐0.20 73 256 0.29 0.21 81 131 0.15 ‐0.09 90 19 0.02 ‐0.08 71

39

Zadatak 26 PK101118 Ako si okrenut licem prema izlasku sunca, koja je strana sveta iza tebe? Odaberi jedan odgovor.

istok zapad sever jug




Analiza alternativa

kôd odgovora

broj odgovora




83 0.09 ‐0.09 39 517 0.58 0.29 37 78 0.09 ‐0.12 37 195 0.22 ‐0.19 41 15 0.02 ‐0.04 27

40

Zadatak 27 PK111132 Koje vreme pokazuje časovnik? Odaberi jedan odgovor.

pola dvanaest pola jedan pet minuta do šest časova šest časova i pet minuta




Analiza alternativa

kôd odgovora

broj odgovora




18 0.02 ‐0.10 42 823 0.93 0.21 31 3 0.00 ‐0.07 59 34 0.04 ‐0.14 44 10 0.01 ‐0.10 80

41

Zadatak 28 PK121139 Prva srpska država bila je: Odaberi jedan odgovor.

Kneževina Srbija Dušanovo carstvo Velika Srbija Raška (bez odgovora)

Parametri ajtema



Analiza alternativa

kôd odgovora

broj odgovora




73 0.08 ‐0.11 31 53 0.06 ‐0.13 34 36 0.04 ‐0.18 38 718 0.81 0.27 20 8 0.01 ‐0.12 37

42

Zadatak 29 PD143165 Sa kojom od navedenih država se graniči Republika Srbija? Odaberi jedan odgovor

Mađarska Grčka Slovenija Nemačka




Analiza alternativa

kôd odgovora

broj odgovora




781 0.88 0.24 24 20 0.02 ‐0.13 35 60 0.07 ‐0.14 34 19 0.02 ‐0.14 35 8 0.01 ‐0.04 27

43

Zadatak 30 PD153176 Šta se najčešće proizvodi u ravničarskim krajevima? Odaberi jedan odgovor.

automobili hrana bakar nameštaj




Analiza alternativa

kôd odgovora

broj odgovora




47 0.05 ‐0.05 39 732 0.82 0.20 28 72 0.08 ‐0.15 35 23 0.026 ‐0.09 39 14 0.02 ‐0.05 21

44

Zadatak 31 PP021015 Po čemu se biljke razlikuju od ostalih živih bića? Odaberi jedan odgovor.

dišu rastu i razvijaju se stvaraju hranu ostavljaju potomstvo




Analiza alternativa

kôd odgovora

broj odgovora




20 0.02 ‐0.14 46 92 0.10 ‐0.29 40 693 0.78 0.39 36 74 0.08 ‐0.14 47 9 0.01 ‐0.13 43

45

Zadatak 32 PK093106 Kom radniku će biti najlakše da vuče teret? Odaberi jedan odgovor.

a b v g




Analiza alternativa

kôd odgovora

broj odgovora




14 0.02 ‐0.10 52 20 0.02 ‐0.11 37 47 0.05 ‐0.13 48 796 0.90 0.23 39 11 0.01 ‐0.12 32

46

Prilog 2: Spisak osnovnih škola koje su učestvovale u online testiranju

1 Bratstvo, Aradac 2 Jelena Ćetković, Beograd 3 Jovan Kursula, Varvarin 4 4. oktobar, Vojvoda Stepa 5 Dositej Obradović, Vrba 6 Bratstvo Jedinstvo, Vrbas 7 Petar Petrović Njegoš, Vrbas 8 Svetozar Miletić, Vrbas 9 Desanka Maksimović, Gornji

Milanovac 10 Hristo Botev, Dimitrovgrad 11 Dr Aleksandar Sabovljev, Ečka 12 Moša Pijade, Žagubica 13 Desanka Maksimović, Zaječar 14 2. oktobar, Zrenjanin 15 Petar Petrović Njegoš, Zrenjanin 16 Milinko Kušić, Ivanjica 17 Ruma, Ivo Lola Ribar 18 Feješ Klara, Kikinda 19 Đura Jakšić, Kovin 20 Đura Jakšić, Kragujevac 21 Jovan Popović, Kragujevac 22 Moma Stanojlović, Kragujevac 23 Nada Popović, Kruševac 24 22. jul, Krčedin 25 Dobrosav Radosavljević Narod,

Mačvanska Mitrovica 26 Vuk Karadžić, Negotin 27 Braća Stefanović, Neuzina

28 Branko Miljković, Niš 29 Bubanjski heroji, Niš 30 Vožd Karađorđe, Niš 31 Miroslav Antić, Niš 32 Mirko Tomić, Obrež 33 Đura Jakšić, Oreškovica 34 Miroslav Antić, Palić 35 Jovan Jovanović Zmaj, Pančevo 36 Đura Jakšić, Ravni 37 Bačka Palanka, Sveti Sava 38 Branko Radičević, Smederevo 39 Dimitrije Davidović, Smederevo 40 Ivo Lola Ribar, Sombor 41 Vuk Karadžić, Srbobran 42 Đura Jakšić, Srpska Crnja 43 Vuk St. Karadžić, Starčevo 44 Stefan Nemanja, Studenica 45 10. oktobar, Subotica 46 Ivan Goran Kovačić, Subotica 47 Majšanski put, Subotica 48 Sečenji Ištvan, Subotica 49 Matija Gubec, Tavankut 50 Aleksa Dejović, Temerin 51 Mladost, Tomaševac 52 Petar Drapšin, Turija 53 Slobodan Sekulić, Užice 54 Milica Pavlović, Čačak 55 Sveti Sava, Čitluk 56 Laza K. Lazarević, Šabac

47

Prilog 3: Osobine uzorka za pilottest Pilot‐test je rađen na prigodnom uzorku od 926 učenika iz 50 osnovnih škola. Na testiranju su učestvovale sve zainteresovane škole pri čemu je njima prepušteno da sami odaberu učenike prema svojim potrebama. Bilo je škola gde su hteli da testiraju sve učenike četvrtog razreda, ali i onih gde su hteli samo da probaju kako izgleda online testiranje. Škole koje su se prijavile svakako spadaju u one bolje organizovane gde računarske učionice imaju pristup Internetu i gde su nastavnici zainteresovani da učestvuju u ovakvom projektu. Na osnovu podataka koje su nam škole dostavile o načinu izbora učenika vidimo da 50% uzorka predstavlja manje‐više slučajan izbor (slučajno odabrano učenici, svi učenici iz odeljenja, prvih 15 iz dnevnika itd.) dok je 40% učenika izabrano prema ocenama, veštini rada na računaru i motivaciji ili zato što su učenici sami tražili da rade test. Za 10% učenika škole nisu dale podatke o tome kako su izabrani. Kada uporedimo procene latentne sposobnosti1 za svaku od ovih grupa, vidimo da učenici koji su birani kao bolji po bilo kom kriterijumu imaju značajno bolje rezultate na testu od ostalih. U Tabeli 4 su date prosečne latentne sposobnosti za svaku od ovih grupa. U zagradi je data procena standardne greške. broj učenika prosečna lat.

sposobnost reprezentativni uzorak 1846 0.00(2) uzorak pilot‐testa 903 0.61(3) • slučajan uzorak u okviru odeljenja ili svi učenici u

odeljenju • 454 0.52(4)

• učenici birani po ocenama, motivaciji i slično • 354 0.74(5) • bez podataka o načinu izbora učenika • 95 0.62(8)

Tabela 4: Prosečne latentne sposobnosti za učenike iz grupa sa različitim tipom uzorka

Da bismo videli koliko se prigodni uzorak razlikuje od reprezentativnog uporedili smo i ocene koje su učenici imali na polugodištu iz predmeta Priroda i društvo. Primećuje se da učenici iz prigodnog uzorka imaju mnogo veću prosečnu ocenu (Tabela 5). broj učenika prosečna ocena reprezentativni uzorak 4115 4.10(2)2 uzorak pilot‐testa 903 4.54(3) • slučajan uzorak u okviru odeljenja ili svi učenici u

odeljenju • 454 4.31(5)

• učenici birani po ocenama, motivaciji i slično • 354 4.76(3) • bez podataka o načinu izbora učenika • 95 4.82(5)

Tabela 5: Prosečne ocene iz Prirode i društva za učenike iz grupa sa različitim tipom uzorka

1 Zbog poređenja sa reprezentativnim uzorkom, prosečna latentne sposobnosti su date na skali godišnjeg testa. 2 Ovaj podatak je dobijen iz upitnika za Standarde za istu populaciju.

48

Prilog 4: Upitnik za učenike Po završetku testa iz Prirode i društva nastavnici su od učenika tražili da popune kratak online upitnik pre nego što se odjave. Taj upitnik je imao tri pitanja sa ponuđenim odgovorima koji se tiču ocene iz ovog predmeta, učestalosti korišćenja računara i uloženog truda. Upitnik je popunilo oko 60% učenika koji su radili test.

• Pitanje broj 1: Koju si ocenu iz Prirode i društva imao/imala na polugodištu?

(ponuđeni odgovori od 1 do 5) Iz odgovora na prvo pitanje vidimo da je među učenicima ubedljivo najviše onih sa ocenom 5 iz Prirode i društva. Na slici6 je dat grafik zavisnosti procenjene latentne sposobnosti od ocene učenika na polugodištu. Poređenja radi, crvenom bojom su označeni rezultati devojčica, a plavom bojom rezultati dečaka. Očigledno je da učenici sa višom ocenom, u proseku, imaju bolji rezultat na testu.

1 2 3 4 5

-2-1

01

2

Оцена на полугодишту

Латентна способност

Слика 6

ocena broj

učenika 1 2 2 21 3 40 4 94 5 375

nepoznato 371

49

• Pitanje broj 2: Koliko često koristiš računar? 1 ovo mi je prvi put da radim na računaru 2 skoro nikad ne koristim računar 3 približno jednom mesečno 4 nekoliko puta mesečno 5 skoro svakog dana

Iz odgovora na prvo pitanje vidimo da računar, u manjoj ili većoj meri, koriste gotovo svi učenici i da više od polovine učenika računar koristi skoro svakog dana. Nalaz koji smo imali na probnom ispitivanju 2007. godine [3] da učenici koji češće koriste računar imaju bolje rezultate, više nije tako očigledan. Na Slici 7 je dat grafik zavisnosti procenjene latentne sposobnosti od učestalosti korišćenja računara. Crvenom bojom su označeni rezultati devojčica, a plavom bojom rezultati dečaka. Ovde primećujemo da nema bitne razlike u tome koliko računar koriste dečaci a koliko devojčice.

• Pitanje broj 3: Koliko si se trudio/trudila da ispravno odgovoriš na sva pitanja?

(ponuđeni odgovori od 1 (ni malo) do 5 (veoma)) Iz trećeg pitanja vidimo da je više od polovine izjavilo da su se veoma trudili radeći ovaj test. Na slici 8 je dat grafik zavisnosti procenjene latentne sposobnosti od procene uloženog truda. Crvenom bojom su označeni rezultati devojčica, a plavom bojom rezultati dečaka. Primećujemo da učenici koji kažu da su uložili veći trud, u proseku, postižu bolji rezultat na testu. Takođe, primećujemo da nema bitne razlike u trudu koji ulažu dečaci i devojčice.

učestalost korišćenja računara

broj učenika

1 8 2 33 3 22 4 125 5 342

nepoznato 373

1 2 3 4 5

-2-1

01

2

Учесталост коришћења рачунара


Слика 7

50

uloženi trud

broj učenika

1 0 2 2 3 25 4 107 5 394

nepoznato 375

1 2 3 4 5

-2-1

01

2

Уложени труд


Слика 8

51

Reference 1. Картал, В., Извештај о главном тестирању у школској 2008/2009. за предмет

Природа и друштво. 2009, Завод за вредновање квалитета образовања и васпитања: Београд.

2. Вербић, С. и Б. Томић, Рачунарски тестови знања у софтверском пакету Moodle: Приручник за наставнике. 2009, Београд: Завод за вредновање квалитета образовања и васпитања.

3. Verbić, S. i B. Tomić, Primenljivost računarskih testova znanja u osnovnoj školi, Knjiga apstrakata XIV naučnog skupa "Empirijska istraživanja u psihologiji". 2008, Filozofski fakultet: Beograd, Srbija. p. 39‐40.

4. Partchev, I., Simple interface to the estimation and plotting of IRT models. 2008. 5. Hanson, B.A., IRT Command Language. 2002. 6. Bock, R.D. and R.J. Mislevy, Adaptive EAP Estimation of Ability in a Microcomputer

Environment. Applied Psychological Measurement, 1982. 6(4): p. 431. 7. Embretson, S.E. and S.P. Reise, Item response theory for psychologists. 2000, Mahwah, N.J.:

L. Erlbaum Associates. xi, 371 p. 8. Zumbo, B.D., A handbook on theory and methods of differential item functioning (DIF).

Ottawa: National Defense Headquarters. 1999.

Documents

Izvestaj o realizaciji on-line testiranja (pd09)