Opava, 13. října 2006

Opava, 13. října 2006

CO JE DOBRÉ VĚDĚT O TESTOVÁNÍ

Mgr. Irena Smetáčková, CERMAT

Obsah semináře

1) Test2) Tvorba testu3) Testové úlohy a jejich tvorba4) Hodnocení testových úloh a

testů5) Ukázky vyhodnocení

Co je test ?

= zkouška se shodnými podmínkami pro všechny testované jedince as výsledky číselného charakteru

Co je didaktický test ?

= test použitý v pedagogické situaci za účelem ověření úrovně znalostí a dovedností žáků

- vstupní test- průběžný test- výstupní test

VLASTNOSTI TESTU

objektivita, srovnatelnost citlivost validita reliabilita

OBJEKTIVITASROVNATELNOST

Výkon v testu závisí pouze na znalostech a dovednostech žáka.

Formulace úlohy a kritéria hodnocení musí být jednoznačná.

Úlohy musí ověřovat znalosti a dovednosti, nikoliv postoje.

Jaká kniha je Vaše oblíbená?

Babička; Tenká; Česká...

CITLIVOST

Který z uvedených států neleží v Asii?A) Vietnam

B) KoreaC) PolskoD) Čína

V kterém ročním období opadává listí ze stromů?A) jaro

B) léto

C) podzim

D) zima

A) Laos

B) MalawiC) OmánD) Kyrgyzstán

CITLIVOST

Test musí rozlišovat výkony různých žáků.

Výkony žáků by měly být v testu přiměřeně rozloženy.

Optimální citlivost testu je dána jeho účelem.

VALIDITA

Obec Kovač má 250 obyvatel. Každý rok se v obci narodí nebo se přistěhují 3 noví obyvatelé. Každý rok 2 obyvatelé zemřou nebo se odstěhují. Vypočítejte, za kolik let se obec Kovač stane městem.

Test měří skutečně to, k čemu byl vytvořen.

Pokud není test validní, není možné na základě výsledků vyslovit závěr o úrovni znalostí a dovedností žáků.

RELIABILITA

Test měří přesně a spolehlivě.

Přesné měření znamená, že výsledek v testu vypovídá o skutečných znalostech a dovednostech žáka.

Spolehlivé měření znamená, že při opakovaném měření žák dosáhne obdobného výsledku v testu.

DRUHY DIDAKTICKÝCH TESTŮ

Možná kritéria třídění testů:

Forma zadánípísemný, ústní, Computer adaptive testing,...

Druh výsledku učeníznalosti, kognitivní dovednosti, psychomotorické dovednosti,...

Interpretace výsledkůrozlišující, ověřující

TESTY ROZLIŠUJÍCÍ

Cíl testu: vzájemné porovnání žáků

Interpretace výsledků: pořadí žáků podle skóre

Vlastnosti testu: vysoká citlivost

Konstrukce testu: obtížné úlohy s vysokou citlivostí

Použití testu: např. přijímací zkoušky

TESTY OVĚŘUJÍCÍ

Cíl testu: ověřit splnění předem daných

požadavků Interpretace výsledků:

míra splnění předem daných požadavků, porovnání s „ideálním žákem“

Vlastnosti testu: validita vůči vymezenému učivu

Konstrukce testu: úlohy různých obtížností, zastoupení

všech předem daných požadavků Použití testu:

např. test v autoškole

TVORBA TESTU

FÁZE TVORBY TESTU:

1) Plánování testu- cíl, obsah, specifikační tabulka

2) Sestavování testu- výběr úloh, řazení úloh, odhad času, volba způsobu hodnocení

3) Ověřování testu- odborné posouzení, pilotáž

4) Použití testu

TESTOVÉ ÚLOHY

Přečtěte si následující text a odpovězte na úlohu 2.Výchozí text k úloze 2

Z hlediska způsobu interpretace testových výsledků se rozlišují dva druhy didaktických testů. Prostřednictvím testů rozlišujících jsou žáci seřazeni do pořadí podle svých výkonů v testu. Testy ověřující slouží k tomu, aby se ověřilo, nakolik konkrétní žák zvládl určitou oblast učiva. V případě ověřujících testů není podstatné, jak se daný žák umístí vůči ostatním, ale v jaké míře dokázal splnit předem dané požadavky.

Úloha 2Na základě výchozího textu rozhodněte, ve které z následujících situací je správné použít přednostně ověřující test.

A) přijímací zkoušky na vysokou školuB) olympiáda z anglického jazykaC) televizní soutěž ve znalostech českých dějinD)* státní jazyková zkouška z německého jazyka

TESTOVÉ ÚLOHY

STRUKTURA TESTOVÉ ÚLOHY:

Instrukce Výchozí informace (text, graf, obrázek) Kmen úlohy Alternativy (správná odpověď a distraktory) Správné řešení, kódový klíč

TESTOVÉ ÚLOHY

Přečtěte si následující text a odpovězte na úlohu 2.Výchozí text k úloze 2

Z hlediska způsobu interpretace testových výsledků se rozlišují dva druhy didaktických testů. Prostřednictvím testů rozlišujících jsou žáci seřazeni do pořadí podle svých výkonů v testu. Testy ověřující slouží k tomu, aby se ověřilo, nakolik konkrétní žák zvládl určitou oblast učiva. V případě ověřujících testů není podstatné, jak se daný žák umístí vůči ostatním, ale v jaké míře dokázal splnit předem dané požadavky.

Úloha 2Na základě výchozího textu rozhodněte, ve které z následujících situací je správné použít přednostně ověřující test.

A) přijímací zkoušky na vysokou školuB) olympiáda z anglického jazykaC) televizní soutěž ve znalostech českých dějinD)* státní jazyková zkouška z německého jazyka

instrukce

výchozí text

zadání

alternativy

správné řešení

TESTOVÉ ÚLOHY

s výběrem odpovědi

dichotomicképřiřazovacíuspořádací

se stručnou odpovědí

se širokou odpovědí

TYPY TESTOVÝCH ÚLOH PODLE ZPŮSOBU ŘEŠENÍ

ÚLOHY UZAVŘENÉ ÚLOHY OTEVŘENÉ

ÚLOHY S VÝBĚREM ODPOVĚDI

= volba odpovědi ze tří až pěti nabízených alternativ

Který z uvedených států nesousedí s Českou republikou?

A) PolskoB) RumunskoC) NěmeckoD) Slovensko

Více správných odpovědí?

Riziko uhádnutí správné odpovědi?

DICHOTOMICKÉ ÚLOHY

= volba odpovědi ze dvou nabízených alternativ

Rozhodněte, zda je uvedené tvrzení pravdivé.Hlavním městem České republiky je Praha. ANO) NE)

Rozhodněte, zda jsou uvedená tvrzení o České republice pravdivá.

Hlavním městem České republiky je Praha. ANO) NE)

Počet obyvatel ČR je 5 milionů. ANO) NE)

Nejvyšším pohořím v ČR je Šumava. ANO) NE)

Nejdelší řekou České republiky je Vltava. ANO) NE)

ÚLOHY PŘIŘAZOVACÍ

= přiřazení pojmů, slov, čísel z jednoho sloupce k pojmům, slovům, číslům z druhého sloupce

Přiřaďte ke každému z uvedených států (1–3) jeho hlavní město (A–D).1. Itálie2. Francie3. Rakousko

A) BernB) PařížC) ŘímD) Vídeň

Jeden sloupec musí být delší, aby každý krok byl

rozhodnutím

ÚLOHY USPOŘÁDADÍ

= uspořádání pojmů, slov nebo čísel podle určitého pravidla

Seřaďte uvedená města (A–D) podle počtu obyvatel od nejmenšího k největšímu.

A) Hradec KrálovéB) BrnoC) VlašimD) Kutná Hora

Hodnocení jednotlivých pořadí nebo uspořádaných

dvojic?

ÚLOHY SE STRUČNOU ODPOVĚDÍ

= vytvoření odpovědi v rozsahu jednoho slova, čísla či slovního spojení

Napište název úřadu, na kterém se registrují žadatelé o zaměstnání. _____________________________ (úřad práce, pracovní úřad)

Obtížné hodnocení – vytvoření klíče všech adekvátních

odpovědí

ÚLOHY SE ŠIROKOU ODPOVĚDÍ

= vytvoření rozsáhlé odpovědi, např. výpočet s uvedením postupu, pojednání v několika větách, esej atd.

Popište průběh II. světové války. _______________________________________________

Uveďte dva argumenty pro přímou volbu prezidenta a dva argumenty proti přímé volbě prezidenta.______________________________________________

Obtížné hodnocení – vytvoření kritérií

TESTOVÉ ÚLOHY

TYPY TESTOVÝCH ÚLOH PODLE CÍLŮ UČENÍ

ÚLOHY ZNALOSTNÍ ÚLOHY DOVEDNOSTNÍ

= ověřují konkrétní = ověřují aplikaci znalosti znalostí v nových

situacích, při řešení problémů

Bloomova taxonomie kognitivních cílů

ZNALOSTNÍ A DOVEDNOSTNÍ ÚLOHY

Přečtěte si následující text a odpovězte na úlohu 2.Výchozí text k úloze 2

Z hlediska způsobu interpretace testových výsledků se rozlišují dva druhy didaktických testů. Prostřednictvím testů rozlišujících jsou žáci seřazeni do pořadí podle svých výkonů v testu. Testy ověřující slouží k tomu, aby se ověřilo, nakolik konkrétní žák zvládl určitou oblast učiva. V případě ověřujících testů není podstatné, jak se daný žák umístí vůči ostatním, ale v jaké míře dokázal splnit předem dané požadavky.

Úloha 2Na základě výchozího textu rozhodněte, ve které z následujících situací je správné použít přednostně ověřující test.

A) přijímací zkoušky na vysokou školuB) olympiáda z anglického jazykaC) televizní soutěž ve znalostech českých dějinD)* státní jazyková zkouška z německého jazyka

ZNALOSTNÍ A DOVEDNOSTNÍ ÚLOHY

Úloha 2Které české označení didaktického testu se používá pro NR-test ?

A) ověřující B) kontrolníC) psychologickýD)* rozlišující

PRAVIDLA PRO TVORBU ÚLOH

Formulovat úlohy stručně, srozumitelně a jednoznačně. Nepoužívat nebo zvýraznit informace, které by mohly

být zavádějící (např. zápory). Vybrat správný typ úlohy k ověřovanému učivu. Ověřovat pouze znalosti a dovednosti, které si žáci

mohli osvojit ve škole. Pamatovat na nebezpečí sociální či genderové zatíženosti.

Vhodně určit bodové ohodnocení správných odpovědí. Mít na paměti způsob technického zpracování odpovědí.

FÁZE TVORBY ÚLOH

1) vymezení učiva, které má být úlohou ověřeno, a

hloubka osvojení učiva (východiskem je specifikační tabulka testu)

2) vytvoření úlohy autorem

3) posouzení úlohy revizním týmem, odborným recenzentem a jazykovým korektorem

4) ověření úlohy prostřednictvím try-outu a pilotáže

5) úprava úlohy na základě výsledků posuzování a ověřování

6) vložení úlohy do banky testových úloh a následné použití v testu

II. ČÁST

POSUZOVÁNÍ TESTOVÝCH ÚLOH

VÝSTUPY PRO ŽÁKY, VÝSTUPY PRO ŠKOLY

ROZBOR UKÁZEK

DISKUSE

TESTOVÉ ÚLOHY

POSUZOVÁNÍ TESTOVÝCH ÚLOH

ověřované znalosti a dovednosti – vztah k učivu, vztah k vymezeným požadavkům (katalog požadavků)

obtížnost úloh citlivost úloh postavení úlohy v rámci testu

HODNOCENÍ

PSYCHOMETRICKÉ CHARAKTERISTIKY

= číselné údaje popisující test, úlohy nebo výkony žáků vypočtené na základě žákovských řešení

PSYCHOMETRICKÉ CHARAKTERISTIKY TESTU

PSYCHOMETRICKÉ CHARAKTERISTIKY TESTOVÉ ÚLOHY

PSYCHOMETRICKÉ CHARAKTERISTIKY VÝKONU ŽÁKA V TESTU

POLOŽKOVÁ ANALÝZA

HODNOCENÍ

PRŮMĚRNÉ SKÓRE = průměr celkového počtu bodů všech testovaných žáků

PRŮMĚRNÁ ÚSPĚŠNOST = poměr průměrného skóre a maximálního možného vyjádřený v procentech

REALIABILITA = spolehlivost a přesnost testu

HODNOCENÍ TESTU

HODNOCENÍ ÚLOH

OBTÍŽNOST = podíl mezi počtem žáků, kteří vyřešili úlohu správně, a počtem všech testovaných žáků (nebo úspěšnost žáků v úloze)

CITLIVOST = schopnost úlohy rozlišovat mezi úspěšnými a neúspěšnými žáky v testu

HODNOCENÍ

CELKOVÉ SKÓRE = celkový počet bodů v testu

CELKOVÁ ÚSPĚŠNOST= poměr celkového skóre a maximálního možného skóre

HODNOCENÍ ŽÁKŮ

HODNOCENÍ SKUPINY ŽÁKŮ

PRŮMĚRNÉ SKÓRE = průměr celkového počtu bodů všech žáků ve skupině

PRŮMĚRNÁ ÚSPĚŠNOST= poměr průměrného skóre a maximálního možného

ÚSPĚŠNOST ŽÁKŮ V ÚLOZE = podíl mezi počtem žáků, kteří vyřešili úlohu správně, a počtem všech žáků ve skupině vyjádřený v procentech

POLOŽKOVÁ ANALÝZA

obtížnost úlohy

citlivost úlohy

úspěšnost žáků v úloze

CELKEM G SOŠ SOU

Úloha 1 0,20 0,52 20 % 30 % 25 % 15 %

Úloha 2 0,61 0,30 61 % 81 % 60 % 40 %

Úloha 3 0,96 0,05 96 % 99 % 90 % 88 %

volba alternativvynechan

é odpovědiA B* C D

Úloha 1

20 % 42 % 10 % 20 % 8 %

UKÁZKA TESTOVÉ ÚLOHY

Který z uvedených znaků patří mezi současné státní symboly České republiky?

A) B) C)D)

UKÁZKA TESTOVÉ ÚLOHY

Přiřazení úlohy ke kataloguObčan a demokracieIV.2.1A - Žák dokáže popsat základní symboly české

státnosti a objasnit jejich význam.

Typ úlohyuzavřená – s výběrem odpovědi s jednou správnou odpovědí

UKÁZKA TESTOVÉ ÚLOHY

G SOŠ SOU

352 3854 648

Psychometrické charakteristiky úlohy

Počet žáků 4854

Obtížnost úlohy 0,96

Diskriminace úlohy 0,21

Úspěšnost žáků 96 % G SOŠ SOU

95 % 96 % 94 %

UKÁZKA TESTOVÉ ÚLOHY

Položková analýza

2,4% 1,1%

95,7%

0,5%

A B C Dalternativy

UKÁZKA TESTOVÉ ÚLOHY

ZP SP TP SPU

39 19 25 39

Rozbor upravené úlohy pro žáky s SVP

Počet žáků 122

Obtížnost úlohy 0,70

Diskriminace úlohy 0,25

Úspěšnost žáků 70 %

ZP SP TP SPU

69 % 47 % 76 % 72 %

UKÁZKA TESTOVÉ ÚLOHY

Rozbor podle známek na vysvědčení

Počet žáků se známkou 1 3141 Úspěšnost žáků 98 %Počet žáků se známkou 2 1012 Úspěšnost žáků 87 %Počet žáků se známkou 3 535 Úspěšnost žáků 68 %Počet žáků se známkou 4 159 Úspěšnost žáků 55 %Počet žáků se známkou 5 7 Úspěšnost žáků 53 %

Rozbor podle pohlavíPočet dívek 2403 Úspěšnost dívek v úloze 89 %Počet chlapců 2451 Úspěšnost chlapců v úloze

98 %

UKÁZKA TESTOVÉ ÚLOHY

Doplňkové charakteristiky úlohy

Rozbor podle kombinace znaků, např. pohlaví a typ školy

Rozbor podle výsledků v jiných testech

Rozbor složení 10 % žáků s nejlepšími, respektive nejhoršími výsledky

...

VÝSTUPY PRO ŽÁKY A ŠKOLY

Testové výsledky umožňují:

Porovnávat úroveň znalostí a dovedností žáků mezi sebou Porovnávat vývoj znalostí a dovedností jednotlivých žáků Vytvořit si představu o znalostech a dovednostech žáků

dané skupiny Získat zpětnou vazbu k obsahu a formě výuky Porovnávat výsledky tříd různých vyučujících (zdroj

pro diskusi a zkvalitňování pedagogické práce) Získat představu o klasifikačních normách ...

Děkuji za pozornost.

CERMAT – Centrum pro zjišťování výsledků vzdělávání

www.cermat.czwww.esf-kvalita1.cz

Tel. 224 507 111smetackova@volny.cz