Д. А. Романо: Компаративна процјена сигнификантности математичких задатака при тестирању кандидата

__________________________________________________________________

УЧЕЊЕ И НАСТАВА

KLETT друштво за развој образовања

Година I • Број 4 • 2015

ISSN 2466-2801

УДК 51.XX, 37.YY

Оригинални научни чланак • 723-740

Примљен: 31.11.2015.

Прихваћен: 14.12.2015.

__________________________________________________________________

Даниел А. Романо

Педагошки факултет Бијељина, Универзитет у Источном Сарајеву

76300 Бијељина, Семберских ратара б.б., Б&Х

e-mail: [email protected]

Компаративна процјена сигнификантности математичких задатака

при тестирању кандидата за упис на факултет

Сажетак. У овом раду нудимо промишљања о компаративној процјени квалитета

математичких задатака при тестирању кандидата пријављених за упис на Машински

факултет Универзитета у Бањој Луци у периоду 2012-2015. Кориштени модели процјене

сигнитифантности математичких задатака су стандардни модели процјене као што су

Bloom’s, SOLO, MATH и AT таксономије. Сем тога, кориштен је и модел аналоган моделу

процјене који је 2008. године развила Белинда Хантли.

Кључне речи: Математика процена, индекс квалитета.

Увод

Скоро сви универзитети у Босни и Херцегобини припремају и реализују пријемно

тестирање кандидата за упис на техничко-технолошке факултете. У њима се, у већини

случајева, тестирају кандидатска математичка умијећа. Упркос методи финансирања

универзитета "на основу број уписаних студента“, већина природно-математичких и

техничко-технолошких факултета знaчајније се опредјељује за самостално утврђивање

математичких знања, способности и вјештина пријављених кандидата. Тестирањем се

жели утврдити ниво математичке писмености пријављених кандидата: знања и

разумијевања математичких објеката (концептуална математичка знања), процеса

(процесна математичка знања) али и вјештине математичких процедура (процедурална

математичка знања). Тестови се углавном састоје од математичких задатака који су

покривени средњошколским програмима математика у нашем средњошколском систему.

Један од циљева у домени 'Истраживање математичког образовања' требало би да

буде установљавање процjена програма који подупиру развој математичких умијећа код

ученика / студената. Сврсисходност и учинковитост таквих алгоритама у великој мјери

зависи од квалитета питања / задатака који се постављају пред тестиране ученике /

студенте (Stenmark, 1991). Питања / задаци које изабирамо и/или дизајнирамо за

mailto:[email protected]

Романо, Д.А.: Компаративна процјена сигнификантности математичких задатака при тестирању

кандидата за упис на факултет

УЧЕЊЕ И НАСТАВА • Год. I • Бр. 4 • 2015 • 723–740

2

тестирање снажно одражава оно што ми као реализатори наставе математике и

истраживачи математичког образовања вјерујeмо да би требало да ученици / студенти

знају, разумију и могу урадити. (Wiggins, 1989). Једно од питања које се само поставља је:

'Колико су питања / задаци, које постављамо ученицима / студентима, адекватна за

досезање циљева наших намјера – установљавање нивоа математичких умјећа ученика /

студената?'.

Сваке школске године реализатори наставе математике на техничким факултетима

Универзитета у Бањој Луци утврђују ниво математичке писмености пријављених

кандидата за упис на Универзитет (погледати на примјер: Романо, 2013; Kosić-Jeremić and

Preradović, 2014; Романо 2014; Romano, 2014а; Романо 2015; Crvenković et al, 2015;

Maksimović and Boroja, 2016).

Циљ овог текста је да се задаци које дизајнирамо или бирамо за установљавања

математичких умијећа кандидата који се пријављују на Машински факултет Универзитета

у Бањој Луци компаративно сагледавају у свијетлу слиједећих таксономија: Bloom’s,

SOLO, MATH и AT али и алгоритмом (Романо 2016) процјене квалитета постављених

питања / задатака аналоган моделу који је развила Белинда Хантли (Belinda Huntley) у

својој дисертацији (Huntley, 2008).

Таксономије

Неке од задатака у примјењиваним моделима испитних задатака анализираћемо

кориштењем четри различите таксономије: Bloom’s, SOLO, MATH и АТ таксомонију.

Прва таксономије је општепозната (Anderson and Krathwohl (Eds.), 2001). Ову

таксономију су ревидирали 2001 Андерсон и Кратхвохл.

Категорија Опис

Запамтити Способност да се ученик сјети раније наученог материјала.

Разумијети

Способност да схвате значења и објашњења као и способност

да се преуређују искориштене идеје.

Примјенити

Способност да користи научени материјал у новим

ситуацијама.

Анализирати

Способност да се изучавани објект-концепт разложи на

елементе те да се увиде међуодноси између тих елемената.

Процијењивати

Способност да се процјени вриједност материјала.

Бити креативан Способност да се успоставе корелације између различитих

математичких објекат-концепта и идеја формирањем нових

цјелина те уочавањем реалација између тако формираног

новог концепта и ранијих објект-концепта те разумијевањем

новоустановљављеним међуодносима.

Tабела 1: Кластери когнитивног домена ревидиране Блумове таксономије




3

Кратхвохл и Блумова таксономија 1964 афективног домена описује неколико

категорија циљева (Krathwohl, Bloom and Masia, 1964; Leder and Grootenboer, 2005;

Ignacio, Nieto and Barona, 2006; Yackel and Cobb, 1996).

Ниво Дескрипција

Прихватање Знати нешто о нечему, или присуствовање неким активностима у

датом окружењу.

Рефлексија /Реаговање

Приказивање неког новог понашања као резултат искуства.

Усвајање вриједносне

оријентације

Социјалне и социо-математичке норме.

Организација вриједносних

оријантација

Интегрисање новe вриједности у нечији општи скуп

вриједности, уређујући тај скуп одређивањем приоритета.

Примјена вриједносних

оријентација

Доследно поступање са новоусвојеним вриједностима.

Tабела 2: Кластери афективног домена Блумове таксономије

SOLO таксономија се темељи на проучавању исхода наставе. Акроним SOLO je

скраћеница “Structure of the Observed Learning Outcome”. Таксономски термини и у вези с

њима разликовање пет различитих нивоа који одговарају когнитивним процесима за

досезање тих новоа чине: SOLO описује једну хијерархију гдје свака парцијална

конструкција (ниво) постаје темељ на којем додатно учење може бити изграђено. (Biggs,

2003). SOLO се може користити за детерминисање 'планираних исхода учења', облика

наставе који их подржавају, облика процјена којима се прави евалуација досезања циљева

наставе. Он је развијен у намјери остваривања независног увида у досегнуте пожељне

исходе учења. Тих пет новоа су слиједећи (Biggs and Collis, 1982; Biggs, 2003; Biggs and

Tang, 2007):

SOLO 1: "Предструктурни ново“: На овом нивоу особа показује недостатак било какве

врсте разумијевања, користи неважне информације или их, чак, потпуно изоставља. Неке

спорадичне информације, без икакве њихове међусобне повезаности у неку структуру, могу

вити смјештене у посматране когнитивне равни у одговарајућем дијелу који се односи на

пожељни домен. Сматра се да студент може рјешавати линеарно једноставне задатке.

SOLO 2: "Уни-структурални ниво": Особа, за коју процјењујемо да се налази на нивоу

SOLO 2, може експонирати разумијевање са тзв. једнодимензионим проблемима, може уочавати

међусобне односе елемената тог проблема само са једног аспекта. Сматра се да таква особа

може скоро успјешно користити кореспдентну терминологију, може успјешно репродуковати

прочитани материјал, реализовати једноставне упуте, тј. примјењивати једноставне алгоритме,

обављати аритметичке операције, идентификовати објекте, и томе слично. Сматра се да студент

може рјешавати линеарно сложене проблеме / задатке.

SOLO 3: "Mулти-структурални ниво": На овом нивоу студент се може носити са више

аспеката при чему добијене резултате примјене тих различитих приступа третира као међусобно

независне. Метофорички говорећи, студент види више стабала али не види шуму. За особу за

коју процјењујемо да је на овом нивоу овладаних знања, способности и вјештина процеса




4

образовања процјењује се да може са доста успјеха набрајати објекте (уочавајући шеме по којим

је то набрајање организовано), описивати својства објеката и њихових конструктивних

елемената, правити класификације према једном или више предиката, успјешно примјењивати

стратегије рјешавања, разумијевати структуре, и томе слично. Сматра се да студент може

рјешавати нелинеарно сложене проблеме / задатке.

SOLO 4: "Релациони ниво": На новоу четри, студент може разумијети међуодносе између

неколико апската те како добивене информације примјењујући те различите аспекте може

уградити у цијелину. Способан је ра разумијевање форми, структура. Метафорички говорећи,

студент интроспективним увидом разумије да много стабала чини шуму. Особа, за коју

процјењујемо да је на новоу SOLO 4 способна је правити компарације, уочавати међусобне

односе подструктура неке структуре, анализирати те међуодносе, примјењивати теоријска

рјешања у практичним ситуацијама, успјешно објашњавати везе између узрока и последица

неког процеса, и томе слично. Сматра се да особа на том нивоу може са доста успјеха рјешавати

нестандардне проблеме / задатке.

SOLO 5: "Апстактни ниво": На овом нивоу, особа може правити уопштавања и

генерализације структура, може посматрајући концепте структуре са различитих аспеката не

само прености те концепте на друга подручја већ их и употпуњавати. Сматра се да таква особа

посједује способности и вјештине изградње генерализација концепата, анализирања

хипотетичких стурктура, разумијевања унутрашње организације структура те конструкције и

исправног изношења новоформираних тврђења. Сматра се да особа на том нивоу може са доста

успјеха самостално конструисати нове структуре / конструкције.

Tабела 3: Кластери SOLO таксономије

У когнитивном приступу, где се учење види као стицање знања и вјештина, Блум је

развио таксономија образовних циљева. Прилагођавајући Блумову таксономију Гоф Смит

и његове колеге (Smith еt all., 1996) увели су MATH номенклатуру за анализу испитних

математичких задатака. Циљ ове таксономије је да помогне предавачима у развоју

уравнотежених процјена математичких задатака потражујући широк спектар

математичких знања и вјештина. Смит са сарадницима (Smith еt all., 1996) се фокусиро на

потребне математичке активности и неопходне математичке вјештине потребне приликом

рјешавања задатака. Разврстали су их у три групе задатака. Фокус ове таксономије је на

природу активности, а не на комплесности тих активности. Аутори ове таксономије

истичу да од студената треба потраживати успјешност у рјешавању задатака све три

категорије. У табели која слиједи, предочене су подкатегорије ове таксономије:

Нижи ниво

Група A

Средњи ниво

Група B

Виши ниво

Група C

A1. Знање чињеница

B1. Пренос информација

C1. Аргумантација и тумачење

A2. Разумјевање

B2. Примјена у новим

ситуацијама

C2. Импликације, прављење

хипотеза и упоређивање

A3. Рутинска употреба процедура

C3. Евалуација

Tабела 4: Kатегорије MATH таксономије (Smith et al., 1996)




5

ТА таксономију (у оригиналу: Assessment component taxonomy) развили су Белинда

Хантли, Џон Енхелбрехт и Енси Хардинг (Huntley, Engelbrecht and Harding, 2009). Oва

таксономија се састоји седам математички компоненти којима су детерминисани нивои

когнитивне комплексности: (1) Техничка компонента; (2) Предметна компонента; (3)

Концептуална компонента; (4) Логичка компонента; (5) Моделовање; (6) Рјешавање

проблема; и (7) Консолидација.

Huntley модел 'добре процјене' улазног математичког теста

У дисертацији (Huntley, 2008) и касније публикованим текстовима (на примјер:

Huntley et al, 2009a; Huntley, 2009b; Huntley et al, 2010), Белинда Хантли са сарадницима је

развила jeдан модел процјењивања квалитета питања / задатака са намјером да понуди

одговор на питање: Како одлучити да ли је неко математика питање доброг или лошег

квалитета? (Huntley, 2009a). У намјери да на то питање понуде задовољавајући одговор,

ови аутори конструисали су један модел, назван индекс квалитета (QI), за процјену

квалитета и перцепцију квалитета питања / задатака у математичким тестовима.

Понуђени QI модел за процјењивање колико је добро неко математике питање

заснован је на слиједећим параметрима:

• 'Добро' питање би требало да омогућава квалитетно раслојавање; Другим

ријечима, кандидати високих перформанси треба би да дају прихватљиве одговоре на

такво питање, док би кандидати скромних перфоманси требало да или уопште не дају

одговоре, или да дају одговоре који се разврставају у категорије неприхватљиве или

потпуно промашњених информација. У овом тексту под ‘високим перформансама'

подразумијеваћемо број кандидата чији су одговори вредновани са 4 или 5 бодова, под

'ниским перформансама' сматраћемо број кандидата чији су одговори вредновани са 1, 2

или 3 бода.

• Кандидатска увјерења о квалитету свог властитог одговора на такво питање

требало би да су у директној коресподенцији са комплескношћу питања;

• Ниво комплексности питања требало би да је правилно процјењен од стране

онога ко врши евалуацију;

• Ниво комплексности питања не чини га добрим или лошим питањем; Питања

веће компексности могу бити добра или лоше, баш као што и питања ниже

комплексности такође могу бити добра или лоша.

Дакле, идентификују се слиједећа четри параметра:

(1) Индекс раслојавања;

(2) Индекс увјерења; и

(3) Стручно мишљење.

(4) Ниво когнитивне захтјевности

У којој мјери ће тест диференцирати кандидате један је од основних мјера

квалитета задатка / питања. Индекс раслојавања (DI) се израчунава на слиједећи начин:

DI = (CH - CL) / N,

гдје је:

CH – број кандидата које разврставамо у групу виших перфоманси;

CL - број кандидата које разврставамо у групу нижих перфоманси;

N – број кандидата у обје групе.




6

У овој студији ми ћемо се придржавати скале:

(0) Задатак је врло лако ријешити;

(1) Задатак је лако ријешити;

(2) Задатак је више лако него тешко ријешити;

(3) Задатак је више тешко него лако ријешити;

(4) Задатак је тешко ријешити; и

(5) Задатак је врло тешко ријешити.

Скала за вредновање стручног мишљења је слиједећа:

(0) Кандидат ће лако пронаћи / конструисати рјешење задатка;

(1) Задатак је просјечне комплексности;

(2) Кандидат ће уз потешкоће ријешити задатак; и

(3) Кандидат ће уз знатне потешкоће ријешити задатак или га уопште неће

ријешити.

Наше дугогодишње искуство реализатора наставе математике је основа за

балансирање когнитивних захтијевности питања / задатака укључених у тесту. Ми се, у

већини случајева, ослањамо на Bloom’s (Anderson et al, 2001), MATH (Smith et al, 1996;

Crvenković i sar. 2015), SOLO (Biggs and Collis, 1982; Романо 2014; Романо 2014a) и/или

АC таксономију (Huntley et al, 2009; Crvenković i sar. 2015). Индекс когнитивне

захтјевности / индекс комплексности задатка процјењујемо категоријама поменутих

таксономија али и на слиједећи начин:

HCC = број коректних одговора

укупан број тестираних кандидата, LCC =

број изостављених одговора

укупан број тестираних кандидата

Ако број HCC није велики а број LCC јесте, тада процјењујемо да кандидати мисле да је

задатак когнитивно комплексан.

Методологија истраживања

Учесници

За потребе овог текста, анализирани су резултати тестирања математичке

писмености кандидата који су се пријавили за упис на Машински факултет Универзитета

у Бањој Луци у периоду 2012-2015. Дизајнирано и/или изабрано је скоро1 1200 задатака за

тестирање тих кандидата. Прегледано је и процијењено преко 8000 понуђених рјешења

задатака. На основу ових истраживања, процијењена је средња вриједност 'Индекса

квалитета' задатака у пријемним тестирањима математичких умијећа пријављених

кандидата за упис на Машински факултет у периоду 2012-2015.

Дефиниција 'Индекса квалитета'

Индекс квалитета (QI) дефинише се (Huntley, 2008) на слиједећи начин:

QI = 3

4 (DI + CI + EO).

1 Дешавало се, али ријетко, да се неки задатак појави два-три пута током посматраног периода.




7

На њега се може гледати као на површина троугла у радарском графикону.

У намјери да упоређујемо поменута три критерија те да их приказујемо у

радарском графикону, стандардизоваћемо добијене резултате између 0 и 1 посредством

слиједећих трансформација:

(DI) f : [-1, 1] x 𝑥+1

2 [0, 1], (CI) g: [0, 5]Z x

𝑥

5 [0, 1],

(EO) h: [0, 3]Z x 𝑥

3 [0, 1],

при чему [0, 3]Z и [0, 5]Z означавају сегменте у уређеном прстену Z цијелих бројева.

Процјена значајности задатака

У овом моделу процјењивања квалитета задатака, ослањајући се на искуства

других истраживача математичког образовања (на примјер: Huntley, 2008; Huntley et al,

2009a; Huntley et al, 2009b), будући да нисмо правили адаптацију вриједности параметара,

придржаваћемо се процјене

Задатак је доброг квалитета ако је QI QIsr ,

Задатак је нижег квалитета ако је QI QIsr

Средња вриједност параметра QI у овом истраживаном је QIsr 0.6928 (Романо 2016). У

циљу стицања увида у компаративну процјену, ниже су изложене процјене значајности

неких од задатака.

Код '' означава да кандидат није понудио ништа као одговор на постављено

питање у задатку. Код '0' значи да су информације, које је кандидат понудио као одговор

на постављена питања у задатку, биле потпуно неприхватљиве.

Задатак А. 588 путника мора се превести из једног мјеста у друго ради чега ће путници

користити два различита воза. Једна композиција садржи само вагоне од 12 мјеста, док

се у другој композицији налазе само вагони са 16 мјеста. Претпоставимо да овај

последњи воз има осам вагона више него прва композиција. Колико вагона најмање треба

да имају обје композиције да би се сви путници превезли?

Задатак овог типа је нелинеарно сложени аритметички задатак. Будући за његово

рјешавање захтијева разумијевање концепта математичког окружења и концепата

једначина и неједначина поступак рјешавања задатка благо приближава овај задатак

домени алгебре. Зато је разврстан у категорију аритметичко-раноалгебарских задатака.

Типови ових задатака су класични задаци унутар Теорије реалистичког математичког

образовања. Зато се очекивала висока успјешност у понуђеним одговорима на ово

питање. Осим поступка моделирања, тј. превођења контекста у математички систем једне

неједначине и једне једначине у полупрстену природних бројева требало је узимати у

обзир и (у дијелу у коме се рјешава систем од једне једначине и једне неједначине) услове

(друга композиција има 8 вагона више од прве композиције) под којима је требало пронаћи

рјешење проблема.

Задатак је типа SOLO 3. Контекст треба моделивати. Први корак је линеарна

математизација. Нека је са x означен број вагона прве композиције а са y број вагона друге

композиције. Према условима задатка, треба ријешити алгебарски систем од једне

неједначине и једне једначине са двије непознанице у полупрстену N природних бројева:




8

12x + 16y 588

y = x+8.

Вертикална математизација нуди x = 480

28 у пољу Q рационалних бројева. Ако би узели да

је x = 17, било би y = 17+8 = 25 и 1217 +1625 = 204+400 = 604 што је за тачно 16 мјеста

више него је потребно. Могло би се узети да је број вагона друге композиције 24 умјесто

25. Тада би било 1217 +1624 = 204+384 = 588. Ако би узели x = 16, било би y = 16+8 = 24

и 1216+1624 = 192+384 = 576 што је за тачно 12 мјеста мање од неопходних за транспорт

свих особа. Међутим, и у једно и у другом случају, ремети се однос y = x+8 између

композиција. Проблем овог задатка је тумачење резултата вертикалне математизације.

Реализацијом избора између ове двије могућности и оправдање тог избора разврставао би

овај задатак у категорију SOLO 4.

Процјена успјешности:

Број бодова 0 1 2 3 4 5

Успјешност 80 68 10 12 18 12 136 336

Процјена квалитета: Параметри

DI = 148 −40

188 = 0.5745; HCC =

148

336 = 0.4405; LCC =

148

336 = 0.4405; CI = 3; EO = 2

QI = 3

4 (0.787 +

3

5 +

2

3) =

3

4 (0.787 + 0.6 + 0.667) 0.889

Задатак омогућава снажно раслојавање. Когнитивно је захтијеван. 148 (или

44.05%) кандидата или није уопште понудило одговор или је понудило неприхватљив

одговор на ово питање. 148 (или 44.05%) кандидата понудило је прихватљив или потпуно

прихватљив одговор. Овај задатак је високо сигнификантан за установљавање

математичких умијећа тестираних кандидата.

Графикон 1: Визуелна репрезентација параметра QI 0.889 за Задатак А.

Задатак Б. Када користимо taxi, плаћамо ’полазни тошак’ у износ од 2.00 КМ и 0.60 КМ

по пређеном километру. Одговорите на слиједећа питања: (1) Од чега зависи трошак

једног кориштења taxi-а? (2) Ако платимо y КМ за једно кориштење taxi-а, при пређених

x колометара, прикажи y као функцију величине x. (3) Направи кратку табелу

0

0.2

0.4

0.6

0.8DI

ЕОCI

Задатак А

Просјек




9

међузависности величина x и y. (4) Опиши како се конструише граф ове функције. (5) Ако

је за једно кориштење taxi-а плаћено 10 КМ, колико километара је пређено? (6) Ако је при

кориштењу taxi-а taxi-шоферу дато 10 КМ, које све могуће рате су плаћене, и колико је

кусур при свакој од тих рута?

Овај познати задатак, тзв. 'taxi-проблем' пружа изванредну прилику за

процјењивање досегнутог (вишег) нивоа алгебарског мишљења кандидата. (Нешто више о

алгебарском мишљењу читалац може наћи у нашим текстовима: Црвенковић и Романо

(2015), Романо (2009а), Романо (2010)). Препознавање линеарне функције, њених

својстава али и експонираним (не-)вјештина рјешавања припадних линеарних

алгебарских једначина и неједначина сматра се неопходно потребним елементима вишег

алгебарског мишљења којима би требало да кандидати владају будући да су ('официјелно'

успјешно) окончали више разреде основне школе. То је нелинеарно сложени задатак типа

SOLO 3 (тзв. Mулти-структуралног нивоа). Према MATH таксономији, то је задатак

нивоа А (укључујући све категорије: А1, А2 и А3) али и нивоа C1 (Аргументација и

тумачење) и C3 (Евалуација). Према AT таксономији, то је задатак у коме треба

моделовати реалну ситуацију.

Процјена успјешности


Успјешност 72 46 42 60 23 46 47 336


DI = 93 −125

218 = -0.147; HCC =

93

336 = 0.277; LCC =

118

336 = 0.351; CI = 2; EO = 2

QI = 3

4 (0.4265 +

2

5 +

2

3) =

3

4 (0.4265 + 0.4 + 0.667) 0.647

Задатак је, иако је QI = 0.647 QIsr 0.6928 ипак квалитетан за процјену


Графикон 2: Визуелна репрезентација параметра QI 0.647 за Задатак Б

0

0.2

0.4

0.6

0.8DI

EOCI

Задатак Б

Просјек




10

Задатак В. Ријешити неједначину 4−3𝑥

𝑥−2 2.

Процјена успјешности


Успјешност 10 62 12 8 8 22 82 204

Овај задатак, осим што подразумијева установљавање нивоа развоја алгебарског

мишљења код тестираних кандидата, омогућава установљавање и елемената логичког

мишљења. Један од могућих начина проналажења рјешења ове неједначине је слиједећи:

Неједначина 4−3𝑥

𝑥−2 2 је еквивалентна са неједначином

8−5𝑥

𝑥−2 0. Ова последња

неједначина је еквивалентна са дисјункцијом слиједећа сва система неједначина:

(8-5x 0 x-2 0) (8-5x 0 x-2 0),

односно

(x 8

5 x 2) (x

8

5 x 2).

Одавде слиједи

x x[ 8

5, 2 .


DI = 104 −28

132 = 0.576; HCC =

104

204 = 0.5098; LCC =

72

204 = 0.353; CI = 3; EO = 2

QI = 3

4 (0.788 +

3

5 +

2

3) =

3

4 (0.788 + 0.6 + 0.667) 0.890

Задатак, будући да је QIsr 0.6928 0.890 = QI, високо je сигнификантан за

процјену математичких умијећа тестираних кандидата.

Графикон 3: Визуелна репрезентација параметра QI 0.890 за Задатак В

Задатак Г. (1) Нацртај квадрат. Спој средине сусједних страница. Тако се добија нови

квадрат. Aко поновимо процедуру за овај квадрат, добија се трећи квадрат. И тако

даље ... добија се низ уметнутих квадрата.

(2) Напиши неколико чланова и општи члан низа дужина страница тих квадрата.

(3) Напиши неколико чланова и општи члан низа површина тих квадрата.

0

0.2

0.4

0.6

0.8DI

EOCI

Задатак В

Просјек




11

Процјена успјешности Број бодова 0 1 2 3 4 5

Успјешност 120 92 63 56 13 11 22 377

Циљ задатка је установљавање нивоа геометријског мишљења. Према ван

Хиеловој класификацији, задатак је типа 2. (О елементима геометријског мишљења

читалац нешто више може наћи, на примјер, у нашим текстовима: Романо (2009), Романо

(2009б) и Романо (2010)) Од кандидат се очекивало да: препознају квадрат, препознају

концепт 'сусједне странице', разумију концепт 'низа уметнуких квадрата', знају, на

интуитивном (ниви 0) и аналитичком нивоу (ниво 1), процијене мјера дужина страница и

површина уметнутог низа квадрата; конструишу опште чланове тих низова.


DI = 29 −76

105 = -0.6; HCC =

33

377 = 0.0875; LCC =

120

377 = 0.318; CI = 4; EO = 3

QI = 3

4 (0.2 +

4

5 +

3

3) =

3

4 (0.2 + 0.8 + 1.0) 0.866

Како је QIsr 0.6928 0.866 = QI, овај задатак има висок квалитет за процјену


Графикон 4: Визуелна репрезентација параметра QI 0.866 за Задатак Г

Закључак

Прије тестирања кандидата, модел процјењујемо елементима Bloom’s, MATH,

SOLO и AT таксономија. Комплетан модел дизајнирамо тако да, у складу са Bloom’s

таксономијом, омогућава нам регистрацију компонената когнитивног и афектиовног

домена код тестираних кандидата. Посебну пажњу посвећујемо задацима посредством

којих утврђујемо ниво развоја компонената математичког мишљења (аритметичког

(Романо 2010), аритметичко-раноалгебарског (Стевановић и сар. 2014; Црвенковић и

Романо, 2015), алгебарског (Романо 2009), геометријског (Романо 2009; 2009б) и логичког

мишљења) код тестираних кандидата. MATH и AT таксономија, у складу са својим

специфичностима, помажу нам да сагледамо активности које ће тестирани кандидати

морати реализовати да би конструисали прихватљиве одговоре на постављена питања

0

0.2

0.4

0.6

0.8

1DI

EOCI

Задатак Г

Просјек




12

и/или прихватљива рјешења на постављене задатке. Категоријама SOLO и AT таксономија

процјењујемо комплексност питања / задатака, односно процјењујемо нивое когнитивних

захтјевности постављених питања / задатака. Анализу повратних информација, по

реализованом тестирању пријављених кандидата, обрадимо елементима статистичке

анализе. То нам омогућава да, користећи категoријама Huntley модела, процјењујући

прикупљене повратне информације реализације теста, стекнемо увид у сигнификантност

коресподенције између питања и задатака у тесту, с једне стране, и математичких умијећа

тестираних кандидата, с друге стране.

Истраживачко питање Како одлучити да ли је неки математички задатак

значајан или мање значајан за утврђивање математичких умијећа тестираних

кандидата? је отворено питање. Детерминисање термина добар квалитет и мање добар

квалитет задатка / питања је субјективно. Још увијек не постоји усклађеност

истраживача математичког образовања у вези са тим питањима. Модел који су понудили

Белинда Хантли, Џон Енхелбрехт и Енси Хардинг (Huntley, 2008; Huntley et al, 2009a;

Huntley et al, 2009b) даје неке мјерљиве резултате. И модел који смо ми примјенили у

тексту Романо 2016 и у овом раду такође даје мјерљиве резултате.

Литература

Anderson, L. W., Krathwohl, D. R., and Bloom, B. S. (2001), A Taxonomy for Learning,

Teaching, and Assessing: A Revision of Bloom’s Taxonomy of Educational Objectives.

Boston, MA: Ally & Bacon.

Biggs, J.B. and Collis, K.F. (1982), Evaluating the Quality of Learning: The SOLO Taxonomy,

Structure of the Observed Learning Outcome; Academic Press, London.

Biggs, J.B.(2003). Teaching for Quality Learning at University. Open University Press,

Maidenhead.

Biggs, J.B. and C.Tang (2007): Teaching for Quality Learning at University. Open University

Press, Maidenhead.

Crvenković, S. MrĎa, M., Romano, D.A., Zubac, M. (2015), Analiziranje matematičkih zadataka

korištenjem MATH taksonomije, ИМО – Истраживање математичког образовања,

Vol. VII (2015), Broj 13, 1-12.

Црвенковић, Ц. и Романо, Д.А. (2015), Рана алгебра и раноалгебарско мишљење, У:

Методички аспекти наставе математике. Трећа међународна конференција МATM

2014 (14-15. Јуни 2014. Факултет педагошких наука Јагодина, Универзитет у

Крагујевцу, Србија), DOI: 10.13140/RG.2.1.4697.7761

Engelbrecht, J., Harding, A. and Potgieter, M. (2005), Undergraduate students’ performance and

confidence in procedural and conceptual mathematics. International Journal of

Mathematical Education in Science & Technology, 36(7), 701-712.

Fuhrman, M. (1996), Developing good multiple choice tests and test questions. Journal of

Geoscience Education, 44, 379-384.

Haladyna, T.M. (1999), Developing and validating multiple choice test items. (2nd ed.).

Mahwah, NT: Lawrence Erlbaum.

Hasan, S., Bagayako, D. and Kelley, E.L. (1999), Misconceptions and the Certainty of Response

Index (CRI), Physics Education, 34 (5), 294-299.

Huntley, B. (2008), Comparing different assessment formats in undergraduate mathematics.

Ph.D. Thesis, University of Pretoria, Pretoria; Retrieved from




13

http://upetd.up.ac.za/thesis/available/etd-01202009-163129/ (Увид у текст урађен:

05.10.2015.)

Huntley, B., Engelbrecht, J. and Harding, A. (2009), An assessment component taxonomy for

alternative mathematics assessment formats. In: D. Wessels (Ed.), Proceedings of the 7th

Southern Right Delta Conference on the Teaching and Learning of Undergraduate

Mathematics and Statistics (pp. 117–128). Gordons Bay, South Africa: International Delta

Steering Committee.

Huntley, B., Engelbrecht, J. and Harding, A. (2009а), How good are your mathematics

questions? In O. Nam Kwon & A. Harding (Eds.), Proceedings of the Eleventh

International Congress on Mathematical Education: Topic Study Group 5. Retrieved from

http://tsg.icme11.org/document/get/554. (Увид у текст урађен: 05.10.2015.)

Huntley, B., Engelbrecht, J. and Harding, A. (2009b), Can Multiple Choice Questions be

Successfully Used as an Assessment Format in Undergraduate Mathematics? Pythagoras,

69, 3-16

Huntley, B., Engelbrecht, J. and Harding, A. (2010), A model for measuring the quality a

mathematical question, Far East Journa of Mathematics Education, 5(2), 141-171

Ignacio, N.G., Blanco Nieto, L.J. and E.G. Barona (2006): The affective domain in mathematics

learning, International Elect. Journal of Mathematics Education, 1(1): 16-32

Kosić-Jeremić, S. and Preradović, Lj. (2014), Achievement in university entrance examination

relative to attendance in preparation classes and type of secondary school completed: a case

study of geodesy undergraduate candidates. International Journal of Education and

Research, 2(9), 59-70.

Krathwohl, D.R., Bloom, B.S. and B.B.Masia, (1964), Taxonomy of educational objectives,

Book II. Affective domain. New York, NY. David McKay Company, Inc.

Leder, G and Grootenboer, P. (2005), Affect and mathematics education. Mathematics

Education Research Journal, 17(2), 1-8.

Maksimović, S. and Boroja, I. (2016), The Importance of Preparation Classes for Taking the

University Entrance Examination in Mathematics at the Faculty of Electrical Engineering,

University of Banja Luka, IMVI Open Mathematyical Education Notes, 6(1), 5-18.

Niss, M. (1993), Investigations into Assessment in Mathematics Education, An ICMI Study.

Netherlands: Kluwer Academic Publishers.

Preradović, LJ., Antunović, B. and Kosić-Jeremić, S. (2013), The effects of university entrance

preparation courses at the Faculty of Architecture, Civil Engineering and Geodesy in the

academic year 2012/13, Proceedings of the National Conference with International

participation, Businees Process Reengineering in Education (pp. 412-420). Čačak, Serbia:

Faculty of Technical Sciences in Čačak.

Романо, Д.А. (2009), О геометријском мишљењу, Настава математике (Београд), LIV

(2-3), 1-11

Романо, Д.А. (2009a), Шта је алгебарско мишљење? MAT-KОЛ (Бања Лука), XV(2)(2009),

19-29

Romano, D.A. (2009б), Teorija van Hieleovih o razumijevanju geometrije; Metodički obzori

(Pula), Vol. IV (1-2), No. 7-8, 95-103

Романо, Д.А. (2010), Шта знамо о математичком мишљењу, MAT-KОЛ (Бања Лука),

Посебна издања, Број 13(2010), B5, 5-82 pp

http://upetd.up.ac.za/thesis/available/etd-01202009-163129/

http://tsg.icme11.org/document/get/554




14

Романо, Д.А. (2013), Резултати пријемног испита на Машинском факултету у Бањој Луци,

одржаног 02.07.2012. MAT-KOL (Banja Luka), XIX (2), 15-19

Романо, Д.А. (2014), Анализа резултата пријемног теста из математике на Машинском

факултету у Бањој Луци одржаног 01.07.2013. IMO – Истраживање математичког

образовања, Вол. VI (2014), Број 10, 5-24

Romano D. A. (2014а), The use of mathematical tasks design to establish development of

students' mathematical thinking by an admission exam at Faculty of Mechanical

Engineering of the Banja Luka University, IMVI Open Mathematical Education Notes,

Vol. 4, 19-29

Романо, Д.А. (2015), Један примјер дизајна задатака у утврђивању математичких умијећа,

Нова школа (Бијељина), 10(1), 18-37

Романо, Д.А. (2016), Процјена квалитета модела математичких задатака при тестирању

кандидата (одржано 29.06.2015.) за упис на Машински факултет Универзитета у

Бањој Луци; MAT-KOL (Banja Luka), XXII (1), 27-44

Romberg, T.A. (1992), Mathematics Assessment and Evaluation, Imperatives for Mathematics

Educators, State University of New York.

Smith, G. H., Wood, L. N., Crawford, K., Coupland, M., Ball, G., & Stephenson, B. (1996),

Constructing mathematical examinations to assess a range of knowledge and skills,

International Journal of Mathematical Education in Science and Technology, 27(1), 65-77.

Stenmark, J.K. (1991), Mathematics assessment: Myths, Models, Good questions and practical

suggestions. Reston, VA: National Council of Teachers of Mathematics.

Стевановић, С., Црвенковић, С. и Романо, Д.А. (2014), Један примјер анализе

аритметичког и рано-алгебарског мишљења: Иновације у настави (Београд), 27(1),

118-134

Wiggins, G. (1989), A true test: toward more authentic and equitable assessment. Phi Delta

Kappan, 70(9), 703-713.

Yackel, Е. and Cobb, P. (1996), Sociomathematical norms, argumentation, and autonomy in

mathematics. Journal for Research in Mathematics Education, 27, 458-477.

Abstract. In this paper, we give our reflections on the comparative assessment of the quality of

math problems in the testing of candidates who applied for admission to the Faculty of

Mechanical Engineering in Banja Luka in the period 2012-2015. Models used estimate

significance of mathematical tasks are standard assessment such as Bloom's, SOLO, AT and

MATH taxonomies. In addition, we also used a numerical model analogous to Huntly model.

Key words and phrases: Mathematics assessment, quality index

AMS Subject Classification (2010): 97A40, 97B70

ZDM Subject Classification (2010): A40, B70

Documents

Д. А. Романо: Компаративна процјена сигнификантности математичких задатака при тестирању кандидата