Primjena Meta Analize u Pedagogiji

Rad je predstavljen na međunarodnoj naučnoj konferenciji u Mostaru pod naslovom: Suzić, N. (2008). Primjena meta-analize u pedagogiji. Mostar: Fakultet prirodoslovno-matematičkih i odgojnih znanosti Sveučilišta u Mostaru.

Prof. dr Nenad Suzić Filozofski fakultet Banja Luka

PRIMJENA META-ANALIZE U PEDAGOGIJI

Rezime

U radu se razmatra niz pitanja značajnih za praktičnu primjenu meta-analize u peda-gogijskim znanostima. Na početku je data kratka historija korištenja meta-analize, zatim slijedi prikaz situacija u kojima je meta-analiza najpogodnija kao metodološki set postupaka za analizu pedagogijske prakse zahvaćene istraživanjima koja se uzimaju u meta-analitičku obradu. Kratko su date prednosti i nedostaci meta-analize a potom autor prelazi na identifi-ciranje istraživanja i podataka podesnih za meta-alaitičku obradu u pedagogiji. U daljem tekstu date su relacije među varijablama u meta-analitičkom dizajnu, od centralnih tendencija u jednoj varijabli, preko relacija među dvjema varijablama, te udruživanjae varijabli do multivarijantnih relacija. Autor se posebno bavi veličinom efekta (Effect Size, ES) aplicirajući ovaj parametar na razlike i podudarnosti među analiziranim studijama ili veličinama. Obra-zloženo je kako interpretirati ES parametre u odnosu na metričke koeficijente upotrijebljene u obradi studija i nalaza, kako postići metodološku adekvatnost i koristiti pravila u interpretaciji nalaza kako bi se izbjegle greške generalizacije. Sve u svemu, rad predstavlja kratak ali vrlo konkretan uvod u praktičnu primjenu meta-analize u pedagogijskim znanostima.

Ključne riječi: meta-analiza, Veličina efekta (ES), Hedžisov g, metodologija

APPLICATION OF META-ANALYSIS IN PEDAGOGY

Summary

This paper considers a number of issues which are important for practical application of meta-analysis in pedagogical sciences. At the beginning there is a short history of application of meta-analysis, then the presentation of situations in which meta/analysis is the most appropriate as a methodological set of procedures for the analysis of pedagogical practice included in research and which are taken in meta-analysis processing. The advantages and disadvantages of meta-analysis are presented briefly, and then the author proceeds to the identification of research and data which are suitable for meta-analytical processing in pedagogy. Further on, the relations between variables in meta-analytical design are given, form central tendencies in one variable, through relations between two variables, and pairing variables up to multivariate relations. The author especially addresses the Effect Size (ES) by applying this parameter to differences and matches between the analyzed studies and sizes. It has been explained how to interpret ES parameters in relation to metric coefficient used in processing studies and findings; how to achieve methodological adequacy and to use rules fro the interpretation of findings; and how to avoid mistakes of generalizations. Altogether, the paper presents a short, but very concrete introduction to practical application of meta-analysis in pedagogical sciences.

Key words: meta-analysis, Effect Size (ES), Hedges g, methodology


1

Prof. dr Nenad Suzić Filozofski fakultet Banja Luka

PRIMJENA META-ANALIZE UPEDAGOGIJI

Kratka povijest meta-analize

Polovinom dvadesetog stoljeća Hans Eysenck je razvio burnu debatu argumentirajući da psihoterapija ne daje znatnije efekte u liječenju pacijenata (Eysenck, 1952). U dva naredna desetljeća pojavilo se više stotina studija u kojima se dokazuje afirmativna, negativna i nul-hipoteza o efektima psihoterapije. Godine 1977. Gene Glass statistički standardizira 375 psihoterapijskih studija zajedno sa Mary Lee Smith i dokazuje da je psihoterapijazaista efi-kasna (Smith and Glass, 1977). Ovaj postupak Glass je nazvao „meta-analizom“. Uslijedile su kritike bazirane na činjenici da je Glass poredio nalaze različitih terapija, kognitivističke, psihoanalitičke, geštalt i druge pristupe. Glassov odgovor je bio vrlo logičan; objasnio je da je cilj njegove meta-analize bio da utvrdi da li su terapijske tehnike efikasne ili ne, a ne da poredi terapijske pristupe međusobno (Smith and Glass, 1980). Nedugo nakon toga pojavljuju se prvi udžbenici meta-analize.

Eysenckova prva reakcija na pojavu meta-analize bila je vrlo oštra. Ovaj pristup on naziva „gimnastikom mega-gluposti“ (Eysenck, 1978). Uprkos protivljenju Eysencka i mnogih teore-tičara, meta-analiza je danas široko prihvaćena. Krajem dvadesetog i početkom dvadesetprvog stoljeća mogli smo prepoznati određenu razinu fetišiziranja ili euforije oko meta-analize. Pregledom svjetski poznatih časopisa koji se distribuiraju na svih pet kontinenata lako ćemo konstatirati da većina istraživanja bazira svoju metodologiju na meta-analitičkim statisticima. Sličnu euforiju imali smo sedamdesetih i osamdesetih godina dvadesetog stoljeća oko faktorske analize. Danas je jasno da ta euforija nije bila opravdana iako faktorskoj analizi možemo zahvaliti Eysenckovu dimenzionalnu tipologiju ličnosti (Eysenck, 1972) i Cattellovu faktorsko-analitičku teoriju ličnosti (Cattell and Gibbon, 1968; šire kod: Fulgosi, 1981). U pedagogiji ne možemo izdvojiti neke kapitalne doprinose koje bismo zahvalili faktorskoj analizi, ali možemo pronaći ogroman broj istraživanja koja ne bi bila tako kvalitetna bez ove statistike. Poseban njen značaj danas imamo u izradi i baždarenju kvalitetnih instrumenata za pedagoška mjerenja.

Nastala u psihijatriji i psihologiji, meta-analiza danas polako ali sigurno zauzima svoje mjesto i u drugim socijalnim i društvenim znanostima. Slično faktorskoj analizi, meta-analiza nije opravdala euforiju sa početka XXI stoljeća, ali je već danas izvjesno da meta-analitički izvedeni statistici imaju izuzetno značajnu ulogu u socijalnim i pedagoškim znanostima. Kako definirati ovu sintagmu? Termin meta-analiza odnosi se na poređenje kvantitativnih poka-zatelja dobijenih različitim istraživanjima obavljenim na istu temu tako što meta-analitičar postavlja jasne kriterijume za odabir uzorka istraživanja, izvodi sparive elemente za izračuna-vanje veličine efekta i druge statistike potrebne za generalizacije na zadatu temu. Radi se o survey pristupu u čijem uzorku su istraživanja, a ne osobe. Naime, broj subjekata obuhva-ćenih u pojedinačnim istraživanjima znatno utiče na veličinu efekta (Effect Size, ES) koji se izvodi kao obračunski statistik u meta-analizi, ali se ova analiza ne izvodi iz pojedinačnih rezultata koje ostvaruju subjekti, osobe ili pojedinci u pojedeinim istraživanjima.


2

Pedagoške situacije u kojima je meta-analizu moguće aplicirati

U meta-analizi istraživač pregleda više istraživanja obavljenih na istu temu a zatim traži

sparive elemente u tim istraživanjima. Te elemente pažljivo kodira u skladu sa zajedničkim karakteristikama ili obilježjima. Kodirane elemente koji zadovolje postavljene kriterijume istraživač dalje podvrgava statističkoj obradi primjenjujući adekvatan meta-analitički pos-tupak.

Da bi meta-analiza bila aplicirana u pedagogiji nužno je imati u vidu nekoliko preduvjeta: 1) Meta-analiza se primjenjuje samo na empirijske istraživačke studije. Ona se ne moža

primijeniti na teoretske radove, na teoretske projekcije i opservacije. 2) Ova analiza se može aplicirati samo na kvantitativne nalaze. Ne može se primijeniti na

studije slučaja, etnografska i druga kvaloitativna istraživanja. 3) Ovo je tehnika za kodiranje i ukrštanje, odnosno za analizu statističkih nalaza više

međusobno usporedivih istraživanja iz kojih možemo izvesti novu generalizaciju, novi zaključak. Ona se ne koristi u slučaju da podaci neposrednih istraživanja sami za sebe dovoljno govore.

Da bi rezultati različitih pedagoških istraživanja bili podvrgnuti meta-analitičkim statistič-kim postupcima, nužno je ispuniti još dva statistička preduvjeta: 1) podaci pojedinih istraživa-nja međusobno moraju biti usporedivi, tj. fundirani na istim konstruktima i odnosima i 2) po-daci moraju biti konfigurirani u podudarnoj statističkoj formi. Na primjer, niz istraživanja o efikasnosti nastavnih metoda i postupaka možemo porediti samo ako imamo sparive podatke međusobno statistički kompatibilne. Konkretno, ako je, na primjer, mjerena aktivnost učenika na časovima tradicionalne nastave u odnosu na časove na kojima je dominiralo interaktivno učenje, meta-analiza će biti opravdana ako su primijenjeni instrumenti mjerili intenzitet aktiv-nosti učenika i nastavnika i ako su mjere date kvantitativno. Ako imamo dovoljno uporedivih studija ili istraživanja, moći ćemo zaključiti da su učenici na časovima interaktivnog učenja bili aktivniji bez obzira na to koji nastavnik je izvodio te časove – naravno, ukoliko meta-analiza to pokaže. U našim uvjetima najteže će biti prikupiti dovoljan broj sparivih istra-živanja.

Kao svaka druga metoda, meta-analiza može privući mladog istraživača i navesti ga na pogrešku neadekvatnog poređenja. Na primjer, motivaciju postignuća (McClelland, 1955; Heckhausen, 1963; Skowronek, 1970; Tiedemann, 1977) ne možemo zajedno sa motivacijom flou-doživljaja (Csikszentmihalyi, 1990; 1997) uzeti u meta-analitičku obradu ako nas zanima samo postignuće kao izvor motivacije učenika iako se u oba slučaja radi o motivaciji i moti-vima učenika. Ako bismo tragali za odgovorom na pitanje da li motivacija u nastavi postoji i u kom intenzitetu, bez obzira na vrstu i izvor motiva, tada bi meta-analiza bila opravdana pri sparivanju istraživanja baziranih na različitim izvorima motivacije. „Generalno nije podesno kombinirati nalaze studija izvedene iz različitih istraživačkih dizajna i obrađene različitim statističkim modelima, čak u slučaju da se radi o istoj temi“ (Lipsley and Wilson, 2001, str. 2). U nedostatku sparivih istraživanja bolje je ostati na izvornim nalazima pojedinačnih istra-živanja nego pošto-poto „kalemiti“ meta-analitički istraživački dizajn.

Ponekad će se desiti, kao u prethodnom primjeru sa motivacijom, da imamo više nespari-vih istraživanja na istu temu. U tom slučaju uputnije je raditi dvije meta-analize, a zatim porediti njihove nalaze na višoj razini općenitosti. Generalno gledano, u pedagoškoj primjeni meta-analize od esencijalnog značaja je to da istraživač ima vrlo jasno definiran problem


3

istraživanja a zatim racionalu na osnovu koje uključuje i isključuje istraživačke studije koje podvrgava meta-analizi.

Veličina efekta u pedagoškim problemima

Veličina efekta (Effect Size, ES) je statistik koji zahvata kritične kvantitativne informacije obrađene tako da predstavljaju mjeru po kojoj možemo porediti nalaze različitih istraživanja. Ako na jednoj hrpi imamo narandže, na primjer, a na drugoj mandarine i želimo saznati koli-ko soka možemo dobiti iz narandži i mandarina, to nećemo suditi na osnovu veličine ploda. U više mjerenja možemo ustanoviti koliko soka daje kilogram narandži, a koliko daje kilogram mandarina. Sada možemo izvesti dva indeksa vezana za narandže i mandarine, međusobno spariva. Jednostavnije rečeno, tri narandže mogu dati jednaku količinu soka kao šest manda-rina. Radi se o veličini efekta. U našem slučaju to bi bila količina soka po kilogramu voća. Po-stoje brojni pedagoški primjeri u kojima potrebujemo upravo ovakve veličine. Na primjer, ako smo različitim instrumentima mjerili intenzitet aktivnosti učenika na časovima nastave, sparivanjem možemo porediti veličinu efekta na časovima interaktivne u odnosu na časove tradicionalne nastave. U tom slučaju će meta-analiza biti potpuno opravdana uz pretpostavku da smo izveli adekvatne ES pretpostavke. Kako dobiti ovu ES veličinu?

Veličinu efekta (ES) izvodimo na više načina. Osnovno načelo prikazaće sljedeći primjer. Ako je jedno istraživanje pokazalo da postoji razlika između eksperimentalne i kontrolne grupe od 0,30 standardnih devijacija u korist aktivnosti učenika E-grupe, a drugo istraživanje, uz primjenu drugačijih mjernih instrumenata, pokazalo 0,42 standardne devijacije u korist E-grupe, jasno je da možemo naći zajedničku mjeru učinka i veličinu efekta (ES). Za ova izračunavanja postoje razrađeni statistički obrasci (Hedges and Olkin, 1985; Rosenthal, 1987; Smith and Glass, 1977). Ovi obrasci su izvedeni prema statističkim veličinama na kojima se baziraju: na proporcijama, odnosno broju jedinica u uzorku, na kvadratnom testu uzorka ili 2c

testu, na razlikama aritmetičkih sredina ili t-vrijednostima, na korelacijama (konkretnije: Suzić, 2007). Veličina efekta zavisi od veličine uzorka i statističke veličine konkretnog para-metra (npr. korelacije) izračunate u istraživanju. Može se desiti da manja razlika aritmetičkih sredina izračunata na velikom uzorku ima veću veličinu efekta od veće razlike aritmetičkih sredina izračunate na malom uzorku. Radi se o veličinama koje dovodimo u vezu tako da saznajemo ognose među pojavama, smjer njihovod djelovanja i rasprostiranja, zakonomjer-nost u pedagoškim učincima i slično.

Istraživač meta-analitičar koristi veličinu efekta tako da obezbijedi odgovarajuću standar-dizaciju za svaki pojedini istraživački dizajn, od kvantitativnih nalaza izraženih u frekven-cijama do nalaza dobijenih ukrštanjem varijabli. Niz studija koje uzima u uzorak meta-analitičar klasira odvajajući one koje može vezati u buket vlastitog uzorka. Postoji veći broj statistika baziranih na veličini efekta, ali samo nekoliko njih je u široj upotrebi.

Prednosti i slabosti meta-analize

Da bismo adekvatno koristili meta-analizu u pedagogiji, nužno je razmotriti njene dobre i loše strane. Ovo je važno i zbog toga što smo nedavno imali period euforije oko meta-analize. Razmotrimo neke njene prednosti.

Prvo, radi se o survey pristupu koji ne mijenja pedagošku praksu, ne varira ništa u pedagoškoj stvarnosti tako da ne postoji rizik greške kao što je to slučaj kod pedagoškog


4

eksperimenta. Istraživanja su već obavljena a meta-analitičar izvodi relevantne zaključke na osnovu sparivih i statistički obradivih komponenata.

Drugo, meta-analiza omogućuje da sagledamo prednosti i slabosti pojedinih istraživanja koje smo uzeli u obradu. "Poredeći rezultate različitih istraživanja eksplicitno i sistematično, korisnik može procijeniti hipoteze, procedure, dokaze i zaključke različitih autora, umjesto da se bori oko toga da li je zaključak pojedinog istraživanja validan" (Lipesy and Wilson, 2001, str. 6). Kada uspostavimo jasne kriterijume valorizacije pojedinih istraživanja, nakon poređe-nja imaćemo jasnu sliku o tome koja istraživanja imaju date kvalitete a koja nemaju.

Treće, u meta-analitičkom dizajnu imamo sofisticiranu metodologiju koja omogućuje da najvažnije istraživačke spoznaje tokom određenog vremenskog perioda tako da meta-analiza kompenzira longitudinalna istraživanja koja su često vrlo složena i skupa.

Četvrto, meta-analiza omogućuje da izračunamo odnose koje ne možemo dobiti drugim statističkim i metodološkim postupcima. Sistematskim teorijskim proučavanjem većeg broja istraživanja i kvalitativnom analizom ne možemo dobiti to što nam omogućuju meta-anali-tička izračunavanja iako kvalitativna analiza slijedi nakon meta-analitičke statistike.

Peto, veličina efekta koju izvodimo za pojedine studije dobija na značaju s obzirom na uzorak i ostvareni učinak tako da možemo uočiti značaj doprinosa pojedinih studija koji ne bismo mogli uočiti na drugi način. Na primjer, možemo iz 500 studija izdvojiti 100 koje se slažu, a zatim među njima uočiti one koje imaju poseban značaj i ostvaruju poseban doprinos razjašnjavanju teme odnosno doprinose da odgovorimo na istraživačko pitanje. Isto tako, meta-analizu možemo primijeniti na manjem broju studija te dobiti nalaze vrijedne kao pri obradi većeg broja studija.

Pored navedeni prednosti, meta-analiza ima i određeni broj slabosti koje je nužno razmotriti kako bismo dobili cjelovitu sliku o ovom pristupu.

Prva i najistaknutija slabost meta-analize je u tome što kvalitet istraživanja ovisi od meta-analitičara, od istraživača. Radi se o složenoj i osjetljivoj statističkoj i metodološkoj aparaturi koja podrazumijeva da istraživač odlično poznaje pedagošku metodologiju i meta-analitičke obrasce. "Mnogi aspekti meta-analize zahtijevaju specijalističko znanje, posebno pri selekciji i izračunavanju odgovarajuće veličine efekta i pri primjeni statističke analize na tu veličinu" (ibidem, str. 7). Kada jedan meta-analitičar izvede svoja izračunavanja i zaključke na osnovu njih, drugi meta-analitičari teško mogu otkriti grešku ukoliko ona postoji.

Druga slabost meta-analize je u njenom mehaničkom karakteru. Naime, i pored dobrog odabira studija, i pored jasnog kodiranja elemenata veličine efekta, neke aplikacije meta-ana-lize mogu zanemariti socijalni kontekst, metodološki nivo, teorijski okvir i druge značajne specifičnosti pojedinačnih istraživanja uzetih u razmatranje. Na primjer, pojedina pedagoška istraživanja su tako dizajnirana da navode na razmišljanje, više na postavljanje pitanja nego na finalnu dedukciju. U takvom slučaju meta-analiza može ugroziti ovu otvorenost mije-šanjem sa drugim deduktivnim studijama.

Treća slabost meta-analize je u mogućnosti da pomiješamo kruške i jabuke. Ovdje se radi o pojavi koju poznajemo i kod testova inteligencije. Poznato je da 100 IQ jedinica jednog čovjeka nije isto što i 100 IQ jedinica drugog. Kod jednog će ovaj indeks sadržavati više logičko numeričkog faktora, a kod drugog verbalno lingvističkog. Tako dvije stotice nisu međusobno jednake iako statistički imaju istu vrijednost. Slično je i kod meta-analize. Na primjer, dvije studije koje se bave problemom izostanaka učenika sa nastave mogu tretirati različite osnove ovakvog ponašanja učenika. U jednom istraživanju instrument je, recimo, mjerio vrednovanje školskog učenja i nastavnog predmeta, a u drugom stavove učenika o


5

nastavniku. Meta-analizom možemo izvesti veličinu efekta koja se odnosi na izbjegavanje nastave, ali u osnovi ove veličine biti će dva uzroka ponašanja učenika. Ipak, ovaj nedostatak se može kompenzirati istraživačevim oprezom i suptilnom interpretacijom nalaza dobijenih meta-analizom.

Četvrta slabost meta-analize je u tome što izvođenje zajedničkih numeričkih pokazatelja može zasjeniti ili prigušiti niz korisnih spoznaja koje su nastale u pojedinačnim istraživanji-ma. Ako se ispostavi da je jedna od studija u meta-analitičkom uzorku najbliža modelu koji je istraživač odabrao iz udžbenika, velika šansa je da rezultati upravo te studije postanu najzna-čajniji u meta-analitičkom izračunavanju. "Mnoge sfere istraživanja, specijalno one koje se odnose na odabranu temu, omogućuju virtualnu, ali ne i idealnu analizu najbližu standardu postavljenom u udžbeniku, tj. analizu koja nije reprezentativna za ono što meta-analitičara najviše interesira" (Lipesy and Wilson, 2001, str. 9). Da bi prevazišao ovu slabost, meta-analitičar mora imati vrlo visok senzibilitet za specifičnu težinu pojedinih studija uzetih u uzorak, mora adekvatno procijeniti podesnost udžbeničkog modela za izvođenje veličine efekta te imati vrlo kritičan i otvoren duh za adekvatno interpretiranje nalaza meta-analize.

Kriterijumi za izbor studija

Jedno od krucijalnih pitanja meta-analize je kako odabrati istraživanja koja ćemo uključiti u obradu. Ovi kriterijumi ovise od teme istraživanja, ali postoje i univerzalni osnovi za uklju-čivanje istraživanja u meta-analitički uzorak. Takvi kriterijumi su: a) svojstva po kojima kva-lificiramo studije podesne za meta-analitičku obradu, b) sparivost karakteristika ispitanika u pojedinačnim studijama, c) usporedivost ključnih varijabli, d) kompatibilnost istraživačke me-todologije, e) kulturna i jezička ujednačenost, f) vremenska usaglašenost i g) tip publikacije (ibidem, str. 16). Ovih sedam kriterijuma za izbor studija u meta-analitičkom dizajnu, odnosno za formiranje uzorka, ovdje ću obrazložiti na jednom konkretnom pedagoškom problemu kako bi bilo jasno o čemu se radi.

Pretpostavimo da meta-analizom želimo tretirati različite programe koji su imali za cilj da kod učenika poboljšaju razinu vrednovanja školskog učenja, pojačaju odgovornost i partici-paciju u nastavi. U jednom takvom programu naći ćemo da su ključni aspekti eksperimental-nog programa bili pedagoška funkcija nastavnika u moralnom samoodgoju učenika te aktivnost i koedukacija učenika u moralnom odgoju (Peašinović, 1976), u drugom ćemo naći sljedeće programske komponente: stavovi o društvenim odnosima, stavovi o učenju i radu, slika o sebi, humani odnosi među polovima i zdravstvena i ekološka svijest (Сузић, 1994). Treći program će imati neke druge programske komponente. Ako počbemo sparivati pro-gramske komponente, ništa neće biti od naše meta-analize. Moramo se vratiti na pitanje koje nas prioritetno zanima, a to je: nivo vrednovanja školskog učenja, odgovornost i participiranje učenika u nastavi. Na osnovu veličine efekta saznaćemo koji su programi dali najviše efekata na ovom planu. Sada možemo početi formirati uzorak.

Pošto je formiranje uzorka izuzetno značajno u meta-analizi, ovdje je potrebno pozabaviti se svakim kriterijumom pojedinačno.

a) Svojstva po kojima kvalificiramo studije podesne za meta-analizu su u našem primjeru vrlo jednostavna. Prvo, studija ili istraživanje mora da se bavi poboljšanjem razine vredno-vanja školskog učenja te podizanjem odgovornosti i participiranja učenika u nastavi. Drugo, izmjereni učinak eksperimentalnog programa mora biti iskazan u statističkim veličinama podesnim za izvođenje ES-parametara.


6

b) Sparivost karakteristika ispitanika u pojedinim studijama podrazumijeva određenu razinu kontinuiranosti uzorka. Ta znači da nećemo moći porediti rezultate ostvarene na uzorku osnovne škole i penzionera. Moramo odrediti dobni interval: uzrast osnovne ili uzrast srednje škole, odnosno studentska populacija.

c) Usporedivost ključnih varijabli znači da pojedinačna istraživanja uzeta u uzorak moraju imati najmanje jedan kvantitativni elemenat koji se odnosi na isti ishod testiranog programa. Na primjer, efikasnost poboljšanja vrednovanja razine školskog učenja iskazana aritmetičkom sredinom ili proporciju, odnosno smanjenje broja izostanaka učenika sa nastave.

d) Kompatibilnost istraživačke metodologije podrazumijeva da su studije u uzorku mjerile efikasnost programa i da su te mjere metodološki validne. Ukoliko se u jednoj studiji radilo o eksperimentalnom dizajnu, a u drugoj o mjerenju učinka inoviranog programa na osnovu inicijalno-finalnih razlika, vjerovatno ćemo moći naći sparive elemente mjerenja. Ali ako je u trećoj studiji ostvareno samo survey snimanje, vjerovatno je da ovu treću studiju nećemo moći uvrstiti u naš uzorak. Ukoliko neka od studija nema bazne podatke za izračunavanje ES, ni nju nećemo moći uključiti u naš uzorak. "Najveće izuzimanje imaće nalazi izvedeni multivarijantnom analizom, faktorskom analizom, modelima strukturalnih jednadžbi i slično" (Lipsey and Wilson, 2001, str. 16).

e) Kulturna i jezička ujednačenost podrazumijeva da u obzir uzmemo studije među čijim ispitanicima nema značajnih jezičkih i kulturoloških razlika i zapreka za izvođenje generali-zacija. Ponekad se radi o zaprekama koje nastaju usljed prevođenja studija sa različitih govornih područja.

f) Vremenska usaglašenost studija odnosi se na kontinuitet perioda u kome se porede nalazi istraživanja. Na primjer, u našim uvjetima to bi se moglo odnositi na period samoupravljanja kada su bili ustanovljeni drugačiji ciljevi odgoja i obrazovanja. Ovo se, ipak, ne odnosi na sve pedagoške fenomene, posebno ne na one koji ne ovise od društvene paradigme u kojoj se odgoj ostvaruje. Bilo bi moguće meta-analitički porediti period samoupravljanja sa vremenom tranzicije koje je uslijedilo nakon samoupravljanja.

g) Tip publikacije je izuzetno značajan kriterijum za odabir studija koje ćemo uvrstiti u meta-analizu. Ovo posebno vrijedi za publikacije koje imaju i one koje nemaju recenzije, kao i za objavljene u odnosu na neobjavljene publikacije. Jasno je da će radovi objavljeni sa recenzijama imati prednost.

Ukoliko se desi da neka studija u cjelini ne zadovoljava svih sedam kriterijuma, možemo je razložiti u dijelove, a zatim uzeti samo onaj dio koji zadovoljava kriterijume meta-analize.

Selekcija, kodiranje i računanje ES-statistika

Kritičan i odlučujući korak u meta-analizi je kodiranje mjera ili veličina koje će u nume-ričkoj formi imati takav univerzalni koncept da međusobno budu usporedive. Na primjer, proporcija osoba u uzorku koje imaju datu karakteristiku može biti baza za izračunavanje ES. Veličina efekta se izvodi ovisno od toga da li mjerimo promjene i odnose unutar jedne, dvije, tri ili više varijabli. Ovdje mi prostor ne dozvoljava da detaljno izložim sve obrasce i postupke njihove primjene, zato ću jasno i pregledno dati samo obrasce za izvođenje ES iz proporcije uzorka i aritmetičke sredine. Ostale obrasce neću ovdje izvoditi, ali elementarne osnove za njihovo izvođenje dajem u tabelama.


7

Razmotrimo prvo promjene unutar jedne varijable, poznatije kao mjere centralne tenden-cije. Radi se o frekvencijama, proporcijama, aritmetičkoj sredini, medijanu, modu, sumama i drugim veličinama koje nam mogu pokazati promjene unutar jedne varijable. Konkretnije, u našem primjeru možemo konstatirati koliko učenika je značajno poboljšalo vrednovanje školskog učenja zahvaljujući djelovanju eksperimentalnog programa. Ovu proporciju uzeće-mo kao osnovu ES-statistika u svim istraživanjima koje smo uzeli u uzorak. Kako izračunati ES na osnovu proporcija? Prvi uvjet je da ostvarene proporcije statistički svedemo na vrijednosti koje se rasprostiru od 0,00 do 1,00. Dva su statistička puta ovdje moguća: jedan je računanje direktno iz proporcija, a drugi putem logaritama. Ovdje ću se zadržati na direktnom računanju iz proporcija.

Uz izračunavanje ES (Effect Size) ili veličine efekta potrebna su nam još dva statistika; SE (Standard Error) – standardna greška veličine efekta i w (weight) – inverz varijanse veličine efekta. Uz obrasce za izračunavanje svakog od ovih statistika daću i tumačenje šta oni predstavljaju.

Izračunavanje ES iz proporcije uzorka

Počnim od obrasca za izračunavanje ES iz proporcije uzorka.

n

kpES p = (Formula 1; Lipsey and Wilson, 2001, str. 39)

Pri čemu su:

pES = Veličina efekta gdje malo p ukazuje na to da se radi o proporciji da se ES računa iz proporcije

P = Proporcija k = Broj ispitanika sa obilježjima koje sparujemo, u našem primjeru to su samo oni učenici koji su značajno

poboljšali vrednovanje školskog učenja n = Broj ispitanika u uzorku, tj. broj subjekata u pojedinačnom, odnosno konkretnom istraživanju

Dobili smo veličinu ES svedenu na omjer koji će uvijek biti između 0,00 i 1,00. Ukoliko bi svi učenici u uzorku pojedinačnog istraživanja značajno poboljšali vrednovanje školskog učenja, tada bi pES iznosila jedan, a sve veličine ES izračunate sa manim brojem od 100%

učenika biće manje od 1,00.

Standardnu grešku veličine efekta (SE) računamo obrascem:

n

ppSE p

)1( -= (Formula 2; Lipsey and Wilson, 2001, str. 39)

Pri čemu su:

pSE = Standardna greška veličine efekta gdje malo p označava proporciju, odnosno ukazuje na to da se

računa iz proporcije P = Proporcija n = Broj ispitanika u uzorku, tj. broj subjekata u pojedinačnom, odnosno konkretnom istraživanju

Zašto nam je potrebna standardna greška veličine efekta kad već imamo ES? Ako direktno računamo odnose iz ES obrasca, imaćemo problem sparivanja ovih statističkih vrijednosti. Naime, uzorak u kome je ispitano 30 subjekata a zatim izračunat ES-statistik zauzeće ravno-pravan odnos sa ES izvedenim iz uzorka u kome je ispitano 500 subjekata, što svakako nije opravdano. Hedges i Olkin su pokazali da optimalna veličina efekta nora biti bazirana na standardnoj greški ove veličine (Hedges and Olkin, 1985). Standardna greška veličin eefekta


8

(SE) se izvodi kao i standardna devijacija proporcije uzorka. Ovu grešku računamo obavezna kada je direktna ES (Formula 1) vrijednost manja od 0,2 ili veća 0,8, a u intervalu od 0,2 do 0,8 opravdano je koristiti direktni obrazac za izračunavanje ES (Formula 1), posebno ako su uzorci u istraživanjima koje analiziramo približne veličine.

Inverz veličine varijanse (w) računamo sljedećim obrascem:

)1(

12 pp

n

SEw

p

p-

== (Formula 3; Lipsey and Wilson, 2001, str. 39)

Pri čemu su:

pw = Inverz veličine varijanse gdje malo p označava proporciju, odnosno ukazuje na to da se računa iz

proporcije

pSE = Standardna greška veličine efketa (iz Formule 2)

n = Broj ispitanika u uzorku, tj. broj subjekata u pojedinačnom, odnosno konkretnom istraživanju p = Proporcija

Zašto nam treba inverz veličine varijanse, w? Prvi razlog je to što veća standardna greška

(SE) korespondira sa manjom preciznošću veličine efekta (ES) tako da je inverzom dovodimo u okvir u kome lakše uočavamo granice preciznosti.

Izračunavanje ES iz aritmetičkih sredina

Pretpostavimo da u našem primjeru imamo aritmetičke sredine na skali vrednovanja školskog postignuća izmjerene u različitim školama od različitog broja učenika. Zanima nas kako ujednačiti ove aritmetičke sredine, odnosno kako im izvesti zajedničku "specifičnu sredinu" po kojoj se one mogu porediti. Radi se o varijacijama unutar iste varijable, u okviru vrednovanja školskog postignuća.

Obrazac za izračunavanje ES iz aritmetičkih sredina je sljedeći:

n

xiMESm

å== (Formula 4; prema: Lipsey and Wilson, 2001, str. 41)

Pri čemu su:

mES = Veličina efekta gdje malo m obilježava aritmetičku sredinu (mean), odnosno ukazuje na to da se ES

računa iz aritmetičke sredine

M = Aritmetička sredina (Mean)1

å xi = Suma individualnih skorova testiranih subjekata gdje se pod i podrazumijeva i= 1

do n n = Broj ispitanika uzetih u obzir pri izračunavanju aritmetičke sredine Ovim obrascem izveli smo ESm iz pojedinih aritmetičkih sredina i on je uporediv sa

drugim ES-statisticima samo ako je testirani broj ispitanika u uzorcima jednak, ali, podsjetimo se, u našem primjeru imamo različit broj učenika po školama. Sada nam treba standardna greška veličine efekta aritmetičkih sredina kako bismo uklonili nesrazmjeru nastalu ispitiva-njem različitog broja učenika po školama.

1 U Formuli 4 simbol X

- zamijenio sam simbolom M zato što se danas na računarima simbol M koristi kao

univerzalna oznaka za aritmetičku sredinu, iako X-potez označava isto.


9

Kako se računa SEm, standardna greška veličine efekta aritmetičkih sredina? Obrazac je sljedeći:

n

sSEm = (Formula 5; Lipsey and Wilson, 2001, str. 41)

Pri čemu su:

SEm = Standardna greška veličine efekta aritmetičke sredine gdje malo m ukazuje na to da se radi o aritmetičkoj sredini

s = Standardna devijacija n = Broj ispitanika uzet u obzir pri izračunavanju aritmetičke sredine Ukoliko je broj ispitanika u istraživanjima koja podvrgavamo meta-analizi različit, nužno

je da izračunamo SEm kako bi veličine efekta aritmetičkih sredina (ESm) bile usporedive, ali još uvijek nam treba inverz standardne greške veličine efekta aritmetičke sredine (w). Zašto?

Prvo ćemo vidjeti kako se ovaj inverz računa.

Obrazac za izračunavanje inverza standardne greške veličine efekta aritmetičke sredine (w) je sljedeći:

22

1

s

n

SEw

m

m == (Formula 6; Lipsey and Wilson, 2001, str. 41)

Pri čemu su: wm = Inverz standardne greške veličine efekta aritmetičke sredine g dje malo m ukazuje na

to da se radi o aritmetičkoj sredini SEm = Standardna greška veličine efekta aritmetičke sredine (iz Formule 5) s = Standardna devijacija Inverz standardne greške veličine efekta aritmetičke sredine (w) omogućuje nam da pore-

dimo više istraživanja različitih po broju ispitanika, po eksperimentalnim programima s obzirom na mjere po kojima su aritmetičke sredine izračunate, naravno, uz pretpostavku da ne odstupamo od principijelnih pretpostavki za meta-analitičko sparivanje veličina.

Izračunavanje ES iz odnosa između dvije varijable

U prethodnim statističkim obrascima, odnosno formulama prikazao sam samo najjedno-stavnije načine za izračunavanje veličine efekta (ES) i to samo u okviru analize promjena koje se odnose na jednu varijablu. Navedene formule moguće je izvesti u logaritamskoj formi (Lipsey and Wilson, 2001) što bitno olakšava izračunavanje.

Ovdje mi prostor ne dopušta da konkretnije i šire obradim najfrekventnije i pedagogiji najpotrebnije forme izvođenja efekta veličine (ES). Za to bi bio potreban obimniji priručnik. Već ulaskom u međuodnose dviju varijabli obim ovog rada bi se podvostručio. To je razlog da sam za ovaj podnaslov kao središnju ideju preveo jednu vrlo ilustrativnu tabelu Marka Lipseya i Davida Wilsona.

U Tabeli 1 dat je pregled tipova varijabli, na lijevoj strani, i lista adekvatnih načina izračunavanja veličine efekta (ES) za varijable i njihove odnose. Za svaki od šest načina za izračunavanje ES, na desnoj strani Tabele 1, postoji određeni statistički obrazac. U prethod-nom tekstu ovdje sam prikazao prvi i treći obrazac kao najjednostavnije načine izvođenja ES.


10

Za ostala izračunavanja postoji obimna literatura (Hedges and Olkin, 1985; Lipsey and Wilson, 2001; Rosenthal, 1987; Smith and Glass, 1977). Naravno, tu literaturu treba čitati uz pretpostavku da statističke modele apliciramo na pedaggijsku znanosti i praksu i stalno imati na umu da svi udžbenički modeli nisu podesni za meta-analizu u pedagogiji. Jedno je sigurno, velika je šteta što do sada nismo imali udžbenik pedagoške meta-analize. Kao što su u Tabeli 1 dati statistčki postupci za meta-analizu odnosa između dvije varijable, razrađena je i tabela odnosa za tri i više varijabli.

Tabela 1: Veličina efekta u odnosima između dvije varijable

Gru

pn

i kon

tras

t za

visn

e va

rija

ble

Sve zavisne varijablesu dihotomne

Sve zavisne varijable su mjerene kontinuira-

nom skalom

Sve zavisne varijablesu kontinuirane

Sve studije imajuiste mjere/skale

Studije koriste razli-čite mjere/skale

Neke zavisne varijablesu dihotomne, a neke

kontinuirane

Neke zavisne vari-jable mjerene su kon-tinuiranim skalama, a

neke su naknadno dihotomizirane

Razlika među pro-porcijama kao ES(Vidi napomenu 1)

Razlike u odstupa-njima; Logaritam

ove razlike

Nestandardiziranerazlike aritmetičkih

sredina

Standardiziranerazlike aritmetičkih

sredina

Standardizirane razli-ke aritmetičkih sredina

ES; uključujući dihotomne, probit i logit-iz

vedene (Vidi napomene 2 i 3)

Dvije odvojene meta-analize: za dihotomne

i za kontinuirane varijable

Napomena 1: ES varira između 0<p<1; problem potencijalne heterogenosti Napomena 2: Precijenjena ES kada distribucija nije normalna Napomena 3: Niža ES ali još uvijek bolja nego probit (vjerovatna) ili logit (logaritamska)

Šest načina izvođenja ES statistika na desnoj strani Tabele 1 predstavljaju odličan vodič za meta-analitičara, ali ne i jedino rješenje. U udžbenicima ćemo naći još neka rješenja. Na primjer, ako nam nedostaju neke veličine, možemo ih izvesti iz onih koje nam stoje na raspo-laganju ukoliko konkretno istraživanje ima te alternativne veličine. Na primjer, pouzdanost možemo dobiti iz t-vrijednosti, iz aritmetičkih sredina, standardnih devijacija i broja slučajeva u uzorku možemo izvesti korelacije i slično.

Zaključno

U suvremenoj literaturi na prostoru Balkana nemamo dovoljno pedagoških radova posve-ćenih meta-analizi. Razlog tome je kašnjenje i progresivno zaostajanje naše pedagoške misli, naše pedagogijske teorije i prakse u odnosu na suvremeni svijet.


11

U ovom radu sam dao samo elementarna polazišta i najjednostavnije primjere za izvođe-nje veličine efekta (ES) kao baznog statistika meta-analize za operacije u okviru jedne varijable. To je dovoljno da shvatimo kako meta-analiza dobro dođe u pedagogiji, kako je pedagogijska znanost potrebuje i kako to nije neka teška i nedostižna metodologija. Radi se o setu statističkih i metodoloških postupaka koje ne može nadomjestiti nikakva teorijska sinteza ili analiza, niti logičko sparivanje. Kvantitativni odnosi izvedeni meta-analizom jasno poka-zuju učinak više istraživanja, jasno ukazuju na prednosti i nedostatke pojedinih studija, osvjet-ljavaju procese i tendencije, tako da možemo dobiti opservacije koje ne nudi druga statistika, metodologija niti teorija. Ipak, ne treba zaboraviti da na početku i na kraju meta-analize stoji čvrsta i jasna logika, da se bez teorijske analize i sinteze ovametodologija ne može pedagoški optimalno primijeniti.

Nadam se da će ovaj rad ohrabriti i izazvati mlade istraživače i podstaknuti iskusne na nova istraživanja i nova osvjetljavanja pedagoške meta-analize. Pedagoška istraživanja izve-dena uz pomoć meta-analize prokrčila bi put novim spoznajama u pedagogiji. Posebno bi bilo značajno to da takva istraživanja opreidjele naše istraživače da posegnu za radovima u kojima su objavljena suvremena istraživanja širom svijeta što bi, svakako, doprinijelo unapređivanju pedagogije na ovim prostorima. Svojevremeno je Mužićeva "Metodologija pedagoških istraživanja" (1977) revolucionirala našu pedagogijsku misao a i danas je znatno unapređuje. Danas bi jedan takav udžbenik meta-analize dao neprocjenljiv doprinos pedagogijskoj teoriji i praksi.


12

LITERATURA

Cattell, R. B., & Gibbon, B. D. (1968). Personality factor structure of the combined Guilford and Cattell personality questionnaries. Journal of Personality and Social Psychology, 9, 107–120.

Csikszentmihalyi, M. (1990). Flow – the psychology of optimal experience. New York: Harper and Row.

Csikszentmihalyi, M. (1997). Finding flow – The psychology of engagement with everyday life. New York: Basic Books.

Eysenck, H. J. (1952). The effects of psychoterapy: An evaluation. Journal of Consulting Psychology, 16, 319–324.

Eysenck, H. J. (1972). Human typology, higher nervous activity and factor analysis. U knjizi: V. D. Nebylitsyn and J. A. Gray (Eds.), Biological bases of individual behavior. New York: Academic Press.

Eysenck, H. J. (1978). An exercise in mega silliness. American Psychologist, 33, 517.

Hedges, L. V., & Olkin, I. (1985). Statistical methods for Meta-analysis. London: Academic Press.

Heckhausen, H. (1963). Hoffung und Furcht in der Leistungs-motivation. Meisenheim – Glan: Hain.

Lipsley, W. M. (2001). Practical meta-analysis. Thousand Oaks, CA: SAGE Publication.

McClelland, D. C. (1955), Some social consequences of achievement motivation. U zborniku: M. R. Jones (Ed.): Nebraska syposium on motivation. Lincoln: University of Nebraska Press.

Mužić, V. (1977). Metodologija pedagoških istraživanja. Sarajevo: Zavod za udžbenike.

Peašinović, R. (1976). Pedagoška funkcija nastavnika i moralnom razvoju učenika. Beograd: Prosveta.

Rosenthal, R. (1987). Judgments studies, design, analysis, and meta-analysis. Cambridge: Cambridge University Press.

Skowronek, H. (1970). Lernen und Lernfähigkeit; 2. Aufgabe. München: Juventa.

Smith, M. L., & Glass, G. V. (1977). Meta-analysis of psychotherapy outcome studies. American Psychologist, 32, 752–760.

Smith, M. L., Glass, G. V. & Miller, T. I. (1980). The benefits of psychotherapy. Baltimore, MD: John Hopkins.

Сузић, Н . (1994). Васпитни рад у одјељењској заједници. Бања Лука: ВИД.

Suzić, N. (2007). Primijenjena pedagoška metodologija. Banja Luka: XBS.

Suzić, N. (2007). Primijenjena pedagoška metodologija. Banja Luka: XBS.

Tiedemann, J. (1977). Leistuhgsversagen in der Schule; In Lückert, Dietrich und Walter, Studienreihe Pädagogische Psychologie. München: Goldmann.

Documents

Primjena Meta Analize u Pedagogiji