1. Evalvacijska študija: Učbenik kot dejavnik uspešnosti kurikularne

prenoveizvajalec: Pedagoški inštitut

2. Aplikativna raziskava:Optimalizacija spoznavne (učne) vsebine didaktičnega besedila

• Izvajalca: ISH-Fakulteta za podiplomski humanistični študij, Pedagoški inštitut

Vpliv učbenika

• Učbeniki močneje vplivajo na pedagoški proces kot učni načrti.

• Slovenski učenec /dijak do konca srednje šole bolj ali manj temeljito obdela 25.000 – 30.000 učbeniških strani.

Evropsko združenje raziskovalcev učbenikov (IARTEM)

• Dve glavni raziskovalni strategiji: 1.ekspertno presojevalna (sodbe o domnevnih

lastnostih učbeniških sporočil)2.eksperimentalna in kvazi-eksperimentalna

Evalvacijska študija Učbenik kot dejavnik uspešnosti …

• Vzorec: 6 učbenikov biologije in 6 učbenikov zemljepisa

• Predmeti analize: besedila (lastnosti besedil, organizacija spoznavne vsebine itd.), ilustracije, grafična podoba, didaktični aparat

• Sodelavci: raziskovalci, učitelji

Izhodišča analize

• Študija je bila oprta na spoznanja, pridobljena v doslej izvedenih (tujih) raziskavah, ki so obravnavale povezave med zgradbo verbalnih in vizualnih sporočil v učbenikih ter učno učinkovitostjo učbenikov. Opravljena je bila izčrpna kritična analiza in ovrednotenje večjega dela raziskav.

Predmeti analize. 1. predmet: optimalno številovseh besed in novih besed za različne starosti • Optimalno število besed na eni strani

učbenika: 4. razred: 150 – 180 5. razred: 200 – 230 6. razred: 250 - 300 (Gerard in Roegier, 1993)Optimalno število novih besed: 7-8

Uporabljeni postopek določanja novih besed v izbranih učbenikih

• 18 učiteljev je označevalo besede, ki so po njihovem mnenju za večino učencev nove.

• Besede smo obravnavali kot nove, če jih je kot nove označila večina učiteljev.

• Rezultat: Učitelji so v izbranih učbenikih za zadnja dva razreda OŠ na posamezni strani v povprečju prepoznali manj kot 7-8 besed, ki naj bi bile nove za učence.

Spoznavna dostopnost novih besed in pojmov

• Indikatorji spoznavne dostopnosti1. skladenjska (ne)poudarjenost nove besede2. grafična poudarjenost nove besede3. stopnja pojasnjenosti (opredeljenosti) nove

besede

Spoznavna dostopnost novih besed in pojmov

Rezultat: • velike razlike med učbeniki• Od 36 – 91 % besed, ki so jih učitelji

prepoznali kot nove, je skladenjsko ali grafično poudarjenih.

• Od 51 – 98 % pojasnjenih novih besed.

Berljivost besedil

• Obrazec berljivosti: • Stopnja berljivosti = 206,84 – 0,85 W – 1,02 SVzorec je 100 besed.S - povprečno število besed v povedi.W- skupno število zlogov v 100 besedah Rezultati se pretežno gibljejo med 0 in 100; 0 – zelo

zahtevno besedilo; 100 – zelo 'lahko' besedilo.(Mimogrede: Optimalno dolga poved, namenjena 13 -

15-letnikom, ima 10 - 20 besed.)

Berljivost besedil - rezultati

• Rezultati: izjemno velike, nenadzorovane razlike med učbeniki za isto starostno obdobje (7. in 8. razred): 21 in 20, torej 40 točk razlike!

- Tolikšne razlike v berljivosti so raziskave (na pr. Mikk, 2000) v povprečju prepoznale med dvema povsem različnima vrstama učbenikov, med berili za 2. razred OŠ in učbeniki zgodovine za 6. razred!!!

Prisotnost spodbujevalcev spoznavnega interesa v učbenikih

• Spodbujevalci: 1. navodila za samostojno dejavnost, 2. opisi problemov,3. Opisi okoliščin, dogodkov, dejanj4. Z zanimivostjo besedila je pozitivno povezano število

glagolov, negativno pa število samostalnikov z abstraktnim pomenom.

5. Opisi konkretnega: namesto “Luther je bil problematičen otrok” raje: “Luthra so učitelji zaradi trmoglavosti oštevali vsak dan.”

6. Najmočnejši spodbujevalec: osebne besede

Prisotnost spodbujevalcev spoznavnega interesa v učbenikih

• Močna povezava med zanimivostjo in osebnimi osebami.• obrazci besedilne zanimivosti. Oglejmo si enega od njih:• • število osebnih besed x 100 x 3,3635 = X • celotno število besed • • število osebnih povedi x 100 x 0,314 = Y• celotno število povedi• • Rezultat dobimo, ko seštejemo X in Y.

Osebne besede in osebne povedi• Osebne besede so:• - lastna (krstna) imena oseb• - priimki (če se nanašajo na posamezno osebo)• - osebni zaimki, ki se nanašajo na osebe (ne na živali ali stvari)• - pridevniki ali svojilni zaimki, ki se nanašajo na osebe• - občna imena, ki se nanašajo na osebe in imajo tako moško

kot žensko obliko (kralj-kraljica, igralec-igralka, sestra-brat)• Osebne povedi so:1. povedi, ki vključujejo premi govor2. povedi, ki vsebujejo vprašanje, navodilo, zahtevo, prošnjo 3. vzklične povedi

Osebne besede: lestvica• starost učencev optimalen odstotek os. besed v besedilu • 5 19 • 6 14• 7 10• 8 - 9 6• 10 - 12 4 • 13 - 16 3• 17 in več 2

Osebne besede: rezultat

• Nobeden od izbranih učbenikov se niti ne približa optimalnemu deležu osebnih besed in povedi (3-4% na stran)

Koherentnost

• Skladnost in urejenost pomenov in pomenskih predstav, ki jih vsebuje razlagalno besedilo. Ta razsežnost razlagalnega besedila je najmočneje povezana z njegovo spoznavno (učno) učinkovitostjo.

• Izvori pomenskih okvar: 1. v semantiki povedi in semantiki medpovednih struktur 2. v sintaksi povedi3. v argumentaciji (na povedni in medpovedni ravni) • Učinkovanje nekega tekstnega izvora nekoherentnosti ima v

tekstu zmerom omejen doseg. Ugotavljali smo, koliko povedi je na izbranih straneh zajel učinek nekoherentnosti.

Zgledi nekoherentnosti

• Opis nastanka Ljubljane pred 2000 leti: »Na stiku Ljubljanskega polja in barja je nastalo

glavno mesto Republike Slovenije – Ljubljana«. • »V Ljubljani se je oblikoval t.i. prometni križ – v

Ljubljano ali iz nje se stekajo pomembne prometne poti. V Ljubljanski kotlini so se zato razvila pomembna naselja, saj je njihove prebivalce privabila možnost zaposlitve.«

Dodaten zgled (zunaj vzorca)

• (Učbenik zgodovine):Rimska oblast na naših tleh (naslov)“Za vlade Avgusta so Rimljani že vladali celotnemu

slovenskemu ozemlju.”“V tem /rimskem/ času je naš prostor doživljal

državljanske vojne.”“Tedaj /v 3. stoletju/ je slovenski prostor doživel

pokristjanjenje.”“Že v 4. stoletju smo imeli tudi dve škofiji.”

Koherentnost- rezultat za 12 učbenikov

• Povprečni obseg besedil v izbranih učbenikih, ki jih zajame učinek besedilne nekoherentnosti, se giblje med 25 in 50 %. Rezultat je zaskrbljujoč!!!

• V enem od učbenikov je polovica od analiziranih strani takšnih, da na njih učinek nekoherentnosti zajema več kot 50 % besedila.

• Med dvanajstimi analiziranimi učbeniškimi besedili je enajst takšnih, ki vsebujejo nesprejemljivo velike dele nekoherentnega - pojmovno, miselno, argumentacijsko neurejenega – besedila!!!

Didaktični aparat

• Norma: Navodila za samostojno dejavnost učencev se morajo nanašati na opazljivo (ne zgolj mentalno) dejavnost učencev.

• Rezultat: Skoraj brez izjeme se navodila v izbranih učbenikih nanašajo zgolj na mentalno dejavnost učencev (na pr. “Razmisli o vzrokih za preseljevanje v mesta.”)

Vprašanja za učenčevo lastno preverjanje, koliko zna

• Rezultat: Teh vprašanj praviloma ni. Redka tovrstna vprašanja se nanašajo le na spominsko znanje.

Povzetek rezultatov analize ilustracij

1. Piktografske ilustracije močno prevladujejo; ideografske ilustracije so redke (kar je problematično).

2. Ilustracije so praviloma opremljene z razlagami. Nekatere ilustracije delujejo kot distraktorji (odvračevalci pozornosti).

3. Razmerje med risbo in fotografijo se ne približa normam za posamezna starostne dobe.

4. Idealno je, če se besedilno in vizualno sporočilo prekrivata v 1/3 spoznavne vsebine. Izbrani učbeniki so daleč od te norme.

2. Raziskava “Optimalizacija spoznavne (učne) vsebine didaktični besedil”

• Kvazi-eksperiment• Vzorec: 240 učencev 9. razreda; vsak učenec

je bil hkrati član eksperimentalne in kontrolne skupine.

• Učenci brali izvirne in revidirane odlomke.• Rezultate branja (s poudarkom na

razumevanju) smo merili s preizkusom znanja, ki ima ustrezne (preverjene) merske karakteristike.

Besedilna revizija (izboljševanje)

• Revidirali (izboljševali) smo 4 besedilne odlomke iz potrjenih učbenikov geografije (9. razred, geografija Slovenije); obseg vsakega odlomka: približno 300 besed

1.Gričevja in ravnine (Panonski svet)2.Poselitev Slovenije3.Industrija4.Kmetijstvo

Osnova za revidiranje

• Na kaj smo se oprli pri ‘izboljševanju’ besedilnih odlomkov?

1.Na vse , kar smo ‘merili’ v evalvacijski študiji, vključno s testom cloze in formulo berljivosti.

2.Na niz dodatnih ugotovitev o tem, kako zgradba besedil vpliva na uspešnost učenja.

• Katerih ugotovitev?

‘Algoritmi’ za revizijo: optimalizacija stopnje abstraktnosti besedila

• Primer: Visoka negativna povezanost med povprečno abstraktnostjo samostalnikov in razumevanjem besedila: 0.53 (Mikk, 1980) oz. 0.66 (Kukemelk in Mikk, 1993)

• Abstraktnost visoko pozitivno korelira s številom samostalnikov, ki se končujejo z ‘- anje’, ‘- ost’, - izem, -stvo, -tje, ipd. (učinek nominalizacije)

• Zgled iz slovenskega učbenika: “Dojemanja in opredeljevanja odklonskosti so skoraj v vseh primerih družbeno pogojena.”

Optimalizacija stopnje abstraktnosti besedila

• Nepotrebna abstraktnost, ki jo povzroči žargon. Primer matematične naloge za 9-letne učence: “Koliko nočitev beleži hotel?”

• Zakaj ne: “Koliko turistov prespi v hotelu?”

Težavnost besedišča• Razpršenost: Število različnih besed v besedilih ne bi smelo

presegati 70 % vsote vseh besed (nekatere besede naj bi torej bile uporabljene večkrat).

• Slab zgled:• “Med merjenjem obsega kroga s pomočjo vrvice je mogoče

ugotoviti, da dolžino premera lahko nanesemo nanj malo več kot trikrat, iz česar izhaja razmerje:

• obseg = 3,14…”• PremerŠtevilo različnih besed 24Število vseh besed 26• Število različnih besed predstavlja 92 % vsote vseh besed.

Težavnost besedišča• “Z vrvico izmeri obseg kroga, z ravnilom izmeri premer

istega kroga. Ugotovil boš, da premer kroga lahko naneseš na njegov obseg malo več kot trikrat. Zato lahko napišeš:

• • obseg kroga = 3,14…”• premer kroga• • Število različnih besed 21• Število vseh besed 32• Število različnih besed predstavlja malo več kot 65 % vsote

vseh besed.

Razpršenost novega besedišča

• Ena od norm: Nove besede morajo biti enakomerno razpršene po besedilu. Vsaj štiri besede levo in desno od nove besede morajo biti znane besede.

Kohezivnost

• Besedilna povezanost (kohezivnost) nastaja z (zlasti argumentacijskimi) vezniki, medmetnimi stavki, nepopolnimi stavki, elipsami, anaforami, kataforami, primerjavami, ponovljenimi ključnimi besedami itd.

• Med argumentacijske veznike štejemo: saj,

kajti, torej, sicer, pa, vendar pa, nadalje, pravzaprav, skratka itd.

Poskus prepoznanje argumentacije v izbranih odlomkih

• Na izbrane odlomke smo skušali nanesti najpreprostejši (Toulminov) model argumentiranja. Sestavine:

1. Trditev2. Osnova (Dejstva , podatki itd.)3. Utemeljitev (zveza med trditvijo in osnovo)4. Opora5. Omejitev trditve6. Opis pogojev zavrnitve

Poskus prepoznanje argumentacije v izbranih odlomkih - rezultat

• V nobenem od štirih izbranih odlomkov ni bilo mogoče prepoznati osnovnih sestavin argumentacije. Razlog:

Besedila so v argumentacijskem smislu povsem neurejena.

Rezultati na preizkusu znanja - razlika med učinkom izvirnega in revidiranega

besedilom (primer)

Industrija M SD NIzvirno bes. 9,44 3,06 111 revidirano bes. 13,99 3,65 113 _________________________________M=arit. sredina, SD=standardna deviacijaN=število učencev

Rezultati-povzetek

• Učenci, ki so brali revidirane (izboljšane) odlomke, so v vseh primerih dosegli na preizkusu znanja statistično pomembno znatno višje rezultate.

• Koliko višje?

Nadzor učne ocene

• Koliko % variance v dosežki pojasni ocena?• Primer: Z učno oceno učencev pri predmetu

geografija v primeru besedila ‘industrija’ pojasnimo 41 % variance v njihovih dosežkih pri preizkusu tega znanja (R2 = 0,42; Adj. R2 = 0,41).

Kolikšno izboljšanje razumevanja smo dosegli z revizijo razlagalnih besedil?• Ponazoritev: - Učence smo naknadno statistično razdelili v

dve skupini:1.Učenci z zaključno oceno iz geografije v

preteklem letu 2 ali 3 (30 % vseh učencev).2.Učenci z zaključno oceno 5 iz geografije v

preteklem letu drugi strani v tiste, ki so imeli oceno 5 (40% vseh učencev).

Kolikšno povečanje razumevanja smo dosegli z izboljšanjem razlagalnih besedil?

• Ponazoritev: Skupina učencev z ocenama 2 in 3 iz geografije, ki je brala izboljšane odlomke, je na preizkusu znanja dosegla približno enake rezultate kot skupina učencev z oceno 5 iz geografije, ki pa je brala neizboljšane odlomke iz potrjenih učbenikov.

Predlogi za izboljšanje učbeniške politike

• Izdelati serijo vzorčnih učbenikov, ki bodo postavili nove standarde kvalitete.

• Usposobiti kadre, ki bodo delovali v razvojnih oddelkih založb.

• Usposobiti učitelje , da bodo razlikovali med dobrim in slabim učbenikom.

• S pomočjo ‘algoritmov’, ki smo jih razvili, sproti evalvirati nove generacije učbenikov in usmerjati razvoj .