Rapport och uppföljning av nationella slutprov Utbildning i svenska för invandrare 2009–2012

2

Innehållsförteckning 1. Inledning ............................................................................................................................................. 4

2. Bakgrund ............................................................................................................................................. 4

3. Utbildning i svenska för invandrare .................................................................................................... 4

4. Framtagning av nationella slutprov för sfi .......................................................................................... 6

4.1 Det nationella slutprovets syfte och utformning ........................................................................... 6

4.2 Referensgrupper ............................................................................................................................ 6

4.3 Utprövning .................................................................................................................................... 6

4.4 Innehåll i slutproven...................................................................................................................... 7

5. De nationella slutproven för kurs B, 2009–2012 .............................................................................. 10

5.1 Testtagare i de nationella slutproven för kurs B 2009–2012 ...................................................... 10

5.2 Insamling av resultat ................................................................................................................... 10

5.3 Provgruppens urval i förhållande till samtliga nationellt genomförda slutprov, kurs B ............. 11

5.4 Resultat över tid .......................................................................................................................... 13

5.4.1 Resultaten för de nationella slutproven för kurs B i förhållande till testtagarnas utbildningsbakgrund 13

5.5 Lärarkommentarer om de nationella slutproven för kurs B, 2009–2012 .................................... 17

6. De nationella slutproven för kurs C, 2009–2012 .............................................................................. 19

6.1 Testtagare i de nationella slutproven för kurs C 2009–2012 ...................................................... 19

6.2 Insamling av resultat ................................................................................................................... 19

6.3 Provgruppens urval i förhållande till samtliga nationellt genomförda slutprov, kurs C ............. 20

6.4 Resultat över tid .......................................................................................................................... 22

6.4.1 Resultaten för de nationella slutproven för kurs C i förhållande till testtagarnas utbildningsbakgrund 22

6.5 Lärarkommentarer om de nationella slutproven för kurs C, 2009–2012 .................................... 25

7. De nationella slutproven för kurs D, 2009–2012 .............................................................................. 26

7.1 Testtagare i de nationella slutproven för kurs D 2009–2012 ...................................................... 26

7.2 Insamling av resultat ................................................................................................................... 26

7.3 Provgruppens urval i förhållande till samtliga nationellt genomförda slutprov, kurs D ............. 27

3

7.4 Resultat över tid .......................................................................................................................... 29

7.4.1 Resultaten för de nationella slutproven för kurs D i förhållande till testtagarnas utbildningsbakgrund 30

7.5 Lärarkommentarer om de nationella slutproven för kurs D, 2009–2012 .................................... 32

8. Sammanfattning och kommentarer ................................................................................................... 33

8.1 Resultat på nationell nivå ............................................................................................................ 33

8.2 Reliabilitetsindex ........................................................................................................................ 34

8.3 Resultat av uppföljning av de nationella slutproven ................................................................... 34

8.3.1 De nationella slutproven för kurs B 2009–2012 .................................................................. 34

8.3.2 Resultat på uppgiftsnivå för B-proven ................................................................................. 34

8.3.3 De nationella slutproven för kurs C 2009–2012 .................................................................. 35

8.3.4 Resultat på uppgiftsnivå C-proven ....................................................................................... 35

8.3.5 De nationella slutproven för kurs D 2009–2012 .................................................................. 35

8.3.6 Resultat på uppgiftsnivå för D-proven ................................................................................. 35

8.4 Avslutande kommentarer ............................................................................................................ 36

9. Referenser ......................................................................................................................................... 38

4

1. Inledning Denna rapport behandlar de pappersbaserade nationella slutprov som användes inom utbildningen i svenska för invandrare under perioden 2009 till 2012. Sammanlagt rör det sig om fem slutprov per kurs (B, C och D)1. Syftet med rapporten är att ge en samlad bild av resultaten på slutproven i förhållande till kursplanens mål och de olika kursernas betygskriterier/kunskapskrav. Rapporten belyser resultaten för färdigheterna, Höra, Läsa, Tala (muntlig interaktion och produktion) och Skriva och en jämförelse har gjorts mellan resultaten och testtagarnas utbildningsbakgrund. Underlaget för rapporten består av resultat från insamlade genomförda slutprov och till viss del också av resultat från de utprövningar som gjorts i samband med att slutproven togs fram, samt av inkomna lärarenkäter. I underlaget till rapporten ingår även resultat som samlats in av SCB (Statistiska centralbyrån) på uppdrag av Skolverket. Analyser och jämförelser har gjorts av resultaten för varje kurs dels på nationell nivå (populationen), dels på uppgiftsnivå (provkonstruktörens urval). Provkonstruktören, det vill säga den grupp som arbetar med konstruktion av uppgifter till de nationella slutproven, samlar kontinuerligt in genomförda slutprov för analys. Resultaten från analyserna ingår i den kontinuerliga utvecklingen av slutproven. Genom att jämföra insamlat material under en längre period kan provkonstruktören få en mer tillförlitlig bild av stabilitet över tid. Det ger också möjlighet att uppmärksamma eventuella mönster, till exempel huruvida resultat och lösningsproportion kan påverkas av olika faktorer såsom vissa uppgiftstyper, svarsformat eller testtagarnas utbildningsbakgrund. 2. Bakgrund 1996 utkom det första nationella slutprovet för Svenskundervisning för invandrare. Från och med 2002 infördes tre studievägar och fyra kurser, A, B, C och D i utbildningen. Fram till 2009 utkom nationella slutprov endast för den högsta kursen, kurs D. År 2009 infördes även nationella slutprov för kurs B och C. De nationella slutproven för kurserna B, C och D är från och med år 2009 obligatoriska slutprov. Kursplanen reviderades återigen år 2012 och i samband med detta ändrades benämningen till Utbildning i svenska för invandare (sfi). De nationella slutprovens huvudsakliga syfte är att stödja en likvärdig och rättvis bedömning och betygsättning samt att ge underlag för en analys av i vilken utsträckning kursplanens mål och betygskriterier/kunskapskrav för respektive kurs uppfylls på skolnivå, på huvudmannanivå och på nationell nivå. Slutproven är obligatoriska men de är inte examensprov. Det finns heller ingen tidsbegränsad period när de nationella slutproven får genomföras eftersom undervisningen bedrivs under hela året. Utbildningsanordnarna erbjuder i regel slutprov kontinuerligt under hela året. 3. Utbildning i svenska för invandrare En person har rätt att delta i utbildning i svenska för invandrare från och med andra kalenderhalvåret det år han eller hon fyller 16 år, om han eller hon är bosatt i landet och saknar sådana grundläggande kunskaper i svenska språket som utbildningen syftar till att ge. (Skollagen 2010:800, kapitel 22, 13§) Utbildningen i svenska för invandrare består av tre studievägar som riktar sig till personer med olika bakgrund, förutsättningar och mål. Studieväg 1 består av kurserna A och B och vänder sig till personer med ingen eller mycket kort studiebakgrund. Studieväg 2 består av kurserna B och C och studieväg 3 består av kurserna C och D. Studieväg 3 vänder sig till personer som har god studievana. I utbildningen finns en intention att det ska vara möjligt för eleverna att, oavsett studieväg, avsluta sina studier med kurs D (SKOLFS 2012:13).

1 Under denna period utkom även tre IT-baserade slutprov per kurs, men inget av dessa behandlas i denna rapport. Rapporter och jämförelser som berör de första IT-baserade proven och pappersbaserade prov finns på Skolverket Uppföljnings- och utvärderingsrapport för nationella slutprov (dnr 2010-00381).

5

Antalet elever i sfi har ökat kraftigt under hela 2000-talet. År 2009 deltog 91 237 elever i utbildningen och år 2012 hade antalet ökat till 107 827. År 2012 var antalet nybörjare för första gången fler än 40 000 (2012 Skolverket). I Skolverkets statistik redovisas olika uppgifter om elevernas bakgrund, exempelvis kön, utbildningsbakgrund och ålder. År 2012 var till exempel en majoritet av eleverna kvinnor (57 procent). Könsfördelningen har varit relativt stabil över tid. Tabell 1. Utbildningsbakgrund, elever i sfi 2012 (Skolverket 2012).

Utbildningsbakgrund (antal år)

0–3 4–6 7–9 10–12 13+

Procentandel 2012 * 12 10 14 27 34

* uppgift om utbildning saknas för 3 % Det finns en stor variation när det gäller elevernas utbildningsbakgrund2 och ålder. 36 procent av eleverna hade högst 9 års tidigare skolbakgrund år 2012. Andelen kvinnor som hade kort tidigare utbildning var detta år högre än andelen män. Tabell 2. Ålder, elever i sfi 2012 (Skolverket 2012).

Ålder 16–19 20–24 25–39 40–54 55+

Procentandel 2012 1 13 60 22 4

När det gällde åldersfördelning var majoriteten av eleverna mellan 25 och 39 år. Endast 14 procent av eleverna år 2012 var under 25 år och 26 procent var 40 år eller äldre. Sett över den senaste femårsperioden har den procentuella fördelningen, när det gäller tidigare utbildning och ålder, i princip varit oförändrad.

Tabell 3. Kursdeltagare* i sfi 2012 per studieväg och kurs (Skolverket 2012).

Kursdeltagare 2012, utbildningsbakgrund

Studieväg 1 kurs B

Studieväg 2 kurs B

Totalt kurs B

Studieväg 2 kurs C

Studieväg 3 kurs C

Totalt kurs C

Studieväg 3 Kurs D

0 – 3 år 42 % 6 % 14 % 13 % 2 % 7 % 8 %

4 – 6 år 30 % 10 % 15 % 13 % 2 % 7 % 7 %

7 – 9 år 15 % 24 % 22 % 22 % 4 % 12 % 12 %

10 – 12 år 9 % 40 % 33 % 33 v 23 % 28 % 29 %

13 eller fler år (13+) 4 % 20 % 16 % 19 % 69 % 46 % 44 %

Summa kursdeltagare: 9 364 31 045 40 409 26 877 32 068 58 945 34 000

* I tabellen anges antal kursdeltagare. Antalet kursdeltagare överstiger antalet elever eftersom en elev kan ha deltagit i mer än en kurs under perioden och alltså räknas mer än en gång.

2 Uppgifterna utgår från den information som eleverna själva eller lärarna angett.

6

Kursdeltagarnas utbildningsbakgrund varierar i samtliga studievägar och kurser. Kurs B, studieväg 1 är den kurs som har minst andel kursdeltagare med mer än 10 års skolbakgrund och kurs C, studieväg 3 är den kurs som har högst andel kursdeltagare med 10 eller fler års utbildningsbakgrund. Kurs B hade år 2012, totalt sett (kurs B, studieväg 1 och 2), lika många kursdeltagare med 0–9 års utbildningsbakgrund (51 procent) som kursdeltagare med minst 10 års utbildningsbakgrund (49 procent). Framför allt berodde detta på att det fanns en stor grupp kursdeltagare med 10–12 års utbildningsbakgrund på studieväg 2. 4. Framtagning av nationella slutprov för sfi De nationella slutproven i utbildning i svenska för invandrare tas fram och utvecklas vid Institutionen för språkdidaktik, Stockholms universitet, på uppdrag av Skolverket. 4.1 Det nationella slutprovets syfte och utformning

De nationella slutproven avser att pröva de mål och betygskriterier som finns beskrivna i förordning (SKOLFS 2009:2) om kursplan för svenskundervisning för invandrare respektive i de mål som finns beskrivna för utbildningen och de kunskapskrav som finns beskrivna för kurs B, C och D i förordning (SKOLFS 2009:2) om kursplanen för utbildning i svenska för invandrare, reviderad SKOLFS 2012:13. Båda dessa kursplaner är formulerade utifrån fem aspekter; hörförståelse, läsförståelse, muntlig interaktion, muntlig produktion och skriftlig färdighet. De nationella slutproven utgör ett stöd för läraren i bedömningen av elevens språkförmåga och ska verka för att denna bedömning ska bli likvärdig över hela landet. Resultatet av slutprovet ska, tillsammans med andra belägg för elevens prestationer som dokumenterats under kursens gång, fungera som underlag för betygssättning. Ett grundläggande synsätt i kursplanen är att eleven ”ska få lära sig och utveckla ett funktionellt andraspråk” och att utbildningen ska ge ”språkliga redskap för kommunikation och aktivt deltagande i vardags-, samhälls-, och arbetsliv” (SKOLFS 2009:2, reviderad 2012:13). De nationella slutproven prövar kursplanens mål och betygskriterier/kunskapskrav i fyra delprov Höra, Läsa, Tala (muntlig interaktion och produktion) och Skriva. 4.2 Referensgrupper

Provkonstruktören utvecklar slutproven i nära samarbete med en referensgrupp för respektive kursprov. Referensgrupperna består av erfarna lärare och skolledare från utbildningen i svenska för invandrare. Även doktorander, forskare, representanter för Nationellt centrum för svenska som andraspråk samt Skolverket ingår i grupperna. Deltagarna i varje referensgrupp representerar olika delar av landet och kommer från olika typer av kommuner och anordnare. För varje provversion ger referensgruppen digital feedback på materialet vid minst ett tillfälle, dessutom träffar provkonstruktören referensgruppen vid två tillfällen. I den första fasen av provkonstruktionen arbetar provkonstruktören med val av teman och materialinsamling samt gör en innehållsskiss för de olika delproven. Ett första utkast till prov sammanställs och skickas till referensgruppen. Utkastet innehåller förslag på teman, tänkbara texter och uppgifter till provdelarna Läsa och Höra. Efter skriftlig återkoppling från referensgruppen tar revidering, utveckling och komplettering av uppgifter vid. Ett förslag till utprövningsversion tas fram och diskuteras på ett möte med referensgruppen. Utifrån synpunkter och förslag på ändringar som framkommit på mötet revideras proven till den slutliga utprövningsversionen. 4.3 Utprövning

Mellan andra och tredje referensgruppsmötet planeras en utprövning in. Syftet med utprövningen är att säkerhetsställa att uppgifter och instruktioner fungerar som planerat, det vill säga att eleverna, som av sin lärare

7

bedömts ha nått målen för den aktuella nivån, förstår och kan lösa uppgifterna samt att inga bias3 finns inbyggda i uppgifterna. De receptiva delarna (Höra och Läsa) i varje slutprov prövas i sin helhet på 200–250 elever inom sfi. Alla som deltar i utprövningen ska av sin lärare bedömts ha nått målen/kunskapskraven för den aktuella kursen. Utprövningen sker hos olika anordnare i utbildningen i svenska för invandrare runtom i landet. Anordnarna ska representera både utbildningar som drivs i liten och stor skala, i privat och kommunal regi samt ha en geografisk spridning. Provkonstruktören strävar efter att urvalet ska spegla den totala populationen. I samband med utprövning lämnar också elever och lärare kommentarer och synpunkter, vilka är värdefulla när provens utformning och innehåll bestäms. Den medarbetare från provkonstruktören som genomför respektive utprövningsbesök skriver efter genomförandet en kort rapport om hur uppgifter och instruktioner tagits emot och fungerat. Dessa rapporter ingår i underlaget när analys av slutprovet görs inför slutversion. Efter utprövningen bearbetas resultaten för de receptiva delarna statistiskt och den statistiska analysen används som en del av underlaget för en kvalitativ analys. I ett avslutande möte med referensgruppen fastställs den slutliga provversionen. 4.4 Innehåll i slutproven

Provkonstruktören samlar in och väljer ut de texter som används i slutproven. Texterna kommer från olika källor, såsom dagstidningar, broschyrer, bloggar och radioprogram. Vid konstruktionen av de nationella slutproven strävar provkonstruktören efter att enskilda provuppgifter ska återspegla naturliga och vanligt förekommande aktiviteter, det vill säga likna uppgifter som var och en kan ställas inför i sitt dagliga liv, till exempel att läsa annonser för att söka efter viss information eller skriva ett brev eller ett meddelande till någon.

Tabell 4. Urval av vanligt förekommande texttyper i delprov Höra 2009–2012.

Texttyp kurs B kurs C kurs D

Nyheter X X X

Samtal mellan två personer (informell, något mer formell karaktär)

X X X

Telefonsvarare X X X

Personliga uttalanden (berättande) X X X

Personliga uttalanden (intervjufrågor) X X

Längre berättande texter X X

För att ge uppgifterna en autentisk prägel samt spegla olika språkbruk i samhället förekommer olika varieteter av talad svenska i slutproven men allt tal i hörförståelseuppgifterna är tydligt och innehåller inga särpräglade dialektala uttryck.

3 Bias = egenskaper som inte är relevant för det som ska mätas.

8

Tabell 5. Urval av vanligt förekommande texttyper i delprov Läsa 2009–2012.

Texttyp kurs B kurs C kurs D

Berättande, beskrivande text (cirka 150 ord) (cirka 250 ord) (cirka 400 ord)

Personliga meddelanden (ex. sms, mejl) X X X

Meddelanden mer formell karaktär (ex. sms, mejl)

X X

Enklare tabeller (ex. schema, tidtabell) X

Tabeller, diagram X X

Informativa texter, faktaorienterade texter (ex. en meny) (cirka 100-140 ord)

(cirka 150 ord)

Intervjuer, personliga uttalanden X X

Annonser, broschyrer X X X

Notiser/nyheter X X X

Instruktioner, föreskrifter X X

Tabell 6. Svarsformat som använts i slutproven 2009–2012.

Svarsformat kurs B kurs C kurs D

Flerval, dvs. uppgifter där testtagaren efter varje fråga väljer mellan ett antal på förhand givna svarsalternativ.

Läsa och Höra Läsa och Höra Läsa och Höra

Matchning, dvs. uppgifter där testtagaren ska para ihop ett antal enheter (ord, fraser, meningar etc.) med ett givet antal andra enheter.

Läsa Läsa Läsa och Höra

Kortsvar, dvs. uppgifter där testtagaren själv formulerar sitt svar.

Läsa och Höra Läsa och Höra

Ordningsföljd, dvs. uppgifter där testtagaren ordnar textuell information i logisk följd.

Läsa Läsa och Höra

9

Urval av vanligt förekommande språkhandlingar i delprov Tala: kurs B kurs C kurs D Berätta Berätta Berätta Beskriva Beskriva Beskriva Ställa och Ge tips Ge råd besvara frågor Diskutera Diskutera utifrån Framföra och specifika frågor eller efterfråga åsikter diskutera utifrån Framföra och olika påståenden efterfråga tankar Uttrycka och bemöta och information åsikter Framföra och efterfråga tankar och information Urval av vanligt förekommande texttyper i delprov Skriva: kurs B kurs C kurs D Berätta Berätta Anmäla intresse Beskriva Beskriva Berätta Informera Framföra åsikter Beskriva Informera Förklara Motivera Framföra åsikter Föreslå Framföra ärende Ge råd

10

5. De nationella slutproven för kurs B, 2009–2012 5.1 Testtagare i de nationella slutproven för kurs B 2009–2012

Som tidigare nämnts finns kurs B på två olika studievägar och kan alltså vara både nybörjarkurs och fortsättningskurs, utformningen av kurserna ser olika ut men mål och betygskriterier/kunskapskrav är desamma. Slutproven för kurs B ges således till elever från två olika studievägar. Slutproven omfattas av provsekretess och uppgifter kan återanvändas av Skolverket under flera år. För de slutprov som till exempel togs fram 2009 sträcker sig sekretessen till 2015. Tabell 7 visar hur många elever på nationell nivå som genomförde respektive slutprov under 2009–20124 fördelat på utbildningsbakgrund.

Tabell 7. Antal elever som genomfört de nationella slutproven för kurs B på riksnivå 2009–2012 (Skolverket 2012).

Testtagarnas utbildningsbakgrund,

antal år

Provversioner, kurs B

2009 2010 2011VT 2011HT 2012

0–3 år 16 % (1592) 16 % (1025) 18 % (1220) 18 % (1133) 12 % (271)

4–6 år 13 % (1354) 14 % (904) 14 % (1013) 15 % (934) 11 % (248)

7–9 år 20 % (2041) 20 % (1277) 20 % (1391) 19 % (1215) 19 % (431)

10–12 år 29 % (3008) 29 % (1863) 29 % (2015) 28 % (1775) 34 % (798)

13 år eller mer 19 % (1888) 19 % (1158) 17 % (1141) 17 % (1046) 18 % (429)

Okänd* 3 % (256) 2 % (80) 2 % (150) 3 % (161) 6 % (152)

Totalt 100 % (10139) 100 % 6322 100 % (6930) 100 % 6264 100 % (2329)

*Kategori ”Okänd” innebär att uppgiften är osäker eller saknas.

Det kan konstateras att andelen testtagare med 13 eller fler års utbildning under perioden var en relativt stor grupp bland testtagare för kurs B. Enligt kursplanen vänder sig studieväg 3 till elever med studievana och provkonstruktörens tolkning av styrdokumentens skrivning är att elever med 13 eller fler års utbildning endast i undantagsfall kan studera på kurs B. Vid utprövning av B-prov har därför provkonstruktören frångått principen att urvalet ska spegla den totala populationen inom utbildningen och istället strävat efter att elever med 13 eller fler års utbildning inte ska ingå i underlaget. De som ändå deltagit har plockats bort från analyserna. Värt att notera är att redovisningen av testtagarnas utbildningsbakgrund baseras på testtagarnas egna eller lärarnas uppgifter. Det antal år som uppgetts ger ingen information om vilka faktiska kunskaper eleven har. Undervisningen kan ha varit oregelbunden, skett på ett annat språk än elevens modersmål eller varit sporadisk på grund av krig och oroligheter i ursprungslandet. En elev utan formell utbildning kan ha utvecklat läs- och skrivfärdigheter på ett eller flera språk. 5.2 Insamling av resultat För att provkonstruktören ska ha möjlighet att analysera och vidareutveckla slutproven begärs genomförda slutprov från var femte testtagare och lärarenkäter in under en period av ett år efter första provdatum. Andelen 4 Varje slutprov kan användas under flera år. Siffrorna i tabellen för varje provversion baseras på samtliga genomförda slutprov under perioden. Detta innebär att, till exempel alla testtagare som genomfört slutprov 2009 under perioden 2009–2012 finns redovisade i spalten för 2009. Det förhållandevis låga antalet testtagare som genomförde provversion 2012 förklaras alltså av att provversionen vid rapportens framtagande hade använts under endast ett år.

11

anordnare som skickat in efterfrågat material och antalet inskickade lärarenkäter under åren var dock lågt. Som exempel kan nämnas att nationellt slutprov för sfi, kurs B 2009 beställdes i 17 790 exemplar av 294 anordnare runt om i landet under uppföljningsperioden (nov. 2009 och dec. 2010). Av dessa skickade 44 anordnare in 202 genomförda slutprov till provkonstruktören. Vidare skickades 70 lärarenkäter från 47 anordnare in. Antalet inskickade slutprov ökade sedan något men var fortfarande lågt i förhållande till antalet beställda och genomförda slutprov. Tabell 8. Antal inskickade slutprov för kurs B, antal anordnare som skickat in slutprov samt antal inskickade lärarenkäter.

Version Antal slutprov Antal anordnare Lärarenkäter

2009 202 44 70

2010 259 54 73

2011VT 339 67 113

2011HT 305 64 86

2012 282 67 86

5.3 Provgruppens urval i förhållande till samtliga nationellt genomförda slutprov, kurs B

De insamlingar av provresultat som Skolverket gör genom SCB (Statistiska centralbyrån) ger en helhetsbild av resultaten men de ger ingen möjlighet att analysera på uppgiftsnivå, vilket är en mycket viktig del av provkonstruktörens utvecklingsarbete. Provkonstruktörens insamlade material under 2009–2012 var, som redan nämnts, mycket begränsat och för att undersöka om det urval som kommit in var representativt har en jämförelse gjorts av Skolverkets insamlade provresultat på nationell nivå och provkonstruktörens insamlade resultat. Figurerna 1–4 visar en jämförelse över åren mellan Skolverkets insamlade resultat (populationen, antal testtagare se tabell 7) och de resultat som kom in till provkonstruktören (urval, antal testtagare se tabell 8) för de respektive slutproven för kurs B.

Figur 1. Slutprov kurs B, delprov Höra 2009–2012, jämförelse av minst godkänt resultat i provkonstruktörens urval och på nationell nivå.

0

10

20

30

40

50

60

70

80

90

100

HÖRAB2009

HÖRAB2010

HÖRAB2011VT

HÖRAB2011HT

HÖRA B12012

minst G urval

minst G population

12

Figur 2. Slutprov kurs B, delprov Läsa 2009–2012, jämförelse av minst godkänt resultat i provkonstruktörens urval och på nationell nivå.

Figur 3. Slutprov kurs B, delprov Tala 2009–2012, jämförelse av minst godkänt resultat i provkonstruktörens urval och på nationell nivå.

Figur 4. Slutprov kurs B, delprov Skriva 2009–2012, jämförelse av minst godkänt resultat i provkonstruktörens urval och på nationell nivå.

0

10

20

30

40

50

60

70

80

90

100

LÄSAB2009

LÄSAB2010

LÄSAB2011VT

LÄSAB2011HT

LÄSA B12012

minst G urval

minst G population

0

10

20

30

40

50

60

70

80

90

100

TALAB2009

TALAB2010

TALAB2011VT

TALAB2011HT

TALA B12012

minst G urval

minst G population

0

10

20

30

40

50

60

70

80

90

100

SKRIVAB2009

SKRIVAB2010

SKRIVAB2011VT

SKRIVAB2011HT

SKRIVA B12012

minst G urval

minst G population

13

Jämförelsen visade att det material som kommit in till provkonstruktören för kurs B korrelerade förhållandevis väl med Skolverkets insamling (genom SCB). Data för samtliga testtagare på nationell nivå visade att resultaten för de olika provversionerna var i stort sett stabila över tid. Diagrammen visade dock att denna stabilitet var något bättre för den totala populationen än för provkonstruktörens urval. En anledning till denna skillnad kan vara att provkonstruktörens urval var något snedvridet då de inskickade slutproven kom från ett mycket begränsat antal anordnare. Även om det urval som kom in till provkonstruktören inte helt överensstämde med populationen kan det ändå anses vara tillräckligt representativt för att analyser ska kunna göras på uppgiftsnivå, dock bör resultaten på uppgiftsnivå tolkas med viss försiktighet. 5.4 Resultat över tid

Följande diagram visar procentandel godkända resultat över tid för de olika provdelarna.

Figur 5. Slutproven kurs B 2009–2012, procentandel testtagare med ett minst godkänt resultat, nationell nivå (Skolverket 2012). (Antal testtagare se tabell 7 s. 11.)

Andelen testtagare på nationell nivå som fick ett minst godkänt resultat ökade succesivt under åren 2009–2012. Detta gällde samtliga färdigheter. Skriva var det delprov där lägst andel testtagare fick ett godkänt resultat, särskilt låg var andelen godkända resultat vid slutprov 2010. Tala var den färdighet som resultatmässigt låg jämnast över åren. Resultaten för delprov Höra låg mycket jämnt 2009, 2010 och 2011VT medan slutproven 2011HT och 2012 hade en högre andel testtagare med ett godkänt resultat. Resultaten för delprov Läsa följde i stort sett samma utveckling som delprov Höra. Stabilitet över tid kan handla om att uppnå liknande resultat vid olika provversioner. Ett annat mått som är vanligt i testsammanhang är reliabilitetsindex. Syftet med reliabilitetsindex är att undersöka samstämmigheten mellan uppgifter i ett test. Reliabilitetsindex skattas med hjälp av ett mått, Cronbach´s Alpha. Ju högre värdet är desto större är säkerheten att testet håller samman och att resultatet inte påverkas av andra faktorer än vad som är tänkt att prövas. Maxvärdet på skalan Cronbach´s Alpha är 1 och ett godtagbart värde bör ligga på 0,7 eller högre (DeVellis 2003, Bachman 2004). Dessa värden räknas ut endast för de receptiva delarna av slutproven för sfi. Slutproven för kurs B 2009–2012 uppnådde värden inom intervallet 0.85–0.89 för delprovet Läsa och för delprovet Höra värden inom intervallet 0.77–0.88 vilket alltså är godtagbara värden. 5.4.1 Resultaten för de nationella slutproven för kurs B i förhållande till testtagarnas utbildningsbakgrund

Provkonstruktören strävar efter att de nationella slutproven ska vara likvärdiga för alla testtagare och samlar därför alltid in underlag för hur testtagare med olika bakgrundsvariabler har klarat olika uppgiftstyper. De bakgrundsvariabler som samlas in är bland annat modersmål, ålder, kön, tid på sfi, tid i Sverige samt utbildning innan ankomst till Sverige. Resultateten för de olika delproven 2009–2012 visade att den variabel som påverkade resultaten mest var testtagarnas utbildningsbakgrund.

0

10

20

30

40

50

60

70

80

90

100

B2009 B2010 B2011VT B2011HT B12012

HÖRA

LÄSA

TALA

SKRIVA

14

Ett typiskt exempel på hur resultaten fördelade sig i förhållande till utbildningsbakgrund visas genom resultaten för 2009 års slutprov.

Figur 6–9. Resultat på nationell nivå av 2009 års slutprov för kurs B, per färdighet och utifrån testtagarnas utbildningsbakgrund. (Antal testtagare se tabell 7 s. 11.)

Av diagrammen framgår att det framförallt fanns en skillnad mellan hur väl testtagare med högst 9 års tidigare utbildning och testtagare med 10 eller fler års utbildning klarade delproven Läsa och Skriva vilket innebär att testtagare med en högre utbildningsbakgrund generellt hade ett högre resultat på dessa delprov. Gruppen med 0–3 års utbildningsbakgrund klarade delprov Höra bättre än delprov Läsa och Skriva. Även gruppen med 4–6 års utbildningsbakgrund hade ett högre resultat på delprovet Höra än på delproven Läsa och Skriva men skillnaden var inte lika utmärkande. För grupperna med 7–9, 10–12 samt 13 eller fler års tidigare utbildning skilde sig inte resultatet på samma sätt mellan delproven Höra, Läsa och Skriva. Skillnaden i resultat mellan de olika grupperna var störst i delprov Läsa. För samtliga slutprov för kurs B under perioden gällde att Tala var det delprov där flest testtagare fått ett godkänt eller väl godkänt resultat oavsett utbildningsbakgrund. Det var dessutom det delprov där skillnaderna i resultat mellan grupperna var minst. Gruppen med 13 eller fler års utbildning hade den högsta andelen godkända respektive väl godkända resultat i samtliga färdigheter. Delprov Höra Som tidigare noterats hade delprov Höra i slutprov 2011HT och 2012 ett högre resultat än de övriga provversionerna. Förändringen för resultaten var procentuellt i stort sett likvärdig för samtliga testtagare oavsett utbildningsbakgrund.

15

En analys av de olika provversionerna för delprov Höra visade inga tydliga skillnader vad gäller texttyper, uppgifter och svarsformat. Inte heller resultaten från utprövningarna visade några avvikande resultat vid en jämförelse av de fem slutproven. En förklaring till de olika provversionernas resultat kan möjligen finnas i den information som ansvariga lärare hade bifogat i samband med att de skickade in genomförda slutprov. Lärarna hade uppmanats att skatta om de aktuella testtagarna ansågs ha nått kursmålen vid provtillfället. Informationen från lärarna för provversionerna 2009, 2010 och 2011VT visade att endast 68, 71 respektive 71 procent av testtagarna ansågs ha nått kursmålen vid provtillfället. Motsvarande siffra för slutprov 2011HT och 2012 var 79 respektive 87 procent. Det bör noteras att lärarnas skattning gällde hela kursen vilket kan innebära att testtagarna hade nått målen för vissa av färdigheterna som prövades men inte alla. Delprov Läsa Sett till den totala gruppen testtagare låg resultaten för delprov Läsa jämnt över åren. Det var samtidigt den färdighet där det fanns ett starkast samband mellan utbildningsbakgrund och lösningsproportion. Särskilt tydligt var det i delprov Läsa 2010. Vid en jämförelse mellan provversionerna fanns det inget annat delprov som hade så stora skillnader i resultaten mellan utbildningsgrupperna. En analys på uppgiftsnivå visade att det i delprov Läsa 2010 fanns ett relativt stort antal deluppgifter där testtagare med 0–3 respektive 4–6 års tidigare utbildning hade ett markant lägre resultat än övriga grupper. Exempel på uppgifter där det fanns stora skillnader i resultat 2010 för de olika grupperna var:

• deluppgifter där testtagarna skulle identifiera avsändare/mottagare alternativt syftet med texten. • deluppgifter där testtagarna skulle svara på frågor utifrån ett schema.

I 2010 års slutprov fanns tio deluppgifter av liknande karaktär. I 2009 års slutprov fanns det inga sådana uppgifter. I slutprov 2011VT fanns det en deluppgift, i slutprov 2011 HT fanns det två och i slutprov 2012 fanns det sex sådana deluppgifter. Testtagare med kortare utbildningsbakgrund (0–3, 4–6 år) hade, oavsett provversion, ett markant lägre resultat på uppgifter som handlade om att identifiera avsändare/mottagare alternativt syftet med texten, jämfört med övriga utbildningsgrupper. I uppgifter där testtagarna skulle svara på frågor utifrån ett schema fanns stora skillnader mellan utbildningsgrupperna vid slutprov 2010 men inga skillnader vid slutprov 2012 där det fanns liknade uppgifter. Diagrammen nedan visar hur resultaten i förhållande till testtagarnas utbildningsbakgrund fördelade sig för delprov Läsa 2009–2012.

16

Figur 10–14. Resultat på nationell nivå av delprov Läsa i slutproven för kurs B 2009–2012 utifrån testtagarnas utbildningsbakgrund. (Antal testtagare se tabell 7 s. 11.)

17

Delprov Tala Tala var det delprov där testtagarnas utbildningsbakgrund verkade ha minst betydelse för resultaten i slutproven för kurs B. Det var det delprov där resultaten låg jämnast över tid men också det delprov som hade störst bortfall, det vill säga det delprov där resultat saknades för ett stort antal testtagare. Bortfallet minskade dock under perioden från 14,9 procent i slutprov 2009 till 0,4 procent i 2012 års slutprov. Delprov Skriva Det delprov i slutproven för kurs B som hade den mest ojämna utvecklingen, sett till hela gruppen testtagare, var Skriva. Det var också det delprov där minst antal testtagare fick ett godkänt resultat oavsett provversion och testtagarnas utbildningsbakgrund. Särskilt tydligt var detta i slutprov 2010. Skrivuppgiften i slutprov 2010 skilde sig något från övriga provversioner. Den hade ett något annorlunda perspektiv och utgick inte på samma sätt från den egna personen. Skrivuppgiften hade ett snävare fokus och lämnade mindre utrymme för testtagarna att själva styra innehållet och krävde också en mer specifik vokabulär. I övriga slutprov var både uppgift och stödfrågor mer inriktade på vardagslivet och den egna personen. Ytterligare något som skilde uppgiften 2010 från andra var att den innehöll en värderande fråga. Skrivuppgiften 2010 engagerade och genererade mycket text och en analys av inskickade bedömda texter (254) visade att många fick omdömet EUM (ej uppnått målen) med motivering att språket inte räckte till, ofta på grund av mycket text och försök till att utveckla innehållet, vilket påverkade korrektheten på ett negativt sätt. En annan motivering till att texten inte bedömts som godkänd var att testtagarna inte hållit sig till ämnet i tillräckligt hög grad. Syftet med en något annorlunda skrivuppgift var att skapa variation och på så sätt undvika att testtagarna använde en utantillinlärd text vid testtillfället, något som provkonstruktören fått synpunkter på i möten med lärare. Vad provkonstruktören misslyckades med var att förmedla att det var helt adekvat att i inledning och avslutning skriva även om det som låg utanför uppgiftens frågeställning. I ett brev till en vän kan det vara rimligt att berätta om sitt vardagsliv även om det inte här var uppgiftens huvudsakliga fokus. Det framgick också av materialet att lärare och provkonstruktören, men också att lärare sinsemellan, vid bedömningen tog hänsyn till olika aspekter i olika hög grad, till exempel beträffande korrekthet i förhållande till risktagning och huruvida texten höll sig till ämnet. Dock ansåg 80 procent av de lärare som svarade på enkäten för slutprov 2010 att uppgiften var relevant och bra och 92 procent att svårighetsgraden låg på en lagom nivå. 5.5 Lärarkommentarer om de nationella slutproven för kurs B, 2009–2012

Det skedde inte någon större förändring i hur slutproven för kurs B uppfattades av lärare under perioden 2009–2012. En stor majoritet ansåg att svårighetsgraden på provversionerna var adekvat och att innehåll och uppgifter speglade kursplanens mål och betygskriterier/kunskapskrav. För slutprov 2010 var det fler lärare än övriga år som uppfattade att svårighetsgraden låg något högt. Lärarna kommenterade slutproven utifrån sina egna uppfattningar men också utifrån hur eleverna reagerat på respektive slutprov. Två typer av kommentarer urskilde sig, å ena sidan fanns kommentarer från lärare som hade elever som tyckte att formaten var för lika, att layouten var för luftig och tiden för lång samt att repetitionerna på delprov Höra var ”sövande tråkiga”. Å andra sidan fanns en stor grupp lärare som vittnade om att de fått många frågor av eleverna när formaten var olika mellan uppgifter. Samma grupp lärare förmedlade att eleverna hade uppskattat slutprovets tydliga struktur därför att den ”skapar trygghet”. De ansåg att delprov Höra gick för fort och att det var alldeles för mycket läsning. Många lärare kommenterade också att instruktionerna ibland var svåra och att de var tvungna att förbereda eleverna noggrant inför varje provtillfälle. Några lärares kommentarer får nedan sammanfatta den disparata uppfattning som fanns om B-proven, kommentarerna gällde samma slutprov, 2011VT.

”De höll på att somna under hör/läs delen. Mycket lätt för min grupp av elever denna gång. (alla fick VG).”

”De tycker att det är lite tid. De tycker att HÖRA går för fort dvs. personerna talar fort. Tiden är för kort för f.d. analfabeter.”

”Det är för mycket luft. Några deltagare blev närmast förnärmade”

18

”Deltagarna är väldigt stressade inför provet. Provets klara, tydliga instruktioner bidrar till att gå ner i varv och koncentrera sig på uppgiften.”

Vid en genomgång av synpunkter i lärarenkäterna framgick att åsikterna om slutproven ofta korrelerade med elevernas utbildningsbakgrund. Om den lärare som besvarat enkäten undervisade en grupp elever med kort utbildningsbakgrund ansåg hon/han att slutprovet var för svårt och vise versa, den lärare som undervisade en grupp elever med en längre utbildningsbakgrund ansåg att slutprovet var för lätt. Skrivuppgifterna i slutproven under perioden beskrevs generellt av lärarna som bra och lagom svåra (se figur 15) men det fanns också flera kommentarer som vittnade om att eleverna uppfattade dem som svåra och för omfattande.

Figur 15. Lärares synpunkter på delslutprov Skriva i slutproven för kurs B 2009–2012.

0

10

20

30

40

50

60

70

80

90

100

B 2009 B 2010 B 2011VT B 2011HT B1 2012

relevant/bra

acceptabel/a

mindre bra

19

6. De nationella slutproven för kurs C, 2009–2012 6.1 Testtagare i de nationella slutproven för kurs C 2009–2012

Som tidigare nämnts finns kurs C på två olika studievägar och kan alltså vara både nybörjarkurs och fortsättningskurs, utformningen ser olika ut men mål och betygskriterier/kunskapskrav är desamma. De nationella slutproven för kurs C ges således till elever från två olika studievägar. Slutproven omfattas av provsekretess och uppgifter kan återanvändas av Skolverket under flera år. För de slutprov som till exempel togs fram 2009 sträcker sig sekretessen till 2015. Tabell 9 visar hur många elever på riksnivå som genomförde respektive slutprov under 2009–20125 fördelat på utbildningsbakgrund.

Tabell 9. Antal elever som genomfört de nationella slutproven för kurs C på riksnivå 2009–2012 (Skolverket 2012).

Testtagarnas utbildningsbakgrund,

antal år

Provversioner, Kurs C

2009 2010 2011VT 2011HT 2012

0 – 3 år 9 % (1324) 10 % (1141) 10 % (1116) 11 % (1034) 8 % (264)

4 – 6 år 8 % (1151) 9 % (1013) 9 % (988) 8 % (798) 7 % (230)

7 – 9 år 15 % (2089) 15 % (1685) 14 % (1512) 13 % (1285) 12 % (373)

10 – 12 år 31 % (4308) 29 % (3307) 29 % (3107) 29 % (2763) 28 % (908)

13 år eller mer 35 % (4920) 36 % (4163) 36 % (3878) 38 % (3638) 40 % (1283)

Okänd* 2 % (262) 1 % (164) 2 % (216) ~2 % (171) 5 % (171)

Totalt 100 % (14054) 100 % (11473) 100 % (10817) 100 % (9689) 100 % (3229)

*Kategori ”Okänd” betyder att uppgiften är osäker eller saknas En majoritet av testtagarna som genomförde C-slutproven 2009–2012 hade 10 eller fler års skolbakgrund (mellan 65 och 68 procent). 6.2 Insamling av resultat

För att provkonstruktören ska ha möjlighet att analysera och vidareutveckla slutproven begärs genomförda slutprov från var femte testtagare och lärarenkäter in under en period av ett år efter första provdatum. Andelen anordnare som skickade in efterfrågat material och antalet inskickade lärarenkäter under perioden var dock lågt. Som exempel kan nämnas att nationellt slutprov för sfi, kurs C 2009 beställdes i 25 000 exemplar av 297 anordnare runt om i landet under uppföljningsperioden (nov. 2009–dec. 2010). Av dessa skickade 41 anordnare in 201 genomförda slutprov till provkonstruktören. Vidare inkom 61 lärarenkäter från 39 anordnare. Antalet inskickade slutprov nästan fördubblades under perioden men var fortfarande lågt i förhållande till antalet beställda och genomförda slutprov. Tabell 10. Antal inskickade slutprov för kurs C, antal anordnare som skickat in slutprov samt antal inskickade lärarenkäter.

5 Varje slutprov kan användas under flera år. Siffrorna i tabellen för varje provversion baseras på samtliga genomförda slutprov under perioden. Detta innebär att, till exempel alla testtagare som genomfört slutprov 2009 under perioden 2009–2012 finns redovisade i spalten för 2009. Det förhållandevis låga antalet testtagare som genomförde provversion 2012 förklaras alltså av att provversionen vid rapportens framtagande hade använts under endast ett år.

20

Provversion Antal slutprov Antal anordnare Lärarenkäter

2009 201 41 61

2010 372 63 82

2011VT 456 81 119

2011HT 395 71 82

2012 370 71 100

6.3 Provgruppens urval i förhållande till samtliga nationellt genomförda slutprov, kurs C

Även för slutproven för kurs C har en jämförelse gjorts av Skolverkets insamlade material på nationell nivå (genom SCB) och provkonstruktörens urval. Detta för att bedöma om provkonstruktörens urval var representativt i förhållande till den totala populationen. Figurerna 16–19 visar en jämförelse av Skolverkets insamlade resultat (antal testtagare se tabell 9) och det resultat som kom in till provkonstruktören (antal testtagare se tabell 10) för respektive delprov i slutproven för kurs C 2009–2012.

Figur 16. Slutprov kurs C, delprov Höra 2009–2012, jämförelse av minst godkänt resultat i provkonstruktörens urval och på nationell nivå.

0

10

20

30

40

50

60

70

80

90

100

HÖRAC2009

HÖRAC2010

HÖRAC2011VT

HÖRAC2011HT

HÖRA C12012

minst G urval

minst G population

21

Figur 17. Slutprov kurs C, delprov Läsa 2009–2012, jämförelse av minst godkänt resultat i provkonstruktörens urval och på nationell nivå.

Figur 18. Slutprov kurs C 2009–2012, delprov Tala, jämförelse av minst godkänt resultat i provkonstruktörens urval och på nationell nivå.

Figur 19. Slutprov kurs C 2009–2012, delprov Skriva, jämförelse av minst godkänt resultat i provkonstruktörens urval och på nationell nivå.

0

10

20

30

40

50

60

70

80

90

100

LÄSAC2009

LÄSAC2010

LÄSAC2011VT

LÄSAC2011HT

LÄSA C12012

minst G urval

minst G population

0

10

20

30

40

50

60

70

80

90

100

TALAC2009

TALAC2010

TALAC2011VT

TALAC2011HT

TALA C12012

minst G urval

minst G population

0

10

20

30

40

50

60

70

80

90

100

SKRIVAC2009

SKRIVAC2010

SKRIVAC2011VT

SKRIVAC2011HT

SKRIVAC1 2012

minst G urval

minst G population

22

Jämförelsen visar, precis som för kurs B, att resultaten för de fem provversionerna i stort sett var stabila över tidsperioden. Diagrammen visar också att stabiliteten för den totala populationen var något bättre än för provkonstruktörens urval. Orsakerna till detta kan förmodligen vara desamma som för B-proven, det vill säga att de inskickade slutproven kom från ett mycket begränsat antal anordnare och speglade inte den heterogena grupp som testtagare i slutproven för sfi utgör. Provkonstruktörens underlag kan dock anses vara tillräckligt representativt för att analyser på uppgiftsnivå ska kunna göras. Analyser på uppgiftsnivå bör även för slutproven för kurs C tolkas med viss försiktighet. 6.4 Resultat över tid

Figur 20 visar procentandel godkända resultat över tid för de olika provdelarna.

Figur 20. Slutproven kurs C 2009–2012, procentandel testtagare med ett minst godkänt resultat, nationell nivå (Skolverket 2012). (Antal testtagare se tabell 9 s. 21.)

Resultaten, särskilt för delproven Tala och Skriva, låg stabilt över åren. Delprov Skriva var det delprov där minst antal testtagare fick ett godkänt resultat. Det delprov där resultatet för de olika provversionerna varierade mest var Höra. Delprov Läsa hade procentuellt något färre testtagare med ett godkänt resultat vid slutprov 2009 jämfört med övriga slutprov. Reliabilitetsindex (se s. 15) för C-slutproven uppnådde för delproven Läsa värden inom intervallet 0.85–0.90 och för delproven Höra värden inom intervallet 0.72–0.77 vilket är godtagbara värden. 6.4.1 Resultaten för de nationella slutproven för kurs C i förhållande till testtagarnas utbildningsbakgrund

Delprov Höra En jämförelse av resultaten för delprov Höra över åren visade att slutproven 2009 och 2011VT hade lägst resultat och slutprov 2012 hade högst resultat. Andelen testtagare med ett godkänt eller väl godkänt resultat på delprov Höra var 73 procent vid prov 2009 och 71 procent vid prov 2011VT jämfört med 86 procent vid prov 2012. Andelen testtagare med ett resultat som låg strax under nivån för ett godkänt resultat (1 eller 2 poäng under) var 15 procent (2009), 16 procent (2011VT) och 7 procent (2012). Vid en analys på uppgiftsnivå framkom att det i slutproven 2009 och 2011VT procentuellt fanns betydligt fler uppgifter med låg lösningsproportion jämfört med övriga provversioner. Samtliga utbildningsgrupper hade jämförelsevis en lägre lösningsproportion på dessa uppgifter. Det fanns dock inga tydliga samband mellan exempelvis en låg lösningsproportion och ett visst svarsformat eller texttyp. Det fanns heller inget mönster som visade ett samband mellan testtagarnas utbildningsbakgrund och resultat kopplat till innehåll och format. Undantag var uppgifter där testtagarna skulle lyssna efter och svara på vad en person tyckte var ”viktigast” eller ”det bästa” med exempelvis ett boende. Dessa uppgifter hade en hög lösningsproportion för testtagare med en högre utbildningsbakgrund medan grupperna med en kortare utbildningsbakgrund hade en relativt låg

0

10

20

30

40

50

60

70

80

90

100

C2009 C2010 C2011VT C2011HT C1 2012

HÖRA

LÄSA

TALA

SKRIVA

23

lösningsproportion. Gemensamt för dessa uppgifter var också att de innehöll relativt mycket text och att testtagarna inte bara var tvungna att förstå vad det talades om utan också uppfatta värderingar som gjordes. En möjlig förklaring till varför resultaten för slutproven 2009 och 2011VT låg lägre än övriga kan eventuellt finnas i den information som lärarna bifogade i samband med att de skickade in genomförda slutprov till provkonstruktören. Där uppmanades de att skatta om aktuella testtagare hade nått kursmålen vid provtillfället. För slutproven 2009 och 2011VT ansåg lärarna att endast 67,2 respektive 64,9 procent av testtagarna hade nått kursmålen vid provtillfället medan till exempel motsvarande siffra för 2012 var 81,6 procent. Delprov Läsa Jämfört med slutproven för kurs B följde resultaten ungefär samma mönster i andel testtagare som hade ett godkänt resultat eller högre. Testtagare med 0–3 respektive 4–6 års utbildningsbakgrund låg resultatmässigt något närmare varandra än på B-proven medan skillnaden i resultaten mellan testtagare med 10–12 års utbildningsbakgrund och testtagare med minst 13 års utbildningsbakgrund hade ökat.

24

Figur 21–25. Resultat på nationell nivå av delprov Läsa i slutproven för kurs C 2009–2012 utifrån testtagarnas utbildningsbakgrund. (Antal testtagare se tabell 9 s. 21.)

Delprovet Läsa hade färre antal testtagare med ett godkänt resultat vid slutprov 2009 än vid övriga provversioner. För testtagare med 0–9 års utbildningsbakgrund utmärkte sig även 2011HT som en provversion med förhållandevis lågt resultat. För delprov Läsa precis som för övriga delprov uppgav lärare att flera av de testtagare som genomfört slutproven inte bedömts vara nära kursmålen vid slutprovtillfället 2009. Precis som i delprov Höra fanns det inga tydliga samband mellan exempelvis en låg lösningsproportion och ett speciellt svarsformat eller texttyp. Analysen av resultaten på uppgiftsnivå visade att det i delprov Läsa 2009 fanns ett fåtal deluppgifter (fyra stycken fördelat på olika uppgifter) där samtliga testtagare hade en relativt låg lösningsfrekvens. För övriga uppgifter och deluppgifter fanns en relativt tydlig skillnad i resultaten relaterad till testtagarnas utbildningsbakgrund, där testtagare med en högre utbildningsbakgrund också hade en högre lösningsfrekvens. Till exempel fanns en uppgift där testtagarna skulle identifiera (genom matchning) varför ett antal personer hade skrivit mejl, det vill säga förstå vad personerna som skrev hade för ärende. Resultaten visade samma tendens som fanns i B-proven för liknande uppgifter, nämligen att testtagare med 0–3 och 4–6 års utbildningsbakgrund hade en lägre lösningsfrekvens än övriga grupper (samma tendens fanns också vid en liknande uppgift i slutprov 20011VT). Andra uppgifter i slutprov 2009 som hade ett förhållandevis lågt resultat, undantaget testtagare med 13 eller fler års utbildningsbakgrund, var uppgifter som handlade om att besvara frågor till en tidningsartikel och en uppgift som prövade ordkunskap. I slutprov 2011HT fanns två uppgifter med frågor till tidningsartiklar och där framför allt testtagare med 0–3, 4–6 och 7–9 års skolbakgrund hade ett förhållandevis lågt resultat. I samtliga fem C-slutprov fanns uppgifter till tidningsartiklar och i stort sett var resultatbilden densamma i alla slutprov, även om det fanns några deluppgifter där också testtagare med 10–12 års skolbakgrund hade ett relativt lågt resultat och några deluppgifter där samtliga testtagare hade ett högt resultat. I samtliga provversioner fanns en relativt tydlig gräns mellan hur stor procentandelen testtagare med 0–9 års utbildningsbakgrund som fick ett godkänt resultat och testtagare med en högre utbildningsbakgrund och godkänt resultat. Samma skillnad fanns också för delprov Skriva och i viss mån även för delprov Höra. Delprov Tala Resultaten för delprov Tala låg relativt jämnt över åren. Figur 26 visar ett exempel på hur resultatbilden kunde se ut under perioden.

Figur 26. Resultat på nationell nivå av delprov Tala i slutprovet för kurs C 2010 utifrån testtagarnas utbildningsbakgrund. (Antal testtagare se tabell 9 s. 21.)

25

Tala var det delprov där högst procentandel testtagare fick ett godkänt resultat eller högre. Det fanns heller inga stora skillnader mellan testtagare med olika utbildningsbakgrund. Delprov Tala var precis som för slutproven för kurs B det delprov som hade störst bortfall, det vill säga det delprov där resultat saknades för ett stort antal testtagare. Bortfallet minskade dock under perioden från 12,9 procent i slutprov 2009 till 1,1 procent i 2012 års slutprov. Delprov Skriva Skriva var det delprov där minst andel testtagare fick ett godkänt resultat. Jämfört med slutproven för kurs B var den procentuella andelen godkända testtagare också lägre. Det slutprov för kurs C som hade högst andel testtagare som inte fick ett godkänt resultat var slutprov 2011VT. Av de inkomna lärarenkäterna till slutprov 20011VT var det endast 53 procent av lärarna som tyckte att det var en bra skrivuppgift. Av lärarnas kommentarer framgick att det var bilderna i skrivuppgiften, som var tänkta som stöd, som uppfattades som förvirrande men det fanns även kommentarer om temat och instruktionerna till uppgiften. Skillnaden mellan resultaten på skrivuppgiften 2011VT och övriga provversioner var störst för testtagare med 4–6 års utbildningsbakgrund, men den var också stor för testtagare med 0–3 och 7–9 års utbildningsbakgrund. Testtagare med 10 eller fler års utbildning hade för delprov Skriva relativt likvärdiga resultat oavsett provversion. 6.5 Lärarkommentarer om de nationella slutproven för kurs C, 2009–2012

Kommentarerna från lärarna var något mer samstämmiga i slutproven för kurs C än för kurs B. Det fanns dock en skiljelinje mellan lärare som undervisade grupper från olika studievägar. Bland annat fick 2010 års provversion kommentarer om att slutprovet passade studerande från studieväg 2 bättre än testtagare från studieväg 3. För slutprov 2012 fanns kommentarer om att det var svårt för studerande från studieväg 1 att relatera innehållet i slutprovet till egna erfarenheter. Några kommenterade även att instruktionerna inte var tillräckligt tydliga för testtagare från studieväg 1. Delprov Höra hade 2009 ett lägre stöd hos de lärare som svarat på lärarenkäten jämfört med övriga år. Endast 66 procent tyckte att innehållet var bra. Även 2011VT hade delprov Höra ett jämförelsevis lägre stöd av lärarna även om en stor majoritet ansåg att innehållet var bra. För 2011VT gällde det lägre stödet från lärarna även delprov Läsa. Det lärarna framför allt anmärkte på var att svårighetsgraden i delprov Läsa var för låg. Uppgifter som innehöll diagram kommenterades och vissa lärare framförde att uppgifterna var svåra och att de inte var relevanta eftersom de var matteuppgifter. I kunskapskraven och tidigare betygskriterier är det tydligt framskrivet att den studerande ska kunna hämta information från tabeller och diagram. Uppgifterna var inte formulerade så att testtagarna behövde göra uträkningar utan handlade om att hämta och/eller jämföra information. En analys av de uppgifter som innehöll diagram visade att uppgiften vid 2009 års slutprov hade en förhållandevis låg lösningsproportion för samtliga grupper på två av tre deluppgifter. Resultaten för uppgifter som innehöll diagram för övriga provversioner (2010–2012, en uppgift per provversion, sammanlagt 13 deluppgifter) hade genomgående en relativt hög lösningsfrekvens för samtliga testtagare. Tabell 11. Antal deluppgifter med en lösningsproportion på 75 procent eller mer utifrån testtagarnas utbildningsbakgrund i provversionerna 2010–2012 (13 deluppgifter).

Testtagarnas utbildningsbakgrund

0–3 år 4–6 år 7–9 år 10–12 år 13 år eller mer

Totalt

Antal deluppgifter med en lösningsproportion på 75 procent eller mer.

10

11 13 13 13 13

26

7. De nationella slutproven för kurs D, 2009–2012

7.1 Testtagare i de nationella slutproven för kurs D 2009–2012

Kurs D finns endast på studieväg 3 och är en fortsättningskurs och den sista kursen inom utbildningen i svenska för invandrare. Det innebär att testtagare från både studieväg 1, 2 och 3 genomför de nationella slutproven för kurs D. Slutproven omfattas av provsekretess och uppgifter kan komma att återanvändas av Skolverket under flera år. Tabell 11 visar hur många elever som genomförde respektive slutprov under 2009–20126 fördelat på utbildningsbakgrund.

Tabell 12. Antal elever som genomfört de nationella slutproven för kurs D på riksnivå 2009–2012 (Skolverket 2012).

Testtagarnas utbildningsbakgrund,

antal år

Slutprovversioner, kurs D

2009 2010 2011VT 2011HT 2012

0 – 3 7 % (618) 7 % (576) 8 % (763) 8 % (680) 7 % (214)

4 – 6 5 % (505) 6 % (488) 7 % (612) 7 % (538) 6 % (184)

7 – 9 11 % (1026) 11 % (834) 12 % (1100) 12 % (989) 11 % (307)

10 – 12 30 % (2807) 30 % (2259) 29 % (2665) 29 % (2327) 28 % (819)

13 år eller mer 46 % (4343) 43 % (3223) 42 % (3812) 42 % (3349) 43 % (1263)

Okänd* 1 % (156) 3 % (189) 2 % (152) 2 % (151) 5 % 133

Totalt 100 % (9455) 100 % (7569) 100 % (9104) 100 % (8034) 100 % (2920)

*Kategori ”Okänd” betyder att uppgiften är osäker eller saknas

Drygt 70 procent av de testtagare som genomförde slutproven för kurs D 2009–2012 hade 10 eller fler års utbildningsbakgrund. 7.2 Insamling av resultat För att provkonstruktören ska ha möjlighet att analysera och vidareutveckla slutproven begärs genomförda slutprov från var femte testtagare och lärarenkäter in under en period av ett år efter första slutprovdatum. Andelen anordnare som skickade in efterfrågat material och antalet inskickade lärarenkäter under perioden 2009–2012 var dock lågt. Som exempel kan nämnas att nationellt slutprov sfi, kurs D 2010 beställdes i ca 15 500 exemplar. Av dessa inkom 285 genomförda slutprov till provkonstruktören för analys. De inskickade slutproven kom från 41 anordnare. Dessutom inkom 86 lärarenkäter från 55 anordnare.

6 Varje slutprov kan användas under flera år. Siffrorna i tabellen för varje provversion baseras på samtliga genomförda slutprov under perioden. Detta innebär att, till exempel alla testtagare som genomfört slutprov 2009 under perioden 2009–2012 finns redovisade i spalten för 2009. Det förhållandevis låga antalet testtagare som genomförde provversion 2012 förklaras alltså av att provversionen vid rapportens framtagande hade använts under endast ett år.

27

Tabell 13. Antal inskickade slutprov för kurs D, antal anordnare som skickat in slutprov samt antal inskickade lärarenkäter.

Version Antal slutprov Antal anordnare Lärarenkäter

2009 305 68 86

2010 285 41 86

2011VT 408 63 114

2011HT 360 69 90

2012 308 63 79

7.3 Provgruppens urval i förhållande till samtliga nationellt genomförda slutprov, kurs D

För att bedöma om provkonstruktörens urval är representativt i förhållande till den totala populationen har en jämförelse gjorts även för slutproven för kurs D av Skolverkets insamlade material på nationell nivå (antal testtagare se tabell 12) och provkonstruktörens urval (antal testtagare se tabell 13). I figur 27–30 ser vi jämförelsen av Skolverkets och provkonstruktörens insamlade material för de respektive delproven för slutproven för kurs D 2009–2012.

Figur 27. Slutprov kurs D, delprov Höra 2009–2012, jämförelse av minst godkänt resultat i provkonstruktörens urval och på nationell nivå.

0

10

20

30

40

50

60

70

80

90

100

HÖRA D252009

HÖRA D262010

HÖRAD2011VT

HÖRAD2011HT

HÖRA D12012

minst G urval

minst G population

28

Figur 28. Slutprov kurs D, delprov Läsa 2009–2012, jämförelse av minst godkänt resultat i provkonstruktörens urval och på nationell nivå.

Figur 29. Slutprov kurs D, delprov Tala 2009–2012, jämförelse av minst godkänt resultat i provkonstruktörens urval och på nationell nivå.

0

10

20

30

40

50

60

70

80

90

100

LÄSA D252009

LÄSA D262010

LÄSAD2011VT

LÄSAD2011HT

LÄSA D12012

minst G urval

minst G population

0

10

20

30

40

50

60

70

80

90

100

TALAD25 2009

TALAD26 2010

TALAD2011VT

TALAD2011HT

TALA D12012

minst G urval

minst G population

29

Figur 30. Slutprov kurs D, delprov Skriva 2009–2012, jämförelse av minst godkänt resultat i provkonstruktörens urval och på nationell nivå.

Resultaten för samtliga testtagare på nationell nivå visade att provversionerna var relativt stabila över tidsperioden. Framför allt gällde detta delprov Tala och Läsa men även i stort sett för delprov Skriva. Däremot visade resultaten för delprov Höra en något större variation. Diagrammen visar också att stabiliteten för den totala populationen var bättre än för provkonstruktörens urval. Orsakerna till detta var troligen desamma som för B- och C-proven, det vill säga att de inskickade slutproven kom från ett mycket begränsat antal anordnare och speglade inte den heterogena grupp som testtagare i slutproven för sfi utgör. Underlaget kan ändå anses vara tillräckligt representativt för att analyser på uppgiftsnivå ska kunna göras. Analyser på uppgiftsnivå bör dock även för D-proven tolkas med viss försiktighet. 7.4 Resultat över tid

Följande diagram visar lösningsproportionen för de olika slutprovdelarna över tid.

0

10

20

30

40

50

60

70

80

90

100

D25 2009 D26 2010 D2011VT D2011HT D1 2012

HÖRA

LÄSA

TALA

SKRIVA

Figur 31. Slutproven kurs D 2009–2012, procentandel testtagare med ett minst godkänt resultat, nationell nivå (Skolverket 2012). (Antal testtagare se tabell 12 s. 30.)

Tala var det delprov där flest testtagare uppnådde ett minst godkänt resultat. Det var också det delprov som hade det jämnaste resultatet över åren. Även delprov Läsa hade ett stabilt resultat. Delprov Skriva låg förhållandevis jämnt men vid slutprov 2010 var det färre testtagare som fick ett godkänt resultat jämfört med övriga år. Det delprov där testtagarnas resultat visade störst variation var delprov Höra, främst på grund av ett markant lägre resultat 2011VT. Andelen testtagare med ett godkänt eller väl godkänt resultat på delprov Höra var 64 procent vid prov 2011Vt jämfört med 72 procent vid prov 2012. Andelen testtagare med ett resultat som låg

0

10

20

30

40

50

60

70

80

90

100

SKRIVAD25 2009

SKRIVAD26 2010

SKRIVAD2011VT

SKRIVAD2011HT

SKRIVAD1 2012

minst G urval

minst G population

30

strax under nivån för ett godkänt resultat (1 eller 2 poäng under) var 15 procent (20011VT) och 9 procent (2012). För de slutprov som ingått i uppföljningen fanns felbedömda svar i samtliga kursprov. Flest fanns dock i D-proven. Exempel på felbedömningar som förekom var poäng för fel svarsalternativ, poäng trots att två svar fanns ikryssade eller uppgifter där testtagaren skulle ange vilka påståenden/uttalanden som var rätt och där testtagaren ej fått poäng på grund av att hon/han inte skrivit dem i exakt samma ordningsföljd som stod i bedömningsmallen. I rapporten ingår resultaten oredigerade det vill säga enligt anordnarnas resultatredovisning. Reliabilitetsindex (se s. 15) för D-slutproven uppnådde för delprov Läsa värden inom intervallet 0.86–0.89 och för delprov Höra värden inom intervallet 0.70–0.79 vilket alltså är godtagbara värden. 7.4.1 Resultaten för de nationella slutproven för kurs D i förhållande till testtagarnas utbildningsbakgrund

Diagrammet ovan visar resultaten utifrån samtliga testtagare som gjort de respektive slutproven under perioden 2009–2012. När resultaten presenteras utifrån utbildningsbakgrund ser fördelningen något annorlunda ut. Delprov Höra Resultatfördelningen utifrån testtagarnas utbildningsbakgrund såg något annorlunda ut för slutproven för kurs D jämfört med övriga slutprov. Skillnaderna mellan hur väl testtagare med olika utbildningsbakgrund klarade respektive färdighet var större i slutproven för kurs D än i B- och C-proven. I B- och C-proven korrelerade en längre utbildningsbakgrund generellt med ett bättre resultat. I fyra av fem slutprov för kurs D hade gruppen testtagare med en utbildningsbakgrund på 0–3 år ett högre resultat än grupperna med en utbildningsbakgrund på 4–6 respektive 7–9 år. Vid ett par provversioner hade gruppen med 0–3 års utbildningsbakgrund också ett i stort sett jämförbart resultat med testtagare med 10–12 års utbildning.

31

Figur 32–36. Resultat på nationell nivå av delprov Höra i slutproven för kurs D 2009–2012 utifrån testtagarnas utbildningsbakgrund. (Antal testtagare se tabell 12 s. 30)

Denna tendens gällde för samtliga färdigheter. Det måste dock påpekas att andelen testtagare med 0 – 9 års utbildningsbakgrund var jämförelsevis liten i förhållande till andelen testtagare med 10 eller fler års tidigare utbildning. Som tidigare nämnts så uppvisade delprov Höra 2011VT ett jämförelsevis lägre resultat än övriga provversioner. En tänkbar orsak till detta var att det vid slutprov 2009 och 2010 krävdes 11 av 18 respektive 13 av 21 poäng för ett godkänt resultat och vid slutprov 2011VT krävdes 13 av 18 poäng, vilket procentuellt sett var ett något högre krav. Kravsättningen var gjord utifrån analys av mål och betygskriterier och med stöd av utprövningsresultatet för slutprovet och bedömdes vara rimlig av slutprovkonstruktören. Precis som vid C-proven uppmanades lärarna att skatta om aktuella testtagare hade nått kursmålen vid provtillfället. För slutprovet 2011VT ansåg lärarna att endast 65,2 procent av testtagarna hade nått kursmålen vid provtillfället medan motsvarande siffra för 2012 var 80,2 procent. Uppgifter som innebar att testtagarna skulle svara på frågor utifrån information på en telefonsvarare hade en förhållandevis låg lösningsfrekvens med undantag för testtagare med 13 eller fler års utbildningsbakgrund. Utmärkande för uppgifterna var att de innehöll specifik vokabulär, informationstät text och testtagarna var tvungna att läsa och tolka frågorna parallellt med att de lyssnade, även om det fanns tid avsatt till att läsa igenom frågorna i förväg. Gruppen testtagare med 13 eller fler års utbildning var stor och klarade uppgiften mycket väl, vilket också slog igenom i lösningsproportionen för hela gruppen testtagare. Det var först när analyser gjordes utifrån testtagarnas utbildningsbakgrund som det blev tydligt att uppgiftstypen innebar svårigheter för alla testtagare utom de med längst utbildningsbakgrund. Ett uppgiftsformat som förekom i delprov Höra var matchning. Ett exempel på uppgiftsformatet kunde vara att testtagarna fick lyssna på en person som berättade om olika händelser och där testtagarna skulle välja rätt rubrik till varje händelse. Vid en jämförelse av uppgifterna i delprov Höra visade det sig att matchning ofta hade en relativt låg lösningsfrekvens. En närmare analys visade att matchningsuppgifterna hade ett högt diskriminationsvärde vilket innebär att de som klarat uppgifterna var desamma som hade fått ett högt resultat på hela delprovet. Detta kan tolkas så att vissa testtagare klarade matchningsuppgifter bättre än andra och att det var samma testtagare som generellt klarade delprov Höra bättre jämfört med övriga testtagare. Delprov Läsa Svarsfrekvensen för delprov Läsa låg relativt stabil över åren. Vid en jämförelse av resultaten utifrån testtagarnas utbildningsbakgrund visade det sig dock att testtagarnas tidigare utbildning påverkade resultaten i högre grad i D-proven än i B- och C-proven. Noterbart är att gruppen med 4–6 års utbildningsbakgrund genomgående hade det lägsta resultatet av alla utbildningsgrupper medan grupperna med 0–3 och 7–9 års skolbakgrund hade ett i stort sett jämförbart resultat.

32

Gruppen med 10–12 års utbildningsbakgrund hade i B-proven och i stort sett också i C-proven jämförbara resultat med gruppen med 13 eller fler års utbildning. Skillnaden i lösningsproportion på uppgifterna framför allt i delprov Läsa för dessa grupper ökade betydligt i D-proven. Särskilt stor skillnad i lösningsproportion mellan testtagare med 13 eller fler års utbildning och övriga var det vid slutprov 2012. Testtagare med 13 eller fler års utbildningsbakgrund hade ett relativt likvärdigt resultat i samtliga slutprovversioner medan övriga grupper hade en betydligt lägre lösningsfrekvens vid slutprov 2012. Detta gällde endast för delprov Läsa. En analys på uppgiftsnivå visade inga tydliga samband mellan en låg lösningsproportion och vissa svarsformat, innehåll eller texttyper. Gruppen med 13 eller fler års tidigare utbildning hade på en majoritet av uppgifterna en hög lösningsproportion och övriga grupper hade en relativt låg lösningsproportion på en majoritet av uppgifterna. Delprov Tala Delprov Tala var precis som för B- och C-proven det delprov som hade störst andel testtagare med ett godkänt resultat eller högre. Resultaten låg relativt jämnt över åren. Den grupp som generellt hade lägst lösningsproportion var testtagare med 4–6 års tidigare skolbakgrund. Testtagare med 0–3 års skolbakgrund hade högre resultat än gruppen med 7–9 års skolbakgrund. I tre av de fem provversionerna har denna grupp också ett högre resultat än testtagare med 10–12 års skolbakgrund. Delprov Skriva Resultaten för delprov Skriva låg också förhållandevis jämnt över åren förutom slutprov 2010 som hade ett något lägre resultat. Vid en jämförelse mellan provversionerna fanns ingen synbar skillnad i uppgifternas innehåll och konstruktion. Den enda noterbara skillnaden var att 2010 års slutprov innehöll en skrivuppgift av mer formell karaktär som saknade stödpunkter. Även en av skrivuppgifterna 2011VT saknade stödpunkter men då handlade uppgiften om att svara på ett personligt mejl och en konkret fråga ställdes i mejlet. Det kan alltså ha funnits ett samband mellan det lägre resultatet och att uppgiften saknade stödpunkter. 7.5 Lärarkommentarer om de nationella slutproven för kurs D, 2009–2012

En övervägande majoritet av lärarna framförde att slutproven för kurs D hade ett bra innehåll och att de låg på en lagom nivå. Delprov Höra 2009 och 2011VT uppfattades som alltför svåra av en stor grupp lärare. Resultaten för den totala gruppen testtagare låg förhållandevis högt 2009 medan resultaten 2011VT hade ett lägre resultat. De muntliga uppgifterna var minst uppskattade av lärarna. Exempel på kommentarer som lärarna skrev var att ämnena inte alltid engagerade eller var tillräckligt autentiska, men åsikterna varierade. På samma sätt som för övriga slutprov fanns kommentarer som påvisade helt skilda uppfattningar. Till exempel lyftes uppgift 4 i delprov Läsa 2011HT fram som exempel på en både för lätt och för svår uppgift. I ett slutprov, som hade demokrati som tema, handlade en uppgift om barnkonventionen. Den fick följande påpekande ”Vi har precis läst om barnkonventionen, kul att den dök upp i slutprovet” men också ”Varför barnkonventionen och BO?” och ”Barntemat är inte acceptabelt!”

33

8. Sammanfattning och kommentarer I föreliggande rapport har redovisats en uppföljning och analyser av de nationella slutproven för utbildning i svenska för invandrare 2009–2012. År 2009 infördes nationella slutprov för kurs B och C. Tidigare fanns endast ett nationellt slutprov, för den avslutande kursen, kurs D. Denna uppföljning har gjorts på fem slutprov per kurs och uppföljningen har gjorts enbart på pappersprov7. Underlaget för uppföljningen och analyserna består dels av Skolverkets nationellt insamlade resultat (genom SCB), dels av provkonstruktörens insamlade material (se s. 4). Jämförelser och analyser har gjorts av resultaten för varje kurs över tid, både när det gäller slutproven som helhet och av de olika delproven, Höra, Läsa, Tala (muntlig interaktion och produktion) och Skriva. För att undersöka om det finns faktorer som på olika sätt kan ha påverkat resultat och lösningsproportion har analyser också gjorts på uppgiftsnivå. 8.1 Resultat på nationell nivå

0

10

20

30

40

50

60

70

80

90

100

D25 2009 D26 2010 D2011VT D2011HT D1 2012

HÖRA

LÄSA

TALA

SKRIVA

Figur 37–39. Resultat på nationell nivå av slutproven för kurs B, C och D per färdighet 2009–2012. (Antal testtagare för respektive kurs och provversion se s. 11, 21 och 30.)

Uppföljningen och analyserna visade att resultaten låg relativt jämnt över tidsperioden. De visade också att en majoritet av testtagarna för samtliga slutprov hade ett minst godkänt resultat vilket också är rimligt i målrelaterade slutprov. De kursprov där resultaten låg jämnast över tid var slutproven för kurs B och det var också de slutprov där resultaten för delproven Höra, Läsa, Tala och Skriva låg mest samlade med undantag för slutprov 2010 då delprov Skriva hade ett lägre resultat än övriga delprov. Andelen testtagare som fått ett minst godkänt resultat för kurs B ökade succesivt 2011VT, 2011HT och 2012. I slutproven för kurs C var andelen testtagare som fick ett minst godkänt resultat något mindre jämfört med slutproven för kurs B. Resultaten för delproven Tala och Skriva låg relativt jämnt över åren men andelelen testtagare som fått ett minst godkänt resultat var mindre för delprov Skriva än för delprov Tala. Det delprov där resultatet varierade mest över åren var Höra. Även resultaten för slutproven för kurs D låg relativt stabilt över tid. Det fanns dock en något större variation mellan de olika delproven jämfört med slutproven för kurs B och C. Högst andel testtagare med ett godkänt 7 Under denna period utkom även tre IT-baserade slutprov per kurs, men inget av dessa behandlas i denna rapport. Rapporter och jämförelser som berör de första IT-baserade proven och pappersbaserade prov finns på Skolverket Uppföljnings- och utvärderingsrapport för nationella slutprov (dnr 2010-00381).

0

10

20

30

40

50

60

70

80

90

100

B2009 B2010 B2011VT B2011HT B12012

HÖRA

LÄSA

TALA

SKRIVA

0

10

20

30

40

50

60

70

80

90

100

C2009 C2010 C2011VT C2011HT C1 2012

HÖRA

LÄSA

TALA

SKRIVA

34

resultat eller högre hade, precis som för slutproven för kurs B och C, delprov Tala och det var också det delprov där resultaten låg jämnast över tid. Även delprov Läsa hade ett jämnt resultat över tid. 8.2 Reliabilitetsindex

För att undersöka samstämmigheten mellan uppgifterna och att resultaten inte påverkats av andra faktorer än vad som var tänkt att prövas har ett reliabiltetsindex med hjälp av Cronbachs Alpha (se s. 15) tagits fram för delproven Höra och Läsa. Maxvärdet på Cronbach´s Alpha är 1 och ett godtagbart värde bör ligga på 0,7 eller högre. Värdena för delproven som ingår i rapporten varierade mellan 0,70–0,90. 8.3 Resultat av uppföljning av de nationella slutproven

Vid en analys av resultaten för delproven i B-, C- D-proven under perioden konstaterades, precis som vid tidigare gjorda uppföljningar, att resultaten påverkades av testtagarnas utbildningsbakgrund. I både Skolverkets och provkonstruktörens insamlade material finns resultaten redovisade för den totala populationen och utifrån testtagarnas utbildningsbakgrund. 8.3.1 De nationella slutproven för kurs B 2009–2012

Generellt visade resultaten för slutproven för kurs B, med undantag av delprov Tala, att testtagare med en längre utbildningsbakgrund också hade ett högre resultat. En uppdelning av resultaten utifrån testtagarnas utbildningsbakgrund visade att de olika grupperna hade ungefär likvärdiga resultat på delproven, till exempel hade gruppen 7–9 ungefär samma resultat på Höra som på Läsa och Skriva. Grupperna med en utbildningsbakgrund på 0–3, och 4–6 år hade ett något bättre resultat på Höra än på Läsa och Skriva. Det delprov där utbildningsbakgrunden påverkade resultaten minst var Tala. Det var också det delprov som generellt hade flest testtagare med ett godkänt eller högre resultat. I tidigare uppföljningar har det uppmärksammats att delprov Tala ofta har haft ett stort bortfall i redovisat resultat vilket har förklarats med att testtagare som inte fått ett godkänt resultat på delproven Höra och Läsa inte fått genomföra delprovet Tala. Detta har kunnat tolkas som att endast testtagare med ett högt resultat i övriga delprov fått genomföra delprov Tala, vilket i sin tur påverkat resultatbilden. År 2012 infördes en ny modell för sammanvägning av slutprovsbetyg och det blev möjligt att få ett godkänt slutprovsbetyg utan att ha ett godkänt resultat på samtliga delprov. I 2009 års slutprovsversion var bortfallet i delprov Tala 14,9 procent jämfört med 2012 då bortfallet endast var 0,4 procent. Resultatbilden påverkades dock inte av detta. I det insamlade materialet framkom två motsatta uppfattningar hos lärarna om slutprovets innehåll, utformning och svårighetsgrad. De olika uppfattningarna kunde relateras till vilka undervisningsgrupper lärarna hade. Från lärare som undervisade elever med en kortare utbildningsbakgrund fanns många kommentarer, till exempel om att hörförståelsen gick för fort och att instruktionerna var svåra medan lärare som undervisade elever med längre utbildningsbakgrund hade en helt motsatt uppfattning. Av de testtagare som genomförde slutprovet för kurs B 2009–2012 hade cirka 20 procent en tidigare utbildningsbakgrund på minst 13 år. Det var också den grupp som hade den högsta andelen godkända resultat för samtliga färdigheter. Cirka 50 procent av testtagarna på slutproven för kurs B hade en utbildningsbakgrund på högst 9 år. Den procentuellt stora grupp med testtagare med en längre utbildningsbakgrund väcker frågan vem kursen och därmed också slutproven för kurs B riktar sig till. 8.3.2 Resultat på uppgiftsnivå för B-proven

Analyser av resultaten har också gjorts på uppgiftsnivå. Det fanns inga tydliga mönster som visade att en viss typ av texter, innehåll eller uppgiftsformat påverkade resultaten generellt. Det fanns dock några uppgifter i slutproven för varje kurs där testtagare med en lägre utbildningsbakgrund konsekvent hade en lägre lösningsproportion. I slutproven för kurs B fanns några uppgifter som handlade om att identifiera avsändare/mottagare alternativt syftet med texten vilket innebar att svaren till uppgifterna fanns mer implicit i texten. Denna typ av uppgifter verkade skapa svårigheter för testtagare med 0–3 samt 4–6 års utbildningsbakgrund. Uppgifter som innebar att testtagaren skulle svara på frågor utifrån ett schema visade stora skillnader i resultat för testtagare med olika

35

utbildningsbakgrund i slutprov 2010 men inga skillnader i slutprov 2012. Detta skulle kunna vara ett resultat av så kallad testeffekt, det vill säga att texttyper som förekommer i standardiserade test också blir vanligare i undervisningen. 8.3.3 De nationella slutproven för kurs C 2009–2012

Resultaten för de olika delproven låg relativt stabilt över tid men allmänt var andelen testtagare med ett godkänt resultat lägre än för B-proven. Resultaten utifrån testtagarnas utbildningsbakgrund följde i stort sett samma mönster som i slutproven för kurs B. Det fanns dock vissa skillnader. Testtagare med 0–3 respektive 4–6 års utbildningsbakgrund låg resultatmässigt något närmare varandra i C-proven medan skillnaden mellan testtagare med 10–12 års utbildningsbakgrund och testtagare med minst 13 års utbildningsbakgrund hade ökat. Delprov Tala var, precis som för slutproven för kurs B, det delprov med högst andel godkända testtagare och det delprov där testtagarnas utbildningsbakgrund inte i samma grad tycktes påverka resultatet. Även för slutproven för kurs C minskade bortfallet för Tala succesivt och var i princip helt borta vid slutprov 2012. Det minskade bortfallet påverkade inte heller resultaten för slutproven för kurs C märkbart. 8.3.4 Resultat på uppgiftsnivå C-proven

Det fanns inte heller i slutproven för kurs C några tydliga samband på uppgiftsnivå mellan, till exempel en låg lösningsproportion och en viss texttyp, innehåll eller ett visst svarsformat. Undantag från detta var delprov Höra där det fanns vissa uppgifter där testtagarna skulle lyssna efter och svara på vad en person tyckte var ”viktigast” eller ”det bästa” med exempelvis ett arbete. Dessa uppgifter hade en hög lösningsproportion för testtagare med en högre utbildningsbakgrund medan grupperna med en kortare utbildningsbakgrund hade en relativt låg lösningsproportion. Gemensamt för dessa uppgifter var att de innehöll relativt mycket text och att testtagarna inte bara var tvungna att förstå vad det talades om utan också att de kunde uppfatta personens värderingar. Uppgifterna krävde att testtagarna lyssnade på hela texten och inte fokuserade på att svaret skulle finnas i enstaka informativa detaljer. 8.3.5 De nationella slutproven för kurs D 2009–2012

Jämfört med slutproven för kurs B och C så var det generellt en något lägre andel testtagare som fick ett godkänt eller högre resultat på slutproven för kurs D. Detta gällde för samtliga grupper. Fortfarande var dock andelen testtagare med ett minst godkänt resultat förhållandevis hög. En skillnad i slutproven för kurs D jämfört med B- och C-proven var att testtagare med en utbildningsbakgrund på 0–3 år hade i ett högre resultat än grupperna med 4–6 respektive 7–9 års utbildningsbakgrund i fyra av fem slutprov. De hade dessutom i ett par provversioner ett i stort sett jämförbart resultat med testtagare med 10–12 års utbildning. Gruppen med 10–12 års utbildningsbakgrund hade i slutproven för kurs B och i viss mån även i slutproven för kurs C relativt jämförbara resultat med gruppen med 13 eller fler års utbildning. Skillnaden i lösningsproportion för dessa grupper ökade betydligt i slutproven för kurs D speciellt för delprov Läsa. Särskilt stor skillnad var det för delprov Läsa vid slutprov 2012. Delprov Tala följde samma mönster som för slutproven för kurs B och C, det vill säga, att även om det fanns skillnader i resultaten beroende på testtagarnas utbildningsbakgrund var dessa skillnader förhållandevis små. 8.3.6 Resultat på uppgiftsnivå för D-proven

Precis som för slutproven för kurs B och C fanns det inte för slutproven för kurs D några tydliga samband på uppgiftsnivå mellan en låg lösningsproportion och en viss texttyp, innehåll eller ett visst svarsformat. Även för slutproven för kurs D fanns vissa undantag i delprov Höra. I slutproven för kurs D fanns några uppgifter med uppgiftsformatet matchning som hade en förhållandevis låg lösningsproportion oberoende av testtagarnas utbildningsbakgrund. En närmare analys visade att

36

matchningsuppgifterna hade ett högt diskriminationsvärde vilket innebar att de som klarat uppgifterna var desamma som hade fått ett högt resultat på hela delprovet. En annan uppgiftstyp som visade skillnad i resultat mellan testtagare med olika utbildningsbakgrund var att svara på frågor utifrån en telefonsvarare. Gemensamt för dessa uppgifter var att de innehöll specifik vokabulär, informationstät text och att testtagarna var tvungna att läsa frågorna parallellt med att de lyssnade, även om tid var avsatt till att läsa igenom frågorna i förväg. Uppgifter av denna typ kräver strategier och förmåga att samtidigt kunna lyssna, läsa och tolka. Delprov Skriva 2010 hade ett något avvikande resultat. Den enda noterbara skillnaden jämfört med övriga provversioner var att delprovet innehöll en skrivuppgift som saknade stödpunkter. Detta kan indikera att det finns ett samband mellan ett lägre resultat och uppgifter som saknar stödpunkter.

8.4 Avslutande kommentarer

Uppföljningen har visat att de nationella slutproven under perioden 2009–2012 har hållit en relativt jämn nivå när det gäller samtliga kurser, vilket naturligtvis är tillfredsställande. Den faktor som påverkat resultaten mest är testtagarnas utbildningsbakgrund. Detta stämmer väl överens med erfarenheter från både tidigare utprövningar och uppföljningar. Det som blivit tydligare genom denna uppföljning, som möjliggjort en jämförelse över tid är till exempel att resultaten utifrån testtagarnas utbildningsbakgrund förändrades mellan B-, C- och D-proven. Resultaten från B-proven visade, för alla färdigheter utom Tala, att lösningsproportionen ökade i förhållande till testtagarnas utbildningsbakgrund, ju fler års skolbakgrund desto högre resultat. I D-proven var detta förhållande annorlunda vilket innebar att testtagare med 0–3 års skolbakgrund hade ett högre resultat är grupperna med 4–6 och 7–9 års utbildningsbakgrund för färdigheterna Höra, Läsa och Skriva i fyra av fem provversioner. Att hitta en förklaring till detta förhållande är omöjlig inom ramen för provkonstruktörens arbete. Resultaten kan dock indikera att framför allt grupperna med 4–6 och 7–9 års skolbakgrund kan vara i behov av mer stöd i utbildningen. Testtagargrupperna med en utbildningsbakgrund på 0–3, 4–6 och 7–9 var förhållandevis mindre i D-proven än i B- och C-proven men procentandelen för respektive grupp som genomfört D-proven under åren 2009–2012 var i stor sett stabil. B-proven ges till testtagare från två studievägar. För studieväg 1 är kurs B en fortsättningskurs och de flesta elever har en mycket kort utbildningsbakgrund. Många elever är illiterata när de börjar studera på sfi. Även om eleverna har utvecklat tillräckliga läs- och skrivkunskaper för att få ett godkänt resultat på B-proven har troligen få också fullt ut hunnit utveckla en funktionell litteracitet. För studieväg 2 är kurs B en nybörjarkurs och eleverna förväntas vara läs- och skrivkunniga (på sitt modersmål) även om de inte självklart är funktionellt litterata. Många av testtagarna med 7–9 års utbildningsbakgrund kan ha en skoltid som ligger långt tillbaka i tiden. Det kan i ett testsammanhang behövas olika stöd beroende på vilken bakgrund testtagarna har. För provkonstruktören är det en utmaning att göra prov som vänder sig till testtagare med olika förkunskaper och studievana. Även om det kan finnas godtagbara skäl till att vissa elever med en hög utbildningsbakgrund studerar på kurs B finns det anledning att ifrågasätta rimligheten i att en så stor grupp av testtagare med en hög utbildningsbakgrund genomför B-proven. Även om delprov Höra generellt för samtliga kurser hade ett relativt jämnt resultat över tid fanns det två provversioner för kurs C (2009 och 2011VT) och en provversion för kurs D (20011VT) som hade lägre resultat än övriga. Uppgifterna i dessa delprov skiljde sig inte generellt från övriga provversioner. En förklaring till de lägre resultateten kan eventuellt finnas i den information som fanns i lärarenkäterna till respektive prov. Lärarnas hade uppmanats att skatta om testtagare hade nått kursmålen vid provtillfället. För de båda provversionerna för kurs C ansåg lärarna att endast 67,2 procent (2009) respektive 64,9 procent (2011VT) av testtagarna hade nått kursmålen vid provtillfällena och för kurs D (2011VT) 65,2 procent. För övriga prov var lärarnas skattning av andelen testtagare som nått kursmålen vid provtillfället väsentligt högre, till exempel 86 procent vid C-provet 2012 och 80,2 procent vid D-provet 2012. Vid en analys framkom att andelen testtagare som inte fått ett godkänt resultat men som låg en eller två poäng under gränsen för godkänt var högre i C-provet 2009 och C- och D-provet 2011VT än för övriga provversioner. Provkonstruktören vet inte om skattningen av hur nära målen testtagaren är har gjorts efter provtillfället och om hänsyn tagits till provresultatet. Det som går att

37

konstatera är att när lärare har uppgett att en stor grupp testtagare inte var nära målen fanns det en högre andel testtagare som hade ett resultat som låg strax under gränsen för ett godkänt resultat. Uppföljningen visade att Tala var den färdighet som oberoende av testtagarnas utbildningsbakgrund hade högst lösningsproportion på samtliga prov under perioden. Resultatet är positivt men kan väcka frågan varför färdigheten Tala skiljde sig i så hög grad från resultaten för övriga färdigheter. Det talade språket är flyktigt och dessutom inte lika väl beskrivet och normerat som det skrivna språket (Se Samtal på gång, Skolverket 2012). Forskning och beprövad erfarenhet visar att det är svårt att göra reliabla bedömningar av muntlig produktion och interaktion. Orsaker till det förhållandevis höga resultatet i färdigheten Tala kan vara flera. Det skulle exempelvis kunna ha att göra med uppgifternas utformning eller att det funnits andra kunskaper om elevens muntliga förmåga som påverkat bedömningen. Provet ska genomföras när eleven bedömts ha nått målen för samtliga färdigheter och eftersom testtagarna kan ha olika kompetensprofiler är det därför också rimligt att provresultaten för olika de färdigheterna kan variera.

38

9. Referenser

Bachman, L. F. 2004. Statistical Analyses for Language Assessment. Cambridge University Press. DeVellis, R. F. 2003. Scale Development. Theory and Application. Applied Social Research. Methods Series. 2 ed. Sage Publications. O’Sullivan, B. & Weir, C. 2006. ALTE Language Testing Seminar. Paper. Perugia. Skollagen 2010:800. Skolverket, 2012 PM Dnr 71-2013:28. Skolverket 2012. Samtal på gång Skolverket, dnr 2010-00381 Uppföljnings och utvärderingsrapport för nationella slutprov. SKOLFS 2009:2. Förordning om kursplan för svenskundervisning för invandrare. SKOLFS 2012:13). Förordning om kursplan för utbildning i svenska för invandrare. Senast ändrad 2012:13.