Effekter  av  BKA-­‐opplæring  i  muntlig  norsk  Effektmåling  av  kurs  i  muntlige  ferdigheter  ved  hjelp  av  kvasi-­‐eksperimentell  metode  og  pre-­‐post  undersøkelser.  

1    

Forord    Denne  rapporten  er  skrevet  på  bakgrunn  av  oppdrag  om  effektmåling  av  opplæring  i  muntlige  ferdigheter,  slik  det  er  finansiert  av  Vox  gjennom  programmet  for  Basiskompetanse  i  arbeidslivet  (BKA).  Kartlegging  og  datamateriale  er  en  kombinasjon  av  kvantitative  kartlegginger,  før  og  etter  kurs,  og  kvalitative  undersøkelser  av  et  utvalg  kurs,  samt  testing  av  språkferdigheter  basert  på  kvasi-­‐eksperimentell-­‐metode.    Ingen  av  datakildene  er  perfekte,  men  har  vi  fanget  inn  et  bredt  spekter  av  mulige  effekter,  og  mulige  sammenhenger  og  forklaringer.      Arbeidet  er  gjennomført  i  samarbeid  mellom  Red  Tape  Crossing  AS  og  Comte  Bureau  DA.  Jon  Hovland  Honerud  (Red  Tape  Crossing  AS)  var  prosjektleder,  og  hovedansvarlig  for  kvalitativ  datainnsamling  og  analyse.  Øystein  Evensen  og  Erlend  Nyhammer  (Comte  Bureau)  var  prosjektdeltakere,  og  hovedansvarlige  for  kvantitative  analyser  og  ideutvikling.  MiA  (Mangfold  i  Arbeidslivet)  utarbeidet  språktester,  men  var  for  øvrig  ikke  involvert  i  arbeidet.  Stein  Dørdal  og  Anne  Hovland  gjennomførte  språktester  til  kvasi-­‐eksperiment.                  Jon  Hovland  Honerud  prosjektleder    Kongsberg,  30.  juni  15      

2    

Sammendrag    Tilskuddsordningen  Basiskompetanse  i  arbeidslivet  (BKA)  ble  opprettet  i  2006.  Ordningen  har  gitt  tilskudd  til  virksomheter  som  ønsker  å  arrangere  opplæring  i  grunnleggende  lese-­‐,  skrive-­‐,  regne-­‐  og  dataferdigheter  for  sine  ansatte.  Fra  2014  ble  det  i  tillegg  støtte  til  kurs  som  omfatter  opplæring  i  muntlige  ferdigheter,  i  moduler  på  30  eller  50  timer.  Rapporten  er  en  effektmåling  av  opplæring  i  muntlige  ferdigheter,  basert  på  skoleåret  2014-­‐15.    Den  kvantitative  spørreundersøkelsen,  som  ble  gjennomført  både  før  og  etter  kursene,  og  blant  de  samme  deltakerne  viser  at  kursene  har  en  viss  effekt.  I  snitt  er  det  en  fremgang  på  11  prosentpoeng  som  vurderer  sitt  muntlige  ferdighetsnivå  som  godt  eller  meget  godt  etter  fullført  kurs,  og  like  i  underkant  av  30  prosent  oppgir  at  de  har  hatt  en  forbedring  i  muntlige  ferdigheter  etter  at  de  har  gått  på  kursene.  Samtidig  ser  vi  at  den  vanligste  effekten  av  kursene  er  at  deltakerne  ikke  forbedrer  sitt  muntlige  ferdighetsnivå.  Rundt  halvparten  av  kursdeltakerne  rapporterer  ingen  forbedring  i  muntlige  ferdigheter.  Vi  finner  imidlertid  at  det  er  en  større  effekt  med  tanke  på  hvor  enkelt  det  er  for  deltakerne  å  bruke  språket  i  ulike  situasjoner  i  hverdags  –  og  arbeidsliv,  og  hvor  ofte  de  gjør  det.  Analysene  viser  at  70  prosent  av  deltakerne  mener  det  har  blitt  enklere  å  snakke  norsk  i  en  eller  annen  situasjon  etter  at  de  har  gått  på  kursene.  Det  betyr  at  det  er  en  høyere  andel  deltakere  som  oppgir  at  det  det  har  blitt  enklere  å  snakke  norsk  i  ulike  situasjoner,  enn  det  er  deltakere  som  oppgir  at  de  generelt  har  blitt  bedre  til  å  snakke  norsk.  Dette  kan  peke  i  retning  av  at  deltakerne  i  større  grad  ”prøver  seg”  i  ulike  situasjoner,  uten  at  de  nødvendigvis  opplever  seg  som  bedre  i  språket.        Gjennom  språktestene  viser  det  seg  at  mange  har  en  framgang,  til  dels  stor  framgang.  Omtrent  hver  tredje  opplever  likevel  ingen  eller  liten  målbar  effekt.  Det  er  markant  forskjell  på  testgruppen  og  kontrollgruppen  som  ikke  fikk  kurs.  Jevnt  over  fremstår  fremgangen  større  i  språktestene  enn  i  spørreundersøkelsen,  men  det  er  her  viktig  å  understreke  at  kursene  ble  valgt  ut  strategisk,  med  tanke  på  å  vurdere  om  det  kan  observeres  effekt  i  kurs  man  kan  anta  har  effekt.  Resultatene  kan  derfor  ikke  sammenlignes.      Ut  fra  dette  konkluderer  vi  at  opplæring  i  muntlige  ferdigheter  har  effekt,  men  at  effekten  antagelig  fremtrer  sjeldnere  enn  den  kunne  ha  gjort,  ettersom  det  kan  se  ut  til  at  det  er  mønstre  i  hvilke  egenskaper  ved  kurs  (innretting  og  deltakere)  som  øker  sannsynligheten  for  effekt.          

3    

Innhold  Forord  ...........................................................................................................................  1  

Sammendrag  ................................................................................................................  2  

Kapittel  1  Innledning  ....................................................................................................  5  

Kapittel  2  Metodikk:  Effektmålinger  og  datainnsamling  ............................................  10  

Del  1:  Overordnet  metodisk  design  .......................................................................  10  

Del  2:  Beskrivelse  av  datainnsamlingsmetoder  ......................................................  12  

Kvantitative  data  ....................................................................................................  12  

Betraktninger  rundt  spørreundersøkelsen  .........................................................  14  

Intervjuer  ................................................................................................................  14  

Betraktninger  rundt  gjennomføring  ...................................................................  15  

Språktesting:  Kvasi-­‐eksperiment  ............................................................................  15  

Gjennomføring  av  tester  ....................................................................................  18  

Opplevelsesdagbøker  og  observasjon  ....................................................................  19  

Del  3:  Beskrivelser  av  datamaterialet  ....................................................................  19  

Frekvensfordelinger  ...........................................................................................  20  

Case-­‐studier  og  intervjuer  ..................................................................................  23  

Oppsummering  og  vurdering  av  datamaterialet  ....................................................  25  

Kapittel  3  Effekt  av  opplæring  i  muntlige  ferdigheter.  ...............................................  27  

1  av  3  mener  de  snakker  bedre  norsk  etter  kursene.  ............................................  27  

Hverdagspraten  har  blitt  enklere  for  mange  ..........................................................  28  

Språktestene  viser  varierende,  men  til  dels  svært  god  effekt  ................................  32  

Kapittel  4  Effekter  og  sammenhenger  .......................................................................  35  

Indre  faktorer  .........................................................................................................  35  

Motivasjon  .........................................................................................................  35  

Utdanning  og  kompetanse  .................................................................................  39  

Betydningen  av  språkerfaring  i  kvantitative  data  ..............................................  40  

Språkkompetanse  og  effekt  av  kursene  .............................................................  41  

Indre  og  ytre  faktorer  i  eksperiment-­‐  og  intervjudata  ...........................................  42  

Ytre  faktorer  ...........................................................................................................  42  

Bedrifters  og  lederes  tilrettelegging  og  deltakelse  ............................................  43  

Lederes  motivasjon  ............................................................................................  45  

Betydningen  av  bransje  på  kursenes  effekt  .......................................................  46  

Kurs-­‐lærernes  opplevelser  .................................................................................  47  

Kapittel  5  Oppsummering  av  funn  og  anbefalinger  ...................................................  49  

4    

 Oversikt  tabeller  i  rapport:    Tabell  1:  Sammenligning  av  utvalg  og  populasjon  etter  bransjefordeling.  ................  13  Tabell  2:  Frekvenstabell  demografi,  utvalg.  ...............................................................  20  Tabell  3:  Frekvenstabell  forklaringsvariabler.  ............................................................  21  Tabell  4:  Sammenhengen  mellom  effekt  av  kurs  og  tidligere  kurs  ............................  41    Oversikt  figurer  i  rapport:    Figur  1:  Oversikt  over  anvendte  metoder  i  prosjektet.  ..............................................  11  Figur  2:  Andelen  som  mener  de  snakker  god  eller  dårlig  norsk  før  og  etter  kurs.  .....  27  Figur  3:  Andelen  som  oppgir  endringer  i  muntlige  språkferdigheter  fra  før  til  etter  kurset.  ........................................................................................................................  28  Figur  4:  Vurdering  av  å  snakke  norsk  i  ulike  situasjoner  i  arbeidslivet.  ......................  30  Figur  5:  Vurdering  av  å  snakke  norsk  i  ulike  situasjoner  i  hverdagslivet.  ...................  31  Figur  6:  Skår  på  språktesten  før  og  etter  kurs.    ..........................................................  32  Figur  7:  Resultater  språktest  for  testgruppe.  .............................................................  33  Figur  8:  Frekvensfordeling  motivasjon  til  å  delta  på  kurset.  ......................................  37  Figur  9:  Andelen  som  oppgir  økning  i  muntlige  språklige  ferdigheter  etter  deres  motivasjon  for  å  delta  på  kursene.  .............................................................................  38  Figur  10:  Frekvensfordeling  av  forventninger  blant  deltakerne.  ................................  39  Figur  11:  Andelen  med  forbedret  selvrapporterte  muntlige  ferdigheter  etter  botid.  41  Figur  12:  Andel  som  oppgir  at  de  har  forbedret  sine  muntlige  ferdigheter  etter  hvilke  norskprøver  de  har  tatt.  .............................................................................................  42  Figur  13:  Sammenhengen  mellom  å  gå  på  kurs  med  kollega  og  effekten  av  kursene.  ...................................................................................................................................  44  Figur  14:  Sammenhengen  mellom  hvordan  kurset  er  organisert  og  effekten  av  kursene.  ......................................................................................................................  44  Figur  15:  Sammenhengen  mellom  valgfrihet  og  effekten  av  kursene.  (n=355)  .........  45  Figur  16:  Sammenhengen  mellom  bedriftens  rolle  i  planlegging  av  kurs  og  effekt  av  kursene  .......................................................................................................................  45  Figur  17:  Sammenhengen  mellom  respondentens  bransje  og  effekt  av  kursene  (N=280).  De  9  høyest  representerte  bransjene  i  datamaterialet..  .............................  47      

5    

Kapittel  1   Innledning    Tilskuddsordningen  Basiskompetanse  i  arbeidslivet  (BKA)  ble  opprettet  i  2006.  Ordningen  gir  tilskudd  til  virksomheter  som  ønsker  å  arrangere  opplæring  i  grunnleggende  ferdigheter  for  sine  ansatte.  Målet  for  opplæringen  er  at  BKA  skal  medvirke  til  å  styrke  grunnleggende  ferdigheter,  slik  at  færre  faller  ut  av  arbeidslivet  og  flere  kan  ta  del  i  opplæring  og  utdanning.  Til  og  med  utlysningen  som  fant  sted  i  2013,  har  36  509  personer  deltatt  på̊  opplæringskurs.  Vox  har  tildelt  496,5  millioner  kroner  fordelt  på  1  558  prosjekter.    

Om  BKA-­‐programmet  og  muntlige  ferdigheter  Fra  2014  inngår  også̊  opplæring  i  muntlige  ferdigheter  i  ordningen,  i  tillegg  til  de  tidligere  omfattede  ferdighetene  lesing,  skriving,  regning  og  digitale  ferdigheter.  Søkerne  av  midlene  kan  være  private  eller  offentlige  virksomheter,  kurstilbydere,  organisasjoner  i  arbeidslivet  og  næringsforeninger,  forutsatt  at  det  er  etablert  samarbeid  i  tråd  med  kriteriene.  Midlene  skal  gå  til  kurs  for  voksne  arbeidstakere,  primært  de  med  kort,  formell  utdanning.    

BKA  gir  tilskudd  til  kurs  i  en  eller  flere  av  de  grunnleggende  ferdighetene,  og  opplæringen  skal  være  knyttet  til  deltakernes  arbeidssituasjon.  Søkerne  setter  samme  kursopplegg  basert  på  standardiserte  kursmoduler,  inntil  tre  moduler  per  kurs:    

• Modul  1  –  lesing  og  skriving  40  timer  • Modul  2  –  lesing  og  skriving  50  timer  • Modul  3  –  lesing  og  skriving  100  timer  • Modul  4  –  regning  50  timer  • Modul  5  –  digitale  ferdigheter  30  timer  • Modul  6  –  muntlige  ferdigheter  30  timer,  minst  én  modul  (1-­‐5)  i  tillegg  • Modul  7  –  muntlige  ferdigheter  50  timer,  minst  én  modul  (1-­‐5)  i  tillegg  

Effektmålingen  vil  altså  være  rettet  mot  kurs  som  inneholder  modul  6  eller  7  i  søknaden.  Effektene  må  derfor  sees  i  lys  av  timeomfanget,  og  det  er  også  verdt  å  merke  seg  at  kursene  deltakerne  går  på,  ikke  nødvendigvis  er  kommunisert  primært  som  kurs  i  muntlige  ferdigheter.  Vox  har  utarbeidet  læringsmål  for  opplæringen  i  muntlige  ferdigheter,  som  eksempel  på  lokal  læreplan,  der  muntlige  ferdigheter  defineres  som  følger:  ”  Muntlige  ferdigheter  innebærer  å  skape  mening  gjennom  å  lytte,  tale  og  samtale.  Det  betyr  å  mestre  ulike  språklige  handlinger  og  å  samordne  verbale  og  andre  delferdigheter.  Det  betyr  videre  å  kunne  lytte  til  andre  og  gi  respons  og  være  bevisst  på  mottakeren  når  en  taler  selv”.1  

Om  oppdraget  og  hvordan  det  er  løst  BKA-­‐kurs  har  blitt  evaluert  ved  flere  anledninger,  både  eksternt  og  internt.  En  oppsummering  av  disse  evalueringene  finnes  i  Vox-­‐notat  13/2014,  og  gjengis  ikke  for  øvrig  her.  Formålet  med  dette  prosjektet  er  å  måle  effekten  av  opplæring  i  muntlige  ferdigheter  gjennom  BKA.    

                                                                                                               1  http://www.vox.no/Grunnleggende-­‐ferdigheter/Laringsmal/  

6    

Oppdraget  skiller  seg  fra  typiske  evalueringsoppdrag  på  to  måter.  For  det  første  er  det  et  oppdrag  om  måling  av  effekt,  og  ikke  en  bred  evaluering.  For  det  andre  er  det  en  måling  på  et  helt  innledende  stadium,  det  vil  si  i  første  reelle  implementering.  Dette  anser  vi  som  svært  prisverdig  og  klokt;  det  gir  raskt  et  godt  bilde  av  hvordan  et  nytt  initiativ  som  dette  fungerer.  Samtidig  er  det  modig;  det  er  all  mulig  grunn  til  å  anta  at  det  er  innfasingsproblemer,  og  som  vi  skal  se  opplevde  flere  ledere  at  de  måtte  gjøre  seg  noen  erfaringer,  og  vi  ser  at  noe  av  svært  relevante  materiellet  fra  Vox  ikke  er  allment  kjent  i  målgruppene  ennå.    

Comte  Bureau  og  Red  Tape  Crossing  AS  har  satt  opp  et  omfattende  FoU-­‐prosjekt  for  å  kartlegge  og  måle  effekter  og  endringer  over  et  bredt  spekter  av  datakilder,  og  med  ulike  metodiske  innfallsvinkler.  Vi  har  samlet  inn  brukerdata  fra  355  deltakere  før  og  etter  opplæring,  vi  har  utviklet  egne  språktester  og  satt  opp  et  relativt  omfattende  kvasi-­‐eksperiment  for  å  måle  effekt  på  muntlige  ferdigheter,  og  har  hentet  inn  kvalitative  data  fra  deltakere,  ledere  og  lærere,  primært  gjennom  67  dybdeintervjuer  med  totalt  42  deltakere,  ledere  og  lærere.  I  sum  gir  dette  et  godt  grunnlag  for  presist  å  vurdere  effekt  og  sammenhenger.    

Som  i  alle  slike  oppdrag,  er  et  avgjørende  spørsmål  hva  som  kan  regnes  som  effekt?  I  de  neste  avsnittene  skal  vi  fordype  oss  noe  i  hvordan  vi  forstår  og  observerer  effekt  i  målingene.    

Overordnet  mål  for  finansieringen  er  å  trygge  tilknytningen  til  arbeidslivet.  Dette  ville  derfor  kunne  vært  et  effektmål.  De  færreste  av  deltakerne  står  i  en  slik  posisjon  at  endring  av  grad  av  tilknytning  til  arbeidslivet  (for  eksempel  oppsigelse  eller  fast  jobb)  er  en  umiddelbar  mulighet.  Videre  har  undersøkelsen  gått  over  mindre  enn  ett  år,  og  det  er  ikke  grunn  til  å  regne  med  stort  omfang  av  endringer.  Ettersom  vi  ikke  direkte  kan  måle  effekt  i  form  av  styrket  tilknytning  til  arbeidslivet,  ser  vi  på  indikatorer  knyttet  mer  direkte  til  muntlige  ferdigheter.  

Fra  utsiden  kan  det  fremstå  som  om  effekt  av  BKA-­‐kursene  her  handler  om  bedre  muntlige  norskferdigheter.  ”Norskkurs”  eller  ”norsk  språk”  må  imidlertid  ikke  forveksles  med  målsettingene  for  finansieringen.  BKA  finansierer  opplæring  i  muntlige  ferdigheter,  ikke  bundet  til  ”norsk”.  For  eksempel  fant  man  i  undersøkelsen  kurs  som  for  deltakerne  ble  kommunisert  som  kommunikasjons-­‐  og  konflikthåndteringskurs.    

Imidlertid  blir  kursenes  effekt  på  muntlige  ferdigheter,  her  primært  vurdert  i  form  av  arbeidsrelevante,  muntlige  ferdigheter  på  norsk  språk.  Bedre  arbeidsrelevante  norskferdigheter  er  med  andre  ord  heller  ikke  det  samme  som  generelle  norskferdigheter.  Generelle  norskferdigheter  vil  i  noen  grad  være  en  forutsetning,  samtidig  som  det  er  særlige  deler  av  språket  en  får  bruk  for  for  å  fungere  i  en  gitt  stilling  i  en  gitt  bransje,  for  eksempel  uttrykt  gjennom  forståelse  for  kommunikasjonsformer  og  sosial  samhandling  på  arbeidsplassen,  eller  kunnskap  om  bransjespesifikke  ord  og  uttrykk.  Dette  er  ferdighetene  vi  primært  har  vurdert  effekt  av.      

7    

Det  er  likevel  ikke  bare  en  observerbar  effekt  av  kursene  som  er  aktuell  i  dette  prosjektet.  Det  var  naturlig  å  vurdere  deltakernes  og  interessentenes  oppfatning  og  opplevelse  av  andre  effekter,  og  dette  vil  også  bli  rapportert  om,  men  målingene  sentrerer  seg  rundt  muntlige  ferdigheter  i  arbeidssituasjonen.  I  klartekst:  Effekt  er  alle  observerbare  forandringer  eller  hendelser  som  kan  kausalt  kobles  til  gjennomføring  av  kurs,  men  rapportens  målinger  er  fokusert  rundt  effekt  observert  endring  i  arbeidsrelevante,  muntlige  norskferdigheter.  

Dette  ble  også  aktualisert  ved  at  deltakerne  og  lederne  vi  møtte  hadde  ulike  oppfatninger  av  hva  slags  opplæring  de  deltok  i.  De  aller  fleste  oppfattet  opplæringen  som  ”norskkurs”,  og  de  som  ikke  gjorde  det,  oppfattet  seg  i  stor  grad  ikke  omfattet  av  en  kartlegging  rundt  ”muntlige  ferdigheter”.  

Dette  innebærer  at  målgruppen  i  effektmålingen,  i  stor  grad  også  kan  sies  å  være  segmentet  som  oppfatter  kursene  som  en  form  for  opplæring  i  norsk  språk.  Dette  er  også  det  elementet  vi  har  valgt  å  vektlegge  i  kvasi-­‐eksperimentet  vi  satte  opp,  ettersom  det  vil  treffe  en  stor  del  av  kursene,  og  gi  grunnlag  for  etterrettelige  målinger.  

Denne  effekten  av  kursene  har  i  kartleggingen  både  en  subjektiv  dimensjon  og  objektiv  dimensjon.  Den  subjektive  dimensjonen  omhandler  hvordan  deltakerne  selv  mener  de  behersker  muntlige  ferdigheter  ,  og  om  de  mener  det  er  enklere  å  bruke  språket  i  ulike  hverdags  –  og  arbeidssituasjoner.  Objektive  dimensjoner  omhandler  hvorvidt  deltakerne  har  fått  observerbare  endringer  i  muntlige  ferdigheter  etter  at  de  har  gått  på  kursene.  2  

Herværende  rapport  er  altså  ikke  en  evaluering  av  BKA-­‐ordningen  som  sådan,  men  en  effektmåling  av  ny-­‐innrettingen  ”opplæring  i  muntlige  ferdigheter”.  Målet  for  oppdraget  er  altså  å  vurdere  i  hvilken  grad  dette  er  en  form  for  tilskudd  som  gir  effekt,  og  hvilke  effekter  det  gir.    

For  å  oppsummere,  har  vi  utgangspunkt  i  følgende  problemstillinger  i  innretting  av  undersøkelser  av  effekt:  

 - I  hvilken  grad  er  /  oppleves  kursene  å  relatere  seg  direkte  til  deltakernes  

arbeidshverdag?  - I  hvilken  grad  opplever  deltakere  og  arbeidsgivere  bedringer  i  muntlige  

ferdigheter?  - Hvilke  typer  effekt  blir  vektlagt  (deltakere  og  arbeidsgivere)  - I  hvilken  grad  gir  kursene  en  målbar  bedring  i  muntlige  ferdigheter?  

                                                                                                               2  Det  kan  presiseres  at  dette  er  et  skille  mellom  grunnleggende  ulike  typer  av  effekter.  Målingene,  eller  datainnsamlingen,  vil  likevel  i  ulike  grader  være  avhengig  av  forskerens  subjekt,  for  eksempel  ved  vurdering  i  språktester.  Objektet  for  målingen  er  like  fullt  en  objektiv  størrelse.  

8    

For  å  vurdere  sammenhenger  og  bakenforliggende  forklaringer  knyttet  til  effekter,  har  vi  i  innrettingen  av  undersøkelsen  også  gått  inn  på  en  rekke  tilstøtende  problemstillinger  -­‐  i  tillegg  til  den  rene  effektvurderingen:    

- Hva  er  arbeidsgivernes  forventning  til  det  som  skal  læres?  - Hvordan  forstår  deltakerne  sin  rolle  i  læringsprosessen?  - I  hvilken  grad  er  deltakerne  motiverte  før  og  etter  kurs?  - Hvilke  forventninger  omtales,  og  hvordan  endres  dette  i  løpet  av  kurset?  - Hva  legger  respondentene  vekt  på,  og  blir  engasjert  av?  - Hvilke  andre  effekter  vektlegges  av  deltakerne?  - Er  det  sammenhenger  mellom  kjennetegn  ved  respondentene  og  språklig  

utvikling?  

 Effektmålene  i  studien:  Effekter  er  tidkrevende  og  omstendelig  å  måle.  Mange  effektmålinger  er  basert  på  egenrapportert  nytte,  med  andre  ord;  deltakerne  får  tilsendt  spørsmål  om  hvorvidt  de  mener  å  ha  blitt  bedre  gjennom  kursene.  Dette  gir  viktig  informasjon,  men  har  klare  svakheter:    -­‐ Det  er  ikke  lett  å  evaluere  egen  kompetanse  tilbake  i  tid,  og  dermed  vanskelig  å  

grads  vurdere  kompetansehevingen.  -­‐ Opplevelse  av  effekter  kan  påvirke  hverandre,  i  den  enkleste  formen  ved  at  

tilfredshet  med  læreren  i  seg  selv  gir  en  positiv  opplevelse  og  dermed  en  forestilling  om  læringsutbytte  –  riktig  eller  uriktig.  

-­‐ Det  er  krevende  å  vurdere  egen  kompetanse  og  nivå.      Vi  har  derfor  designet  prosjektet  med  mål  om  å  redusere  vektleggingen  av  individuell  vurdering  av  kursenes  effekt  i  etterkant,  og  i  større  grad  hente  data  som  mer  objektivt  kan  beskrive  effekter  og  sammenhenger:      

• Spørreundersøkelse,  sendt  til  alle  deltakere  før  og  etter  kurs,  for  å  kartlegge  bakgrunn,  opplevd  mestring,  opplevd  effekt  og  tilfredshet.  

• Språktesting  av  arbeidsrelevante  muntlige  ferdigheter,  basert  på  kvasi-­‐eksperiment  i  fire  virksomheter,  med  kontrollgruppe.  

I  tillegg  suppleres  kartleggingen  av  en  omfattende  kvalitativ  datainnsamling  blant  deltakere,  ledere  og  lærere.  Fokus  ligger  her  på  opplevelser,  erfaringer,  kompetanse,  motivasjon  og  historier.    I  ettertid  ser  vi  at  forskningsdesignet  har  visse  svakheter  med  hensyn  til  inkorporering  av  kvalitative  data.  Ettersom  dette  datamaterialet  er  utformet  med  hensyn  på  individuell  bakgrunnsinformasjon  for  kontroll  over  kvasi-­‐eksperimentene,  og  utdypende  og  utforskende  data  i  lys  av  spørreundersøkelsene,  har  materialet  ikke  funnet  en  plass  som  selvstendig  analyseobjekt.  Det  er  synd,  ettersom  vi  har  et  omfattende  materiale,  som  potensielt  kan  gi  interessante  observasjoner.  Dels  fant  vi  

9    

at  en  slik  analyse  først  og  fremst  ville  bli  forstyrrende  i  rapporten,  ettersom  man  i  slike  analyser  forholder  seg  til  datanivå  som  ikke  kan  sammenlignes  med  de  langt  mer  fokuserte  effektmålingene.  Videre  var  det  lite  overlapp  mellom  former  for  funn,  og  vi  har  derfor  fokusert  på  områder  der  datatypene  er  gjensidig  utdypende.  Vi  må  understreke  at  det  kvalitative  materialet  dermed  i  høyeste  grad  er  nyttiggjort  gjennom  analyser  av  bakgrunn  og  kontekstforståelse,  men  altså  i  mindre  grad  i  form  av  selvstendige,  kvalitative  analyser  slik  det  fremgår  gjennom  rapporten.  Datamaterialet  blir  tilgjengeliggjort  for  Vox  i  anonymisert  form  (både  individ  og  virksomhet),  til  senere  bruk.      Datakildene  vil  generelt  ha  sine  helt  ordinære  svakheter  og  forbehold  som  drøftes  i  metodekapittelet.  Der  det  er  særlig  relevant  for  tolkning,  refereres  det  til  eventuelle  forbehold  gjennom  analysen.  Totalt  sett  gir  materialet  et,  om  ikke  unikt,  så  svært  godt  grunnlag  for  å  på  et  tidlig  tidspunkt  i  implementeringen  av  tiltaket  å  vurdere  effekt  og  forbedringspotensial.      Rapporten  er  bygget  opp  slik:  I  neste  kapittel  beskriver  vi  metodikken  denne  rapporten  er  basert  på.  I  Kapittel  3  presenterer  sentrale  funn,  og  beskriver  de  overordnede  målingene  av  effekt  basert  på  de  ulike  datakildene.  I  kapittel  4  diskuterer  vi  fenomen  og  funn  som  kan  påvirke  effekten  av  kursene.  I  kapittel  5  oppsummerer  vi  funnene  og  resultatene,  og  kommer  med  antakelser  og  forslag  til  justeringer.          

10    

Kapittel  2  Metodikk:  Effektmålinger  og  datainnsamling    Metodekapittelet  består  av  tre  deler:  Del  1  beskriver  det  overordnede  metodiske  designet  vi  har  brukt  i  dette  prosjektet.  Del  2  består  av  mer  detaljerte  metodebeskrivelser  av  hvordan  vi  har  jobbet  med  datainnsamlingen,  samt  dataens  kvalitet  og  representativitet.  Del  3  er  en  deskriptiv  fremstilling  av  datamaterialet,  det  vil  si  en  redegjørelse  for  hva  empirien  i  undersøkelsen  konkret  inneholder.  Avslutningsvis  oppsummerer  vi  vurderinger  om  empirien  og  datainnsamlingen.      

Del  1:  Overordnet  metodisk  design  Prosjektets  oppdrag  var  måling  av  effekter  av  muntlige  ferdigheter  gjennom  BKA.  I  innledningen  drøftet  vi  effektdimensjonen,  og  ettersom  effektmålet  i  dette  prosjektet  er  sammensatt,  har  vi  i  utforming  av  metodisk  design  jobbet  med  flere  mulige  effekter,  sentrert  rundt  arbeidsrelaterte,  muntlige  ferdigheter,  uttrykt  ved  norsk  språk.    

Vi  har  benyttet  kvantitative  kartleggingsgrep  og  kvalitative  intervju  med  deltakere  og  arbeidsgivere  for  å  få  grep  om  erfaringer  og  opplevd  utvikling  gjennom  kurset.  Sist  men  ikke  minst  utviklet  vi  egne  språktester  som  var  tilpasset  målsettingene  i  programmet;  det  vil  si  å  styrke  grunnleggende  ferdigheter  i  (lesing,  skriving,  regning,  digitale  og)  muntlige  ferdigheter  blant  voksne,  slik  at  færre  faller  ut  av  arbeidslivet  og  flere  kan  ta  del  i  opplæring  og  utdanning.  I  vår  datainnsamling  har  vi  ut  fra  dette  fokusert  på  bransje-­‐  eller  yrkesrelaterte  muntlige  ferdigheter.    

Ved  siden  av  en  bred  tilnærming  til  datainnsamling,  skiller  designet  i  dette  prosjektet  seg  fra  hvordan  lignende  effektmålinger  vanligvis  legges  opp,  ved  at  vi  har  lagt  opp  til  pre-­‐  og  posttesting  i  den  kvantitative  undersøkelsen  og  språktester  utformet  som  kvasi-­‐eksperimenter  (se  neste  del  for  mer  detaljert  beskrivelse  av  selve  gjennomføringene).  Pre-­‐posttestmetodikk  innebærer  å  gjøre  målinger  før  og  etter  hendelser  og  tiltak.  I  dette  tilfelle  vil  hendelsen  være  at  deltakerne  gjennomfører  de  aktuelle  kursene.  Med  et  slikt  pre-­‐  og  post  design  har  man  muligheten  til  å  følge  utviklingen  hos  samme  individer  over  tid.  Dette  er  en  forutsetning  for  å  si  noe  om  effekter.    

I  tillegg  har  vi  som  nevnt  inkludert  metoder  fra  randomiserte  eksperiment  i  gjennomføringen  av  språktestene  ved  å  introdusere  en  kontrollgruppe.  En  kontrollgruppe  er  et  utvalg  av  respondenter  som  ikke  har  blitt  utsatt  for  hendelsen  man  forsøker  å  måle  effekten  av.  I  denne  sammenhengen  vil  det  si  et  utvalg  av  personer  som  ikke  har  gått  på  språkkurs.  Ved  å  innføre  en  slik  kontrollgruppe  blir  det  enklere  å  utelukke  at  mulige  effekter  er  forårsaket  av  bakenforliggende  forhold.  Eksperimentdata  som  dette  må  ikke  forveksles  med  kvalitative  data  (primært  intervjuer).  Eksperimenter  er  designet  for  å  gjøre  kontrollert  måling  av  effekt.  

11    

Kvalitativ  datainnsamling  er  designet  for  å  gi  bred  og  dyp  forståelse  og  innsikt,  som  deretter  må  fortolkes  før  det  kan  settes  i  sammenheng.  Kvalitative  data  gir  større  grunnlag  for  presis  og  relevant  fortolkning.  Eksperiment-­‐data  gir  på  sin  side  større  mulighet  for  kontroll  med  tilfeldigheter  og  bakenforliggende  variabler.    

 

I  figuren  under  oppsummeres  de  ulike  undersøkelsene  som  er  gjennomført  i  løpet  av  prosjektet,  og  når  i  prosessen  datainnsamlingen  foregikk.  Vi  kan  oppsummere  med  å  si  at  vi  har  samlet  et  bredt  spekter  av  datamateriale,  og  det  er  gjort  fordi  ulike  typer  data  har  sine  styrker,  som  gjør  at  effekter  kan  påvises  og  dokumenteres  på  ulike  måter.    

 Figur  1:  Oversikt  over  anvendte  metoder  i  prosjektet.    

       

Før/oppstartsfase  kurs  

• Intervjuer  med  nøkkelinformanter  VOX  • Dokumentstudier      • Kvanltalv  undersøkelse,  del  1  • Språktest  del  1  

Kursperioden  

• Opplevelsesdagbøker  • Intervjuundersøkelse  kursdeltakere  og  virksomheter  med  kursdeltakere  • Observasjoner  av  kurs  

EBer  kurs  

• Kvanltalv  undersøkelse,  del  2  • Språktest  del  2  • Intervjuundersøkelse  kursdeltakere  og  virksomheter  med  kursdeltakere  • Opplevelsesdagbøker    • Intervju  med  ledere  

12    

Del  2:  Beskrivelse  av  datainnsamlingsmetoder  I  denne  delen  beskriver  vi  datainnsamlingen  mer  i  dybden,  og  kommer  inn  på  både  gjennomføring  og  mulige  feilkilder.    

Kvantitative  data  De  kvantitative  dataene  i  evalueringen  er  i  hovedsak  basert  på  en  spørreundersøkelse  som  gikk  ut  to  ganger  til  alle  kursdeltakere  som  fikk  opplæring  i  muntlige  ferdigheter  som  var  registrert  med  en  e-­‐postadresse  i  VOX  sine  systemer,  eller  som  hadde  en  e-­‐postadresse  registrert  hos  kursholder.  Undersøkelsen  ble  som  nevnt  designet  etter  pre-­‐posttest  prinsippet.  Det  vil  si  at  de  samme  deltakerne  fikk  samme  spørsmål  om  deres  muntlige  ferdigheter  før  kursene  hadde  startet,  og  etter  at  kursene  var  avsluttet.  Formålet  med  dette  undersøkelsesdesignet  var  å  følge  samme  individer  over  tid,  og  på  den  måten  i  ha  mulighet  til  å  si  noe  om  utvikling  i  muntlige  språkferdigheter.      Svarrater  og  representativitet    Begge  undersøkelsene  foregikk  i  hovedsak  per  e-­‐post,  og  foregikk  i  perioden  november  2014  til  juni  2015.  E-­‐postadresser  ble  delvis  hentet  inn  av  oss  ved  å  kontakte  kursholdere  og  arbeidsgivere,  og  delvis  hentet  ut  fra  Vox  sine  databaser  som  er  basert  på  at  kursholderne  selv  registrere  navn  og  epostadresser  til  deltakerne.    Den  første  undersøkelsen  gikk  ut  til  totalt  1200  respondenter.  I  listene  fra  Vox  var  det  en  del  feilregistreringer  på  e-­‐postadresser,  hvilket  resulterte  i  at  950  deltakere  fikk  undersøkelsen.  Av  disse  svarte  500  på  undersøkelsen  før  kurset,  mens  345  svarte  på  den  andre  undersøkelsen.  Det  ble  sendt  ut  3  purringer  til  hver  deltaker  på  både  før  og  etter  undersøkelsen.  Ettersom  enkelte  kursledere  meldte  fra  om  at  deltakerne  ikke  hadde  tilgang  på  e-­‐post,  ble  det  også  sendt  ut  totalt  35  postalskjemaer  i  post-­‐pretestundersøkelsene.  Av  disse  var  det  10  personer  vi  har  før  og  etter  data  på.  Dette  gir  totalt  355  respondenter  som  har  svart  på  før  og  etter  undersøkelsen,  som  tilsvarer  en  svarrate  på  37  prosent.  Dette  må  betraktes  som  meget  bra  når  man  tar  målgruppens  sammensetting  i  betraktning,  og  det  faktumet  at  undersøkelser  som  går  over  en  såpass  lang  tidsperiode  ofte  møter  utfordringer  med  høye  andeler  av  frafall.  Vi  forklarer  dette  til  dels  ved  et  språklig  enkelt,  kortfattet  og  oversiktlig  spørreskjema.    

Det  er  mulig  å  få  en  indikasjon  på  dataenes  representativitet  ved  å  se  på  egenskaper  ved  bedriftene  som  har  fått  innvilget  midler  til  gjennomføring  av  kurs.    Sammenligner  vi  eksempelvis  bransjene  respondentene  jobber  innenfor,  med  bransjesammensettingen  til  samtlige  bedrifter  som  har  fått  innvilget  midler  fra  Vox,  ser  vi  at  utvalget  treffer  godt  (jf.  tabell  1).  Det  største  avviket  finner  vi  i  overnattings-­‐  og  serveringsbransjen,  hvor  utvalget  vårt  er  underrepresentert  med  5  prosent,  samt  i  bergverk  hvor  utvalget  har  en  tilsvarende  overrepresentasjon  med  5  prosent.    

I  tillegg  er  det  verdt  å  merke  seg  at  det  generelt  ligger  en  feilkilde  i  denne  typen  datainnhentinger.  I  undersøkelser  basert  på  selvseleksjon,  slik  denne  er,  vil  det  alltid  være  en  systematisk  forskjell  i  hvem  som  velger  å  svare  –  og  hvem  som  ikke  svarer.  

13    

Dette  kan  eksempelvis  henge  sammen  med  språkkunnskaper  og  tilgang  på  internett.  Vi  har  i  denne  undersøkelsen  forsøkt  å  imøtekomme  dette  ved  å  gjennomføre  undersøkelsen  på  engelsk,  samt  tilbudt  at  undersøkelsen  kan  gjennomføres  på  papir.  Vi  har  imidlertid  ingen  mulighet  til  å  vurdere  hvorvidt  det  er  skjevheter  i  de  som  har  svart  på  undersøkelsen  etter  disse  parameterne.    

 Tabell  1:  Sammenligning  av  utvalg  og  populasjon  etter  bransjefordeling.    

  Populasjonsfordeling   Utvalgsfordeling   Avvik  fra  populasjon  

Bransje   %   %   %  

Annen  tjenesteyting   7,0 9,9 2,3

Bergverksdrift  og  utvinning   1,7 9,9 5,4

Bygge-­‐  og  anleggsvirksomhet   11,0 4,2 -4,5

Forretningsmessig  tjenesteyting   14,0 11,3 -1,3

Helse-­‐  og  sosialtjenester   5,2 11,3 3,4

Industri   11,0 8,5 -1,4

Jordbruk,  skogbruk  og  fiske   2,9 2,8 -0,2

Kulturell  virksomhet  med  mer   0,6 0,0 -0,4

Offentlig  administrasjon  med  mer  

19,8 23,9 3,6

Omsetning  og  drift  av  fast  eiendom  

0,6 0,0 -0,4

Overnattings-­‐  og  serveringsvirksomhet  

8,1 2,9 -5,2

Transport  og  lagring   9,3 2,8 -4,2

Undervisning   1,7 4,3 2,7

Vannforsyning,  avl   1,7 0,6 -1,1

14    

Varehandel,  reparasjon  av  motorvogner  

5,2 7,0 1,3

   Betraktninger  rundt  spørreundersøkelsen  To  forhold  ved  gjennomføringen  av  den  kvantitative  undersøkelsen  har  vært  krevende.    

For  det  første  har  det  til  dels  vært  vanskelig  å  finne  fram  til  informasjon  om  hvem  som  deltar  på  kurs,  og  det  har  vært  uoversiktlig  å  finne  ut  når  kurs  starter  og  slutter.  Arbeidsgivere  og  kursholdere  har  ikke  hatt  full  oversikt,  og  oversiktene  fra  Vox  har  vært  mangelfulle,  både  med  tanke  på  oppstartdato  og  deltakere.  I  mange  tilfeller  har  kursholdere  som  har  fått  tildeling  ikke  hatt  en  klar  plan  for  gjennomføring  et  godt  stykke  ut  i  kursperioden.  Det  har  også  vært  utfordrende  å  finne  ut  hvem  som  er  ansvarlige  for  kursene  fra  arbeidsgivers  og  kursoperatørens  side.    

For  det  andre  er  det  store  deler  av  populasjonen  som  ikke  forholder  seg  til  at  opplæring  i  muntlige  ferdigheter  er  del  av  kurset.  Mange  nekter  å  være  med  i  undersøkelsen,  fordi  de  ikke  gjenkjenner  beskrivelsen  av  kurset.  Dette  innebærer  at  kursene  vi  reelt  sett  har  fått  målt  effekt  fra,  er  kurs  som  på  en  eller  annen  måte  identifiserer  seg  for  deltakere  og  interessenter  som  en  form  for  norsk-­‐kurs.  Dette  ser  vi  også  av  deltakerne  på  kursene  vi  har  studert;  det  er  svært  få  med  norsk  morsmål  her.    

 

Intervjuer  De  kvalitative  forskningsintervjuene  ble  i  hovedsak  orientert  rundt  de  fire  casene  og  kontrollgruppen  i  språktestingen.  De  enkelte  casene  beskrives  senere  i  dette  kapitlet.  Totalt  gjennomførte  vi  67  dybdeintervjuer  med  42  deltakere,  ledere  og  lærere.  Intervjuene  har  vært  sentrale  i  å  fortolke  materiale  og  utforske  mulige  sammenhenger,  men  blir  ikke  brukt  til  direkte  vurdering  av  effekt.  Funn  og  fortolkninger  presenteres  derfor  ikke  i  kapittel  3,  men  kommer  frem  i  kapittel  4  og  dels  i  kapittel  5.    

Det  ble  gjennomført  dybdeintervjuer  med  alle  testdeltakerne  i  casene,  deres  ledere  og  deres  lærere.  Deltakerne  ble  også  intervjuet  før  og  etter  gjennomføring  av  kurs.  I  tillegg  intervjuet  vi  ledere  fra  case-­‐virksomhetene  og  åtte  andre  virksomheter  samt  fem  lærere.    

Intervjuene  ble  gjennomført  av  en  intervjuer,  tatt  opp  og  transkribert.  Intervjuer  med  deltakere  omhandler  særlig  bakgrunn,  yrkestilknytning,  motivasjon,  beskrivelser  av  språkpraksis,  forventninger,  opplevelser  i  etterkant,  tilnærming  til  læring  og  egenlæring  og  forslag.  Intervjuer  med  ledere  og  kurslærere  omhandler  i  tillegg  til  egen  bakgrunn,  organisering  av  kursene,  praktisk  oppfølging  underveis,  erfaringer  med  deltakerne  og  opplevelse  av  resultater.    

Intervjuene  ble  analysert  i  tre  faser:  

A  Prekodet  analyse:  Vi  analyserte  intervjumaterialet  direkte  i  lys  tema  vi  på  forhånd  vurderte  som  sentrale:  Forventninger,  motivasjon,  læringsstrategier,  

15    

organisering,  opplevelse  av  kursene,  trygghet,  beskrivelser  av  bruk  av  muntlig  språk.      B  Utforskende  koding:  Vi  gjennomgikk  datamaterialet  på  jakt  etter  andre  mulige  tema.  Her  benyttet  vi  elementer  av  såkalt  Grounded  Theory,  uten  at  vi  gjorde  forsøk  på  teoribyggende  analyse.      C  Fortløpende  re-­‐koding  av  datamaterialet  basert  på  nye  ideer  og  sammenhenger  generert  gjennom  kvantitativt  materiale,  og  vurdering  om  tema  som  ikke  lot  seg  analysere  godt  nok  i  kvalitativt  materiale  kunne  gi  utgangspunkt  for  analyser  av  kvantitativt  materiale.    

 Betraktninger  rundt  gjennomføring  Vi  valgte  å  gjennomføre  intervjuene  i  casevirksomhetene  der  språktestene  ble  gjennomført.  Dette  var  til  dels  fordi  det  effektiviserte  ressursene  slik  at  vi  kunne  gjennomføre  en  større  datainnsamling  innenfor  ressursrammene,  men  også  fordi  det  ga  oss  større  oversikt  over  eventuelle  bakenforliggende  variabler  som  kunne  påvirke  resultatene  i  testene.    

Det  er  to  potensielle  kritikker  mot  en  slik  tilnærming.  Det  første  er  at  eksperimentene  blir  forstyrret  av  unødig  oppmerksomhet  og  tilstedeværelse.  Dette  kontrollerer  vi  for  gjennom  kontrollgruppen;  ettersom  denne  hadde  liten  grad  av  endring,  kan  vi  anta  at  intervjuerens  påvirkning  har  vært  liten.  Den  andre  risikoen  er  at  vi  får  et  smalere  utvalg  enn  vi  ellers  ville  fått.  Vi  vil  si  tvert  om;  intervjudata  og  eksperimentdata  er  grunnleggende  ulike  datatyper,  og  flere  virksomheter  ville  ikke  gitt  bredere  data.    

Utvalget  av  ledere  til  intervjuer  utenom  case-­‐virksomhetene  er  helt  klart  skjevt.  Vi  kan  her  peke  på  at  vi  forsøkte  å  samle  kontaktinformasjon  til  ledere  med  personalansvar  for  kursdeltakere  til  spørreundersøkelse,  men  ikke  fikk  nok  kontaktinformasjon  til  å  kunne  gjennomføre  kvantitativ  undersøkelse.  Men  også  gjennom  rekruttering  til  dybdeintervjuer  gjentok  problematikken  seg,  og  svært  få  var  tilgjengelige  fra  utvalget  vi  satt  igjen  med.  Vi  fikk  også  indikasjoner  på  at  de  som  var  minst  involvert  i  kursene  var  minst  villige  til  å  la  seg  intervjue.  Følgende  er  sitat  fra  en  e-­‐post  kan  tjene  til  å  underbygge  denne  antakelsen:    

”Deltakerne  våre  er  hovedsakelig  ikke  norsk  språklige,  og  når  det  kommer  til  muntlige  ferdigheter  har  de  hatt  relativt  liten  effekt,  jeg  jobber  heller  ikke  tett  på  dem  og  kan  derfor  ikke  svare  på  deres  utvikling  i  muntlig  ferdigheter.”  

 

Språktesting:  Kvasi-­‐eksperiment  Overordnet  design  for  språktestene  er  beskrevet  i  del  1  i  dette  metodekapittelet.  Sentralt  i  beskrivelsen  av  metodikken  er  testene  vi  gjennomførte  i  for-­‐  og  etterkant  av  kurs;  kvasi-­‐eksperiment.  

Vi  gjennomførte  testing  i  fire  kurs  /  arbeidsplasser,  samt  en  kontrollgruppe.  Disse  fire  casene  beskrives  nærmere  i  beskrivelser  av  empirien  (s.  24-­‐26).  Det  vil  si  at  vi  hadde  

16    

fire  testgrupper,  og  vi  valgte  tilfeldig  ut  fem  deltakere  på  hvert  kurs.  Vi  rekrutterte  kontrollgruppe  fra  én  av  disse  virksomhetene.  Kontrollgruppen  kom  fra  en  ikke  tilfeldig  valgt  virksomhet,  men  derimot  fra  en  virksomhet  som  var  tilstrekkelig  stor  til  at  det  var  satt  opp  flere  puljer  med  kurs,  og  nok  ansatte  til  at  det  var  mulig  å  finne  ellers  like  deltakere.  Deltakerne  i  kontrollgruppen  var  altså  folk  som  var  tiltenkt  å  gå  på  tilsvarende  kurs,  men  som  ikke  hadde  begynt  ennå.  Metodikken  er  hentet  fra  eksperiment-­‐forskning,  men  ettersom  utvalget  ikke  er  tilfeldig,  men  derimot  pragmatisk  valgt  (testing  av  deltakere  som  er  oppmeldt  til  kurs),  er  dette  å  regne  som  kvasi-­‐eksperiment.  Vi  har  ikke  koblet  deltakerne  i  eksperimentet  med  data  fra  spørreundersøkelsen,  ettersom  dette  ville  innebære  unødig  innsamling  av  personsensitive  data.  

Testen  ble  gjennomført  ved  hjelp  av  to  sett  sammenlignbare  oppgaver  for  hver  yrkesgruppe,  en  test  før,  og  en  test  etter.  Før-­‐test  og  etter-­‐test  er  bygd  opp  likt,  men  med  ulike  oppgaver,  slik  at  deltakerne  ikke  skal  ha  effekt  av  testgjennomføringen  i  seg  selv.  .  Testene  ble  utviklet  av  Mangfold  i  Arbeidslivet,  men  senteret  hadde  for  øvrig  ingen  deltakelse  i  målingene.  Selve  testen  ble  gjennomført  av  to  norsklærere  med  erfaring  med  voksenopplæring  og  norsk  som  andrespråk,  ved  at  én  sto  for  testing  og  én  observerte.  Testene  ble  gjennomført  enten  på  kurs  eller  på  arbeidsplassen.  I  noen  tilfeller  ble  de  gjennomført  på  improviserte  steder,  av  praktiske  grunner.    

Testene  besto  av  fem  oppgaver.  Testen  tok  form  av  en  styrt  samtale  på  bakgrunn  av  oppgavene.  Noen  av  oppgavene  var  rene  spørsmål,  mens  andre  var  bilder  eller  eksempler  fra  kjente  arbeidssituasjoner  som  deltakeren  beskrev  eller  diskuterte.  Deltakerne  fikk  0-­‐5  poeng  på  hver  av  de  fem  oppgavene  fordelt  på  tre  vurderingskriterier:    

A. Deltakeren  tar  initiativ  til  et  nytt  tema  –  ev.  tar  ansvar  for  å  føre  temaet  videre,  eller  avslutter  det.  

B. Deltakeren  har  kompetanse  til  å  uttrykke  seg  på  mange  måter,  og  å  formulere  gode  setninger  

C. Hvor  mye  må  deltakeren  si  for  å  nå  fram  med  budskapet  -­‐  deltakeren  kan  tilpasse  mengden  informasjon  for  å  få  fram  budskapet  tydelig  

Det  vil  si  at  deltakerne  kunne  få  totalt  (5x3)  x  5  poeng  =  75  poeng.  I  tillegg  ble  det  dokumentert  hvilke  særlige  språkferdigheter  som  kom  tydelig  fram,  eller  som  endret  seg.  Testresultatene  er  med  andre  ord  ikke  objektive,  i  den  forstand  at  de  er  uavhengige  av  testernes  kompetanse.  I  slike  eksperiment  vil  det  være  en  avveiing  mellom  validitet  (om  målingen  fanger  opp  det  som  er  mest  relevant  og  vesentlig)  og  reliabilitet  (om  det  er  mulighet  for  at  målingen  kan  være  feil  eller  åpen  for  fortolkning).  Det  finnes  metoder  for  teknisk  måling  av  språkferdighet.  Vår  vurdering  var  likevel  at  en  systematisk,  faglig  vurdering  av  språkbeherskelsen  ville  være  vesentlig  mer  valid,  eller  relevant,  for  det  vi  ønsket  å  måle.  Vi  betrakter  derfor  dette  som  et  objektivt  mål,  med  god  validitet  takket  være  testgjennomførernes  kompetanse  i  språkevaluering.    

17    

Sammenligningen  fra  test  1  til  test  2  er  derfor  både  basert  på  skåre,  og  på  kvalitative  vurderinger  av  språkutviklingen.  Det  er  likevel  grunn  til  å  understreke  at  det  ikke  er  nevneverdig  avvik  mellom  disse  vurderingsformene  innholdsmessig,  og  at  skårene  derfor  kan  benyttes  som  grunnlag  for  vurdering  av  endring  hos  hver  enkelt.  

I  vurderingen  av  de  muntlige  ferdighetene  ble  det  gjort  kvalitetssikring  i  tre  ledd.  Først  ble  det  gjort  to  selvstendige  vurderinger  og  umiddelbart  drøftet.  Så  ble  resultatene  revurdert  etter  noen  dager.  Først  etter  andre  kvalitetssikring,  ble  resultatene  sammenlignet  med  test  1.  Etter  alle  tester  ble  det  notert  både  poeng  og  kvalitative  notater  rundt  svakheter  og  styrker  hos  kandidaten,  slik  at  dette  lettere  kunne  sammenstilles  mot  test  2.  Ut  fra  dette  ble  det  gjort  kvalitative  vurderinger  av  språkendringene  med  henblikk  på  å  se  til  at  like  trekk  ble  vurdert  likt  for  samme  deltaker.  Denne  justeringen  hadde  i  realiteten  ikke  betydning  for  skåre,  men  ble  gjennomført  for  kvalitetssikring  av  sammenligningsgrunnlag.  Først  etter  siste  kvalitetssikring  produserte  testerne  refleksjonsnotater  som  omhandlet  metodikk  og  observasjoner,  slik  at  disse  ikke  påvirket  testresultatene.      

For  en  beskrivelse  av  hva  de  ulike  skårene  fra  0  til  75  i  praksis  innebærer,  beskriver  vi  i  det  følgende  skalaen  i  lys  av  nivåene  i  det  europeiske  rammeverket  for  språk  (CEF)3.  Vi  må  understreke  at  dette  er  utelukkende  for  å  formidle  en  forståelse  av  substansen,  men  at  materialet  i  testene  tilpasset  effektmålingene  her  og  ikke  er  å  regne  for  nivåmålinger  i  lys  av  CEF,  eller  i  lys  av  læringsmålene  for  språk  i  Vox  sine  veiledninger.    

Testene  er  spesialtilpasset  yrke  og  bransje,  slik  at  deltakerne  ble  testet  i  muntlige  ferdigheter  relatert  sin  arbeidsplass,  og  er  innrettet  for  best  mulig  å  vurdere  eventuell  endring  fra  før-­‐test  til  etter-­‐test  Det  vil  altså  si  at  vurderingene  er  generelle  og  språkorienterte,  men  basert  på  oppgaver  der  deltakeren  må  beherske  begrep  og  uttrykk  fra  eget  fagfelt,  for  å  kunne  delta  fornuftig  i  samtalen.  Det  betyr  at  resultatene  kan  fortolkes  i  lys  av  skalaen  i  de  europeiske  nivåene,  men  ikke  fullt  og  helt:  Man  kan  være  svakere  i  språk  generelt,  men  sterkere  i  sitt  arbeidsspråk,  og  motsatt.  Vi  kan  altså  ikke  si  med  sikkerhet  det  generelle  språknivået,  men  vi  kan  måle  endring  i  lys  av  arbeidsrelatert,  muntlig  språk.    

15  poeng  er  maksimum  for  hver  oppgave  -­‐  med  maksimal  uttelling  75  poeng  på  den  muntlige  testen.  Slik  vi  vurderer  skalaen,  med  alle  de  forbehold  som  er  listet  over,  vil  50  poeng  kunne  beskrives  å  tilsvare  A2  i  muntlige  ferdigheter,  og  fra  65  -­‐  72  tilsvarende  på  B1  nivå.  De  som  ligger  enda  høyere  i  poengsum  (72-­‐75),  vil  kunne  ligge  på  et  høyere  nivå.    

Poengskalaen  vil  grovt  sett  kunne  beskrives  slik:      

0-­‐15  poeng:     Svært  svak.  Kan  i  liten  grad  gjøre  seg  forstått  på  muntlig.  Forstår  enkle  ord  og  uttrykk,  og  kan  sette  sammen  noen  få  ord.        

                                                                                                               3  http://europass.cedefop.europa.eu/no/resources/european-­‐language-­‐levels-­‐cefr    

18    

16-­‐25  poeng:   Svært  svak.  Kan  i  noen  grad  delta  i  samtale,  og  svarer  på  noen  spørsmål,  men  misforstår  mye.    26-­‐49  poeng:   Kan  delta  i  samtale  på  en  enkelt  måte,  hvis  samtalepartneren  er  behjelpelig.  Kan  bruke  enkle  ord  og  uttrykk.    50-­‐65  poeng:  Kan  delta  i  enkle  og  rutinepregede  samtalesituasjoner,  og  utveksle  informasjon  om  kjente  emner  og  aktiviteter.  Har  en  rekke  uttrykk  og  setninger  for  å  beskrive  kjente  ting.    65-­‐72  poeng:  Kan  klare  seg  i  de  fleste  situasjoner,  og  kan  delta  uforberedt  i  samtaler  om  kjente  ting.  Kan  gi  enkle  og  sammenhengende  fremstillinger.      72-­‐75  poeng:  Samtaler  med  morsmålsbrukere  byr  ikke  på  særlige  problemer.  Kan  gi  klare  og  detaljerte  beskrivelser.  

 Testene  er  ikke  innrettet  for  å  klassifisere  de  mer  avanserte  brukerne,  brukere  som  ville  kunne  sammenlignes  med  nivå  C1-­‐C2.  Det  vil  si  at  testen  vil  bli  mindre  presis  for  de  sterkeste  innen  muntlige  ferdigheter.  Dette  ble  i  realiteten  i  liten  grad  noen  utfordring,  ettersom  deltakerne  i  all  hovedsak  befant  seg  i  området  0  til  60  poeng.    Gjennomføring  av  tester  Vi  fant  underveis  at  kriteria  A,  initiativ  til  nye  tema,  var  mindre  relevant.  Ettersom  testene  en  strengt  styrt  samtale,  viste  det  seg  at  det  ikke  var  naturlig  å  ta  opp  nye  tema  underveis.  Vi  justerte  derfor  vurderingen  av  dette  punktet,  også  ut  fra  en  vurdering  av  at  det  viktigste  for  muntlige  ferdigheter  i  en  arbeidssituasjon  ikke  primært  er  å  bringe  opp  nye  tema,  men  å  håndtere  samtalen  selvstendig.  Derfor  ble  dette  kriteriet  omtolket  å  omhandle  hvordan  deltakerne  tok  initiativ  i  samtalen,  innen  hver  tema,  for  selv  å  bringe  frem  sine  budskap  på  egenhånd.    

Videre  var  det  ikke  alltid  mulig  å  treffe  helt  på  arbeidsoppgavene,  og  det  innebar  at  testerne  improviserte  noe,  for  å  sikre  at  deltakerne  fikk  snakket  om  spørsmålene  basert  på  sin  reelle  arbeidssituasjon.  Hvis  for  eksempel  et  bilde  viste  en  situasjon  som  ikke  var  sentral  i  deltakerens  arbeidshverdag,  rettet  testerne  samtalen  i  retning  av  en  så  nær  relatert  situasjon  som  mulig.  Der  ordene  eller  formuleringene  var  for  krevende,  startet  testen  med  de  originale  formuleringene,  før  ord  og  uttrykk  ble  gradvis  forklart  for  å  finne  rett  nivå.  

I  utgangspunktet  var  planen  å  teste  deltakere  før  og  etter  kurs,  og  å  teste  kontrollgruppe  parallelt.  I  praksis  ble  det  ikke  helt  slik.  For  det  første  var  det  ikke  alle  kursene  som  hadde  en  klar  og  tydelig  begynnelse  og  slutt,  og  det  var  stor  variasjon  i  hvor  lange  og  intensive  kursene  var.  Det  innebærer  at  noen  av  deltakerne  hadde  begynt  på  kurs  ved  første  test,  eller  hadde  kurs  som  del  av  lengre  kompetansehevingsplan.  Videre  betød  det  at  slutt-­‐testen  ikke  nødvendigvis  var  etter  at  kursene  var  helt  fullført.  Derimot  ble  intervallet  mellom  før-­‐  og  etter-­‐test  rimelig  likt,  omtrent  3  måneder.  

19    

Vi  testet  fem  deltakere  i  hvert  case.  I  case  4,  der  vi  så  muligheter  for  frafall,  testet  vi  flere,  men  observerte  likevel  så  stort  frafall  at  vi  bare  fikk  tre  reelle  før  og  etter-­‐tester.  Vi  hadde  også  ett  frafall  i  case  1.  Dermed  har  vi  totalt  17  gjennomførte  målinger  i  testgruppene,  i  tillegg  til  de  fem  i  kontrollgruppen.    

Alt  i  alt  vil  vi  si  at  dette  betyr  at  testen  har  noen  svakheter,  men  ikke  av  grunnleggende  betydning.  Kurs  og  opplæring  vil  svært  ofte  være  del  av  et  større  bilde,  og  de  fleste  med  jobb  har  tatt  noen  form  for  kurs  tidligere.  Det  avgjørende  er  at  det  foregår  den  typen  kompetanseheving  som  BKA-­‐programmet  finansierer  mellom  testene,  slik  at  denne  effekten  blir  målt.  Det  at  kontrollgruppen  ble  fulgt  etter  testgruppen  kan  vi  ikke  se  noen  problemer  ved,  all  den  tid  gruppen  var  svært  lik  testgruppen.  

I  tillegg  til  selve  gjennomføringen  av  testingen,  laget  testgjennomførerne  refleksjonsnotater  i  etterkant  av  analysene,  både  rettet  mot  metodikk  og  gjennomføring,  og  mot  det  som  i  metodelitteraturen  omtales  som  ”emergent  topics”  –  det  vil  si  tema  som  fremstår  som  relevante  og  som  kan  følges  videre.  Disse  er  ikke  brukt  til  analyse  i  seg  selv,  men  til  å  identifisere  analysetråder  og  spor.  Vi  understreker  at  disse  refleksjonsnotatene  ble  produsert  i  etterkant  av  ferdigstilt  testresultat.  

Opplevelsesdagbøker  og  observasjon  Observasjonene  i  kursene  ble  gjennomført  underveis  i  kursene.  Observasjonen  foregikk  på  den  måten  at  forskeren  deltok  i  undervisningen  mer  eller  mindre  passivt,  og  brukte  et  åpent  observasjonsskjema  med  fokus  på  å  fange  inntrykk  av  interaksjonen  i  klasserommet,  hva  som  preget  situasjonen,  relasjoner  mellom  elev,  lærer  og  arbeidsgiver  slik  det  utspilte  seg  i  rommet,  og  i  hvilken  grad  arbeidsplassen  fremsto  som  sentralt  tema.  Observasjonsdata  er  vil  ofte  bli  svært  påvirket  av  observatøren,  og  det  er  også  stor  usikkerhet  ved  om  enkeltobservasjoner  som  dette  er  representative.  Skulle  observasjonsdata  kunne  stått  på  egne  bein,  måtte  man  hatt  vesentlig  større  omfang.  Derfor  er  observasjonsdata  i  all  hovedsak  benyttet  internt  for  å  vurdere  utsagn,  intervjudata  og  mulige  sammenhenger,  men  ikke  benyttet  for  å  gjøre  antakelser  om  effekt  i  seg  selv.    

Opplevelsesdagbøkene  ble  gjennomført  i  en  10  –ukers  periode  under  kursperioden.  Det  er  en  metodikk  fra  tjenestedesign,  som  var  tiltenkt  som  et  supplement  til  tradisjonell,  kvalitativ  analyse.  Opplevelsesdagbøkene  var  bygd  opp  slik  at  for  hver  uke  skulle  deltakerne  skrive  litt  om  hva  de  hadde  lært,  hvordan  de  hadde  forberedt  seg,  samt  deres  erfaringer  med  å  bruke  det  de  hadde  lært  i  hverdags  –  og  arbeidsliv.  Da  vi  ikke  lyktes  med  å  få  hentet  inn  tilstrekkelig  med  materiale  gjennom  denne  tilnærmingen,  er  ikke  denne  innsiktskilden  inkludert  i  analysene  som  gjengis  i  rapporten.        

Del  3:  Beskrivelser  av  datamaterialet  I  denne  delen  beskriver  vi  mer  i  dybden  det  innhentede  datamaterialet.  Vi  begynner  med  de  kvantitative  dataene,  og  kommer  deretter  inn  på  de  kvalitative  kildene  og  eksperimentdata.  

20    

 Frekvensfordelinger    Over  de  neste  sidene  viser  vi  hvordan  det  kvantitative  datamaterialet  fordeler  seg  etter  relevante  demografiske  variabler  og  andre  relevante  forklaringsvariabler.  Tabellene  viser  enkle  frekvensfordelinger  av  nøkkelvariabler  som  brukes  i  analysene  over  de  neste  kapitlene,  samt  hvordan  utvalget  fordeler  seg  langs  demografiske  variabler.    

 

   Tabell  2:  Frekvenstabell  demografi,  utvalg.    

Antall Prosent Er du født i Norge? Ja 0 0 %

Nei 355 100 % Hvor har du din landbakgrunn fra?

Vest-Europa 45 13 % EU-land i Øst-Europa 130 37 % Øst-Europa utenfor EU 0 0 % Nord-Amerika og Oseania

0 0 %

Asia 115 33 % Afrika 35 10 % Sør- og Mellom-Amerika

10 3 %

Jeg ønsker ikke å svare 20 4 % Kjønn Kvinne 180 62 %

Mann 110 38 % Hva er ditt høyeste utdanningsnivå?

Jeg vet ikke 0 0 % Ingen utdanning 0 0 % Grunnskole eller liknende

45 14 %

Videregående skole yrkesfag eller liknende

65 21 %

Videregående skole allmennfag eller liknende

45 14 %

Fagskole eller liknende 25 8 % Høyskole-/universitetsutdannelse (3 år eller mindre) eller liknende

60 19 %

Høyere høyskole-/universitetsutdannelse (mer enn 3 år) eller liknende

75 24 %

Hvor lenge har du bodd i Under 1 år 5 2 %

21    

Norge? 1 år 25 8 %

2 år 30 9 % 3 år 50 16 %

4 år 15 5 %

5 år 40 13 % 6 år 5 2 % 7 år 20 6 % Mer enn 7 år 130 41 %

Alder (snitt) 41,39

  Tabell  3:  Frekvenstabell  forklaringsvariabler.  

Antall Prosent Søkers rolle Etterspørrer 180 51 %

Tilbyder 175 49 % Har du gått på norskkurs? Ja 275 86 %

Nei 45 14 % Vet ikke 0 0 %

Hvilke av disse norskprøvene har du tatt og bestått? ”Norskprøve 2, den muntlige delen”

Nei 245 77 %

Ja 75 23 %

Hvilke av disse norskprøvene har du tatt og bestått? ”Norskprøve 3, den muntlige delen”

Nei 300 94 % Ja 20 6 %

Hvilke av disse norskprøvene har du tatt og bestått? ”Norskprøve 2, skriftlig”

Nei 260 81 % Ja 60 19 %

Hvilke av disse norskprøvene har du tatt og bestått? ”Norskprøve 3, skriftlig”

Nei 305 95 % Ja 15 5 %

Hvilke av disse norskprøvene har du tatt og bestått? ”Jeg har ikke tatt norskprøver”

Nei 195 61 % Ja 125 39 %

Hvilke av disse norskprøvene har du tatt og bestått? ”Jeg husker ikke”

Nei 250 78 %

Ja 70 22 %

Går du på kurset med en Ja 250 78 %

22    

kollega du kjenner? Nei 70 22 %

Vet ikke 0 0 %

Går du på kurset i arbeidstiden?

Ja 80 25 % Nei 185 58 % Delvis, det vil si både i arbeidstiden og på egen fritid

55 17 %

Vet ikke 0 0 % Må du gå på kurset, eller velger du det selv?

Jeg går på kurset fordi jeg har lyst

195 62 %

Jeg går på kurset fordi sjefen min sa jeg skulle

15 5 %

Begge deler 105 33 % Hvorfor går du på kurset?: ”Jeg vil snakke bedre norsk”

Nei 55 17 % Ja 265 83 %

Hvorfor går du på kurset?: ”Jeg ønsker meg en bedre jobb”

Nei 210 66 % Ja 110 34 %

Hvorfor går du på kurset?: ”Det blir enklere å gjøre jobben min”

Nei 170 53 % Ja 150 47 %

[Det blir enklere for meg å få venner] Hvorfor går du på kurset?: ”Det blir enklere for meg å få venner”

Nei 250 78 % Ja 70 22 %

Hvorfor går du på kurset?: ”Jeg vil ha høyere lønn”

Nei 245 77 % Ja 75 23 %

Tror du kurset gjør deg bedre til å snakke norsk?

Ja 285 80 % Nei 50 14 % Jeg vet ikke 20 6 %

Tror du kurset gjør deg bedre til å samarbeide med andre?

Ja 265 75 % Nei 60 17 % Jeg vet ikke 30 8 %

Tror du kurset gjør deg bedre til å gjøre jobben din?

Ja 260 73 % Nei 70 20 % Jeg vet ikke 25 7 %

Tror du kurset gjør deg bedre til å kommunisere med andre?

Ja 285 80 % Nei 55 15 % Jeg vet ikke 15 4 %

23    

Som  nevnt  tidligere  tyder  aggregerte  data  på  bedriftsnivå  og  bransjetilknytning  på  at  dataene  er  representative.  Samtidig  vet  vi  at  det  er  norskfødte  som  har  deltatt  på  kursene,  men  vi  har  ikke  lykkes  med  å  hente  inn  svar  fra  denne  gruppen.  Det  er  likevel  verdt  å  komme  med  noen  kommentarer  til  utvalget,  slik  det  er  beskrevet  i  tabellene  over.    

Det  mest  iøynefallende  med  utvalget  er  at  utdanningsnivået  virker  å  ligge  høyere  enn  hva  man  skulle  forvente.  43  prosent  oppgir  at  de  har  lengre  (3  år  eller  mer)  eller  kortere  (3  år  eller  kortere)  universitetsutdanning.    Det  tilvarende  tallet  for  den  norske  voksnes  befolkning  (over  20  år)  ligger  på  rundt  30  prosent.  I  innvandrerbefolkningen,  som  primært  utgjør  dette  utvalget,  er  andelen  lavere.  Ser  man  på  bedriftene  og  bransjene  respondentene  arbeider  i,  er  det  liten  grunn  til  å  tro  at  utvalget  skal  være  høyere  utdannet  enn  den  norske  befolkningen  generelt.  I  tillegg  ligger  også  utdanningsnivået  til  utvalget  vårt  høyere  enn  hva  vi  finner  hos  BKA  deltakere  generelt.  Her  oppgir  8  prosent  at  de  har  høyere  utdanning,  men  utdanningsinndelingen  i  VOX  sin  statistikkbank  er  mindre  nyansert  enn  inndelingen  vi  har  benyttet  i  denne  studien.  Denne  overrepresentasjonen  av  høyt  utdannende  kan  henge  sammen  med  at  noen  av  respondentene  ikke  har  forstått  utdanningskategoriene  som  er  benyttet  i  spørreundersøkelsene.  Det  kan  også  henge  sammen  med  at  høyutdannede  generelt  er  overrepresentert  blant  personer  som  svarer  på  denne  typen  undersøkelser4.  Vi  ser  også  at  en  høy  andel  av  respondentene  har  bodd  lenge  i  Norge.  Over  50  prosent  har  bodd  i  Norge  i  5  år  eller  lengre,  mens  4  av  10  har  bodd  i  Norge  i  7  år  eller  mer.        

De  øvrige  variablene  vil  beskrives  nærmere  i  kapittel  3  og  4.  

 Case-­‐studier  og  intervjuer    Dybdeintervjuer,  eksperiment  og  observasjoner  ble  fokusert  rundt  fire  case,  det  vil  si  fire  bedrifter  som  gjennomførte  opplæring  i  muntlige  ferdigheter  med  BKA-­‐finansiering.  Eksperimentresultatene  fremkommer  i  kapittel  3,  mens  intervjudata  og  kvalitative  data  primært  er  brukt  som  analysegrunnlag  og  fremkommer  gjennom  analysene  i  kapittel  4.  Det  viktigste  å  kjenne  til  ved  vår  tilnærming  til  case,  er  at  utvalget  ikke  er  å  betrakte  som  representativt,  men  derimot  et  strategisk  utvalg.    

Formålet  med  prosjektet  var  å  finne  ut  om  opplæring  i  muntlige  ferdigheter  gir  effekter.  Vi  ønsket  derfor  å  foreta  eksperimentmålinger  under  antatt  optimale  forhold,  for  å  se  om  effekter  kan  observeres.  Vi  søkte  derfor  å  unngå  kurs  som  kunne  fremstå  mindre  planlagt  eller  konkret5.  Vi  var  ute  primært  etter  å  hente  inn  om,  og  i  tilfelle  hvordan  kurs  kan  fungere.  Dersom  vi  hadde  hatt  et  større  materiale,  ville  det  vært  relevant  å  trekke  inn  alle  typer  kurs,  men  vi  valgte  altså  her  en  strategisk  tilnærming.  Dette  må  det  da  også  tas  høyde  for  når  vi  vurderer  resultatene  

                                                                                                               4  Se  for  øvrig  eksempler  og  drøfting  i  McKnight  et.al  (2007)  :  Missing  Data  –  A  Gentle  Introduction,  side  27-­‐28.  5  Se  for  eksempel  drøfting  av  rammebetingelser  for  interne  og  eksterne  kompetansetiltak  i  Linda  Lai  (2013):  Strategisk  kompetanseledelse,  3.  utg.,  side  148-­‐151.    

24    

sammenlignet  med  spørreundersøkelsene  som  gikk  ut  til  alle.  Det  var  å  forvente  at  eksperimentene  ga  resultater  som  antydet  større  sannsynlighet  for  effekt  enn  hva  spørreundersøkelsene  ville  vise,  og  dette  viste  seg  også  å  være  tilfelle.    

De  fire  casene  ble  valgt  ut  fra  følgende  kriterier.    

1. Strategisk  valg  av  kurs  som  på  papiret  fremsto  som  velorganiserte.  Vurderingen  baserte  seg  på  søknadstekstene,  og  om  søker  og  virksomhet  var  kjent  med  at  kurs  skulle  gjennomføres.    

2. Faglig  bredde.  Vi  ønsket  virksomheter  innen  ulike  fag  og  bransjer,  og  valgte  med  én  transportvirksomhet,  én  kantine/restaurantvirksomhet,  én  pleietjeneste  og  en  håndverkervirksomhet  innen  bygg.  

3. Kursarrangører;  en  kombinasjon  av  store  og  små  kurstilbydere.    4. Offentlig/  Privat.  Vi  har  en  fordeling  med  tre  private  og  en  offentlig  

virksomhet.          Case  1:  Transportvirksomhet.  Virksomheten  er  relativt  stor,  og  har  mange  ansatte  med  utenlandsk  bakgrunn.  Mange  er  rekruttert  gjennom  bemanningsbyråer  fra  hjemlandet  og  har  siden  fått  fast  jobb.  Har  ikke  avholdt  norskkurs  tidligere,  og  har  begynt  med  dette  nylig.  Språket  på  arbeidsplassen  er  stort  sett  norsk,  men  sjåførene  snakker  lite  sammen  i  løpet  av  dagen,  bare  litt  med  kunder  i  forbindelse  med  levering.  Kursene  er  lønnet,  men  etter  arbeidstid,  så  mange  er  slitne.  Kursene  er  initiert  og  organisert  sentralt  i  bedriften.  Deltakernes  leder  ga  deltakerne  et  par  oppgaver  knyttet  til  jobben  i  løpet  av  kurset,  cirka  en  i  måneden,  for  øvrig  var  kursene  rettet  mot  norsk  kultur  og  historie.    

Kontrollgruppen  ble  hentet  fra  case  1,  som  beskrevet  i  metoden.  Virksomheten  ble  valgt  til  rekruttering  av  kontrollgruppe,  ettersom  den  var  tilstrekkelig  stor  og  homogen  til  at  det  lot  seg  gjøre  å  rekruttere  en  ellers  svært  lik  kontrollgruppe.      Case  2:  Bygg  og  anlegg.  Virksomheten  er  mellomstor,  og  har  mange  håndverkere  ansatt  fra  særlig  to  land  i  Øst-­‐Europa.  De  startet,  etter  initiativ  fra  en  kursarrangør,  en  toårig  kampanje  for  å  gå  over  til  norsk  arbeidsspråk.  I  perioden  har  det  vært  klar  styring  fra  lederne  om  at  arbeidsspråket  er  norsk,  og  det  er  gjort  til  regel  at  man  skal  svare  på  norsk.  Fortsatt  observeres  sterke  språkghettoer,  men  det  virker  å  løse  seg  opp  noe.  Deltakerne  har  til  dels  vært  lenge  i  Norge,  og  de  fleste  har  intensjon  om  å  bli,  det  er  lite  gjennomtrekk  i  selskapet.  Lederne  har  i  liten  grad  fulgt  opp  kursene  i  seg  selv,  og  kursene  har  stort  sett  vært  allmenne,  med  noe  fokus  på  verktøy  og  arbeidslivsregler.      Case  3:  Kommunal  pleietjeneste  Virksomheten  er  en  liten  bykommune,  og  kursene  skjer  i  regi  av  voksenopplæringene.  Opplæringen  er  integrert  i  annen  kompetanseheving.  Deltakerne  er  stort  sett  fast  ansatt,  men  til  dels  på  svært  små  kontrakter  med  

25    

tilkallings-­‐tillegg.  Gjennom  koblingen  til  annen  kompetanseheving,  brukte  deltakerne  kursene  til  å  repetere  og  få  forklart  ord  og  begreper  fra  andre  fag-­‐rettede  kurs.  Kursene  ble  ikke  fulgt  opp  fra  nærmeste  ledere,  men  gjennom  en  kommunal  koordinator.  Deltakerne  er  vant  til  å  snakke  direkte  med  brukere,  og  har  høyt  nivå  på  språket  sitt.      Case  4:  Restaurantbransje  Det  fjerde  kurset  ble  arrangert  for  en  virksomhet  som  holder  personal  på  ulike  restauranter  og  kantiner.  De  ansatte  er  stort  sett  fra  to  land  i  sør-­‐østlige  Europa,  og  har  en  rekke  ulike  yrker.  Jevnt  over  er  nivået  svært  lavt,  og  det  er  lite  oppfølging  fra  arbeidsgiver.  På  arbeidsplassen  er  arbeidsspråket  i  liten  grad  norsk.  Kursene  var  preget  av  til  dels  svært  varierende  oppmøte,  ettersom  arbeidsgiverne  stadig  kalte  inn  de  ansatte  på  jobb.  Det  var  også  til  dels  stort  sprik  i  nivået  på  deltakerne.  Kursene  var  i  all  hovedsak  innrettet  mot  generell  norsk.      Når  det  gjelder  intervjudata  ut  over  de  fire  casene,  må  vi  først  og  fremst  notere  at  det  er  all  grunn  til  å  anta  skjevhet  i  utvalget  av  ledere  som  er  intervjuet.  Vi  hadde  gjennomgående  store  problemer  med  å  rekruttere  ledere,  det  er  god  grunn  til  å  tro  at  de  vi  fant  adresse  til,  også  hadde  størst  grad  av  oversikt  og  styring  over  opplæringen.  Det  er  også  all  mulig  grunn  til  å  tro  at  de  mest  engasjerte  lederne,  var  mest  tilbøyelige  til  å  la  seg  overbevise  om  intervju.  Når  det  gjelder  typer  av  kurs,  så  oppfattet  også  lederne  vi  fikk  kontakt  med  utenfor  casene,  at  kursene  de  gjennomførte  var  ”norskkurs”.  Ett  unntak  var  en  barnehage  som  hadde  hatt  kurs  i  muntlig  kommunikasjon  og  konflikthåndtering.  

Oppsummering  og  vurdering  av  datamaterialet  En  utfordring  i  analyse  og  beskrivelse  av  effektmåling  basert  på  et  så  vidt  spenn  av  metoder,  er  at  det  er  krevende  å  orientere  seg  i  styrker  og  svakheter  i  de  ulike  datatypene.  Spørreundersøkelser  (kvantitative  undersøkelser)  gir  godt  grunnlag  for  statistisk  inferens  og  vurdering  av  utbredelse  eller  generaliserbarhet,  men  kan  være  mer  sårbare  for  misforståelser,  og  gir  mindre  grad  av  mulighet  til  å  gå  bak  svarene.  Intervjudata  gir  godt  grunnlag  for  dypere  forståelse  av  sammenhenger  som  kan  overføres,  men  er  mer  sårbare  for  tilfeldigheter  i  utvalget  og  analytiske  feilgrep.  Eksperimentdata,  og  kvasi-­‐eksperimenter  er  sterke  metoder  for  å  fastslå  kausalitet  og  måle  grader  av  kausalitet,  men  er  sårbare  for  bakenforliggende  forklaringer  eller  svikt  i  design.  

Når  det  gjelder  vurdering  av  kvantitative  data,  vil  det  være  naturlig  å  fokusere  på  svarrate,  som  er  til  dels  svært  god,  og  skjevheter  i  utvalg.  Når  det  gjelder  skjevheter  i  utvalget,  er  det  grunn  til  å  anta  at  de  aller  svakeste  ikke  har  evnet  å  delta.  Dette  påvirker  i  og  for  seg  ikke  resultatet,  men  det  betyr  at  det  laveste  nivået  ikke  er  like  godt  dekket  i  materialet.  En  annen  utfordring,  ville  kunne  være  misforståelser  og  feil.  Vi  har  da  også,  slik  det  er  normalt  å  gjøre  i  denne  typen  undersøkelser,  fjernet  besvarelser  som  åpenbart  ikke  henger  sammen,  og  som  ikke  har  indre  konsistens.  Hovedinntrykket  er  likevel  at  det  er  lagt  vekt  på  å  svare  presist  og  fullstendig.  Ser  vi  på  bedriftsnivå  og  de  ulike  bransjene  som  er  representert  i  utvalget  vårt,  tyder  

26    

dataene  på  at  vi  treffer  godt.  Erfaringsmessig  fra  gjennomføring  av  prosjekter  med  lignende  målgruppe6,  vet  vi  imidlertid  at  de  høyt  utdannede  er  overrepresentert,  noe  som  også  gjenspeiler  seg  i  våre  data,  se  også  fotnote  3.    

Språktestene  er  eksperimentdata.  Eksperimenter  kan  i  sin  reneste  form  gjennomføres  med  bare  en  test,  hvis  man  er  sikker  på  at  man  har  kontroll  med  alle  variabler.  I  hvilken  grad  det  er  mulig,  avhenger  av  hva  man  tester.  Ved  eksperimenter  der  mennesker  er  involvert,  vil  det  normalt  være  en  god  del  uforklart  variasjon,  derfor  må  det  gjøres  flere  eksperiment,  og  det  er  avgjørende  med  kontrollgruppe.  Hvor  mange  eksperiment,  og  hvor  mange  kontrollgrupper,  er  til  dels  en  kostnadsvurdering,  og  dels  en  vurdering  av  materialet.    

Slik  vi  her  har  vurdert  det,  var  det  til  vårt  formål  tilstrekkelig  med  én  kontrollgruppe.  Dersom  det  er  åpenbar  forskjell  på  testgruppe  og  kontrollgruppe,  kan  vi  med  større  sikkerhet  fastslå  at  målingsmetoden  i  seg  selv  ikke  påvirker  resultatene,  for  eksempel  ved  tiden  som  går,  eller  ved  at  testene  gir  læring.  Denne  vurderingen  av  målingsmetoden  vil  i  seg  selv  kunne  overføres  til  andre  kurs  og  målinger.  Derimot  vil  det  være  naturlig  å  anta  store  forskjeller  i  nivå  og  utvikling  på  ulike  kurs  og  ulike  bransjer,  derfor  bør  man  ha  flere  case.  Vår  vurdering  er  at  eksperimentene  har  fungert  ganske  godt,  og  viser,  som  vi  skal  se,  til  dels  klare  utslag.    

Når  det  gjelder  intervjudata,  er  det  i  utgangspunktet  ikke  noe  å  anføre  ut  over  at  det  strategiske  utvalget  i  casene  vil  ha  påvirket  utvalget.  Det  vil  også  kunne  være  noen  grad  av  systematikk  i  hvem  som  falt  fra  og  dermed  ikke  ble  intervjuet  to  ganger.  Videre  noterte  vi  oss  at  flere  av  deltakerne  hadde  utfordringer  med  å  plassere  oss,  og  mange  trodde  at  vi  var  koblet  til  kursene  og  noen  form  for  kartlegging  relatert  kursene.  Dette  kan  ha  påvirket  svarene,  og  vi  var  derfor  spesielt  på  utkikk  etter  tegn  på  tilpasning  til  intervjuerens  synspunkt,  noe  vi  fant  svært  lite  av.    

Intervjuene  med  ledere  må  klart  tolkes  i  lys  av  skjevheter  i  utvalget,  men  er  likevel  interessante  som  betraktninger  fra  ledere  i  virksomheter  som  formodentlig  jobber  tettere  mot  opplæringsprosjekter  enn  flertallet.    

 Alt  i  alt  har  hver  enkelt  metode  sine  svakheter,  og  et  par  skjevheter  som  er  avgjørende  å  være  oppmerksom  på  i  den  videre  fortolkningen,  men  vi  vurderer  det  totale  bildet  som  et  presist  og  godt  utgangspunkt  for  å  vurdere  effekt  og  sammenhenger.      

                                                                                                               6  Blant  annet  for  UDi,  UNE,  IMDi  og  NFF.    

27    

Kapittel  3  Effekt  av  opplæring   i  muntl ige  ferdigheter.      I  dette  kapittelet  presenterer  vi  på  overordnet  nivå  hvilke  effekter  vi  finner  at  kursene  har  hatt.  Vi  viser  først  resultatene  fra  den  kvantitative  undersøkelsen.  Disse  dataene  er  basert  på  en  pre  –  post  undersøkelse  hvor  deltakerne  selv  oppgir  sitt  eget  muntlige  ferdighetsnivå  før  og  etter  kursene.  Deretter  ser  vi  på  resultatene  fra  språktestene.  Disse  ble  også  gjennomført  før  og  etter  kursene  og  inkluderte  en  kontrollgruppe.  Sistnevnte  datakilde  kan  betraktes  som  et  mer  objektivt  mål  på  muntlige  ferdigheter.  Vi  trekker  derfor  ikke  inn  datamateriale  fra  intervjuer  og  observasjon  her,  disse  blir  gjenstand  for  analyser  i  kapittel  4.      

1  av  3  mener  de  snakker  bedre  norsk  etter  kursene.  Ett  av  målene  på  hvorvidt  kursene  har  hatt  en  effekt  i  de  kvantitative  undersøkelsene,  er  om  deltakerne  vurderte  sine  muntlige  norskferdigheter  som  bedre  etter  at  de  har  gått  på  kurs,  enn  før  de  har  gått  på  kurset.  Respondentene  ble  her  bedt  om  vurdere  hvor  godt  eller  dårlig  de  snakket  norsk  både  før  og  etter  kursene.  Spørsmålet  om  språkferdighetene  var  ikke  knyttet  opp  mot  kursene,  men  generelt  om  muntlige  språkferdigheter.  Merk  at  tallene  vi  gjengir  her  er  basert  på  en  analyse  hvor  vi  har  fulgt  de  samme  respondentene  gjennom  hele  kurset.  

Resultatene  viser  at  en  høyere  andel  av  kursdeltakerne  oppgir  at  de  snakker  god  norsk  etter  kurset,  enn  hva  de  gjorde  før  kurset.  Før  kurset  oppga  58  prosent  av  respondentene  at  de  snakket  ganske  god/eller  meget  god  norsk.  Etter  kursene  ligger  denne  andelen  på  69  prosent.  Det  er  med  andre  ord  en  økning  på  11  prosentpoeng  av  de  som  mener  de  snakker  bedre  norsk  enn  dårlig  norsk  etter  kursene.  Det  er  imidlertid  verdt  å  nevne  at  i  underkant  av  en  tredjedel  av  respondentene  fremdeles  oppgir  at  de  snakker  ganske  dårlig.  Figur  2:  Andelen  som  mener  de  snakker  god  eller  dårlig  norsk  før  og  etter  kurs  (n=355).    

 

7  %  

4  %  

35  %  

27  %  

52  %  

63  %  

6  %  

6  %  

0  %   10  %   20  %   30  %   40  %   50  %   60  %   70  %   80  %   90  %   100  %  

Før  

Eoer  

Hvor  god  eller  dårlig  er  du  ll  å  snakke  norsk?  

Meget  dårlig   Ganske  dårlig   Ganske  god   Meget  god  

28    

Et  annet  viktig  resultat  å  ta  med  seg  videre  i  denne  evalueringen  er  at  den  vanligste  effekten  av  kursene  er  at  deltakerne  ikke  har  forbedret  sine  muntlige  ferdigheter.  5  av  10  deltakerne  oppgir  at  de  er  på  samme  språknivå  nå,  som  de  var  før  kurset.  Vi  finner  også  at  16  prosent  av  deltakerne  oppgir  at  de  har  blitt  dårligere  til  å  snakke  norsk  i  løpet  av  kursperioden7.  Det  vil  si  at  6  av  10  deltakere  på  kursene  vurdere  sin  egne  muntlige  ferdigheter  som  på  samme  nivå,  eller  som  dårligere,  etter  at  de  har  tatt  kursene.    

Figur  3:  Andelen  som  oppgir  endringer  i  muntlige  språkferdigheter  fra  før  til  etter  kurset.  (n=355)  

 

Hverdagspraten  har  bl itt  enklere  for  mange    For  å  gi  et  mer  detaljert  bilde  av  hvilken  type  effekt  kursene  har  hatt  for  deltakernes  dagligliv,  ble  det  i  spørreundersøkelsen  også  undersøkt  om  deltakerne  syntes  det  hadde  blitt  enklere  å  snakke  norsk  i  ulike  hverdags-­‐  og  jobbsituasjoner.  Deltakerne  ble  her  bedt  om  å  vurdere  hvor  vanskelig  det  var  å  snakke  norsk  i  «språksituasjoner»  i  hverdagslivet  og  på  jobb,  samt  hvor  ofte  de  snakket  i  disse  situasjonene8.  Også  her  ble  respondentene  stilt  de  samme  spørsmålene  før  og  etter  kurset,  og  spørsmålet  var  ikke  knyttet  til  kursene  de  hadde  gjennomført.    

I  tråd  med  at  vi  ser  en  økning  i  andelen  som  mener  de  snakker  bedre  norsk  i  løpet  av  kursperioden,  finner  vi  også  at  kursdeltakerne  generelt  mener  det  har  blitt  enklere  å  snakke  norsk  i  de  fleste  situasjoner.  Analysene  viser  at  70  prosent  av  deltakerne  

                                                                                                               7  Det  kan  fremstå  underlig  at  en  så  vidt  stor  andel  opplever  å  bli  dårligere  i  norsk.  Dette  drøftes  videre  på  side  38.  Man  vil  kunne  hevde  at  det  å  oppleve  seg  dårligere  i  språket  kunne  være  en  effekt,  ettersom  det  kan  peke  i  retning  av  mer  kritisk  selvevaluering.  Vi  vurderer  dette  like  fullt  til  en  svak  effekt,  og  i  det  minste  ikke  en  relevant  måloppnåelse  for  kursene,  i  lys  av  Vox´  læringsmål  eller  overordnet  mål  for  BKA.  8  Vi  brukte  her  en  skala  som  gikk  fra  ”Det  er  veldig  vanskelig.  Jeg  gjør  det  aldri”  til  ”Det  er  lett.  Jeg  gjør  det  alltid”.    

32  %  

52  %  

16  %  

0  %   10  %   20  %   30  %   40  %   50  %   60  %  

Bedre  ll  å  snakke  norsk  

På  samme  nivå  

Dårligere  ll  å  snakke  norsk  

Andel  endring  i  språkferdigheter  før  og  eoer  undersøkelse  

 

29    

mener  det  har  blitt  enklere  å  snakke  norsk  i  en  eller  annen  situasjon  etter  at  de  har  gått  på  kursene.  Det  betyr  at  det  er  en  høyere  andel  deltakere  som  oppgir  at  det  det  har  blitt  enklere  å  snakke  norsk  i  ulike  situasjoner,  enn  det  er  deltakere  som  oppgir  at  de  generelt  har  blitt  bedre  til  å  snakke  norsk.  Disse  funnene  viser  igjen  at  å  måle  effekter  av  denne  typen  tiltak  har  mer  enn  en  side;  det  kan  være  forskjell  på  hvor  enkelt  det  er  å  snakke,  og  hvilket  nivå  man  opplever  å  være  på.  For  eksempel  kan  dette  peke  i  retning  av  at  deltakerne  i  større  grad  ”prøver  seg”  i  ulike  situasjoner,  uten  at  de  nødvendigvis  opplever  seg  som  bedre  i  språket.      

Økningen  med  tanke  på  ulike  språksituasjoner  fordeler  seg  temmelig  jevnt.  Vi  ser  imidlertid  at  den  er  høyere  når  det  gjelder  hvor  lett  deltakerne  syns  det  er  å  gi  beskjeder  til  andre  på  arbeidsplassen  om  hvordan  oppgaver  skal  gjennomføres.  I  dagliglivet  ser  det  ut  til  at  kurset  har  hatt  størst  effekt  på  hvordan  dagligpraten  fungerer.  Her  er  økningen  størst  med  tanke  på  situasjoner  som  å  snakke  med  naboer  og  handle  i  butikken,  vi  ser  imidlertid  også  at  rundt  10  prosent  mener  det  har  blitt  enklere  å  gjøre  avtaler  på  telefon  (jf.  figurer  neste  side).    

 

30    

Figur  4:  Vurdering  av  å  snakke  norsk  i  ulike  situasjoner  i  arbeidslivet  (n=355).      Figuren  viser  andelen  som  syns  svarer  at  de  ulike  situasjonene  er  «Det  er  lett.  Jeg  gjør  det  alltid»  før  og  etter  kurs.

 

2  %  

2  %  

2  %  

0  %  

21  %  

16  %  

3  %  

1  %  

12  %  

7  %  

22  %  

13  %  

53  %  

40  %  

45  %  

30  %  

39  %  

34  %  

47  %  

33  %  

58  %  

54  %  

58  %  

51  %  

48  %  

58  %  

53  %  

70  %  

40  %  

50  %  

50  %  

66  %  

31  %  

38  %  

20  %  

36  %  

0  %   10  %   20  %   30  %   40  %   50  %   60  %   70  %   80  %   90  %   100  %  

Før  

Eoer  

Før  

Eoer  

Før  

Eoer  

Før  

Eoer  

Før  

Eoer  

Før  

Eoer  

Snakke  m

ed  kollega  

i  pausen  

Gi  beskjed

 om  

arbe

idsopp

gaver  

Snakke  m

ed  

kund

er/pasienter  Fo

rklare  hvordan  en  

arbe

idsopp

gave  

skal  gjøre  

Snakke  i  telefon  

Snakke  på  et  m

øte  

Syns  du  det  er  leo  eller  vanskelig  å  snakke  norsk  i  de  ulike  situasjonene  i  arbeidslivet?  Figuren  viser  andelen  som  svarte  "Det  er  leo.  Jeg  gjør  det  allld".  

 

Det  er  veldig  vanskelig.  Jeg  gjør  det  ikke.   Det  er  vanskelig,  men  jeg  gjør  det  av  og  ll  

Det  er  leo.  Jeg  gjør  det  allld.  

31    

 

 

Figur  5:  Vurdering  av  å  snakke  norsk  i  ulike  situasjoner  i  hverdagslivet,  figuren  viser  andelen  som  syns  svarer  at  de  ulike  situasjonene  er  «Det  er  lett.  Jeg  gjør  det  alltid»  før  og  etter  kurs.  (n=355).      

   Disse  overordnede  effektfunnene  bør  fortolkes  i  lys  av  at  de  er  basert  på  kursdeltakernes  subjektive  vurdering  av  egne  muntlige  ferdigheter  og  hvordan  disse  korresponderer  med  krav  og  forventninger  i  gitte  situasjoner,  og  ikke  faktiske  muntlige  ferdigheter.  For  mange  kan  kanskje  det  å  ha  deltatt  på  kurset  gitt  dem  bedre  kunnskap  om  språket,  som  i  tur  gjør  at  de  føler  at  de  behersker  det  dårligere.        

2  %  

4  %  

8  %  

7  %  

8  %  

15  %  

14  %  

14  %  

0  %  

3  %  

57  %  

39  %  

58  %  

49  %  

49  %  

38  %  

49  %  

43  %  

41  %  

31  %  

41  %  

57  %  

33  %  

44  %  

42  %  

47  %  

37  %  

43  %  

59  %  

66  %  

0  %   10  %   20  %   30  %   40  %   50  %   60  %   70  %   80  %   90  %   100  %  

Før  

Eoer  

Før  

Eoer  

Før  

Eoer  

Før  

Eoer  

Før  

Eoer  

Snakke  m

ed  

nabo

er      

Gjøre  en

 avtale  

på  te

lefone

n  Snakke  m

ed  

legen  din  

Klage  når  e

t  prod

ukt  e

ller  e

n  tje

neste  ikke  

fungerer  

Når  jeg  er  i  

bulkken  og  

hand

ler  

Syns  du  det  er  leo  eller  vanskelig  å  snakke  norsk  i  de  ulike  situasjonene  i  hverdagslivet?  Figuren  viser  andelen  som  svarte  "Det  er  leo.  Jeg  gjør  det  allld".  

 

Det  er  veldig  vanskelig.  Jeg  gjør  det  ikke.   Det  er  vanskelig,  men  jeg  gjør  det  av  og  ll  

Det  er  leo.  Jeg  gjør  det  allld.  

32    

Over  de  neste  avsnittene  beveger  vi  oss  fra  den  subjektive,  opplevde,  effekten  av  kursene,  til  den  faktiske  effekten  målt  i  muntlige  ferdigheter,  ved  å  gå  gjennom  funnene  fra  språktesten  av  et  utvalg  deltakere.    

Språktestene  viser  varierende,  men  ti l  dels  svært  god  effekt  Figuren  under  viser  utviklingen  hos  hver  enkelt  deltaker  i  eksperimentgruppen.    Nivåene  i  skalaen  er  drøftet  i  metodekapittelet,  og  skalaen  i  seg  selv  er  utviklet  med  tanke  på  å  sammenligne  muntlige  ferdigheter  vi  ønsket  å  måle  før  og  etter  kurs,  og  ikke  fullverdig  klassifisering  av  språkferdigheter.  Figuren  viser  før-­‐  og  etter-­‐resultat  for  hver  enkelt  deltaker.      Figur  6:  Skår  på  språktesten  før  og  etter  kurs.  Case-­‐nummer  på  utsiden  av  sirkelen  referer  til  de  fire  casene,  hver  oppføring  er  en  deltaker,  og  der  linjene  treffer  hvert  tall  finner  vi  skåren  på  språktesten.  Aksen  som  går  fra  sentrum  av  sirkelen  og  ut  til  ytterpunktet,  referer  til  hvor  høy  skår  respondentene  oppnådde  i  språktesten.  Desto  nærmere  linjen  er  sentrum  av  sirkelen,  desto  lavere  skår  oppnådde  respondenten.  Case  1:  Transportvirksomhet.  Case  2:  Bygg  og  anlegg.  Case  3:  Kommunal  pleietjeneste.  Case  4:  Restaurantbransje.      

 

   Figuren  viser  nivå  ved  måling  før  og  etter  kurs  for  gjennomførte  tester.  Hver  akse  gjenspeiler  én  deltaker,  det  er  tre  til  fem  deltakere  per  case.  Case-­‐nummere  (Case  1,  Case  2  og  så  videre)  gjenspeiler  de  fire  virksomhetene  som  er  beskrevet  i  metodekapittelet.  Vi  ser  for  eksempel  at  case  1  og  3  hadde  deltakerne  med  det  høyeste  nivået  både  før  og  etter  kurs,  mens  case  4  og  2  hadde  de  svakeste  deltakerne  i  lys  av  språktestene.    

Vi  fant  en  gjennomsnittlig  økning  på  14  poeng  i  poengskalaen,  jf.  metodekapittelet.    

En  forenklet  oppsummering  av  resultatene  vil  her  være  at  41  prosent  god  utvikling  (mer  enn  10-­‐20  poeng),  29  prosent  hadde  svært  god  utvikling  (over  20  poeng)  og  29  prosent  hadde  ingen  nevneverdig  utvikling  (0-­‐10  poeng).  

0  10  20  30  40  50  60  70  80  Case  2  

Case  2  

Case  2  

Case  2  

Case  2  

Case  1  

Case  1  

Case  1  Case  1  Case  3  

Case  3  

Case  3  

Case  3  

Case  3  

Case  4  

Case  4  

Case  4  

FØR  

ETTER  

33    

Materialet  er  ikke  tilstrekkelig  omfattende  til  å  kunne  vurdere  om  det  er  sterk  sammenheng  mellom  språknivå  og  effekt.  Det  kan  likevel  se  ut  til  i  dette  utvalget,  at  effekten  er  sterkest  hos  dem  som  har  et  middels  nivå  fra  før,  det  vil  si  rundt  25-­‐45.    

Vi  ser  nærmere  på  resultatet  i  lys  av  kontrollgruppen.  Kontrollgruppen  ble  hentet  fra  virksomheten  i  case  1  (transport),  og  besto  av  deltakere  som  var  klare  for  å  gå  på  kurs,  men  ikke  hadde  begynt  ennå  og  som  vi  vurderte  som  ellers  svært  like  testgruppen.    

I  figur  7  har  vi  trukket  ut  kursdeltakerne  i  case  1  (transportvirksomhet)  fra  figur  6,  slik  at  disse  enklere  kan  sammenlignes  med  kontrollgruppen  

 

 

 Figur  7:  Resultater  språktest  for  testgruppe.  Figuren  leses  på  samme  måte  som  figuren  over.    

   

 

I  testgruppen,  som  da  også  er  fra  case  1,  transportvirksomhet  (figur  7)  ser  vi  at  de  som  er  testet  har  god  utvikling  (16-­‐21  poeng).  Det  bør  her  tilføyes  at  dette  var  ett  av  casene  med  relativt  god  oppfølging  fra  arbeidsgiver,  både  gjennom  faglig  innhold  og  oppfølging  av  deltakelse.    

I  kontrollgruppen,  ellers  like  deltakere  som  ikke  gikk  på  kurs,  er  bildet  et  annet:  

Tre  av  deltakerne  har  ingen  målbar  endring,  de  to  øvrige  har  til  dels  negativ  utvikling9.    

                                                                                                               9  Kandidat  1:  24  poeng  (før)  –  4  poeng  (etter);  kandidat  2:  45  poeng  +  4  poeng;  kandidat  3:  51  poeng  –  3  poeng;  kandidat  4:  51  poeng  –  19  poeng;  kandidat  5  51  poeng  –  9  poeng.  Den  sterke,  negative  utviklingen  hos  en  av  deltakerne  (4)  må  stå  uforklart,  og  regnes  som  tilfeldig.  

0  10  20  30  40  50  60  

1  

2  

3  

4  Før  

Eoer  

34    

Ut  fra  dette  vurderer  vi  det  som  mindre  sannsynlig  at  fremgang  fra  før-­‐test  til  etter-­‐test  i  testgruppene  skyldes  bakenforliggende  årsaker  eller  testmetodikken  i  seg  selv.  

Vi  går  ikke  inn  på  variasjoner  mellom  casene,  ettersom  dette  ikke  er  tilstrekkelig  materiale  til  å  vurdere  de  ulike  kursene  og  virksomhetene.  Likevel  er  det  enkelte  antydninger  om  mulige  sammenhenger  som  er  verdt  å  vurdere,  og  som  vi  undersøker  nærmere  i  kapittel  4.  

Det  overordnede  bildet  fra  eksperimentet  er  at  en  majoritet  har  god  eller  svært  god  effekt  av  å  delta  i  kursene.  Det  er  likevel  nesten  en  tredjedel  som  har  ingen  eller  lite  målbar  effekt  av  å  gå  på  kurs.  Videre  at  effekten  neppe  kan  tilskrives  forhold  ved  metodikken  eller  tiden  som  har  gått,  i  lys  av  resultatene  i  kontrollgruppen.      I  dette  kapitlet  har  vi  sett  på  to  effektmål  for  kursene:  et  subjektivt  mål  (gjennom  spørreundersøkelser)  og  et  mer  objektivt  mål  (språktest  og  kvasi-­‐eksperiment).  Resultatene  fra  både  språktestene  og  den  kvantitative  undersøkelsen  tyder  på  at  det  er  en  effekt,  men  effekten  virker  å  være  betraktelig  sterkere  i  språktestene  enn  i  den  kvantitative  undersøkelsen.  I  neste  kapittel  ser  vi  nærmere  på  hva  som  ligger  bak  disse  effektene,  ved  å  gå  dypere  i  både  de  kvantitative  og  kvalitative  dataene.          

35    

Kapittel  4  Effekter  og  sammenhenger    I  forrige  kapittel  oppsummerte  vi  effektmål  på  overordnet  nivå.  I  dette  kapitlet  se  på  hvilke  sammenhenger  som  ligger  bak  effektmålene.  Fokuset  er  særlig  hva  som  øker  og  redusere  sannsynligheten  for  at  deltakerne  har  effekt  av  kursene.  Formålet  er  å  gi  mer  kunnskap  om  hva  som  ligger  bak  resultatene,  og  hva  som  kan  ha  betydning  for  fremtidig  innretting  av  tiltak.      Analysene  vi  gjengir  her  er  basert  både  på  de  kvalitative  og  kvantitative  dataene  samt  eksperimentdata.  Der  vi  rapporterer  om  konkrete  funn,  vil  det  klart  fremgå  hvilket  datamateriale  dette  bygger  på.  Vi  må  likevel  understreke  at  vi  har  jobbet  tett  med  alle  typer  data,  og  integrert  disse  i  analysen.    

For  å  strukturere  de  ulike  sammenhengene  som  eksisterer  i  datamaterialet,  har  vi  valgt  å  dele  inn  kapitlet  i  indre  og  ytre  faktorer.  Med  indre  faktorer,  mener  vi  faktorer  som  omhandler  den  enkelte  deltaker,  vedkommendes  bakgrunn  og  drivere.  Med  ytre  faktorer  peker  vi  på  det  som  ligger  utenfor  deltakeren,  slik  som  organisering  av  kurs,  oppfølging  fra  arbeidsgiver,  med  mer.  Dette  er  åpenbart  en  forenkling  av  virkeligheten,  men  vi  har  valgt  denne  oppdelingen  for  struktur  og  oversiktlighet.  Vi  tenker  her  at  dette  skillet  i  noen  grad  gjenspeiler  hvilket  nivå  eventuelle  tiltak  og  justeringer  kan  ligge  på.    

Indre  faktorer    Vi  har  valgt  å  benytte  betegnelsen  indre  faktorer  på  alt  som  fremstår  som  individuelt  og  knyttet  til  den  enkelte  deltaker,  mer  eller  mindre  uavhengig  av  kurs  og  arbeidsgiver.  Vi  skriver  ”fremstår”,  fordi  faktorer  som  for  eksempel  motivasjon  åpenbart  ikke  kan  forståes  isolert  fra  ytre  påvirkning.  Samtidig  er  det  ikke  helt  unaturlig  å  se  på  dette  som  en  indre  driver.    

Vi  starter  på  individuelt  nivå.  Gjennom  intervjuene  med  deltakere,  og  til  dels  også  med  ledere  og  lærere,  fant  vi  noen  historier,  bakgrunner  og  drivere  som  gikk  igjen  eller  var  særlig  påfallende.  Basert  på  disse  observasjonene,  kobler  vi  dette  til  materialet  fra  spørreundersøkelsene.  Det  viktig  å  understreke  at  de  alle  deltakerne  som  ble  intervjuet,  og  de  fleste  av  lederne  som  ble  intervjuet,  oppfattet  disse  kursene  som  ”norskkurs”.  Derfor  er  mange  av  funnene  vi  peker  på  knyttet  til  det  å  lære  norsk.      Motivasjon    Motivasjon  trekkes  i  mange  sammenhenger  fram  som  den  avgjørende  ressursen  eller  forklaringen  på  hvem  som  får  utbytte  og  fremgang,  og  hvem  som  ikke  får  det.  Derfor  er  det  også  naturlig  å  trekke  dette  spesielt  fram,  og  i  intervjuene  var  dette  også  noe  vi  søkte  å  identifisere.      

Det  er  av  åpenbare  grunner  problematisk  å  komme  med  påstander  rundt  subjektiv  vurdering  av  motivasjon.  Men  vi  kan  trekke  fram  noen  typer  uttrykk  for  motivasjon,  slik  det  fremkommer  gjennom  intervjuene:      

36    

 ”Vi  bor  jo  i  Norge”  Utsagnet  kommer  i  mange  tilfeller  som  en  litt  lattermild  og  selvfølgelig  avfeiing  av  spørsmål  om  hvorfor  man  ønsker  å  gå  på  kurs.  Det  er  likevel  noe  tvetydig;  det  kan  være  en  påpekning  av  det  selvfølgelige  i  å  lære  seg  språk,  men  kan  også  være  uttrykk  for  at  det  ikke  er  gjennomtenkt  nærmere.      ”Barna  mine  snakker  norsk”  Utsagnet  utdypes  gjerne  med  at  man  ønsker  god  kontakt  med  barna,  og  at  man  ønsker  å  kunne  følge  opp  barna  på  skolen  og  i  barnehagen.  Det  var  mange  i  gruppen  som  er  flerspråklige  hjemme,  det  vil  si  at  det  er  to-­‐tre  språk  som  snakkes  om  hverandre  i  hjemmet.      ”Det  blir  lettere  å  få  venner”  Mange  av  de  vi  intervjuet  trakk  fram  hvor  vanskelig  det  er  å  få  norske  venner,  og  at  språket  har  vært  et  sosialt  handikap.  Åpenbart  gjelder  det  særlig  de  som  har  reist  uten  familien,  men  også  folk  med  familie  trekker  fram  dette.    ”Jeg  trenger  å  forstå  hva  de  norske  sier  på  jobben”  Påfallende  få  trakk  frem  dette,  og  i  intervjuene  gjaldt  det  utelukkende  de  som  forholder  seg  til  brukere  eller  kunder.  For  deltakerne  fra  caset  med  kommunale  helsearbeidere,  var  dette  viktig,  men  ellers  ble  det  trukket  lite  fram.  Noen  mente  også  at  arbeidsspråket  var  såpass  enkelt,  fordi  det  er  de  samme  frasene  hele  tiden,  at  det  egentlig  ikke  var  noen  sentral  motivasjon.  En  tilstøtende  motivasjon,  som  var  mer  utbredt,  var  ønsket  om  å  kunne  kommunisere  enkelt  i  praktiske  gjøremål,  i  banken,  butikken,  hos  myndighetene.      ”Da  bruker  jeg  tiden  til  å  lære  norsk”  Mange  understreker  at  det  er  vanskelig  å  prioritere  tiden  til  å  lære  seg  språk.  Mange  jobber  mye,  og  det  er  vanskelig  å  finne  tiden.  Når  en  går  på  kurs,  får  en  hjelp  til  å  prioritere,  og  bruker  i  det  minste  tiden  man  er  på  kurset  til  å  øve.    

 Et  element  som  ikke  kom  fram  som  motivasjon  i  intervjuene  før  kursene,  men  som  ble  beskrevet  av  flere  som  en  effekt,  var  mot  og  vilje  til  å  kaste  seg  inn  i  dialog.  Dette  handlet  altså  både  om  ferdigheter  og  nivå,  men  også  det  å  få  trening  og  tillit  til  seg  selv  i  situasjoner  med  norsk  språk.  For  ledernes  og  lærernes  del,  ble  dette  av  flere  trukket  frem  som  en  motivasjon  rundt  opplæringen,  å  ”bryte  språkisen”.  Det  er  også  grunn  til  å  vurdere  om  skillene  mellom  vurdering  av  egne  ferdigheter,  og  vurdering  av  hvor  krevende  ulike  språksituasjoner  fremstår,  kan  handle  om  en  bredere  språkkompetanse;  altså  ikke  bare  objektive  ferdigheter,  men  kompetansen  til  å  aktivt  benytte  språket  på  det  nivået  man  er.    

En  utfordring  i  analysen,  er  å  skille  mellom  motivasjon,  og  mer  kognitive  synspunkt.  Det  er  fullt  mulig  å  mene  at  man  bør  snakke  norsk  i  Norge,  og  at  språk  er  en  barriere  for  å  få  venner  –  uten  at  det  er  en  motivasjon  for  en  selv.  I  hvilken  grad  

37    

motivasjonene  fremsto  som  sterke,  kan  være  vanskelig  å  vurdere.  Men  hvis  vi  skal  se  på  hvilke  motivasjoner  som  i  størst  grad  ble  understøttet  av  eksempler  og  utdyping,  var  dette  særlig  de  som  handlet  om  bedre  muligheter  til  å  delta  sosialt  i  norsk  samfunn;  venner,  skole  og  praktiske  gjøremål.    

I  det  følgende  kobler  vi  disse  observasjonene  til  kvantitative  analyser.  Vi  må    understreke  at  disse  motivasjonstypene  ikke  direkte  kobles  til  kvantitativ  analyse,  ettersom  dette  ikke  lar  seg  gjøre,  men  må  leses  som  funn  i  seg  selv.    

 Motivasjon  i  kvantitativt  materiale  

I  spørreundersøkelsene  ble  motivasjon  målt  ved  spørsmål  om  hva  som  var  den  viktigste  grunnen  til  at  respondentene  gikk  på  kurset.  Som  vi  har  sett  tidligere,  var  det  ønsket  om  å  lære  seg  bedre  norsk  som  var  den  vanligste  begrunnelsen  for  å  delta  i  kursene,  hvor  ønsket  om  å  få  seg  flere  venner  var  den  minst  vanlige  motivasjonen  (jf.  figur  9).  Merk  at  respondentene  kunne  svare  at  de  var  motiverte  av  flere  forhold,  og  at  det  derfor  er  en  overlapp  mellom  de  ulike  kategoriene.    Figur  8:  Frekvensfordeling  motivasjon  til  å  delta  på  kurset.    

 

 

Gjør  man  mer  dyptgående  analyser  av  hvilken  betydning  deltakernes  motivasjon  har  for  kursenes  effekt,  ser  vi  at  det  er  en  viss  sammenheng  mellom  deltakernes  motivasjonen  for  å  delta  på  kursene  og  utbyttet  de  selv  mener  de  fikk  av  kursene.  Deltakerne  som  var  drevet  av  karriererelaterte  aspekter  som  høyere  lønn  og  bedre  jobb,  har  høyest  sannsynlighet  for  å  oppgi  at  de  har  blitt  bedre  i  norsk  i  løpet  av  kursperioden.  Deltakerne  som  oppga  å  være  motivert  av  å  knytte  et  større  sosialt  nettverk,  finner  vi  i  mindre  grad  har  like  stor  økning  i  selvrapporterte  muntlige  ferdigheter  (jf.  figur  4).  Det  ene  utelukker  imidlertid  ikke  det  andre.  Det  betyr  ikke  nødvendigvis  at  ønske  om  å  bygge  et  større  sosialt  nettverk  ikke  er  en  motivator  for  disse  gruppene,  men  at  dette  ikke  var  hovedmotivasjonen  til  å  ta  kursene.    

22  %  

23  %  

34  %  

46  %  

82  %  

0  %  10  %  20  %  30  %  40  %  50  %  60  %  70  %  80  %  90  %  

Det  blir  enklere  for  meg  å  få  venner  

Jeg  vil  ha  høyere  lønn  

Jeg  ønsker  meg  en  bedre  jobb  

Det  blir  enklere  for  meg  å  gjøre  jobben  min  

Jeg  vil  snakke  bedre  norsk  

Hvorfor  gikk  du  på  kurset?  

38    

Figur  9:  Andelen  som  oppgir  økning  i  muntlige  språklige  ferdigheter  etter  deres  motivasjon  for  å  delta  på  kursene.  

Som  det  har  fremgått  i  kapittel  3,  er  det  deltakere  som  oppgir  dårligere  i  muntlige  ferdigheter  etter  kurs.  Vi  har  ikke  gått  inn  på  nærmere  inn  på  forklaringer  av  dette,  og  dette  vil  være  rent  spekulativt.  Imidlertid  er  det  grunn  til  å  påpeke  at  dette  ikke  er  basert  på  deltakernes  vurdering  av  ”om  de  har  blitt  bedre”,  men  deltakernes  vurdering  av  mestring  av  eksempler  på  situasjoner.  En  mulig  forklaring  kan  dermed  for  eksempel  være  at  deltakerne  gjennom  kursene  er  blitt  eksponert  for  språksituasjoner  de  ikke  tidligere  har  vært  eksponert  for,  og  ikke  opplevd  å  mestre  dette,  eller  har  blitt  mer  selvkritiske.  Dette  blir  i  noen  grad  gjetning,  men  det  er  i  og  for  seg  ikke  et  overraskende  resultat,  ettersom  fortolkningen  er  plausibel  nok.  Det  vil  være  grunn  til  å  tro  at  de  som  opplever  mestringen  som  dårligere  enn  før  kurs,  antagelig  tilhører  gruppen  som  opplever  å  være  på  samme  nivå,  men  skiller  seg  fra  dem  ved  å  ha  blitt  mer  selvkritiske  gjennom  kurset.  Som  tidligere  drøftet  kunne  man  da  ment  at  dette  er  en  effekt,  men  vi  har  valgt  å  ikke  legge  vekt  på  slik  effekt,  ettersom  økt  usikkerhet  og  selvkritikk  som  sluttprodukt  neppe  kan  sies  å  være  i  tråd  med  målene  for  BKA  eller  opplæring  i  muntlige  ferdigheter.      En  annet  indre  faktor,  som  er  nært  relatert  til  motivasjon,  er  deltakernes  forventinger  til  kurset.  I  spørreundersøkelse  ble  deltakerne  bedt  om  svare  på  hva  de  forventet  av  kurset.  Resultatene  her  viste  at  den  store  majoriteten  av  deltakerne  hadde  forventinger  til  hva  de  skulle  få  ut  av  kurset,  og  at  det  ikke  var  store  forskjeller  mellom  hvilke  type  forventninger  de  hadde.  Å  forvente  at  kurset  skulle  gjøre  deltakerne  bedre  til  å  samarbeide  med  andre  er  nesten  like  vanlig  som  å  forvente  at  kurset  skulle  gjøre  deltakerne  bedre  til  å  snakke  norsk.  Det  er  også  interessant  å  merke  seg  at  i  underkant  av  en  femtedel  av  deltakerne  ikke  hadde  noen  klare  forventninger  til  hva  de  skulle  få  ut  av  kursene  overhodet.        

40  %  

37  %  

36  %  

34  %  

32  %  

21  %  

40  %  

57  %  

41  %  

51  %  

52  %  

57  %  

20  %  

7  %  

23  %  

15  %  

15  %  

21  %  

0  %  10  %  20  %  30  %  40  %  50  %  60  %  70  %  80  %  90  %  100  %  

Jeg  vil  ha  høyere  lønn  

Det  blir  enklere  for  meg  å  gjøre  jobben  min  

Jeg  ønsker  meg  en  bedre  jobb  

Jeg  vil  snakke  bedre  norsk  

Gjennomsnio  utvalg  

Det  blir  enklere  for  meg  å  få  venner  

Bedre     Samme  nivå   Dårligere  

39    

Figur  10:  Frekvensfordeling  av  forventninger  blant  deltakerne.      

         Vi  finner  ingen  klare  sammenhenger  mellom  hvilke  typer  forventinger  deltakerne  hadde  til  kurset,  og  effekten  kursene  hadde.  Sammenligner  vi  imidlertid  de  som  oppga  å  ha  en  forventning  til  kurset  med  de  som  ikke  oppga  noen  forventninger  til  kurset,  finner  vi  at  de  uten  klare  forventninger  har  en  noe  svakere  effekt.  I  gruppen  med  forventinger  er  det  en  økning  på  35  prosent  i  de  som  mener  å  snakker  bedre  norsk,  mens  den  tilsvarende  økningen  blant  de  «forventningsløse»  ligger  på  23  prosent    Utdanning  og  kompetanse  En  arbeidshypotese  i  prosjektet  var  at  utdanning  og  faglig  bakgrunn  kan  ha  betydning  for  utbyttet  av  å  gå  på  kurs.  I  intervjuene  stilte  vi  derfor  spørsmål  som  hadde  som  intensjon  å  avdekke  deltakernes  deltakelse  i  egen  læringsprosess  og  utvikling  av  læringsstrategier.    

Vi  fant  store  forskjeller  i  kompetanse  og  iver  etter  å  øve  og  lære.  De  fleste  peker  på  utfordringer  med  å  finne  tid,  og  at  det  er  tungt  etter  jobb.  Det  er  likevel  stor  forskjell  på  om  de  finner  tid  mellom  kurs  til  å  øve,  eller  om  de  har  planlagte  eller  intuitive  måter  å  øve  på  norsk  mellom  kursene.  Noen  deltakere  sier  for  eksempel  først  at  de  ikke  øver  mellom  kursene,  før  det  senere  kommer  fram  at  de  har  installert  norsk  tv,  leser  norske  aviser  med  Google  og  ordbok,  og  trekker  frem  språkutfordringer  som  de  har  gått  og  grublet  på:  

”Likevel  og  uansett.  Vanskelig.  Norske  bruker  det  helt  likt  for  meg,  men  er  det  forskjell?”  (Forskalingssnekker)    

”Han  sa  kunde  sa  jeg  var  sin.  Jeg  trodde  sen.  Late  (engelsk).  Men  det  var  sint.  At  jeg  var  sint.  Noen  uttale  er  vanskelig  for  meg  å  forstå”.  (Transportarbeider)  

80  %  

75  %  

73  %  

80  %  

14  %  

17  %  

20  %  

16  %  

6  %  

8  %  

7  %  

4  %  

0  %  10  %  20  %  30  %  40  %  50  %  60  %  70  %  80  %  90  %  100  %  

Tror  du  kurset  gjør  deg  bedre  ll  å  snakke  norsk?  

Tror  du  kurset  gjør  deg  bedre  ll  å  samarbeide  med  andre?  

Tror  du  kurset  gjør  deg  bedre  ll  å  gjøre  jobben  din?  

Tror  du  kurset  gjør  deg  bedre  ll  å  kommunisere  med  andre?  

Ja   Nei     Vet  ikke  

40    

 ”Jeg  har  fast  bil,  i  dag  jeg  kjører  andre  bil.  Andre  eller  annen  bil.  Jeg  alltid  blander”.  (Transportarbeider)  

Et  annet  element  som  kom  opp,  ikke  så  mye  gjennom  intervjuene  som  gjennom  refleksjonsnotater  i  etterkant  av  språktester,  var  en  mulig  betydningen  av  botid.  Testene  dokumenterte  ikke  effekt  av  botid  (resultatene  ble  sammenlignet  med  bakenforliggende  variabler  for  deltakerne),  men  i  følge  testobservatørenes  refleksjonsnotater,  fremsto  det  gjennom  testene  slik  at  de  med  lang  botid  hadde  større  problemer  i  test  2  enn  man  kunne  forventet.  Testgjennomførerne  pekte  her  på  fastlåste  språkstrukturer  og  –strategier  som  de  ut  fra  sine  observasjoner  mente  ble  værende  også  etter  kursene.  Dette  er  ikke  å  regne  som  et  funn  i  retning  av  såkalt  ”fossilisering”  ettersom  refleksjonsnotatene  står  utenfor  datamaterialet  og  ikke  er  dekkende  for  denne  typen  konklusjoner.  Vi  valgte  likevel  å  også  se  nærmere  på  denne  observasjonen  i  undersøkelser  av  data  fra  spørreundersøkelsene.  Et  annet  fenomen  som  i  noen  grad  fremsto  som  et  mønster  når  vi  ser  på  testresultatene,  var  at  de  svakeste  og  de  sterkeste  ikke  hadde  så  godt  utbytte  som  de  som  lå  i  mellomsjiktet,  omtrent  25  til  45  poeng  etter  vår  skala.  

Ut  fra  dette  analyserte  vi  datamaterialet  i  spørreundersøkelsene  med  henblikk  på  botid,  opplevd  egen  kompetanse,  tidligere  gjennomførte  kurs  og  generelt  utdanningsnivå.      

 Betydningen  av  språkerfaring  i  kvantitative  data  Hvor  vi  i  de  kvalitative  dataene  ikke  hadde  mulighet  til  å  si  noe  om  hvilken  betydning  botid  og  erfaring  har  for  effekten  av  kursene,  har  vi  mulighet  til  å  si  noe  om  dette  basert  på  resultatene  fra  spørreundersøkelsene.    

Én  form  for  mål  på  erfaring  med  muntlig  norsk  kan  være  hvor  lenge  deltakerne  har  bodd  i  Norge.  I  datamaterialet  vårt  har  rundt  60  prosent  av  kursdeltakerne  bodd  i  Norge  i  5  år  eller  lengre,  mens  30  prosent  har  bodd  i  Norge  i  7  år  eller  lengre.  Resultatene  fra  den  kvantitative  undersøkelsen  er  tydelige  på  at  effekten  av  kursene  er  høyest  for  deltakerne  som  har  bodd  i  Norge  i  3-­‐4  år,  deretter  følger  respondentene  med  botid  fra  5-­‐7  år  og  de  som  har  bodd  i  landet  i  1  –  2  år.  Videre  ser  vi  de  som  har  bodd  i  Norge  i  7  år  eller  lengre,  som  er  den  største  gruppen  i  datamaterialet,  har  hatt  signifikant  lavere  effekt  av  kursene.  Basert  på  disse  resultatene  virker  det  som  det  er  mellomnivået  av  språklige  ferdigheter  som  har  best  utbytte  av  kursene.  De  som  har  et  språklig  grunnlag,  men  enda  ikke  har  satt  seg  fast  i  språklige  rutiner  eller  allerede  er  på  et  høyt  nivå,  ser  ut  til  ha  størst  effekt  av  kursene.    

41    

 Figur  11:  Andelen  med  forbedret  selvrapporterte  muntlige  ferdigheter  etter  botid.  (n=355)  

   Språkkompetanse  og  effekt  av  kursene  At  kursene  ser  ut  til  å  ha  størst  effekt  for  deltakerne  som  befinner  seg  på  et  mellomnivå  i  norsk,  finner  vi  også  igjen  når  vi  ser  på  sammenhengen  mellom  om  deltakerne  har  tatt  norskkurs  tidligere  og  effekten  de  har  av  BKA-­‐kursene.  For  det  første  finner  vi  at  de  som  ikke  har  gått  norskkurs  tidligere  har  en  noe  mer  gunstig  effekt  av  kursene  enn  de  som  har  gått  på  kurs  (tabell  3).  Dette  funnet  gjør  seg  gjeldende  også  når  vi  kontrollerer  for  at  de  som  har  bodd  mer  enn  7  år  i  Norge  eller  lengre  er  noe  overrepresentert  blant  dem  som  ikke  har  fullført  norskkurs  tidligere.    

Ser  vi  på  deltakerne  som  har  tatt  kurs  og  fullført  ulike  norskprøver,  ser  vi  en  også  tendens  til  at  deltakerne  som  befinner  seg  på  et  mellomnivå  får  mest  ut  av  kursene.  Deltakerne  som  har  fullført  norskprøve  3  muntlig  eller  skriftlig,  som  riktignok  skal  nevnes  er  en  mindre  gruppe  i  datamaterialet,  har  en  signifikant  lavere  effekt  av  kurset  sammenlignet  med  de  som  har  fullført  nivå  2,  eller  de  som  ikke  har  tatt  norskprøver  (jf.  figur  7).          

 

Tabell  4:  Sammenhengen  mellom  effekt  av  kurs  i  muntlige  ferdigheter  og  norskkurs.  (n=355)  

Har du gått på norskkurs? Total

Ja Nei

Endringer i muntlige ferdigheter

Sammen nivå eller dårligere

70.9% 55.6% 68.8%

Blitt bedre 29.1% 44.4% 31.3%

Total 100.0% 100.0% 100.0%

 

21  %  

54  %  

25  %  

12  %  

0  %  

10  %  

20  %  

30  %  

40  %  

50  %  

60  %  

 1-­‐2  år   3-­‐4  år   5-­‐7  år   Mer  enn  7  år  

42    

Figur  12:  Andel  som  oppgir  at  de  har  forbedret  sine  muntlige  ferdigheter  etter  hvilke  norskprøver  de  har  tatt.  (n=275)    

   En  plausibel  hypotese  i  forbindelse  med  betydningen  av  språkkompetanse  og  læringskompetanse,  er  at  deltakernes  formelle  utdanningsnivå  er  av  betydning  for  utbytte  de  har  av  kursene.  I  det  kvantitative  datamaterialet  finner  vi  imidlertid  ingen  signifikant  sammenheng  mellom  deltakernes  utdanningsnivå  og  effekt  av  kursene.    En  annen  «usual  suspect»  i  denne  typen  analyser  er  landbakgrunn.  I  det  kvantitative  datamaterialet  finner  vi  imidlertid  ingen  signifikante  sammenhenger  mellom  hvor  deltakerne  har  sin  landbakgrunn  fra,  og  effekten  av  kursene.      

Indre  og  ytre  faktorer   i  eksperiment-­‐  og   intervjudata  I  eksperiment-­‐  og  intervjudataene  fremsto  det  i  liten  grad  som  det  var  sterk  sammenheng  mellom  motivasjoner,  og  bare  i  noen  grad  betydning  av  læringskompetanse  og  vilje.  På  den  annen  side,  fremsto  det  som  organisering  og  ikke  minst  praktisk  og  faglig  oppfølging  fra  arbeidsgiver  var  av  stor  betydning.  Vi  gjorde  noen  enkle  sammenstillinger  for  å  se  etter  mønster,  men  til  slike  analyser  er  ikke  denne  typen  kvalitative  data  om  bakgrunn  tilstrekkelig  robuste  til  å  konkludere.    

Likevel  er  det  på  sitt  vis  intuitivt  at  arbeidsgivers  oppfølging  vil  ha  særlig  stor  betydning  når  vi  måler  ut  fra  arbeidsrelatert  språk:  Det  vil  være  krevende  for  en  lærer  å  identifisere  presist  hva  deltakerne  har  bruk  for  på  jobben,  uten  at  arbeidsgiveren  er  involvert.  I  neste  del  ser  vi  nærmere  på  ytre  rammer  og  i  hvilken  grad  vi  kan  koble  disse  til  effekt.      

Ytre  faktorer  Vi  retter  nå  oppmerksomheten  mot  faktorer  utenfor  den  enkelte,  og  mer  presist  mot  organisering  av  kursene,  tilrettelegging  og  arbeidsgivers  oppfølging.  Vi  har  som  nevnt  skilt  mellom  indre  faktorer  og  ytre  faktorer  eller  rammer.  Dels  gir  dette  en  god  oppdeling  av  funnene  og  analysene,  og  ikke  minst  er  det  fenomen  som  man  

35  %  33  %  

20  %  

10  %  

36  %  

0  %  

5  %  

10  %  

15  %  

20  %  

25  %  

30  %  

35  %  

40  %  

Norskprøve  2,  den  muntlige  

delen  

Norskprøve  2,  skriwlig  

Norskprøve  3,  den  muntlig  

delen  

Norskprøve  3,  skriwlig  

Jeg  har  ikke  tao  norskprøver  

Andel  bedre  i  muntlige  ferdigheter  

43    

eventuelt  må  nærme  seg  svært  ulikt  med  tanke  på  tiltak.  Forholdet  mellom  betydning  av  indre  og  ytre  faktorer  avgjørende  for  hva  slags  tiltak  som  vil  kunne  ha  funksjon.    

Som  beskrevet  i  forrige  avsnitt,  fant  vi  ikke  klare  sammenhenger  mellom  motivasjoner  og  læringskompetanse  og  effekter,  når  vi  ser  på  intervju-­‐  og  eksperimentdata.  I  de  kvantitative  dataene  finner  vi  en  effekt  av  motivasjon,  men  at  eksempelvis  botid  i  større  grad  forklarer  forskjeller  i  effekten  av  kursene.      Bedrifters  og  lederes  tilrettelegging  og  deltakelse  I  de  kvantitative  dataen  ble  bedriftens  tilrettelegging  og  oppfølging  av  kursene  målt  med  spørsmål  om  kursene  foregikk  i  arbeidstiden,  om  deltakerne  gikk  på  kurs  sammen  med  kolleger  samt  om  deltakerne  selv  valgte  å  delta  på  kursene.  I  tillegg  har  vi  koblet  spørreundersøkelsesdataene  til  databasen  til  Vox.  På  den  måten  kan  vi  undersøke  om  deltakernes  bedrift  har  søkt  om  midler  til  kurs  selv  (såkalt  etterspørrer)  eller  vært  med  på  kursene  gjennom  at  en  undervisningstilbyder  har  levert  søknad  for  bedriften  (tilbyder).  Sistnevnte  variabel  kan  betraktes  som  et  indikativt  mål  på  hvor  engasjert  bedriften  har  vært  i  forbindelse  med  fasilitering  og  planlegging  av  kursene.    

Analysene  viser  at  flesteparten  av  deltakerne  gikk  på  kurset  med  kollega,  men  at  det  var  mer  uvanlig  at  kursene  foregikk  i  arbeidstiden.  Når  det  gjelder  graden  av  frivillighet  for  deltakelse  på  kursene,  oppgir  6  av  10  at  de  deltar  på  kurene  frivillig.  En  tredjedel  svarer  imidlertid  at  grunnen  til  at  de  deltar  er  en  kombinasjon  av  at  overordnede  ba  dem  delta  og  at  de  selv  hadde  lyst.    Vi  finner  ingen  klare  sammenhenger  mellom  variablene  som  er  beskrevet  over  og  effekten  kursene  har  i  de  kvantitative  dataene.  Det  er  en  tendens  til  at  deltakerne  som  går  på  kurs  sammen  med  en  kollega  har  en  noe  høyere  effekt  av  kursene,  enn  de  som  går  alene.  Selv  om  denne  forskjellen  rent  statistisk  sett  er  signifikant,  er  forskjellene  små.  Den  samme  tendensen  ser  vi  med  tanke  på  om  kursene  foregår  i  arbeidstiden,  eller  helt  eller  delvis  på  fritiden.  Her  finner  vi  at  deltakerne  som  gikk  på  kurs  både  i  arbeidstid  og  utenfor  arbeidstid  ser  ut  til  å  gjøre  det  noe  bedre  med  tanke  på  forbedringer  i  muntlige  språkferdigheter.  Gitt  utvalgsstørrelsen,  er  imidlertid  ikke  forskjellene  store  nok  til  at  det  er  grunnlag  for  å  konkludere  med  at  kursenes  organisering  mellom  fritid  og  arbeidstid  er  av  avgjørende  betydning  kursenes  effekt.    

Når  det  gjelder  søkerrollen  (tilbydere  eller  etterspørrere)  til  bedriften  deltakerne  jobber  i  finner  vi  at  deltakerne  som  jobber  i  bedrifter  som  selv  har  søkt,  har  høyere  sannsynlighet  for  å  ha  en  gunstig  effekt  av  kursene  enn  de  øvrige  deltakerne.  Denne  forskjellen  er  både  signifikant,  og  gitt  utvalgsstørrelsen  en  forskjell  det  gir  substansiell  mening  å  snakke  om.  Sammenhengen  er  imidlertid  ikke  entydig.  Søkerbedriftene  opplever  at  deltakerne  har  størst  bedring.  Samtidig  er  også  deltakerne  som  jobber  i  disse  bedriftene  de  som  har  høyest  andel  som  oppgir  at  de  har  blitt  dårligere  i  muntlige  ferdigheter  i  løpet  av  kursperioden.    

44    

Denne  forskjellen  henger  til  en  viss  grad  sammen  med  at  bedriftene  som  selv  søker  om  midler,  har  deltakere  som  i  utgangspunktet  befinner  seg  på  et  høyere  nivå.  Forskjellen  mellom  søkerbedrifter  og  bedrifter  som  tar  kursene  gjennom  tilbydere,  kan  derimot  ikke  forklares  av  at  gruppene  i  utgangspunktet  hadde  ulike  språknivå.    

 Figur  13:  Sammenhengen  mellom  å  gå  på  kurs  med  kollega  og  effekten  av  kursene.  (n=355)  

       Figur  14:  Sammenhengen  mellom  hvordan  kurset  er  organisert  og  effekten  av  kursene.  (n=355)  

     

32  %  

29  %  

52  %  

57  %  

16  %  

14  %  

0  %   10  %   20  %   30  %   40  %   50  %   60  %   70  %   80  %   90  %   100  %  

Ja  

Nei  

Går  du  på  kurset  sammen  med  kollega?  

Bedre  muntlige  ferdigheter   Samme  nivå   Dårligere  muntlige  ferdigheter  

31  %  

29  %  

36  %  

38  %  

57  %  

64  %  

31  %  

14  %  

0  %  10  %  20  %  30  %  40  %  50  %  60  %  70  %  80  %  90  %  100  %  

Ja  

Nei  

Delvis,  både  arbeidsld  og  egen  frild  

Går  du  på  kurset  i  arbeidslden?  

Bedre  muntlige  ferdigheter   Samme  nivå   Dårligere  muntlige  ferdigheter  

45    

Figur  15:  Sammenhengen  mellom  valgfrihet  og  effekten  av  kursene.  (n=355)  

     Figur  16:  Sammenhengen  mellom  bedriftens  rolle  i  planlegging  av  kurs  og  effekt  av  kursene    (n=355).    

     Lederes  motivasjon  Vi  har  ikke  data  om  lederes  motivasjon  eller  tilnærming  fra  spørreundersøkelsen.  Vi  klarte  også  bare  å  rekruttere  et  begrenset  antall  ledere  ut  over  ledere  i  case-­‐virksomhetene.  Lederne  har  stort  sprik  i  tilnærmingen,  men  gjennomgående  for  dem  vi  intervjuet,  var  at  de  hadde  noen  grad  av  involvering  i  kursene.    

En  av  lederne  som  tydelig  investerte  mye  innsats  i  oppfølging  og  tilrettelegging  for  ansatte  på  kurs,  forklarte  det  med  at  ”det  er  jo  et  menneskelig  aspekt».  Det  handler  på  ett  nivå  om  hvordan  jeg  ville  ønske  å  bli  tatt  inn  om  jeg  flyttet  til  et  annet  land”.  Hun  fortalte  videre  at  andre  ledere  hun  møtte,  stort  sett  undret  seg  over  at  hun  orket  å  bruke  så  mye  krefter  på  det.  På  vårt  spørsmål  om  hvorfor  hun  orket:  ”De  har  familie  og  fritid,  de  har  ikke  tid.  Jeg  er  blitt  enke,  jeg  har  mye  tid  til  å  sitte  med  det”.  

Samtidig  var  nok  dette  et  spesielt  eksempel,  og  flere  av  lederne  vi  intervjuet  mente  tvert  om  at  det  ikke  tok  svært  mye  tid  og  ressurser  i  lys  av  hva  de  fikk  igjen,  men  også  at  det  hadde  vært  en  del  læring.  Dette  handlet  særlig  om  at  de  selv  måtte  ta  initiativ  til  oppfølging  av  kurslærerne,  for  å  sikre  at  kursinnholdet  var  relevant.  

33  %  

33  %  

29  %  

54  %  

67  %  

52  %  

13  %  

19  %  

0  %  10  %  20  %  30  %  40  %  50  %  60  %  70  %  80  %  90  %  100  %  

Jeg  går  på  kurset  fordi  jeg  har  lyst  

Jeg  går  på  kurset  fordi  sjefen  min  sa  jeg  skulle  

Begge  deler  

Må  du  gå  på  kurset,  eller  velger  du  selv?  

Bedre  muntlige  ferdigheter   Samme  nivå   Dårligere  muntligere  ferdigheter  

36  %  

29  %  

44  %  

60  %  

19  %  

11  %  

0  %   10  %   20  %   30  %   40  %   50  %   60  %   70  %   80  %   90  %   100  %  

Bedriw  søkt  selv  

Søkt  gjennom  llbyder  

Bedriwens  rolle  i  søknadsprosessen  

Bedre  muntlige  ferdigheter   Samme   Dårligere  muntlige  ferdigheter  

46    

Videre  at  deltakelsen  måtte  følges  opp  tett,  både  ved  å  se  til  at  de  faktisk  praktiserte  språket  på  arbeidsplassen,  men  også  at  de  møtte  opp.  Noen  hadde  sågar  bøter  for  manglende  oppmøte,  som  gikk  til  klubbkassa.    

Som  vi  har  sett  i  spørreundersøkelsen,  er  det  variasjon  i  hvordan  kursene  er  organisert.  For  flere  av  lederne  vi  snakket  med  var  dette  basert  på  både  erfaring  og  refleksjon,  og  mange  trakk  fram  betydningen  av  at  det  delvis  gikk  på  egen  fritid.  Ved  at  kursene  gikk  helt  eller  delvis  i  deltakernes  fritid,  mente  de  deltakerne  fikk  en  annen  innstilling  til  kursene.  Videre  trakk  enkelte  fram  betydningen  av  å  tillate  seg  å  følge  opp  og  ”være  arbeidsgiver”  i  kursene,  selv  om  de  går  på  fritiden.    

Et  gjentagende  mønster  i  spørsmål  om  motivasjon,  er  likevel  at  det  handler  om  produksjon,  HMS  og  arbeidsmiljø,  og  at  disse  elementene  settes  i  sammenheng.  Med  bedre  norsk  på  arbeidsplassen,  blir  produksjonen  bedre  i  seg  selv,  men  også  gjennom  at  HMS-­‐regler  blir  forstått  og  fulgt,  norske  arbeidslivsregler  blir  forstått.  Et  annet  moment  som  ble  fremhevet,  er  at  språkghettoer  kan  hardne  arbeidsmiljøet  og  skape  rom  for  mobbing  –  og  misforståelser.    

Når  det  gjelder  innsalget  overfor  de  ansatte,  vektlegges  også  at  det  er  en  god  anledning  til  å  forstå  mer  og  lære  mer,  og  leve  bedre  i  Norge,  men  at  dette  i  liten  grad  er  motivasjonen  for  å  tilby  kurs  i  utgangspunktet.  Hvordan  deltakerne  rekrutteres  varierer.  I  en  av  virksomhetene  viste  det  seg  at  formennene  ”nominerte”  deltakere  de  mente  hadde  potensial  og  motivasjon.  Noen  sier  at  de  bruker  medarbeidersamtaler  til  rekruttering,  ved  å  mer  eller  mindre  gjøre  det  klart  at  det  er  en  forventning  om  deltakelse.  Det  store  bildet  er  likevel  at  de  fleste  sprer  informasjon  og  lar  frivillige  melde  seg  på.    

Samtlige  ledere  som  ble  intervjuet,  presiserte  og  la  vekt  på  at  kursene  ikke  hadde  vært  mulig  å  gjennomføre  uten  BKA-­‐finansiering.  I  lys  av  dette  var  de  alt  i  alt  svært  tilfreds,  og  opplevde  Vox  sin  rolle  som  nyttig  og  konstruktiv.  Det  eneste  som  ble  trukket  frem  som  problematisk  fra  noen  av  virksomhetene,  er  at  sesongavhengige  virksomheter  må  tilpasse  gjennomføringen  av  kursene  til  sesongen.  Det  kunne  derfor  by  på  problemer  å  gjennomføre  kursene  slik  Vox  forutsatte.    

 Betydningen  av  bransje  på  kursenes  effekt  Selv  om  bransje  ikke  direkte  kan  knyttes  til  hverken  indre  eller  ytre  faktorer,  er  det  en  interessant  variabel  da  den  kan  fortelle  noe  om  hvor  i  arbeidslivet  kursene  treffer  best.      I  figuren  under  (figur  14)  viser  vi  andelene  som  har  blitt  bedre,  dårligere  eller  er  på  samme  nivå,  etter  hvilken  bransje  kursdeltakerne  jobber  i.    

47    

Figur  17:  Sammenhengen  mellom  respondentens  bransje  og  effekt  av  kursene  (N=280).  Figuren  viser  de  9  høyest  representerte  bransjene  i  datamaterialet.  Merk  at  Industri  og  bygg  og  anleggsvirksomhet  har  kun  15  observasjoner,  mens  undervisning  har  20  observasjoner.    

   Resultatene  her  viser  at  det  er  et  visst  sprik  mellom  de  ulike  bransjene  med  tanke  på  hvor  stor  effekt  kursene  har.  Noe  av  disse  forskjellene  kan  forklares  av  at  det  er  ulikheter  mellom  bransjene  med  tanke  på  botid,  men  de  relative  forskjellene  gjør  seg  fremdeles  gjeldende  når  vi  kontrollerer  for  ulik  botid  analysene.  Den  høyest  representerte  bransjen  i  datamaterialet,  annen  tjenesteyting,  har  som  vi  ser  sterkest  effekt  av  kursene  hvor  nesten  6  av  10  oppgir  at  de  har  blitt  bedre  til  å  snakke  norsk  i  løpet  av  kursperioden.  Dette  er  en  bred  bransje,  som  rommer  flere  ulike  stillinger,  så  det  er  vanskelig  å  lese  ut  av  disse  tallene  hva  dette  egentlig  betyr.  Lavest  effekt  finner  vi  i  bygg  og  anlegg,  hvor  ingen  har  forbedret  sine  egenskaper.  Det  bør  imidlertid  nevnes  her  at  dette  er  en  liten  gruppe  i  materialet  med  kun  15  observasjoner.    Kurs-­‐lærernes  opplevelser  Vi  intervjuet  fem  lærere  fra  case-­‐virksomhetene.  Dels  ble  de  spurt  om  tema  rundt  organiseringen  av  kursene  og  koblingen  til  arbeidsplassen,  og  om  hva  som  har  fungert  og  ikke  fungert  i  kursene.  Videre  spurte  vi  om  typer  av  deltakere  som  lykkes  og  ser  ut  til  å  få  effekt.  De  trakk  fram  både  generelle  poeng  og  tema  mer  særegent  for  akkurat  disse  kursene.  Disse  resultatene  har  vi  ikke  vist  til  ellers  i  rapporten,  ettersom  det  blir  litt  på  siden  av  selve  effektvurderingen,  men  kan  kaste  lys  på  resultater  og  mulige  anbefalinger.  

For  det  første  trakk  samtlige  fram  generell  betydning  av  å  ha  tilstrekkelig  små  grupper,  slik  at  man  kan  følge  opp  individuelt,  og  at  gruppene  ikke  bør  overstige  10-­‐

0  %  

17  %  

20  %  

25  %  

25  %  

29  %  

35  %  

50  %  

57  %  

100  %  

67  %  

80  %  

50  %  

50  %  

71  %  

41  %  

25  %  

43  %  

0  %  

17  %  

0  %  

25  %  

25  %  

0  %  

24  %  

25  %  

0  %  

0  %   10  %   20  %   30  %   40  %   50  %   60  %   70  %   80  %   90  %  100  %  

Bygge-­‐  og  anleggsvirksomhet  

Industri  

Varehandel,  reparasjon  av  motorvogner  

Forrestningsmessig  tjenesteylng  

Helse-­‐  og  sosialtjenester  

Bergverksdriw  og  utvinning  

Offentlig  administrasjon  med  mer  

Undervisning  

Annen  tjenesteylng  

Bedre  muntlige  ferdigheter   Samme  nivå   Dårligere  muntlige  ferdigheter  

48    

15  deltakere.  Videre  trakk  de  frem  betydningen  av  å  unngå  store  sprik  i  gruppen,  både  med  tanke  på  nivå  og  motivasjon,  og  understreket  betydningen  av  kartlegging.  

Mange  opplevde  samarbeidet  med  arbeidsgiverne  som  godt,  men  litt  varierende.  Det  kom  tydelig  fram  at  de  opplevde  at  arbeidsgiverne  måtte  ”oppdage  selv”  betydningen  av  oppfølging,  og  at  lærernes  oppfordringer  om  å  involvere  seg  ikke  nødvendigvis  hadde  noen  påvirkning.    

Mer  overraskende  var  det  at  det  så  ut  til  at  det  typiske  er  at  lærerne  jobber  alene,  som  ekstrajobb,  og  har  lite  kollegakontakt.  Noen  av  lærerne  var  helt  uvitende  om  Vox  sine  retningslinjer  for  kursene,  mens  svært  få  kjente  til  eller  benyttet  Vox  sitt  materiell  og  informasjonsmøter.  De  som  kjente  til  det,  var  svært  fornøyd  med  det,  og  påpekte  at  informasjonen  kanskje  ville  vært  like  relevant  for  arbeidsgiverne,  slik  at  de  kunne  få  litt  mer  forståelse  for  hva  som  skal  til,  og  hva  en  faktisk  kan  forvente  seg  av  å  sende  ansatte  på  kurs.    

   I  dette  kapittelet  har  vi  gått  mer  i  dybden  av  hvilke  sammenhenger  som  finnes  i  datamaterialet.  Målsettingen  med  kapittelet  har  vært  å  gi  et  bedre  grunnlag  for  å  vurdere  hva  effektene  fra  kapittel  3  faktisk  innebærer,  hvordan  dette  påvirker  tanker  om  videre  innretting,  samt  å  adressere  noen  tema  som  det  er  naturlig  eller  utbredt  å  anta  at  har  betydning  for  resultatene.  I  kapittel  5  oppsummerer  vi  funnene,  og  kobler  dette  til  noen  faktorer  som  ble  trukket  fram  i  intervjuer  med  kurslærerne,  konkluderer  og  gir  enkelte  anbefalinger.      

49    

Kapittel  5  Oppsummering  av  funn  og  anbefal inger      Fra  spørreundersøkelsen  ser  vi  at  mange  opplever  å  ha  effekt  av  kursene,  men  at  det  likevel  er  en  stor  andel  som  har  minimal  nytte  av  å  gå  på  kurs.  Sammendrag  av  resultater  finnes  i  sammendraget  på  side  2,  i  det  følgende  oppsummerer  vi  hva  funnene  innebærer.  

Vi  finner  at  en  majoritet  oppgir  at  de  enten  er  på  samme  nivå,  eller  har  blitt  dårligere,  i  muntlige  ferdigheter  i  løpet  av  kursperioden.  Kvasi-­‐eksperimentene  vi  gjennomførte  med  språktester,  ga  klare  indikasjoner  på  at  kurs  har  effekt  på  muntlige  ferdigheter,  men  også  at  mange  ikke  får  noen  effekt.  Andelen  som  har  effekt  kan  ikke  sammenlignes,  fordi  eksperimentene  ble  gjennomført  på  kurs  med  antatt  gode  forutsetninger,  det  vil  si  tilsynelatende  velorganiserte  kurs  med  oppfølging  fra  arbeidsgiver  eller  leder.    

I  kapittel  4  så  vi  nærmere  på  ulike  årsaker  til  at  det  er  slik  at  effekten  varierer,  med  det  for  øye  å  gi  et  mest  mulig  presist  bilde  av  hva  som  fungerer,  og  hva  som  eventuelt  bør  justeres  for  bedre  effekt.  

Når  vi  så  på  indre  faktorer,  var  det  ikke  overraskende  en  viss  effekt  knyttet  til  motivasjon.  Samtidig  er  det  strengt  tatt  overraskende  å  se  på  sammenligningen  mellom  de  som  ikke  har  forventninger  til  kurs,  og  de  som  har  forventninger:  Blant  de  som  har  forventninger  er  det  omtrent  femti  prosent  flere  som  opplever  bedring.  Vi  hadde  forventet  vesentlig  større  forskjell.  

Vi  ser  videre  at  det  er  variasjon  i  hvilke  typer  motivasjon  som  øker  sannsynligheten  for  opplevd  effekt.  De  som  ønsker  bedre  jobb  har  noe  større  sannsynlighet  for  å  oppleve  effekt.  De  som  ønsker  å  gjøre  en  bedre  jobb,  har  mindre  sannsynlighet  enn  andre  for  å  oppleve  en  negativ  effekt  av  å  gå  på  kurs.    

Vi  ser  klare  tendenser  til  at  botid  kan  ha  betydning  for  opplevd  effekt.  Vi  ser  at  andelen  som  opplever  effekt  av  kurs  i  muntlige  ferdigheter,  faller  markant  blant  de  med  over  7  år  botid.  Videre  kan  det  se  ut  til  at  kursdeltakere  som  ikke  har  hatt  norskkurs  tidligere,  eller  ikke  lenger  enn  norskprøve  2  (skriftlig  eller  muntlig)  har  større  sannsynlighet  for  å  oppleve  effekt  av  kursene.  Av  motivasjon  og  botid,  er  det  den  sistnevnte  variabelen  som  statistisk  sett  er  av  størst  betydning  for  hvor  stor  effekt  kursene  har.    

Gjennom  det  kvalitative  materialet  kom  det  fram  klare  antydninger  om  at  arbeidsgivers  involvering  har  betydning  for  sannsynligheten  for  effekt.  Dette  er  også  en  plausibel  antakelse,  så  lenge  vi  snakker  om  effekt  på  muntlige  ferdigheter  i  arbeidssammenheng.  Lederne  vi  intervjuet  trakk  all  fram  dette  som  et  viktig  råd  og  en  viktig  læring;  at  det  er  nødvendig  å  ta  eierskap  til  kursene,  og  følge  opp  innholdet.    

Det  er  her  også  verdt  å  trekke  fram  case  3,  pleietjeneste,  som  hadde  opplæring  i  muntlige  ferdigheter  knyttet  til  annet,  faglig  kompetansehevingsprogram.  I  dette  caset  fant  vi  flere  eksempler  på  deltakere  som  økte  til  tilnærmelsesvis  nivå  B2  eller  høyere  i  løpet  av  perioden.  Med  andre  ord  kan  en  plausibel  antakelse  være  at  det  store  bildet  muligens  må  justeres  til  at  sannsynligheten  for  effekt  er  størst  på  et  

50    

mellomnivå,  men  at  det  er  mulig  å  oppnå  effekt  på  høyere  nivå,  hvis  treningen  i  muntlige  ferdigheter  er  knyttet  til  annen  kompetanseheving.    

Dette  så  vi  også  gjennom  intervjuene;  at  deltakerne  aktivt  brukte  kurs  i  muntlige  ferdigheter  til  å  repetere  fagstoff,  og  dermed  kom  raskt  inn  i  ny  begrepsbruk  på  relativt  høyt  nivå.    

Fra  den  kvantitative  undersøkelsen  har  vi  ikke  gode  nok  mål  på  ledernes  motivasjon  og  tilrettelegging  til  å  si  noe  sikkert  om  hvilken  betydning  det  har  for  kursenes  effekt.  Vi  har  imidlertid  data  på  hvordan  bedriften  har  vært  involvert  i  søknadsprosessen,  og  hvordan  kursene  organiseres  mellom  fritid  og  arbeidstid.  Resultatene  tyder  her  på  at  disse  faktorene  har  en  moderat  positiv  effekt  på  hvor  mye  deltakerne  får  ut  av  kursene.      Vi  må  likevel  understreke  at  det  ikke  har  vært  mulig  å  fastslå  hva  som  har  mest  effekt  ut  fra  materialet  som  foreligger.  Særlig  relevant  kunne  det  vært  å  få  sterkere  data  om  forholdet  mellom  indre  og  ytre  faktorer,  ettersom  dette  har  særlig  betydning  for  innretting  av  tiltak  og  justeringer  av  virkemidler.        Hvordan  styrke  effekten  av  BKA-­‐finansiering,  muntlige  ferdigheter  I  effektmålingene  har  vi  gått  direkte  på  effekt  av  opplæringen.  Før  vi  går  videre  til  å  konkludere  hvordan  denne  påvirkes,  er  det  grunn  til  å  minne  om  at  den  første  effekten  er  at  det  faktisk  gjennomføres  kurs,  som  følge  av  finansieringen.  Dette  var  også  et  sentralt  poeng  for  alle  både  ledere  og  deltakere  som  ble  intervjuet.  Kursene  ville  ikke  kunne  gjennomføres  uten  finansiering,  og  deltakerne  ville  som  hovedregel  ikke  hatt  råd  til  å  betale  for  kurs  privat.  I  så  måte  kan  det  virke  som  det  er  klar  effekt  på  det  nivået  at  det  medfører  at  flere  få  opplæring.    

Vi  skal  likevel  holde  oss  på  nivået  under  dette,  nemlig  hvordan  påvirke  effekten  av  gjennomført  opplæring.  Her  er  det  igjen  grunn  til  å  påpeke  at  målingene,  og  gruppen  vi  har  nådd  fram  til  i  undersøkelsene,  i  hovedsak  er  orientert  mot  opplæring  som  opplæring  i  norske,  muntlige  ferdigheter,  og  til  dels  i  form  av  ”norsk-­‐kurs”.  Dette  er  også  det  dominerende  bildet,  men  det  er  grunn  til  å  understreke  at  opplæring  i  andre  former  for  muntlige  ferdigheter  (for  eksempel  fant  vi  kurs  som  best  kan  omtales  som  kommunikasjon  og  konflikthåndtering),  i  mindre  grad  har  blitt  fanget  opp  i  effektmålingene.    

Før  vi  går  videre  til  anbefalinger,  er  det  grunn  til  å  understreke  at  ordningen  med  BKA-­‐finansiert  opplæring  i  muntlige  ferdigheter  er  nytt,  og  både  for  kursoperatører,  deltakerbedrifter  og  arbeidsgivere  er  det  i  en  implementeringsfase.  Dette  ble  også  understreket  gjennom  ledernes  responser,  som  tyder  på  at  det  finner  sted  læring  på  organisasjonsnivå.  Ved  en  senere  effektmåling,  vil  vi  anbefale  å  i  større  grad  hente  inn  survey-­‐data  som  kan  gi  presis  informasjon  om  lederes  og  arbeidsplassens  involveringsformer,  for  eksempel  om  de  fikk  oppgaver  underveis,  om  deltakerne  ble  fulgt  opp  i  sin  praksis  på  arbeidsplassen,  med  videre.    

Vi  vil  også  understreke  at  resultatene  bør  også  sees  i  lys  av  omfanget  av  kursene,  det  vil  si  korte  moduler  på  30  eller  50  timer.  Vi  kan  altså  ikke  utelukke  at  lengre  kurs  ville  

51    

gitt  effekt  for  flere,  resultatene  kan  ikke  nødvendigvis  overføres  til  mer  omfattende  opplæringsopplegg,  men  dette  har  vi  ikke  studert.    

 

Det  sentrale  bildet  er  at  det  er  et  mindretall  som  ser  ut  til  å  ha  effekt  i  spørreundersøkelsen,  mens  vi  språkeksperimentet  ser  at  effekten  kan  være  til  dels  svært  stor,  men  ikke  for  alle.  Med  andre  ord  kan  vi  anta  at  det  er  et  potensial  som  ikke  er  fullt  ut  utnyttet,  og  vi  peker  på  faktorer  knyttet  til  motivasjon,  kompetanse,  organisering  og  lederoppfølging.  I  forlengelsen  av  dette  kan  de  virke  som  Vox  sine  læringsressurser  og  tilbud  ikke  er  svært  godt  kjent,  og  kan  være  underutnyttet.  Dette  er  ressurser  som  kunne  vært  relevante  virkemiddel  særlig  med  tanke  på  organisering  og  lederoppfølging,  men  også  inspirasjon  for  lærere  for  å  treffe  med  arbeidsrelevant  opplæring.    

 

 

I  en  så  tidlig  fase,  skal  vi  være  forsiktig  med  å  gi  klare  anbefalinger,  men  vi  stiller  noen  spørsmål  som  er  verdt  å  dvele  ved.  Vi  er  oppmerksom  på  at  dette  til  dels  kan  oppfattes  som  tema  som  berører  BKA  som  helhet,  men  vi  har  her  vurdert  tiltak  og  potensial  med  henblikk  på  økt  sannsynlighet  for  effekt  på  muntlige  ferdigheter.  Vi  kan  ikke  avvise  muligheten  for  at  disse  spørsmålene  eller  anbefalingene  kan  ha  overføringsverdi  til  andre  deler  av  opplæring  under  BKA  (lese,  skrive,  regne  og  data)  ettersom  temaene  fremstår  generiske  i  sin  natur,  men  understreker  at  det  følgende  utelukkende  baserer  seg  på  denne  rapportens  datamateriale  knyttet  til  opplæring  i  muntlige  ferdigheter:  

 Er  det  hensiktsmessig  at  kursoperatører  får  søke  på  vegne  av  bedrifter?  Vi  fant  ikke  klare  effekter,  men  en  svak  tendens  til  bedre  effekt  når  bedriften  søker  selv.  Samtidig  ser  vi  fra  kvalitativt  materiale  at  det  ikke  er  gitt  at  bedriften  er  passiv  selv  om  kursoperatøren  tar  hånd  om  papirene,  det  er  også  eksempler  på  bedrifter  som  tar  initiativ  til  opplæring,  etter  informasjon  fra  Vox,  men  deretter  får  kursoperatøren  til  å  ta  hånd  om  det  administrative.  Det  administrative  er  ikke  svært  komplisert,  og  ved  at  bedriften  selv  står  som  søker,  sikrer  man  at  et  minimum  av  refleksjon  rundt  mål  og  organisering  har  funnet  sted.  Videre  har  vi  klare  indikasjoner  på  at  deltakerlogging  er  mindre  presis  når  kursoperatørene  registrerer  inn.  Samtidig  ville  en  slik  løsning  teoretisk  sett  gjøre  at  noen  bedrifter  vegrer  seg  for  å  søke  -­‐  men  kanskje  bør  de  heller  ikke  søke  om  de  ikke  ønsker  å  ta  stilling  til  spørsmålene  i  søknadspapirene?          Bør  det  være  sterkere  krav  om  kobling  av  kurs  til  annen  kompetanseheving?  Vi  kan  ikke  vise  til  funn  i  spørreundersøkelsene,  men  i  språk-­‐eksperimentet  var  det  sterkere  utslag  i  kurs  som  var  integrert  i  annen  kompetanseheving.  Det  er  også  intuitivt  naturlig  å  tenke  seg  at  dette  vil  kunne  skape  en  arena  for  å  bruke  sentrale  faguttrykk  fra  arbeidsplassen  i  kursene,  og  dette  fremsto  som  god  praksis.  Samtidig  

52    

er  det  ikke  alle  bransjer  behovet  for  kompetanseheving  er  like  sentralt,  og  et  absolutt  krav  ville  kunne  holde  aktuelle  deltakere  utenfor.      Bør  Vox  gi  klarere  råd  om  rekruttering?  Det  er  i  seg  selv  påfallende  at  en  stor  andel  av  deltakerne  svarer  at  de  ikke  har  noen  som  helst  forventning  til  kursene  de  skal  til  å  delta  på,  og  det  overraskende  er  at  denne  gruppen  skiller  seg  så  vidt  lite  fra  resten  som  den  faktisk  gjør.  Det  innebærer  at  det  er  mye  rekruttering  som  ikke  er  basert  på  potensial  og  motivasjon.  På  den  annen  side  vil  sterkere  grad  av  lederstyring  av  deltakelsen,  kunne  forhindre  grupper  fra  deltakelse.        Kan  Vox  sin  rolle,  ressurser  og  tilbud  kommuniseres  tydeligere,  også  overfor  bedrifter?  Det  virker  som  Vox  sine  ressurser  ville  kunne  adressert  mange  av  de  sviktene  som  kan  se  ut  til  å  påvirke  sannsynligheten  for  effekt  negativt,  og  det  er  overraskende  hvor  lite  ressursene  virker  å  være  kjent.  Det  kan  se  ut  til  at  Vox  har  en  markedsføringsjobb  å  gjøre.      Hvordan  måle  effekt  i  fremtiden?  Vi  mener  å  ha  satt  opp  et  egnet  design  for  effektmålingen.  Ut  fra  funnene  vil  vi  likevel  gi  følgende  råd  til  en  senere  effektmåling:    -­‐ Se  til  å  ha  kvantitative  mål  for  virksomhetens  og  lederens  involvering.  -­‐ Se  til  å  ha  tydelige  skiller  i  mål  på  opplevd  ferdighetsnivå,  og  opplevd  

kompetanse  i  å  bruke  muntlige  ferdigheter.    -­‐ Se  til  å  ha  tydelige  målinger  av  typer  kobling  til  annen  kompetanseheving  i  

virksomheten.  Videre  er  det  sentralt  å  i  en  tidlig  fase  etablere  hvilke  typer  effekt  som  bør  måles.  I  brede,  samfunnsorienterte  program  som  de  Vox  forvalter,  vil  målsettingene  være  mangslungne  og  på  ulike  nivå.        Ut  over  dette  er  konklusjonen  av  effektmålingen:  Kursene  har  effekt,  men  ikke  for  majoriteten,  og  eksperimentene  tyder  på  at  det  er  et  potensial  for  vesentlig  sterkere  effekt.