Effekter av satsing på økt lærertetthet - SSB

RapporterReports

2017/39 •

Lars J. Kirkebøen, Andreas Kotsadam, Oddbjørn Raaum, Silje Andresen og Jon Rogstad

Effekter av satsing på økt lærertetthet

Rapporter 2017/39

Lars J. Kirkebøen, Andreas Kotsadam, Oddbjørn Raaum, Silje Andresen og Jon Rogstad

Effekter av satsing på økt lærertetthet på ungdomstrinnet

Statistisk sentralbyrå • Statistics Norway Oslo–Kongsvinger

I serien Rapporter publiseres analyser og kommenterte statistiske resultater fra ulike undersøkelser. Undersøkelser inkluderer både utvalgsundersøkelser, tellinger og registerbaserte undersøkelser.

© Statistisk sentralbyrå Ved bruk av materiale fra denne publikasjonen skal Statistisk sentralbyrå oppgis som kilde. Publisert 12. desember 2017 ISBN 978-82-537-9652-9 (trykt) ISBN 978-82-537-9653-6 (elektronisk) ISSN 0806-2056 Standardtegn i tabeller Symbol Tall kan ikke forekomme . Oppgave mangler .. Oppgave mangler foreløpig … Tall kan ikke offentliggjøres : Null - Mindre enn 0,5 av den brukte enheten 0 Mindre enn 0,05 av den brukte enheten 0,0 Foreløpig tall * Brudd i den loddrette serien — Brudd i den vannrette serien | Desimaltegn ,

Rapporter 2017/39 Effekter av satsing på økt lærertetthet

Statistisk sentralbyrå 3

Forord Høsten 2012 bevilget Stortinget 1,5 milliarder kroner over fire år til 600 nye lærerstillinger på ungdomstrinnet. Denne rapporten presenterer en evaluering av denne satsningen. Rapporten inneholder en kvantitativ effektevaluering og en kvalitativ implementeringsstudie. Effektevalueringen, som er gjennomført av Lars J. Kirkebøen (Statistisk sentralbyrå), Andreas Kotsadam og Oddbjørn Raaum (begge Frischsenteret), bygger på registerdata og studerer i hvilken grad de ekstra lærerne førte til endret læringsutbytte og/eller læringsmiljø for elevene som ble berørt. Implementeringsstudien, som er gjennomført av Silje Andresen og Jon Rogstad (begge Fafo) bygger på spørreundersøkelser til tiltaksskolene og intervjuer ved et begrenset antall skoler og studerer organisering og opplevelse av tiltaket på skolene. Rapporten avsluttes med en samlet oppsummering, som forfatterne sammen står bak. Prosjektet har vært ledet av Statistisk sentralbyrå. Foreløpige mål på effekter på læringsutbytte ble presentert i Kirkebøen m.fl. (2016). Arbeidet med denne rapporten er finansiert av Utdanningsdirektoratet. Utdanningsdirektoratet har også bidratt med innspill til arbeidet, inkludert svar på spørsmål fra forskerne og kommentarer til et utkast av denne rapporten. Takk til O.J. Eikeland, F. Nyhamn, M. V. Grindland, S. L. Janbu og K. Reegård for kommentarer. Statistisk sentralbyrå, 29. november 2017 Kjetil Telle

Effekter av satsing på økt lærertetthet Rapporter 201739

4 Statistisk sentralbyrå

Sammendrag Høsten 2012 bevilget Stortinget 1,5 milliarder kroner over fire år til 600 nye lærerstillinger på ungdomstrinnet. Denne rapporten studerer effekter på ressursbruk, læringsutbytte og læringsmiljø, samt gir en beskrivelse av hvordan tiltaket er gjennomført og oppleves av involverte rektorer, lærere og elever. Effektevalueringen studerer skolenes ressursbruk og elevenes læringsutbytte ved hjelp av registerdata, samt læringsmiljøet målt ved Elevundersøkelsen. Vi finner en klar effekt på skolenes lærertetthet. Gjennomsnittlig gruppestørrelse i ordinær undervisning er redusert med omtrent to elever, eller omtrent 10 prosent. Dette samsvarer med hva vi venter utfra de ekstra lærerne skolene får tilført. Det er ingen tegn til effekter på assistentbruk, spesialundervisning eller særskilt språkopplæring eller til omfordeling av andre ressurser mellom skoler eller trinn. Vi finner ingen signifikante effekter på elevenes læringsutbytte, verken på karakterer ved avsluttet grunnskole, nasjonale prøver på 9. trinn, fravær eller tidlige mål på gjennomstrømning i videregående opplæring. Vi kan dessuten utelukke selv små effekter: En eventuell effekt på gjennomsnittlig eksamenskarakterer er mindre enn omtrent 0,06 karakterpoeng, dvs. at en av 17 elever går opp en karakter. Vår studie avdekker heller ingen tydelige effekter for grupper av elever (f.eks. elever med svake tidligere resultater) eller for grupper av skoler (f.eks. skoler som bruker ressursene på bestemte måter). Ettersom vi har testet ut mange ulike kilder til heterogenitet i effekter uten å finne tegn til effekter fremstår konklusjonen om at økte midler til flere lærere i beste fall har hatt svært små effekter på læringsutbyttet som robust. Utfra Elevundersøkelsen (10. trinn) finner vi heller ikke klare tegn til effekter på læringsmiljø (bl.a. trivsel, støtte fra lærerne og vurdering for læring), men resultatene fra disse analysene er mindre tydelige enn for resultatene for læringsutbytte. Det er gjennomgående noe mindre mobbing og gunstigere verdier på de øvrige indeksene i skolene som fikk ekstra lærere enn i kontrollskolene. Men sett under ett er ikke forskjellene større enn hva som kan skyldes tilfeldigheter. De beregnede effektene er dessuten beskjedne, gjennomgående på 0,05 poeng (omtrent 0,06 standardavvik) eller mindre. Dette svarer til at en av 20 elever svarer «ofte» i stedet for «av og til». Implementeringsstudien baserer seg på en spørreundersøkelse sendt til skolene som fikk ekstra stillinger samt intervjuer ved noen enkeltskoler. I spørreundersøkelsen har rektorene blant annet svart på hvordan stillingene er brukt og hvilken betydning de opplever at satsingen har hatt. De ekstra stillingene er fordelt jevnt utover klasser og trinn, men særlig brukt i undervisningen i matematikk, norsk og til dels engelsk. Stillingene er i stor grad brukt til tolærerordninger, delingstimer og smågrupper, til dels nivådelte grupper. I intervjuene har skoleledere, lærer og elever beskrevet hvordan de opplever satsingen og skolehverdagen mer generelt. Ekstra stillinger oppleves som kjærkomment av både rektorer og lærere, og oppleves også å ha effekt både på lærernes arbeidshverdag, elevenes læringsutbytte og læringsmiljø. Både lærere og elever setter pris på bruken av smågrupper. Nivådelte grupper oppleves heller ikke i særlig grad stigmatiserende. Vi avslutter rapporten med en diskusjon av det manglende samsvaret mellom den opplevde effekten og resultatene fra effektevalueringen, samt av hvordan vår evaluering forholder seg til annen pågående forskning på samme tema, og hvilke lærdommer den gir for framtidig politikkutvikling.



Abstract In the autumn of 2012, the Norwegian parliament granted 1.5 billion kroner for 600 new teacher positions in lower secondary school over the next four years. This report studies effects on resource use, learning outcomes and learning environment, and provides a description of how the initiative is implemented and experienced by involved principals, teachers and students. The effect evaluation studies resource utilization of the schools and the pupils' learning outcomes using register data, as well as the learning environment as measured by a large student survey. We find a clear effect on student teacher ratios. Student teacher ratios in regular classes is reduced by about two students per teacher, or about 10 percent. This corresponds to what we expect from the additional teachers the schools receive. There are no signs of effects on use of teaching assistants, special education or special language training, nor of redistribution of other resources between schools or grade levels. We do not find any significant effects on the students' learning outcomes, neither on exam grades, standardized test scores, absenteeism or early measures of progression in upper secondary education. We can rule out even small effects: A possible effect on average exam grades is less than about 0.06 grade points (about 0.05 standard deviations). We find no clear effects for groups of students (eg, students with weak previous results) or for groups of schools (eg schools that use resources in certain ways). As we have tested many different sources of heterogeneity in effects without finding signs other than zero effects, the conclusion is that increased funds for more teachers at best have had very small impact on learning outcomes as very robust. In the student survey we do not find clear effects on the learning environment (eg students’ well-being, teacher support and assessment of learning), but the these analyzes give less clear results than the analysis of learning outcomes. We consistently find less bullying and more beneficial values on the other indices in schools that received extra teachers than in the control schools. However, the differences are not significant, and may reflect random variability. Estimated effects are also modest, about 0.06 standard deviations or less. The implementation study is based on a questionnaire sent to schools who received extra teachers and interviews at a small number of schools. In the questionnaire, the principals responded, inter alia, to the way in which the positions were used and the effect they perceived that the initiative had. The extra positions are allocated evenly across classes and grade levels, and especially used in teaching of mathematics, Norwegian and to some extent English. Organization varies across schools, with increased use of e.g. small group teaching and teacher aides in larger classes. In the interviews, principals, teachers and students have described their experiences with the initiative as well as school life more in general. Extra teachers are welcomed by both principals and teachers, and are also believed to impact both on the teachers' working conditions, the students' learning outcomes and the learning environment. Both teachers and students appreciate the use of small groups. Streaming or ability grouping is mostly not seen to stigmatize students. We conclude the report with a discussion of the mismatch between the perceived effect and the results of the effect evaluation, as well as of how our evaluation relates to other ongoing research on the same theme and what lessons it provides for future policy development.



Innhold Forord .................................................................................................................................... 3 Sammendrag ......................................................................................................................... 4 Abstract ................................................................................................................................. 5 1. Innledning........................................................................................................................ 7 2. Effekter på ressursbruk, læringsutbytte og læringsmiljø ........................................... 8 2.1. Hva kan vi forvente? ...................................................................................................... 8 2.2. Datagrunnlag ................................................................................................................. 9 2.3. Evalueringsdesignet ..................................................................................................... 10 2.4. Effekter på ressursbruk i tiltaksskolene ........................................................................ 12 2.5. Effekter på læringsutbytte ............................................................................................ 19 2.6. Effekter på læringsmiljøet ............................................................................................ 29 2.7. Oppsummering av effekter på læringsutbytte og læringsmiljø ..................................... 34 3. Hvorfor finner vi ikke effekt av økt lærertetthet? Aktørenes egne forklaringer ...... 37 3.1. Innledning .................................................................................................................... 37 3.2. Hvordan har midlene blitt brukt? .................................................................................. 38 3.3. Hvordan forklarer rektorene manglende effekter?........................................................ 46 3.4. Lærernes erfaringer og vurderinger av økt lærertetthet ............................................... 47 3.5. Elevenes opplevelse av økt lærertetthet ...................................................................... 53 3.6. Oppsummering av organisering og rektorenes, lærernes og elevenes opplevelse av

økt lærertetthet ............................................................................................................ 55 4. Sammenstilling av effektstudie og implementeringsstudie ...................................... 57 5. Konklusjon .................................................................................................................... 60 Referanser........................................................................................................................... 62 Vedlegg A: Ytterligere resultater fra Elevundersøkelsene ............................................. 63 Figurregister ....................................................................................................................... 70 Tabellregister ...................................................................................................................... 71



1. Innledning Hensikten med satsingen var å øke lærertetthet i ordinær undervisning. Dette skulle gjøre skolene bedre stilt til å kunne gi tilpasset opplæring og å styrke de grunnleggende ferdighetene. Målet var at elevene skal oppleve økt mestring og bedre læringsutbytte, og at midlene skulle bidra til bedre læringsmiljø og minke behovet for spesialundervisning. Ressursene gikk til en klart definert gruppe på 166 skoler, som både hadde relativt lav lærertetthet og relativt svake gjennomsnittlig karakterer målt ved grunnskolepoeng. Tiltaket er beskrevet i mer detalj i Boks 1. Boks 1: Om ekstra lærerstillinger i ungdomsskolen Høsten 2012 ble det vedtatt å bevilge 1,5 milliarder kroner over en fireårsperiode til 600 nye lærerstillinger i ungdomsskolen. Ordningen med økt lærertetthet på ungdomstrinnet startet skoleåret 2013/14 og løp ut skoleåret 2016/17. Målgruppen var elever på ungdomstrinnet ved skoler som skoleåret 2011/12 hadde en gjennomsnittlig gruppestørrelse på over 20 elever per lærer i ordinær undervisning på ungdomstrinnet, og grunnskolepoeng under snittet for landet. Til sammen ble 166 skoler tildelt øremerkede midler til 573 årsverk. Skolene er fordelt på 98 kommuner, og alle fylkene er representert. De ekstra ressursene skal gå til å øke antall lærere med inntil fem årsverk for hver skole (ett årsverk for skoler med 0-99 elever, to for 100-199 elever osv.) ut over utgangsnivået for skoleåret 2011/12. Årsverkene skal benyttes til ordinær undervisning, og til lærere med godkjent utdanning. Midlene kan ikke brukes til spesialundervisning og særskilt norsk. Ut over dette er det opp til kommunene og skolene selv å avgjøre hvordan undervisningen skal organiseres. Tiltaket er beskrevet i mer detalj på nettsidene til Utdanningsdirektoratet1 og Kunnskapsdepartementet.2 Som en oppfølging av tiltaket har Utdanningsdirektoratet jevnlig rapportert til Kunnskapsdepartementet, se f.eks. Utdanningsdirektoratet (2016). Denne rapporten presenterer funn fra de ulike elementene i evalueringen. Målet med evalueringen er å finne ut hvorvidt eller på hvilken måte satsingen påvirket (i) skolens ressursbruk, (ii) elevenes læringsutbytte og (iii) læringsmiljøet ved skolen. I kapittel 2 av rapporten presenterer vi den kvantitative effektevalueringen. I denne studerer vi effekter på hhv (i) ressursbruk (fra Grunnskolens informasjonssystem, GSI), (ii) læringsutbytte (i hovedsak elevenes karakterer og nasjonale prøver) og (iii) læringsmiljø (slik det måles i Elevundersøkelsen). I kapittel 3 flyttes oppmerksomheten til aktørenes opplevelse og erfaringer med tiltaket. Utgangspunktet for denne delen er allerede publiserte resultater, som indikerer at effektene på karakterer og nasjonale prøver er små (Kirkebøen m.fl., 2016). Spørsmålet er hvorfor. Hvordan forklarer aktørene selv at et tiltak de gjennomgående opplever som viktig tilsynelatende ikke har entydige effekter langs de dimensjonene de er målt. Kapitlet er basert på websurvey til alle tiltaksskolene, samt kvalitative intervjuer med rektorer, lærere og elever ved seks case-skoler. I kapittel 2 og 3 beskriver vi analysene i noe detalj. Vi presenterer analyseopplegg, datagrunnlag og resultater. Hvert av kapitlene avsluttes med en oppsummering av resultatene. I kapittel 4 diskuterer vi samsvaret mellom resultatene fra analysene i kapittel 2 og 3. Til slutt, i kapittel 5 oppsummerer vi og konkluderer.

1 https://www.udir.no/om-udir/tilskudd-og-prosjektmidler/midler-kommuner/okt-larertetthet-pa-ungdomstrinnet/ 2 https://www.regjeringen.no/no/aktuelt/flere-larere-pa-ungdomstrinnet/id704127/

https://www.udir.no/om-udir/tilskudd-og-prosjektmidler/midler-kommuner/okt-larertetthet-pa-ungdomstrinnet/

https://www.udir.no/om-udir/tilskudd-og-prosjektmidler/midler-kommuner/okt-larertetthet-pa-ungdomstrinnet/

https://www.regjeringen.no/no/aktuelt/flere-larere-pa-ungdomstrinnet/id704127/



2. Effekter på ressursbruk, læringsutbytte og læringsmiljø

I denne delen av rapporten presenterer vi den kvantitative effektevalueringen og resultatene fra denne: Hvordan de ekstra lærerstillingene har påvirket ressursbruk, læringsutbytte og læringsmiljø. Alle analysene baserer seg på å sammenligne (ressursbruken eller resultatene i) skoler som fikk ekstra lærerstillinger med mest mulig tilsvarende skoler som ikke fikk ekstra stillinger. Selv om vi studerer forskjellige mål på ressurser og resultater er analysestrategiene helt tilsvarende. Vi gir derfor først en samlet oversikt over datagrunnlaget og analysestrategier. Deretter presenterer vi resultater fra noen relevante, tidligere studier og så resultatene fra våre analyser. Vi har forsøkt å unngå tekniske beskrivelser i hovedteksten, men lagt enkelte slike i fotnoter. Vi avslutter dette kapitlet med å oppsummere resultatene fra effektevalueringen.

2.1. Hva kan vi forvente? Det finnes en omfattende litteratur som studerer sammenhengen mellom lærer-ressurser og elevenes resultater. Det er imidlertid liten enighet om effekter, det er f.eks. slående at Hanushek (2003) og Krueger (2003) konkluderer svært ulikt på grunnlag av den samme litteraturen, og det finnes flere studier som analyser STAR3 som kommer til ulike konklusjoner. Ettersom ekstra lærere er en kostbar satsning bør effekten være betydelig. Mye forskning tyder imidlertid på at effektene av ekstra lærere ofte er beskjeden, også norsk forskning (Leuven m.fl., 2008). Men det finnes også forskning, blant annet fra Sverige, som tyder på at klassestørrelse kan ha en betydelig effekt, også på lang sikt, og være kostnadseffektiv (Fredriksson m.fl., 2013).4 Utdanningsdirektoratet (2016) har vist at skolene som fikk økt tilskudd, sammenliknet med 2011/12, (i) hadde ansatt omtrent så mange flere lærere som tilskuddet tilsier, (ii) reduserte gruppestørrelsen, (iii) hadde redusert andel elever med spesialundervisning og (iv) hadde økt antall grunnskolepoeng. Øvrige ungdomsskoler/ungdomstrinn, som ikke fikk tilskudd, har til sammenligning hatt et omtrent stabilt antall lærere, hatt en marginalt svakere nedgang i spesialundervisning, og en noe svakere økning i gjennomsnittlige grunnskolepoeng. Vi har tidligere publisert foreløpige resultater fra effektevalueringen, der vi ikke fant tegn til effekter på læringsutbytte (Kirkebøen m.fl., 2016). Siden publiseringen av våre foreløpige resultater har det også kommet ytterligere to norske forskningsrapporter som ser på langsiktige effekter av klassestørrelse, Falch m.fl. (2017) og Leuven og Løkken (2017). Ingen av disse finner effekter av mindre klasser.

3 Et omfattende eksperiment med mindre klasser, gjennomført i 1985-1989 i Tennessee, USA. 4 Både Leuven m.fl. (2008) og Fredriksson m.fl. (2013) bruker klassedelingsregel (maksimalt antall elever per klasse) som grunnlag for identifikasjon, og det er ingen åpenbare grunner til at resultatene i Sverige avviker fra de norske. De norske studiene baserer seg på et mer omfattende datagrunnlag enn den svenske.



2.2. Datagrunnlag Vi bruker tre datakilder i den kvantitative analysen: Ressurser: Grunnskolens informasjonssystem (GSI) inneholder data bl.a. om elevtall og ressurser i norske grunnskoler. Utfra disse kan vi lage flere mål på lærerressurser. Et sentralt mål er gruppestørrelse 1:

𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒 𝑒𝑒𝑡𝑡𝑒𝑒𝑡𝑡𝑒𝑒𝑒𝑒𝑒𝑒æ𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒 𝑒𝑒𝑡𝑡𝑒𝑒𝑡𝑡𝑒𝑒𝑒𝑒

Gruppestørrelse 1 uttrykker hvor mange elever det i snitt vil være per lærer i undervisningen. En del undervisning, bl.a. spesialundervisning, vil ofte foregå i små grupper. Dette vil bidra til å trekke gjennomsnittlig gruppestørrelse ned. Gruppestørrelse 2 (GR2) tar hensyn til dette ved å se bort bra elev- og lærertimer som er knyttet til individuelle rettigheter og som typisk gis i små grupper, og gir et bedre uttrykk for antall elever per lærer i ordinær undervisning:

𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒 𝑒𝑒𝑡𝑡𝑒𝑒𝑡𝑡𝑒𝑒𝑒𝑒 − (𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑡𝑡𝑒𝑒𝑒𝑒 𝑠𝑠𝑠𝑠𝑒𝑒𝑠𝑠𝑒𝑒𝑡𝑡𝑒𝑒𝑠𝑠𝑠𝑠𝑠𝑠𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑠𝑠𝑠𝑠𝑒𝑒𝑠𝑠𝑠𝑠 + 𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑡𝑡𝑒𝑒𝑒𝑒 𝑠𝑠æ𝑒𝑒𝑠𝑠𝑟𝑟𝑒𝑒𝑒𝑒𝑒𝑒 𝑠𝑠𝑡𝑡𝑒𝑒𝑠𝑠𝑟𝑟)𝑡𝑡𝑒𝑒𝑠𝑠𝑒𝑒𝑠𝑠æ𝑒𝑒𝑒𝑒 𝑠𝑠𝑠𝑠𝑠𝑠𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑠𝑠𝑠𝑠𝑒𝑒𝑠𝑠𝑠𝑠𝑠𝑠𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒 + 𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒 𝑒𝑒𝑒𝑒𝑒𝑒 𝑡𝑡𝑠𝑠𝑠𝑠𝑠𝑠𝑒𝑒𝑒𝑒𝑒𝑒𝑠𝑠𝑠𝑠 𝑒𝑒𝑒𝑒𝑒𝑒 𝑠𝑠𝑡𝑡𝑒𝑒𝑒𝑒𝑠𝑠𝑟𝑟𝑒𝑒 𝑠𝑠𝑠𝑠𝑒𝑒å𝑟𝑟𝑡𝑡𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑠𝑠𝑡𝑡𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒

Gjennomsnittlig gruppestørrelse 2 på ungdomstrinnet i skoleåret 2011/12 var omtrent 19,9. Utover gruppestørrelse studerer vi effekter på årsverk, i tillegg til bruk av assistenter og spesialundervisning. Elevenes læringsutbytte: Nasjonale prøver og karakterer ved avsluttet grunnskole. Elevene gjennomfører nasjonale prøver i lesing, regning og engelsk på 5. og 8. trinn, samt i lesing og regning på 9. trinn. Ved fullført grunnskole registreres alle standpunkt og eksamenskarakterer. Grunnskolepoeng (GP) er et samlemål for disse karakterene, som danner grunnlaget for opptak til videregående utdanning. Grunnskolepoeng beregnes ved å legge sammen alle avsluttende karakterer på vitnemålet – standpunkt og eksamen – og dele på antall karakterer. Deretter multipliseres gjennomsnittet med 10. Elever som mangler karakter i mer enn halvparten av fagene får ikke beregnet grunnskolepoeng. Gjennomsnittlig grunnskolepoeng i skoleåret 2011/12 var 40,0. Grunnskolepoeng er sentralt for analysene, ettersom et kriterium for at en skole fikk ekstra ressurser var at gjennomsnittlige grunnskolepoeng i 2011/12 var under det nasjonale snittet. For å måle effekter på læringsutbytte vil vi først og fremst konsentrere oss om skriftlig eksamenskarakter. Skriftlig eksamen er et relevant mål på læringsutbytte: Denne måler elevenes prestasjoner ved slutten av ungdomsskolen opp mot læreplanen. Skriftlig eksamenskarakter er imidlertid ikke noe uttømmende mål på læringsutbytte og vil ikke fange opp alle mulige relevante effekter. Den store fordelen med skriftlig eksamen er at denne vurderes anonymt av lærere utenfor skolene, slik at vi unngår problemer med at tiltaket påvirker setting av standpunkt-karakterer. Dette kan f.eks. skje dersom det ansettes nye lærere med en annen karakterpraksis. Forskjeller i karakterpraksis kan være betydelige, i hvert fall i forhold til forskjeller i bidrag til læring mellom skoler og til effektene det er rimelig å vente av tiltaket (jf. Galloway m.fl., 2011; Hægeland m.fl., 2011). Som mål på elevenes læringsutbytte ser vi også på resultater fra nasjonale prøver på 9. trinn. I tillegg studerer vi fravær i 10. trinn, samt fullføring av VG1 og VG2 og overgang til VG2, som vi vet henger nært sammen med kunnskapene elevenes tar med seg fra ungdomsskolen. Vårt datagrunnlag inkluderer avgangskarakterer for kullet som avsluttet grunnskolen i juni 2017.



Læringsmiljø: Vi måler læringsmiljø ved hjelp av en rekke variabler fra Elevundersøkelsen. Elevundersøkelsen gjennomføres hvert år og elever svarer på en rekke spørsmål om for eksempel trivsel, støtte fra lærer, og mobbing. Vi bruker i hovedsak utdanningsdirektoratets indekser, slik de presenteres i Skoleporten,5 men har i noen grad analysert elevenes svar på enkeltspørsmålene. Ettersom besvarelsene ikke kan kobles til enkeltelever har vi basert analysene på skolenes resultater slik de publiseres i Skoleporten. Ettersom analysen baserer seg på å sammenligne skoler (som hhv. fikk og ikke fikk ekstra lærere) er ikke dette noen stor begrensning.6 Effektevalueringen fokuserer på data fra skoleåret 2013/14 frem til skoleåret 2016/17. Vi har også analysert eldre resultater, for å få et bedre sammenlignings-grunnlag til å vurdere våre funn. Elevundersøkelsen ble imidlertid ikke gjennomført i skoleåret 2012/13, og var forskjellig utformet før og etter dette. Vi har dermed ikke noe direkte sammenligningsgrunnlag for effektestimatene våre.

2.3. Evalueringsdesignet Formålet med effektanalysene er å studere samlede kausale effekter av tiltaket, dvs. hvordan faktiske resultater er forskjellig fra hvordan de ville ha vært i fravær av økt tilskudd (kontrafaktiske resultater).7 I denne delen fokuserer vi på (i) skolenes ressursbruk, (ii) elevenes læringsutbytte, i hovedsak målt ved skriftlig eksamens-karakter i 10. klasse og (iii) læringsmiljøet slik det beskrives av 10. klasseelevene i de årlige Elevundersøkelsene. Vi er først og fremst interessert i om tiltaket har ført til høyere læringsutbytte. Tiltaket består imidlertid i å gi ressurser til skolene, via skoleeierne. For at elevenes læringsutbytte skal påvirkes må det skje en atferdsendring på skolene. Fra Utdanningsdirektoratet (2016) vet vi at skolene som mottok tilskuddet har ansatt flere lærere, og gruppestørrelsen i tiltaksgruppen som helhet gikk ned. Likevel er det nødvendig å dokumentere i mer detalj at de observerte endringene ikke drives av andre utviklingstrekk, for eksempel elevtallsutviklingen. Det er også relevant å se nærmere på om skolene/skoleeierne på grunn av ekstratilskuddet har gjort andre endringer i ressursbruken, sammenlignet med hva skolene ellers ville gjort, f.eks. flere eller mer kompetente lærere eller endring i omfang av spesialundervisning eller bruk av annet personale (assistenter). Vi kan ikke direkte observere den kontrafaktiske ressursbruken eller det kontrafaktiske læringsutbyttet, dvs. slik det ville vært i fravær av tiltaket. Dette er vi nødt til å anslå ved hjelp av en sammenligningsgruppe, fortrinnsvis ”like skoler” som ikke fikk tilskudd. Skolene som ikke fikk ekstra ressurser er generelt ikke en relevant sammenligningsgruppe, særlig ettersom et kriterium for ekstra ressurser var svake resultater i utgangspunktet. En måte å ta hensyn til dette er, som i Utdanningsdirektoratet (2016), å sammenligne med forskjellene som eksisterte før tiltaket. Men dette forutsetter at tiltaksskolene i fravær av tiltaket ville hatt en tilsvarende utvikling som øvrige skoler. Det at skolene er valgt ut på bakgrunn av svake resultater i et enkeltår tilsier at disse skolene sannsynligvis ville hatt en bedre 5 https://skoleporten.udir.no, se også Wendelborg m.fl. (2017). 6 Enkeltbesvarelser kunne gjort oss i stand til å studere andre mål enn snittindekser, f.eks. andel elever som oppgir lave verdier. Ettersom vi allerede studerer et stort antall resultatmål (både generelt og knyttet til læringsutbytte) og slike analyser av karakterer og nasjonale prøver viser seg å gi lite ekstra har vi ikke prioritert å beregne slike mål. 7 Dette er en forståelse av effekter i tråd med hva om gjerne omtales som «potential outcomes» (se Angrist og Pischke (2008) for en god beskrivelse): Vi tenker oss at det for hver skole og elev er to forskjellige mulige utfall hhv. med og uten tiltaket, og ønsker å finne forskjellen på disse. I denne samlete effekten inngår respons fra andre aktører på økt tilskudd, herunder skoleeiere, enkeltskoler, foreldre (jf. Todd og Wolpin, 2003).

https://skoleporten.udir.no/



utvikling enn øvrige skoler, og at en slik sammenligning overvurderer effekten av tiltaket (Chay m.fl., 2005). Vi har imidlertid et godt grunnlag for å finne relevante sammenligningsskoler ettersom tilskuddet ble gitt etter klare objektive kriterier til skoler som i 2011/12 hadde (i) gruppestørrelse i ordinær undervisning (heretter gruppestørrelse 2 eller GR2, jf. beskrivelsen av datagrunnlaget) over 20 elever per lærer på ungdomstrinnet, og (ii) grunnskolepoeng (GP) under snittet for landet. Dessuten ble tilskuddet (iii) gitt fra et gitt tidspunkt, slik at skolene ikke mottok tilskuddet før skoleåret 2013/14. Vi kan dermed sammenligne skoler som (så vidt) kvalifiserte for deltagelse med skoler som (så vidt) ikke kvalifiserte, i et såkalt «regression discontinuity» (RD) design. Dette er en tilnærming som ofte kan gi et godt grunnlag for troverdige effektmål (se f.eks. Lee og Lemieux, 2010), og som har blitt brukt bl.a. i mange studier av utdanningspolitiske tiltak. I dette konkrete tilfellet bygger en slik sammenligning at skoler som på et gitt tidspunkt har nesten like gjennomsnittlige grunnskolepoeng - eller nesten lik gruppestørrelse - også på andre områder kan forventes å være (nesten) like. Disse i utgangspunktet like skolene hhv. får og ikke får ekstra ressurser. Etter at tilskuddet har fått virke en tid, vil det kunne oppstå en forskjell i resultater mellom skoler som er like over/under grensen. Siden vi har god grunn til å anta at skolene i utgangspunktet var like, og ville forblitt like i fravær av de ekstra ressursene, vil vi tolke en evt. forskjell som en effekt av tilskuddet.

Figur 2.1 Skoler som fikk/ikke fikk ekstra lærere, etter skolenes gruppestørrelse 2 og poenggap (gjennomsnittlig grunnskolepoeng – grunnskolepoeng) i 2011/12 (skalert)

Kilde: Statistisk sentralbyrå. Ettersom skolene måtte oppfylle to kriterier for støtte har vi to grenser der vi kan sammenligne (nesten) like skoler. I Figur 2.1 viser vi hvordan skolene fordelte seg med hensyn til gruppestørrelse 2 og gjennomsnittlige grunnskolepoeng. Den horisontale aksen viser avviket fra gjennomsnittlig gruppestørrelse 2. Skoler til høyre i figuren (med positive verdier) har gruppestørrelse høyere enn 20. Den vertikale aksen viser avviket mellom landsgjennomsnittet og skolens gjennom-snittlige grunnskolepoeng, dvs., verdier over null betyr at skolen hadde gjennomsnittlige grunnskolepoeng under landsgjennomsnittet i 2011/12. Det er lite

2-

1-

0

1

2

Poen

gap

(sni

tt G

P - G

P, s

kale

rt)

-2 -1 0 1 2Gruppestørrelse 2 - 20 (skalert)

Ekstra lærere



intuitivt at høye avvik svarer til lave poengsnitt. Fordelen med denne måten å måle på er at skolene som deltar i tiltaket har positive verdier både på avvik gruppe-størrelse og avvik grunnskolepoeng – det forenkler framstillingen av figurene vi bruker når vi analyserer effekter i fortsettelsen av denne artikkelen. Begge målene er dessuten standardisert (uttrykt som antall standardavvik fra landsgjennomsnittet), slik at de får tilsvarende skala.8 Figuren viser også hvorvidt hver enkelt skole fikk ekstra ressurser, skolene som fikk dette er markert med blå kryss. Skolene som hadde grunnskolepoeng under snittet og gruppestørrelse 2 over 20 ligger nordøst i figuren. Vi ser at nesten alle skolene i dette området fikk ekstra ressurser (med unntak for en skole med antall grunnskolepoeng så vidt under snittet), og at ingen skoler med grunnskolepoeng over snittet eller gruppestørrelse 2 under 20 fikk ekstra ressurser. Figuren illustrerer også sammenligningsgruppene vi vil bruke i effektevalueringen. Rett til venstre for skolene som fikk ekstra lærere (med negative verdier på gruppestørrelseaksen, horisontal akse) finner vi skoler som også har svake karakterer, men som har gruppestørrelse 2 litt under 20 (dvs. skolene markert med sirkler, nordvest i figuren) og dermed ikke fikk støtte. Nedover fra tiltaksskolene (med negative verdier på poengaksen, vertikal akse) finner vi skoler som også har store grupper, men som har skoleprestasjoner over snittet (dvs. skolene markert med trekanter sørøst i figuren) og som derfor heller ikke fikk støtte. Til slutt har vi noen skoler som hadde relativt små grupper og gode resultater (skolene markert med firkanter sørvest i figuren), og som dermed både måtte hatt større grupper og svakere resultater for å være aktuelle for ekstra ressurser.

2.4. Effekter på ressursbruk i tiltaksskolene I dette delkapittelet studerer vi effekter av ulike typer skoleressurser, med hovedfokus på gruppestørrelse (GR2). Vår framstilling av effektanalysene er uavhengig om vi ser på effekter på ressursbruk eller læringsutbytte. Derfor bruker vi ekstra tid på å forklare metode i avsnittet om effekter på gruppestørrelse og andre skoleressurser.

Effekter på lærertetthet målt ved gruppestørrelse i ordinær undervisning La oss først se på skoler som er nær hverandre langs grunnskolepoengskalaen i 2011/12. I figur 2.2 ser vi hvordan gruppestørrelse 2 i skoleårene 2013/14-2016/17 varierer med tidligere resultater på skolen (gjennomsnittlige grunnskolepoeng 2011/12). Den vertikale røde streken markerer grensen for å tilskudd til flere lærere. Hvert symbol i figur 2.2 representerer et gjennomsnitt av flere skoler med omtrent samme grunnskolepoeng i 2011/12. Merk først at de grønne sirklene og firkantene er skoler som uansett ikke kvalifiserte til støtte fordi de allerede hadde små grupper. Effekten er dermed knyttet til forskjell mellom blå og rød punkter. Det blå krysset rett til høyre for den vertikale linjen (som markerer 0, dvs. grunnskole-poeng lik snittet) er dermed skoler som hadde grunnskolepoeng så vidt under snittet i 2011/12. Symbolene svarer til symbolene i figur 2.1, slik at de blå kryssene markerer skoler som har fått ekstra ressurser. For å si noe om effekter av satsingen ønsker vi å sammenligne disse skolene med i utgangspunktet like skoler som ikke fikk ekstra ressurser. Den røde trekanten rett til venstre for den vertikale linjen er

8 Standardavvikene er hhv. omtrent 2,1 grunnskolepoeng og 6,5 elever/lærer. Fra figuren ser vi dermed at det er få skoler som har gruppestørrelse 2 høyere enn ca. 26 (ett standardavvik over snittet), eller grunnskolepoeng lavere enn ca. 36 (to standardavvik under snittet). Vi har også, for begge mål, satt verdier større enn 2,1 eller mindre -2,1 lik disse verdiene, for å unngå at noen svært få ekstreme verdier forstyrrer bildet i figuren.



skoler som hadde grunnskolepoeng så vidt over snittet i 2011/12, og dermed så vidt ikke fikk ekstra ressurser. Dette tilsier at disse er en god sammenligningsgruppe for å vurdere effekten på skolene som så vidt fikk. En utfordring med denne sammenligningen er imidlertid at det er få skoler rett på hver side av den vertikale linjen, dermed blir gjennomsnittene upresise og sammenligningene usikre. Vi løser dette ved å bruke også skoler litt lengre unna den vertikale linjen til å beregne gjennomsnitt. Da blir skolene mer ulike i utgangspunktet. Vi beregner derfor glidende gjennomsnitt for alle verdier for alle verdier av grunnskolepoeng, som tar hensyn til dette. Disse gjennomsnittene vises som kurver i figuren. I tillegg til symbolene som markerer gjennomsnitt har vi tegnet inn kurver som viser lokale glidende gjennomsnitt.9 Hvert punkt på disse oppsummerer gjennomsnittlig gruppestørrelse 2 i et begrenset område rundt punktet, med størst vekt på de nærmeste skolene.

Figur 2.2 Effekter på gruppestørrelse i ordinær undervisning: Gjennomsnittlig gruppestørrelse 2 i 2013/14 – 2016/17 etter avstand fra grense grunnskolepoeng i 2011/12

Kilde: Statistisk sentralbyrå. Den heltrukne blå kurven viser gjennomsnittlig gruppestørrelse 2 for skoler som fikk ekstra lærere. Vi ser at gruppestørrelse 2 i de fire etterfølgende år ligger på omtrent 18-19 elever/lærer, og at det blant skolene som fikk tilskudd ikke er noen sterk sammenheng mellom grunnskolepoeng i 2011/12 og senere gruppestørrelse. Den stiplede røde kurven viser gjennomsnittlig gruppestørrelse 2 for skolene som hadde høy gruppestørrelse 2 i 2011/12, men som hadde for høyt karaktersnitt til å få ekstra lærere. Skolene uten tilskudd har gruppestørrelse 2 på omtrent 21-22 i senere år. Innen denne gruppen er det heller ikke noen sterk sammenheng mellom grunnskolepoeng i 2011/12 og senere gruppestørrelse 2. Kurven krummer riktignok oppover i hver ende, men her er de beregnede gjennomsnittene mer usikre, fordi vi 9 Kurvene viser en lokal lineær tilpasning, dvs. et gjennomsnitt som tar hensyn til at variabelen vi regner gjennomsnitt for (her gruppestørrelse 2) kan endre seg med endret verdi langs den horisontale aksen. I beregningen for hvert punkt inngår observasjoner innen en avstand på 0,5, og observasjoner nær punktet vi beregner gjennomsnitt for gis høyest vekt (triangulær vekting). I figurene 2.2 og 2.3 er skolene vektet med antall elever på ungdomstrinnet. Merk at figur 2.2 bare omfatter skoler som hadde gruppestørrelse 2 nær grense for deltagelse (innen ett standardavvik), det er dermed en del av skolene i figur 2.1 som ikke inngår i analysene i figur 2.2.



baserer oss på få skoler. Generelt er kurvene i figurene basert på verdiene i forholdsvis små intervaller. Dette gjør de godt egnet til å få fram nyanser i sammenhengen mellom tidligere kjennetegn og senere resultater (her gruppestørrelse 2), men også at de er utsatt for tilfeldigheter eller verdiene til enkeltskoler. Når vi sammenligner kurvenes endepunkter på hver side av den vertikale linjen kan vi sammenligne beregnede gjennomsnitt for skoler som i utgangspunktet hadde grunnskolepoeng like under og like over grensen for deltakelse. Vi ser at det er en klar forskjell på omtrent 2-3 elever/lærer.10 Ettersom vi sammenligner skoler som i utgangspunktet var nesten like, forventer vi at de ville ha vært (nesten) like i fravær av tiltaket, og at forskjellen vi ser er et resultat av tiltaket. Det vil si, tiltaket reduserte gruppestørrelse 2 med to til tre elever/lærer. Når vi sammenligner to grupper av skoler, her skoler som i 2011/12 har grunnskolepoeng like over/under grensen for ekstra ressurser, er det en mulighet for at det er finnes andre, relevante forskjeller som vi ikke klarer å ta hensyn til, og som vi dermed sammenblander med tiltaket. En sjekk på hvorvidt dette er tilfelle kan være å sammenligne andre grupper av skoler rundt samme grense, der ingen deltar i noe tiltak, for å se om det er forskjeller mellom disse. De to grønne gruppene av skoler (lang-stiplet) hadde begge for lav gruppestørrelse 2 i 2011/12 til å få støtte. Også her er det bare svake sammenhenger mellom grunnskolepoeng i 2011/12 og senere gruppestørrelse innen hver gruppe. De grønne gruppene viser hvordan senere gruppestørrelse 2 endrer seg rundt gjennomsnittlig grunnskolepoeng for skoler der det ikke er noe tiltak. For disse skolene er gruppestørrelse 2 i snitt omtrent lik 18-19 uavhengig av tidligere grunnskolepoeng ved skolen, både for grunnskolepoeng over og under landsgjennomsnittet. Det er dermed ingen ting som tyder på at det er andre forhold enn tiltaket som er årsak til forskjellen i gruppestørrelse 2 rundt grensen.

Figur 2.3 Effekter på gruppestørrelse i ordinær undervisning: Gjennomsnittlig gruppestørrelse2 i 2013/14 – 2016/17 etter avstand fra grense gruppestørrelse 2 i 2011/12

Kilde: Statistisk sentralbyrå.

10 Forskjellen er også klart statistisk signifikant.



I figur 2.3 ser vi på den andre marginen og sammenligner skoler med over/under gjennomsnittlig gruppestørrelse. Figuren viser hvordan gruppestørrelse 2 i 2013/14 til 2016/17 varierer med gruppestørrelse 2 fra 2011/12. Her ser vi en jevnt stigende sammenheng for alle grupper av skoler. Det er som ventet, og viser bare at skoler som har store grupper i 2011/12 også har det i de fire etterfølgende årene. Igjen illustrerer de blå kryssene skoler som fikk økt tilskudd. Igjen sammenligner vi med skoler som oppfyller det andre kravet til støtte, men som har mindre grupper (de røde sirklene). For skolene med grunnskolepoeng under landsgjennomsnittet er det et klart brudd rundt 0 i figuren, det vil si ved tiltaksgrensen på gruppestørrelse 2 lik 20. Skoler som så vidt var over grensen i 2011/12, og dermed deltar i tiltaket, har i senere skoleår en gruppestørrelse 2 omtrent 2 elever/lærer lavere enn skoler som så vidt ikke deltar. Som i figur 2.3 er det ingen tilsvarende forskjell rundt grensen blant skoler som uansett ikke ville fått ekstra lærere (grønne firkanter og trekanter), her fordi de hadde for gode resultater i før tiltaket. Oppsummert ser vi, både når vi sammenligner skoler som i 2011/12 hadde høy gruppestørrelse 2 og grunnskolepoeng rett under/over snittet og når vi når vi sammenligner skoler som i 2011/12 hadde lave gjennomsnittlige grunnskolepoeng og gruppestørrelse 2 rett under/over 20, at skolene som så vidt fikk ekstra lærere har klart lavere gruppestørrelse 2 senere. Fra begge sammenligningene kan vi konkludere med de ekstra ressursene reduserte gruppestørrelse 2 med omtrent 2-3 elever/lærer, eller omtrent 10 prosent.11 Fra figur 2.3 ser vi at skolene som får ekstra lærere med tiltaket har gruppestørrelse 2 omtrent lik skolene som i utgangspunktet hadde lave gruppestørrelser. Det er også verdt å merke seg at kurvene både i figur 2.2 og 2.3 er omtrent parallelle. Dette tyder på at effekten på gruppestørrelse 2 er en reduksjon på omkring 2 elever/lærer, uavhengig av grunnskolepoeng eller hvor store gruppene var i utgangspunktet. For å oppnå mer presise mål på effekter sammenligner vi også ressursbruk i alle skolene som fikk støtte med alle andre skoler, inkludert skolene langt fra grensene for deltagelse. Vi sammenligner da ikke lenger skoler som er nesten like. At skolene i utgangspunktet er forskjellige stiller sterkere krav til at vi klarer å ta hensyn til sammenhengen mellom eksamenskarakterer og tidligere resultater og gruppestørrelse.12 De to første estimatene merket «snitteffekt» i figur 2.4 er fra denne typen sammenligninger, hhv. av skoler over/under GP-grensen (GP-marginen) og GR2-grensen (GR2-marginen). De horisontale linjene viser usikkerhetsmarginer.13 Det er usannsynlig at den faktiske effekten er utenfor intervallet disse angir. Ettersom de horisontale linjene blir kortere, og intervallene mindre enn for de beregnede effektene nær grensene, ser vi at disse de beregnede snitteffektene er mer presise. Når vi ser på alle skoler som får tilskudd og sammenlikner gruppestørrelse 2 med alle andre skoler finner vi tilsvarende effekter som i figur 2.2 og 2.3. Gruppestørrelse 2 er redusert med omkring 2 elever/lærer som følge av midlene til ekstra lærerårsverk.

11 Når vi ser på skoler rundt grensen for gruppestørrelse 2 har disse nødvendigvis gruppestørrelse rundt 20 før tiltaket, slik at en reduksjon på to elever/lærer svarer til en endring på 10 prosent. Skolene nær grensen for grunnskolepoeng som fikk ekstra ressurser har i utgangspunktet gruppestørrelse 2 større eller lik 20, men ikke nødvendigvis så vidt over 20. Dermed vil gjennomsnittlig gruppestørrelse 2 for disse skolene i utgangspunktet vil være høyere enn 20, og en reduksjon på to elever/lærer svare til en endring på litt mindre enn 10 prosent. 12 Estimatene som baserer seg på alle skoler tar hensyn til avstand fra grensene fra hver av grensene, samt kvadratet av hver av disse og produktet av avstandene. Disse analysene vekter også alle skoler med elevtall, men uavhengig av avstand til grensene. 13 95 prosent konfidensintervaller for de estimerte effektene.



Estimatene som baserer seg på skoler som er lengre fra grensen er i utgangspunktet mindre troverdige, ettersom det kan være andre forhold vi ikke klarer å ta hensyn til. Vi kan imidlertid utnytte rikere data og flere kontrollgrupper til å få troverdige og presise anslag. Denne forskjeller-i-forskjell metoden bygger på at tiltaksskolene ville hatt gruppestørrelse som en «kombinasjon» av skoler med store grupper og svake resultater (i 2011), dersom de ikke hadde fått tilskudd til nye lærere. Fra figur 2.2 og 2.3 har vi sett at det ikke er noen effekt på gruppestørrelse når vi sammenligner skoler som har høy/lav GR2 (GP), men for høy GP (for lav GR2) til å få ekstra lærere. I analysene som baserer seg på skoler lengre fra grensene finner vi heller ikke noen slik forskjell. Det tyder på at vi klarer å ta hensyn til forskjellene mellom skoler med høy/lav GR2/GP utenom de ekstra lærerne. Videre kan vi gjøre en vurdering av om framgangsmåten er rimelig ved å teste om vi finner «effekter på ressursbruk» ved å late som om tilskuddet ble gitt til de samme skolene noen år før. Tiltaket kan åpenbart ikke hatt noen effekt før det ble innført, så evt. effektestimater før innføring tyder på at det er andre forskjeller mellom skolene som vi ikke lykkes i å ta hensyn til. Her finner vi ingen grunn til bekymring ettersom det ikke er noen ”effekt” for tidligere kull, se figur 2.4 (”før tiltaket”).

Figur 2.4 Oppsummering av effekter (med usikkerhetsintervaller) på gruppestørrelse 2 (gruppestørrelse i ordinær undervisning) fra forskjellige beregninger, 2013/14 – 2016/17


Effekter på andre skolekjennetegn Når skoleeier mottar ekstra støtte til lærerårsverk kan det tenkes at øvrige ressurser til skolene endres. Slike tilpasninger kan skje både innen og mellom skoler. Mindre gruppestørrelser kan føre til at det brukes færre ressurser på andre områder, med tilhørende konsekvenser for elevenes læringsutbytte. Samlede årsverk kan øke mindre enn de ekstra lærerne, f.eks. via færre assistenter, både behovet for og prioritering av spesialundervisning kan bli endret og kompetanseprofilen hos lærerne kan bli påvirket. Ved hjelp av data fra GSI har vi søkt å avdekke effekter på andre ressurser enn lærerårsverk, men finner ingen tegn til dette. Analysene av effekter på antall



årsverk er ganske upresise, men resultatene i figur 2.5 (en økning på omtrent fire årsverk) er i tråd med hva vi venter, utfra antall lærere det gis tilskudd til.

Figur 2.5 Oppsummering av effekter på antall årsverk, 2013/14 – 2016/17

Kilde: Statistisk sentralbyrå. I analyser der vi studerer effekter på samlede årsverk finner vi anslag på effekt svært likt det vi finner for lærerårsverk, og at de nye lærerårsverkene fylles av kvalifiserte lærere. Det er ingen tegn til konsekvenser for øvrige ressursmål, f.eks. omfang av ressurser til spesialundervisning eller assistentbruk. Vi finner heller ikke effekter på spesialundervisning som opplevd av elevene, verken andel elever med spesialundervisning (individuell opplæringsplan, IOP), hvordan elevene fordeler seg på antall timer spesialundervisning eller på hvorvidt spesialundervisningen er alene, i grupper eller i klassen. Vi viser bare enkelte utvalgte resultater. Figur 2.6 viser at vi ikke finner noen effekt på årstimer til spesialundervisning (målt i prosent av totalt antall elevtimer ved skolen, inkl. spesialundervisning og særskilt norskopplæring). Videre, fra de oppgitte usikkerhetsintervallene ser vi at vi langt på vei kan utelukke effekter på årstimer til spesialundervisning større enn omtrent 0,3 prosent av antall elevtimer. Figur 2.7 viser at vi ikke finner noen effekter på antall assistenttimer, og at det er usannsynlig med effekter større enn omtrent 0,04 prosent av antall elevtimer.



Figur 2.6 Oppsummering av effekter på årstimer til spesialundervisning (prosent av elevtimer), 2013/14 – 2016/17


Figur 2.7 Oppsummering av effekter på årstimer assistenter (prosent av elevtimer), 2013/14 – 2016/17


Heterogene effekter Det kan tenkes at ekstra lærere betyr mer for noen elevgrupper eller i noen skoler. Dette undersøker vi i mer detalj i neste delkapittel der vi ser på læringsutbytte. Det kan i prinsippet imidlertid også tenkes at effektene på ressursbruk varierer mellom skoler og at dette forklarer eventuelle forskjeller i effekter på læringsutbytte. For bedre å kunne tolke mulige effekter på læringsutbytte har vi undersøkt om ressurseffektene omtalt over varierte mellom skoler med forskjellige kjennetegn før tiltaket ble iverksatt. Store skoler som deltok i tiltaket fikk flere ekstra lærere enn mindre skoler. Dette gjør at vi forventer lite variasjon i effekter på gruppestørrelse. I figur 2.2 og 2.3 ser kurvene som viser gruppestørrelse 2 i tiltaksskolene ut til å være omtrent parallelle med kurvene for sammenligningsskolene. Det er dermed ikke tegn til vesentlige forskjeller i effekter på gruppestørrelse 2 mellom tiltaksskoler med hhv. forskjellig grunnskolepoeng eller gruppestørrelse 2 i 2011/12.



Vi kan også studere heterogenitet utfra andre skolekjennetegn. Det gjør vi ved å dele både tiltaks- og kontrollskolene i to grupper, med henholdsvis høye og lave verdier på forskjellige kjennetegn. Vi kan så sammenligne tiltaksskoler med høye/lave verdier med tilsvarende kontrollskoler, eller på andre måter la effektene variere med disse kjennetegnene. Vi har gjort dette for følgende skolekjennetegn (fra GSI-data for 2012, dvs. data fra året etter dataene som lå til grunn for deltagelse, men fra før tiltaket ble annonsert og gjennomført): (i) antall elever, (ii) andel lærertimer uten godkjent kompetanse, (iii) bruk av assistenter, (iv) omfang av spesialundervisning, (v) omfang av særskilt språkopplæring samt etter (v) geografi (fylke, landsdel). Verken ved separate analyser for høye og lave og lave verdier på de forskjellige kjennetegnene eller ved interaksjonseffekter, der vi lar effekten avhenge av verdiene på forskjellige kjennetegn, finner vi tegn til at ulike skoler responderte forskjellig på flere midler til å øke lærertettheten. Mange av anslagene er upresise, men det er ingen klare mønstre vi vil forvente å finne igjen i eventuelle læringseffekter. I kapittel 4 diskuterer vi koblingene mellom effektevalueringen og implementeringsstudien. Vi finner der ingen klare forskjeller i effekter på ressursbruk mellom skoler som oppgir å ha brukt lærerressursene forskjellig, eller på annen måt svarer forskjellig i spørreundersøkelsen som om gjennomføringen av tiltaket.

Ringvirkninger innen og mellom skoler Ekstra ressurser kan også føre til endrede prioriteringer fra skoleledere og skoleeiere. Disse kan, i større eller mindre grad, kompensere (evt. forsterke) ekstra lærere ved å bruke egne, frie ressurser på trinn eller skoler som ikke fikk finansiert nye stillinger. Vi har studert to former for ringvirkninger, til hhv. andre trinn innen skoler som fikk ekstra lærere og til andre skoler i kommuner som fikk (relativt mange) lærere. Ingen av disse analysene gir klare tegn til ringvirkninger.

2.5. Effekter på læringsutbytte På samme måte som for ressurseffektene i forrige delkapittel anslår vi effektene på læringsutbyttet gjennom sammenlikninger av skoler over og under grensene for ekstra lærere. Samtidig tar vi hensyn til at det kan være forskjeller rundt disse grensene også blant skoler om ikke mottok ekstra tilskudd. Dette kan f.eks. være tilfellet dersom vi ikke lykkes med å ta hensyn til systematiske forskjeller mellom skoler som hadde forskjellig nivåer på grunnskolepoeng og gruppestørrelse 2 i 2011/12. På samme måte som i analysene av ressurser i forrige delkapittel kan vi bruke disse forskjellene til å vurdere troverdigheten til evalueringsdesignet. Analysene i dette delkapitlet bygger på samme evalueringsdesign og framgangsmåte som i forrige delkapittel. For en mer detaljert tolkning av figurer og analyser henviser vil til dette. Vi måler læringsutbyttet i første rekke ved eksamenskarakter i 10. trinn, men studerer også mulige effekter på standpunktkarakterer i 10. trinn, nasjonale prøver i 9. trinn, fravær i 10. trinn og gjennomstrømning i de to første årene i videregående.

Effekter på karakterer Ettersom støtten ble innført høsten 2013, er avgangskullene i 2016 og 2017 de første kullene der elevene på tiltaksskolene opplevde økte lærerressurser gjennom hele ungdomstrinnet. Når vi likevel velger å presentere resultater for alle fire kullene samlet skyldes det at ingen av de fire kullene skiller seg ut når det gjelder anslag på læringsutbytteeffekter, vi diskuterer dette litt mer senere i dette delkapittelet. For å øke presisjonen i våre effektanslag har vi derfor valgt å slå alle



kullene sammen. Av samme grunn gjør vi også analyser der vi tar hensyn til elevenes tidligere resultater fra nasjonale prøver på 8. trinn.14 Figur 2.8 illustrerer (fravær av) effekter når vi analyserer eksamenskarakterer slik vi analyserte gruppestørrelse over. Rundt grensa basert på grunnskolepoeng før tiltaket finner vi ikke noe hopp for de skolene med store grupper som hadde grunnskolepoeng like under snittet og dermed fikk støtte om de passerte poenggrensa, snarere tvert imot. Forskjellen er imidlertid godt innenfor det vi kan forvente som et resultat av tilfeldig variasjon. Dersom det var effekter av redusert gruppestørrelse ville vi vente at karakterene ved skolene med ekstra lærere (blå heltrukken kurve) nær grensa var klart høyere enn ved skolene uten ekstra lærere (rød stiplet kurve) rett på den andre sida av grensa. Som i figur 2.2 ser vi ingen tegn til forskjeller i resultat rundt grensa for skolene med små grupper (som uansett grunnskolepoeng ikke fikk støtte). Dermed er det ingenting som tyder på at det er andre forhold endrer seg ved denne grensa og som eventuelt kunne maskere en effekt av tilskuddet.

Figur 2.8 Effekter på eksamenskarakter: Gjennomsnittlig eksamenskarakter 2014-2017 etter avstand fra grense grunnskolepoeng i 2011/12

Kilde: Statistisk sentralbyrå. Rundt gruppestørrelsesgrensen i figur 2.9 er gjennomsnittlig eksamenskarakterer høyere like over grensen for gruppestørrelse (med ekstra lærere) enn blant nesten like skoler like under grensen som ikke fikk ekstra ressurser. Dette resultatet er imidlertid skjørt, forskjellige beregningsmåter for det glidende gjennomsnittet gir forskjellige resultater. Det er også stor statistisk usikkerhet. Forskjellen mellom skoler over/under gruppestørrelsesgrensen er ikke presist beregnet og ikke statistisk signifikant. Det vil si, selv om det blant skolene med lave grunnskolepoeng er tegn til bedre eksamenskarakterer blant skolene som så vidt fikk ekstra lærere, er forskjellen så liten at vi ikke kan avvise at den ikke skyldes tilfeldigheter.

14 Å ta hensyn til tidligere resultater fra nasjonale prøver har liten betydning for de faktiske estimatene. Det fanger imidlertid mange forskjeller mellom elevene som eksisterte forut for tiltaket, og reduserer dermed mengden uforklart variasjon dramatisk. Dette gjør at estimatene blir mer presise.



Figur 2.9 Effekter på eksamenskarakter: Gjennomsnittlig eksamenskarakter 2014-2017 etter avstand fra grense gruppestørrelse 2 i 2011/12

Kilde: Statistisk sentralbyrå. Analysene så langt er basert på skoler nær de forskjellige grensene for deltagelse i tiltaket. Ettersom disse i utgangspunktet kan forventes å være nesten like kan vi rimelig sikkert si at evt. systematiske forskjeller skyldes tiltaket. En ulempe med disse sammenligningene av skoler nær grensen er imidlertid at vi har få skoler og relativt få elever å bruke i sammenligningene,15 det gir upresise resultater. Vi har derfor også, som i forrige delkapittel, gjort supplerende analyser, der vi gjør sterkere antagelser om hvordan vi kan beskrive skolenes resultater, men til gjengjeld kan bruke et større datamateriale og få mer presise estimater.

15 Vi analyserer karakterer på elevnivå. Antall skoler er imidlertid en større begrensning enn antall elever. Ettersom elever i samme skole kan være utsatt for de samme uobserverte påvirkningene justerer vi presisjonen i estimatene for å ta høyde for dette (ved såkalt clustering, eller flernivå-analyse), det har samme betydning for presisjonen i estimatene som en betydelig reduksjon i antall elevobservasjoner.



Figur 2.10 Oppsummering av beregnede effekter på eksamenskarakter 2014-2017

Kilde: Statistisk sentralbyrå. I figur 2.10 oppsummeres de forskjellige anslag på effekter av tiltaket på karakterer for de fire kullene 2014-2017, med tilhørende usikkerhet. Skalaen er karakterpoeng. Mens midtpunktet på hver linje angir effektanslaget, viser bredden på linjen det usikkerheten i dette anslaget, det såkalte konfidensintervallet (95% nivå). Når dette ikke dekker null kan vi si at effekten er statistisk signifikant og vi kan med stor sikkerhet konkludere med at det er en effekt av tiltaket. De to øverste effektestimatene i figur 2.10, merket «effekt nær grensen», svarer til estimatene fra figurene 2.8 og 2.9. I figur 2.8 der vi sammenligner skoler med grunnskolepoeng rett over/under grensen (vi kaller dette GP-marginen) er det tegn til svakere resultater i skolene som får ekstra lærere. I figur 2.9 derimot, der vi sammenligner skoler med gruppestørrelse 2 rett over/under grensen (vi kaller dette GR2-marginen) er det tegn til bedre resultater i skolene som får ekstra lærere. Vi ser imidlertid at ingen av disse estimatene gir grunnlag med å konkludere med at det er noen effekt på læringsutbytte, verken positiv eller negativ. Men begge anslagene er upresise. Det betyr at selv om vi ikke finner noen klare tegn til effekter, kan vi heller ikke utelukke betydelige effekter, større enn 0,1 karakterpoeng. For å oppnå mer presise mål på effekter sammenligner vi også ressursbruk i alle skolene som fikk støtte med alle andre skoler, inkludert skolene langt fra grensene for deltagelse, som diskutert tidligere i analysen av ressurser. For å finne anslag på effekter sammenligner vi ikke lenger skoler som er nesten like. At skolene i utgangspunktet er forskjellige stiller sterkere krav til at vi klarer å ta hensyn til sammenhengen mellom eksamenskarakterer og tidligere resultater og gruppestørrelse.16 Ved å ta hensyn til elevenes tidligere resultater fra nasjonale prøver (samt foreldrenes utdanningsnivå) øker vi også presisjonen i effektestimatene. De to første estimatene merket «snitteffekt» i figur 2.10 er fra denne typen sammenligninger, hhv. av skoler over/under GP-grensen (GP-marginen) og GR2-grensen (GR2-marginen). Vi ser at disse estimatene er mer

16 Estimatene som baserer seg på alle skoler tar hensyn til avstand fra grensene fra hver av grensene, samt kvadratet av hver av disse og produktet av avstandene. Disse analysene vekter også alle elever likt, uavhengig av avstand til grensene.



presise. Estimatene er imidlertid også nærmere null, slik at det fortsatt ikke er tegn til effekter på læringsutbytte. Estimatene som tar med skoler som i utgangspunktet ikke er nesten like blir mindre troverdige, ettersom det kan være andre forhold vi ikke klarer å ta hensyn til. Vi kan imidlertid utnytte flere kontrollgrupper til å få troverdige og presise resultater. Dersom vi ikke klarer å fullt ut ta hensyn til betydningen av tidligere resultater, kan det føre til at vi forventer for høye resultater av skoler med svake tidligere resultater. Men dette burde i så fall være tilfellet både for skoler med høy og lav tidligere gruppestørrelse 2, og tilsvarende dersom vi ikke klarer å ta hensyn til betydningen av tidligere gruppestørrelse 2. Dermed kan vi bruke utviklingen i skoler rundt grensene som ikke fikk støtte til å blant annet å korrigere for slike ”tilbake til normalen” mekanismer. Det betyr at vi kan finne effekten av tiltaket som resultatforskjellene knyttet til at skoler har både lave tidligere resultater og høy tidligere gruppestørrelse utover forskjellene knyttet til lave tidligere resultater eller høy tidligere gruppestørrelse. Denne forskjeller-i-forskjell metoden bygger på at tiltaksskolene i fravær av tiltaket ville hatt en resultatutvikling tilsvarende den vi finner i en «kombinasjon» av skoler store grupper og svake resultater i 2011, dersom tiltaksskolene ikke hadde fått ansatt nye lærere. Kombinasjonen av et større datamateriale og resultatene fra nasjonale prøver gir svært mye mer presise estimater enn vi fikk i figurene 2.8 og 2.9, jf. estimatet merket «snitteffekt», «begge» (marginer) i figur 2.10. Vi finner at anslaget på denne gjennomsnittseffekten er ganske presist null, det er ingen tegn til effekt. Videre, fra konfindensintervallet ser vi at vi med høy grad av sikkerhet kan utelukke effekter på eksamenskarakter større enn omtrent 0,06 karakterpoeng. Dette tilsvarer at en av 17 elever går opp en karakter.17 Denne framgangsmåten baserer seg på å sammenligne skoler i et gitt år. Vi kan gjøre en ytterligere vurdering av om framgangsmåten er rimelig ved å teste om vi finner «effekter» ved å late som om støtte ble gitt til de samme skolene noen år før. Tiltaket kan åpenbart ikke hatt noen effekt før det ble innført, så evt. effektestimater før innføring tyder på at det er andre forskjeller mellom skolene som vi ikke lykkes i å ta hensyn til. Her finner vi ingen grunn til bekymring ettersom det ikke er noen ”placebo-effekt” for tidligere kull. Vi ser at estimatet for tidligere år er nær null, og dessuten svært likt estimatet for årene med ekstra ressurser.

Effekter på standpunkt, nasjonale prøver, gjennomstrømning i videregående og fravær Figur 2.11 viser effekten på gjennomsnittlig standpunktkarakter ved fullført grunnskole. Tolkningen av disse resultatene er mer usikker enn for eksamenskarakterer, ettersom nye lærere kan ha påvirket karaktersetting for en gitt prestasjon, i tillegg til elevenes ferdigheter. Vi finner imidlertid ingen tegn til at satsingen på flere lærere hadde noen virkning. Vi kan utelukke effekter større enn omtrent 0,03 karakterpoeng, tilsvarende at en av omtrent 30 elever øker snittkarakteren med ett karakterpoeng, eller at to av fem elever går opp en karakter i ett av 13 fag. I figur 2.12 ser vi resultater for nasjonale prøver i 9. trinn (gjennomsnitt for regning og lesing, målt i enheter av standardavvik18), der vi heller ikke finner effekter av ekstra lærere. Igjen er effektene svært presist null, blant annet fordi vi fjerner svært mye annen variasjon ved å kontrollere for resultater ved tilsvarende nasjonale 17 Som i analysene av ressurser finner vi ingen uforklart forskjell mellom skoler med høy/lav GP/GR2 der dette ikke utløser ekstra lærere. Dette tyder på at vi lykkes i å ta hensyn til relevante forskjeller, og at estimatene våre gir relevante mål på effekter. 18 Et standardavvik svarer til 10 skalapoeng etter omleggingen av nasjonale prøver.



prøver resultater året før. Vi er dermed i stand til å utelukke effekter større enn 0,03 standardavvik. For de første elevkullene omfattet av satsningen på ekstra lærere er det mulig å studere gjennomstrømning de første årene på videregående. I figur 2.13 og 2.14 gjengir vi resultater fra analyser av hhv. andelen som har bestått VG1 et år etter fullført grunnskole (to kull) og andelen som er oppmeldt i VG2 halvannet år etter fullført grunnskole. Effekt er målt i andel av avgangskullet, slik at 0,01 tilsvarer ett prosentpoeng. Vi finner ingen effekter på de to gjennomstrømningsmålene, og kan utelukke effekter større enn 1-2 prosentpoeng.19 Anslagene basert på sammenlikninger av skoler nær grensene er upresise og gir bare i liten grad en interessant avgrensning av mulige effekter. Figur 2.15 viser resultater for antall fraværsdager i 10. klasse. Heller ikke her finner vi effekter, og vi kan utelukke effekter større enn en dag. Analyser av timefraværet avslører heller ingen vesentlige effekter.

Figur 2.11 Oppsummering av beregnede effekter på standpunktkarakterer 2014-2017


19 Resultater for fullføring av VG2 er tilsvarende.



Figur 2.12 Oppsummering av beregnede effekter på nasjonale prøver (standardavvik), 2014-2016


Figur 2.13 Oppsummering av beregnede effekter på fullføring av Vg1 (andel), 2015-16




Figur 2.14 Oppsummering av beregnede effekter på overgang til Vg2 (andel), 2015-16


Figur 2.15 Oppsummering av beregnede effekter på fraværsdager i 10 klasse, 2014-2016


Gyldighet av effektestimatene For at vi skal lunne tolke de beregnede estimatene som gyldige mål på effekter må de gi et uttrykk for en forskjell som skyldes tiltaket. Det vil si, vi må lykkes i å ta hensyn til andre forhold som kan påvirke resultatene og rendyrke forskjellen mellom hva elevenes faktiske resultater og hva resultatene ville vært i fravær av de ekstra lærerne. Evalueringsdesignet gir oss flere muligheter til å vurdere dette. For det første, som vi diskuterte med utgangspunkt i figur 2.2-2.3 og 2.8-2.9, er det ingen tegn til at det skjer endringer rundt de respektive grensene i de skolene som ikke kvalifiserer til ekstra lærere. Det tyder på at det ikke er andre forskjeller, som kunne ha dekket over eventuelle effekter. Dette gjelder også i analysene der vi



bruker skoler langt unna grensene for deltagelse. I disse finner vi gjennomgående ingen tegn til forskjeller på hver side av grensene, verken for skoler som får ekstra lærere eller skoler som ikke får det. Som en ytterligere sjekk kan vi se på tilsvarende forskjell i tidligere år. Heller ikke her finner vi tegn til forskjeller, tiltaksskolene utmerker seg altså ikke når det gjelder læringsutbytte, verken før eller etter at de får ekstra lærere. Selv om skolene som får ekstra lærere ser ut til å være sammenlignbare med øvrige skoler kan det være forskjeller mellom elevkull. Det er i prinsippet mulig at elevene som påvirkes av de ekstra lærerne tilfeldigvis har svakere eller sterkere forutsetninger, og dermed ikke er fullt ut sammenlignbare med de samtidige elevene i kontrollskolene. Det kan også være at det tar tid før ekstra lærere fører til økt læring, f.eks. fordi det tar tid å tilpasse undervisningen eller fordi det tar tid å utgjøre en forskjell for elevenes ferdigheter. Vi har derfor også studert effekter separat for hvert enkelt år. Disse viser ingen tegn til økt effekt. For vårt hovedmål på læringsutbytte, skriftlig eksamenskarakter, er effektestimatene svært nær null for de to siste elevkullene (avgangselever i 2016 og 2017, som har hatt ekstra lærere gjennom hele ungdomsskolen), mens de er hhv. positive og negative for avgangselevene i 2014 og 2015. Ingen av disse forskjellene i enkeltår er større enn hva vi kan vente fra tilfeldig variasjon. Resultatene for hvert enkeltår er mindre presise enn for alle år samlet, men for hvert av avgangskullene 2015-2017 kan vi utelukke effekter større enn 0,1 karakterpoeng på eksamen. Forskjellene i enkeltår etter at skolene fikk ekstra lærere avviker ikke vesentlig fra forskjellene før de fikk ekstra lærere, verken i størrelse eller i variasjon fra år til år. Vi finner heller ingen tegn til at det er andre forskjeller i eksamenskarakter mellom skoler med høye/lave grunnskolepoeng eller små/store grupper i noe år, før eller etter satsningen på ekstra lærere. Vi finner heller ingen tegn til endret effekt over tid eller på at evalueringsdesignet vårt er ugyldig når vi gjør tilsvarende analyser av andre resultatmål. En annen mulighet er at de ekstra lærerne fører til endringer i elevgruppene som avlegger eksamen og nasjonale prøver, f.eks. ved at færre elever med svake forutsetninger har spesialundervisning og at disse i stedet deltar i ordinær undervisning og avlegger eksamen. Dette var det viktigste forbeholdet vi tok i den foreløpige analysen av ekstra lærere (Kirkebøen m.fl., 2016). Vi har undersøkt dette i detalj, uten å finne noen tegn til slike sammensetningseffekter. Som omtalt i forrige delkapittel finner vi ingen endringer i hverken omfang eller organisering av spesialundervisning. Vi finner heller ingen tegn til effekter på andelen av elever som henholdsvis avlegger, er fritatt fra eller av annen grunn mangler skriftlig eksamen eller nasjonale prøver på 9. trinn. Som en sjekk av om det kan være endringer i hvorvidt elever er registrert i karakterstatistikken eller oppmeldt til nasjonale prøver har vi også sammenlignet antall elever i disse datakildene med antall elever i GSI, uten å finne effekter på avviket. Til slutt har vi sett etter effekter på tidligere resultater fra nasjonale prøver på 5. og 8. trinn for elevene som har vårt påvirket av ekstra lærere. Resultatene fra 5. og 8. trinn venter vi at er upåvirket av ekstra lærere på ungdomstrinnet. Dersom vi likevel skulle finne effekter på noen av disse resultatmålene tyder det på at det var forskjeller mellom elevene i tiltak- og kontrollskolene før og uavhengig av tiltaket. Vi finner imidlertid ingen tegn til slike effekter, verken på andelen som har deltatt ved prøvene eller på poengsum for de som har avlagt prøve, og verken på 5. eller 8. trinn. I sum mener vi at dette gir et svært solid grunnlag for å konkludere med at effektestimatene våre ikke er påvirket av andre forskjeller mellom skoler eller elever, og at våre estimater dermed er pålitelige mål på faktiske effekter.



Heterogene effekter Blant elevene på skolen som fikk midler til nye lærerstillinger har ulike avgangskull har gått gjennom ungdomskolen med forskjellig eksponeringstid. Mens kullet som startet 10.klasse høsten 2013 kun opplevde ett år, har høstkullene fra 2015 og 2016 gått gjennom hele ungdomsskolen med flere lærere. Dersom satsingen hadde effekter på læringsutbytte vil vi forvente effektene var å finne (var størst) i de siste kullene. Som diskutert i forrige avsnitt finner vi ikke noe mønster i anslag på læringseffekter på tvers av kull. Dette styrker konklusjonen om at effektene gjennomgående er null eller små. Videre kan det være forskjeller i effekter mellom elevgrupper og skoler. Før vi omtaler funn fra avdekkingen av mulig heterogenitet i effekter er det verdt å understreke hvilken rolle de kan spille. Ettersom vi finner presise nulleffekter for gjennomsnittet er det to muligheter dersom effektene varierer på tvers av elever elle skoler: (i) eventuelle positive effekter finnes for små grupper (og de må være store for at vi skal avdekke dem) eller (ii) positive effekter for noen grupper motsvares av negative effekter for andre. Det kan tenkes å være effekter i deler av elevfordelingen, f.eks. færre elever med svært svake resultater, uten at dette gir noe stort utslag på gjennomsnittet. Vi finner imidlertid ingen effekter på andelen elever med karakterer på gitte nivåer (lavere enn 2, 3, …), og heller ikke på andelen elever på forskjellige mestringsnivåer på nasjonale prøver. Det er forholdsvis rett fram å studere forskjeller mellom elever med forskjellige kjennetegn. Ved å dele opp elevene etter kjennetegn tester vi om det finnes effekter på forskjellige grupper. Når vi deler inn etter kjønn, minoritetsbakgrunn, foreldres utdanning samt elevenes tidligere ferdigheter (resultater fra nasjonale prøver 5. eller 8. trinn, samt hvorvidt de mangler resultater fra disse prøvene) finner vi heller ingen tegn til effekter. Anslagene for ulike grupper ligger gjennomgående relativt presist rundt null. Vi studerer også mulige forskjeller i effekter mellom elever på ulike typer skoler definert utfra veldefinerte kjennetegn, f.eks. geografi og skoler med høy/lav andel kvalifiserte lærere samt høy/lav andel elever med svake tidligere resultater eller spesialundervisning før innføringen av tiltaket, samt kjennetegn knyttet til implementeringen (hvorvidt skolen i utgangspunktet hadde gruppestørrelse og gjennomsnittlige grunnskolepoeng som var høy/lav relativ til andre tiltaksskoler, samt hvorvidt skolen fikk en stor/liten absolutt/relativ økning i antall lærere). Heller ikke her finner vi noen typer skoler der satsingen har påvirket lærings-utbytte. Ettersom vi har testet ut mange ulike kilder til heterogenitet i effekter uten å finne tegn til annet enn nulleffekter fremstår konklusjonen om at økte midler til flere lærere i beste fall har svært små effekter på læringsutbyttet som veldig robust.

Ringvirkninger innen og mellom skoler Avslutningsvis er det grunn til å nevne mulighetene for indirekte, utilsiktede, virkninger på andre elever enn de på ungdomstrinnet på tiltaksskolene. Mange tiltaksskoler har også barnetrinn. Det kan tenkes at hele skolen påvirkes av tiltaket. Skoleledelsen kan for eksempel omprioritere når de får flere lærere på ungdoms-trinnet, og flytte ressurser brukt på assistenter fra ungdomstrinn til barnetrinn. Vi har testet ut mulige effekter innen skolen ved å se utfall for nasjonale prøver på 5. og 8. trinn (poeng og andel som gjennomfører) uten å finne noen forskjeller mellom skoler som fikk/ikke fikk tildelt penger til flere lærere.



Endelig er det mulig at andre skoler påvirkes. Det virker mest sannsynlig at dette gjelder skoler i samme kommune som tiltaksskoler. Kommunene er skoleeier, og deres fordeling av ressurser kan endre seg når noen skoler får ekstra ressurser. Vi har ingen ”nær grense” sammenlikning på kommunenivå, men tester hvorvidt ulike indikatorer på læringsutbytte utvikler seg ulikt mellom tiltaksskoler, kontrollskoler i kommuner med tiltaksskoler og kommuner uten tiltakskoler. Det er heller ingen tegn til effekter fra dette perspektivet.

2.6. Effekter på læringsmiljøet Læringsmiljøet ved skolen framheves ofte som avgjørende for læring. Det er imidlertid uklart om det finnes gode kvantitative mål for det dette. Læringsmiljøet har mange dimensjoner. Samtidig er relevante kjennetegn er vanskelig å avgrense, og vurderingene vil ha innslag av subjektive vurderinger som til dels avspeiler erfaringene til personene som gir dem. Elevenes egne vurderinger er det eneste datagrunnlaget som dekker tilstrekkelig antall skoler over den relevante tidsperioden.20 Elevundersøkelsene gjennomføres hvert år og elever svarer på en rekke spørsmål om blant annet trivsel, støtte fra lærer, og mobbing. Vi bruker data fra skoleåret 2013/14 frem til skoleåret 2016/17.21 Vi benytter svar fra jenter og gutter samlet, og beregner gjennomsnittsverdier årlig for alle elever i 10. trinn på hver skole, for hvert enkelt av de indeksene som kan lastes ned i skoleporten (https://skoleporten.udir.no/). Totalt sett inneholder Elevundersøkelsen 12 indekser, se Tabell 2.1. Elevene svarer på en skala 1-5: Høy verdi betyr positivt resultat, beste verdi er 5. Unntaket er indikatoren «Mobbet av andre elever på skolen» hvor beste gjennomsnittsverdi er 1, samt «andel mobbet». I presentasjon av effekter måler vi andel mobbet i enheter delt på 10, for at den skal ha en omtrent tilsvarende skala som de øvrige indeksene. Standardavviket på elevnivå, dvs. over alle besvarelsene er for de fleste spørsmålene omtrent 0,75-0,85 (Wendelborg m.fl., 2017).

20 Lærer- og foreldreundersøkelsene er langt fra dekkende og ubrukelig i denne sammenheng. 21 Data fra perioden før 2013 er ikke direkte sammenlignbare siden Elevundersøkelsen ble revidert før gjennomføringen 2013. For våre formål er det viktigst med data etter 2012. Likevel innebærer databegrensningen at vi ikke kan gjennomføre analysene som benytter endringer fra perioden før til perioden etter. Slike forskjeller i forskjeller analyser måtte ha basert seg på sterkere antakelser, og dermed mindre pålitelige.

https://skoleporten.udir.no/



Tabell 2.1 Informasjon i Elevundersøkelsene Tema Spørsmål bak ulike indekser Trivsel Trives du på skolen? Støtte Lærer

Opplever du at lærerne dine bryr seg om deg? Opplever du at lærerne dine har tro på at du kan gjøre det bra på skolen? Opplever du at lærerne behandler deg med respekt? Når jeg har problemer med å forstå arbeidsoppgaver på skolen, får jeg god hjelp av lærerne. Lærerne hjelper meg slik at jeg forstår det jeg skal lære.

Støtte hjemme Hjemme viser de interesse for det jeg gjør på skolen. Jeg får god hjelp til leksene mine hjemme. Hjemme oppmuntrer

de voksne meg i skolearbeidet. Faglige utfordringer Får du nok utfordringer på skolen? Vurdering læring Forklarer lærerne hva som er målene i de ulike fagene slik at du forstår dem? Forklarer lærerne godt nok hva det

legges vekt på når skolearbeidet ditt vurderes? Forteller lærerne deg hva som er bra med arbeidet du gjør? Snakker lærerne med deg om hva du bør gjøre for å bli bedre i fagene? Hvor ofte får du tilbakemeldinger fra lærerne som du kan bruke til å bli bedre i fagene? Får du være med og foreslå hva det skal legges vekt på når arbeidet ditt skal vurderes? Får du være med og vurdere skolearbeidet ditt? Jeg får hjelp av lærerne til å tenke gjennom hvordan jeg utvikler meg i faget.

Læringskultur Det er god arbeidsro i timene. I klassen min synes vi det er viktig å jobbe godt med skolearbeidet. Mine lærere synes

det er greit at vi elever gjør feil fordi vi kan lære av det Mestring Får du lekser som du greier å gjøre på egen hånd? Tenk på når du får arbeidsoppgaver på skolen som du skal gjøre

på egen hånd. Hvor ofte klarer du oppgavene alene? Tenk på når læreren går gjennom og forklarer nytt stoff på skolen. Hvor ofte forstår du det som læreren gjennomgår og forklarer?

Motivasjon Er du interessert i å lære på skolen? Hvor godt liker du skolearbeidet? Jeg gleder meg til å gå på skolen. Demokrati Er dere elever med på å foreslå hvordan dere skal arbeide med fagene? Legger lærerne til rette for at dere elever kan

delta i elevrådsarbeid og annet arbeid som tillitsvalgt? Hører skolen på elevenes forslag? Er dere elever med på å lage regler for hvordan dere skal ha det i klassen/gruppa?

Regler Vet du hvilke regler som gjelder for hvordan dere skal ha det på skolen? De voksne sørger for at vi følger reglene for

hvordan vi skal ha det på skolen. De voksne på denne skolen reagerer på samme måte hvis elevene bryter reglene. Mobbing Er du blitt mobbet av andre elever på skolen de siste månedene? Andel mobbet Andel elever som har blitt mobbet av andre elever på skolen 2-3 ganger i måneden eller oftere (prosent) Veiledning Jeg har fått et godt grunnlag for videre valg av utdanning og yrke, så langt på ungdomsskolen.

De fleste aspekter ved skolemiljøet som Elevundersøkelsene omfatter kan tenkes å ha effekter på hva elevene lærer i ulike fag. Likevel er noen temaer mer på siden utfra formålet med å øke lærertettheten. Eventuelle effekter på demokrati, regler og yrkesutdanning er det naturlig å se på som konsekvenser utenfor den primære motivasjon for mer penger til skolene med store grupper og svake karakterer. Det er relativt liten variasjon mellom skoler i elevens vurdering av skolen de går på. Standardavviket ligger på typisk mellom 0,2 og 0,3 på tvers av skoler, jf. tabell 2.2. Nivået og spredningen varierer noe på tvers av temaer.

Tabell 2.2 Deskriptiv statistikk for variablene i Elevundersøkelsen, 10. trinn, 2013/14-2015/16 Tema Obs Gjennomsnitt Standardavvik Trivsel 822 4,14 0,25 Støtte lærer 822 4,01 0,24 Støtte hjemme 822 4,01 0,23 Faglig utfordring 822 4,21 0,20 Vurdering læring 822 3,26 0,27 Læringskultur 822 3,74 0,29 Mestring 819 3,94 0,17 Motivasjon 822 3,49 0,25 Demokrati 822 3,25 0,31 Regler 822 3,87 0,24 Mobbing 822 1,24 0,18 Veiledning 821 3,81 0,28 For å kunne studere effekter på læringsmiljøet kobler vi Elevundersøkelsen sammen med data på gruppestørrelse 2 og grunnskolepoeng ved hjelp av skolenes organisasjonsnummer. Dette muliggjør en analyse av effektene ved grensene slik som vi analyserte effektene på læringsutbytte.



Vi har valgt å presentere resultater for hver av de 12 indeksene i Elevundersøkelsen og med vanlige konfidensintervall som baserer seg på «uavhengige» tester. Her i teksten presenteres resultatene for enkeltindeksene der vi, ved å anta uavhengighet på tvers av tester, kan forkaste at effekten er null (på 5 prosent-nivå), altså de indeksene der det i størst grad ser ut til å være effekter. Vi diskuterer dette mer senere i delkapittelet. Vi presenterer resultater for ytterligere indekser i vedlegget.22 Figurene er konstruert på samme måte som i analysene av læringsutbytte. Enheten er skolen, målt ved snittindeks over Elevundersøkelsen for fire år (høsten 2013, 2014, 2015 og 2016), vektet med antall elever på 10. trinn. Således måles effekter på læringsmiljøet sett fra elevenes side. Dette er helt parallelt til analysene vi har gjort av ressurser og læringsutbytte. For læringsutbytte er det rimelig å undersøke hvorvidt eksponeringstida (antall skoleår med økte ressurser) potensielt kan være viktig for effektene. Læring beskrives ofte som en kumulativ prosess. Læringsmiljøet, slik det oppfattes og kommer til uttrykk fra elevenes side, kan i større grad være et her og nå-fenomen. En kan også tenke seg at elevene blir vant med et endret læringsmiljø, og det dermed er enklest å finne effekter på læringsmiljøet de første årene. For å øke presisjonen i våre anslag slår vi sammen alle de fire årene etter at skolene fikk mer penger til lærere, og ser hvorvidt vi kan spore effekter på læringsmiljøet målt som gjennomsnitt over fire 10. klassekull. Vi har i tillegg studert effekter for enkelte år, og funnet at det gjør liten forskjell, resultatene ser ut til å være stabile over tid.

Figur 2.16 Oppsummering av beregnede effekter på indeks «Støtte fra lærerne», 2013-2016

Kilde: Statistisk sentralbyrå og Elevundersøkelsen

22 Det er problematisk å tolke signifikanstester for enkelte estimat når vi tester effekter på så mange ulike utfall. Tankegangen bak signifikanstesting bygger på at man tester èn enkelt hypotese. Tester man derimot et stort antall hypoteser (effekter) vil vi forvente at enkelt(e) av dem framstår som statistisk signifikante forskjeller fra null, av rene tilfeldigheter. Det finnes ulike måter å korrigere for dette på. For eksempel kan man bruke en såkalt Bonferroni-korrigering det man helt enkelt deler p-verdien med antallet hypoteser som testes. Hvis man tester 10 hypotese skal hver enkelt p-verdi være under 0.005 for å anses vare statistisk signifikant på 5 prosent-nivå. Vi gjør ikke noen slik korrigering eksplisitt i disse analysene, men vi ber leseren tenke over det faktum at vi tester 12 ulike variabler ved 2 ulike marginer for hvert år og at vi dermed kan forvente oss at enkelte koeffisienter er statistisk signifikante selv om det egentlig ikke er noen kausal sammenheng.



I figur 2.16 gjengir vi våre anslag for effekter på indeksen ”Støtte fra lærerne”, bestående av fem delspørsmål (jf. tabell 2.1). Går vi nær grensene finner ved en signifikant positiv effekt på omkring 0,1, der nedre del av konfidensintervallet så vidt ligger over null. En effekt på 0,1 utfra indeksen kan oversettes til at en av fire elever svarer et nivå opp (f.eks. fra «av og til», 3, til «ofte», 4) på ett av de fem delspørsmålene, eller tilsvarende, at en av 20 elever svarer et nivå opp på alle spørsmålene som inngår i indeksen. Når vi beregner snitteffektene er de noe lavere og samlet sett ikke signifikante. Går vi inn på de enkelte delspørsmålene som ligger bak lærerstøtte-indeksen har de noe ulikt innhold. Enkelte av dem viser til hvordan elevenes oppfatter lærernes intensjoner: ”Opplever du at lærerne dine bryr seg om deg? Opplever du at lærerne dine har tro på at du kan gjøre det bra på skolen? Opplever du at lærerne behandler deg med respekt?” mens andre er mer konkrete og refererer til hvordan læringsmiljøet kan beskrives der og da ”Når jeg har problemer med å forstå arbeidsoppgaver på skolen, får jeg god hjelp av lærerne. Lærerne hjelper meg slik at jeg forstår det jeg skal lære.” Dersom ekstra lærere ikke påvirker lærernes intensjon, men gir bedre tid til å faktisk hjelpe elevene kan det hende at dette gjenspeiles i elevenes svar på forskjellige typer spørsmål. I vedlegget gjengir vi effektanslag for disse spørsmålene hver for seg. Vi finner ikke noe klart mønster som peker i retning av store effekter for den ene typen spørsmål og mindre effekter for den andre. Effekter på temaet ”Vurdering for læring” er gjengitt i figur 2.17. Også her finner vi både innslag av effekter som er signifikante forskjellig fra null, og andre som ikke er det. Størrelsen på effekt er uansett moderat ettersom anslagene ligger mellom 0,05 og 0,1. Om vi ser nærmere på enkeltspørsmålene bak indeksen er det vanskelig å spore noe mønster utover at alle er positive, dog ofte ikke signifikant.

Figur 2.17 Oppsummering av beregnede effekter på indeks «Vurdering for læring», 2013-2016

Kilde: Statistisk sentralbyrå og Elevundersøkelsen Et godt læringsmiljø preges av at svært få elever føler seg mobbet. Figur 2.18 gjengir vårt effektanslag for indeksen ”Mobbet av andre elever de siste månedene” og viser igjen tegn til en gunstig effekt , dvs. færre blir mobbet. Men ingen av effektestimatene er signifikante, forskjellene er altså ikke større enn at de kan skyldes tilfeldigheter.



Figur 2.18 Oppsummering av beregnede effekter på indeks «Mobbet av andre elever» , 2013-2016


En signifikant høyere andel av elevene mener de har fått et godt grunnlag for videre valg av utdanning og yrke, jf. figur 2.19. Selv om dette ikke er innenfor det primære formål med satsingen på flere lærere tyder tallene på at omkring en av ti elever besvarer spørsmålet med en kategori bedre på en skala fra 1 til 5.

Figur 2.19 Oppsummering av beregnede effekter på indeks «Utdanning og yrkesvalg» , 2013-2016

Kilde: Statistisk sentralbyrå og Elevundersøkelsen Vi har valgt ut de tre indeksene der vi finner tegn til signifikante effekter på læringsmiljøet samt indeksen for mobbing. Det er verdt å understreke at for de resterende åtte indeksene er anslagene typisk positive, men vi kan ikke forkaste at



de er null, selv med uavhengige tester. Resultater for disse indeksene er gjengitt i vedlegget. Vi har ikke de samme indekser for tidligere år. Det gjør at vi ikke kan sammenligne forskjellene mellom tiltaks- og sammenligningsskolene før og etter at de fikk ekstra lærere. Vi har imidlertid andre, delvis tilsvarende indekser, og har undersøkt om vi finner «effekter» på disse. Det finner vi ikke, men vi finner heller ikke den samme tendensen til gunstigere svar i tiltaksskolene. Det er altså noen tegn til en endring i ønsket retning i tiltaksskolene etter at de fikk ekstra lærere. For å vurdere helheten i effektene på læringsmiljø har vi avslutningsvis konstruert en samlet indikator for læringsmiljøet definert som gjennomsnittet av alle indeksene i Elevundersøkelsen. Beregnede effekter på denne er vist i figur 2.20. Denne indikerer en positiv effekt av økte midler til flere lærere, men effekten på omkring 0,05 (svarende til at en av 20 elever svarer 4 («ofte») i stedet for 3 («av og til») i snitt på samleindikatoren, eller at omtrent en av to svarer tilsvarende høyere på en av de tolv delindeksene) er ikke statistisk signifikant. Samleindikatoren gir en test av gjennomsnittlig effekt på tvers av indeksene. En alternativ tilnærming er å gjøre en formell statistisk test av hvorvidt det er effekter på noen indeks. Når vi gjør en slik test, som tar hensyn til at resultatene for forskjellige indekser på samme skole kan henge sammen, finner vi ingen tydelig effekt av ekstra lærere. Læringsmiljømålene er litt bedre i tiltaksskolene, men forskjellen er såpass liten at dette kan skyldes tilfeldigheter.

Figur 2.20 Oppsummering av beregnede effekter på samleindeks (snitt alle indekser fra Elevundersøkelsen), 2013-2016


2.7. Oppsummering av effekter på læringsutbytte og læringsmiljø

Effektevalueringen baserer seg på registerdata og studerer skolenes ressursbruk, elevenes læringsutbytte og -miljø, samt noen mål på fravær og gjennomføring. Effektevalueringen finner en klar effekt på skolenes lærertetthet: Gjennomsnittlig



gruppestørrelse i ordinær undervisning er redusert med omtrent to elever, eller omtrent 10 prosent. Endringen i lærertetthet (eller i antall årsverk) samsvarer med hva vi venter utfra de ekstra lærerne skolene får tilført, det er altså ingen tegn til at kommunene kompenserer ved å selv gi skolene mindre ressurser. Vi finner heller ikke at tegn til økte (eller reduserte) ressurser til andre trinn ved tiltaksskolene eller andre skoler i tiltakskommunene. Det er altså ingen tegn til at de ekstra lærer-stillingene fører til omfordeling av andre ressurser mellom skoler eller trinn. Hele økningen i lærerårsverk utgjøres av lærere med godkjent utdanning. Det er ingen effekt på andel lærere som oppfyller kompetansekravene, eller i bruken av assistenter. Det er heller ingen endring i lærerressurser brukt til spesialundervisning eller særskilt språkopplæring. Fra elevsiden er det heller ingen effekt på andelen elever med spesialundervisning eller særskilt språkopplæring, og heller ikke på omfang (antall timer per år) eller organisering (alene, i gruppe eller klasse; med lærer eller assistent). Ettersom skoler med flere elever får flere lærere er det begrenset variasjon i effekt på gruppestørrelse. Vi finner heller ikke vesentlige forskjeller i effekter mellom grupper av skoler, definert ut fra forskjellige kjennetegn som ved skolene, som antall elever, omfang av assistentbruk, andel kvalifiserte lærere, geografi eller tidligere resultater. Vi finner heller ikke vesentlige forskjeller mellom skoler som svarte forskjellig på spørreundersøkelsen som gikk til alle tiltaksskolene. En målsetning med tiltaket var å øke elevenes læringsutbytte. Vi finner ingen tegn til slike effekter, verken på karakterer ved avsluttet grunnskole eller nasjonale prøver på 9. trinn. De beste anslagene for effekter på begge disse resultatmålene er svært nær null, og vi kan med stor grad av sikkerhet utelukke selv små effekter: Dersom tiltaket har hatt en effekt på gjennomsnittlig eksamenskarakterer i tiltaksskolene er denne mindre enn 0,06 karakterpoeng, dvs. at en av 17 elever går opp en karakter. For nasjonale prøver kan vi avvise gjennomsnittseffekter større enn omkring 0,03 standardavvik (dette tilsvarer 0,3 skalapoeng etter omleggingen av nasjonale prøver). Vi finner heller ingen effekt på elevenes fravær i 10. trinn eller på hvorvidt elevene fullfører VG1 eller fortsetter på VG2, og kan utelukke effekter større en 1-2 prosentpoeng. En viktig forutsetning for at våre effektestimater skal være gyldige er at tiltaket ikke påvirker sammensetningen av elever som tar eksamen/nasjonale prøver. I denne rapporten har vi undersøkt dette grundig, uten å finne noen tegn til slike effekter. Vi finner ingen endring i andelen elever som mangler eksamen eller nasjonale prøver, og heller ikke i tidligere resultater fra nasjonale prøver blant elevene som deltar. Antall skoleår med økt lærertetthet varierer mellom et og tre mellom forskjellige årskull. Vi finner ingen tegn til at det er større effekter for elever som har opplevd økt lærertetthet over lengre tid. Vi har undersøkt en rekke grupper av elever (gutter/jenter, elever med gode/svake tidligere resultater eller med høyt/lavt utdannede eller norske/innvandrede foreldre) uten å finne effekter for noen gruppe. Vi finner heller ingen effekter i bestemte deler av resultatfordelingen, det er f.eks. ingen tegn til færre elever med svake karakterer eller på lave mestringsnivåer. Vi finner heller ingen tegn til at det er effekter i bestemte grupper av skoler, verken grupper definert utfra kjennetegn ved skolene eller deres svar i spørreundersøkelsen til tiltaksskolene. En ytterligere målsetning var å bedre læringsmiljøet ved skolene som fikk ekstra lærere. Læringsmiljø måles gjerne gjennom elevenes svar på Elevundersøkelsen. Vi har analysert resultatene fra 10. trinn og i hovedsak konsentrert oss om Utdanningsdirektoratet sine indikatorer, bl.a. trivsel, støtte fra lærerne og vurdering



for læring. Resultatene fra disse analysene er mindre klare enn for læringsutbytte. Vi finner gjennomgående forskjeller med ønsket fortegn, dvs. mindre mobbing og høyere verdier på de øvrige indeksene i skolene som fikk ekstra lærere enn i kontrollskolene, men forskjellene er stort sett ikke større enn hva som kan skyldes tilfeldigheter. Vi finner enkelte signifikante resultater, dvs. forskjeller utover hva vi venter fra tilfeldig variasjon, men når vi studerer mange resultatmål vil vi forvente noen slike forskjeller. Det er imidlertid påfallende at alle beregnede effekter er i «gunstig» retning. Slike forskjeller mellom tiltaks- og kontrollskoler finner vi ikke i tidligere år, riktignok med forbehold om at tidligere utgaver av Elevundersøkelsen har andre indikatorer som ikke er direkte sammenlignbare. På tross av flere effekter i gunstig retning og liten bekymring for skjevheter når ser på forskjeller i forkant, er evidensen for effekter på læringsmiljøet svak. Når vi kombinerer alle resultatene og gjør en formell statistisk test av en samlet læringsmiljøeffekt finner vi ikke noen tydelig støtte for at det er noen slik effekt. Et viktig spørsmål omhandler styrken i våre analyser. Hvis resultatene var så upresise at vi ikke kun forkaste hypotesen om nulleffekter selv om de faktisk var store, er det ikke mye å hente ut av undersøkelsen. De mest presise beregnede effektene er stort sett på 0,05 poeng eller mindre. Utfra konfidensintervallene kan vi gjennomgående utelukke effekter større enn omtrent 0,1. Hvor store er slike effekter? En effekt på 0,05 poeng svarer til at en av 20 elever svarer f.eks. «ofte» i stedet for «av og til» (en forskjell på en på en fem-trinns skala), eller omtrent 6 prosent av et (elevnivå) standardavvik. De indikatorene der vi finner sterkest tegn til effekter er «Utdanning og yrkesveiledning» og «Vurdering for læring». En videre analyse av enkeltspørsmålene i Elevundersøkelsen gir ingen ytterligere eller vesentlig klarere svar. Som for læringsutbytte finner vi ingen vesentlige forskjeller i beregnede effekter mellom grupper av skoler langs en mengde ulike dimensjoner. Vi konkluderer derfor med at økte læretilskudd kan ha hatt enkelte gunstige effekter på læringsmiljøet, men at de i så fall er av beskjeden størrelse.



3. Hvorfor finner vi ikke effekt av økt lærertetthet? Aktørenes egne forklaringer

… prolog Tidligere undervisningsminister og samfunnsforsker Gudmund Hernes (1998) har, i et poenggivende vitenskapelig arbeid, slått fast at forskning har påfallende mange likhetstrekk med kriminalfortellingen. Først etableres plottet, deretter bringes hypoteser inn, i form av mistenkte. De fleste avvises og sjekkes dermed ut av saken, noe som muliggjør andre forklaringer. Premisset Hernes legger til grunn, er at det finnes et plott. Gjerne i form av et lik, men det kan også være et våpen eller et skrik. Når det gjelder evalueringen av økt lærertetthet, er situasjonen motsatt. Vi står overfor et ikke-funn. Som det har gått fram i de foregående kapitlene, har vi lett i empirien, men fraværet av signifikante funn er påfallende. Det mest mistenkelige, det som gir oss grunn til å undres, er at de involverte – personene som vet hvor skoen trykker – insisterer på at økt lærertetthet faktisk har betydning. Spørsmålet er derfor: Hva er det de ikke ser, eller er det motsatt, hva er det vi ikke evner å måle? La oss starte med et spørsmål til deg, kjære leser. Hvem var din favorittlærer på skolen? I datainnsamlingen til dette prosjektet har vi spurt elever om dette. Alle hadde et klart svar. Et navn. Han eller hun som utgjorde en forskjell. Tenk selv. En som så deg. Startkabel-læreren. Personen som tente en gnist og som fikk deg interessert i å lære, om enn bare i et glimt. Se for deg ditt gamle klasserom. Lukten. Rader opp og rekker bort. I glimt husker du sikkert noen scener. Kanskje da du ikke forsto matten og rakk opp hånden, uten noen gang å få en forklaring. Kanskje da læreren hele tiden var opptatt med gjengen som bråkte i norsktimene. Kanskje alle gangene noen slåss i gymmen. Eller da du virkelig hadde forstått leksen, men måtte vente på at de andre skulle forstå. For kanskje det er noe med flere lærere likevel. Kort sagt, hva tror du egentlig om betydningen av antall elever per lærer? Som samfunnsforsker skal man være ydmyk for aktørenes opplevelse og hva de ser som meningsfullt. De er sentrum i eget univers. Det betyr ikke at informanter ser alt som er viktig. Men de ser egne interesser bedre enn noen andre. I subjektive vurderinger er nettopp mangel på distanse et potensial for innsikter bortenfor gjennomsnitt og generaliseringer. Samtidig er egeninteressen en kilde til både feilvurderinger og selektive perspektiver. Som vi skal se i dette kapitlet, er det påfallende hvor sikre de involverte aktørene var på spørsmål om lærertetthet. I møter med dem brukte vi det meste av tiden til å sirkle inn deres vurderinger av hvordan det kan ha seg at vi ikke klarer å spore noen direkte effekt av økt lærertetthet. Hvordan forklarer de den påfallende diskrepansens i opplevelsen blant de involverte på den ene siden og tallenes tale på den andre?

3.1. Innledning Temaet for dette kapitlet er todelt. For det første skal vi identifisere hvordan skolene har brukt midlene til ekstra lærerressurser. For det andre er vi interessert i erfaringer og vurderinger fra sentrale aktører etter fire år med tilskuddet. Kapitlet tar utgangspunkt i den første publikasjonen i evalueringen (Kirkebøen m. fl. 2016), som på samme måte som de foregående kapitlene i denne rapporten, viser at det ikke er noen direkte sammenhenger mellom økt lærertetthet og elevenes prestasjoner. Dataene i kapitlet er basert på to ulike kilder. For å kartlegge bruken av midlene sendte vi en websurvey til rektor på alle de 173 tiltaksskolene. Svarprosenten er 65. Frafallet har vært en av flere begrunnelser for å søke bredde blant de kvalitative caseskolene. For å komme i dybden av aktørenes egen forståelse, valgte vi ut seks caseskoler. På hver av de seks caseskolene har vi intervjuet skoleledelsen, lærere, og



elever som har opplevd økt lærertetthet. Til sammen har vi intervjuet 71 informanter (10 fra skoleledelsen, 16 lærere og 45 elever). For å sikre variasjon har vi valgt skoler som er lokalisert i ulike geografiske områder, hvor elevene har variert sosial bakgrunn, og hvor innvandrerandelen er ulik. Begrunnelsen for variasjonen er å kunne få innsikt i hvilken betydning de ekstra lærerressursene har hatt for elever med ulike forutsetninger. Forskjellen mellom skolene langs disse variablene er viktig, fordi det gjør det mulig å identifisere flere sett med virksomme mekanismer, selv om vi ikke kan generalisere funnene på bakgrunnen av et lite antall case. I tillegg var det et hensyn ikke å velge ut skoler med ekstremverdier, for eksempel skoler med en særlig høy andel elever med særskilt norskopplæring, skoler med lavest grunnskole-poeng eller skoler med lavest lærertetthet. I analysene av caseskolene fant vi forskjeller mellom skolene i hvordan de hadde organisert tiltaket, men forskjellene varierte ikke systematisk etter skolenes geografiske beliggenhet. For å komme nærmere et svar på mulige forklaringer på hvorfor vi ikke finner en sammenheng mellom økt lærertetthet og elevenes prestasjoner, setter vi søkelys på aktørenes subjektive opplevelse av og forklaringer på dette. De kvalitative intervjuene kan derfor leses som et svar på en utfordring til informantene om å tenke opp mot de etablerte funnene, gå i dialog med forskerne og lansere egne forståelser av mangel på sammenheng. Denne delen av kapitlet følger dermed idealer om eksplorerende kvalitative studier. Det innebærer at vi lærte om feltet underveis. Målet var å få svar på spørsmål vi ikke hadde tilstrekkelig kunnskap til å formulere forut for studien. Følgelig ble også intervjuguiden justert og endret flere ganger underveis. Når det gjelder en kvalitativ tilnærming, gir det heller ikke mening med ikke-funn. Ambisjonen er i stedet å bruke empirien til å identifisere virksomme mekanismer og subjektive oppfatninger av virkningene av tiltaket. Kapitlet bygger imidlertid ikke bare på aktørenes subjektive erfaringer. Websurveyen er viktig for å få innblikk i hvordan midlene er brukt, rektorers oppfatninger av virkningene av de ekstra lærerressursene, samt hvordan tiltaket er implementert og organisert på alle tiltaksskolene. Kapitlet er organisert som følger. Først bruker vi websurveyen for å gi et bilde av hvordan tiltaksmidlene er brukt, deretter trekkes de kvalitative dataene inn – dels for å gi mer forståelse av rektorenes svar. I de to siste delene av kapitlet ser vi særskilt på vurderingene gitt av lærerne og elevene.

3.2. Hvordan har midlene blitt brukt? Det eneste kriteriet for skolene som var i målgruppen var at de ekstra lærerne skulle brukes i ordinær undervisning og at de ikke skulle brukes til spesialundervisning. De ekstra midlene som skulle brukes til økt lærertetthet kom med få føringer fra sentralt hold. På Utdanningsdirektoratet står sine nettsider det: Det er en forutsetning for tildeling av midler at disse brukes til å øke lærertettheten i ordinær undervisning på ungdomstrinnet ved skolene som er omfattet av ordningen … Med «ordinær undervisning» menes det beregnet gruppestørrelse 2, som er beregnet på bakgrunn av informasjon om skolene slik dette blir rapportert i Grunnskolenes informasjonssystem (GSI). Beregnet gjennomsnittlig gruppestørrelse 2 er forholdet mellom antall elevtimer og lærertimer på ungdomstrinnet i ordinær undervisning, dvs. alle timer unntatt timer til spesialundervisning og særskilt norskopplæring.1 1https://www.udir.no/om-udir/tilskudd-og-prosjektmidler/midler-kommuner/okt-larertetthet-pa-ungdomstrinnet/ I det kvalitative materialet og i spørreskjemaet til rektorer ser vi at det er stor variasjon i hvordan skolen har brukt de ekstra ressursene, noe som kan forstås som et uttrykk for lokal tilpasning. Tabellen nedenfor gir en oversikt over caseskolene og hvordan de benyttet de ekstra lærerressursene. I det følgende skal vi gå nærmere inn på variasjonene i organiseringen.



Tabell 3.1 Ulike måter å organisere de ekstra ressursene Case 1 Case 2 Case 3 Case 4 Case 5 Case 6 Antall paralleller 4 paralleller 7 paralleller 6 paralleller 3 paralleller 6-7 paralleller 2 paralleller Antall ekstra stillinger

3 stillinger 5 stillinger 4 stillinger 4 stillinger 5 stillinger 2 stillinger

I hvilke fag de ekstra ressursene har blitt brukt

Matematikk Norsk Engelsk

Matematikk Norsk Engelsk Naturfag

Primært norsk og matematikk Engelsk Naturfag Musikk Mat og helse

Norsk Matematikk Engelsk Kunst og håndverk Mat og helse Naturfag

Matematikk Grunnleggende ferdigheter

Norsk Matematikk

Hvilke trinn Alle Alle Alle Alle Alle Alle Organisering Delingstimer etter

nivå i alle de skriftlige fagene

Delingstimer både etter nivå og tilfeldig

De første årene delingstimer og tolærersystem. De to siste styrklærere

Delingstimer Tolærersystem

Delingstimer Brukt som fagkoordinator/ superlærer Delingstimer i norsk Nivåinndeling i matematikk

De ekstra ressursene er smurt tynt utover Ungdomsskolene som har mottatt ekstra ressurser har stått relativt fritt til å bruke ressursene slik de har ønsket. Det har vært mye diskusjon på skolene om hvordan de nye lærerressursene skulle brukes, og det har ført til at mange av skolene har prøvd ut forskjellige løsninger, hvor noen fungerte godt, mens andre ble byttet ut. Vi gjennomførte casestudien det siste halvåret skolene hadde de ekstra lærerressursene. Et fellestrekk var at informantene på skolene opplevde at de etter en del prøving og feiling hadde funnet en måte å organisere undervisningen på slik at de kunne benytte seg av de ekstra lærerne på en måte som passet skolens lokale behov. Hovedinntrykket både fra spørreundersøkelsen og de kvalitative casestudiene er at de ekstra ressursene er smurt tynt utover. Sagt på en annen måte har det vært slik at alle trinnene og flere fag har dratt nytte av ressursene. Vi ba rektorene anslå i prosent på hvilke trinn de har brukt de ekstra lærerne. Flesteparten av rektorene (i underkant av 70 prosent) svarer at ressursene har blitt fordelt utover de tre trinnene på ungdomsskolen. Videre svarer rektorene at de har brukt de ekstra lærerressursene i hovedsak i matematikk, norsk og engelsk (figur 3.1).

Figur 3.1 I hvilke fag har de ekstra ressursene blitt brukt? (flere kryss mulig) (N=113)

Kilde: Fafo.

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%

Matematikk Norsk Engelsk Naturfag Mat og helse Kunst oghåndtverk

Annet



Felles for caseskolene var utfordringer med svakt presterende elever i matematikk. På én av caseskolene forteller rektor:

Når vi fikk disse ekstra ressursene, hadde vi hatt århundrets verste matematikkresultater, og vi fant ut at vi måtte sette inn et støt på engelsk, matematikk og naturfag. (rektor)

En annen rektor forteller at nesten to tredjedeler av elevene ligger på de to laveste nivåene i matematikk, og to til tre av de ekstra lærerne er satt inn i matematikk-undervisningen på alle trinn. Rektorene opplever at økt lærertetthet i matematikk er et viktig tiltak for å kunne gi alle elever, på forskjellige nivåer, den undervisningen de har behov for. Både ved mer tilpasset undervisning i små grupper og ved at flere lærere er til stede for å hjelpe elever som står fast i matematikktimene. En av fire rektorer (figur 3.1) svarer at de har brukt de ekstra lærerressursene i naturfag. På én av caseskolene fortalte de at dette var fordi de gjennomførte eksperimenter i faget, og det å kunne dele klassen i to, gjorde at hver enkelt elev fikk bedre undervisning siden læreren rakk å hjelpe alle elevene i én time. Flere av rektorene fortalte også at den fysiske utformingen av naturfagrommet der de gjennomfører eksperimenter, gjorde rommet såpass lite at det var umulig å undervise fulle klasser. Samme argument ble brukt på en annen caseskole, som hadde brukt de ekstra lærerne i kunst og håndverk og mat og helse. En lærer vi intervjuet fortalte at i tillegg til utfordringer med plass, kreves det tettere oppfølging av elevene i praktisk-estetiske fag.

Organisering av undervisningen Hvordan skolene hadde valgt å bruke de ekstra ressursene, varierte. Vi har sett at de ekstra lærerressursene har blitt brukt på alle trinnene, og særlig i matematikk, engelsk og norsk. Fra spørreundersøkelsen ser vi at organiseringen av undervisningen har blitt endret som følge av de ekstra lærerne (figur 3.2). Det er kun 4 prosent av rektorene som svarer at de har fortsatt å organisere undervisningen som tidligere. Delingstimer (66 prosent) og tolærersystem (77 prosent) er det de fleste rektorene svarer at de har gjennomført på sin skole. Med delingstimer menes det at de deler klassen opp i mindre grupper. Noen ganger gjøres det på tvers av klasser, eller klassen deles opp enten tilfeldig og/eller etter nivå. Tolærersystem vil si at to lærere er tilgjengelig for hele klassen. En måte å organisere det på er at én lærer underviser, mens den andre læreren brukes til å hjelpe elever. Eller at den ene læreren tar med seg en gruppe elever ut av klassen for å gi dem en muntlig prøve eller et kurs i et tema de strever med. Felles for begge løsningene er at det gir lærerne en fleksibilitet med tanke på å gi tilpasset undervisning.



Figur 3.2 Hvordan har skolen benyttet de ekstra lærerressursene? (N=113)

Kilde: Fafo. Fire av ti rektorer svarer at de også har tatt ut små grupper med mindre enn åtte elever som en lærer har undervist. Svarene fra spørreundersøkelsen sammenfaller med funnene fra de seks caseskolene. I tabell 3.1 så vi hvordan de seks skolene hadde brukt de ekstra lærerressursene. Caseskolene hadde alle brukt de ekstra lærerne til delingstimer, tolærersystem, til små grupper og undervisning av enkeltelever. Et interessant funn fra casestudien var at skolene gjerne fortsatte med velutprøvde løsninger. Én av skolene hadde for eksempel hatt frivillig nivåinndeling i matematikk og norsk i flere år, og etter at de fikk ekstra ressurser, delte de inn i fem nivåer heller enn fire, som de hadde gjort tidligere. En annen skole hadde tatt mindre grupper med elever ut av klassen for å gi tilpasset undervisning i temaer elevene enten strevde med eller var ekstra gode til. Med de ekstra lærerne tilgjengelig gjorde de det samme, men i flere timer og i flere fag.

Nivådeling Over halvparten av rektorene (57 prosent) svarer at de noen ganger har delt elever inn grupper i nivåer23 basert på resultater (figur 3.3). Nesten fire av ti rektorer oppgir at de aldri har gjort det. I intervjuene med skoleledelsen og lærerne forteller de at nivåer kan være nyttig for å kunne tilpasse undervisningen til elevgruppens prestasjoner.

23 Ut fra retningslinjene i Utdanningsdirektoratet er nivådelt undervisning akseptabelt dersom følgende forutsetninger er oppfylt: (i) ikke permanent inndeling i grupper, (ii) jevnlig vurdering av læringsutbyttet, (iii) jevnlig evaluering og endring av elevenes plassering i grupper, (iv) omfanget begrenses slik at mesteparten av undervisningen foregår i ordinær klasse.

0% 20% 40% 60% 80% 100%

Vi har stort sett organisertundervisningen som tidligere

Ekstra undervisning for enkeltelever

Annet

Små grupper, mindre enn 8 elever

Delingstimer

Tolærersystem



Figur 3.3 Hvis ressursene brukes til å ha færre elever per lærer, deler dere periodevis gruppene i nivåer basert på resultater? (N=113)

Kilde: Fafo. Det er i hovedsak i matematikk mindre nivådelte grupper oppleves å fungere best. Spesielt for lavt presenterende elever i matematikk synes lærerne at det er fint å undervise elever på samme nivå. Da kan de «gå så langt tilbake» i pensum som nødvendig uten at andre elever begynner å kjede seg. Matematikk er også et fag hvor elever som «har falt av», vanskelig kan hekte seg på igjen uten å ha tilegnet seg den manglende kunnskapen. Når det gjaldt nivådeling i norsk og engelsk, var det mer delte oppfatninger om det var nyttig. På én av skolene var det høy andel minoritetsspråklige elever. Lærerne på denne skolen hadde forsøkt med nivådeling i norsk, men siden lærerne opplevde at det var et samsvar mellom faglige ferdigheter og språkferdigheter, valgte de ikke å fortsette med nivåinndeling i norskfaget. Flere av norsklærerne mente at i muntlig reflekterende fag var det best med en blanding av elever på forskjellige nivåer, siden de trengte «de sterke» elevene til å sette i gang diskusjoner i faget. På spørsmål om ideell gruppestørrelse etter prestasjon var det enstemmig blant rektorene og lærerne at det mest ideelle antallet elever avhenger av hvilket nivå elevene ligger på og hvor motiverte de er. En rektor forklarer det slik:

Det viktigste er å få til gode grupper. De kan være over 20, men de som ikke er så motiverte har det bedre med 10–12. (rektor)

På denne skolen underviser noen lærere 15–16 elever i matematikk og norsk, mens andre underviser 23–24 elever i en gruppe. En annen rektor tok opp samme problematikk. Han mente det var umulig å si hva som var en ideell gruppestørrelse, fordi det kom an på hvilke elever man hadde i den gruppen:

Hvis man hadde samlet 50 elever som liker å høre på ting, hadde det gått fint. (rektor)

Samme rektor understreker allikevel at i en normalt sammensatt klasse med elever på ulike nivå og med forskjellige behov, fører 30 elever på én lærer i en 60 minutters time til at mange ikke blir sett og får den hjelpen de trenger. Det var også en av caseskolene som hadde gått bort fra nivådeling i matematikk for de umotiverte elevene. Det å samle de som ikke ville lære i én gruppe, opplevdes

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%

Ja, alltid Ja, noen ganger Nei Annet



ikke som gunstig, og de manglet det rektor kalte «driverne» i timene. Da mente denne skolen at disse elevene fikk mer ut av blandede klasser, mens de beholdt nivådeling for motiverte elever som presterte svakt i matematikk.

Konsekvenser for skolen Formålet med de økte ressursene var å øke elevenes læringsutbytte. Dette spurte vi rektorene om i spørreskjemaet, og 61 prosent av rektorene mener at de økte lærerressursene i stor grad har bidratt til å øke læringsutbyttet. Legger vi til i noen grad, er det 95 prosent av rektorene som mener dette. Det vil si at flesteparten av rektorene mener det har vært nyttig for elevenes skoleprestasjoner med ekstra lærere. Vi kommer tilbake til hvordan rektorer og lærere forklarer sine synspunkter på manglende effekter i det kvantitative materialet. Rektorer er også av den oppfatning at arbeidshverdagen til lærerne har blitt lettere som følge av de ekstra lærerressursene. Over halvparten mener det i stor grad, mens fire av ti av rektorene mener det i noen grad.

Figur 3.4 Svar i hvor stor grad du mener prosjektet har… (N=110)

Kilde: Fafo. I et annet spørsmål spurte vi rektorene om i hvilken grad de var enig i at økte lærerressurser hadde ført til at arbeidsmengden til lærere hadde blitt mindre. 64 prosent av rektorene er helt eller delvis enig i denne påstanden, mens 13 prosent er delvis eller helt uenig. De resterende rektorene er hverken enig eller uenig. I de kvalitative intervjuene var arbeidshverdagen til lærerne et tema flere av lærerne var opptatt av. Rektorer har stor forståelse for at lærerne sitter igjen med en opplevelse av at de ikke rekker å gjøre det de ønsker for elevene i løpet av en dag, hverken faglig og sosialt. Det å kunne dele arbeidsmengden med en kollega, gjorde at lærerne opplevde at de hadde mer tid til å følge opp den enkelte elev samtidig som at arbeidsdagen ble mer overkommelig. En rektor fortalte:

Hvis du kjører samme opplegg med halvparten så mange elever, reduserer det arbeidsbyrden din. (rektor)

Det var også en opplevelse blant rektorer at økt lærertetthet hadde ført til økt samarbeid mellom lærere. Én rektor forklarer det slik:

Naturfaglærerne sier de har lært så mye av hverandre, og det har blitt en veldig god kollegaveiledning på grunn av de stillingene. (rektor)

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%

... bidratt til å lette arbeidshverdagen forlærerne

... bidratt til å øke læringsutbyttet til elevene

I stor grad

I noen grad

I liten grad

Vet ikke



En annen rektor forteller at det at tre lærere deler to klasser, fører til at de må samarbeide mer, både om undervisningen og de forskjellige elevene. I spørreskjemaet svarer nesten 90 prosent av rektorene at de er helt eller delvis enig i påstanden om at økt lærertetthet har ført til økt faglig samarbeid mellom lærerne. Måten flere skoler hadde organisert de ekstra lærerressursene på, med to lærere i samme klasserom, førte til at rektorer og lærere opplevde at det ble mer kontinuitet i undervisningen. Hvis en lærer borte var grunnet sykdom eller kurs, var det en annen lærer som kjente undervisningsopplegget som kunne undervise hele klassen. På de åpne spørsmålene i spørreskjemaet er det flere rektorer som skriver at sykefraværet ved skolen har blitt mindre.

Det er hevet over enhver tvil at økte lærerressurser har vært til stor hjelp. En økning på 2,2 poeng og halvering av sykefraværet sier vel sitt. (rektor)

Vi har minimalt med sykefravær i perioden, som gjør at eleven har opplevd lite vikarer. Når det har vært bruk av vikarer, har gjerne en av de faste lærerne vært der, og kontinuitet i opplæring har blitt ivaretatt. (rektor)

En avdelingsleder vi intervjuet sa det slik:

Også er det det man kanskje ikke skal snakke så mye om. Lærerens opplevelse av å ha en overkommelig arbeidssituasjon, vi har et veldig lavt sykefravær her. (avdelingsleder)

Samlet sett synes de ekstra lærerressursene også å ha lettet organiseringen for skoleledelsen ved at de har hatt flere faglærte lærere å trekke på ved sykdom blant lærerne og større fleksibilitet med hensyn til tilpasset opplæring.

Hvem fikk jobb? De ekstra lærerne ble ansatt skoleåret 2013–14. En forutsetning for at de ekstra lærerne skulle fungere var at skolene fant lærere med tilstrekkelig kompetanse. Skoleledelsen ved de seks caseskolene hadde alle rekruttert ønskede lærere, men avhengig av geografisk beliggenhet varierte det hvor lang tid det tok å finne egnede lærere. I spørreskjemaet spurte vi rektorene om hvilken kompetanse lærerne de rekrutterte hadde. De fleste rektorene svarer at lærerne hadde enten allmennlærerutdanning (68 prosent) eller annen høyere utdanning på inntil fem år med praktisk pedagogisk utdanning (61 prosent). Se figur 3.5.



Figur 3.5 Hvilken kompetanse hadde lærerne dere rekrutterte til prosjektet? (N=113)

Kilde: Fafo. Vi spurte rektorene om skolen fikk lærere med den kompetansen de trengte med tanke på hvordan skolen i utgangspunktet ønsket å bruke ressursene. De aller fleste rektorene, 80 prosent, svarer at de i stor grad fikk ønsket kompetanse, mens de resterende svarer at de i noen grad fikk dette. Det vil si at alle rektorene som svarte på undersøkelsen opplevde at de i stor eller noen grad ansatte lærere med ønsket kompetanse. Vi spurte også hva som kom til å skje med de ekstra lærerressursene etter at prosjektperioden var ferdig i 2017. Svarene de ga er relevante i denne sammenheng, fordi de gir et inntrykk av hvordan rektorene vil prioritere basert på egne erfaringer. Man kan dermed tolke svarene som et uttrykk for hva de synes er særlig viktig. Resultatet er presentert i figur 3.6.

Figur 3.6 Prosjektperioden er ferdig i 2017. Har læreren/lærerne som ble ansatt i prosjektperioden blitt tilbudt jobb underveis eller etter prosjektperioden? (Flere valg mulig) (N=113)

Kilde: Fafo.

0% 10% 20% 30% 40% 50% 60% 70% 80%

Annet

Annen høyere utdanning utenpraktisk pedagogisk utdanning

Annen høyere utdanning på inntil fem åreller mer med praktisk pedagogisk utdanning

Grunnskolelærerutdanning

Annen høyere utdanning inntil fem årmed praktisk pedagogisk utdanning

Allmennlærerutdanning

0% 10% 20% 30% 40% 50%

Annet

Ja, vi har fått midler av kommunentil å beholde et utvidet lærertilbud

Nei, kommunen må si opp/omplasserelærere etter prosjektet er ferdig

Ja, de fikk fast jobb ved ansettelse

Ja, de erstattet stillinger som ble ledigeunderveis i perioden



Her ser vi at i underkant av halvparten av rektorene svarer at de ekstra lærerne ble tilbudt fast jobb ved ansettelse eller at de fikk tilbud om jobb underveis i prosjektperioden. Samtidig svarer en av fire rektorer at de må si opp læreren/lærerne etter prosjektperioden. Én av rektorene forteller:

Det å miste tre stillinger gjør vi ikke uten at vi merker det, selv om vi er så store som vi er. (rektor)

Det var gjennomgående i de kvalitative intervjuene med rektorer og lærere at det var et stort tap for skolen å miste de ekstra lærerressursene, og alle rektorene og lærerne vi intervjuet mente det ville gå utover undervisningen. I spørreskjemaet er det 16 prosent av rektorene som svarer at de har fått midler av kommunen til å beholde et utvidet lærertilbud. En av caseskolene hadde fått beskjed av kommunen om at de fikk beholde de fem stillingene ekstra etter at forsøket var over. De mente dette var helt nødvendig for å kunne gi elevene det tilbudet de ønsket. En annen fordel med å fortsette med økt lærertetthet var at de hadde funnet en god måte å bruke de ekstra ressursene på, etter en del prøving og feiling.

3.3. Hvordan forklarer rektorene manglende effekter? SSB og Frischsenteret publiserte en artikkel i slutten av 2016 (Kirkebøen m. fl. 2016) med de første resultatene fra denne evalueringen av økt lærertetthet på ungdomstrinnet. Deres analyser viser at gjennomsnittsstørrelsen har gått fra 21 til 19 elever, og de har ikke funnet noen endringer i prestasjoner etter at de økte ressursene ble innført. I spørreskjemaet og i de kvalitative intervjuene var dette et tema vi tok opp.

Figur 3.7 En foreløpig analyse av elevenes prestasjoner som følge av økte lærerressurser har vist at man ikke finner en endring i prestasjoner når gjennomsnittsstørrelsen går fra 21 til 19 elever. Hva tror du er grunnen til dette? (N=113)

Kilde: Fafo. Over halvparten av rektorene svarer at innholdet i undervisningen betyr mer enn klassestørrelse, og at det dermed kan være en forklaring på manglende funn i karakterutfall for elever som har blitt påvirket av økt lærertetthet. Det er også 35 prosent av rektorene som svarer at det er få lærere som legger om undervisningen og tilpasser arbeidsformer til et mindre antall elever. Det har vært et sentralt poeng i andre studier om lærertetthet (Hattie 2009) at færre elever per lærer i seg selv ikke vil ha noen betydning på læringsutbytte hvis man fortsetter med tavleundervisning.

0% 10% 20% 30% 40% 50% 60%

Klassestørrelse har ikke noe å si

Annet

Det er få lærere som legger omundervisningen

og tilpasser undervisningen og arbeidsformertil færre elever

For lite endring i elevtall

Inneholdet i undervisningen betyrmer enn klassestørrelse



Nesten halvparten av rektorene svarer også at endringen i elevtall er for liten til at det vil kunne føre til endrede prestasjoner. I de kvalitative intervjuene med rektorene og i spørreskjemaet har vi sett at skolene har brukt ressursene ulikt fra skole til skole. Et fellestrekk har vært at ressursene er spredt tynt utover, slik at flest mulig elever og lærere skal ha dratt nytte av de ekstra ressursene. Det har gitt skolene økt fleksibilitet med hensyn til å få lærerkabalen til å gå opp, og det ser også ut som det har lettet bruken av vikarer og gjort tilpasset opplæring enklere å gjennomføre for den enkelte skole. De kvalitative intervjuene med lærerne nyanserer dette bildet og gir et mer utfyllende bilde av hvordan de økte lærerressursene har fungert eller ikke fungert i de enkelte klasserom.

3.4. Lærernes erfaringer og vurderinger av økt lærertetthet Gitt at temaet for denne rapporten handler om justeringer når det gjelder antall lærere, er det av stor interesse å få innblikk i lærernes egne vurderinger av tiltaket. Hva er egentlig deres opplevelse av tiltaket som sikret at utvalgte skoler fikk mellom to og fem ekstra lærere utover det de kunne forvente? Og, hvordan er deres vurderinger av de mange ulike måtene å bruke de ekstra lærerressursene på? Vi intervjuet til sammen 16 lærere. Det innebar at vi snakket med flere lærere ved hver av caseskolene. Et avgjørende forhold for oss var å sikre at vi fikk intervjuet lærere som underviste i ulike fag. Et gjennomgående trekk var at de var svært bevisste på at økte lærerressurser var kontroversielt. I noen grad kunne lærernes svar på våre spørsmål leses som om de mest var ute etter å forsvare ordningen. Mange så det da kanskje som en mulighet til å forsvare et gode de opplevde at de var i ferd i med å miste. Rektorene var også av den oppfatning av at det ville få store konsekvenser for undervisningen å miste de ekstra lærerne. At informantene har interesser, og at vi som forskere ble sett som et mulig talerør, er ikke noe å undres over, men noe vi må forholde oss til i tolkningen av analyse av svarene vi fikk. Utover i samtalene var det imidlertid mange av lærerne som hadde startet med politisk argumentasjon, som gikk over til å snakke mer om ordningen. Blant flere viktige synspunkter fra lærerne, dreide ett seg om at de økte lærerressursene var til hjelp for elevene, men at det nok gagnet lærerne enda mer. Gitt at dette er riktig, er det muligens ikke så rart at resultatene av midlene ikke kan spores direkte i elevenes karakterer. Hva var det så lærerne la vekt på, når de beskrev at økt lærertetthet hadde hjulpet dem?

Et mer robust system og lettelser i rettebyrden Et argument som kom opp i flere intervjuer, var at økt lærertetthet gir et mer robust kollegium. Dette har vi allerede sett i resultatene fra websurveyen. Også en stor andel av rektorene ved caseskolene gir uttrykk for at økt lærertetthet gir større fleksibilitet, noe som jo ikke er overraskende. For eksempel vil flere lærere gjøre det enklere å skaffe vikarer ved sykdom, noe som reduserer hverdagsstresset. Men ut fra intervjuene kan det synes som om det å ha flere lærere oppleves som fordelaktig også med tanke på arbeidsoppgavene. Blant informantene var det flere som trakk fram det de refererte til som «rettebyrden». Med det mente de oppgaver de hadde i forbindelse med å rette elevenes innleveringer og prøver. Og jo flere elever, desto større var rettebyrden. Særlig norsklærerne var opptatt av at det kunne bli mange sider å lese.

Har du 25 norskstiler du skal rette kontra 15, så er det ganske stor forskjell i tidsbruken. Så antallet er faktisk viktigere enn nivået. (lærer)



Antall elever har direkte innvirkning på antall sider en lærer må lese. Hva som er rimelig mengde kveldsarbeid, er imidlertid en annen sak som det kan være verdt å problematisere – uten at våre informanter gjorde det. Flere av våre lærerinformanter la i tillegg vekt på at fravær av stress ikke bare hadde rent administrative fordeler, men at det også bidro til økt trivsel. De hadde bedre dager med flere lærere, noe som gjorde at trivselen ble bedre. De kunne spise lunsj med kollegene. Samtidig erkjente informantene også at deres argumenter for å bevare økt lærertetthet tilsynelatende først og fremst gagnet lærerne, mens effekten ikke var like synlig når det gjaldt elevene.

Jeg har tenkt over det, for veldig mange av de argumentene jeg kommer med, er jo at det er bra for læreren. Men så tenkte jeg da at for eksempel i naturfag, hvor jeg forklarer ting på min måte, så sitter halvparten av elevgruppa som et spørsmålstegn. Så kommer den andre læreren og forklarer tingene på en litt annen måte, og så går det opp flere lys. Så jeg tenker det er en fordel å være flere lærere. (lærer)

Samtidig er det nærliggende å anta at økt trivsel og mindre stress blant lærerne også kan ha indirekte effekter. Man kan for eksempel undersøke videre om økt lærertetthet bidrar til å redusere sykefravær og turnover. På bakgrunn av våre data kan vi ikke konkludere hvorvidt det er en slik sammenheng. Det er likevel grunn til å trekke fram at lærere som fikk færre elever som følge av tiltaket, gir uttrykk for at de opplever at hverdagen fungerer bedre enn tidligere. Spørsmålet er likevel hvorfor denne typen indirekte effekter ikke lar seg spore i karakterer. Intuitivt skulle man anta at det å ha ansvar for færre elever, noe som innebærer mer tid til hver enkelt elev, ville resultere i en bedre skole og derigjennom bedre karakterer. Men dersom midlene til økt lærertetthet først og fremst har resultert i organisatoriske lettelser, er det ikke nødvendigvis like overraskende at tiltaket først og fremst har vært til hjelp for lærerne. Flere av lærerne vi intervjuet la imidlertid vekt på andre forhold enn de organisatoriske da de fortalte om fordelene med økt lærertetthet. Som nevnt trakk flere lærere fram at det gjør det mulig å gjøre undervisningen mer praktisk rettet. Det ble også framhevet at usikre elever føler seg mye tryggere i små grupper enn i store.

Fleksible metoder i undervisningen Et gjennomgående argument for at økt lærertetthet har en verdi var at når flere lærere har ansvar for en gruppe, er det mulig å bryte med den tradisjonelle kateter- eller tavleundervisningen. Den vanligste måten, ut fra våre intervjuer, synes å være prosjektbaserte opplegg. Flere av informantene trakk fram verdien av å jobbe mer praktisk, og at elever har bruk for mer tid til fordypning.

Man kan få mye mer samtale når man har en liten gruppe enn en stor. Et eksempel var faktisk i dag i matte. Da var vi elleve. Vi regnet areal, og fant at en tavle er 11 kvadratmeter. Og da sier en elev: «Jeg har aldri forstått hva en kvadratmeter er». Men da viste vi det helt fysisk. Vi fant et bilde i klasserommet som var en kvadratmeter. «Så dét er en kvadratmeter. Så da er en tavle 11 ganger så stor som det bildet». Det kan man si høyt i en liten gruppe med få elever. Da er ikke det farlig. (lærer)

Og som en annen lærer sa:

Hvis jeg har bedre tid, så får jeg forklart det slik de trenger det. Ikke bare spørre, går det bra nå, så sitter andre og venter. (lærer)



Det er ikke overraskende at lærere kan ta i bruk andre undervisningsmetoder når de har mindre grupper. Det er heller ikke oppsiktsvekkende at de ser dette som viktige og riktige grep i egen undervisning. Igjen er imidlertid spørsmålet hvorfor tiltaket med økt lærertetthet ikke gir større effekter. Dersom lærerne vi har intervjuet i casestudiene underviser omtrent som lærere ved de øvrige tiltaksskolene, må vi kunne anta at andre lærere også vil holde fram muligheten til praktisk undervisning som avgjørende. Spørsmålet blir dermed hvor viktig praktisk orientert undervisning er for å øke prestasjonene. Gitt at tiltaksskolene skiller seg ut med mer bruk av praktisk undervisning, synes effektene å være fraværende. Nå kan det selvsagt tenkes at antall timer med praktisk orientert undervisning er for få. For det andre kan det være at de fleste lærere fortsetter å undervise omtrent som tidligere, bare at det nå er flere til stede – og at de kaller timene for mer praktisk basert. To lærere kan ende opp med at en av lærerne blir en «radiatorlærer» – en som bare står og hører på. Vi så også i spørreskjemaet til rektorene at 35 prosent av dem (figur 3.7) mente at mange lærere ikke la om undervisningen tilpasset færre elever. Vi kan ikke svare på hva som er tilfelle for alle skolene ut fra de kvalitative dataene. Det kan være skjevheter i vårt materiale. Samtidig vil vi trekke fram et tredje moment. Kan det tenkes at viktige effekter ikke lar seg lese av statistikken umiddelbart? Ut fra foreliggende forskning om frafall (se Reegård og Rogstad red. 2016), så er teoritung kateterundervisning, lite praktisk orientert skole og opplevelsen av ikke å bli sett, viktige forklaringer på at en del unge avbryter videregående opplæring. Gitt at dette er riktige forklaringer, er det mulig at økt lærertetthet kan bidra til å redusere frafallet på sikt. Dersom det er tilfelle, kan det være at effektene er målbare, men først på et senere tidspunkt. I samtalene kom det også fram at små grupper har helt andre typer av fordeler. Blant de argumentene lærerne hyppig tok fram, var at en del elever synes store grupper, som klasser, er krevende å forholde seg til. Dette trenger ikke å være elever som sliter med psykisk helse, men helt vanlige elever som opplever det som skummelt å si noe i det de opplever som store forsamlinger.

Vi har en gruppe på seks elever. De jobber med begrepsbruk. Da tør de si noe. De sier jo aldri noe i klasserommet. (lærer)

Med utgangspunkt i enhetsskolen og idealer om tilpasset undervisning, er det relevant å argumentere for at dette er en hensiktsmessig bruk av midlene. Ikke fordi det nødvendigvis resulterer i bedre karakterer, men fordi det sikrer et tilbud som er mer inkluderende. Ut fra visjonen om at skolen skal skape gode samfunnsborgere – gagns mennesker – er det kanskje heller ikke riktig å vurdere suksess utelukkende etter bruk av prestasjoner. Dersom et utfall er at flere faktisk fungerer bedre sammen med andre, kan det hevdes at dette er tilstrekkelig for å kunne konkludere med at tiltaket er en suksess.

Alle elever har rett på å få vist fram hva de kan. Ved at vi er flere og kan ta ut elever, er det flere som får gjort dette. Det gir mestringsfølelse og gjør nok noe med motivasjonen. (lærer)

I diskusjoner om tilrettelagt undervisning kommer vi imidlertid ikke unna at det også er elever som sliter faglig. Blant dem er det elever som får vedtak om individuelle opplæringsplaner – såkalt IOP. Lærertetthet er én måte å møte disse elevene på, samtidig som midlene i noen tilfeller ser ut til å ha bidratt til å redusere antall IOP-elever.



Spesialundervisning – positive og negative effekter på samme tid I samtalene var det flere av informantene som trakk fram at en direkte konsekvens av økt lærertetthet var at skolene reduserte andelen med vedtak om spesialundervisning, og at elever med vedtak om spesialundervisning kunne delta i den ordinære undervisningen. Skolen plikter å utarbeide en individuell opplæringsplan (IOP) for elever med spesialundervisning, som skal sikre et likeverdig og tilpasset opplæringstilbud. En IOP utarbeides av skolen på bakgrunn av den sakkyndige vurderingen fra PP-tjenesten og vedtaket om spesialundervisning. Vi spurte rektorene om andelen elever med IOP tar del i ordinær undervisning som følge av de ekstra lærerressursene, og 83 prosent av rektorene svarer ja på dette spørsmålet. Tidligere var flere av dem tatt ut av undervisningen, men med hjelp av midlene kunne skolene tilpasse undervisningen, slik at en større andel av disse elevene kunne følge de ordinære løpene. Et annet forhold er lærere som ga uttrykk for at midlene til økt lærertetthet bidro til å redusere antall elever med vedtak om IOP. En konsekvens var altså at flere elever som tidligere ville ha krav på spesielt tilrettelagte løp, nå ble vurdert slik at de kunne fungere som en del av en ordinær klasse, fordi det var flere lærere tilgjengelig, noe som gjør det mulig å gi bedre tilpasset opplæring.

Med mer ressurser tilgjengelig har også vedtak om IOP gått ned. Konsekvensen er at flere av elevene nå følger den ordinære undervisningen, men med bruk av mindre grupper. (rektor)

Utsagnet over er interessant av minst to grunner. Først og fremst aktualiserer IOPer i ordinære klasser – om enn i den svakt presterende gruppen – spørsmål om hvordan det er ønskelig å sette sammen klasser i skolen. Kort sagt, hvor stort sprik i prestasjoner er det riktig å ha i samme klasse? Det er ikke vår oppgave å besvare dette normative spørsmålet. Vi har heller ikke kvalitative data til å trekke konklusjoner om læringsmiljøet, men det er gjort i rapportens første del. For oss er det mer relevant å identifisere mekanismer som er virksomme på grunn av tiltaket om økt lærertetthet. Flere lærere gjør det mulig å ivareta behovene til elever både med og uten IOP i de ordinære klassene. Og faglig sett vil en heterogen elevgruppe kunne ha konsekvenser for læringsmiljøet. I hvor stor grad er usikkert. Sikrere er det at klassenes gjennomsnittsprestasjoner vil bli dårligere. Med tanke på diskusjonen om effekten av økt lærertetthet, er det også interessant at andelen som ellers hadde hatt IOP vil virke inn på gjennomsnittsprestasjonene i en klasse. Tilsvarende som i debatten om økt lærertetthet som hinder mot frafall, er et mulig resultat av at antall IOP-er har gått ned at prestasjonene i en klasse gjennomsnittlig blir svakere, noe som skyldes at sammensetningen av elevene som vurderes er en annen enn den hadde vært uten tiltaket. Denne antagelsen er diskutert tidligere i rapporten, og vi fant ikke støtte for dette i de kvantitative analysene. At lærertettheten har betydning for mer enn antall lærere per elev, viste seg også på andre områder. I gjennomgangen av hvordan midlene ble brukt, så vi at mange skoler hadde benyttet seg av nivåbaserte grupper. Et gjennomgående innspill fra lærerne var at ikke-permanente nivåbaserte grupper var nyttig og viktig, både for de svakt presterende elevene og for elevene som presterer godt.

Nivåinndeling av elevene – legitimitet og stigmatisering Et gjennomgående tema i caseskolene var at flere lærere muliggjorde nivåinndeling av elevene. Nivåene kunne gis ulik etikett, men de hadde til felles at både lærerne og elevene visste at dette var inndeling etter faglige prestasjoner. Om ikke gruppene ble kalt for hare og skilpadde, var det lokale tilpasninger som var poenget.



I opplæringsloven heter det at man ikke kan ha permanente nivåbaserte grupper. Dette ga lærerne uttrykk for at de var klar over, og fortalte at skolen tok høyde for. Dette så vi også i avsnittet om nivådeling sett fra rektorenes ståsted. I praksis var det derfor gjort tilpasninger hvor det var et visst innslag av valg, elevene kunne – i samråd med læreren – velge hvilken av de nivåbaserte gruppene man ville delta i. I tillegg var det ofte slik at gruppene var gitt et midlertidig preg. Flere av lærerne la i tillegg vekt på at økt lærertetthet ga dem mulighet til å nivåinndele elevene, slik at de flinkeste kunne få skinne.

I fjor da plukket vi ut de sterkeste elevene på de to parallellene, og så lagde vi egne grupper. Grunnen til at vi gjorde det er at vi ofte ser at de sterkeste elevene sitter og kjeder seg i klassene, og vi føler egentlig litt sånn dårlig samvittighet for dem fordi de ikke får det de skal, fordi tiden vår går så veldig mye til de svakere. Det beste med det var at jeg kunne ta dem over på videregående nivå, og klarte å løfte femmerne til seksere. Jobbet på en måte helt annerledes. Jobbet mer utforskende og kunne gjøre andre ting. Noe man aldri kunne gjort i en stor klasse. (lærer)

I intervjuene var det flere lærere som argumenterte på samme måte. Flere brukte rettferdighetsargumenter, hvor de gjerne la vekt på at i norsk skole brukes det mye ressurser på de svakeste, men at også de flinkeste har rett til å bli sett og å få utfordringer.

Jeg har veldig stor spredning blant elevene i matte. En deling gjør at de svakest presterende elevene får hjelp, og at de flinkeste får de utfordringene de fortjener. (lærer)

Utover rettferdighetsargumenter, er det også interessant å trekke fram lærernes vurderinger av effekter ved å sette inn innsats mot ulike elevgrupper. Et gjennomgående tema var at de svakest presterende elevene, som får mest, er den gruppen som har minst nytte av det de får. Den samme læreren som vi siterte over, som hadde løftet femmere til seksere, hadde også erfaring med å jobbe med svakt presterende elever. Hun forteller:

I år gjorde vi det motsatt. Tok ut de svakeste (1 og 2). Det gikk ikke greit. Grunnen til at det ikke går greit er at det ikke er noen som driver gruppa. Det er ingen som er på, så det er ikke noe å hente for meg som lærer. (lærer)

I en diskusjon om (fraværende) effekt av tiltaket med økt lærertetthet, er dette relevant. Kan det tenkes at midlene er satt inn riktig ut fra ønsket om å styrke de svakeste elevene, men galt dersom hensikten er å heve snittet målt i prestasjoner?

Intervjuer: Hvordan bruke midlene for å løfte snittet? Kanskje viktigere at folk står, enn å løfte de beste?

Lærer: Ja, det er nok viktigere, men det er vanskeligere. Det er derfor mye lettere å øke snittet ved å satse på de bedre. Alt er lettere enn å få 1ere til 2ere.

En lærer ved en annen skole var inne på noe av det samme, og han ytret noe av sin frustrasjon knyttet til det å arbeide med svakt presterende elever. Han snakket mye om følelsen av at det aldri er nok.

Jeg bare tenker. Det aller meste av ressursene går jo til de svakeste, fordi det er så utrolig stort behov. Jeg er sikker på at du kunne fått inn 10 stillinger til bare å fotfølge de svakeste. Og de klarer du ikke å løfte uansett.



Men du kan redde en person. Oppleve mestring. Men det blir ikke noe bedre eksamensresultat. Skal du ha resultater, må du bruke det på de beste og den store gruppen på midten. (lærer)

Gitt at sitatene over reflekterer situasjonen i andre skoler, er det relevant og viktig i en vurdering av hvorvidt tiltaket med økt lærertetthet er vellykket eller ikke. En tolkning er at ekstra ressursbruk, først og fremst rettet mot de svakest presterende elevene, har stor legitimitet, men liten effekt målt i karakterer. Og motsatt, har tiltaket lav legitimitet, men desto større effekt om det i stedet rettes mot de best presterende elevene? Hvordan skal man da vekte om tiltaket er vellykket eller ikke? Sagt på en annen måte – de kriteriene man velger for å måle effekt, har stor betydning for konklusjonene som trekkes. Når det ikke er lov med permanente nivåbaserte grupper, er det selvsagt ikke for å hindre at de best presterende elevene får framgang. Trolig er det ikke først og fremst knyttet til utvikling av prestasjoner, men snarere frykten for stigmatisering. Altså at de svakest presterende elevene vil oppleve det som stigmatiserende at de gis ekstra tilbud – eller et særskilt tilrettelagt tilbud. Intervjuene med lærerne (og senere elevene) vitner imidlertid om at stigmatisering ikke er så stort et problem.

Intervjuer: Så det å ta folk ut fungerer ikke stigmatiserende? Lærer: Nei, jeg tror ikke det. Det skjedde med en elev da vi hadde prøve, og var to lærere. Så spurte jeg en elev om han skulle bli med ut så kunne vi snakke litt, så blir det litt lettere. Det skulle hun ikke gjøre. Men så hadde jeg en annen elev. Han ble med ut, og gikk etterpå inn og hadde prøven. Da sa den første eleven. Neste gang så kan jeg bli med, altså.

Andre lærere hevder det samme. Deres inntrykk er at gruppene ikke er stigmatiserende. Nå kan man selvsagt, med rette, spørre hvor relevant lærernes vurderinger er i denne sammenheng. Deres vurderinger kan i hvert fall ikke bli stående som noen fasit. Om litt skal vi da også komme tilbake til elevene. Men allerede nå kan vi si at de gjennomgående gir uttrykk for samme oppfatning som lærerne. Før vi kommer til elevenes egne vurderinger, er det viktig å gjøre en nyansering av de svakest presterende elevene. For dette er ingen homogen gruppe. Det er selvsagt de som har høyt ferdighetsnivå, men som underpresterer, og så er det elever med større eller mindre atferds- og lærevansker. Og så er det én distinkt gruppe som utfordrer systemets virkemåte. Det er barn med flyktningbakgrunn. De ble trukket fram som utfordrende særlig i casene fra byene, men også på skolene som er lokalisert i mindre områder.

Flyktningbarna – systemet settes på prøve En styrke ved et kvalitativt design er at vi som forskere lærer underveis. Av og til er de lærdommene man gjør, svært ubehagelige. De mange fortellingene om de såkalte flyktningbarna er et eksempel på tilstander i skolen som kan karakteriseres som ubehagelige. La oss starte denne delen med å høre hvordan to lærere omtalte denne gruppen – eller denne situasjonen.

Vi kommer til å merke det hvis vi mister dem [midlene]. For det er mange utfordringer. Særlig rundt de svakeste og rundt disse flyktningbarna. De kommer det ingen ressurser med. (lærer)



En annen lærer var mer direkte:

Vi har elever som kommer rett inn i undervisning. Ikke noe IOP, for det er ikke noe lærevansker egentlig. Kan ikke et kløyva ord engelsk. Hva gjør du da når du ikke har noe ekstra ressurser. Dette var i niende klasse. Kom rett fra mottak. Hva gjør du da? Vi roper om hjelp selvfølgelig. Men det er ikke noe hjelp å få, for det er ikke noen ressurser. Så prøver du med et opplegg. Du setter de andre i gang og så går du ned til vedkommende. (lærer)

Basert på våre data er det umulig å si hvor omfattende dette er. Men det er verdt å understreke at disse to utsagnene framstår som typiske for de seks casene vi har vært inne i. Det er viktig å understreke at tiltaket med økt lærertetthet selvsagt aldri var ment som et grep for å møte denne spesielle utfordringen. Flyktningbarna synliggjør visse systemiske mangler. Når vi fikk høre om elever som ikke kunne lese og skrive, men som settes rett inn i norsk grunnskole, ikke ut fra gode intensjoner, men på grunn mangel på alternativer, er det en utfordring for den enkelte, klassemiljøet og læreren.

Det kan jo ikke gå. Du har noen glanshistorier, men det er sjelden. Jeg kaller dem «de tapre fotsoldatene». De som kom time etter time, men som ikke skjønner noen ting. (lærer)

Oppfatningen om systemiske mangler utfordrer også lærerne.

De kommer det ingen ressurser med. Og når de står på trappa her og snakker tre ord norsk og fire ord engelsk. Så finner vi ikke noen som har deres språk. Da er det tegn og forklar. (lærer)

Flere av rektorene tok opp samme problematikk. Én av dem forteller at de har mange nyankomne elever på skolen, og at skolen har brukt noen av de ekstra lærerressursene til å lære dem ord og begreper som kan hjelpe dem i alle fag. De har nesten ikke skolegang fra hjemlandet, men begynner på ungdomsskolen etter ett år i mottaksklasse:

De er jo enere så det griner etter. Det er jo nesten et overgrep. (rektor) Siden vi hørte lærere og rektorer fortelle om liknende situasjoner, fant vi det ikke like presserende å spørre om hvorfor tiltaket med økt lærertetthet tilsynelatende ikke har hatt noen effekt. Én lærer så dette, og på spørsmål om hvordan han ville prioritere å bruke tilsvarende midler, svarte han:

Jeg tenker at om man skulle brukt pengene annerledes, ville det være på mottak. Sette folk i stand til å komme inn i norsk skole. Så de henger bedre med. Dette med språk er mer kritisk jo eldre du er. (lærer)

3.5. Elevenes opplevelse av økt lærertetthet Ved hver av caseskolene intervjuet vi grupper av elever. Vi la vekt på å snakke med både godt presterende og svakt presterende elever om deres erfaringer med økt lærertetthet.

Erfaringer med nivåbaserte grupper Ved noen av caseskolene hadde man brukt nivåbaserte grupper. At lærerne var positive, forteller lite om hvordan elevene oppfattet gruppene. Elevene vi snakket med ga imidlertid uttrykk for at de likte grupper. En grunn er trolig at alle gruppene var frivillige, selv om elevene fikk råd om hvilken gruppe de burde velge. Det vil si



at elevene både kunne velge gruppe og at det var åpning for å bevege seg mellom gruppene over tid.

Små [nivåbaserte] grupper gjør at jeg tør å spørre om noe jeg lurer på. Det er ikke så kult når alle sitter og ler av deg. (elev)

Samtidig kom det fram at det langt fra bare var faglige vurderinger som lå til grunn for hvilken gruppe de valgte. Det sosiale aspektet – å få være med vennene sine – var også avgjørende når elevene skulle velge gruppe.

Intervjuer: Når lærer dere best? Har det noe å si hvor mange elever dere er? Elev: For meg spiller det ingen rolle, så lenge de er ok de jeg er med.

Det er kanskje ikke så overraskende at ungdom foretar en slik sondering og velger ut fra både faglige og sosiale vurderinger. I tillegg gikk det fram at lærerne gjerne spilte en vesentlig rolle når elevene skulle bestemme hvilken gruppe de ville følge.

Vi hadde en felles prøve, og da så læreren hvilket nivå vi lå på, og så ga han meg råd om hvilken gruppe som passet for meg. (elev)

De fleste elevene fulgte lærerens råd i valget av nivådelt gruppe. Man kan dermed muligens spørre hvor fritt elevene egentlig velger. Ut fra våre intervjuer ser vi imidlertid ikke dette som noe stort problem. Vi fant heller ingen skoler som brukte gruppene som en permanent inndeling, noe som er i tråd med regelverket. Ved alle skolene var det åpning for å bevege seg videre mellom gruppene, eller at gruppene ble opprettet for korte perioder.

Faglige utfordringer Én grunn til å ville flytte på seg er at man ønsker seg større eller mindre faglige utfordringer. I løpet av intervjuene ble vi svært interessert i hvordan elevene vurderte valg av gruppe. På direkte spørsmål, til en høyt presterende elev, om hun trodde valg av gruppe hadde noe å si for karakteren de endte med til slutt, var svaret:

Ja, for på min gruppe så er det jo mer avansert. Så det er ikke like lett å få en god karakter om du går på en annen gruppe. Jeg lærer mer på denne gruppa, men tror jeg hadde fått bedre karakter på en lettere gruppe. (elev)

For denne eleven hadde altså ikke vurderingen av hva som var strategisk lurest noen innvirkning på valg av gruppe. Samtidig er jo dette et utsagn som bare til dels medfører riktighet. Når det gjelder standpunktkarakterer, kan det tenkes at eleven har et poeng, men til en eventuell eksamen vil ikke gruppene ha noen betydning. Denne eleven var en av de typisk høyest presterende. Hva da med de svakt presterende? Hvordan opplever egentlig de bruk av flere lærere og grupper?

Opplever elever nivåbaserte grupper som stigmatiserende? I samtalene med elevene var vi opptatt av hvordan de opplevde at det å ha flere lærere i praksis bidro til en stigmatisering av elevene. Problemstillingen var kjent. Men elevene var mer opptatt av å veie fordeler og ulemper med det å ha flere lærere. De svakest presterende elevene la gjerne vekt på fire forhold:

• Det var lettere å si noe når de var færre • Det var en fordel at læreren gikk saktere fram • De følte seg mer sett • De følte seg ikke dumme når de spurte om noe



Alle disse fire forholdene var viktige når elevene begrunnet at de var positive til små grupper og nivåbasert undervisning. Det gjaldt selvsagt ikke alle, og vi skal ikke her trekke noen generaliserende konklusjoner på vegne av alle elever som presterer svakt. Det er likevel viktig å nevne at dette var begrunnelser som gikk igjen. Det skal her også legges til at det å gå inn og ut av klasserommet ikke ble opplevd som noe spesielt. Dels gikk elever inn og ut på grunn av valgfag, dels benyttes grupper som ikke er nivåbaserte i mange deler av undervisningen. Det kan i det hele tatt se ut til at det å gå ut av klasserommet ikke er noe urovekkende, ganske enkelt fordi det ikke er noe likhetstegn mellom det å være på gruppe og det å være svakt presterende.

Gruppe eller nivå Så langt har vi skrevet som om gruppebasert undervisning er det samme som nivåbasert undervisning. I praksis var det også det i de fleste tilfeller. Spørsmålet er likevel hvilken betydning elevene tillegger læreren. Kan en god lærer veie opp for en stor gruppe, eller er det alltid slik at «small is beautiful»?

Intervjuer: Hva er viktigst av god lærer og liten gruppe? Elever: God lærer [svarer alle elevene i kor].

Det interessante er at dette tilsynelatende gjelder for elever uavhengig av om de er høyt, middels eller lavt presterende. Som en elev sa:

En god lærer er en som bruker flere metoder og som ser deg og dine behov. (elev)

Da er vi på mange måter tilbake der vi startet. Elevene setter stor pris på en god lærer. Satt på spissen, er det altså slik at en god lærer er langt å foretrekke framfor to dårlige. Kanskje ikke så overraskende, men det har viktige implikasjoner likevel. For oss ble dette særlig tydelig når vi besøkte skoler med en betydelig andel av ikke faglærte lærere. Ledelsen ved én skole betonet at dette er en av de store forskjellene mellom skoler i Norge. De fikk rett og slett ikke tak i gode nok lærere. Vi skal ikke gå inn i debatten om hva som er en god lærer, men da vi spurte om nivåbasert undervisning ved denne skolen, så elevene på oss og ristet på hodet. Det var ikke et relevant spørsmål, ble vi fortalt.

Hos oss er alle på det laveste nivået i matte uansett. (elev) Dette trenger selvsagt ikke å skyldes at det var en høy andel ufaglærte lærere ved skolen. Det er også relevant å peke på elevenes klassebakgrunn og på arbeidsmarkedet i området rundt skolen. Samtidig antyder denne eleven en grense for hvor enhetlig enhetsskolen kan være. Denne utfordringen lar seg ikke nødvendigvis løse med flere lærere.

3.6. Oppsummering av organisering og rektorenes, lærernes og elevenes opplevelse av økt lærertetthet

I dette kapitlet har vi sett på hvordan skolene har organisert og brukt de ekstra lærerressursene, samt på aktørenes erfaringer med økt lærertetthet. Et første hovedfunn er at skolene har gjort store lokale tilpasninger i måten de ekstra ressursene har blitt brukt på. I implementeringen har skolene prøvd og feilet før de har landet på en løsning som de mener fungerer for skolen og deres elever. For det andre er de ekstra lærerressursene smurt tynt utover, slik at alle trinn og flere fag har fått økt lærertetthet i noen timer i uken. For det tredje indikerer svarene fra rektorene at en tredjedel av dem mener lærerne ikke legger om undervisningen og



tilpasser arbeidsformer til et mindre antall elever. Et flertall av rektorene uttrykte at innholdet i undervisningen betyr mer enn klassestørrelse. Utgangspunktet for den kvalitative delen av kapitlet er at økt lærertetthet ikke har noen direkte effekter på elevenes prestasjoner. Hvordan tiltaket er implementert lokalt, kan trolig forstås ut fra et demokratisk prinsipp om at alle skal få. Derfor er midlene smurt tynt utover, noe som kan være en forklaring på hvorfor tiltaket ikke har hatt større effekt på læringsutbyttet. Opplevelsen blant lærerne og elevene er at færre lærere per elev øker muligheten for å se eleven, og blant informantene er en tettere relasjon mellom lærer og elev det de trekker fram som det mest positive utfallet av de ekstra midlene.



4. Sammenstilling av effektstudie og implementeringsstudie

Vår studie avdekker en åpenbar kontrast mellom aktørenes opplevelser og funnene i effektanalysene. Mens skolelederne og lærerne opplever at de ekstra lærerne har effekt blant annet på læringsutbytte er det ikke spor av dette i effektevalueringen. I dette kapittelet diskuterer vi effekter av ekstra lærere i lys av begge de to delene av evalueringen. Bare et lite mindretall av rektorene mener at lærertetthet ikke har noen betydning for elevenes læringsutbytte. Et flertall mener at ekstra lærere i «stor grad» har bidratt til å øke elevenes læringsutbytte. Lærere og rektorer som er intervjuet er tydelige på at ekstra lærere gjør det lettere å organisere skolehverdagen, gir mer rom for tilpasset opplæring, gjør det lettere å håndtere fravær, og argumenterer også for økt læringsutbytte, redusert spesialundervisning og bedre læringsmiljø. Elevene som er intervjuet mener at andre forhold enn lærertetthet er viktigere for prestasjoner, svarene ellers tyder likevel ikke på at de mener lærertetthet er uviktig. Det virker altså å være en klar oppfatning av at ekstra lærere har hatt en effekt. Fra effektevalueringen kan vi utelukke selv små effekter på læringsutbytte og omfang og organisering av spesialundervisning. Vi finner ingen klare effekter på læringsmiljø, og eventuelle effekter på dette området er i så fall beskjedne. Fra effektevalueringen og implementeringsstudien vet vi at de ekstra lærerne er brukt i ordinær undervisning, hovedsakelig i matematikk, norsk og engelsk. Dette tilsier at skriftlig eksamen ved avsluttet grunnskole er relevante og gode mål på eventuelle effekter på læring. Vi har også studert resultater i de enkelte fagene, også dette uten å finne tegn til noen effekter. En del lærere og rektorer mener at ekstra lærere har ført til endringer i spesial-undervisning, og at slike endringer kan dekke over økt læringsutbytte, f.eks. dersom flere elever med et svakt utgangspunkt deltar i prøvene og/eller undervis-ningen. Dette var det viktigste forbeholdet vi tok i Kirkebøen m.fl. (2016). I denne rapporten har vi imidlertid gjort omfattende analyser av dette. Vi finner ingen effekter på omfang eller organisering av spesialundervisning. Vi finner heller ingen effekter på andelen elever som deltar ved nasjonale prøver eller eksamen, eller på hvilke resultater disse elevene har fra tidligere. Noen lærere mener at ekstra lærerressurser i stor grad har vært rettet mot de svakest presterende elevene, og at disse er særlig vanskelige å løfte. En beslektet innvend-ing er at elevene går fra å være «svake» til «robuste» toere, dvs. at resultatene blir bedre, men uten at dette kan måles. Vi finner imidlertid ingen effekt på andelen elever som oppnår minst to (eller minst tre eller andre karakterer) på eksamen (eller et gitt mestringsnivå på nasjonale prøver på 9. trinn). Om det var vesentlige effekter på de svakest presterende elevenes ferdigheter ville vi ventet å se dette, ettersom det ikke er noe perfekt samsvar mellom standpunkt og eksamen, og en del av de «svake» toerne i utgangspunktet ville vært ventet å få én på eksamen. Synspunktet om at de svakest presterende elevene er vanskelige å løfte mangler solid grunnlag i tidligere forskning, som til dels har funnet sterkere effekter av lærertetthet for elever med svake forutsetninger (f.eks. Iversen og Bonesrønning, 2013). Vi finner heller ikke effekter for bestemte elevgrupper (f.eks. elever med svake tidligere resultater). Det kan imidlertid være at lærerne refererer til elever med enda svakere forutsetninger enn de som tidligere er studert i litteraturen. Samtidig, selv om enkelte lærere rapporterer om særlig satsing på de med aller svakest forutsetninger, virker det som de ekstra lærerne i stor grad er brukt i ordinær undervisning, slik at denne innvendingen er lite relevant for det generelle fraværet av effekt.



Enda en beslektet innvending er at effektene ikke vises på kort sikt, men dukker opp senere i elevenes utdanningskarriere. Det finnes studier av klassestørrelse/lærertetthet som finner vesentlige effekter på lang sikt, f.eks. Chetty m.fl. (2011) og Fredriksson m.fl. (2013). Disse studiene finner imidlertid gjerne effekter også på kort sikt, selv om de ikke nødvendigvis finner effekter på mellomlang sikt (noen få år etter avsluttet tiltak). Vår studie avdekker heller ingen effekter på tidlige mål på gjennomføring av videregående skole. Utfra fraværet av effekter på kort og mellomlang sikt mener vi at det er svært optimistisk å håpe på vesentlige effekter på lengre sikt. Omtrent halvparten av rektorene mener en endring fra ca. 21 til 19 elever er for liten til å gi økte prestasjoner. Dette er en relevant påpekning, og vi kan ikke avvise at vesentlig kraftigere økninger i lærerressursene ville gitt effekt. Samtidig har dette begrenset praktisk relevans. Satsningen vi studerer var betydelig utfra hva som kan ansees som politisk realistisk. Fra figur 2.2 og 2.3 ser vi at gruppestørrelse i ordinær undervisning ble redusert fra 20-22 til 18-20 i tiltaksskolene, dvs. omtrent tilsvarende en norm med maksimal gruppestørrelse på 20. Det er ikke klart at en vesentlig større generell satsning, som kanskje kunne hatt andre typer effekter, er verken politisk eller praktisk mulig. Det er også verdt å merke seg at de norske studiene som baserer seg på klassedelingsregelen i praksis sammenligner klassestørrelser på 28-30 med 14-15, uten å finne noen effekter av så store forskjeller (se Leuven m.fl., 2008; Falch m.fl., 2017 og Leuven og Løkken, 2017). Fra kartleggingen av implementeringen er det også klart at de ekstra stillingene i stor grad brukes til smågruppeundervisning, delingstimer og tolærerordninger. Det tyder på at stillingene ikke fordeles utover alle timer, men fokuseres på noen timer, og dermed gir en tydeligere endring i lærertetthet i disse timene, altså uten at dette fører til noen målbar effekt. Selv om det ikke er vesentlige effekter alle skoler sett under ett, kan det være noen skoler som har lyktes bedre i å få til økt læring. I kapittel 2 studerte vi heterogenitet i effekter utfra kjennetegn ved skolene (f.eks. skolestørrelse). Det kan være vel så interessant om det er forskjeller i effekt med hensyn til skolenes atferd, f.eks. hvorvidt de bruker ekstra lærere til smågruppeundervisning eller ikke. Vi har derfor gjort en lang rekke sammenligninger av effekter mellom grupper av skoler utfra hva rektorene svarte i spørreundersøkelsene, der vi har sammenlignet skoler utfra:

- hvorvidt de besvarte spørreundersøkelsen - hvorvidt de har ansatt lærere med utdanning på masternivå - hvorvidt de fikk kompetansen de trengte - hvorvidt de ekstra lærerne må slutte etter prosjektet - hvordan de benyttet de ekstra lærerne (tolærerordninger, delingstimer,

grupper) - hvorvidt de oppgir å ha endret assistentbruk - hvorvidt de oppgir å ha endret andelen med spesialundervisning

(individuell opplæringsplan, IOP) - hvorvidt de oppgir at flere med IOP deltar i ordinær undervisning - hvorvidt de har nivådelt grupper - hvorvidt de har prioritert elevene med sterkest/svakest forutsetninger - i hvor stor grad ressursene er brukt i matteundervisning - hvorvidt arbeidshverdagen for lærerne er lettet - hvorvidt de opplever økt læringsutbytte - hvorvidt de opplever bedre resultater - hvorvidt de opplever bedre miljø



Gjennomgående finner vi ingen klare effekter, eller tydelige forskjeller mellom grupper av skoler, verken når vi studerer ressurstilgang og bruk, læringsutbytte eller læringsmiljø. Det er ikke overraskende at vi ikke finner tegn til vesentlige effekter innen noen grupper av skoler vi er i stand til å definere. Utfra resultater for alle skoler mener vi å ha presise og troverdige resultater som tyder på ingen eller små gjennomsnittlige effekter for alle skoler. Dette betyr at det ikke kan være vesentlige effekter for store grupper av skoler (med mindre disse oppveies av negative effekter for andre skoler). Det er mer krevende å studere forskjeller knyttet til implementeringen enn variasjon etter målbare skolekjennetegn som vi observerer for alle skoler (f.eks. skolestørrelse). Når vi studerer effekten i små skoler kan vi sammenligne små tiltaksskoler med andre små skoler som i utgangspunktet er sammenlignbare for å få et mål på effekter. Er vi interessert i variasjon i effekter etter implementeringspraksis, f.eks. bruk av smågrupper, vet vi derimot ikke hvilke av sammenligningsskolene som i utgangspunktet er sammenlignbare med skolene som brukte ekstra lærere til smågrupper. Dette gjør at disse sammenligningene er mer usikre. Vi studerer også mange grupper, til dels med få skoler i hver, noe som bidrar statistisk usikkerhet og lav presisjon. Selv om noen enkeltresultater kan være usikre er det imidlertid ingenting som tyder på vesentlige effekter for noen elever eller i noen skoler. Vi mener at den nærliggende konklusjonen er at ekstra lærere faktisk har hatt liten eller ingen effekt på læringsutbytte og spesialundervisning, og i beste fall en beskjeden effekt på læringsmiljøet. Når rektorer og lærere har en annen opplevelse, kan det avspeile hvor vanskelig det er å vurdere effekter basert på egne opplevelser, ettersom disse fordrer en oppfatning om hva som ville ha skjedd i fravær av tiltaket (kontrafaktiske utfall). Dette kan også forklare at det ikke er forskjeller på beregnede effekter mellom skoler der rektor opplever større eller mindre effekt. Kontrasten vi avdekker mellom opplevd og påvist effekt er ikke unik for denne satsningen. I forbindelse med Overgangsprosjektet i Ny GIV vurderte deltakende lærere, skoleledere og elever effektene også mer positivt enn hva evalueringene har vist så langt (Eielsen m.fl., 2013; Huitfeldt m.fl., 2016). Det heller ikke uventet at ekstra lærere på ungdomstrinnet oppleves å ha hatt en positiv effekt. Utdanningsdirektoratet har tidligere vist at karakterene økte og omfanget av spesialundervisning gikk ned i skolene som fikk ekstra lærere. Vår evaluering viser imidlertid at dette ikke er spesielt for disse skolene, skoler som i utgangspunktet lignet på skolene som fikk ekstra lærere har hatt en tilsvarende utvikling. Når karakterene har økt mer i skoler som fikk ekstra lærere, henger det sammen med at de deltagende skolene er valgt ut blant annet nettopp på grunn av svake karakterer, og ville hatt en god utvikling uansett.



5. Konklusjon Høsten 2012 bevilget Stortinget 1,5 milliarder kroner over fire år til 600 nye lærerstillinger på ungdomstrinnet ved 166 skoler. Denne rapporten presenterer en evaluering av denne satsningen. Rapporten kombinerer en kvantitativ effektevaluering med en kvalitativ implementeringsstudie. Hensikten er å gi et bredest mulig bilde av betydningen ekstra lærere har hatt. Samlet sett kan vi konkludere med at de ekstra lærerne i stor grad har blitt brukt som forutsatt, og bidratt til økt lærertetthet i ordinær undervisning. De ekstra lærerne har særlig undervist i matematikk og norsk, i noe mindre grad engelsk. Vi kan med stor sikkerhet si at dette ikke har hatt vesentlig effekter på læringsutbyttet i disse fagene. Vi finner heller ikke tegn til effekter på andre fag, fravær eller tidlige mål på gjennomstrømning i VGO, omfanget eller organisering av spesialundervisning, eller bruk av assistenter. Det er enkelte indikasjoner på bedret læringsmiljø, men ikke grunnlag for å konkludere sikkert, og eventuelle effekter på læringsmiljø ser ut til å være små. Vi har studert en rekke grupper av elever og skoler, uten å finne klare tegn til effekter for noen av disse. Fra spørreundersøkelsen og intervjuene er det tydelig at de ekstra lærerstillingene oppfattes som kjærkomne. Skoleledere og lærere opplever at de gjør en forskjell, både for muligheter til hvordan de kan organisere undervisningen, for lærernes arbeidsbyrde og for elevens resultater. Selv om vi ikke finner noen effekt på elevens resultater kan lærernes opplevelse av satsningen likevel være av betydning. Dersom lærere og rektorer opplever bedre arbeidsforhold og å få bedre muligheter til å gjøre en god jobb kan det ha en betydning f.eks. for sykefravær, rekruttering og hvorvidt lærerne blir i jobben. Flere rektorer rapporterer om redusert sykefravær. En analyse av slike forhold ligger utenfor denne evalueringen. Det er en åpenbar kontrast mellom skolelederne og lærernes opplevelse av at de ekstra lærerne har effekt blant annet på læringsutbytte og funnene i effektevalueringen. Vi mener effektevalueringen gir et troverdig bilde av effektene av tiltaket. Derimot kan vi kun spekulere i hvorfor lærerne og rektorene opplever at læringsutbyttet faktisk økte. Kontrasten mellom opplevd og beregnet effekt illustrerer nytten av å utforme tiltak på en slik måte at de er mulig å evaluere i etterkant. I dette konkrete tilfellet ville det vært villedende å kun se på karakterutvikling over tid. Den klare avgrensingen av tiltakskolene gjør at det er mulig å sammenligne skoler som i utgangspunktet var like, og der noen fikk økte tilskudd og andre ikke. Selv om vi kan konkludere ganske klart med at denne konkrete satsningen på ekstra lærere på ungdomstrinnet ikke har hatt effekter på læringsutbytte, kan lærertetthet i andre sammenhenger ha betydning. Det finnes en del internasjonal forskning (ofte på klassestørrelse) som finner til dels vesentlige effekter på læringsutbytte og elevenes videre resultater. Vår studie føyer seg imidlertid inn i en rekke av norske studier som konkluderer med at økt lærertetthet har liten eller ingen effekt på elevers skoleprestasjoner eller deres videre utdanning og inntekt (Leuven m.fl., 2008; Iversen og Bonesrønning, 2013; Falch m.fl., 2017; Leuven og Løkken, 2017). Det tyder på at en i hvert fall ikke kan ta det for gitt at mer ressurser gir bedre læring, og er et utgangspunkt for å vurdere hvordan evt. framtidige satsninger kan utformes for å gi bedre effekter. Det finnes forskning som tyder på at økt lærertetthet er viktigere på lavere klassetrinn, evt. at innsatser tidlig i skoleløpet er mer effektive. Det finnes norske



studier som ikke finner vesentlige effekter av lærertetthet tidlig i grunnskolen (Iversen og Bonesrønning, 2013, finner små effekter, Leuven og Løkken, 2017, finner ingen effekter), men her finnes det foreløpig mindre forskning. I løpet av de siste årene har det imidlertid blitt bevilget ressurser til ekstra lærere på 1.-4. trinn. Et pågående forskningsprosjekt24 studerer denne satsningen. Et annet spørsmål er hvorvidt skolene lykkes i å bruke de ekstra lærerne på en god måte. 35 prosent av rektorene som har besvart spørreundersøkelsen svarer at få lærere legger om undervisningen. Det kan tyde på at mange lærere trenger mer hjelp for å klare å tilpasse undervisningen på en måte som drar fordel av mindre grupper. Skolene oppgir å ha prøvd seg fram i organiseringen, det virker imidlertid også som ekstra lærere i stor grad brukes til en styrking av eksisterende organisering, og i mindre grad til å forsøke nye undervisningsformer. Det pågår to omfattende forsøk som tester ut mer målrettede innsatser knyttet til hhv. lese- og matematikkopplæring på 1.-4. trinn.25 Det pågår også flere prosjekter som tester forskjellige tiltak som skal bidra til bedre gjennomføring av videregående opplæring.26 Her inngår blant annet utprøving av ekstra lærere knyttet til bestemte tiltak i matematikkundervisningen. Alle disse prosjektene er utformet med et klart formål om å bedre elevenes resultater på forskjellige måter, og gjennomføres som kontrollerte forsøk. Det gir et godt utgangspunkt for evaluering og et bedre kunnskapsgrunnlag. Sammen med denne evalueringen vil disse prosjektene forhåpentligvis gi et bedre grunnlag i fremtiden for å velge og utforme satsinger i skolen som gir dokumenterbare positive konsekvenser for elevene.

24 Prosjektet er finansiert gjennom Forskningsrådets program LÆREEFFEKT: https://www.forskningsradet.no/prosjektbanken/#/project/NFR/262407 25 Prosjektene er finansiert gjennom Forskningsrådets program LÆREEFFEKT: https://www.forskningsradet.no/prosjektbanken/#/project/NFR/256197 og https://www.forskningsradet.no/prosjektbanken/#/project/NFR/256217 26 Disse prosjektene inngår i satsningen Program for bedre gjennomføring: https://www.regjeringen.no/no/tema/utdanning/grunnopplaring/innsiktsartikler/Bedre-gjennomforing-i-videregaende-/id2005356/

https://www.forskningsradet.no/prosjektbanken/#/project/NFR/262407



https://www.regjeringen.no/no/tema/utdanning/grunnopplaring/innsiktsartikler/Bedre-gjennomforing-i-videregaende-/id2005356/

https://www.regjeringen.no/no/tema/utdanning/grunnopplaring/innsiktsartikler/Bedre-gjennomforing-i-videregaende-/id2005356/



Referanser Angrist, J. D., & Pischke, J. S. (2008). Mostly harmless econometrics: An

empiricist's companion. Princeton university press. Iversen, J. M. V. & H. Bonesrønning (2013). Disadvantaged students in the early

grades: will smaller classes help them? Education Economics Vol. 21, Iss. Chay, Y.K., McEwan, P.J. and M. Urquiola (2005), The Central Role of Noise in

Evaluating Interventions That Use Test Scores to Rank Schools, American Economic Review VOL. 95 NO. 4, 1237.1258.

Chetty, R., J. Friedman, N. Hilger, E. Saez, D. Schanzenbach & D. Yagan (2011) How Does Your Kindergarten Classroom Affect Your Earnings? Evidence from Project STAR, Quarterly Journal of Economics 126(4): 1593-1660

Falch, T., A. M. J. Sandsør & B. Strøm. (2017), Do Smaller Classes Always Improve Students’ Long-run Outcomes? Oxf Bull Econ Stat, 79: 654–688.

Fixen, D.L., Naoom, S. F., Blase, K. A., Friedman, R. M. and Wallace, F. (2005). Implementation Research: a Synthesis of the Literature. Tampa Florida: University of South Florida.

Fredriksson, P., Öckert, B., & Oosterbeek, H. (2013). Long-Term Effects of Class Size. The Quarterly journal of economics, 128(1), 249-285.

Galloway, T., L.J. Kirkebøen og M. Rønning Karakterpraksis i grunnskoler (2011). Sammenheng mellom standpunkt- og eksamenskarakterer Rapporter 2011/04. Statistisk sentralbyrå, 2011

Hanushek, E. A. (2003). The failure of input‐based schooling policies. The Economic journal, 113(485), 64-98.

Huitfeldt, I., L. J. Kirkebøen og M. Rønning (2016) Effektevaluering av intensivopplæringen i Overgangsprosjektet, Ny Giv: Andre delrapport, Rapporter 2016/08. Statistisk sentralbyrå

Krueger, A. B. (2003). Economic considerations and class size. The Economic Journal, 113(485), 34-63.

Lee, D. S., & Lemieux, T. (2010). Regression discontinuity designs in economics. Journal of economic literature, 48(2), 281-355.

Leuven, E. og S. A. Løkken (2017) Long term impacts of class size in compulsory school. SSB Discussion Papers 858, Statistisk sentralbyrå

Leuven, E., Oosterbeek, H., & Rønning, M. (2008). Quasi‐experimental estimates of the effect of class size on achievement in Norway. The Scandinavian Journal of Economics, 110(4), 663-693.

Todd, P. E., & Wolpin, K. I. (2003). On the specification and estimation of the production function for cognitive achievement. The Economic Journal, 113(485), 3-33.

Utdanningsdirektoratet (2016). Satsingen på økt lærertetthet på ungdomstrinnet 2016 Rapportering om ordningen fra Utdanningsdirektoratet til Kunnskapsdepartementet

Wendelborg, C., M. Røe, B. K. Utvær og J. Caspersen. (2017) Elevundersøkelsen 2016. Analyse av Elevundersøkelsen 2016 NTNU Samfunnsforskning



Vedlegg A: Ytterligere resultater fra Elevundersøkelsene Figur A 1 Oppsummering av beregnede effekter på andel elever som oppgir å ha blitt mobbet

av andre elever (målt i enheter á 10 prosent), 2013-2016


Figur A 2 Oppsummering av beregnede effekter på indeks «Elevdemokrati og medvirkning», 2013-2016




Figur A 3 Oppsummering av beregnede effekter på indeks «Faglig utfordring», 2013-2016


Figur A 4 Oppsummering av beregnede effekter på indeks «Felles regler», 2013-2016




Figur A 5 Oppsummering av beregnede effekter på indeks «Støtte hjemmefra», 2013-2016


Figur A 6 Oppsummering av beregnede effekter på indeks «Læringskultur», 2013-2016




Figur A 7 Oppsummering av beregnede effekter på indeks «Mestring», 2013-2016


Enkeltspørsmål i Elevundersøkelsen

Støtte fra lærer

Figur A 8 Oppsummering av beregnede effekter på spørsmål «Opplever du at lærerne behandler deg med respekt?», 2013-2016




Figur A 9 Oppsummering av beregnede effekter på spørsmål «Opplever du at lærerne dine har tro på at du kan gjøre det bra på skolen?», 2013-2016


Figur A 10 Oppsummering av beregnede effekter på spørsmål «Lærerne hjelper meg slik at jeg forstår det jeg skal lære.», 2013-2016




Vurdering for læring

Figur A 11 Oppsummering av beregnede effekter på spørsmål «Forklarer lærerne hva som er målene i de ulike fagene slik at du forstår dem?», 2013-2016


Figur A 12 Oppsummering av beregnede effekter på spørsmål «Forklarer lærerne godt nok hva det legges vekt på når skolearbeidet ditt vurderes?», 2013-2016




Figur A 13 Oppsummering av beregnede effekter på spørsmål «Jeg får hjelp av lærerne til å tenke gjennom hvordan jeg utvikler meg i faget.», 2013-2016


Figur A 14 Oppsummering av beregnede effekter på spørsmål «Får du være med og vurdere skolearbeidet ditt?», 2013-2016




Figurregister Figur 2.1 Skoler som fikk/ikke fikk ekstra lærere, etter skolenes gruppestørrelse 2

og poenggap (gjennomsnittlig grunnskolepoeng – grunnskolepoeng) i 2011/12 (skalert) ............................................................................................ 11

Figur 2.2 Effekter på gruppestørrelse i ordinær undervisning: Gjennomsnittlig gruppestørrelse 2 i 2013/14 – 2016/17 etter avstand fra grense grunnskolepoeng i 2011/12 ............................................................................ 13

Figur 2.3 Effekter på gruppestørrelse i ordinær undervisning: Gjennomsnittlig gruppestørrelse2 i 2013/14 – 2016/17 etter avstand fra grense gruppestørrelse 2 i 2011/12 ........................................................................... 14

Figur 2.4 Oppsummering av effekter (med usikkerhetsintervaller) på gruppestørrelse 2 (gruppestørrelse i ordinær undervisning) fra forskjellige beregninger, 2013/14 – 2016/17 ......................................................................................... 16

Figur 2.5 Oppsummering av effekter på antall årsverk, 2013/14 – 2016/17 .................. 17 Figur 2.6 Oppsummering av effekter på årstimer til spesialundervisning (prosent av

elevtimer), 2013/14 – 2016/17 ....................................................................... 18 Figur 2.7 Oppsummering av effekter på årstimer assistenter (prosent av elevtimer),

2013/14 – 2016/17 ......................................................................................... 18 Figur 2.8 Effekter på eksamenskarakter: Gjennomsnittlig eksamenskarakter 2014-

2017 etter avstand fra grense grunnskolepoeng i 2011/12 ............................ 20 Figur 2.9 Effekter på eksamenskarakter: Gjennomsnittlig eksamenskarakter 2014-

2017 etter avstand fra grense gruppestørrelse 2 i 2011/12 ........................... 21 Figur 2.10 Oppsummering av beregnede effekter på eksamenskarakter 2014-2017 ..... 22 Figur 2.11 Oppsummering av beregnede effekter på standpunktkarakterer 2014-2017 . 24 Figur 2.12 Oppsummering av beregnede effekter på nasjonale prøver

(standardavvik), 2014-2016 ........................................................................... 25 Figur 2.13 Oppsummering av beregnede effekter på fullføring av Vg1 (andel), 2015-

16 ................................................................................................................... 25 Figur 2.14 Oppsummering av beregnede effekter på overgang til Vg2 (andel), 2015-

16 ................................................................................................................... 26 Figur 2.15 Oppsummering av beregnede effekter på fraværsdager i 10 klasse, 2014-

2016 ............................................................................................................... 26 Figur 2.16 Oppsummering av beregnede effekter på indeks «Støtte fra lærerne»,

2013-2016 ...................................................................................................... 31 Figur 2.17 Oppsummering av beregnede effekter på indeks «Vurdering for læring»,

2013-2016 ...................................................................................................... 32 Figur 2.18 Oppsummering av beregnede effekter på indeks «Mobbet av andre

elever» , 2013-2016 ....................................................................................... 33 Figur 2.19 Oppsummering av beregnede effekter på indeks «Utdanning og

yrkesvalg» , 2013-2016 .................................................................................. 33 Figur 2.20 Oppsummering av beregnede effekter på samleindeks (snitt alle indekser

fra Elevundersøkelsen), 2013-2016 ............................................................... 34 Figur 3.1 I hvilke fag har de ekstra ressursene blitt brukt? (flere kryss mulig)

(N=113) .......................................................................................................... 39 Figur 3.2 Hvordan har skolen benyttet de ekstra lærerressursene? (N=113) ............... 41 Figur 3.3 Hvis ressursene brukes til å ha færre elever per lærer, deler dere

periodevis gruppene i nivåer basert på resultater? (N=113) .......................... 42 Figur 3.4 Svar i hvor stor grad du mener prosjektet har… (N=110) .............................. 43 Figur 3.5 Hvilken kompetanse hadde lærerne dere rekrutterte til prosjektet? (N=113) . 45 Figur 3.6 Prosjektperioden er ferdig i 2017. Har læreren/lærerne som ble ansatt i

prosjektperioden blitt tilbudt jobb underveis eller etter prosjektperioden? (Flere valg mulig) (N=113) ............................................................................. 45

Figur 3.7 En foreløpig analyse av elevenes prestasjoner som følge av økte lærerressurser har vist at man ikke finner en endring i prestasjoner når gjennomsnittsstørrelsen går fra 21 til 19 elever. Hva tror du er grunnen til dette? (N=113) ............................................................................................... 46

Figur A 1 Oppsummering av beregnede effekter på andel elever som oppgir å ha

blitt mobbet av andre elever (målt i enheter á 10 prosent), 2013-2016 .......... 63 Figur A 2 Oppsummering av beregnede effekter på indeks «Elevdemokrati og

medvirkning», 2013-2016 .............................................................................. 63 Figur A 3 Oppsummering av beregnede effekter på indeks «Faglig utfordring»,

2013-2016 ...................................................................................................... 64 Figur A 4 Oppsummering av beregnede effekter på indeks «Felles regler», 2013-

2016 ............................................................................................................... 64 Figur A 5 Oppsummering av beregnede effekter på indeks «Støtte hjemmefra»,

2013-2016 ...................................................................................................... 65



Figur A 6 Oppsummering av beregnede effekter på indeks «Læringskultur», 2013-2016 ............................................................................................................... 65

Figur A 7 Oppsummering av beregnede effekter på indeks «Mestring», 2013-2016..... 66 Figur A 8 Oppsummering av beregnede effekter på spørsmål «Opplever du at

lærerne behandler deg med respekt?», 2013-2016 ....................................... 66 Figur A 9 Oppsummering av beregnede effekter på spørsmål «Opplever du at

lærerne dine har tro på at du kan gjøre det bra på skolen?», 2013-2016 ...... 67 Figur A 10 Oppsummering av beregnede effekter på spørsmål «Lærerne hjelper meg

slik at jeg forstår det jeg skal lære.», 2013-2016 ........................................... 67 Figur A 11 Oppsummering av beregnede effekter på spørsmål «Forklarer lærerne

hva som er målene i de ulike fagene slik at du forstår dem?», 2013-2016 .... 68 Figur A 12 Oppsummering av beregnede effekter på spørsmål «Forklarer lærerne

godt nok hva det legges vekt på når skolearbeidet ditt vurderes?», 2013-2016 ............................................................................................................... 68

Figur A 13 Oppsummering av beregnede effekter på spørsmål «Jeg får hjelp av lærerne til å tenke gjennom hvordan jeg utvikler meg i faget.», 2013-2016 ... 69

Figur A 14 Oppsummering av beregnede effekter på spørsmål «Får du være med og vurdere skolearbeidet ditt?», 2013-2016 ........................................................ 69

Tabellregister Tabell 2.1 Informasjon i Elevundersøkelsene ................................................................. 30 Tabell 2.2 Deskriptiv statistikk for variablene i Elevundersøkelsen, 10. trinn, 2013/14-

2015/16 .......................................................................................................... 30 Tabell 3.1 Ulike måter å organisere de ekstra ressursene ............................................. 39

Effekter av satsing

på ø

kt lærertetth

et2017/39

Statistisk sentralb

yrå

Statistisk sentralbyrå

Postadresse:Postboks 8131 DepNO-0033 Oslo

Besøksadresse:Akersveien 26, OsloOterveien 23, Kongsvinger

E-post: [email protected]: www.ssb.noTelefon: 62 88 50 00

ISBN 978-82-537-9652-9 (trykt)ISBN 978-82-537-9653-6 (elektronisk)ISSN 0806-2056

Design: Siri Boquist

Documents

Effekter av satsing på økt lærertetthet - SSB