Terminologi- handbok - Skolinspektionen · universitet att ta fram ett stödmaterial i form av en grundläggande terminologi-handbok. Avsikten var i första hand att ge underlag för

Dnr 40-2010:3566

Terminologi-handbok för Skolinspektionens

kvalitetsgranskningar

Skolinspektionens rapport 2010Diarienummer 40-2010:3566Stockholm 2010

Innehåll

Terminologihandbok2010

Figurförteckning 5

Skolinspektionens förord 7

Författarens förord 8

Aktiviteter 10

Attribution 10

Bedömningsgrund, bedömningskriterier 11

Begrepp 12

Behovsanalys 14

Deduktion, induktion, abduktion 15

Design 15

Effekt, effekter 17

Effektivitet 19

Effektutvärdering 20

Evidens 21

Evidensbaserad praktik och politik 23

Framgångsfaktorer, mekanismer 24

Frågeställning, problemformulering 25

Förklaring 27

Generalisering 28

Hypotes 29

Indikator 30

Inflöden 31

Insats, intervention 32

Kausalitet, korrelation 32

Kunskapsöversikt 33

Kvalitet 35

Litteraturöversikt 37

Mål, måluppfyllelse 37

Målobjekt 38

Prestationer 38

Processutvärdering 39

Programteori 40

Reliabilitet 43

Resultat 44

Samhällsekonomisk utvärdering 44

Syfte 46

Teori 47

Teoribaserad utvärdering 48

Triangulering 49

Uppföljning 50

Urval 50

Utvärdering 52

Validitet 53

Referenser 55

S KO L I N S P E K T I O N E N 5

Figurförteckning Figur 1. Från bedömningsgrund till bedömningskriterier i kvalitetsgranskning 12

Figur 2. Principiell illustration av experimentell design 16

Figur 3. Vad värderas i termer av effektivitet? 19

Figur 4. En generell programteori 40

Figur 5. En programteori för inspektionsverksamheten 41

Figur 6. Alternativa vägar att öka elevers förmåga att lära 42

Figur 7. Företagsekonomisk kalkyl visavi samhällsekonomisk kalkyl 45

S KO L I N S P E K T I O N E N6


Skolinspektionens förord

Skolinspektionen har i uppdrag av regeringen att regelbundet utföra kvalitets-granskningar av skolväsendet, förskoleverksamheten och skolbarnsomsorgen. Då kvalitetsgranskningarna ofta berör mångdimensionella frågor ställer det krav på god kunskap om lämplig utredningsmetodik. För att nå trovärdiga och tillför-litliga resultat är det tydligt uttalat att vedertagna och vetenskapligt underbyggda metoder ska användas.

Under 2009 utvecklades en processbeskrivning och modell för Skolinspek-tionens kvalitetsgranskningar, i syfte att främja en god och enhetlig kvalitet i granskningsarbetet (PUQ-projektet). Inom ramen för detta utvecklingsarbete arbetades även en rad stödmaterial fram och ytterligare planerades. Bland annat gavs i uppdrag åt docent Lena Lindgren vid förvaltningshögskolan, Göteborgs universitet att ta fram ett stödmaterial i form av en grundläggande terminologi-handbok. Avsikten var i första hand att ge underlag för en gemensam kännedom om centrala metodologiska begrepp och en medveten begreppsanvändning inom myndigheten.

Arbetet med terminologihandboken har under hösten 2009 och våren 2010 följts av en arbetsgrupp inom Skolinspektionen bestående av Karin Améen, Birgitta Henecke och Viveca Serder som har granskat och kommenterat olika utkast.

Den terminologihandbok som här presenteras består av en förklarande och resonerande text om ett 40-tal metodologiska nyckelbegrepp. Den är en del av det stödmaterial som myndigheten tagit fram för att användas aktivt i vårt arbete. Författaren ansvarar dock själv för de olika tolkningar och ställningstaganden som görs i texten.

Ann-Marie BeglerGeneraldirektör


Författarens förord

Denna handbok omfattar ett fyrtiotal metod- och utvärderingsrelaterade begrepp som kan tänkas bli aktuella i Skolinspektionens kvalitetsgranskningsarbete. Begreppen förklaras och kommenteras i bokstavsordning med utgångspunkt dels i allmän samhällsvetenskaplig metodlära, dels i svensk och internationell utvärderingslitteratur. För varje begrepp finns med enstaka undantag referenser angivna som kan användas för fördjupad läsning. Några referenser avser andra terminologi-handböcker som utvecklats inom eller med bäring på utvärderings-området (Dansk Evalueringsselskab 2004; Ekonomistyrningsverket 2004; NIAD-UE 2009; Sanders 1994; Scriven; 1991; SIDA 2007; Vedung 2000).

Även om skillnader finns påminner kvalitetsgranskning i många avseenden om utvärdering, därav bruket av utvärderingslitteratur i denna skrift. Utvärdering utgör ett eget kunskapsområde som innefattar såväl praktiska ”hur-frågor” som filosofiskt inriktade ”varför-frågor”. I utvärderingslitteraturen förekommer en flora av modeller och ansatser som många författare försökt kategorisera, bland annat Stufflebeam & Shinkfield (2007). Med utgångspunkt i Rossi, Freeman & Lipsey (2004), förmodligen den mest använda läroboken i ämnet, beskrivs i denna termi-nologihandbok fem sätt att ta sig an utvärdering (behovsanalys, programteoriut-värdering, processutvärdering, effektutvärdering och samhällsekonomisk utvär-dering). Dessa utgör enligt min mening huvudansatser i utvärdering under vilka andra modeller, som inte inbegrips i denna terminologihandbok, kan inordnas.

För att levandegöra framställningen har jag genomgående strävat efter att hitta exempel från skolans område. I några fall finns också kommentarer som dis-kuterar den angivna begreppsförklaringen i förhållande till riktlinjer och rekom-mendationer i Skolinspektionens processmodell för kvalitetsgranskning. Några begrepp är enkla och entydiga och har en kort förklaring, andra är mer komplexa och har en förklaring över flera sidor. Många begrepp är också kopplade till var-andra och för att underlätta sådana kopplingar finns korsreferenser markerade med fetstil.

I handboken hänvisas flitigt till kvantitativt respektive kvalitativt orienterad forskning. Det är en beteckning som används i flertalet metodläroböcker och är enligt de flesta ett fruktbart sätt att klassificera forskningsstrategier åt vad


beträffar metodologi och metoder. Med metodologi avses här ett metaperspektiv på metoder i form av ontologiska och epistemologiska antaganden, alltså frågor om verklighetens beskaffenhet och hur vi når kunskap om den. Metoder avser procedurer och tekniker för datainsamling och analys. Även om distinktionen kvantitativ/kvalitativ inte är kristallklar och de två synsätten inte är så oförenliga som vissa menar, så finns tydliga mönster i hur kvantitativa respektive kvalitativa forskningsstrategier förhåller sig till frågor om metodologi och metod.

Under arbetet med denna handbok har det för mig själv blivit allt mer uppen-bart att många metodrelaterade begrepp som har sin upprinnelse i kvantitativ forskning inte sällan används i sin ursprungliga betydelse även i kvalitativ forsk-ning, trots helt skilda ontologiska och epistemologiska antaganden. I motsats till en sådan hållning förespråkas här ett pluralistiskt synsätt med vilket menas att begreppens förståelse kan och bör tillåtas variera mellan olika vetenskapliga traditioner och synsätt. Ett sådant pluralistiskt synsätt ställer dock krav på att den som tillämpar begreppen är medveten om de skilda underliggande meta-teoretiska antaganden som kvantitativa och kvalitativa forskningsstrategier vilar på. Att utveckla vari dessa skillnader består ryms emellertid inte i denna termi-nologihandbok. Inte heller behandlas enkäter, intervjuer, fokusgrupper och andra metoder för datainsamling och analys.

För texten i denna terminologihandbok svarar författaren som dock vill tacka Karin Améen, Birgitta Henecke och Viveca Serder på Skolinspektionen för kloka synpunkter under arbetets gång.

Lena Lindgren

Göteborg i juni 2010


AktiviteterNär ett studieobjekt beskrivs i form av en programteori utgör aktiviteter en av programteorins faser. Aktiviteter är därmed åtgärder eller arbetsinsat-ser genom vilka inflöden såsom pengar, personal och andra resurser tas i anspråk för skapande av specifika prestationer. Aktiviteter kan beskrivas som en verksamhets maskinrum, där grogrunden för resultatet skapas. Andra ord för aktiviteter är processer, metoder, handlingar eller tekniker. I skolan kan aktiviteter vara undervisning, studiedagar, utvecklingsprojekt, kampanjdagar mot mobbning etc.

AttributionAttribution innebär tillskrivandet av ett orsakssamband mellan iakttagna (el-ler förväntade) förändringar och en viss åtgärd. Begreppet har sitt ursprung i socialpsykologiska teorier om hur vi förklarar egna och andras handlingar. Teorierna utgår från att människan vill ha en balanserad och sammanhän-gande bild av verkligheten varför hon söker meningsfulla orsaker till det inträffade eller upplevda. Socialt beteende ses därför inte som slumpmäs-sigt utan kan förklaras med hjälp av faktorer dels i miljön, dels i den person vars beteende man vill förklara (Weiner 2008).

I engelskspråkig utvärderingslitteratur används emellanåt termen ”attri-bution” i samband med effektutvärdering, det vill säga när frågan är huru-vida ett orsakssamband som identifierats är en effekt av en viss insats (se även effekter). Mc David & Hawthorn (2005, s 435) definierar exempelvis “attribution” så här: ”The extent to which the program, and not some other factors in program environment, caused the observed outcomes.” I svensk-språkig, allmän samhällsvetenskaplig metodlära och utvärderingslitteratur förekommer termer som attribution och attribuera sällan.


Bedömningsgrund, bedömningskriterierDen centrala uppgiften i all utvärdering, är systematisk värdering eller bedömning. Hur detta görs är ett vedertaget signum på en god utvärdering, för som Sanders (1994, s 43) förklarar i The Program Evaluation Standards: “The perspectives, procedures, and rationale used to interpret the find-ings should be carefully described, so that the bases for value judgments are clear.” Samma starka krav på systematik i bedömning ska enligt Skol-inspektionens definition också prägla kvalitetsgranskning som innebär en systematisk undersökning och bedömning av en verksamhets kvalitet inom ett avgränsat område. Bedömningen ska vila på en solid empirisk grund och utgångspunkterna för bedömning ska tydligt redovisas.

Bedömningar måste utgå från en bedömnings- eller värderingsgrund, men vilken denna ska vara bör bestämmas från fall till fall. Var bedömnings-grunder bör hämtas och vilka de kan vara är en nyckelfråga i utvärderings-litteraturen där ”theories of valuing” utgör ett eget teoretiskt fält (House & Howe 1999; Karlsson 1995; Shadish, Cook & Leviton 1991). Med utgångs-punkt i insikter från detta fält beskriver Vedung (2009) ett deskriptivt och ett preskriptivt förhållningssätt till bedömningsfrågan.

Ett deskriptivt förhållningssätt innebär att en verksamhet bedöms utifrån någon redan given bedömningsgrund, exempelvis nationella mål i läroplanen eller juridiska krav som rättssäker handläggning. Till denna grupp av bedöm-ningsgrunder kan också räknas generella förvaltningspolitiska värden som produktivitet och effektivitet. Vid ett preskriptivt förhållningssätt tillämpar utvärderaren en värdegrund som hon eller han finner adekvat, exempelvis definitioner och tolkningar av teoretiska begrepp såsom jämlikhet, demokra-tiska arbetsformer eller framgångsfaktorer som härletts ur forskning inom det område som utvärderingen eller kvalitetsgranskningen handlar om.

I praktiken är det troligen omöjligt att renodlat tillämpa en deskriptiv respektive preskriptiv ansats, i båda fallen krävs normalt ett stort mått av tolkning. Valet av bedömningsgrund kan inte heller betraktas som isolerat från värderingar som styr de andra val som en kvalitetsgranskningsprocess innefattar såsom val av granskningsobjekt, vilken kunskap som söks och vilka metoder som används för att generera denna kunskap. Vi får inte heller glömma att skolan, liksom den offentliga sektorn i stort är politiskt styrd och att värden som rättvisa, jämlikhet etc. är en del av politiken. Att i en kvalitets-granskning på ett systematiskt sätt komma fram till att en skolas arbete med exempelvis jämställdhet är ändamålsenligt och har en hög kvalitet må vara möjligt, men att bedöma värdet i att överhuvudtaget arbeta med jämställdhet ligger utanför kvalitetsgranskningens uppdrag.

I förlängningen av ett preskriptivt förhållningssätt, och i den mån det inom ett verksamhetsområde finns välutvecklad och empiriskt grundad teoribild-ning kan denna användas som utgångspunkt för värdering. Teorierna an-vänds för att ringa in vad som ska granskas samtidigt som de ger en grund för att analysera granskningens resultat. I utvärderingslitteraturen kallas en sådan ansats teoribaserad utvärdering. Enligt Skolinspektionens definition ska kvalitetsgranskningar grunda sig på författningar inom skolområdet vars


mål uttolkas med stöd av förarbeten men även forskningsresultat och beprö-vad erfarenhet. Kvalitetsgranskning har på detta vis en hel del likheter med teoribaserad utvärdering. Det är bland annat myndighetens granskning av läsprocesser i svenska och naturorienterande ämnen, som utgår från aktuell forskning om läsutveckling, ett exempel på (Skolinspektionen 2010).

När frågan om bedömningsgrund är löst återstår att operationalisera den valda bedömningsgrunden så att den blir undersökningsbar. En operationell definition av till exempel likvärdig betygssättning beskriver de operationer som ska utföras för att avgöra förekomsten av dylik betygssättning. För-faringssättet påminner om den procedur som ska till i kvantitativt orienterad forskning vilket figuren nedan är tänkt att illustrera:

Figur 1. Från bedömningsgrund till bedömningskriterier i kvalitets-granskning

Bedömningskriterier är med andra ord ett mått eller annan mätpunkt som används i utvärdering för att avgöra om den utvärderade verksamheten är bra eller dålig, framgångsrik eller misslyckad. Så här beskriver Scriven (citerad i Karlsson 1999, s 42) logiken för hur bedömning i utvärdering bör gå till:

1. Vilka kriterier finns för att bedöma och hur kan de väljas ut?2. Vilka mått och nivåer på utfall, vilka referenspunkter, kan anges för

olika kriterier?3. Hur och av vem kan bedömningen ske?4. Hur kan resultaten för respektive kriterium vägas samman?

BegreppAtt utveckla och pröva teorier är målet med vetenskap och begrepp utgör teorins byggstenar. Nationalencyklopedin definierar begrepp som det ab-strakta innehållet hos en språklig term till skillnad från dels termen själv, dels de (konkreta eller abstrakta) objekt som termen betecknar eller appliceras

Teori

Hypotes-formulering

Begrepps-definition

Operationell definition

Relevanta mål/styrdokument, förarbeten, utrednings- och forskningsresultat identifieras och sammanställs. Sammanställningen utgör kvalitetsgranskningens bedömningsgrund.

Antaganden om kvalitetsaspekter och framgångsfak-torer härleds ur bedömningsgrunden

Nyckelbegrepp i hypoteserna definieras teoretiskt.

För varje nyckelbegrepp anges vilka operationer som ska utföras, och vilka data som ska samlas in för att avgöra begreppens förekomst samt hur de gestaltar sig i den granskade verksamheten. Den operationella definitionen utgör kriteriet för bedömning.

6

6

6



på. Begrepp är således inte namn på något som redan finns ute i verklig-heten och som har givna egenskaper, utan står för människans mentala föreställning om företeelser i verkligheten. Med till exempel begreppet svensk avses således den innebörd och de kännetecken vi lägger i ”svensk”, vilket måste skiljas från det land som har namnet Sverige. Vanligt förekommande begrepp i skolans värld såsom värdegrund, kunskapssyn och progression representerar på liknande sätt en etikett som vi sätter på de delar av denna värld som verkar uppvisa liknande drag och som anses viktiga.

Om olika begrepp ska kunna användas i en undersökning, eller över-huvudtaget kommuniceras måste de förses med ord eller termer som de-finierar deras innebörd. Alla termer är också ord men alla ord är inte termer. Ord i allmänt språkbruk kan ha en vid och ibland ganska vag betydelse, men när ord används som termer får de en betydligt snävare betydelse. En term är ett ord som genom tradition eller överenskommelse används inom ett speciellt fackområde i en väl avgränsad betydelse, och man säger då att en terminologisering av ordet har skett (www.sprakradet.se). Socialsty-relsen har till exempel en webbaserad termbank som en del av det natio-nella fackspråket inom hälso- och sjukvård och socialtjänst.

BehovsanalysBehovsanalys är en vanligt förekommande metod inom en mängd olika om-råden, exempelvis inom marknadsföring där den används för att bland an-nat ta reda på vilka behov, egenskaper etc. som kunder tycker är viktigast. Behovsanalys är också traditionellt en del av området policyanalys där frågor som rör den normativa naturen hos olika policyproblem på senare år fått starkt ökad uppmärksamhet genom uttrycket ”the normative turn” (Hill 2009). Behovsanalys, på engelska ”needs assesssment”, utgör vidare en av fem huvudansatser för utvärdering som beskrivs i Rossi, Lipsey & Free-man (2004, s 130):

”Needs assessment attempts to answer questions about the social conditions a program is intended to address and the need for the program, or to determine whether a new program is needed. More generally, it may be used to identify, compare, and prioritize needs within and across program areas.”

Samhälleliga problem som behöver åtgärdas genom statliga eller kommunala åtgärder utgör grunden för behovsanalys. I en behovsanalys ingår att noggrant formulera problemet (orsaker, egenskaper och konsekvenser, intressenter etc.), bedöma dess omfattning och grad, identifiera vad vi vet om problemet, likheter med andra problem, samt beskriva och föreslå vad som behöver/kan/bör göras för att åtgärda problemet (se till exempel Witkin & Altschuld 1995). I detta sammanhang är det viktigt att ha i minnet att ett socialt problem, liksom de lösningar som förfäktas, aldrig är ett objektiv fenomen, utan snarare en so-cial konstruktion. Ett illustrerande exempel som nämns i Rossi, Lipsey & Free-man (ibid.) är problemet med tonårsgraviditeter som diskuteras dels utifrån ett genusperspektiv, dels utifrån ett politiskt-ideologiskt perspektiv som ifrågasät-ter om problemet alls bör/kan lösas med offentliga åtgärder.

Som vi sett ingår ett värderande moment i behovsanalys, men att behovs-analys därför ska betraktas som en utvärderingsansats är inte självklart. I till


exempel Vedungs (2009) definition av utvärdering inkluderas inte ex-ante bedömningar av tänkta eller möjliga men ännu inte beslutade åtgärder. Utvärdering är enligt honom retrospektiv bedömning, ex-post, av beslutade, pågående eller avslutade åtgärder.

Deduktion, induktion, abduktionDeduktion och induktion handlar om synen på förhållandet mellan teori och empiri i samhällsvetenskaplig forskning. Ett deduktivt synsätt (som ofta för-knippas med kvantitativ forskning) innebär att teorin styr forskningen. Veten-skapliga teorier betraktas här som utgångspunkt för empiriska studier. Utifrån det man vet inom ett visst område härleder eller deducerar forskaren en eller flera hypoteser (inklusive därtill hörande operationaliserade begrepp) som ska underkastas empirisk prövning. Ett induktivt synsätt (som vanligen förknip-pas med kvalitativ forskning) innebär att teorin är ett resultat av forskningen. Begrepp, hypoteser och teorier utvecklas här ur den empiri som undersöks.

Som Bryman (2008) påpekat utgör detta idealtypiska bilder av ett deduk-tivt respektive induktivt synsätt på forskning. Såväl kvantitativ som kvalitativ forskning är ofta både induktiv och deduktiv till sin karaktär. Det går förvisso ofta att urskilja de olika dominerande grunddragen i olika studier, men lika ofta finner vi avsteg från idealtyperna. Inte sällan används en kombination av deduktion och induktion vilket kallas för abduktion som är ett svårfångat begrepp med flera olika betydelser. Den vanligaste är dock att abduktion ses som en form av slutledning där vi 1) har en empirisk företeelse, som vi 2) relaterar till en tolkningsram/teori, vilket 3) leder fram till ett nytt antagande om företeelsen (Danemark med flera 2003).

Design En design, undersökningsuppläggning eller undersökningsplan kan i forsk-ningssammanhang liknas vid en ritning av ett hus. En design är ett ramverk för generering av empiriska data och bestäms av aspekter av forskningsproces-sen som vilka frågor som ska studeras, graden av kontroll och vilken typ av resultat som eftersträvas (förutsägelse, beskrivning, förklaring). Val av design speglar i sin tur mer eller mindre medvetna ställningstaganden kring episte-mologiska spörsmål, framförallt vad som ska anses som trovärdig och general-iserbar kunskap och vilka metoder som bör brukas för att producera sådan.

Det är lätt att blanda ihop design och metoder. En forskningsmetod är helt enkelt de tekniker och procedurer som brukas för att samla in och ana-lysera data; intervjuer, observationer, dokumentanalys etc. Design däremot är ett vidare begrepp som i mångt och mycket handlar om att välja under-sökningsenheter och egenskaper hos dessa enheter. Esaiasson med flera (2003) definierar design som beslut om vilka jämförelser som görs för att det ska bli möjligt att dra trovärdiga slutsatser om ett forskningsproblem. Såväl design som val av metod för insamling och analys av data styrs emellertid av vilka frågeställningar som forskningen avser att besvara.


Forskningsdesign är ett populärt ord i metodböcker, men något entydigt och av alla accepterat sätt att klassificera forskningsdesign finns inte. En grundläggande skillnad är dock den mellan experimentell och icke-experi-mentell design där den förra innebär en tydlig fokusering på orsak-verkan relationer samt krav på att forskaren kan manipulera de variabler som är av intresse. Icke-experimentell design används när målet är att beskriva och förklara, snarare än att kunna förutsäga orsak-verkan relationer. En vanligt förekommande indelning, som utgår från nu nämnda skillnad, består av föl-jande fem typer av forskningsdesign:

Experimentell design är den mest välkända och respekterade uppläg-get inom medicinsk och psykologisk forskning, liksom inom den rörelse som finns mot en mer evidensbaserad praktik. ”Randomized controlled trials” (RCT) är den engelska beteckningen som av sina förespråkare ibland be-skrivs som ”the gold standard” för effektutvärdering, det vill säga där syftet är att ta reda på om en insats leder till förväntade effekter. Experimentell design är deduktiv till sin karaktär, den kräver att den insats som ska stude-ras bygger på en befintlig teori.

Studier upplagda som experiment med slumpmässig kontroll innebär jäm-förelser av två grupper som i alla relevanta avseenden liknar varandra, men där bara den ena gruppen har varit föremål för en viss insats. Grupperna dras ur en population som uppfyller vissa kriterier och fördelas slumpvis (ran-domiserat) till experiment- eller kontrollgrupp. Helst ska fördelningen också vara dubbelblind, så att varken undersökningsgrupper eller försöksledare vet vem som tillhör vilken grupp.

Figur 2. Principiell illustration av experimentell design

Det finns en grundläggande skillnad mellan laboratorieexperiment och fält-experiment. Ett laboratorieexperiment förutsätter att deltagaren infinner sig på en viss plats, som undersökaren valt och utformat, och blir där föremål för en insats. Ett fältexperiment utförs i en naturlig miljö, som i ett klassrum eller i en skola, där insatsen i regel överförs utan att deltagaren är medveten om att han eller hon deltar i ettill exempelperiment.

Kvasiexperimentell design liknar experimentell design men saknar den senares huvudingrediens, slumpmässig kontroll. ”Quasi-experimental de-sign” myntades av Campbell & Stanley (1963) och rymmer inom sig ett flertal olika upplägg, bland annat följande som finns beskrivna i Vedung (2009) och ESV (2006):

Matchad kontroll. Experiment- och kontrollgrupp uppträder naturligt i samhället. Experimentgruppen jämförs med kontrollgruppen som på teoretiska (icke-slumpmässiga) grunder är jämförbar i relevanta avseenden.

Före mätning

Före mätning

Efter mätning

Efter mätning

Insats/Intervention

Ej insats, jämförbar insats, standardinsats


Generisk kontroll. Resultatet för en grupp som fått ta del av en insats jämförs med vad som är det normala i en större grupp av samma kategori.

Reflexiv kontroll (refererande till sig själv, kontrollgrupp saknas). De som fått ta del av en insats jämförs med sig själva, före och efter insatsen.

Skuggkontroll. Bedömningar av effekter av en insats görs av insikts-fulla människor, till exempel experter eller andra deltagare som får uppskatta vad programmet åstadkommit samt hur det skulle blivit om programmet inte funnits.

Tvärsnittsdesign, eller surveyundersökning som är ett synonymt begrepp, innebär att man 1) samlar in kvantitativa eller kvantifierbara data från många undersökningsenheter, 2) om de variabler som är av intresse, 3) vid en speciell tidpunkt. Syftet är att komma fram till sambandsmönster mellan två eller fler (oftast många fler än två) variabler. Med denna typ av design kan man komma fram till om det finns någon slags koppling mellan variabler, men inte om kopp-lingen är kausal. Forskning med detta slags design är liksom experimentell och kvasi-experimentell design deduktiv till sin natur (Bryman 2008).

Med en longitudinell design studeras ett urval (individer, grupper, organi-sationer) först en gång och sedan minst en gång till. Man brukar skilja på två typer av longitudinell design. En panelstudie är en upprepad undersökning med samma urval (som ofta är representativt för en hel nation, till exempel individer, hushåll, organisationer och skolor) i syfte att ta reda på i vilken utsträckning urvalet förändrats i ett givet avseende över tid. I en kohort-studie väljs en noggrant beskriven grupp (kohort) av människor med någon bestämd gemensam erfarenhet (till exempel födelsetid, adopterade, elever från en viss skola) vilken följs under en längre tid för att se hur de utvecklas i något avseende. Ofta har man flera olika grupper som följs för att se om det blir någon skillnad i olika grupper.

Det finns ingen allmän enighet om innebörden av fallstudier, det har istäl-let blivit en samlingsterm för undersökningar som inte är entydigt experimen-tella, surveyinriktade eller historiska i sitt upplägg. Många reserverar dock termen fallstudie för sådana undersökningar där fallet av egen kraft utgör fokus för intresset och där mål är insikt, upptäckt och tolkning (det vill säga induktion) snarare än hypotesprövning (och deduktion). Ofta förknippas fallstudier med kvalitativ forskning, men metodmässigt kan fallstudier inbe-gripa både kvalitativa och kvantitativa tekniker för datainsamling och analys (Bryman 2008; Merriam 1994). Ett fall kan vara en viss del av ett samhälle, en speciell skola eller organisation av annat slag, en person eller en hän-delse. Logiken för urval av fall i kvalitativa fallstudier brukar beskrivas som ändamålsenlig (purposeful) för att upptäcka, förstå och få insikt, inte för att svara på frågor om hur mycket eller hur ofta (Patton 1990).

Effekt, effekterEn effekt är en förändring som inträffat som en följd av en vidtagen åtgärd och som annars inte skulle ha inträffat. Effekter av sociala verksamheter som utbildning handlar ofta om förändringar i attityder, kunskap, motivation,


förmåga och beteende hos de människor som tar del av eller deltar i aktivi-teten. I många fall handlar det inte bara om en sorts effekter, utan om en serie eller kedja av avsedda effekter där den ena är beroende av den andra. Ofta används därför benämningar som kortsiktiga, mellanliggande och lång-siktiga effekter. Utöver avsedda effekter kan det också finnas bieffekter, vilka i sin tur kan vara såväl positiva som negativa.

För att kunna undersöka effekter behöver vi hålla isär utfall och effekter. Utfallet beskriver ett konstaterat tillstånd eller en händelse som har inträf-fat. Det är ganska lätt att beskriva ett förändrat tillstånd hos ett målobjekt, till exempel ett ökat intresse för miljöfrågor hos elever. Men att med säker-het kunna säga att det ökade intresset för miljöfrågor är en effekt av en viss åtgärd, till exempel en temavecka i skolan, är mycket svårare. Effekt innebär följaktligen alltid en jämförelse mellan den faktiskt uppmätta förändringen och den utveckling som vi tror skulle ha inträffat utan den vidtagna åtgärden, den så kallade kontrafaktiska utvecklingen (latin: contra facta, mot fakta, som aldrig ägt rum), till exempel vilket intresse för miljöfrågor elever skulle haft om de inte deltagit i temaveckan. Skillnaden mellan faktiska och den kontrafak-tiska förändringen utgör effekten (Ekonomistyrningsverket 2006).

På engelska används vanligen termerna ”outcome” (förändrat tillstånd/utfall) och ”impact” (effekt) på motsvarande sätt. I till exempel Rossi, Lipsey & Freemans populära lärobok i utvärdering (2004) finner vi följande definitioner:

Outcome. The measurement and reporting of indicators of the status of the social conditions the program is accountable for improving.

Impact. The net effects of a program, i.e. the effects of an interven-tion that can be attributed uniquely to it, that is, with the influence of confounding effects from other sources controlled or removed.

En annan, inte alldeles ovanlig, förståelse av nu nämnda begrepp är att definiera ”outcome” som effekter på kort och medellång sikt och ”impact” som effekter på lång sikt (SIDA 2007; KREVI 2008).

Att på ett vetenskapligt säkert sätt fastställa att en konstaterad föränd-ring hos ett målobjekt, till exempel en grupp elever, är en effekt av viss given åtgärd är som antytts svårt. Inom utbildningsområdet och samhällsvetenskap i stort är det näst intill omöjligt. Problemet ligger i det faktum att människor påverkas av en mängd ”störfaktorer” i omvärlden som det inte går att ha kon-troll över, och ett kontrafaktiskt tillstånd kan aldrig säkert fastställas. Utbild-ningsområdet utgör i det avseendet enligt Berliner (2002, s 19) ”the hardest science of all” därför att:

”Context is of such importance../…/Any teaching behavior interacts with a number of student characteristics. Simultaneously, student behavior is interacting with teacher characteristics, such as the teacher’s training in the subject taught and conceptions of learning… But it doesn’t end there because other variables interact with those just mentioned – the curriculum materials, the socioeconomic status of the community, peer effects in the school… and so forth. Moreover, we are not even sure in which directions the influences work, and many are surely reciprocal.


Som Vedung (2009 s 217) förklarar att några av vår tids skarpaste hjärnor brottats med det så kallade effektproblemet utan att komma fram till ”mer än i och för sig kanske geniala men ändå inte mer än försök till lösningar”. De lösningar eller design för effektutvärdering som Vedung syftar på finns noggrant beskrivna på svenska i Vedung (2009) och Ekonomistyrningsverket (2006), samt på engelska i Rossi, Lipsey & Freeman (2004).

EffektivitetAtt ge sig i kamp med begreppet effektivitet är inte det lättaste vilket bland annat beror på att svenskan använder effektivitet för att beskriva flera olika saker, medan engelskan har flera termer att ta till, framför allt ”effectiveness” och ”efficiency”. Dessa termer är som Vedung (2009, s 149) påpekar luriga för svenskar och andra nordbor eftersom vi inte alltid observerar den skillnad som impliceras av de engelska termerna. Dessutom används de i en rad olika sammanhang med egna specifika betydelser; medicin, fysik, national-ekonomi, företagsekonomi och till och med teologi.

Figur 3. Vad värderas i termer av effektivitet?

Effectiveness: The extent to which an … intervention’s objectives were achieved, or are expected to be achieved, taking into account their relative importance. … Also used as an aggregate measure of (or judgement about) the merit or worth of an activity, i.e. the extent to which an intervention has attained, or is expected to attain, its major relevant objectives efficiently. “Doing right things”.

Efficiency: A measure of how economically resources/inputs (funds, expertise, time, etc.) are converted to results. “Doing things right”.

I utvärderingssammanhang är effektivitet vanligt förekommande som bedöm-ningskriterium. Då utvärderingslitteraturen domineras av engelskspråkiga texter är det viktigt att förstå innebörden i engelska effektivitetsbegrepp, samt hur de förhåller sig till svensk terminologi. Figuren och citaten här ovan används ofta för att illustrera begreppens innebörd samt vad i en verksamhet

Behov Effekter

Mål Inflöden Aktiviteter Prestationer

Relevans Produktivitet

Effektivitet


som värderas på basis av ”effectiveness” respektive ”efficiency” (McDavid & Hawthorn 2005; SIDA 2007).

Effektivitet som i ”effectiveness” betyder således på svenska att få gjort det som ska göras, måluppfyllelse med andra ord eller yttre effektivitet. Ef-fektivitet som ”efficiency” handlar om inre effektivitet, att det som görs inom en organisation åstadkoms med minsta möjliga ansträngning. Inre effektivi-tet är synonymt med produktivitet som det finns olika typer av, till exempel kostnadsproduktivitet, arbetsproduktivitet och styckkostnad (Sandahl 1991; Vedung 2009).

I båda fallen gäller att effektivitet är ett relativt mått som blir intressant först vid en jämförelse, exempelvis över tid inom en organisation eller mellan organisationer.

I en bok med titeln Tillsyn och effektivitet lanserar Johansson (2006) be-greppet ”politisk effektivitet” som handlar om i vilken grad som medborgarna och den politiska ledningen i ett land uppfattar att det som blir utfallet av det politiska systemet är det man önskar. Inspektion är i det sammanhanget ett styrmedel för att se till att den politiska effektiviteten är så hög som möjligt.

I Skolinspektionens processmodell för kvalitetsgranskning förekommer termer som ändamålsenlig eller verkningsfull lösning. Begreppet kvalitet är här nära knutet till dessa termer. Hög kvalitet ska en verksamhet anses ha om de lösningar som valts för att nå målen är tillräckligt verkningsfulla och ändamålsenliga i förhållande till nationella mål. Inga bedömningar av proces-ser bör enligt processmodellen göras utan att deras funktionalitet sätts i re-lation till uppnådda resultat. Utan tvekan har nu nämnda termer stora likheter med effektivitetsbegreppet.

Effektutvärdering En effekt är en förändring som inträffat som en följd av en vidtagen åtgärd och som annars inte skulle ha inträffat. Med effektutvärdering avses således studier som undersöker om en viss insats (till exempel ett folkhälsoprojekt i skolan) har lett till de effekter som kan förväntas (till exempel bättre diet). Så här definieras effektutvärdering (på engelska ”impact assessment”) i en vanligt förekommande lärobok i utvärdering:

”An evaluative study that answers questions about program outcomes and impact on the social conditions it is intended to ameliorate. Also known as impact evaluation or an outcome evaluation” (Rossi, Lipsey & Freeman 2004, s 427).

Med en utvärdering av detta slag vill man få svar på frågan om det fungerar, alternativt om det fungerar bättre än alternativet. Det finns flera tänkbara typer av design (experimentell, kvasiexperimentell, tvärsnittsstudier, fall-studier) för att besvara frågor av detta slag, och vilken som väljs beror på med vilken grad av säkerhet man vill kunna uttala sig om sambandet mellan effekter och insats. Effektutvärdering kräver att det finns förväntade effekter av något slag, vanligen i form av mål. Målen måste vara tydligt uttalade så att de förväntade effekterna kan preciseras och göras utvärderingsbara. En central förutsättning för effektutvärdering är också att det måste föreligga en tidsserie med data, utvärderaren måste ha information om situationen före insatsen och hur den eventuellt förändrades efteråt (Vedung 2009).


På senare år kan en stark ökning av intresse för och behov av effektutvär-deringar noteras inomed fleraertalet politikområden, inte minst utbildning. I direktiven till utredningen om utvärdering av utbildning skriver regeringen att ”Tillgången till bland annat policyrelevanta studier av hög vetenskaplig kvalitet som tar sikte på effekter av utbildningspolitiska beslut behöver öka” (SOU 2009:94, s 25). Till skillnad från dem som ser experimentell design som den enda tänkbara uppläggningen av effektutvärdering förespråkar ut-redaren att det finns olika sätt att studera effekter. Utöver att mäta effekter av måluppfyllelse finns också utvärderingar/forskning som inte har en specifik insats som utgångspunkt, utan istället mera fritt försöker hitta orsaksfaktorer till ett visst uppmätt tillstånd. Exempel som nämns är varför elever lämnar skolan utan fullständiga betyg eller hur modersmålsundervisningens före-komst och organisering påverkar elevers resultat.

En liknande mera öppen hållning till effektutvärdering förespråkar The European Evaluation Society (2007) som i ett uttalande skriver så här:

”The European Evaluation Society (EES)…notes the current interest in improving impact evaluation and assessment...EES however deplores one perspective currently being strongly advocated: that the best or only rigorous and scientific way of doing so is through randomized controlled trials. In contrast, the EES supports multi-method approaches to impact evaluation and does not consider any single method as first choice or as the ‘gold standard’.

Evidens I en allmän mening betyder evidens av latinets evidentia (tydlighet) bevis, belägg, tecken på eller stöd för, det vill säga något som bedöms tyda på att ett visst förhållande gäller. Inom exempelvis juridik talar man om att det för fällande dom krävs ”bevis bortom rimligt tvivel”. I vetenskapliga sam-manhang talar man om evidens som tillförlitlig kunskap som ett generellt kriterium på god forskning. Vad tillförlitlig kunskap är och vilka metoder som bör användas för att frambringa densamma, varierar dock mellan olika ämnesområden och mellan olika vetenskapsteoretiska perspektiv. Att en-tydigt definiera begreppet evidens inom vetenskapen är enligt det synsätt som här förespråkas inte möjligt eftersom evidens kan ta sig olika uttryck och värderas på olika sätt.

Det ökade intresset för och kravet på att sociala program, åtgärder och arbetsmetoder ska vara evidensbaserade har föranlett en omfattande vetenskaplig debatt om vad som krävs för att man ska kunna säga att det finns evidens för exempelvis en arbetsmetod inom skolan. Kunskap om relationen mellan en viss arbetsmetod och utfallet av densamma handlar om kausalitet, och hur man kan och bör dra slutsatser om kausalitet är det som evidensdebatten handlar om. Inläggen i debatten är som Christie & Fleisher (i Donaldson med flera 2009, s 21) noterat djupt rotade i olika ontologiska och epistemologiska perspektiv: ”…arguments about evi-dence, and more specifically credible evidence, call into question our basic notions of truth and science and the ways in which we perceive the world around us.” Det är inte svårt att se likheter mellan nu nämnda debatt och


det så kallade paradigmkriget mellan kvantitativt och kvalitativt orienterad forskning på 1970- och 1980-talen som till synes upphörde, men uppstod igen med den så kallade evidensrörelsen.

Förenklat kan debatten om evidensbegreppet delas in i två polära kate-gorier av forskare med skilda vetenskapsteoretiska utgångspunkter som förordar hur vi bör förhålla oss till frågor som rör kausalitet.

I den ena kategorin finner vi de som utifrån en logisk empiristisk eller positivistisk grundsyn ser evidens som strikt kopplat till metod. Forskning som strävar efter att belägga orsakssamband ska enligt detta synsätt vara empirisk och bedrivas på basis av etablerade metoder som kan rangord-nas efter godhetsgrad, det vill säga efter med vilken säkerhet de ger säker kunskap om effekter och kausala samband. I denna rangordning som kallas evidenshierarkin, tillmäts randomiserade experiment (på engelska randomi-zed controlled trials, RCT) störst trovärdighet, tvärsnitts- eller surveystudier lägst och så kallade kvasiexperimentella studier återfinns däremellan. Kvalita-tiva fallstudier ingår inte i evidenshierarkin. Allra bästa evidens åstadkommes genom systematiska kunskapsöversikter där resultat från många studier, fö-reträdesvis sådana som genomförts med RCT, inom ett område kombineras för att belysa effekter och kausala samband.

Den andra kategorin forskare utgår från en mer pluralistisk kunskapssyn, om än med stark förbindelse till hermeneutik och konstruktivism. Författare inom denna kategori anser att evidenshierarkin bygger på en metodologisk fundamentalism genom den starka koppling som där görs mellan tillförlitlig kunskap, evidens, och resultat från RCT-studier. Scriven (i Donaldson med flera 2009) säger rentav att evidens, som är ett vetenskapligt nyckelbegrepp helt felaktigt används synonymt med resultat från RCT-studier. Evidens kan inte begränsas till att gälla bara en enda forskningsmetod. Evidenshierarkin exkluderar vad som räknas som evidens inom exempelvis juridik, historia och humaniora men även matematik, fysik, geologi och andra ämnesområden. Ett roligt, och samtidigt mycket tänkvärt, exempel hämtar Scriven (ibid., s 135) från astrofysik:

”…in astrophysics we have no difficulty in providing causal explanations about the motion of bodies like comets and meteorites moving under gravitational forces, although we are obviously not able to do experiments with those bodies./…/It is simply absurd to suggest that the conclusions arrived at in these circumstances do not deserve to be called ‘evidence-based’ because there is no RCT in sight.”

Enligt det nu beskrivna synsättet kan evidens aldrig definieras universellt och entydigt eftersom forskning bedrivs på olika sätt inom olika ämnesområden och frågor. Begreppets innebörd måste tillåtas variera mellan olika samman-hang så att det blir möjligt att urskilja olika typer av evidens. Som påpekas i utredningen om utvärdering av utbildning (SOU 2009:94) kommer evidens oftast från flera källor och kan inte begränsas till en fråga om val av metod. Dessutom finns en tidsaspekt, den kunskap vi bedömer som sann vid ett tillfälle blir inte sällan omkullkastad av andra insikter vid ett senare tillfälle. Det finns dock några kännetecken som, oberoende av forskningsmetod, de allra flesta är överens om utgör krav på god vetenskapligt baserad forskning, utvärdering och utredningsarbete, nämligen kraven på:


• Kontrollbarhet. Allt ska kunna kontrolleras av andra.• Fördomsfrihet och förkastbarhet. Istället för att söka efter bekräftelse

på egna antaganden eller hypoteser intar forskaren en kritisk hållning till dem.

• Empiriskt stöd. ”Förmodanden” om ett fenomen ska kunna dokumen-teras genom andras eller egen forskning (Greness 2005).

Evidensbaserad praktik och politikInom områden som hälso- och sjukvård, socialtjänst, folkhälsa och även utbildning har kraven på tillförlitliga empiriska kunskaper om dessa verk-samheters effekter och effektivitet ökat i Sverige under senare delen av 1990-talet. Internationellt är detta inget nytt. I länder som USA och Storbri-tannien har man sedan länge betonat vikten av att välfärdstjänster i större utsträckning bör bygga på säkra forskningsresultat – evidens – som visar vilka typer av insatser som är verkningsfulla.

Den stundtals heta debatt som kraven ifråga föranlett har i stor utsträck-ning handlat om vad evidens är och med vilka forskningsmetoder man bäst får fram sådan. Den så kallade evidenshierarkin nämns ofta där olika typer av forskningsdesign rangordnas efter med vilken säkerhet de ger kunskaper om effekter och samband. Kärnan i diskussionen har handlat om och hur model-ler för vetenskap, hämtade från medicinens värld, kan överföras och tillämpas inom det sociala verksamhetsfältet. (Nutley med flera 2003; Socialstyrel-sen 2002). En annan lika viktig fråga har gällt vad evidensbaserad praktik egentligen innebär. Oscarsson (2009, s 13) finner tre olika sätt att svara på den frågan inom socialtjänsten, vilka utan större problem kan överföras till utbildningsområdet:

1. Man använder de metoder som visat sig mest effektiva i randomise-rade experimentella studier.

2. Man använder sig av den kunskap som kommer fram i den täta per-sonliga kontakten mellan socialarbetare och klienten.

3. Man väljer insatser och metoder utifrån en sammanvägning av kunskap som finns inom forskningen, i socialarbetarens egen och praktikerns erfarenheter, och den kunskap socialarbetaren får av den klient som hon eller han har framför sig.

Debatten om vad som är evidens är inte ny, inte heller idén att politiska bes-lut ska grundas på vetenskaplig kunskap. På 1960-talet beskrev den ameri-kanske forskaren Donald Campbell sin utopi om ”Experimenting Society”, och liknande tankegångar finner vi i begreppet social ingenjörskonst som i Sverige främst förespråkades av Alva och Gunnar Myrdal. Det som är nytt är för det första det nätverk av så kallade ”brokerage agencies” eller ”clearing houses” (kunskapsmäklare) som byggts upp i många länder för att pro-ducera och förmedla kunskapsöversikter inom specifika områden. En över-sikt av sådana kunskapsmäklare inom utbildningsområdet finns i Sundberg


(2009). Det andra som är nytt är att idén om politik baserad på vetenskaplig kunskap gått från att vara en politisk utopi till att lyftas in i politiska styrdoku-ment. I flera utredningar på senare år inom utbildningsområdet har sådana idéer lyfts fram (Skolverket 2007).

Framgångsfaktorer, mekanismerEnligt Skolinspektionens processmodell ska den bedömning som kvali-tetsgranskning innebär grunda sig på en uttolkning av författningar och förarbeten med stöd av forskningsresultat och beprövad erfarenhet. Sär-skilt viktig i denna uttolkning är identifieringen av framgångsfaktorer, det vill säga faktorer som visat sig vara betydelsefulla och framgångsrika för att uppnå ett önskat resultat i ett givet sammanhang.

Nu nämnda framgångsfaktorer har stora likheter med det som i allmän samhällsvetenskaplig metodlära och utvärderingslitteratur kallas mekanis-mer, eller generativa mekanismer, ett begrepp som har sitt ursprung i det vetenskapsteoretiska perspektivet kritisk realism (Bashkar 1989). Perspek-tivet har utvecklats inom utvärderingslitteraturen av bland annat Pawson & Tilley (1997) och i Sverige av Morén & Blom (2006), delvis som en reaktion på den kunskapssyn som följer med evidensbaserad praktik och politik. Kritisk realistisk utvärdering riktas mot frågorna hur och varför en social förändring uppstår, samt mot att finna orsaker till att sociala insatser fung-erar på avsett sätt, icke-avsett sätt eller inte alls. Sådana frågor förutsätter kunskap om den dynamik och de underliggande krafter som gör en föränd-ring möjlig, och generativa mekanismer är det begrepp som används för beteckna dessa.

Generativa mekanismer kan beskrivas som något som kommer emellan aktiviteter och resultat i en verksamhet. Danemark med flera (2003) definie-rar mekanismer helt enkelt som ”Det som kan få något att hända i världen”. Inom samhällsvetenskap och humaniora verkar mekanismer alltid genom människors handlingar, och de är därför kontextuellt villkorade. Det kan hand-la om en elev som under vissa villkor väljer att förändra sitt beteende som en följd av exempelvis det speciella bemötande hon/han upplever från en lärare i ett visst ämne. Det är med andra ord inte skolans eller lärarens aktiviteter som orsakar denna effekt, effekten uppstår som en följd av elevens val och handlingar men under de villkor som skolan/läraren skapar.

”Linking constructs” och ”bridging variables” är andra termer med nästan samma betydelse som generativa mekanismer. Termerna kan ses som ett sätt att vidareutveckla och fördjupa förståelsen av en verksamhets programteori. McDavid & Hawthorn (2005, s 443) definierar ”linking con-structs” så här:

”Linking constructs are transition factors in some program theories that are necessary to connect the program outputs to the intended program outcomes.”

Kunskap om mekanismer kan vi få genom att för det första ha god insikt i den programteori som är för handen i en given verksamhet, och för det andra


ställa kvalitativa frågor om det finns vissa saker som måste aktiveras eller ske för att prestationer ska leda över i förväntade effekter.

Frågeställning, problemformuleringEnligt Skolinspektionens processmodell för kvalitetsgranskning ska tydliga och väl avgränsade frågeställningar formuleras som gör det möjligt att tydligt svara på frågan om den granskade verksamheten uppfyller de kvalitetskrav som ställs. Utformningen av frågeställningar ska ske med utgångspunkt i de lagar och förordningar som styr granskningsområdet, dels utifrån en littera-turöversikt som beskriver problembilden inom området ifråga.

Att formulera frågeställningar är en central fas i alla forskningsprocesser som alltid föregås av problemformulering. Utan problemformulering finns inget som styr vilken litteratur och vilket empiriskt material som ska användas eller som ska analyseras. För en läsare blir det också svårt att förhålla sig till en vetenskaplig text om det inte finns uttalat vad den ska förmedla och varför och på vilket sätt den ska göra det. De flesta metodläroböcker lägger därför stor vikt vid att förklara betydelsen av att arbeta med tydliga, väl avgränsade, undersökningsbara och relevanta problemformuleringar.

Problemformulering, frågeställningar och syfte är begrepp som är nära kopplade och knappast kan förstås isolerade från varandra. Som så många andra metodologiska begrepp definieras de på olika sätt i olika läroböcker och ibland används de även synonymt. Någon korrekt definition av dessa be-grepp och deras relation till varandra finns inte och den som här förespråkas är således en av flera möjliga.

Ämne – ett avgränsat område (jfr granskningsområde).

Problem, problemformulering – något inom detta område som är problematiskt eller inte har något svar (jfr problembild).

Frågeställning – en formulering av en eller flera konkreta frågor inom ramen för en problemformulering.

Syfte – en förklaring av varför man vill ha svar på dessa frågor, vad svaren ska användas till.

Forskning börjar alltid med att man söker svaret på en fråga eller, som det ofta uttrycks, lösningen på ett problem. Vad är det man vill undersöka inom ett givet ämnesområde? Varför är det intressant att uppmärksamma prob-lemet? Problem står i forskningssammanhang för något som är olöst eller obesvarat eller ännu inte belyst på ett tillräckligt bra sätt (Rienecker 2003).

Ofta görs en distinktion mellan inomvetenskapliga problem (till exempel att problemet försummats inom forskningen eller att problemet behöver belysas ur ett nytt perspektiv) och samhälleliga problem (till exempel att det finns tecken på att elevinflytandet i skolan är otillräckligt). Inomvetenskapliga problem brukar också sägas ha en mer generell natur, till exempel vilka faktorer bestämmer förutsättningarna för elevinflytande i skolan (Esai-


asson 2003). Vissa författare menar att forskare bara ska syssla med inomvetenskapligt uppkomna problem, men de flesta anser att forsk-ningsproblem också bör ha relevans för olika samhällsfrågor. Man kan här, som Greness (2004) fråga sig om resultaten av forskning om exempelvis examinationsformer i skolan inte får några praktiska konsekvenser, vad är då vitsen med att bedriva forskning om examinationsformer? Ska vi slå oss till ro med att målet för utbildningsforskning bara är att uppnå empi-riskt hållbart vetande om forskningens föremål, för att därmed bidra till en grundläggande kunskapsutvidgning?

Ett problem är således något inom ett avgränsat ämnesområde som inte har en lösning eller ett svar. Problemformulering rör det som man vill veta eller ta reda på när det gäller detta problem. Syfte står för varför man vill veta det, vad svaret och texten ska användas till; målet med forskningen om man så vill. En problemformulering kan vara uttryckt som en eller flera samman-hängande frågeställningar som ska besvaras, eller som ett eller flera påstå-enden som bör kunna omformuleras till en eller flera frågor. Det kan enligt Rienecker (ibid.) handla om påståenden som ska beskrivas eller klargöras och klassificeras, analyseras och tolkas, diskuteras och argumenteras för och emot, syntetiseras, det vill säga integrera flera olika delar till en helhet, bedömas, utvärderas och belysas ur ett visst perspektiv eller översättas till en rekommendation för handling.

Problemformuleringar ställer i grunden frågor om vad, varför och hur. Vad-frågor är beskrivande, explorativa eller klassificerande till exempel ”vad hände den gången då…?”, ”var finns X?”. Varför-frågor syftar till förklaring och tolkning. De utnyttjar ämnesområdets begrepp och teorier som grund för en förståelse av de fenomen som studeras, till exempel ”hur kan man förklara/tolka X utifrån det synsätt som Y står för?” och ”varför är det så här?”. Hur-frågor är problemlösande/normativa och syftar till att komma fram till hållbara principer för mänskligt agerande genom att skapa ett un-derlag för ett ställningstagande till det som undersöks. De kan till exempel ha följande form ”hur kan eller bör en skolas kvalitetsarbete vara organise-rat för att på bästa sätt främja måluppfyllelse?”.

En problemformulering kan bestå i en enda frågeställning, men för det mesta rymmer den flera frågor av olika slag som dock bör vara väl sam-manhängande till exempel på följande sätt:

1. Vad är elevinflytande? Vad säger skolans styrdokument i frågan?2. Hur ska man enligt forskning och beprövad erfarenhet få till stånd

elevinflytande?3. Hur kan man bedöma förekomst och tillstånd av elevinflytande?4. Vad kan göras åt bristande elevinflytande?

Den centrala uppgiften i utvärdering (liksom i kvalitetsgranskning) är att systematiskt värdera och uttala ett omdöme om en verksamhet. Utvär-deringsfrågor är alltså till sin karaktär normativa och kräver att det finns en på förhand formulerad bedömningsgrund med konkret formulerade bedömningskriterier som är tydliga, relevanta och acceptabla (Scriven 1991). Utvärderaren måste bygga upp en egen argumentation för hur det studerade fenomenet bör eller kan vara utformat, till exempel genom en kunskapsöversikt.

Oavsett typ av problemformulering – vad, varför, hur – så bör en bra problemformulering uppvisa följande drag (Bryman 2009; Reinecker 2003; Winter 1992). Den ska:


• Varatydligochbegriplig.• Intevaraföromfattande,menintehellerförsnäv.• Haetttydligtsambandomdenrymmerflerafrågor/antaganden.• Varamöjligattgenomföra.• Hakopplingtillrelevant,existerandeteoriochforskning.• Tydligtbidramednågotnyttinomdetområdesomstuderas.

FörklaringI samhällsvetenskaplig metodlitteratur sägs ofta att empirisk forskning hand-lar om att beskriva och förklara samhälleliga fenomen, och att det följaktligen finns beskrivande och förklarande forskningsproblem. Beskrivande studier ger svar på frågor av typen var, när, hur, vem och vilka. Exempel på frågor till beskrivande studier kan vara: Var finns jämställda skolor? När var betygsre-sultaten i Sverige som högst? Hur arbetar skolor med mobbning, och vem eller vilka skolor har bäst resultat eller är bäst på att arbeta med mobbning? Förklarande studier söker svar på frågor om varför något uppträder eller sker som det gör. Exempel på frågor till förklarande studier kan vara: Varför varierar graden av jämställdhet mellan olika skolor? Hur kan man förklara variationerna i betygsresultat över tid? Varför ser mobbningsarbetet olika ut på olika skolor? Hur ska man förklara att flickor har högre betyg än pojkar?

Förklaringar kan vara av olika slag men vanligast är orsaksförklaringar där man söker efter bakomliggande faktorer som framkallar det man vill förklara, det vill säga de inträffar alltid före det fenomen som ska förklaras. Det handlar alltså om kedjor av händelser som knyts samman av kausala mekanismer (faktor A påverkar faktor B därför att …). Metodiskt innebär ambitionen att ge orsaksförklaringar stora utmaningar, och kräver särskild design i form av experiment eller kvasiexperiment som gör det möjligt att dra säkra slutsatser om effekter. Även fallstudier kan emellertid användas för att söka efter orsaksförklaringar, om än inte för att dra säkra slutsat-ser. Fallstudier kan genom sina täta, holistiska och verklighetsnära inslag förklara orsak och verkan när man intervenerar i verkliga situationer som är alltför komplexa för experimentell forskningsdesign (Merriam 1994).

En annan typ av förklaring är ändamålsförklaring som syftar till att förklara motivet eller intentionen i individers handlingar. Vi kan till exempel konstatera att Lisa tycker att lärarens handlande var dumt (att ge henne läxa i engelska över påsklovet), men givet att vi vet lärarens avsikter (att se Lisa med ett godkänt betyg i engelska vid terminens slut) så kan vi ändå förstå att han gör det han gör. Funktionalistisk förklaring är en tredje typ av förklaring som fokuserar på ett fenomens konsekvenser för ett större system. De är mest påtagliga inom biologin men förekommer även i sam-hällsvetenskap där den dock är mer kritiserad. Vi säger ofta att biologiska eller sociala fenomen har en funktion och menar att de har verkningar som är gynnsamma/ogynnsamma eller nyttiga/onyttiga för organismen eller samhället (Danemark, B. med flera 2003).

Förklaringar har en central plats i vetenskapen. Inom vetenskapsteorin har man därför lagt ned stor möda på att försöka förklara vad en förklaring är, dock utan att nå någon allmän enighet. Inte minst har många ifrågasatt om den syn på förklaringar som orsaksförklaring innebär är rimlig för att förklara mänskliga handlingar eller om dessa bör förklaras på annat sätt och med andra metoder.


GeneraliseringOrdet généraliser är franska och betyder ungefär ”göra allmän”. Att visa att resultaten från en undersökning är någorlunda allmängiltiga och kan genera-liseras utöver de grupper och situationer än dem som varit aktuella i den specifika undersökningen är ett viktigt mål i all forskning. Att generalisera kan dock, enligt det synsätt som här förespråkas, betyda olika saker.

Genom inriktningen på generaliserbarhet kan den kvantitativt orienterade forskaren närma sig naturvetenskapens lagliknande resultat och slutsatser. Denna fokusering i kvantitativa studier yttrar sig i det intresse som ägnas frågor om urvalstekniker och representativitet i urvalet, ett intresse som i sin tur utgår från ett antagande om att den eller de företeelser man vill studera (kunskaper, attityder, beteenden etc.) är normalfördelade i den population som urvalet görs ifrån. Sannolikhetsurval, det vill säga ett stickprov som man får fram med hjälp av en slumpmässig urvalsprocess där alla enheter har chans att komma med, är den viktigaste tekniken för att skapa ett represen-tativt urval.

Kvalitativt orienterade studier som ofta grundas på enstaka fall kritiseras ofta för att producera resultat som inte kan generaliseras utöver det under-sökta fallet. Man frågar sig om resultatet från exempelvis en fallstudie av betygssättning i några enskilda skolor stämmer överens med andra skolor. Inte sällan slår kvalitativt inriktade forskare ifrån sig dylik kritik genom att hävda att generalisering i nyss nämnda bemärkelse inte är ett mål för kva-litativ forskning, och att det därför inte är nödvändigt att uppehålla sig vid frå-gan. Man väljer att studera enstaka fall därför att man vill gå på djupet med en bestämd individ, grupp eller företeelse, inte för att ta reda på något som gäller alla individer, grupper och företeelser av detta slag. Fallen har inte valts med tanke på att de ska representera en hel population.

Enligt Larsson (2009) är den starka koppling som traditionellt görs mellan generalisering och slumpmässiga urval uttryck för en monistisk syn på gene-ralisering som innebär att begreppet generalisering förstås på samma sätt i alla slags studier. De som intar ett sådant förhållningssätt håller vanligtvis före att det antingen inte går att generalisera från en fallundersökning, eller så brukas kvantitativa procedurer och tillvägagångssätt inom ramen för en kvalitativ fallstudie. Det senare kan till exempel ske genom att göra slump-mässiga urval av lärare från den skola som utgör fallet och sedan behandla informationen på kvantitativt sätt.

Att på detta vis integrera kvalitativa och kvantitativa metoder för datain-samling, bearbetning och analys är vanligt, och i många fall eftersträvansvärt. Det kräver dock som Höjer (2004) påpekat grundliga kunskaper om och i så fall hur metoderna låter sig integreras. En statistisk survey-undersökning och en etnografisk observationsstudie bygger exempelvis på helt skilda epis-temologiska och ontologiska antaganden om vad kunskap är och hur den verklighet som ska studeras är beskaffad. Olikheterna mellan kvantitativa och kvalitativa metoder går därmed djupare än till bara procedurer och konkreta tillvägagångssätt vilket är viktigt att ha i åtanke när så kallade triangulering tillämpas.

Att frånsäga sig alla generaliseringsambitioner är dock enligt Larsson (2009) inte särskilt klokt, även om det förvisso finns situationer där genera-lisering inte är meningsfull. Det kan gälla specifika fall som är intressanta i sig själva, till exempel en studie vars syfte är att bidra med en ny pusselbit i Simone de Beauvoirs liv där det inte finns anledning att generalisera pussel-


biten till andra författares liv. I de flesta fallstudier måste det dock finnas skäl att tro att det åtminstone finns en potentiell användbarhet av kunskap frambringad i en fallstudie bortom just den studien, för som Larsson (ibid., s 31) själv förklarar:

”In order to be meaningful, there must be reasons to believe that there is at least a potential usefulness outside the specific studies…there must be a capacity for generalization; otherwise there would be no point to giving such a careful attention to a single case. However, arguing for such a possibility is not an easy task.”

Att generalisera utifrån fallstudier innebär en pluralistisk syn på generaliser-ing där begreppet omformuleras så att det bättre speglar de underliggande antaganden som kvalitativ forskning vilar på. Den forskare som är öppen för en sådan omformulering kan förbättra generaliserbarheten i kvalitativa studier på flera olika sätt (se till exempel Larsson 2009; Merriam 1994; Pat-ton 1980).

Teoretisk generalisering är ett sådant sätt som innebär att forskaren strä-var efter att generalisera resultaten till en teori om det fenomen som studien handlar om. Ett annat sätt är att istället för slumpmässighet i urvalet söka maximera variationen i fallen, för att på så vis få fram den variation som kan tänkas finnas. Urvalet av fall måste då baseras på en teoretisk förförståelse av den företeelse som studien avser. En tredje strategi är att använda sig av flera fall som rör samma företeelse men i olika kontexter, så kallade korsanalys. Om resultat från sådana studier läggs bredvid varandra, och resul-tatet pekar i samma riktning så borde vissa någorlunda generaliserbara slutsatser kunna dras. Ettill exempelempel är Lindgren (2009) som i en kun-skapsöversikt inom folkbildningsområdet funnit ett tiotal studier som alla rör effekter av folkbildningsverksamhet, men genomförts i olika studieförbund, folkhögskolor och lokalsamhällen. Ett fjärde sätt att tänka kring generali-sering i kvalitativ forskning är så kallade naturalistisk generalisering som innebär att läsaren eller användaren kan jämföra en studies resultat med sin egen situation och på så vis öka förståelsen av densamma.

Enligt Skolinspektionens definition av kvalitetsgranskning är kvalitets-granskning inte detsamma som forskning, och syftar inte heller till att ge en representativ bild av läget inom ett visst område i landet eller ens i en kommun. Urvalet för kvalitetsgranskning styrs inte av några generaliserings-ambitioner utan av problembilden, det vill säga var åtgärder bäst behövs för att främja måluppfyllelse. Med tanke på den vikt som myndighetens process-modell lägger vid att alla granskningsprojekt ska bygga på relevant forsk-ning och beprövad erfarenhet så borde här finnas potentiella möjligheter till generalisering, till exempel teoretisk generalisering eller korsanalys. I det sammanhanget är det dock viktigt att noggrant överväga på vilka grunder urvalet skett, till exempel om den/de fall som granskas valts ut därför att de utgör särskilt kritiska eller problematiska fall.

Hypotes I vardagligt tal betyder hypotes ”osäkert antagande”, nästan på gränsen till en gissning. I vetenskapliga sammanhang, särskilt i mer kvantitativt ori-


enterade studier, är en hypotes ett välgrundat antagande som formulerats i syfte att prövas empiriskt. Enligt idealtypen för en sådan forskningsprocess startar forskningen med att forskaren härleder eller deducerar ett eller flera antaganden – hypoteser – om den företeelse hon avser att undersöka utifrån en lämplig teori. Oftast rör hypotesen en möjlig relation mellan två eller flera variabler som kan antas vara meningsfulla att mäta.

Hypotes kan som antyds ovan knappast förstås utan att relateras till en förståelse av vad en vetenskaplig teori är. En teori brukar ofta beskrivas som ett antagande om någonting generellt inom en viss domän, till exempel teorier om demokrati, medan en hypotes är ett antagande om någonting som är mera avgränsat, till exempel att yngre män med låg utbildning har en lägre grad av politiskt deltagande än andra medborgargrupper. En annan skillnad är att hypoteser är antaganden under prövning, som om de kan rättfärdigas med empiriska studier kan få ingå i en teori. Hypoteser fungerar enligt det här synsättet alltså som testbara delar av en teori (Hartman 1998).

Hur hypotesprövning kan gå till beskrivs i flertalet metodläroböcker, men däremot är det få som anger någon ”metod” för att hjälpa oss att upptäcka eller skapa en bra hypotes. En möjlighet är som antytts att härleda en hy-potes från en generell teori. En annan är att introducera nya företeelser som inte nämns i teorin, till exempel om det finns fler samband än den ursprungli-ga teorin säger. Hypoteser kan som Gilje & Grimen (1992) förklarar dyka upp mer eller mindre oväntat – plötsligt ser forskaren ett tänkbart samband. De kan också vara resultatet av målmedvetet arbete där en serie av hypoteser prövats systematiskt innan en som är försvarlig hittas. Att metodläroböcker för det mesta bara handlar om vad hypoteser är och hur hypotesprövning går till, men inte diskuterar hur man upptäcker hypoteser, är för övrigt en proble-matik i deduktivt orienterad forskning som företrädare för ett induktivt synsätt kritiserar (Eneroth 1989).

IndikatorOrdet indikator kommer från latinets indicium som betyder tecken på något eller gör något troligt. Inom juridiken är indicium en typ av bevis som indirekt kan bevisa något. Indikatorer används i många olika sammanhang, och ingår ofta i olika organisations- och styrningskoncept som benchmarking, kvalitets-mätning och kvalitetssäkring. På senare år har det blivit något av en trend att utveckla och använda indikatorer för att mäta och jämföra offentliga verk-samheters kvalitet och resultat (Lindgren 2006). Utvecklingen är inte unik för Sverige. Runt om i världen, till exempel Storbritannien, Norge och Danmark, pågår liknande insatser med att utveckla och etablera nationella modeller för indikatorbaserad information. Flera arbetsgrupper inom EU och OECD arbe-tar med att definiera indikatorer för att följa och jämföra utvecklingen mellan länder inom det sociala fältet och andra områden.

Mera specifikt är en indikator ett observerbart indirekt tecken på nå-gonting, till exempel måluppfyllelse. Som regel är indikatorer kvantitativa mått som demonstrerar egenskaper/ omständigheter i siffror (antal, pro-cent, frekvens etc.). En indikator eller ett set av indikatorer mäter därför alltid bara en avgränsad del av det som den avser att mäta. Att använda sig av indikatorer innebär därför som Ekonomistyrningsverket (2006, s 11) förklarat att ”mäta något smått som mäter något stort”. Ett mått är dock inte i sig själv en indikator. Det är måttets användning, tolkning och integrering i


ett bestämt sammanhang där måttet beskriver eller värderar något specifikt som gör det till en indikator (Dahler-Larsen 2008a).

Som exempel kan nämnas BRUK som är ett verktyg för självskattning av kvaliteten i skolan och innehåller tre olika set av indikatorer som avser att mäta process, måluppfyllelse och bakgrundsfaktorer. En bakgrundsfaktor är styrning och ledning som består av fem indikatorer varav en är betygs-sättning. För att kvaliteten på betygssättningen ska betraktas som god ska exempelvis rektor följa upp och kontrollera att lärarnas betygssättning följer gällande bestämmelser, undervisningen ge möjlighet att nå samtliga krav-nivåer, elever och föräldrar vara införstådda med på vilka grunder betygen sätts i samtliga ämnen.

Att utveckla indikatorsystem och använda dem för kontroll, verksamhets-utveckling och brukarval är populärt, men samtidigt komplicerat. Råd om vad som är ”goda” indikatorer finns det gott om i litteraturen, till exempel följande som är hämtade ur Hatry (1999):

• Relevans i förhållande till mål• Validitet (fångas andemeningen i målet?)• Begriplighet (är det lätt att förstå vad som mäts?)• Inflytande (ingen idé att mäta sådant som inte går att påverka)• Genomförbarhet (går det att få fram valida data?)• Kostnader (hur mycket resurser tar indikatorarbetet i beslag?)

Det finns också en omfattande litteratur som diskuterar de problem som kan uppkomma i arbetet med och som en konsekvens av indikatorsystem, till exempel följande som är hämtade ur Dahler-Larsen (2008a): Indikatorfixer-ing (indikatorerna blir viktigare än målen); tunnelseende (man arbetar efter indikatorer som är lätta att mäta, oavsett relevans); suboptimering (ledning-ens lokala mål främjas på bekostnad av helheten); ”creaming” (bara klienter/brukare som presterar bra i givna avseenden väljs); ”ossification” (man satsar på aktuella indikatorer och blir dålig på innovation).

InflödenNär ett studieobjekt beskrivs i form av en programteori utgör inflöden en av programteorins faser: Inflöden är alla finansiella, mänskliga och materi-ella resurser som går in i eller används av en verksamhet (SIDA 2007). I skolans värld handlar det om de krav och resurser som skolan förfogar över, till exempel i form av pengar, personal och utrustning. Förutsättningar är ett annat ord som ibland används istället för inflöden. I skolan omvand-lar personalen inflödet till prestationer genom olika slags aktiviteter eller processer till exempel undervisning, studiedagar och utvecklingsarbete. På engelska talar man om ”program inputs” som Hawthorn & McDavid (2005, s 47) definierar så här:

“Program inputs are the resources that are required to operate the program – they typically include money, people, equipment, facilities, and knowledge /.../ it is possible to monetize all inputs, that is, convert them to equivalent dollar values. Evaluations that compare program costs to outputs (technical efficiency) or


program costs to outcomes (cost-effectiveness) or compare costs to monetized value of outcomes (cost-benefit analysis) all require estimates of inputs expressed in dollars.”

Som citatet ovan visar måste den som vill granska en verksamhets produk-tivitet eller samhällsekonomiska effektivitet (cost-effectiveness, cost-benefit analysis) ha information om eller beräkna inflödets värde i pengar (Levin & McEwan 2000).

Insats, intervention Utvärdering går ut på att värdera något på ett systematiskt sätt, och det är detta något som är utvärderingens objekt. Det kan till exempel vara en reform, en policy, ett projekt, ett beslut, en organisation, en arbetsmetod, en grupp eller en individ. För att fånga in denna variation behövs en generell terminologi och i engelskspråkig litteratur är ”program” en vanligt förekom-mande term, därav uttrycken ”program evaluation” och ”program theory”. ”Evaluand” är en annan engelsk term som, om än inte lika framgångsrikt, lanserats av Scriven (1980, s 4) som en beteckning på ”the thing being evaluated”. Allt kan enligt honom utvärderas. ”One can begin at the begin-ning of a dictionary and go through to the end, and every noun, common or proper, calls to mind a context in which evaluation would be appropriate.”

Någon motsvarande svensk generisk term för utvärderingsobjekt finns inte. Här finns istället flera valmöjligheter och man får helt enkelt bestämma vilken terminologi som passar bäst i olika sammanhang. Flera författare an-vänder termen intervention som kommer från latinets intervenere och betyder ”att komma emellan” det som annars skulle ha hänt. Andra vanligt förekom-mande beteckningar på utvärderingsobjekt är insats, åtgärd eller helt enkelt verksamhet (Øvretveit 2001).

Någon entydig benämning på de objekt som Skolinspektions kvalitets-granskning förväntas granska finns inte i myndighetens processmodell. Granskningsobjekt kan vara antingen enskilda skolor eller verksamheter, som exempelvis fritidshem, eller huvudmännen för dessa verksamheter.

Kausalitet, korrelation En uppgift i Skolinspektionens kvalitetsgranskningsarbete är att bedöma huruvida de lösningar eller insatser som ett granskningsobjekt valt att arbeta med för att nå de nationella målen är ändamålsenliga och verkningsfulla. Det är en uppgift som ställer sambandet mellan insatser och utfall i en verksam-het i fokus, det vill säga orsak och verkan. Samband är emellertid ett kompli-cerat begrepp.

En distinktion som är viktig att förstå i detta sammanhang är den mellan å ena sidan korrelation (samvariation) och å andra sidan kausalitet (orsaks-samband). Att det finns en samvariation mellan variabler, det vill säga när en förändras positivt eller negativt så förändras också den andra, behöver inte innebära att ett orsakssamband föreligger. Det behöver exempelvis inte vara så att en klass i en skola blir mer samhällsintresserad på grund av att eleverna presterar bättre i skolan. Det kan lika gärna vara så att eleverna


presterar bättre i skolan därför att deras samhällsintresse har ökat. Det kan också finnas slumpfaktorer eller någon bakomliggande variabel (till exempel en ny samhällsengagerad lärare) som står för orsakssambandet. Ibland kan också det som man felaktigt tror vara en huvudorsak vara en del av orsaken men av mindre betydelse. Enligt McDavid & Hawthorn (2005, s 436) innebär ett kausalt samband (orsakssamband) följande:

”… one variable is said to cause another where: the causal variable occurs before the effect variable; the cause and effect variables co-vary, that is, as one changes, the other one also changes (either positively or negatively) and where there are no other variables that could plausibly account for the co-variation between the cause and the effect variables.”

Att slå fast ett kausalt samband kräver som citatet antyder för det första att orsaken har inträffat före verkan, och för det andra måste det gå att kontrol-lera bakomliggande faktorer som kan påverka utfallet av en insats. Beroende på vilka krav man har på säkerställda slutsatser om orsak och verkan – evi-dens – kan sådan kontroll göras på olika sätt. Effektutvärdering i form av kontrollerade experiment anses av många vara den typ av forskningsdesign som är mest effektiv för att få fram säkerställda slutsatser. Det finns dock som Ekonomistyrningsverket (2006) framhållit många situationer när detta slags design inte är möjlig eller lämplig varför andra typer av design är en bättre lösning, till exempel före- efterstudie eller skuggkontroll.

KunskapsöversiktKumulativitet är ett centralt vetenskapligt ideal som innebär krav på en forsk-are att relatera den egna studien till andras arbeten inom ett visst område eller en viss fråga. Kunskapsöversikt, eller litteraturöversikt (det begrepp Skolinspektionen valt i arbetet med kvalitetsgranskningar) eller forsknings-översikt som det också kallas, är i det sammanhanget en traditionell form för kunskapsutveckling inom forskarsamhället. Enligt Bryman (2008, s 81), som är en vanligt förekommande metodlärobok inom samhällsvetenskap, bör syftet med kunskapsöversikter vara att besvara följande frågor:

• Vad vet vi om ett område?• Vilka begrepp och teorier är relevanta inom området?• Vilka forskningsmetoder har tillämpats i studier inom område?• Finns det några viktiga konflikter mellan forskare?• Finns det några inkonsekvenser och obesvarade frågor?

Tills relativt nyligen tycks få forskare, och då främst inom medicin, ha ägnat sig åt kunskapsöversikter med någon större systematik. Redan på 1950-talet klagade emellertid sociologen Wright Mills (1959) över att samhällsveten-skapliga studier oftast står för sig själva istället för att bygga vidare på vad som är känt och frambringa mönster i en större kunskapsväv. Vad Wright Mills menade, och många andra forskare efter honom framhållit, är att kun-skapsöversikter oftast görs för att motivera ett redan definierat forsknings-problem. För som Weed (2005) förklarar:


”…the outcome of the review of literature is often set before it is conducted because the researcher has usually decided what research he or she wants to carry out, and then uses the literature review as a way of establishing the need for that research. As such, literature reviews are often presented as arguments for a particular point of view, or just as a justification for particular research.”

En annan svaghet i traditionella kunskapsöversikter är att resultat från tidig-are forskning många gånger accepteras utan källkritisk granskning. Ytterlig-are svagheter i traditionella kunskapsöversikter är att de inte är uttömmande, att det sällan eller aldrig framgår hur sökningen och sammanställningen av litteratur gått till. Allt detta gör det svårt för andra att kontrollera översiktens tillförlitlighet eller reliabilitet (Bryman 2008).

Sedan 1990-talet har intresset för kunskapsöversikter ökat avsevärt. Det beror sannolikt på ett snabbt växande flöde av forskning och nya tekniska möjligheter att kommunicera densamma, men också på en växande interna-tionell fokusering på evidensbaserad policy och praktik där kunskapsöversik-ter utgör ett element. Intresset har lett till att flera olika metoder för syste-matiska kunskapsöversikter har utvecklats. Förledet ”systematisk” betyder att kunskapsöversikten görs tydligt, noggrant och objektivt så att andra kan göra om den. Det ska finnas en öppen och ingående redovisning av:

• Den fråga som ska besvaras, till exempel vilka metoder som fungerar bäst för att stävja mobbning i skolan;

• Sökstrategi i form av sökord i databaser som indexerar vetenskapliga arbeten inom ett område;

• Kvalitetskriterier för inklusion och exklusion;• Analysmetoder för att empiriskt väga samman – ”syntetisera” – resul-

taten av de arbeten som ingår i översikten.

Den mest omtalade och tillika kritiserade av metoder för systematisk kunskaps-översikt är metaanalys. Metaanalys genomförs enligt ett rigoröst regelverk och går ut på att statistiskt summera resultat från många, enskilda och oberoende studier av likartade insatser som syftar till att lösa ett visst problem. För inklu-sion krävs studier med hög evidensstyrka. Evidensstyrka är ett mått på hur mycket man kan lita på en slutsats i en forskningsrapport och bygger på vilka forskningsdesign som använts. De olika uppläggen ordnas i en förutbestämd hierarki där experimentella, randomiserade, kontrollerade studier värderas högst, och icke-experimentella studier utan kontrollgrupper rankas lägst.

Metaanalys har sitt ursprung inom medicin och hämtar sin logik från ett naturvetenskapligt kunskapsideal vars utgångspunkt är att det finns en enda och objektiv verklighet som vi med de rätta metoderna kan observera, veta något om och mäta. Vetenskapens uppgift enligt detta ideal är att uppnå empirisk kunskap om ett studieobjekt som kan generaliseras till andra fall och situationer. För kvalitativt orienterade studier, som utgår från en herme-neutisk eller fenomenologisk kunskapssyn och syftar till att tolka och förstå ett studieobjekt, krävs andra metoder för att sammanställa tidigare forskning. Här har därför narrativa ansatser – ”narrative reviews” utvecklats för att sam-manställa forskningsresultat, vilka inom sig ibland rymmer flera olika metoder. Metoderna är emellertid inte lika väletablerade som metoder för systematisk kunskapsöversikt som baseras på kvantitativa studier.

Vissa metoder för narrativ kunskapsöversikt bär prägel av kvantitativ innehållsanalys i det att de syftar till att summera eller aggregera befintliga


forskningsresultat i en viss fråga. En vanlig metod, som ibland kallas ”meta-ethnography”, är att göra resultat från studier i en fråga överskådliga, ofta i matrisform, så att studierna så att säga talar för sig själva och läsaren kan dra egna slutsatser. ”Exemplary programmes” är en annan metod som går ut på att ur en stor mängd studier inom ett område identifiera framgångsrika fall och beskriva dessa så utförligt som möjligt. Andra metoder är mer genuint kvalitativt präglade och syftar till att genom ny tolkning och analys av befint-liga studier inom ett område åstadkomma en syntes i form av en ny koncep-tualisering av det studerade objektet ifråga (Dixon-Woods med flera 2007).

Som framgått refererar termen kunskapsöversikt inte till något entydigt fenomen eller någon entydig metod. Det finns olika varianter som har sin upprinnelse i olika vetenskapsteoretiska synsätt, och som passar mer eller mindre väl för olika forskningsområden och forskningsfrågor. Metoden för metaanalys låter sig till exempel inte enkelt tillämpas inom utbildningsområ-det på samma sätt som inom medicin och andra naturvetenskaper. Det beror enligt Sundberg (2009) bland annat på följande:

• Det är oftast flera icke-konstanta variabler som samspelat kring ut-bildningens/undervisningens utfall;

• Utbredningen och variationerna av forskningsobjekten som behand-las är stora;

• Värderingar spelar ofta in vid tolkningar av forskningsresultat, • Det finns en pluralism av forskningsansatser och metoder som gör att

det kan vara svårt att jämföra olika forskningsresultat;• Kontexten har betydelse för utfallet och det är en relativt låg grad av

konsensus om vad som är säker evidens inom området.

Antalet kunskapsöversikter av relevans för utbildningsområdet har enligt Sundgren (2009) ökat betydligt det senaste decenniet till följd av den så kallade evidensrörelsen som inneburit att allt fler kunskapsmäklande orga-nisationer etablerat sig.

Kvalitet Kvalitet har under det senaste decenniet i raskt ökande takt blivit ett nyckelord i styrningen av den offentliga sektorn i Sverige och i andra länder. Redan under 1980-talet började man inom den offentliga sektorn plagiera kvalitetskoncept som Total Quality Management och ISO-9000 vilka har sitt ursprung inom industrin. Efter en avtagande popularitet i mitten av 1990-talet har kvalitets-begreppet under det tidiga 2000-talet blivit modernare än någonsin. Likväl är, som bland annat Strannegård (2007) påpekat, kvalitetsbegreppet en gåta och vad det är som räknas när kvalitet bedöms är höljt i dunkel.

Kvalitet är i själva verket ett innehållslöst begrepp. Det är också ett syn-nerligen besvärligt begrepp som rymmer en hel del inneboende problema-tik. Vanligt är dock att med utgångspunkt i dess latinska ursprung qualitas tala om kvalitet som beskaffenhet eller egenskaper som kan knytas till olika aspekter av en vara eller tjänst. Att kvalitet betyder goda och eftersträvans-värda egenskaper tar vi ofta för givet, men kvalitet kan också beteckna dåliga egenskaper hos den vara eller tjänst beskrivningen gäller. Inte sällan görs en distinktion mellan strukturkvalitet som speglar förutsättningarna för eller inflö-det i en verksamhet (till exempel socialtjänsten eller skolan), processkvalitet


som belyser de aktiviteter som görs i verksamheten och resultatkvalitet som speglar prestationerna och effekterna av verksamheten (Skolverket 2004; Socialstyrelsen 2007).

Vilka goda egenskaper i verksamhetens inflöden, aktiviteter och effekter som ska räknas som kvalitet måste emellertid definieras och bestämmas från fall till fall. När någon säger att kvaliteten i skolan måste öka, så är det som Dahler-Larsen (2008b) poängterat oklart vad det är som ska öka, och för den delen vad det är som ska minska. Om möjligt ännu mer oklar är den defi-nition av kvalitet som formulerats av Standardiseringskommissonen i Sverige som är mycket vanligt förekommande: ”Alla sammantagna egenskaper hos en produkt eller tjänst som ger dess förmåga att tillfredsställa uttalade eller underförstådda behov.”

Vad är då kvalitet kan – och bör – man fråga sig? Vilka egenskaper ska räknas som kvalitet? Vem ska bestämma det och på vilka grunder? Om en verksamhets kvalitet ska utvärderas och bedömas på ett systematiskt sätt måste de egenskaper som räknas som kvalitet operationaliseras i form av observerbara och valida bedömningskriterier. I denna operationaliserings-process döljer sig emellertid en rad problematiska förhållanden som bland annat Dahler-Larsen (ibid.) och Lindgren (2006) ingående diskuterat. Det allra mest övergripande av dessa problem är att varje steg i processen innebär en värdering – ett val att fokusera på vissa saker och bortse från andra. Ett bedömningskriterium kan aldrig vara ett objektivt mått på kvalitet i en verksamhet. Det är istället ett värdemässigt ställningstagande, men trots det talar många som om kvalitet har en given definition som alla kan stämma in i. En viktig fråga att ställa sig är därför på vilken värdemässig bedömnings-grund ett bedömningskriterium bygger.

Kvalitet är av naturliga skäl det allra mest centrala begreppet i Skolin-spektionens kvalitetsgranskning; ”systematisk undersökning och bedömning av en verksamhets kvalitet inom ett avgränsat område” är det som arbetet går ut på. I den ordlista som ingår i myndighetens processmodell definieras kvalitet som en samlingsbeteckning för hur väl den granskade verksamheten a) uppfyller nationella mål, svarar mot nationella krav och riktlinjer, b) uppfyl-ler andra mål, krav och riktlinjer som är förenliga med de nationella samt c) strävar efter utveckling och förbättring.

Det är samma definition som används i Skolverkets allmänna råd för kvali-tetsredovisning och som har sin grund i skollagen. Mot bakgrund av det ovan sagda, och med tanke på den målträngsel som råder och den vittfamnande karaktär som präglar många mål inom skolan (och de flesta områden av den offentliga sektorn), är det ytterligt viktigt att veta vilka mål som avses, vilka som valts bort och hur målen operationaliserats i mät- eller observerbara termer. I den mån en kvalitetsgranskning inte bara grundar sig på mål i författningar och övrigt regelverk utan även inkluderar forskningsresultat och beprövad erfaren-het, är det om möjligt ännu viktigare med tydlighet i hur styrdokument, forsk-ning och beprövad erfarenhet kopplats samman som grund för bedömning.

Slutligen kan man som Dahler-Larsen (ibid.) fråga sig varför vi envisas med att tala om kvalitet när det egentligen är måluppfyllelse det handlar om. Brülde (i Strannegård 2007) är inne på samma linje när han frågar sig varför det nu för tiden finns ett så omfattande tal om kvalitet när vi lika gärna kunnat uttrycka oss i termer av ”bra” eller ”dåligt”. Brüldes förklaring är att det vilar ett skimmer av objektivitet över begreppet kvalitet, medan bra och dåligt uppfattas som subjektivt färgade.


LitteraturöversiktI Skolinspektionens kvalitetsgranskning ingår att ta fram en litteraturöver-sikt för det område som ska granskas vilken ska fungera som stöd i prob-lemformulering samt utgöra ett underlag i framtagande av granskningens frågeställningar. Litteraturöversikten används även som ett stöd i tolk- ningen av granskningens resultat. Varför används då termen litteraturöver-sikt och inte kunskapsöversikt i detta sammanhang? Även om det inte finns någon etablerad åtskillnad mellan dessa begrepp har Skolinspektionen valt att utgå från en mer distinkt terminologi som föreslagits av Sundberg (2009:17). Litteraturöversikt anges här som en beteckning för samman-ställningar som omfattar såväl vetenskaplig litteratur som utredningar, utvärderingar och andra källor, medan termen kunskapsöversikt förbehålls synteser av forskning. Begreppsvalet avser i detta fall även att ange en åt-skillnad i förhållande till de kunskapsöversikter som Skolverket kontinuerligt publicerar, med det primära syftet att sprida angelägna forskningsresultat till omvärlden. Dessa översikter är av avsevärt större omfång och arbetas fram av verksamma forskare under en jämförelsevis betydligt längre tids-period. De utgör samtidigt ett betydelsefullt underlag för de litteraturöver-sikter som bildar en grund för Skolinspektionens kvalitetsgranskningar. Se även kunskapsöversikt.

Mål, måluppfyllelseDet finns en rad olika definitioner av mål. Enligt en ofta citerad artikel av Nilstun (1985) ska en sats för att vara en målformulering ange eller antyda två saker, nämligen att: 1) verkligheten är beskaffad på ett visst sätt, och 2) det är önskvärt att den blir på ett visst annat sätt. Enkelt uttryckt är mål en beskrivning av hur något objekt ska se ut eller vara vid en framtida tidpunkt. Helst ska det också gå att mäta eller observera när målet är uppnått. Mål i denna bemärkelse kan inte vara åtgärdskrav, det vill säga krav på vilka aktiv-iteter som en verksamhet ska utföra.

I skolans styrdokument finns en mängd olika typer av mål som ska förverkligas, någon har uppskattat att det finns cirka 500 mål. Inte alla dessa mål är mål i den bemärkelsen att de beskriver ett önskvärt framtida tillstånd hos ett målobjekt. För skolan anges gällande mål huvudsakligen i läroplanerna där det finns såväl övergripande kunskapsmål som sociala mål. I kunskapsmålen finns både mål att sträva mot (som anger inriktningen på skolans arbete) och mål att uppnå (vad eleverna ska ha uppnått när de lämnar skolan). Motsvarande återfinns även i kursplanerna. Kommunerna och skolorna ska i skolplaner respektive arbetsplaner ange hur de ska utforma verksamheten för att nå de nationella målen.

I Skolverkets allmänna råd och kommentarer för kvalitetsredovisning defi-nieras kvalitet som måluppfyllelse, eller ”i vilken mån en verksamhet förverkli-gar allmänna nationella mål och svarar mot nationella krav och riktlinjer eller andra mål, krav eller riktlinjer som är förenliga med de nationella, samt strävar efter att förbättras.” Hög kvalitet i skolans värld är med andra ord detsamma som hög grad av måluppfyllelse.

Vad är då måluppfyllelse och hur kan måluppfyllelse undersökas? I en vägledande skrift om måluppfyllelseanalys argumenterar Ekonomistyrnings-


verket (2006) för att åtgärder som vidtas i offentliga verksamheter för att nå givna mål ska vara sådana att de faktiskt leder till målens uppfyllelse, inte bara att de syftar till målens uppfyllelse. Enligt samma skrift är det fem frågor som kan bli aktuella vid måluppfyllelseanalys:

1. Kan ett mål identifieras?2. I vilken utsträckning blev målet uppfyllt?3. Hur stor del av måluppfyllelsen var ett resultat av åtgärden?4. Hur stor del av verksamhetens kostnader gick åt till åtgärden?5. Var den valda åtgärden bättre än någon alternativ åtgärd?

Alla dessa frågor måste inte besvaras i en måluppfyllelseanalys som kan se ut på tre olika sätt. Den enklaste varianten är beskrivande måluppfyllelse-analys som med hjälp av indikatorer på måluppfyllelse studerar om målet kan anses vara uppfyllt eller inte uppfyllt (fråga 1-2). Förklarande målupp-fyllelseanalys tillämpar någon form av effektutvärdering för att undersöka effekten av en åtgärd (fråga 1-3). Den sista varianten kallas pläderande måluppfyllelseanalys och använder kunskaper om effekter och kostnader för att argumentera för valet av åtgärd (fråga 1-5). För alla tre typerna gäller givetvis att det är möjligt att identifiera ett eller flera mål som beskriver hur något målobjekt ska se ut eller vara.

Målobjekt En insats målobjekt är den person, population, organisation, process eller något annat som behöver förändras (Øvretveit 2001).

Prestationer När ett studieobjekt beskrivs i form av en programteori utgör prestationer en av programteorins faser: Prestationer är tjänster och produkter som kommer ut från en verksamhet. Om verksamheten är en skola är vanligt förekom-mande prestationer undervisningstimmar, studiedagar och utvecklingspro-jekt av olika slag men också sådant som expedierade ärenden och skrivna rapporter. Med prestationer avses således vad som är avklarat, inte vad skolan för stunden är sysselsatt med.

Distinktionen mellan prestationer och effekter är viktig. Prestationer hand-lar om verksamheten i sig medan effekter handlar om förändringar hos dem som deltagit i verksamheten. Tillsammans eller var för sig brukar prestationer och effekter definieras som resultatet av offentlig verksamhet.

I redovisningar av offentliga verksamheters resultat har det länge varit vanligt att enbart prestationer redovisas, till exempel i termer av prestatio-nernas volym, karaktär och produktivitet samt i vissa fall med avseende på hur mottagarna värderar prestationernas kvalitet. På senare år har emellertid kraven ökat väsentligt på att även effekter ska rapporteras (Ekonomistyr-ningsverket 2009).


ProcessutvärderingProcessutvärdering (program process evaluation and monitoring på engel-ska) utgör en av fem huvudansatser för utvärdering som beskrivs i Rossi, Lipsey & Freeman (2004, s 171).

”Process evaluation…verifies what the program is and whether or not it is delivered as intended to the targeted recipients. It does not, however, attempt to assess the effects of the program on those recipients. Such assessment is the province of impact evaluation (det vill säga effektutvärdering, min kommentar) … Where process evaluation is an ongoing function involving repeated measurements over time, it is referred to as program monitoring.”

Vedung (2009) kallar detta slags utvärdering för kvalificerad uppföljning. Processutvärdering har också stora likheter med det som inom statsveten-skap och sociologisk organisationsforskning kallas implementeringsanalys (se Hill & Hupe 2009 för en aktuell översikt). I processutvärdering (eller kvali-ficerad uppföljning) är det en verksamhets aktiviteter och prestationer som står i fokus. Denna form av utvärdering söker inte i första hand efter vilka ef-fekter som åstadkoms, utan hur verksamheten genomförs eller implemente-ras. Följande frågor utgör exempel på frågor som är vanligt förekommande vid processutvärdering:

• Hur många personer nås av verksamheten? Vilka nås inte?• Är det rätt personer som nås? • Har dess aktiviteter rätt volym, form, kvalitet, etc.?• Har personalen rätt omfattning och kompetens?• Är resurserna tillräckliga? Används de effektivt?• Är verksamheten väl organiserad? Finns det någon skillnad mellan

olika skolor/kommuner?• Är deltagarna nöjda med den service de fått och hur de fått den?

Processutvärderingar görs ofta för att ta reda på hur implementeringen av ett program går till, och om implementeringen har kunnat genomföras på avsett vis. Därav följer att processutvärderingar vanligen är inriktade på om en viss insats genomförts i enlighet med uppsatta standards eller riktlinjer, till exem-pel rättsäkerhet i handläggning, likvärdighet i betygssättning eller hur arbetet mot mobbning bedrivs. Processutvärderingar används också vid behov av förklaring, till exempel när något inte tycks fungera som det ska (Eriksson & Karlsson 2008; Øvretveit 2001).

I Skolinspektionens riktlinjer för kvalitetsgranskning anges att varje granskningsprojekt ska göra en processutvärdering och kontinuerligt följa upp hur arbetet fortskrider. De samlade erfarenheterna ska fångas upp i ett avslutsseminarium och redovisas i en slutrapport. Syftet är att skapa en mer systematisk erfarenhetsöverföring i verksamheten. I den avstämning som sker under projektets gång är flera av frågorna ovan användbara, exempel-vis: Har projektet rätt volym, form, kvalitet etc.? Har medarbetarna relevant kompetens? Är projektet välorganiserat? Används resurserna effektivt? Får inspektörerna det stöd de behöver av projektledningen?


ProgramteoriVikten av att förstå naturen och logiken hos en verksamhet som är föremål för utvärdering har diskuterats sedan 1960-talet (Suchman 1967; Weiss 1972; Chen 1990; Donaldson 2007). Programteori - på engelska ”program theory” - är en metod som utvecklats av forskare inom utvärderingsområdet i detta syfte. Detta är, som Vedung (2009) påpekat, inte utvärderingsforsk-ningens enda bidrag till samhällsvetenskapen men sannolikt det främsta.

På engelska figurerar en mängd snarlika beteckningar med närbesläk-tade innebörder såsom logic model, logical framework, intervention theory, treatment theory, theory of action och cognitive map. SIDA (2003) tillämpar något som kallas Logical Framework Approach (LFA) som har stora likheter med programteori, både som begrepp och metod. LFA är ett planerings- instrument som började användas av det amerikanska försvaret på 1960- talet och som därefter spritts till nationella och internationella biståndsor-ganisationer runt om i världen. På svenska är verksamhetslogik ett ord som ibland används synonymt med programteori.

Citatet nedan som är hämtat ur Donaldson (2007, s 22), en tämligen ny lärobok om teoribaserad utvärdering, fångar innebörden i programteori som begrepp:

“The process through which program components are presumed to affect outcomes and the conditions under which these are believed to operate.”

Programteorimetoden innebär i grova drag att de underliggande antaganden som en verksamhet (ett program) implicit eller explicit vilar på identifieras, beskrivs och används för att planera utvärderingar, planlägga en ny verk-samhet eller för att skapa bättre förståelse för hur en befintlig verksamhet fungerar. Utvärdering förutsätter ett objekt. I den amerikanska litteratur som dominerar utvärderingsområdet är ”program” en vedertagen generisk benämning på ett utvärderingsobjekt, därav termen ”program theory”.

En programteori kan vara mycket enkel eller mycket komplicerad, men oavsett vilket är det samma grundkomponenter som den är uppbyggd kring, nämligen inflöden, aktiviteter, prestationer och effekter och ibland mekanis-mer eller framgångsfaktorer. En generell programteori ser ut så här:

Figur 4. En generell programteori

Allt som “går in” i en verksamhet, främst pengar och personal. Kunskapsbas.

Vad som görs för att åtgärda ett givet problem (verksamhetens uppdrag). Hur, vilka aktörer, när?

De direkta produkterna av processerna.

Målobjekt.

En skillnad som processer/prestationer gör för ett målobjekt (individ, organisation, samhälle).

Förutsättningar

Processer

Prestationer

Effekter

RE S U L T A T


En programteori som beskriver de antaganden om orsak och verkan som det dåvarande Skolverkets utbildningsinspektion arbete vilade på har utvecklats av Ekonomistyrningsverket (2006):

Figur 5. En programteori för inspektionsverksamheten

Utgångspunkten för varje programteori är ett samhälleligt problem som be-höver lösas eller en situation som behöver förbättras, till exempel att lärare undervisar i kurser och ämnen de saknar behörighet för eller att uppfölj-ningen av elever i vuxenutbildning är bristfällig. Själva programteorin utgörs av en uppsättning antaganden om orsak och verkan som förklarar hur problemet ifråga kan lösas eller situationen förbättras. Antagandena har sin grund i hur de som skapat, beslutat och/eller är ansvariga för ett program tänker sig att orsak och verkan hänger ihop (gör man A så händer B, och det för i sin tur med sig C och D).

En tänkvärd idé i detta sammanhang är Weiss (1972) tanke att ett pro-gram sällan bygger på en enda underliggande logik, och att det därför är mer realistiskt att tala om programteorier i pluralis. Om utvärderaren lyckas identifiera olika programteorier blir det möjligt att genom empirisk prövning bestämma vilken av teorierna som har bäst empiriskt stöd. Som en illustra-tion till sitt resonemang beskriver Weiss fyra olika sätt att se på logiken i ett program som genom att öka lärarlöner avser öka elevernas förmåga att lära (se figur 6).

Förutsättningar

Inspektionen har rätt förut-

sättningar, till exempel kompetens,

tid etc.

Bristerna finns dokumenterade, spridda, ac-cepterade, angelägna, det finns resurser, kunskap om hur bristerna kan åtgärdas etc.

Att vidtagna åtgärder är relevanta och tillräckliga för måluppfyl-lelsen

Prestation InspektionOkunskap om kritik/förbät-trings-områden

Brister åtgärdas

Nationella mål upp-fylls


Figur 6. Alternativa vägar att öka elevers förmåga att lära

Ofta är de antaganden om orsak och verkan som ett program vilar på bara underförstådd. Att de finns explicit formulerade och är väl kända bland de inblandade är ovanligt. En programteori måste därför identifieras, tolkas och tydliggöras. I utvärderingslitteraturen kallas detta ofta för att rekonstruera programteorin. Bra beskrivningar av hur man kan gå tillväga finns i Donald-son (2007), Ekonomistyrningsverket (2005), Mc Laughlin & Jordan (1999). De fem stegen här nedan är hämtade ur den sistnämnda.

1. Samla relevant information, till exempel genom att diskutera med ansvariga och ta del av dokument som beskriver verksamheten (lagar, föreskrifter och deras förarbeten, planer, annan dokumentation etc).

2. Definiera det problem som verksamheten ska lösa. Vad är proble-met? Vem är det ett problem för? Vilka är orsakerna till problemet? Vilka orsaker kommer verksamheten att påverka och med vilka aktiviteter? Det är viktigt att förstå vad som ligger bakom behovet av en verksamhet, samt även hur långt verksamhetens ansvar för proble-mets lösning rimligen kan sträcka sig.

3. Definiera verksamhetens olika led i programteoretiska termer. Sortera informationen från 1) och 2) under rubrikerna förutsättningar, aktivite-ter, prestationer, effekter på kort sikt, medellång sikt och lång sikt.

4. Rita programteorin i grafiskt format med boxar och pilar. Det finns en rad olika möjligheter att grafiskt illustrera en programteori, metoden är inte bunden till någon speciell grafisk form (se till exempel KREVI 2008). En programteori kan också presenteras bara i ord.

5. Verifiera programteorin. Kontrollera att logiken stämmer med programmets ansvariga, använd gärna om-så påståenden (om, och om, så, och så…).

Teacher saleries increase

Teacher morale improves

Classroom social climate becomes more pleasant pleasant

Teachers give up their second jobs and put full ener-gies into teaching

Abler people are attracted into teaching

Teachers work harder at teach-ing and put more effort into preparation and pedagogy

Teachers develop more congenial relationships with students

Teachers more thoroughly pre-pare their lessons

School dis-tricts hire abler teachers

Students under-standing of mate-rial improves

Students seek to maintain good re-lations with their teachers

Teachers employ a greater variety of pedagogical strategies

Abler teachers teach more effectively

Students work harder

Teachers teach more effectively

Increased student achievement


Programteori är en metod med en mångfald av tillämpningsmöjligheter, men här ska bara nämnas fyra:

I den första tillämpningen utgör en programteori, som på ett adekvat sätt tydliggör tänkta orsakssamband i en verksamhet, ett utmärkt underlag för diskussion, analys och förståelse för verksamheten ifråga. Den tydliggör vad som ska/bör/kan göras för att målen ska uppnås, den särskiljer aktiviteter från resultat och visualiserar på så vis strategin och logiken i verksamheten.

Logiken i en programteori kan också ligga till grund för mer kvalificerad, teoretisk analys. I utvärderingslitteraturen talar man om programteorianalys (”program theory assessment”) där rimligheten i tänkta orsak-verkan-samband värderas i förhållande till exempelvis forskning inom området (se till exempel Rossi, Lipsey & Freeman 2004).

Att använda programteori som stöd i samband med planering av en utvär-dering är förmodligen metodens vanligaste tillämpning. Med en programteori som utgångspunkt blir det lättare att fokusera utvärderingen, bestämma vilka frågor som ska besvaras, vilka kriterier som ska ligga till grund för bedömning och vilka data som behöver samlas in.

Programteori kan slutligen användas som referensram när ett kvalitetsmät-ningssystem ska etableras, eller när ett befintligt system ska finslipas. I det första fallet handlar det om att sortera in målen för en verksamhet i ett pro-gramteoretiskt format för att på ett mer systematiskt sätt kunna avgöra vilka aspekter som är rimliga och meningsfulla att mäta. I det andra fallet gäller det att sortera in befintliga kvalitetsindikatorer i programteoretiskt format för att tydliggöra vilka led i verksamheten (inflöden, aktiviteter, prestationer, effekter) som de befintliga kvalitetsindikatorerna omfattar och vilka indikatorer som behöver utvecklas.

Namnet till trots är en programteori inte en teori i en strikt vetenskaplig me-ning som på basis av säker och tillförlitlig empirisk kunskap beskriver, förkla-rar eller förutsäger händelser eller fenomen. Programteori handlar också om förklaring, men förklaringen har sin grund i ”lokala teorier”, det vill säga hur de som skapat och/eller beslutat om en verksamhet tänker sig att denna hänger ihop i termer av orsak och verkan. Hur de personer som skapat och/eller beslutat om en verksamhet tänker sig att orsak och verkan hänger ihop kan dock givetvis i vissa fall bygga på vetenskapligt grundad kunskap. Det sista kan jämföras med evidensbaserad policy och praktik som är ett uttryck för att man i professionella sociala insatser i ökande grad bör eftersträva att använda arbetssätt och metoder baserade på vetenskaplig kunskap om deras verkan.

ReliabilitetReliabilitet är, precis som validitet och generalisering, begrepp vars ursprung-liga betydelse har sin grund i kvantitativt orienterad forskning. Validitet handlar om huruvida en operationell definition som används i en undersökning mäter det som avses med den teoretiska definitionen av begreppet. Reliabilitet där-emot handlar som Eneroth (1984, s 24) förklarar om entydighet och tillförlitlighet:

”Om jag till exempel har en fråga som är så mångtydig att en och samma person ibland tolkar den på ett sätt och ibland på ett annat, och därför ger olika svar, ja då är frågan inte särskilt tillförlitlig (reliabel). Detsamma gäller om svaret påverkas av vem som ställer frågan.”


Kvantitativt inriktad forskning grundar sig på antagandet att det finns en enda verklighet som kommer att föranleda samma resultat om vi uppre-pade gånger studerar densamma med en reliabel forskningsmetod. Här är med andra ord hög reliabilitet lika med reproducerbarhet som kan utredas genom att man exempelvis tar ställning till: i) stabilitet, de resultat som gäller ett urval av respondenter fluktuerar inte, ii) intern reliabilitet, om det finns samstämmighet i utfallet mellan olika delar av en enkät som berör samma fenomen, och iii) interbedömarreliabilitet, om mätningen är fri från partiskhet av personen som mäter (Bryman 2008).

Forskning med en kvalitativ ansats utgår istället från att det kan finnas mer än en möjlig beskrivning av verkligheten. Därför finns det inte heller några fasta referenser att utgå ifrån för att upprepade gånger mäta en företeelse och på så sätt skapa en i kvantitativ bemärkelse reliabel mätning. Då tillväga-gångssättet under en kvalitativ studie dessutom ofta utvecklas efterhand menar många forskare att begreppet reliabilitet inte kan tillämpas på något meningsfullt sätt i kvalitativa studier (Merriam 1994). Vissa ger reliabilitet en annorlunda mening, till exempel Guba & Lincoln (1994) som föreslår begrep-pet pålitlighet (”dependability”) som kan uppnås genom en fullständig och tillgänglig redogörelse av alla faser av forskningsprocessen, och med hjälp av kollegor som fungerar som granskare.

ResultatResultat är som Bouckaert & Pollit (2004, s 103) en smula uppgivet skriver ”a slippery concept” som används på olika sätt av olika författare i olika sam-manhang. I synonymordböcker finner vi utbytesord som verkan, följd, utgång, behållning etc., varav de flesta har bäring på affärsvärlden där resultat i stort sett är lika med vinst. I offentliga verksamheter är innebörden av resultat en annan, här handlar det inte om vinst utan om vad som görs, det vill säga prestationer, och vad dessa i sin tur leder till för människor och för samhället i stort, det vill säga effekter. Enligt detta sätt att definiera resultat, som är vanligt i utvärder-ingslitteratur, är resultat prestationer eller effekter, eller prestationer och effekter (Vedung 2009). I SIDA:s (2007) liksom i det danska evalueringsselskabets terminologihandbok (2004) definieras resultat så här: ”The outputs, outcomes and impacts (intended or unintended, positive and/or negative) of a development intervention”.

Resultat är med andra ord allt som “kommer ut” av en intervention eller verksamhet. Termen resultat används ibland också i en mer begränsad me-ning där den är synonym med enbart prestationer, det vill säga ”outputs” (se till exempel Socialstyrelsen 2007).

Samhällsekonomisk utvärderingSom Vedung (2009, s 149) påpekar är ”efficiency” och ”effectiveness” luriga termer på engelska för oss svenskar, eftersom vi kallar båda effektivitet och inte alltid observerar den skillnad som impliceras av de bägge engelska ter-


merna. Båda har med måluppfyllelse att göra men medan ”efficiency” beak-tar även kostnader så nöjer sig ”effectiveness” med enbart måluppfyllelse. I det som här kallas samhällsekonomisk utvärdering är det närmast effektivitet i betydelsen ”efficiency” som avses. Rossi, Lipsey & Freeman (2004, s 425) beskriver denna form av utvärdering, så här:

”Efficiency assessment. An evaluative study that answers questions about program costs in comparison to either the monetary value or its benefits or its effectiveness in terms of the changes brought about in the social conditions it addresses.”

Medan de flesta andra utvärderingsansatser rör sig på en verksamhetsnära nivå och undersöker processer och effekter i anslutning till en given insats, så är grundvalen i effektivitetsutvärdering, eller samhällsekonomisk utvärde-ring som är en vanligare benämning på svenska, samhällsekonomisk lönsam-het. Även om enskilda medborgare förlorar på en insats kan nettoeffekterna av densamma totalt sett bli positiv för samhället. Jess (2005) liknar detta slags utvärdering vid en företagsekonomisk kalkyl för ”företaget” Sverige. Salas (2007) har sammanfattat skillnaderna mellan en traditionell företags-ekonomisk kalkyl och en samhällsekonomisk dito på följande sätt:

Figur 7. Företagsekonomisk kalkyl visavi samhällsekonomisk kalkyl

Det finns två huvudmodeller för samhällsekonomisk utvärdering, kostnads-nyttoanalys (cost-benefit analys) och kostnadseffektivitetsanalys (cost-effectivenss analysis). Den första innebär i mycket grova drag att effekterna (nyttorna) av en insats värderas och summeras i pengar, och ställs sedan mot summan av kostnaderna. Inför det faktum att alla nyttor och kostnader inte kan mätas på en marknad måste man således använda sig av indirekta metoder för att kunna prissätta. I det andra fallet sker ingen översättning av effekterna av en insats till pengar. Jämförelsen sker istället mellan verbalt beskrivna effekter och den totala kostnaden uttryckt i pengar. Det svåra momentet att prissätta kvalitativa förändringar saknas således här men i gengäld kan den avslutande analysen bli tämligen komplicerad. Hur ska man exempelvis värdera att fler barn går ut grundskolan med godkänt betyg i matematik, ställt mot kostnaden för ett mentorprogram i ämnet? För övrigt

Företagsekonomisk Samhällsekonomisk

Vinstsyfte. Privat maximering av välfärd.

Intäkter och kostnader tillhör projektets ägare.

Marknadspriser.

Endast hänsyn till den egna investeringen.

Finansiella flöden beskattas.

Ej vinstsyfte. Social maximering av välfärd.

Intäkter och konstnader berör hela samhället.

Skuggpris.

Hänsyn till andra ekonomiska enheter i samhället.

Mäter projektets bidrag till nation-alinkomst och den offrade nation-alinkomst.


gäller för såväl kostnads-nyttoanalys som kostnadseffektivitetsanalys att ana-lysen blir meningsfull först när den jämförs med något, till exempel tidigare studier av samma eller närliggande program.

Grundidén i samhällsekonomisk utvärdering är att de effekter som upp-nåtts av en insats, översätts i ekonomiska termer som är relevanta för de samhälleliga problem som insatsen syftar till att lösa. Skolans kostnader för till exempel ett mentorprogram i matematik ställs emot programmets effekter och de samhälleliga kostnader som följer av de problem som uppstår av att elever underkänns eller inte får betyg i ämnet. De svårigheter som finns när det gäller att konstatera effekter i en effektutvärdering gäller förstås också här, men ofta bygger samhällsekonomisk utvärdering på ett underförstått antagande om att det är just den aktuella insatsen som orsakat effekterna.

Bra beskrivningar av samhällsekonomisk utvärdering på svenska finns i Jess (2005) och Salas (2007), och på engelska i Lewin & McEwan (2000) samt Rossi, Lipsey & Freeman (2004).

SyfteAlla vetenskapliga texter förväntas ha ett syfte, men vad som menas med det varierar. Inte sällan finns en glidande användning av ord som syfte, problem-formulering och frågeställning vilka ibland dessutom används synonymt. Enligt den terminologi som här förespråkas står syfte för varför en viss slags kunskap ska frambringas, samt eventuellt också vad kunskapen ska använ-das till.

Vad för slags kunskap som ska frambringas bör dock framgå av problem-formulering och frågeställning.

Forskning syftar, enkelt uttryckt, till att säga oss något vi inte visste förut. Att bidra till utvecklingen av kunskapen inom något område, till exempel ge-nom begreppsutveckling eller teoriprövning, är därför en mycket vanlig form av syftesbeskrivning. Så här kan det till exempel se ut:

”Objective of the thesis: - to use the model of complementarity in conflict management in a context different from the one it was developed for, in order to 1) test the validity of the model in that particular context, and thereby 2) make suggestions to the further development of the model” (citerat ur Rienecker 2003, s 37).

I utredning, utvärdering, tillsyn, kvalitetsgranskning och andra forskningslika aktiviteter som använder vetenskapliga metoder har syfte en delvis annan betydelse. Utredning, utvärdering, tillsyn och kvalitetsgranskning görs inte för något abstrakt mål om kunskapsutveckling utan för att användas och vara till nytta, till exempel för beslutsfattande, lärande eller kontroll av en verksamhet. Här handlar syfte således om varför en undersökning görs, samt (i bästa fall) vad den frambringade kunskapen ska användas till (Lahti Edmark & Tranquist 2005; Sanders 1994). Trots denna fokusering på användning och nytta pekar forskning om utvärderingars användning på bristande kunskaps-användning, men också på att många utvärderingar görs utan att uppdrags-givaren vet varför (Boswell 2009; Lindgren 2006; Vedung 2009).


TeoriTeori är ett mångtydigt och tillika prestigefyllt begrepp eftersom teoribild-ning och teoriutveckling kan sägas vara målet med allt vetenskapligt arbete. Forskare har ibland en viss benägenhet att avfärda forskning som inte kopp-lar samman empiri och teori som naiv empirism eller teorilös. Liknande kritik riktas inte sällan mot utvärdering som vanligen sker inom en ”uppdragsram” som är snävare formulerad och mer praktiskt inriktad än vad som gäller för forskning som sker inom en ”teoriram” och syftar till allmän kunskapsutveck-ling inom ett område (Karlsson 1999).

Prestigefylldheten till trots finns många olika uppfattningar om vad en vetenskaplig teori är och hur sådana ska utryckas och användas i forskning och utvärdering. Någon lär till och med ha sagt att en teori är det som en författare säger att det är. Flertalet sätter dock som Nationalencyklopedin likhetstecken mellan en teori och ”en grupp antaganden eller påståenden som förklarar företeelser av något slag och systematiserar vår kunskap om dem”. De flesta är också överens om att begrepp är de minsta byggstenarna i en teori och att hypoteser är testbara delar av en teori.

En teori är därmed detsamma som ett antagande om en kausal relation mellan en faktor A och en faktor B, kombinerat med ett antagande om varför faktor A påverkar faktor B. I denna enkla definition ryms en rad komplice-rade frågor som det inte här finns utrymme att bringa klarhet i på något mer grundligt vis. Sådana frågor rör exempelvis vad en teori kan uttala sig om och hur den kan göra det, hur noggrann och välutvecklad beskrivningen av den kausala relationen ska vara samt vilken funktion teorin ska ha i en undersök-ning (Hartman 1998).

I polemik mot vad Merton såg som alltför generella och abstrakta ”grand theories” som är av begränsat värde för praktisk samhällsvetenskaplig forsk-ning, och som en kompromiss i förhållande till teorilös forskning argumen-terade han (1967, s 39) för så kallade ”middle range theories”. Teorier på mellannivå gäller till skillnad från stora teorier ett begränsat område och är tillräckligt konkreta för att de ska kunna prövas empiriskt.

Ett annat sätt att karakterisera olika slags teorier är att tala om deskripti-va, normativa och preskriptiva teorier. En deskriptiv teori har som målsättning att beskriva och förklara hur verkligheten är och byggs upp av observationer av verkligheten, exempelvis av hur barn lär sig att läsa. Normativ teori är en vanlig teorityp inom politisk filosofi och handlar om hur något bör vara, till exempel ett demokratiskt samhälle. Dylika teorier byggs upp genom rationell argumentation grundad på moraliska, politiska och ideologiska normkällor. En preskriptiv teori slutligen är inriktad på det som kan göras och syftar till att utfärda rekommendationer och förslag för handling, till exempel hur en viss typ av verksamhet bör organiseras för att uppnå ett visst resultat. Ett intressant problem med denna åtskillnad, som Stoehrel (2007) pekat på, är att påståendet att det finns teorier som inte är normativa kan leda till att vi förtingligar de antaganden som bärs fram av dessa. Så fort vi väljer att använda en specifik teori lämnar vi andra valbara teorier åt sidan, vilka skulle kunna förklara samma ”fakta” på ett annorlunda sätt.

Beroende på vilket kunskapsteoretiskt perspektiv en forskare - mer eller mindre medvetet och tydligt - utgår ifrån varierar synen på vad en teori är el-ler bör vara, men det gör också synen på teorins funktion i praktisk forskning. Uppfattningen att teorier bör prövas empiriskt har sin grund i ett positivistiskt perspektiv som antar att detill exempelisterar en objektiv verklighet, obero-


ende av subjektet, och att vi med de rätta forskningsmetoderna kan nå giltig kunskap om denna verklighet. En god eller säker teori enligt detta perspektiv är en teori som härletts utifrån befintlig kunskap inom ett område och testats med framgångsrikt resultat mot ”verkligheten” och helst också är generali-serbar. Deduktion brukar en sådan forskningsprocess kallas.

Motsatsen kallas induktion och innebär att teori används för att i efter-hand förklara eller tolka ett forskningsresultat, eller utveckla och bygga nya begrepp och teorier. En induktiv ansats innebär med andra ord att teorin är resultatet av en forskningsprocess, inte som vid deduktion dess utgångs-punkt. Denna forskningsansats har sin grund i ett hermeneutiskt synsätt. Enligt det uppfattar varje människa sig själv och sin situation på ett speci-ellt sätt, genom att knyta en särskild mening till de företeelser hon omges av. Här handlar det därför inte om att söka efter lagar och regelbunden-heter att verifiera eller falsifiera, utan om att förstå hur människors livsvärld fungerar och hur den uppfattas eller tolkas. ”Grounded theory” är sannolikt det mest kända exemplet på ett induktivt angreppssätt (Bryman 2008).

Teoribaserad utvärderingProgramteori är ett nyckelbegrepp i utvärdering som uppträder under flera olika, men likartade, beteckningar såsom logic model, outcomes hierachy och på svenska verksamhetslogik och effektkedja. Dessutom kopplas be-greppet programteori ofta ihop med dess tillämpningar som även de har flera olika men snarlika namn, till exempel program theory evaluation, program theory-driven evaluation, theory-based evaluation, och på svenska pro-gramteoriutvärdering, teoridrive eller teoribaserad utvärdering. Det som här rubriceras teoribaserad utvärdering kan således ta sig många olika uttryck och det är bland annat därför som Davidson (2006, s 4) talar om ”the un- necessary baggage that seems to accompany theory-based evaluation (TBE)”:

“By this I mean that those who have promoted TBE over the years have failed to keep the fundamental concept clear, but have instead loaded it up with all sorts of extras that reflect the way they happen to use it. …The inevitable result of the ‘baggaging’ of theory-based evaluation has been that the critics have targeted not the fundamental idea behind TBE (which is actually really useful), but the particular ‘TBE + baggage’ version they most strongly object to.”

Den fundamentala definition som Davidson (ibid.), liksom även Rogers med flera (2000) samt Weiss (1997) argumenterar för innebär att teoribaserad utvärdering är en utvärdering som på ett eller annat sätt utgår från begreppet programteori. En teoribaserad utvärdering har med andra ord två nödvändiga komponenter. För det första krävs en explicitgjord programteori som beskriv-er hur verksamheten ifråga åstadkommer avsedda effekter och för det andra krävs en utvärdering vars design, frågor och metoder vägleds av program-teorin. På ett liknande sätt beskriver för övrigt Fitz-Gibbon & Lyon Morris (1975), som är de två författare som en gång hittade på termen theory-based evaluation, själva dess innebörd:


”A theory-based evaluation of a program is one in which the selection of program features to evaluate is determined by an explicit conceptualization of the program in terms of theory, a theory which attempts to explain how the program produces the desired effects./…/The term ‘theory-based’ evaluation, then, means an evaluation based on a model, theory, or philosophy about how the program works…which indicates the causal relationships supposedly operating in the program” (Fitz-Gibbon & Lyon Morris 1975).

Med utgångspunkt i denna definition kan en teoribaserad utvärdering göras på två huvudsakliga sätt:

A) Utvärderingen baseras på hur de som skapat, beslutat och/eller är an-svariga för en verksamhet tänker sig att denna hänger ihop i termer av orsak och verkan (lokal teori). En beskrivning görs av den aktuella verksamhetens programteori. Hur utvärderingen ska genomföras, vilka frågor som ska be-svaras, vilket dataunderlag som ska användas och vilka kriterier för bedöm-ning av framgång som ska brukas bestäms sedan utifrån denna beskrivning. Resultatet av utvärderingen visar om det blev som de ansvariga tänkt sig, och syftet är att ta reda på det.

B) Utvärderingen grundar sig på relevant vetenskaplig teori om det problem och program som är utvärderingens objekt (programfältsteori). Liksom i A) görs en beskrivning av den aktuella verksamhetens program-teori, men resonemanget förs här ett steg vidare genom att de aspekter som utvärderingen ska fokusera knyts till vetenskapliga teorier om dessa aspekter. Teorierna används för att både ringa in de faktorer som ska utvärderas, och/eller för att bidra till en mer teoretisk förståelse av utvärde-ringsresultat (se till exempel Donaldson 2007; Franke-Wikberg & Lundgren 1980; Vedung 2009).

TrianguleringTriangulering, triangelmätning, är ett sätt att bestämma avståndet mellan punkters lägen. Metoden är mycket gammal och har haft stor betydelse för navigation, kartritning, astronomi och även för det moderna GPS-systemet. Triangulering är också ett begrepp inom politiken där det syftar på en situa-tion där en aktör intar en tredje ståndpunkt mellan den en motståndare har och den aktören själv intagit tidigare (Nationalencyklopedin.se).

Inom samhällsvetenskap har begreppet triangulering använts sedan 1960-talet, från början i förbindelse med kvantitativ forskning för att forsk-ningsresultat skulle bli mer tillförlitliga genom att mer än en metod användes för att operationalisera begrepp (Webb med flera 1966). Redan på 1940-ta-let hade emellertid Foreman (1948) rekommenderat att man skulle använda dels oberoende forskare för att säkerställa validitet genom kollektiv bedöm-ning, dels utnyttja yttre källor för att göra fallstudien mer valid. Idag inbegri-per begreppet triangulering metodtriangulering (olika metoder brukas för att undersöka ett och samma fenomen), datatriangulering (samma fenomen do-kumenteras med hjälp av olika källor), forskartriangulering (olika forskare gör oberoende analyser av samma fenomen), och teoretisk triangulering (samma fenomen analyseras utifrån olika teoretiska perspektiv) (Mathison 1988).


Uppföljning Uppföljning och utvärdering nämns inte sällan tillsammans, till exempel som i följande passage som är hämtad från ett regeringsdirektiv till en statlig utredning härom året: ”Särskilt noga bör övervägas hur möjligheterna till uppföljning, utvärdering och kvalitetssäkring… inom och mellan olika verk-samheter kan förbättras.” Uppföljning och utvärdering är emellertid två skilda aktiviteter, om än med många likheter och med flytande gränser.

Uppföljning kan grovt ses som en sorts övervakning i det att det är en aktivitet som görs löpande enligt fasta rutiner för att granska hur en verk-samhet utvecklas i något eller några på förhand definierade avseenden. Informationen är normalt kvantitativ (statistik, indikatorer, nyckeltal) med sifferuppgifter som beskriver läge, tillstånd och/eller utvecklingen av en verksamhet. Informationen hämtas oftast från befintliga datakällor, men det är också vanligt att via reguljära surveyundersökningar samla in data som visar människors synpunkter på verksamheten ifråga, till exempel brukar-enkäter. Uppföljning kan avse både förhållanden inom en organisation, till exempel hur handläggningstiderna förändrats, och förhållanden utanför or-ganisationen, till exempel hur det samhällsproblem man velat hantera med organisationens verksamhet förändrats. Uppföljningar ger emellertid inga förklaringar till uppmätta förändringar, de beskriver bara att förändringar skett. (Ekonomistyrningsverket 2004; Lindgren 2006).

På engelska motsvaras uppföljning i ovan nämnda bemärkelse av be-greppet ”monitoring” (Rossi, Lipsey & Freeman 2004; Vedung 2009). Detta begrepp kan också stå för en annan typ av uppföljning som inte enbart handlar om datafångst av enskilda variabler utan också söker efter orsaker till implementeringsproblem. Den senare betydelsen är därmed (på svenska) egentligen en form av processutvärdering.

Flera författare har på senare år uppmärksammat att uppföljning tenderar att bli vanligare än utvärdering. ”From studies to streams” är en metafor som myntats i anglosaxisk utvärderingsforskning för att beskriva den interna-tionella trend som i enlighet med Rist & Stamme (2006, s 5) innebär att ”eva-luation no longer come anymore in single studies, but more often draw their material from a continuous flow of information that is facilitated by informa-tion and communication technologies”.

UrvalUrval handlar om att besluta vilka enheter (personer, föremål, händelser eller liknande) ur en population (det sammanlagda antalet av de enheter man ön-skar studera) som ska väljas för att besvara en given frågeställning. Ett urval är således ett utsnitt av de enheter som finns i populationen. De enheter som en population består av behöver som antytts inte handla om människor som väljs ut utan kan bestå av exempelvis skolor eller kommuner med eventuella subgrupper.

Det finns två grundläggande typer av urvalsförfarande – sannolikhetsurval och icke-sannolikhetsurval. Skillnaden mellan dem består i korthet av att man i sannolikhetsurval för varje enhet i populationen kan specificera sannolik-heten för att de kommer att inkluderas i urvalet. Man antar generellt att ett representativt urval blir följden då man använder sannolikhetsurval, vilket i


sin tur gör det möjligt att generalisera resultatet från urvalet (stickprovet) till den population urvalet görs ifrån. I icke-sannolikhetsurval finns inte något sätt att beräkna troligheten för varje enhet att komma med i urvalet och ingen försäkran om att varje enhet har någon chans att överhuvudtaget inkluderas. Det betyder att vissa enheter i populationen har större chans att komma med i urvalet, vilket minskar eller utesluter möjligheterna till generalisering (Mer-riam 1988).

Det finns flera typer av sannolikhetsurval. En mer detaljerad beskrivning av tillvägagångssättet vid olika typer av sannolikhetsurval finns bland annat i Bryman (2008) och Esaiasson med flera (2003).

Obundet slumpmässigt urval är den mest grundläggande som in-nebär att någon form av slumptalstabell används för att välja enheter från en urvalsram som förtecknar populationens enheter. Varje enhet i populationen har samma chans att komma med i urvalet. Sanno-likheten för detta kan beräknas statistiskt.

Systematiskt urval görs genom att enheterna väljs ut direkt från en urvalsram som bygger på fasta intervaller, till exempel var femte eller tionde individ väljs ut.

Stratifierat slumpmässigt urval innebär att enheterna väljs ut slump-mässigt från en population som på förhand delats upp i kategorier eller strata.

Klusterurval är en urvalsteknik där forskaren först bestämmer sig för olika grupper (kluster) i populationen och därefter gör urvalet av enheter från dessa kluster.

Termen icke-sannolikhetsurval används i många metodläroböcker som ett paraplybegrepp för alla de former av urval som inte görs utifrån de principer som ett sannolikhetsurval innebär. Detta lite märkliga språkbruk signalerar på så sätt att alla sådana urval, till exempel snöbollsurval eller ändamåls-enligt urval som är vanligt förekommande i kvalitativa studier, är att betrakta som avvikelser från en norm, ungefär som uttrycket icke-vit befolkning. Då generalisering i statistisk mening inte är ett mål för kvalitativ forskning torde sannolikhetsurval inte vara nödvändigt eller ens rimligt. Som en antropolog, citerad i Merriam (1988, s 61), förklarar är målet med kvalitativ forskning ”inte att svara på frågor som ’hur mycket’ eller ’hur ofta’, utan att lösa kvalitativa problem som att upptäcka vad som sker, vad detta leder till samt de rela-tioner som kopplar samman olika händelser.”

Att traditionell urvalsteori primärt är knuten till kvantitativt orienterade stu-dier betyder inte att urvalsfrågan är något vi kan ta lätt på i kvalitativa under-sökningar. Grunden för urval i kvalitativa studier är att välja fall som är rika på information om studiens tema. Urvalet måste för att tala med Patton (1990, s 169-186) vara ändamålsenligt (”purposeful”). Patton beskriver en rad olika sätt att tänka kring denna form av urval, bland annat följande som tillhör de mer vanligt förekommande:

Extrema eller avvikande urval innebär att forskaren först etablerar en norm för vad som ska räknas som typiska enheter, för att därefter leta efter de enheter som kan spegla detill exempeltrema eller av-vikande. Logiken är att det finns mycket att lära av ovanliga eller


extrema enheter, till exempel vad det är som gör att vissa skolor når framgång alternativt misslyckas med en viss uppgift.

Maximal variation går ut på att de utvalda enheterna ska vara så heterogena som möjligt i syfte att kunna fånga centrala mönster eller variationer som finns i en population.

Typiska fall innebär att forskaren utvecklar en egenskapsprofil för den genomsnittliga enheten och söker sedan reda på konkreta en-heter som passar in på detta.

Kritiska fall är enheter i en population vars omständigheter eller er-farenheter av någon anledning anses viktiga att få kunskap om. Den underliggande logiken är som Patton förklarar ”if it happens there, it will happen anywhere or vice verca, if it doesn’t happen there, it won’t happen anywhere.”

Snöbollsurval innebär att forskaren initialt ser till att få kontakt med ett mindre antal enheter eller människor som är relevanta för under-sökningens tema och använder därefter dessa för att få kontakt med ytterligare respondenter.

Teoretiskt urval används som beteckning på ett urval som görs i en-lighet med teoretiska överväganden och som utvecklas under under-sökningens gång till dess det som kallas teoretisk mättnad uppnåtts.

Bekvämlighetsurval innebär att man väljer ”första bästa” eller enheter som är lättillgängliga för forskaren. Enligt Patton är detta förmodligen den vanligaste typen av urval men också den minst önskvärda efter-som bekvämlighetsurval varken är ändamålsenligt eller strategiskt.

UtvärderingBegreppet utvärdering har definierats på olika sätt av en mängd olika förfat-tare och har, som så många andra ofta använda begrepp blivit en semantisk magnet som dragit till sig närbesläktade aktiviteter som till exempel utred-ning, policyanalys och uppföljning. I linje med den definition som lyfts fram i SOU 2009:94 förespråkas här en förståelse av utvärdering som innefattar tre aspekter, nämligen bedömning, systematik och användning.

De flesta är överens om att utvärdering betyder noggrann bedömning, så som Scriven (1991, s 139) förklarar i sin klassiska definition:

”Evaluation refers to the process of determining the merit, worth or value of something, or the product of that process.” Med meriter avses de innebo-ende kvaliteterna hos ett utvärderingsobjekt, och med värdet avses objektets betydelse och nytta i det system i vilket det ingår. Det engelska ordet ”merit” (förtjänst, fördel) har här en klart positiv klang vilket dock inte innebär att negativa aspekter av en verksamhet (som kan vara avsedda, förutsedda eller oförutsedda) inte kan uppmärksammas i en utvärdering.

En andra aspekt av utvärdering somed fleraertalet författare betonar är den vetenskapliga. För att kunna göra en noggrann bedömning krävs att utvärdering sker systematiskt och använder sig av vetenskapliga metoder.


Chelimsky (1985, s 7) skriver exempelvis så här: ”… program evaluation is the application of systematic research methods to the assessment of program design, implementation, and effectiveness.” De metoder som används inom forskning kan och bör med andra ord också användas inom utvärdering. I vissa fall har detta tagits till intäkt för att definiera utvärdering som en i huvudsak metodisk kompetens. Det är emellertid ett synsätt som bland annat Karlsson (1999) vänder sig mot i boken Utvärdering – mer än metod som också diskuterar om och hur utvärdering skiljer sig från forsk-ning.

En tredje gemensam aspekt gäller utvärderingens syfte som skiljer sig från forskningens, nämligen att utvärdering inte görs för att allmänt öka kun-skapen inom något område utan ”tänks spela en roll i praktiska besluts- situationer” (Vedung 2009, s 22). ”Utility” – att utvärderingen ska vara till nytta – är för övrigt ett av de kriterier som används i The Programme Eva-luation Standards (Sanders 1994) för att beskriva vad en bra utvärdering innebär.

ValiditetAll forskning syftar till att producera giltiga och hållbara resultat på ett etiskt godtagbart sätt. Validitet handlar på ett generellt plan om de data som an-vänds är giltiga och relevanta för den/de frågor som en undersökning avser, och om de slutsatser som genererats hänger ihop med frågorna som ställts eller inte. Validitet är en samlingsbeteckning för olika typer av validitet och måste, liksom reliabilitet, värderas på delvis annorlunda sätt i studier med kvalitativ respektive kvantitativ inriktning. I studier med kvantitativ ansats hänför sig validitet framförallt till beslut om datainsamling, att rätt sorts data samlas in på ett tillförlitligt sätt. I en studie med kvalitativ inriktning berör validitet såväl datainsamling som analys varför man här arbetar kontinuerligt med att säkra validiteten.

I samhällsvetenskaplig metodlitteratur uppträder en mängd beteckningar för olika typer av validitet; intern och extern validitet, innehållsvaliditet, samti-dighets validitet, begreppsvaliditet, prediktiv validitet, kommunikativ validitet, pragmatisk validitet, konvergent validitet och ekologisk validitet. Bryman (2008) menar dock att följande två utgör huvudtyper:

Begreppsvaliditet (på engelska ”construct validity) gäller främst kvantitativa studier och handlar i grunden om frågan huruvida ett mått eller en operationell definition för ett begrepp fångar ande-meningen i det som begreppet betecknar. Indikerar till exempel förekomsten av kvalitetssystem hög kvalitet i skolan?

Intern validitet handlar om i vilken mån resultatet av en undersökning är trovärdigt, till exempel stämmer överens med resultatet av under-sökningar gjorda av andra. Denna form av validitet har oftast med frågor om kausalitet att göra.

Extern validitet väcker frågan om generalisering, det vill säga huru-vida resultaten från en undersökning kan generaliseras utöver den specifika undersökningssituationen.


Esaiasson med flera (2003) diskuterar olika strategier som kan tillämpas för att i kvantitativa studier försäkra sig om god begreppsvaliditet. En möjlighet är att kopiera en operationalisering som andra, helst väl etablerade, forskare tidigare använt sig av. En annan strategi är det som på engelska kallas ”face validity” och innebär att någon utomstående som är väl insatt i den aktuella problematiken får uttala sig. En tredje möjlighet är att pröva den opera-tionella definitionen av ett begrepp på en försöksgrupp. På motsvarande sätt beskriver Merriam (1994) några strategier för att i kvalitativa studier säkerställa den interna validiteten, exempelvis triangulering som innebär att man använder flera forskare, flera informationskällor och flera metoder för att bekräfta de resultat som efterhand visar sig. Deltagarkontroll är en annan strategi där de personer som ingått i en studie får ta ställning till de beskrivn-ingar och tolkningar som gjorts. En tredje strategi innebär att forskaren ex-plicit uttrycker sina utgångspunkter, antaganden etc. som hon/han har med sig in i undersökningen.

Även om begreppen validitet och reliabilitet analytiskt går att skilja åt, så är de också starkt relaterade till varandra. En operationell definition kan ha hög reliabilitet (ge samma utslag vid upprepade mätningar oavsett vem som gör dem), men om den operationella definitionen har låg validitet (inte mäter det som avses) då hjälper det inte att hävda att mätningarna gjordes mycket noggrant. En operationell definition kan alltså ha hög reliabilitet även om den har låg validitet. Däremot gäller inte det omvända.


Referenser

Berliner, D.C. (2002) Educational research: The hardest science of all. Educational Researcher, vol 31/8 (18-20).

Bashkar, R. (1989): The Possibility of Naturalism. A Philosophical Critique of the Contemporary Human Sciences. Hassocks: Harvester Press.

Boswell, C (2009) The Political uses of Expert Knowledge. Immigration Policy and Social Research. Cambridge: Cambridge University Press.

Bouckaert, G. & Pollit, C. (2004) Public Management Reform: A Compa-rative Analysis. Oxford: Oxford University Press.

Bryman, A. (2008) Social Research Methods. Oxford: Oxford University Press.

Campbell, D. T., and Stanley, J.C, (1963) ”Experimental and Quasi-Expe-rimental Designs for Research on Teaching.” N. L. Gage (ed.), Handbook of Research on Teaching. Chicago: Rand McNally.

Chelimsky, E. (1985) Program Evaluation: Patterns and Directions. Ameri-can Society for Public Administration.

Chen, H.T. (1990): Theory Driven Evaluations. Newbury Park: Sage Publi-cations.

Christie, C.A. & Fleisher, D. “Social inquiry Paradigms for the Debate on Credible Evidence”, i Donaldson, S.I. med flera (2009) What Counts as Credible Evidence in Applied Research and Evaluation Practice? Thousand Oaks: Sage.

Dahler-Larsen, P. (2008a) Konsekvenser af indikatorer. Köpenhamn: KREVI.

Dahler-Larsen, P. (2008b) Kvalitetens beskaffenhed. Odense: Syddansk universitetsforlag.

Danemark, B. med flera (2003) Att förklara samhället. 2:a uppl. Lund: Studentlitteratur.

Dansk Evalueringsselsab (2004) Evalueringstermonologi. ORT MM. (www.danskevalueringsselskab.dk).

Davidson, J. E. (2006) “The ‘Baggaging’ of Theory-Based Evaluation”. Journal of Multidisciplinary Evaluation, vol 3/no 4 2006.

Dixon-Woods, M. med flera (2007) “Appraising qualitative research for inclusion in systematic review: A quantitative and qualitative comparison of three methods”. Journal of Health Services Research & Policy. Vol 1 (42-47).

*Donaldson, S. (2007) Program Theory-Driven Evaluation Science. Strate-gies and Applications. New York: Lawrence Erlbaum Associates.

Ekonomistyrningsverket (2004) ESV:s ordbok om ekonomisk styrning i staten. Stockholm: Ekonomistyrningsverket.


Ekonomistyrningsverket (2006a) Effektutvärdering – att välja upplägg. Stockholm: Ekonomistyrningsverket.

Ekonomistyrningsverket (2006b) Resultatindikatorer – en idéskrift. Stockholm: Ekonomistyrningsverket.

Ekonomistyrningsverket (2006c) Måluppfyllelseanalys. Hur måluppfyl-lelse, effekter och effektivitet kan undersökas och rapporteras. Stockholm: Ekonomistyrningsverket.

Ekonomistyrningsverket (2006d) Skolverkets utbildningsinspektion – ger den några effekter? Stockholm: Ekonomistyrningsverket.

Ekonomistyrningsverket (2009) Handledning för resultatredovisning. Stockholm: Ekonomistyrningsverket.

Eneroth, B. (1989) Hur mäter man vackert? Grundbok i kvalitativ metod. Stockholm: Natur & Kultur.

Eriksson, B.G. & Karlsson, P.Å. (2008) Att utvärdera välfärdsarbete. Stockholm: Gothia förlag.

Esaiasson, P. med flera (2003) Metodpraktikan. Stockholm: Nordstedts Juridik.

European Evaluation Society (2007) The importance of a methodologi-cally diverse approach to impact evaluation. (www.europeanevaluation.org).

Fitz-Gibbon, C.T. & Lyon Morris, L. (1975) “Theory-based Evaluation”. The Journal of Educational Evaluation, vol 5/1

Foreman, P.B. (1948) ”The theory of case studies”, Social Forces, vol 26/4 (408-419).

Franke-Wikberg, S. & Lundgren, U.P. (1979) Att värdera utbildning. Stockholm: Wahlström & Widstrand.

Gilje, N. & Grimen, H. (1992) Samhällsvetenskapens förutsättningar. Gö-teborg: Daidalos.

Greness, T. (2005) Hur kan du veta om något är sant? Stockholm: Liber.

Guba, E.G. & Lincoln, Y.S. (1994) “Competing Paradgisms in Qualitative Research”, i Denzin, N.K. & Lincoln, Y.S. (red.), Handbook of Qualitative Research. Thousand Oaks, CA: Sage.

Hartman, J. (1998) Vetenskapligt tänkande. Från kunskapsteori till metod-teori. Lund: Studentlitteratur.

Hatry, H. P. (1999) Performance measurement. Getting results. Washing-ton DC: The Urban Institute.

Hill, M.J. & Hupe, P.L. (2009): Implementing Public Policy. An Introduc-tion to the Study of Operational Governance, 2nd ed. London: Sage.

House, Ernest R & Howe, Kenneth R (1999): Values in Evaluation and Social research. Thousand Oaks, CA: Sage.

Jess, K (2005) Att räkna med nytta – samhällsekonomisk utvärdering av socialt arbete. Socialhögskolan, Stockholms universitet.


Johansson, V (2006) Tillsyn och effektivitet. Umeå: Boréa Bokförlag.

Karlsson, O (1995) Att utvärdera – mot vad. Om kriterieproblemet vid intressentutvärdering. Stockholm: HLS Förlag.

KREVI (2008) Den logiske model - et værktøj til at planægge, gennemføre og evaluere sociale indsatser. Köpenhamn: Det kommunale og regionale evalueringsinstitut.

Lathi Edmark, H & Tranquist, J (2005) ”Uppdrag granskning– erfaren-heter från en metautvärdering av Storstadssatsningen”. Paper presenterat vid Svenska Utvärderings-föreningens konferens, 20-21 oktober, 2005 i Stockholm

Larsson (2009) A pluralist view of generalization in qualitative research, International Journal of research & Method in Education, vol 32/1, (25-38).

Lewin, H.M. & McEwan, P.J. (2000) Cost-effectiveness analysis. Methods and Applications. Thousand Oaks CA: Sage.

Lindgren, L. (2006) Utvärderingsmonstret. Kvalitets- och resultatmätning i den offentliga sektorn. Lund: Studentlitteratur.

Lindgren, L. (2009) Effekter & evidens. En metautvärdering inom folkbild-ningsområdet. Stockholm: Folkbildningsrådet.

McDavid, J.C. & Hawthorne, L.R.L (2005) Program Evaluation&Performance Measurement. An Introduction to Practice. Thou-sand Oaks, CA: Sage.

McLaughlin, J.A: & Jordan, G.B. (1999) “Logic models: A tool for telling your program’s performance story”, Evaluation and Program Planning, vol 22 (65-72).

Merriam, S.B. (1994): Fallstudien som forskningsmetod. Lund: Studentlit-teratur.

Morén, S. & Blom, B. (2003) Insatser och resultat i socialt arbete. Om utvärdering i socialt arbete. Umeå: Umeå universitet.

NIAD-UE - National Institute for Academic Degrees and University Evaluation (2009) Glossary of Quality Assurance in Japanese Higher Edu-cation. (www.niad.ac.jp).

Nilstun, T. (1985) ”Att identifiera mål i offentlig politik”, Statsvetenskaplig tidskrift, nr 3 (321-330).

Nutley, S., Walter, I. & Davies, H.T.O. (2003) “From Knowing to Doing”, Evaluation, vol /2 2003 (125-148).

Oscarsson, L. (2009) Evidensbaserad praktik inom socialtjänsten. En intro-duktion för praktikern, chefer, politiker och studenter. Stockholm: Sveri-ges Kommuner och Landsting.

Patton, M.Q. (1990) Qualitative Evaluation and Research Methods, 2nd ed. Newbury Park, CA: Sage.

Pawson, R., & Tilley, N. (1997) Realistic Evaluation. Thousand Oaks, CA: Sage.


Rienecker, L. (2003) Problemformulering. Malmö: Liber.

Rist, R. C. & Stamme, N. red. (2006) From Studies to Streams. New Brunswick: Transaction Publishers.

Rogers, P.J. med flera, red. (2000) “Program Theory in Evaluation: Chal-lenges and Opportunities”, New Directions for Evaluation, nr 87.

Rossi, P.H., Lipsey, M.W. & Freeman, H.E. (2004) Evaluation. A Syste-matic Approach, 7th ed. Thousand Oaks, CA: Sage.

Salas, O. (2007) Samhällsekonomiska följder av luftföroreniongsminsk-ningen i två peruanska städer. Göteborgs universitet: Förvaltningshögsko-lan.

Sanders, J.M. (1994): The Program Evaluation Standards, 2nd ed. How to As-sess Evaluations of Educational Programs. Thousand Oaks: Sage Publications.

Scriven, M. (1980). The Logic of Evaluation. Inverness, CA: Edgepress.

Scriven, M. (1991) Evaluation Thesaurus.4th ed. Newbury Park: Sage.

Scriven, M. “Demythologizing Causation and Evidence” i Donald-son, S.I. med flera (2009) What Counts as Credible Evidence in Applied Research and Evaluation Practice? Thousand Oaks CA: Sage.

Shadish, W.R., Cook, T.D., & Leviton, L.C. (1991) Foundations of Pro-gram Evaluation. Theories of Practice. Newbury Park: Sage.

SIDA (2003) The Logical Frameowork Approach – LFA. Stockholm: SIDA.

SIDA (2007) Glossary of Key Terms in Evaluation and Results Based Ma-nagement. Stockholm. SIDA.

Skolinspektionen (2010) Läsprocessen i svenska och naturorienterande ämnen, årskurs 4-6. Stockholm: Skolinspektionen.

Skolverket (2007) Evidensbaserad praktik och politik. Verksledningskans-liet, PM 2007-06-01.

Skolverket (2004) Redovisning av uppdrag om nationella kvalitetsindikato-rer. Redovisning av regeringsuppdrag (U2003/2060/S).

Skolverket (2006) Allmänna råd och kommentarer för kvalitetsredovisning. Stockholm: Skolverket.

Skolverket (2007) Evidensbaserad praktik och politik. Verksledningskans-liet, PM 2007-06-01.

Socialstyrelsen (2002) En kunskapsbaserad socialtjänst – debatt ur So-cionomen 2000 och 2001. Stockholm: IMS, Socialstyrelsen.

Socialstyrelsen (2007) Modell för utveckling av kvalitetsindikatorer i soci-altjänsten. Stockholm: Socialstyrelsen, Sveriges Kommuner och Landsting.

SOU 2009:94 Att nå ut och nå ända fram. Slutbetänkande från Utredningen om utvärdering av utbildning.

Strannegård, L., red. (2007) Den omätbara kvaliteten. Stockholm: Nor-stedts akademiska förlag.


Stoehrel, V (2007) ”Vetenskapliga antaganden och definitioner av begrepp. Normativa nedslag i en normativ kontext”. Göteborgs universitet. Nordicom information, no 1 (45-53).

Stufflebeam, D.L & Shinkfield, A.J. (2007) Evaluation Theory, Models and Applications. San Fransisco: Jossey-Bass.

Suchman, E. (1967): Evaluative Research. Principles and Practice in Pu-blic Service & Social Action Programs. New York: Russel Sage Foundation.

Sundberg, D. (2009) Evidens i utbildningspolitiken. En kartläggning och analys av policyrelevanta kunskapsöversikter. Stockholm: Utbildningsdepar-tementet.

Webb, E.T. med flera (1966) Unobtrusive Measures: Nonreactive Measu-res in the Social Sciences. Chicago: rand McNally.

Vedung, E (2000) Public Policy and Program Evaluation. New Brunswick: Transaction Publishers.

Vedung, E (2009) Utvärdering i politik och förvaltning, 3:e uppl. Lund: Studentlitteratur.

Weed, M. (2005) ”Meta Interpretation: A Method for the Interpretive Syn-thesis of Qualitative Research”. Forum Qualitative Social Research, vol 6/7.

Weiner, B (1985) “An attributional theory of achievement motivation and emotion”, Psychological Review, vol 92/4, (548-573).

Weiss, C.H. (1972) Evaluation Research. Methods of Assessing Program Effectiveness. Englewood Cliffs, NJ: Prentice Hall.

Weiss, C.H. (1997) “Theory-Based Evaluation: Past, Present, and Future”, New Directions for Evaluation, no 76/1997 (41-55).

Winter, J. (1992) Problemformulering, undersökning och rapport. Stock-holm: Almqvist & Wiksell.

Witkin, B.R. & Altschuld, J.W. (1995) Planning and Conducting Needs Assessments. A Practical Guide. Thousand Oaks, CA: Sage.

Wright Mills, C. (1959) The Sociological Imagination. New York: Oxford University Press.

Øvretveit, J. (2001) Metoder för utvärdering av hälso- och sjukvård och organisationsförändringar. Lund: Studentlitteratur.

www.skolinspektionen.se

Regelbunden tillsyn av alla skolor SKOLINSPEKTIONEN granskar löpande all skolverksamhet, närmare 6 000 skolor. Tillsynen går igenom många olika områden i verksamheterna för att se om de uppfyller det som lagar och regler kräver.

Kvalitetsgranskning inom avgränsade områden SKOLINSPEKTIONEN granskar mer detaljerat kvaliteteni skolverksamheten inom avgränsade områden.Granskningen ska leda till utveckling.

Anmälningar som gällerförhållandet för enskilda elever ELEVER, FÖRÄLDRAR och andra kan anmäla missför-hållanden i en skola till Skolinspektionen, till exempel kränkande behandling eller uteblivet stöd till en elev.

Fristående skolor– kontroll av grundläggande förutsättningar SKOLINSPEKTIONEN bedömer ansökningar om att startafristående skolor. Bedömningen innebär en grund-läggande genomgång av skolans förutsättningar inför start.

Regelbunden tillsyn av alla skolor SkolinSpektionen granskar löpande all skolverksamhet, närmare 6 000 skolor. Tillsynen går igenom många olika områden i verksamheterna för att se om de uppfyller det som lagar och regler kräver.

Kvalitetsgranskning inom avgränsade områdenSkolinSpektionen granskar mer detaljerat kvaliteteni skolverksamheten inom avgränsade områden.Granskningen ska leda till utveckling.

Anmälningar som gällerförhållandet för enskilda eleverelever, föräldrar och andra kan anmäla missför-hållanden i en skola till Skolinspektionen, till exempel kränkande behandling eller uteblivet stöd till en elev.

Fristående skolor– kontroll av grundläggande förutsättningar SkolinSpektionen bedömer ansökningar om att startafristående skolor. Bedömningen innebär en grund-läggande genomgång av skolans förutsättningar inför start.

Documents

Terminologi- handbok - Skolinspektionen · universitet att ta fram ett stödmaterial i form av en grundläggande terminologi-handbok. Avsikten var i första hand att ge underlag för