SLUTUTVÄRDERING

UNG KOMP

Avsedd för

Arbetsförmedlingen

Dokumenttyp

Rapport

Datum

Januari, 2018

INNEHÅLLSFÖRTECKNING

1. INLEDNING 1 1.1 Bakgrund till projektet 1 1.2 Om Ramböll Management Consulting 1 1.3 Utvärderingsuppdraget 1 1.4 Rapportens disposition 3 2. UNG KOMPS GENOMFÖRANDE 4 2.1 Beskrivning av Ung komp 4 2.2 Variationer i projektets genomförande 6 2.3 Projektets styrning 8 3. RESULTAT 9 3.1 Resultat på individnivå 9 3.2 Resultat på organisationsnivå 18 4. EFFEKTUTVÄRDERING 22 4.1 Selektion 22 4.2 Dataunderlag 24 4.3 Positivt utfall 24 4.4 Etablering av kontrollgrupp 25 4.5 Effektresultat 26 4.6 Subgruppsanalys – personer med funktionsnedsättning 28 5. SLUTSATSER 29 5.1 Måluppfyllelse 29 5.2 Effektivitet 30 5.3 Hållbarhet 32 5.4 Sammanfattande slutsatser 32 5.5 Rekommendationer 33

BILAGOR

Bilaga 1 Effektutvärdering av Ung komp

Bilaga 2 Samhällsekonomisk analys

Bilaga 3 Progressionsrapport

Bilaga 4 Styrdokument Ung komp

Bilaga 5 Nulägesanalys – Nov 2015

Bilaga 6 Delrapport II – Maj 2016

Bilaga 7 Delrapport III – April 2017

Ung KOMP

1 av 35

1. INLEDNING

Ramböll Management Consulting (Ramböll) har sedan sommaren 2015 haft i uppdrag att utvär-

dera Arbetsförmedlingens projekt Ung komp. Projektet avslutades den sista juni 20171 och denna

rapport utgör Rambölls slututvärdering av projektet.

1.1 Bakgrund till projektet

Den 13 januari 2015 fattade Arbetsförmedlingens generaldirektör beslut om att genomföra pro-

jektet Ung komp och projektet startades formellt den 1 juni 2015. Projektet finansieras av Ar-

betsförmedlingen och involverade kommuner samt med medel från Europeiska socialfonden

(ESF). Ung komp är en förlängning och uppskalning av det tidigare ESF-finansierade projektet

Unga in, som bedrevs åren 2012–2014. Under Ung komps första halvår genomfördes projektet

på de fem orter där projektet Unga in tidigare hade bedrivit verksamhet: i Stockholm, Göteborg,

Malmö, Gävle och Skellefteå. Därefter skalades Ung komp successivt upp och utökades till 16

delprojekt.

En avgörande skillnad mellan projekten Unga in och Ung komp var att målgruppen i Ung komp

ändrades, från unga som varken arbetar eller studerar och som inte var i kontakt med någon

myndighet till unga som är inskrivna vid Arbetsförmedlingen. En väsentlig skillnad mellan pro-

jekten blev därför att Ung komp inte har någon uppsökande verksamhet, vilket var känneteck-

nande för Unga in. Arbetsmetoden i Ung komp bygger i övrigt på den metod som utvecklades

under Unga in, men den vidareutvecklades under projektperioden.

Ung komp ägs av Arbetsförmedlingen och finansieras huvudsakligen av myndigheten och ESF.

Projektet bedrivs i samverkan med de kommuner som verksamheten finns i. Dessa kommuner

bidrar även ekonomiskt genom att finansiera den kommunalanställda personalen som finns i re-

spektive delprojekt.

Syftet med Ung komp är att förstärka Arbetsförmedlingens arbetssätt genom ett koncept som

ska förhindra och bryta långvarig arbetslöshet bland ungdomar (16–24 år) som behöver ett

sammanhållet stöd från flera parter i det offentliga samhället. Ung komp har även som målsätt-

ning att höja förtroendet för Arbetsförmedlingen hos de deltagande ungdomarna samt att ut-

veckla metoder för hur Arbetsförmedlingen kan sprida och implementera projektresultat i sin

verksamhet.

1.2 Om Ramböll Management Consulting

Ramböll Management Consulting är ett företag som utför analys- och verksamhetsutvecklings-

tjänster åt offentlig sektor. Vi är ett nordiskt företag med kontor i Sverige, Danmark, Finland,

Norge och Tyskland samt i Bryssel (EU). Bland våra kunder finns en rad kommuner, regionför-

bund, myndigheter, departement och fackliga och ideella organisationer. För Arbetsförmedlingen

utvärderar Ramböll för närvarande även Kompetenslyftet och projekten Mirjam, Systematiserad

kompetensförsörjning och Jobskills.

1.3 Utvärderingsuppdraget

Utvärderingsuppdraget utlystes våren 2015 och efter upphandling tilldelades Ramböll uppdraget.

Uppdraget är att genomföra en lärande utvärdering av projektet. Lärande utvärdering är stan-

dard för projekt som är finansierade av ESF-rådet och innebär att utvärderaren har två uppdrag.

För det första ska utvärderaren följa projektet genom dess genomförande, och genom en pro-

cessutvärdering ge löpande processtöd för att bidra till att projektet genomförs så väl som möj-

ligt och kvaliteten på genomförandet blir så hög som möjligt. För det andra ska utvärderaren

mäta, bedöma och förklara projektets resultat och om möjligt även dess effekter på olika nivåer.

1 Ung komp har bedrivits vidare under en övergångsperiod (170701-180331) med finansiering från ESF-rådet och Arbetsförmedlingen

genom att uppgå i projektet Ung framtid.

Ung KOMP

2 av 35

I uppdraget ingick även att genomföra en effektutvärdering av Ung komp. I en effektutvärdering

jämförts en insats resultat med det kontrafaktiska scenariot – vad som hade hänt om inte insat-

sen genomförts – vilket ofta sker genom att resultaten jämfört med en kontrollgrupp. På så sätt

kan effekten av insatsen skattas. I uppdraget ingick slutligen att genomföra en samhällsekono-

misk analys. I en sådan beräknas effekten i monetära termer, och en analys görs sedan av om

insatsen är samhällsekonomiskt lönsam och i så fall för vem.

Uppdraget har som sagt pågått under större delen av Ung komps genomförande. Under genom-

förandefasen var utvärderingen processtödjande, men i denna rapport är syftet summativt – att

bedöma och förklara uppnådda resultat och effekter. Under uppdraget har Ramböll presenterat

ett antal delrapporter där vi sammanfattat vår analys och gett projektet rekommendationer för

det fortsatta arbetet. Dessa sammanfattas nedan, och återfinns också som bilagor till rapporten.

1.3.1 Tidigare genomförd utvärdering

Nulägesanalys (delrapport I)

Hösten 2015 genomförde Ramböll en nulägesanalys som rapporterades i november (se bilaga 5).

I denna bedömdes projektet ha god relevans, både genom att det riktas mot en viktig samhälls-

utmaning och genom att det låg i linje med den verksamhetsutveckling som sker inom Arbets-

förmedlingen. Vi bedömde även förutsättningarna för att effektutvärdera projektet och gav re-

kommendationer för hur detta kunde underlättas. Huvudsakligen analyserade vi hur projektets

design och styrning utformats, och rekommenderade att tydligare fastställa hur styrningen skulle

ske inom projektet, sätta upp en tydligare design för målgrupp, aktiviteter och arbetssätt samt

slå fast vad projektets syfte och mål är.

Efter nulägesanalysen tog Ung komps styrgrupp fram ett styrdokument som till stor del åtgär-

dade dessa punkter (se bilaga 4).

Delrapport II

Våren 2016 analyserade Ramböll projektet och tog fram en andra delrapport (se bilaga 6). Den

behandlade projektets tidiga resultat där fokus lades på projektets volym (antalet deltagare) som

var väsentligt mindre än planerat. Rapporten innehöll även en första bedömning av hur förtroen-

det för Arbetsförmedlingen påverkades av deltagande samt hur de multikompetenta teamen och

spridningen av konceptet till nya orter fungerade. Till sist behandlades projektets styrning som

inte fungerade optimalt, och vi gav ett antal rekommendationer om hur denna kunde utvecklas.

Delrapport III

Våren 2017 togs en ny delrapport fram (se bilaga 7), som i mycket var en uppföljning av den

tidigare vad gäller resultat, volym och genomförande. Vid denna tidpunkt hade projektets ge-

nomförande satt sig; alla delprojekt hade lämnat uppstartsfasen och det gick att se förbättringar

vad gällde uppnådd deltagarvolym, metodtrogenhet och resultat. Rapporten tog upp likvärdig-

heten i genomförandet, och vi diskuterade huruvida detta var tillräckligt samstämmigt.

Pilotstudie av effektutvärderingen

Under vintern 2016/2017 genomförde Ramböll en pilotstudie av effektutvärderingen av Ung

komp. Syftet var att i god tid testa design, datatillgång och process för effektstudien, för att sä-

kerställa att leverans kunde ske i slututvärderingen. Ett annat syfte var att få en indikation om

projektets effekt jämfört med ordinarie verksamhet, men framförallt få möjlighet att förbättra

designen och metoden i utvärderingen. I bilaga 1, Effektutvärdering av Ung komp, finns effektut-

värderingen i sin helhet. Pilotversionen finns inte som bilaga eftersom effektutvärderingen i bi-

laga 1 till stor del är en upprepning av pilotstudien, och för att vi vill undvika misstag som kan

komma med två versioner.

Ung KOMP

3 av 35

1.4 Rapportens disposition

I denna inledning beskriver vi utvärderingsuppdraget. Kapitel 2 ger inledningsvis en beskrivning

av Ung komps verksamhet och särdrag, och därefter analyserar vi om projektet genomförts lik-

värdigt mellan delprojekten och i enlighet med styrdokumentet. Kapitlet avslutas med analys av

projektets styrning och dess inverkan på genomförandet.

I kapitel 3 beskriver och analyseras projektets resultat. Först kommer resultat på individnivå,

inklusive volymer och genusanalys. Därefter återges projektets resultat på organisationsnivå. De

består av resultat som rör implementeringsmetoden, kundresursernas2 funktion och värde samt

resultat när det gäller deltagarnas förtroende för Arbetsförmedlingen.

Kapitel 4 sammanfattar effektutvärderingen av Ung komp.

I kapitel 5 presenteras slutsatser och rekommendationer. Inledningsvis sammanfattar vi pro-

jektets måluppfyllelse, effektivitet och hållbarhet i resultat, och därefter beskriver vi vad Arbets-

förmedlingen kan lära av Ung komp. Vi avslutar med övergripande slutsatser från projektet och

möjligheter att effektutvärdera ESF-projekt.

2 Kundresurser är en funktion som används inom Ung komp. De beskrivs i kapitel 3.2.2.

Ung KOMP

4 av 35

2. UNG KOMPS GENOMFÖRANDE

Detta kapitel innehåller en kort beskrivning av Ung komps arbetssätt och särdrag för att ge läsa-

ren förståelse för projektet. Därefter följer en diskussion om likvärdigheten i genomförandet, dvs.

vilka skillnader som finns mellan delprojekten när det gäller metoder, arbetssätt och personal-

sammansättning.

2.1 Beskrivning av Ung komp

Konceptet Ung komp har tre huvudsakliga delar

Ung komp är ett implementeringsprojekt för att tillvarata och sprida det koncept som utvecklades

inom ramen för arbetet med projektet Unga in och som sedan anpassats och vidareutvecklats

under Ung komp. Med koncept menas projektets design, arbetssätt och metod. Konceptet bygger

i huvudsak på tre grundpelare:

• en uttalad och avgränsad målgrupp bestående av unga vuxna i åldrarna 16–24 år

• ett multikompetent team med olika funktioner från Arbetsförmedlingen och kommunen som

arbetar samlokaliserat

• ett holistiskt förhållningssätt där teamet verkar runt och för den enskilda individen för att

stödja, uppmuntra och hjälpa denna.

Projektets koncept finns beskrivet i styrdokumentet, där en så kallad basnivå som alla delprojekt

ska arbeta efter presenteras.

2.1.1 Målgruppen är unga som är, eller riskerar att bli, långtidsarbetslösa

Målgruppen för Ung komp är ungdomar som enligt kommunen eller Arbetsförmedlingen behöver

ett sammanhållet stöd från flera myndighetsaktörer för att etablera sig på arbetsmarknaden. I

styrdokumentet definieras tre målgrupper:

• Målgrupp 1: Unga 16–24 år som varit inskrivna vid Arbetsförmedlingen eller kommunen i 6

månader eller längre

• Målgrupp 2: Unga 16–24 år som varit inskrivna vid Arbetsförmedlingen eller kommunen

minst två gånger under de senaste 6 månaderna

• Målgrupp 3: Unga 16–24 år som är inskrivna vid Arbetsförmedlingen eller kommunen och

som har svårt att etablera sig på arbetsmarknaden

Målgrupp 1 och 2 går att observera i data och ingår därmed i effektutvärderingen. Övriga in-

skrivna exkluderas från effektutvärderingen då det inte går att konstruera en kontrollgrupp av

kvalitet för denna grupp. Detta framgår av styrdokumentet.

2.1.2 Ett multikompetent team ska erbjuda målgruppen ett effektivt, flexibelt och individanpassat

stöd

Projektets design utgörs av en samverkan mellan Arbetsförmedlingen och kommuner genom

samlokalisering av multikompetenta team. Teamet samarbetar även med andra aktörer runt

individen såsom skola och frivilligorganisationer. Syftet är att erbjuda individen ett sammanhållet

och individanpassat stöd.

Det multikompetenta teamet vid respektive verksamhet består av

• delprojektledare eller sektionschef med operativt ansvar för respektive verksamhet

• arbetsförmedlare

• SIUS, alternativt arbetsförmedlare med kompetens i ”supported employment”

• Arbetspsykolog, socialkonsulent och/eller arbetsterapeut

• kundstödjare/kundresurser

• företrädare från kommunen, exempelvis studie- och yrkesvägledare eller socialsekreterare.

Ung KOMP

5 av 35

Vilken personal som kommunen tillhandahåller till Ung komp varierar, och bestäms av kommu-

nen.

Ett multikompetent team är kärnan i projektets modell eftersom man effektivt kan ge deltagaren

rätt stöd samt förstärka och förenkla samarbetet mellan Arbetsförmedlingen och kommunen.

Arbetet i multikompetenta team ska också bidra till ökad samsyn mellan stat och kommun. Det

multikompetenta teamet ska vidare bidra till ökat förtroende för myndighetsaktörerna, ökad till-

gänglighet och flexibilitet för deltagaren samtidigt som det byggs upp en fortlöpande kompetens-

överföring, laganda och prestigelöshet bland professionerna i teamet. Det nära teamarbetet ska

leda till kortare ledtider genom att fler professioner är inblandade i parallella insatser till deltaga-

ren. Teamet ska ha ett nära samarbete med deltagaren i fokus och på så vis påskynda deltagar-

nas etablering på arbetsmarknaden.3

2.1.3 Samlokaliseringen ökar tillgängligheten för deltagarna

En annan viktig grundpelare i projektet är att professionerna i det multikompetenta teamet är

samlokaliserade. Med detta menas att det multikompetenta teamet i respektive delprojekt har en

gemensam arbetsplats och en gemensam kundyta för deltagarna, och att den utgör ingången för

ungdomarna i målgruppen. Oberoende av arbetsgivare, profession eller funktion sitter teamet

tillsammans i en gemensam lokal. Lokalen ska enligt projektet vara en nedtonad myndighetsmiljö

som ger ett välkomnande intryck. Lokalerna inreds även ofta med en så kallad lounge som be-

mannas varje dag av delprojektens kundresurser. Arbetssättet erbjuder en hög tillgänglighet och

engagemang som ska bidra till att sänka trösklarna mellan ungdomarna och myndighetsaktörer-

na. Samlokaliseringen ska även skapa möjligheter för kompetensöverföring, kreativa lösningar

och kortare ledtider.4

2.1.4 Vissa moment i Ung komp genomförs av alla delprojekt

Det holistiska förhållningssättet innebär framförallt att teamets stöd till målgruppen anpassas

efter varje individs behov. Dock är det vissa moment i arbetssättet som är mer eller mindre obli-

gatoriska och som samtliga delprojekt genomför. Enligt projektets egen flödesbeskrivning ser

processen för deltagare i Ung komp ut som i bilden nedan.

Figur 1. Projektets flödesbeskrivning för Ung komp

Inskrivning

Innan inskrivning hålls ett informationsmöte om Ung komp, och syftet är att beskriva för potenti-

ella deltagare vad projektet innebär och vad som förväntas av dem. Formerna för dessa inform-

ationsmöten skiljer sig åt mellan delprojekten, och de har också ändrats över tid i delprojekten. I

enstaka fall sker mötena i form av individuella samtal, och i andra fall hålls de i grupp.

Kartläggningssamtal

När deltagaren tilldelats en arbetsförmedlare genomförs ett eller flera kartläggningssamtal med

ett metodstöd som utvecklats av projektet. Det fungerar som en checklista över vilka ämnen som

bör tas upp men det är inte bindande. Syftet med kartläggningssamtalet är att ge personalen en

god bild av deltagaren och hans eller hennes behov. Det är också ett viktigt steg för att skapa en

relation mellan deltagare och personal samt för att börja bygga förtroende mellan deltagaren och

Ung komp.

3 Styrdokument för Ung komp 2015-12-01, s. 3–4. 4 Ibid. s. 4.

Ung KOMP

6 av 35

Kartläggningssamtalen ska enligt styrdokumentet5 alltid genomföras av en arbetsförmedlare och

en specialist. Detta görs dock i varierad grad i de olika delprojekten. Våra fallstudier visar bland

annat att samtliga delprojekt inte arbetar enligt denna metod och att samtalen också genomförs

av endast arbetsförmedlare eller med andra funktioner. Det är dock alltid två personer som ge-

nomför kartläggningssamtal med nyinskrivna individer.

Det finns i nuläget inget stöd för att kartläggningssamtalets kvalitet påverkas av huruvida en

specialist deltar eller inte, och datainsamlingen visar att det finns för- och nackdelar med båda

tillvägagångssätten. Specialisten har en fördel av att snabbt se om individen behöver specialist-

stöd, medan studie- och yrkesvägledaren kan se om deltagaren är intresserad av studier. Den

främsta orsaken till att fördela kartläggningssamtalet mellan flera kompetenser än specialisten

uppges vara av effektivitetsskäl. Delprojekten har arbetat hårt med att komma upp i planerad

deltagarvolym vilket medfört perioder med hög inskrivningstakt. För att inte tappa kontinuiteten

med ungdomen har man därför valt att låta fler funktioner delta i kartläggningen.

2.1.5 Projektets holistiska förhållningssätt gör metoden mer flexibel

De steg som följer efter kartläggningssamtalet har varit mycket svåra för delprojekten att besk-

riva. Det framgår dock att de skiljer sig väsentligt mellan deltagare och styrs fullkomligt efter de

behov som projektet identifierat hos deltagarna. Skillnaderna mellan deltagare och delprojekt

beskrivs som en del av projektets holistiska förhållningssätt. Projektpersonalen bedömer att det

bidrar till en flexibel process för varje deltagare och en möjlighet att relativt snabbt forma insat-

ser beroende på vad deltagaren behöver. Flexibiliteten beskrivs alltså som en framgångsfaktor i

projektet. Dock har det också medfört att personalen under fallstudierna haft svårt att beskriva

och förklara vad konceptet Ung komp bygger på utöver de delar och steg som beskrivits hittills,

samt hur det är tänkt att fungera i förhållande till exempelvis övrigt ungdomsarbete vid Arbets-

förmedlingen.

I fallstudierna har vi undersökt i vilken utsträckning som personalen i delprojekten kunnat ange

hur Ung komp skiljer sig från ordinarie arbetsförmedling för målgruppen på Arbetsförmedlingen.

Resultatet har varit svårbedömt; respondenterna har uttryckt att arbetssättet med multikompe-

tenta team och samlokalisering varit framgångskoncept, och förklarat hur, men samtidigt har de

haft svårt att beskriva innehållet i delprojekten. En förklaring till detta är att projektet ska utgå

från ungdomens behov, och insatserna ska därför anpassas. För att identifiera behovet används

inskrivningssamtal, kartläggningssamtal och vägledningsmöten samt verktyg i form av E-guide

och olika kompetenser genom det multikompetenta teamet. Det varierar mycket mellan delpro-

jekten hur dessa metoder och verktyg används, samt när i ungdomens resa genom Ung komp,

men framförallt mellan deltagarna i projektet. Exempelvis finns en variation i hur samverkan och

samarbetet med den kommunala sektorn praktiseras.

2.2 Variationer i projektets genomförande

I delrapport III (april 2017) analyserade Ramböll Ung komps metodtrogenhet, i vilken mån pro-

jektet genomfördes i enlighet med styrdokumentets instruktion och hur likvärdigt genomförandet

var mellan delprojekten. Vi fann att projektet i huvudsak arbetade efter styrdokumentets basvär-

den, med vissa undantag såsom att planerade kompetenser fattades i vissa delprojekt. Vid sidan

om basvärdena varierade genomförandet. Huvudsakligen förklaras variationen av att insatserna

inom Ung komp ska vara individanpassade och bedrivas med ett holistiskt perspektiv, och att det

därmed är naturligt med en stor variation i vilka insatser som erbjuds till deltagarna. Genomfö-

randet varierar även i vissa projektspecifika insatser eller arbetssätt såsom Ung komp-veckan,

kartläggningssamtalen och användandet av en lounge. Denna variation förklaras av att dessa

insatser inte styrts till en liknande form av projektledning eller styrgrupp, utan delprojekten har

fått lägga upp dessa efter vad de anser vara bäst.

5 Ibid. s. 4.

Ung KOMP

7 av 35

Arbetssätten inom Ung komp har också till stor del utvecklats lokalt i delprojekten, så att varje

delprojekt efter introduktionen av metodstödsteamen fått bygga upp sina egna rutiner och tillvä-

gagångssätt utifrån en löst beskriven instruktion. Delprojekten hade också lite kontakt med

varandra under projektets inledande skede, med undantag för delprojektledar-

na/sektionscheferna som träffats regelbundet. Det har inte funnits en dokumentation som i detalj

beskriver hur Ung komp-verksamheten ska bedrivas, utan det har det lokala teamet fått avgöra.

Avslutningsvis förklaras Ung komps skiftande arbetssätt av styrningen inom projektet, och i nå-

gon mån inom Arbetsförmedlingen, under perioden. Detta beskrivs närmare i avsnitt 2.3 om pro-

jektets styrning. I korthet har dock huvudkontoret, som äger projektet, inte kunnat eller velat

styra delprojekten operativt i någon större utsträckning. Styrningen har istället till stor del

släppts till regionerna och det lokala delprojektet, och det har bidragit till att arbetssätten utveck-

lats olika inom projektet.

2.2.1 Multikompetenta team har saknat vissa kompetenser

I styrdokumentet framgår att varje Ung komp-team ska bestå av en viss uppsättning kompeten-

ser. Samtliga kompetenser har dock inte varit representerade i alla delprojekt under hela genom-

förandeperioden. Framförallt är det kommunal personal och specialister som fattats, och då

främst under projektets första verksamhetsår. Antalet personal har också varit mindre än plane-

rat under perioden, med lokal variation. Teamen kompletterades dock under projektperioden och

under 2017 fanns exempelvis specialister i samtliga team.

I fallstudierna har det multikompetenta teamet lyfts fram som något positivt och som en av Ung

komps stora styrkor. Det handlar framför allt om att Arbetsförmedlingens personal har olika

kompetenser och tillgång till helt andra kompetenser hos den kommunala personalen. Det sam-

lokaliserade multikompetenta teamet bidrar till effektivitet inom Ung komp, främst genom att

ledtiderna kortas för deltagarna när samtliga personalkategorier finns tillgängliga.

Ett arbetssätt som används inom Ung komp är Ungdomsforum, som beskrivs enligt nedan:

I mötet ungdomsforum medverkar all personal i det multikompetenta teamet. De för en dialog

om kundernas aktuella situation. Varje medarbetare bidrar med förslag till hur ungdomens väg

framåt kan stödjas. Syftet med ungdomsforum är att tillsammans hitta lösningar för att deltagar-

na ska komma närmare ett arbete eller en utbildning.6

Ungdomsforum fungerar som ett arbetssätt där det multikompetenta teamets styrkor accentue-

ras. Genom att teamet tillsammans diskuterar deltagarnas situation och lösningar på denna så

används all kompetens på ett effektivt sätt. Ungdomsforum beskrivs i fallstudierna som ett

smörjmedel och som ett arbetssätt som gör att det multikompetenta teamet kommer till sin rätt.

Ramböll bedömer det som ett viktigt arbetssätt för att få ut effekt av det multikompetenta tea-

met.

2.2.2 Samlokaliseringen har varierat

Även samlokaliseringen har varierat mellan delprojekten. De flesta har haft en gemensam arbet-

syta för all personal, men några delprojekt haft en lägre grad av samlokalisering. Det har primärt

handlat om att de kommunala medarbetarna inte arbetat i Ung komps lokal mer än några timmar

i veckan. På andra ställen har den enda gemensamma ytan varit loungen, alltså den plats dit

ungdomarna kunnat komma för möten och dylikt, och i övrigt har personalen suttit på sina ordi-

narie arbetsplatser.

6 Metodstödsmaterial Ungdomsforum

Ung KOMP

8 av 35

2.3 Projektets styrning

Projektets styrning fungerade inte optimalt under det första verksamhetsåret. Projektägare och

projektledning hade olika åsikter om hur styrningen skulle gå till, eller snarare hur arbetet skulle

styras av det nationella projektet. Det bidrog till att projektet tappade fart under det första verk-

samhetsåret.

Inledningsvis saknades styrning av projektets verksamhet i väsentliga delar; exempelvis fanns

inte målsättningar och syfte tydligt beskrivet, ledningsstrukturen var otydlig och det saknades

ramar för målgrupp och arbetssätt. Följden blev att delprojekten hade möjlighet att utveckla sin

verksamhet fritt utan sammanhållna kärnvärden. Detta behandlade vi i den nulägesanalys som

presenterades i november 2015. Styrgruppen beslutade i december 2015 om ett styrdokument

som till stor del behandlade dessa frågor, exempelvis genom att tydligt definiera målgrupp och

personalsammansättning och genom att presentera de basvärden för verksamheten som tidigare

beskrivits. Denna styrning gjorde projektets verksamhet tydligare för personalen.

Efter ett knappt år av projektet slutade projektledaren och en ny rekryterades. I anslutning till

detta fick den nya projektledaren också ett tydligare mandat, och styrningen blev mer välfunge-

rande.

Den nationella projektledningen var också inledningsvis underbemannad i förhållande till sina

arbetsuppgifter, något som Ramböll konstaterade i delrapport II (maj 2016). Hösten 2016 korri-

gerades detta och den nationella delen av projektet byggdes successivt ut.

Att styrningen inte fungerade väl under inledningsfasen kan till stor del förklaras av att Arbets-

förmedlingen som helhet förändrade sin styrning. Under tidigare GD var myndigheten tydligt

centralstyrd från huvudkontoret, men sedan flyttades mer makt och mandat till de tre regionerna

inom Arbetsförmedlingen. Ung komp startade mitt i denna process, och fick i någon mån känna

sig fram i ett nytt landskap. I detta skede var det inte självklart att det nationella projektet på

huvudkontoret skulle styra lokala delprojekt i regionerna på samma sätt som tidigare. Ung komp

hamnade på detta sätt i ett otydligt styrningslandskap, och mycket energi gick åt till att känna

sig fram och etablera en ny styrningsmodell.

Med tiden utvecklades detta och Ramböll har inte sett några tecken på att styrningen var kompli-

cerad under projektets senare skede. Det är dock tydligt att styrningen inverkade negativt på

processen under projektets första verksamhetsår. Exempelvis kunde arbetet med att nå upp i

planerad deltagarvolym ha styrts tydligare från början, och det var länge svårt att tillsätta perso-

nal med flera vakanser inom specialistkompetens som följd i olika delprojekt. Dessutom fanns

inte tydlig styrning av det sammanhållna arbetssättet i projektets inledning, vilket beskrivits

ovan. Det är Rambölls bedömning att med en tydligare sammanhållen styrning från projektled-

ningen hade Ung komp bedrivits mer enhetligt över landet. Framförallt borde styrdokumentet ha

beslutats innan delprojekten inledde sin verksamhet, i projektets analys- och planeringsfas. Det

hade troligen medfört färre vakanser av viktiga kompetenser i delprojekten och gjort metodtro-

genheten mer likvärdig under projektets första verksamhetsår. Att inleda ett projekt utan den

typen av övergripande styrning är inte effektivt.

Ung KOMP

9 av 35

3. RESULTAT

I detta kapitel redovisas Ung komps resultat. Kapitlet är delat i två delar, resultat på individnivå

respektive resultat på organisationsnivå. Men individnivå menas resultat för deltagande individer.

Med organisationsnivå menas andra resultat som rör Arbetsförmedlingen som organisation.

3.1 Resultat på individnivå

3.1.1 Projektets volym och genomsnittlig inskrivningstid

Volym

Ung komp har under projektperioden haft utmaningar när det gäller att nå det planerade antalet

inskrivna deltagare. Utmaningarna identifierades bl.a. i delrapport II (maj 2016) och bestod av:

• Svårigheter att rekrytera deltagare från ordinarie verksamhet.

• Personalomsättning ger lägre kapacitet.

• Inskrivningsprocessen är personalintensiv och kräver systematik.

Till dessa utmaningar kan läggas den konkurrenssituation uppstått när ett stort antal projekt

bedrivits samtidigt för ungdomar. På vissa orter har flera projekt varit verksamma med liknande

målgrupp, vilket gjort att det varit svårt att rekrytera rätt deltagare.

Ramböll framförde i delrapporten att endast två delprojekt (av de då åtta aktiva delprojekten)

var uppe i godtagbar volym, baserat på styrdokumentets formulering att det bör vara minst 40

deltagare per arbetsförmedlare. När frågan blev mer prioriterad började också antalet deltagare

öka snabbare, vilket illustreras i figur 2 nedan. Projektet började i större utsträckning skriva in

deltagare som inte uppfyller målgruppsdefinitionens kategorier 1 eller 2. Således började andelen

individer som tillhör definition 3 att öka, och steg över det tak om 30 procent som angivits i styr-

dokumentet. I delrapport III, april 2017, konstaterades att volymfrågan fortfarande var en utma-

ning för några av de delprojekt som startat under 2016 men att problemet nu var betydligt

mindre då majoriteten av delprojekten hade godtagbara volymnivåer. Projektet hade dock fortfa-

rande fler deltagare från målgruppsdefinition 3 än planerat. En viktig förklaring är att Ung komp

styrdes mot att öka denna målgrupp för att bidra till Arbetsförmedlingens generella arbete med

att nå 90-dagarsgarantin. Projektet styrdes alltså mot att öka antalet unga som inte varit in-

skrivna 90 dagar då detta mål bedömdes som överordnat projektets egna målsättningar.

Figur 2: Inskrivna deltagare per månad och målgruppskategori, augusti 2015–juni 2017

0

500

1 000

1 500

2 000

2 500

3 000

3 500

4 000

Kat 1 - mer än 6 månader Kat 2 - mer än två inskrivningar Ej kat 1 eller 2

Ung KOMP

10 av 35

I ESF-ansökan för Ung komps period 29 februari 2016 – 30 juni 2017 anges den planerade voly-

men till 5 000 individer. Vid projektperiodens slut hade 6 867 personer skrivits in i Ung komp,

och den planerade volymen har således överskridits med 1 867 individer. De inledande utma-

ningarna hanterades med andra ord väl och sammantaget överträffade Ung komp sitt mål när

det gäller antalet deltagare.

Deltagarnas könsfördelning

Vid projektets slut hade 2 484 kvinnor och 4 383 män skrivits in i Ung komp. Även dessa resultat

överträffar målet i ESF-ansökan, som var satt till 2 000 kvinnor och 3 000 män. Ansökan angav

vidare att könsfördelningen ska motsvara målgruppen, nationellt och lokalt. Fördelningen var 36

procent kvinnor och 64 procent män. Ramböll har analyserat hur utfallet för projektets deltagare

motsvarar målgruppens sammansättning lokalt. Detta har gjorts genom en jämförelse, per del-

projekt, mellan andelen kvinnor respektive män som är inskrivna i projektet och andelen kvinnor

respektive män som vid tidpunkten (juni 2017) var arbetslösa och sökande i program med aktivi-

tetsstöd sedan minst sex månader. Jämförelsen visas i figuren nedan.

Figur 3: Andel män och kvinnor som var inskrivna i Ung komp juni 2017 och andel män och kvinnor 18–24 år som varit arbetslösa i mer än 6 månader i kommunen

I de flesta fallen speglar andelen kvinnor respektive män fördelningen i kommunen, men vissa

delprojekt avviker. Av totalt 16 delprojekt har 13 en avvikelse jämfört med målgruppen i kom-

munen som understiger 5 procentenheter. De som överstiger 5 procentenheter är Malmö, Skell-

efteå och Uppsala. Ramböll har tidigare analyserat detta i delrapport II (maj 2016) och Delrap-

port III (april 2017). Resultaten såg då liknande ut, men det har varierat vilka delprojekt som

haft större avvikelse än 5 procentenheter – endast Malmö har konsekvent avvikit mer än 5 pro-

41%43%

35%38%

30%38%

37%35%

41%40%

42%43%

29%38%

39%36%

44%45%

44%42%

32%38%

39%37%

41%38%

38%34%

38%41%

39%42%

59%57%

65%62%

70%62%

65%

59%60%

58%57%

71%62%

61%64%

56%55%

56%58%

68%62%

61%63%

59%62%

62%66%

62%59%

61%58%

0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%

Järfälla UNGKOMPJärfälla kommun

Norrköping UNGKOMPNorrköping kommun

Malmö UNGKOMPMalmö kommun

Göteborg UNGKOMPGöteborg kommun

Helsingborg UNGKOMPHelsingborg kommun

Gävle UNGKOMPGävle kommun

Skellefteå UNGKOMPSkellefteå kommun

Trollhättan UNGKOMPTrollhättan kommun

Motala UNGKOMPMotala kommun

Visby UNGKOMPGotlands kommun

Uppsala UNGKOMPUppsala kommun

Stockholm UNGKOMPStockholm kummun

Eskilstuna UNGKOMPEskilstuna kommun

Örebro UNGKOMOPÖrebro kommun

Växjö UNGKOMPVäxjö kommun

Landskrona UNGKOMPLandskrona kommun

Andel kvinnor Andel män

Ung KOMP

11 av 35

centenheter. Denna jämförelse är dock inte en exakt beskrivning av under- eller överrepresentat-

ion av något kön då den exakta målgruppsdefinitionen inte använts när kommundata hämtats7.

Sammantaget bedömer Ramböll att könsfördelningen ligger inom ramen för att motsvara mål-

gruppen, även om andelarna inte matchar exakt.

Inskrivningstid

Individer som avslutats ur projektet vid dess avslutningsdatum, den 30 juni 2016, hade i snitt

varit inskrivna i 216 dagar. De som fortfarande var inskrivna i projektet hade i snitt varit in-

skrivna i 220 dagar. Inskrivningstiden ökade först under projektperioden för att stagnera och

stabiliseras under 2017.

I styrdokumentet anges att genomsnittstiden för övergång till arbete, utbildning eller annan känd

orsak inte ska överstiga 8 månader. Projektets resultat uppfyller målen då den genomsnittliga

inskrivningstiden var drygt 7 månader.

3.1.2 Resultat för individer

I detta kapitel redovisas resultat för deltagande individer, där utfallet övergång till arbete eller

studier klassas som positiva resultat. Vi redovisar detta på två sätt. Det första gäller hur pro-

jektets målsättning är formulerad i styrdokumentet, där resultat mäts som andel som går vidare

till arbete eller studier av de som avslutas ur projektet. Det andra redovisningssättet gäller resul-

tat över tid, där hållbarheten i uppnådda resultat analyseras. Där mäts resultat som andelen som

går vidare till arbete eller studier av samtliga inskrivna i målgrupp 1 och 2, eftersom dessa data

kommer från effektutvärderingen. För en mer fullständig redovisning av resultat på individnivå

hänvisar vi till bilaga 1 Effektutvärdering, där kontext kring målgruppen i stort även redovisas.

Resultat jämfört med projektets målsättning

I styrdokumentet beskrivs målet enligt följande: Av samtliga som avslutat deltagande i projektet

ska minst 65 procent vara i arbete och utbildning 90 dagar efter avslutat deltagande i projektet.

Av de deltagare som lämnade projektet var det 61,5 procent som gick vidare till arbete eller stu-

dier, sett till hela projektperioden. Av dessa hade 56 procent fått ett arbete och 15,5 procent

började studera. Målsättningen är därmed inte uppnådd. Resultaten varierar mellan delprojekten,

vilket synliggörs i figuren nedan:

7 Data är hämtad från Arbetsförmedlingens webbstatistik som inte tillhandahåller data enligt den exakta målgruppsdefinitionen, då den

endast innehåller data för målgruppsdefinition 1.

Ung KOMP

12 av 35

Figur 4: Ackumulerat resultat Ung komp juni 2015-juni 2017

Källa: AIS, via projektets bearbetade uppföljning. Dessa data kan överskatta antalet deltagare

något då samma individ kan ingå flera gånger.

Skillnader i resultat mellan delprojekten kan bero på skillnader i den lokala arbetsmarknadens

behov, i vilka individer som skrivits in i delprojekten och i hur de bedrivit arbetet. Skillnaderna

kan också bero på att projekten varit verksamma olika länge, då de startat i fyra omgångar mel-

lan sommaren 2015 och hösten 2016. Då alla projekt har en uppstartssträcka kan det medföra

att de nått lägre resultat under sin första verksamhetstid, och därmed haft olika förutsättningar.

I utvärderingen bedöms de dock på samma sätt, och Ung komps måluppfyllelse bedöms samlad

för hela projektet.

Resultatens hållbarhet

Resultatet mäts även som andel som gått vidare till arbete eller studier av samtliga deltagare i

målgrupp 1 och 2,8 och då når 53 procent positivt utfall som är ihållande i 30 dagar. Resultaten

för arbete sjunker sedan till 30 procent efter 90 dagar, och har mer än halverats efter sex måna-

der. Studieresultaten ser dock mer stabilt ut, och har endast sjunkit marginellt efter 180 dagar.

Figur 5. Andel deltagare med positivt utfall9, efter olika tidsintervall

8 Eftersom denna analys är hämtad från effektutvärderingen omfattas inte målgrupp 3, då dessa inte ingår i effektutvärderingen. 9 För förklaring av hur positivt utfall definieras, se kapitel 4.3.

88

203

245

57

157

119

119

56

120

46

180

60

33

181

249

43

1956

60

74

90

13

74

29

50

5

32

3

62

28

1

56

75

12

664

106

168

66

31

104

79

90

15

33

15

144

63

21

149

146

61

1291

22

38

15

10

48

21

20

3

0

7

49

4

2

57

42

11

349

0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%

Gävle

Skellefteå

Stockholm

Visby

Järfälla Upplands Bro

Uppsala

Norrköping

Eskilstuna

Motala

Örebro

Göteborg

Trollhättan

Växjö

Malmö

Helsingborg

Landskrona

Re

gio

nN

orr

Re

gio

n M

itt

Re

gio

n S

ydTo

tal

t

Arbete Studier Avakt känd orsak Avakt okänd orsak

30 dagar 60 dagar 90 dagar 180 dagar 360 dagar

Arbete 45% 34% 30% 21% 9%

Studier 8% 8% 8% 7% 5%

Total 53% 42% 38% 28% 14%

Ung KOMP

13 av 35

Efter ett år är det bara 9 procent som fortfarande har ett arbete, och studieresultaten har också

sjunkit. Det är dock färre personer som haft möjlighet att nå resultat efter 360 dagar eftersom

alla deltagare inte varit inskrivna tillräckligt länge. I bilaga 1 finns en liknande tabell, som även

inkluderar kontrollgruppen.

3.1.2.1 Könsuppdelade resultat

En undersökning av resultaten uppdelat på killar och tjejer i projektet visar att det finns en viss

diskrepans i såväl vilka utfall som nås som vilka insatser ungdomarna deltar i. Snedvridningen är

tillsynes till killarnas fördel. Denna bild bekräftas dock inte av utvärderingens kvalitativa moment

där intervjuer med manliga och kvinnliga deltagare genomförts och ingen upplevd snedfördelning

av resurser eller resultat visat sig.

Denna analys baseras på de data som använts till effektutvärderingen, och därmed är deltagare

som tillhör målgrupp 3 exkluderade. De tre definitionerna av arbete som används i figurerna

beskrivs ingående i kapitel 4.3.

Figur 6. Andel deltagare med positivt utfall, utfallsdefinition 1 uppdelat på kön

Det finns ingen skillnad mellan killar och tjejer i andelen av Ung komp-deltagare som lämnar

projektet för arbete på den reguljära arbetsmarknaden, vilket visas i figuren ovan. Från det att

de skrivs in lämnar lika stora andelar projektet såväl som Arbetsförmedlingen över en tvåårspe-

riod.

Figur 7. Andel deltagare med positivt utfall, utfallsdefinition 2 uppdelat på kön

Vad gäller projektets definition av arbete och studier finns en skillnad till killars fördel. Figuren

ovan visar att efter tre månader i Ung komp sker en viss divergens mellan grupperna där man-

liga deltagare når positiva utfall i större utsträckning.

0%

5%

10%

15%

20%

25%

30%

-12-11-10 -9 -8 -7 -6 -5 -4 -3 -2 -1 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24

Tjejer Killar

0%

5%

10%

15%

20%

25%

30%

35%

40%

45%

50%

-12

-11

-10 -9 -8 -7 -6 -5 -4 -3 -2 -1 0 1 2 3 4 5 6 7 8 9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

Tjejer Killar

Ung KOMP

14 av 35

Figur 8. Andel deltagare med positivt utfall, utfallsdefinition 3 uppdelat på kön

När även aktiviteter inom Jobb- och utvecklingsgarantin och Jobbgarantin för ungdomar som

innebär arbete inkluderas i figuren ovan går det endast att urskilja någon procentenhets skillnad

mellan killar och tjejer över tid.

Figur 9. Andel deltagare med positivt utfall, utbildning uppdelat på kön

Inom Ung komp går män och kvinnor till utbildning i snarlik utsträckning, vilket visas i figuren

ovan. Det går dock att urskilja en viss diskrepans till killars fördel fram till den 8:e månaden i

projektet där det vänder, och efter 15 månader har kvinnor som grupp högre andel som går vi-

dare till utbildning.

0%

10%

20%

30%

40%

50%

60%

-12

-11

-10 -9 -8 -7 -6 -5 -4 -3 -2 -1 0 1 2 3 4 5 6 7 8 9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

Tjejer Killar

0%

2%

4%

6%

8%

10%

12%

14%

16%

-12

-11

-10 -9 -8 -7 -6 -5 -4 -3 -2 -1 0 1 2 3 4 5 6 7 8 9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

Tjejer - behandling Killar - behandling

Ung KOMP

15 av 35

Könsuppdelat utfall till program

För att undersöka om killar tar del av mer insatser inom Ung komp har vi sammanställt utfallet

av ett antal program och insatser. Detta visas i tabellen nedan.

Figur 10. Könsuppdelat utfall till program, andelar

Grupp Tjejer Killar

Program

Nystartsjobb 9 % 12 %

Arbetspraktik 2 % 3 %

Lönebidrag 0 % 0 %

Utvecklingsanställning 0 % 0 %

Särskilt anställningsstöd 2 % 3 %

Instegsjobb 0 % 0 %

Trygghetsanställning 0 % 0 %

Yrkesintroduktion 0 % 0 %

Skyddat arbete 0 % 0 %

Förstärkt särskilt anställningsstöd 0 % 1 %

Traineejobb 2 % 1 %

Arbetslivsintroduktion 0 % 0 %

Särskilt nystartsjobb 0 % 0 %

Extratjänst 0 % 0 %

Förberedande utbildning 8 % 7 %

Arbetsmarknadsutbildning 5 % 6 %

Utbildningskontrakt 7 % 7 %

Arbetslivsinriktad rehabilitering 4 % 4 %

Aktiviteter inom vägledning och platsförmedling 5 % 4 %

Fördjupad kartläggning och vägledning 1 % 1 %

Projekt 1 % 0 %

N 1 523 2 522

Tabellen visar att det finns skillnader mellan vilka insatser som tjejer och killar tar del av inom

Ung komp, men att de i allmänhet är små. Vad gäller Nystartsjobb finns en större skillnad om tre

procentenheter.

3.1.2.2 Funktionsnedsatta

Figur 11 nedan visar andelen deltagare med funktionsnedsättning vid inskrivning och i juni 2017

per delprojekt. Det framgår tydligt att många individer får en funktionsnedsättningskod under

tiden för deltagande i Ung komp. I genomsnitt (icke-viktat) ökade andelen med funktionsned-

sättningskod med 10 procentenheter under denna period. Det finns dock stora skillnader mellan

delprojekten, vilket kan bero på att det finns systematiska skillnader i arbetssätt alternativt att

delprojekten har olika målgrupper.

Ung KOMP

16 av 35

Figur 11: Andelen med funktionsnedsättning per delprojekt vid inskrivning och i juni 2017

Källa: AIS, via projektets bearbetade uppföljning. Observera att figuren inkluderar samtliga del-

tagare, till skillnad från effektutvärderingen. Det förklarar att andelen med funktionsnedsättning

är mycket högre vid Ung komp-inträdet än i effektutvärderingens population.

Resultatet tyder på att det finns en stor grupp personer vid Arbetsförmedlingen som har funkt-

ionsnedsättningar som inte identifieras. Det kan tyda på att kartläggningen inom Arbetsför-

medlingens ordinarie verksamhet inte fungerar tillräckligt bra, något som bland annat Riksrevis-

ionen uppmärksammat nyligen.

3.1.3 Resultat progression

I detta avsnitt presenteras de huvudsakliga resultaten av den progressionsmätning som skett i

Ung komp. En mer fullständig rapportering finns i bilaga 3 Progressionsrapport, där resultaten

analyseras bredare. I avsnitt 3.2.3 finns en analys av de frågor som ställts om deltagarnas för-

troende för Arbetsförmedlingen.

I oktober 2016 initierade Ramböll ett system för att följa deltagarnas progression under delta-

gandet i Ung komp. Med progression menas utvecklingen mot arbete eller studier. Progressions-

mätningen gick ut på att ställa frågor till deltagarna vid olika tidpunkter – vid inskrivning, 3 må-

nader efter inskrivning och 6 månader efter inskrivning. Frågorna, som illustreras i figur 12 ne-

dan, bygger på validerade skalor, vilka visat sig fungera som indikatorer för förutsättningarna för

att kunna skaffa sig ett arbete.

Figuren nedan illustrerar det samlade resultatet från progressionsmätningen för deltagare i Ung

komp. Inom samtliga områden sker en ökning mellan insamling 1 och insamling 2. Genomsnittet

skiljer sig dock mellan frågorna och det gör också utvecklingen. Generellt är utvecklingen mellan

insamling 1 och 2 störst inom de områden där utgångsläget är lågt, till exempel fråga två och sex

i figuren nedan. Samtidigt utmärker sig fråga fyra, som rör individers inställning till att ta kontakt

med personer de inte känner, på så sätt att utvecklingen är relativt liten.

8%

10%

10%

15%

18%

19%

19%

19%

23%

24%

24%

25%

25%

27%

28%

30%

16%

17%

16%

18%

28%

31%

24%

29%

35%

33%

30%

42%

45%

37%

40%

36%

0% 10% 20% 30% 40% 50%

Örebro

Göteborg

Eskilstuna

Landskrona

Motala

Järfälla

Malmö

Trollhättan

Norrköping

Stockholm

Helsingborg

Visby

Växjö

Skellefteå

Gävle

Uppsala

Efter Innan

Ung KOMP

17 av 35

Figur 12: Utfall av progressionsmätning, genomsnitt insamling 1 och ökning under insamling 2 och 3

Denna progression för deltagarna var inte förvånande med tanke på de intervjuer som Ramböll

genomfört med deltagare i projektet under våra fallstudier av delprojekten, där merparten av de

intervjuade beskrivit att de utvecklats under tiden för deltagande. Progressionsmätningens resul-

tat stämmer alltså överens med de data vi samlat in kvalitativt, och det kan tilläggas att även

projektpersonalen pekat på detta.

Progressionen är störst för de individer som börjar med ett lågt ingångsvärde, se figur 13 nedan.

Figuren visar de individer som vid första mättillfället hade värden som i genomsnitt var 3 eller

lägre. Här sker en större progression fram till uppföljningarna, både 3 månader efter inskrivning

och 6 månader efter inskrivning.

Figur 13: Utfall av progressionsmätning, genomsnitt insamling 1 och ökning insamling 2 och 3, individer med lågt utgångsläge (mindre än 3 i genomsnitt)

Progressionsmätningens resultat visar att de deltagande individerna stärks under deltagandet i

Ung komp och att de som inte fått ett positivt utfall under projektperioden troligen har bättre

förutsättningar även efter projektets slut. Betydande progression sker på de två första frågorna

som handlar om vilket arbete deltagaren vill söka samt hur han eller hon ska gå till väga för att

nå dit. Detta tyder på att Ung komps vägledande insatser ger resultat.

3,48

3,29

3,88

3,34

4,05

3,18

0,26

0,46

0,21

0,07

0,13

0,39

0 1 2 3 4 5

Vet du vilket eller vilken typ av arbete eller studier

du helst skulle vilja ha?

Vet du vad du behöver göra för att förbättra dina

chanser att få ett jobb/börja studera?

Tror du att det du kan d.v.s. dina kompetenseroch färdigheter kan användas på en arbetsplats?

Hur känner du för att ta kontakt med personer du

inte känner på ett företag, myndighet eller skola?

Har du lätt eller svårt för att samarbeta med

andra? (i tex en arbetsgrupp, ett samtal eller

liknande)

Hur stort är ditt förtroende för Arbetsförmedlingen

idag?

Insamling 1 Insamling 2 Insamling 3

2,17

2,15

2,78

2,01

2,84

2,92

0,87

1,17

0,86

0,56

0,72

0,41

0,30

0,64

0,61

0,23

0,40

0 1 2 3 4 5

Vet du vilket eller vilken typ av arbete eller studier

du helst skulle vilja ha?

Vet du vad du behöver göra för att förbättra dina

chanser att få ett jobb/börja studera?

Tror du att det du kan d.v.s. dina kompetenser och

färdigheter kan användas på en arbetsplats?

Hur känner du för att ta kontakt med personer du

inte känner på ett företag, myndighet eller skola?

Har du lätt eller svårt för att samarbeta med

andra? (i tex en arbetsgrupp, ett samtal eller…

Hur stort är ditt förtroende för Arbetsförmedlingen

idag?

Insamling 1 Insamling 2 Insamling 3

Ung KOMP

18 av 35

3.2 Resultat på organisationsnivå

Ung komp har även haft som syfte att påverka Arbetsförmedlingen som organisation, vilket vi

kategoriserar som resultat på organisationsnivå. Projektet har två målsättningar som faller inom

denna kategori: att utveckla en modell för hur Arbetsförmedlingen kan skala upp och sprida nya

metoder och arbetssätt, och att öka förtroendet för myndigheten bland deltagarna. Vi ser även

att kundresurser har använts på ett nytt sätt inom projektet, och därmed inkluderas också detta i

resultat på organisationsnivå.

3.2.1 Ung komps modell för att sprida och skala upp projektet har genomförts väl

Projektet Ung komp utmärks av modellen för att sprida projektets koncept och arbetssätt, me-

todstödsteamen. Att utveckla Arbetsförmedlingens metoder för spridning och implementering av

lyckade projektsatsningar var också ett skäl till att projektet beviljades medel från ESF.

Ett metodstödsteam bestående av 4–5 personer som inkluderar arbetsförmedlare, SIUS, specia-

list vid Arbetsförmedlingen, kommunal personal och kundresurs ger stöd till ett nytt delprojekt i

uppstartsfasen. Programmet för metodstöd vid nyetablering av en Ung komp-enhet följer dessa

processteg10:

1. Förankringsmöte med nationella projektledningen

2. Mentorort och auskultation enligt lokal överenskommelse

3. Workshops 2 x 2 dagar inom en 14-dagars period innan projektdeltagarna startar

4. Side by side 5 dagar, oftast sammanhängande (handledning med deltagare på plats)

5. Uppföljning, enligt lokal överenskommelse

På detta sätt får varje nystartat delprojekt stöd i att implementera konceptet, både innan verk-

samheten kommit igång med deltagare och efter starten.

Metodstödsteamen har fungerat väl och bidragit till att de nya delprojekten kunnat starta sin

verksamhet på ett effektivare sätt. De har varit nödvändiga för att sprida Ung komps koncept och

särart, och denna överföring blir särskilt viktig eftersom projektet inte varit fullständigt dokumen-

terat. Oavsett detaljeringsgraden i dokumentationen är det dock troligt att ett praktiskt komple-

ment likt metodstödsteamen skulle höja effektivitet och kvaliteten i spridningen av konceptet.

Ramböll har tidigare, i slututvärderingen av projektet Jobbgarage, hänvisat till det forskningsstöd

som finns för att använda så kallade ”implementeringsagenter” och som metodstödsteamen är

ett exempel på. I denna del har Ung komp haft god evidens att luta sig på i sin design.

Metodstödsteamen i sig har uppfattats som en god energigivare till de nya projekten; de har

förtydligat oklarheter, svarat på frågor och visat vilka alternativ som finns inom Ung komp. Med-

verkan i metodstödsteamen har även varit värdefull för den erfarna personal som ingått i tea-

men, då dessa fått nya utmaningar och möjlighet att diskutera och vidareutveckla projektet och

sin egen kompetens.

Ramböll har i tidigare delrapporter konstaterat att uppskalningsteamets arbete varit centralt för

uppstarten av nya delprojekt. Dessa metodstödsteam har tillfört kunskap och erfarenhet som

gett trygghet och struktur. Enligt intervjuerna har flera medarbetare upplevt att de fått mycket

lite information om Ung komp och dess arbetssätt och form innan metodstödsteamets medver-

kan. Däremot kan vi konstatera att metodstödsteamets syfte i första hand varit att lära ut Ung

komps kärnvärden, snarare än att ge tydliga instruktioner om hur arbetet ska läggas upp. Vi

förstår att detta varit ett medvetet val, för att arbetet ska utformas med hög förankring bland

medarbetarna utifrån lokala förutsättningar. Detta var också viktigt för att skapa ett effektivt och

välfungerande arbete. Däremot har det i intervjuerna påtalats att uppskalningsteamets stöd ef-

terfrågades även efter de planerade besöken.

10 ESF-ansökan, sid. 7.

Ung KOMP

19 av 35

Representanter för nystartade delprojekt har också påtalat att metodstödsteamet hade behövts

under en längre tid efter uppstarten. De hade vidare gärna sett att metodstödsteamens funktion i

högre grad varit instruerande snarare än lärande. De har alltså efterfrågat ett tydligare stöd i vad

de ska göra inom ramen för Ung komp, och hur det skiljer sig från ordinarie verksamhet. Konse-

kvensen har blivit att delprojekten utformat arbetet utifrån ett relativt otydligt ramverk. Det för-

klarar också att delprojekten arbetar olika när det gäller olika detaljer och enskilda moment.

Sammantaget ser Ramböll att detta arbete har bedrivits effektivt och med lyckade resultat. Det

finns skäl för att ta denna spridningsmodell vidare inom Arbetsförmedlingen och använda lik-

nande design vid kommande spridning av nyutvecklade koncept.

3.2.2 Kundresurser

Ung komps kundresurser och deras arbetssätt är ett av projektets särdrag, och särskilt i pro-

jektets tidiga fas var det ovanligt med kundresurser enligt Ung komps modell inom Arbetsför-

medlingen. Vår övergripande bedömning är att kundresurserna fungerar väl i Ung komp och att

de tillför flera värden som vi beskriver närmare nedan.

I Ung komps dokument Yrkesroller 2.0 beskrivs kundresursernas så här:

Kundresurserna arbetar med jobbsökaraktiviteter, arbetsgivarkontakter, ansök-

ningshandlingar och ger stöd vid information om kommunen och Arbetsförmedling-

ens insatser. Kundresurserna speglar målgruppens erfarenheter och bidrar till att

motivera ungdomarna att öka sitt engagemang i olika aktiviteter inom UngKOMP.

De erbjuder även personlig support exempelvis vid arbetsplatsbesök, rekryterings-

träffar och besök på skolor. Eftersom kundresurser i UngKOMP är anställda unga

med liknande bakgrund som målgruppen ses de ofta som förebilder för att det är

möjligt att komma in på arbetsmarknaden. När en deltagare plötsligt inte sköter

kontakten har kundresurserna ofta möjlighet att leta upp dem så att kontakten med

projektet kan återupptas.

Kundresurserna har ofta lätt för att få kontakt med deltagarna, särskilt initialt när en deltagare är

nyinskriven. De bidrar till det holistiska arbetssättet genom att vara en del i den löpande kontakt

med deltagarna som mycket av projektets arbetssätt kretsar kring. En förklaring till kundresur-

sernas kommunikativa framgång är just att de inte är handläggare – de fattar inte beslut och

förknippas inte lika starkt med Arbetsförmedlingen. Det gör att deltagarna uppfattar det som

enklare att ta kontakt med denna personalkategori.

Kundresurserna effektiviserar teamen. De kompletterar övriga personalkategorier utan att ha

specifika expertfunktioner, och därmed kan de komplettera och stödja övrig personal i arbetet.

Framförallt kan de avlasta arbetsförmedlarna med en mängd uppgifter för att effektivera för-

medlarnas arbete, till exempel hjälpa deltagare med CV-skrivning och arbetsgivarkontakter samt

bemanna loungen. Kundresursernas möjlighet att flexibelt komplettera övriga i teamet är en för-

utsättning för att kunna nå den fastställa volymen om 40–50 deltagare per förmedlare.

Vid sidan om dessa framgångsfaktorer finns ett fåtal utmaningar som rör att kundresurserna är

en ny roll som inte är lika självklar som övriga. Under Ung komps inledande period var kundre-

sursernas uppdrag heller inte alltid tydligt eftersom de användes på ett nytt sätt inom projektet.

I och med den oklara uppdragsbeskrivningen har det inte varit självklart vilka arbetsuppgifter de

ska utföra, och det har i vissa delprojekt inneburit en del diskussioner om vad kundresurserna

ska göra och vilket ansvar de har. Personalomsättningen var också stor under projektets första

period då omkring en tredjedel av kundresurserna ersattes under projektets första åtta månader.

Ung KOMP

20 av 35

En förklaring till det är att rekryteringen var en utmaning. För det första var kundresursens an-

svar inte helt tydligt för alla inblandade, i och med att de användes på ett nytt sätt inom Ung

komp. För det andra gjordes en del rekryteringar utan stöd från den personal som har erfarenhet

av att arbeta som, eller med, kundresurser.

Sammantaget ser Ramböll att kundresurserna varit en viktig funktion i det multikompetenta

teamet, och inte minst har de genom sin flexibilitet varit en effektivitetshöjande kraft. De har

också bidragit till det goda bemötande som deltagarna har upplevt inom Ung komp, något som

ökat förtroendet för verksamheten. Hur förtroendet utvecklats beskrivs i nästa avsnitt nedan.

3.2.3 Förtroende för Arbetsförmedlingen

En av målsättningarna för Ung komp är att öka förtroendet för Arbetsförmedlingen genom pro-

jektet. Målsättningen är, enligt styrdokumentet, att minst 90 procent av de inskrivna efter sex

månader (alternativt vid avslut för de inskrivna som lämnar projektet innan sex månader gått)

ska ha ökat sitt förtroende11 eller känna ett högt förtroende för Arbetsförmedlingen.

Detta har vi tidigare följt upp kvalitativt i delrapport II från våren 2016. I den beskrevs att samt-

liga intervjuade deltagare hade ett högt förtroende för Ung komp, men att detta höga förtroende

inte alltid omfattade Arbetsförmedlingen generellt. Deltagarna upplevde projektet som något

delvis annat än den ordinarie verksamheten, och upplevde bland annat att de fick ett bättre be-

mötande och mer hjälp i Ung komp.

Mellan oktober 2016 och juni 2017 följdes deltagarnas förtroende upp kvantitativt. Detta gjorde

vi genom en progressionsmätning med nyinskrivna deltagare: de fick svara på en enkät vid in-

skrivningen, och detta upprepades var tredje månad om deltagaren var kvar i projektet. De del-

tagare som lämnade projektet har inte fått fler enkäter då de inte gått att nå. Det är möjligt att

de som lämnat till arbete eller studier fått ett ökat förtroende på grund av detta positiva utfall,

men det har inte gått att undersöka. Direktivet var att samtliga deltagare som skrevs in från och

med oktober 2016 skulle ingå i progressionsmätningen. Utfallet är dock väsentligt lägre än så.

Totalt registrerades 997 deltagares svar i insamling 1 mellan oktober och april, vilket utgjorde 46

procent av alla som skrevs in i projektet under denna period. Svarsfrekvensen skiljer sig väsent-

ligt mellan delprojekten. Se bilaga 3 Progressionsrapport för mer information om metod och ut-

fall.

I figuren nedan presenteras hur deltagarnas förtroende för Arbetsförmedlingen utvecklats över

tid.

Figur 14: Hur stort är ditt förtroende för Arbetsförmedlingen idag?

Antal svar: Insamling 1, 997 st. Insamling 2, 572 st. Insamling 3, 163 st.

11 Gått upp minst ett steg på mätskalan.

0% 20% 40% 60% 80% 100%

Insamling 1

Insamling 2

Insamling 3

1. Jag har mycket litetförtroende för

Arbetsförmedlingen2

3

4

5. Jag har mycket stortförtroende för

Arbetsförmedlingen

Ung KOMP

21 av 35

Figuren visar att förtroendet i genomsnitt ökar över tid. Andelen som anger ett högt förtroende,

dvs. 4 eller 5 på skalan, steg från 40 till 61 procent mellan insamling 1 och 3. Det är dock inte

alla deltagare som har en positiv förändring över tid, vilket visas i tabellen nedan.

Figur 15: Förändring mellan insamling 1 och insamling 2/3 på frågan ”Hur stort är ditt förtroende för Arbetsförmedlingen idag?”

Typ av förändring Antal Andel

Oförändrade 194 36 %

Positiv förändring 240 44 %

Negativ förändring 112 21 %

Ramböll kan inte via progressionsmätningen exakt undersöka huruvida man nått målet att 90

procent ska känna ett högt förtroende för Arbetsförmedlingen, bland annat för att samtliga delta-

gare inte tillfrågats. Vi kan dock tolka resultatet genom att klassa nivå 4 och 5 som hög i mätska-

lan och studera individer som varit med vid senare insamlingar. Om man studerar individer som

deltagit vid minst två insamlingstillfällen hade 44 procent ett ökat förtroende för Arbetsför-

medlingen, och av de som är oförändrade hade 19 procent ett högt förtroende. Vidare hade 17

procent ett oförändrat men lågt förtroende och 21 procent angav att förtroendet blev sämre un-

der mätperioden. Totalt har 63 procent fått ett högre förtroende för myndigheten, alternativt haft

ett högt förtroende från början, och målet uppnåddes således troligen inte.

Sammanfattningsvis leder deltagande i Ung komp till ett högre förtroende för Arbetsförmedling-

en, och en majoritet av de deltagare som följts upp över tre månader har ett högt förtroende för

myndigheten. Målsättningen uppnås dock inte.

Ung KOMP

22 av 35

4. EFFEKTUTVÄRDERING

Effektutvärderingen genomförs för att skatta effekten av Ung komp. Med andra ord ska effektut-

värderingen visa hur deltagarna har påverkats av att ha deltagit i Ung komp, jämfört med om de

hade varit kvar i någon annan verksamhet vid Arbetsförmedlingen. Effektutvärderingen omfattar

individer som var inskrivna i Ung komp någon gång sedan starten i augusti 2015 till och med Ung

komps slutdatum, sista juni 2017, och som hör till målgrupp 1 eller 2.12 Totalt utgörs denna grupp

av 4 045 individer varav de flesta enbart var inskrivna i Ung komp en gång. När vi diskuterar

”behandlingsgruppen” avses alltså dessa individer, om inget annat anges.

Figur 16: Antal deltagare i Ung komp, inskrivna per målgruppskategori

Effektutvärderingen fokuserar på individers första positiva sökandekategoriförändring (SKAT)

efter inskrivning i Ung komp. Med andra ord studeras individerna från det att de blivit inskrivna i

Ung komp för att se om de någon gång under mätperioden hör till en sökandekategori som inne-

bär arbete. För att analysera hållbarheten i utfallen sätts löpande restriktioner på 30, 60, 90, 180

och 360 dagar för den tid som en deltagare ska ha en positiv sökandekategori för att det ska

räknas som ett positivt utfall.

I detta kapitel sammanfattas Rambölls effektutvärdering av Ung komp. Effektutvärderingen i sin

helhet finns i bilaga 1 Effektutvärdering. Vi genomförde en pilotundersökning till denna effektstu-

die i början av 2017 för att få en första bild av effekten av att delta i Ung komp samt samla erfa-

renheter och lärdomar inför slututvärderingen. Den sammanfattning som ges här är inte heltäck-

ande, utan läsaren bör läsa den fullständiga versionen i bilaga 1 för att få full förståelse och för

att ta del av samtliga resultat i effektutvärderingen.

4.1 Selektion

När Ung komp startades fanns inte projektets styrdokument och således inte någon tydlig mål-

gruppsdefinition, vilket är nödvändigt för att göra en effektutvärdering. Ramböll poängterade i

nulägesanalysen (bilaga 5) behovet av ett styrdokument, bl.a. för att tydliggöra vilken målgrupp

som projektet skulle rikta sig mot. När styrdokumentet antogs i december 2015 fastslogs mål-

gruppsdefinitionen, och vår bedömning var att den skulle skapa tillräckliga förutsättningar för att

genomföra en effektstudie.

12 Kategori 1= Inskriven på AF i mer än 180 dagar och 16–24 år gamla. Kategori 2 = Inskriven på AF 2 gånger under de senaste 180

dagarna och 16–24 år gamla. Kategori 3 effektutvärderas ej då denna grupp inte har någon tydlig målgruppsdefinition, vilket också är

befäst i styrdokument.

Ung KOMP

23 av 35

I samband med fallstudier hos delprojekten under våren 2016 upptäckte vi att målgruppsdefinit-

ionen tolkats olika då det stora flertalet av delprojekten tolkat det som att selektion ska ske inom

målgruppsdefinitionen. Enligt vår tolkning var den primära målgruppen ”Unga 16–24 år som varit

inskrivna vid Arbetsförmedling eller kommunen, sex månader eller längre.” Delprojekten tolkade

den däremot som att det är individer med extra stort behov inom målgruppsdefinitionen som

skulle väljas ut för deltagande. På frågan om vilka dessa individer är fick vi ofta svaret att arbets-

förmedlare gör en helhetsbedömning av individen för att identifiera om han eller hon behöver

delta i Ung komp. Det är arbetsförmedlare i ordinarie verksamhet som har gjort denna bedöm-

ning, vilket talar för att den skett på ett snarlikt sätt i delprojekten. Samtidigt har alla kommuner

sin egen kontext och egna referensramar, vilket gör att bedömningarna kan ha gjorts an-

norlunda. Målgruppens storlek på det aktuella kontoret bör också ha påverkat; där det fanns ett

stort antal unga som varit arbetslösa i mer än sex månader bör en större selektion ha skett än

där antalet var litet då en större andel av målgruppen då hänvisades till Ung komp. Ramböll har

kartlagt selektionen vid flera tillfällen och kommit fram till att den i mångt och mycket bygger på

observerbara data såsom inskrivningstid, utbildningsnivå och arbetslivserfarenhet men också till

viss del på karaktäristik som inte syns i data, såsom attityd och motivation. Detta beskrivs bland

annat i bilaga 6, delrapport II.

Selektionen inom målgruppen har troligen påverkat antalet deltagare i projektet eftersom man

exkluderat individer som inte anses haft detta extra behov. Utan denna selektion hade man med

största sannolikhet nått målet för antalet deltagare tidigare. En av de vanligaste förklaringarna

till att delprojekt inte nådde volymmålet var nämligen att det var svårt att få deltagare överförda

till Ung komp från ordinarie verksamhet, och det berodde i sin tur inte sällan på att arbetsför-

medlare i ordinarie verksamhet tyckte det var svårt att veta vilka som skulle överföras. Utan

selektionen hade också projektet omfattat färre deltagare i kategori 3, och populationen för ef-

fektutvärderingen hade varit större. Den extra selektionen har slutligen med största sannolikhet

också påverkat projektets resultat negativt eftersom det är individerna med störst behov av stöd

som valts ut att delta.

Selektionen inom målgruppen har även försvårat arbetet med att etablera en likvärdig kontroll-

grupp för effektstudien. Hade det enbart varit målgruppsdefinitionen som gällde för inskrivning i

projektet hade en kontrollgrupp enkelt kunna etablerats utifrån just den definitionen. I och med

selektionen har vi dock fått använda fler matchningsvariabler för att skapa en likvärdig kontroll-

grupp, och många individer har fallit bort då vi inte kunnat hitta en bra matchningsindivid i ordi-

narie verksamhet.

Vi beskriver sammanfattningsvis nedan och detaljerat i bilaga 1 effektutvärdering hur match-

ningsprocessen gått till. I denna har vi utgått från de ca 4 000 individer som är i målgrupp 1 eller

2. Det primära fokuset har varit att skapa en kontrollgrupp som är så lik ett urval Ung komp-

deltagarna som möjligt för att skapa så hög intern validitet som möjligt. På grund av en mycket

specifik selektionsprocess för inskrivning i Ung komp har Ramböll varit tvungna att använda ett

stort antal kontrollvariabler när kontrollgrupp etablerats. När många kontrollvariabler används

blir också sannolikheten att hitta en ”tvilling” lägre då det är fler variabler som ska stämma över-

ens. I den slutgiltiga matchningen hittade vi en tvilling (match) för ca 2 000 deltagare. När vi

uttalar oss om effekten är det således effekten för dessa individer som vi uttalar oss om. Vi

kommer nedan beskriva hur dessa 2 000 individer skiljer sig från de 2 000 som föll bort, och

således vilka vi inte kan uttala oss om. Sammanfattningsvis kan vi säga att den externa validitet-

en är låg, dels då målgrupp 3 inte effektutvärderats dels då många fallit bort under matchnings-

förfarandet.

Projektet omfattar dock inga deltagare som varit utanför målgruppsdefinitionen, förutom delta-

garna i kategori 3 som i styrdokumentet exkluderas från effektstudien. Ramböll har kontrollerat

detta i analysen.

Ung KOMP

24 av 35

4.2 Dataunderlag

Nedan beskrivs det datamaterial som Ramböll haft tillgång till under effektutvärderingen. Alla

variabler förutom tre kommer från Arbetsförmedlingens interna system, AIS. Nedan beskrivs

bakgrundsinformation för Ung komp-deltagarna och övriga i målgruppen. Behandlingsgruppen

består av 4 045 individer och kontrollgruppen (målgrupp exkl. Ung komp-deltagare) 143 514

individer.

Figur 17: Deskriptiv statistik, målgrupp och behandlingsgrupp (Ung komp-deltagare)

Målgrupp Behandling Differens P-värde

Andel kvinnor 41 % 38 % 3 0,00

Ålder 21.46 21.02 0.45 0,00

Förgym. utb. kortare än 9 år 7 % 9 % -2 0,00

Förgym. utb. 9 (10) år 20 % 35 % -15 0,00

Gymnasial utb 66 % 52 % 14 0,00

Eftergymnasial utb. 7 % 4 % 2 0,00

Född i Sverige 77 % 78 % 1 0,40

Född i Europa (ej Sverige) 3 % 2 % -1 0,15

Född utanför Europa 20 % 22 % 1 0,76

Andel nyanlända 8 % 4 % 7 0,00

Andel i etablering 9 % 1 % 8 0,00

Villig att flytta 81 % 77 % 5 0,00

Erfarenhet i primärt/sekundärt yrke 37 % 32 % 5 0,00

Utbildad inom primärt/sekundärt yrke 49 % 42 % 8 0,00

Antal inskrivningsdagar (totalt) 516 653 -137 0,00

Andel tid i positiv SKAT 15 % 4 % -11 0,00

Lämnar arbete/arbetsmarknadsprogram 0 % 0 % 0 0,65

Tar ej jobb 0 % 0 % 0 1,00

Ej motiverad att söka arbete 1 % 1 % 0 0,92

Ej kontakt enl. ok. 11 % 16 % -5 0,00

Redovisar ej aktivitetsrapport 22 % 26 % -11 0,00

Arbetsmarknadsprogram 28 % 33 % -5 0,00

Funktionsnedsatt 8 % 10 % -2 0,00

Kognitiv 7 % 9 % -0.2 0,00

Fysisk 1 % 1 % 0 0,01

Andel förvärvsfrekvens 74 % 70 % 4 0,00

Andel eftergymnasial 21 % 22 % -1 0,00

Medianinkomst 240 000 kr 231 000 kr 9’ 0,00

4.3 Positivt utfall

Ett positivt utfall innebär att en individ går över till arbete eller studier, och det definieras på tre

olika sätt i effektutvärderingen. Syftet är att ge analysen större förklaringskraft samt säkerställa

att övergångar till arbete eller studier inte missas. De tre definitionerna beskrivs nedan:

• Positivt utfall definition 1 – individen har avaktualiserats hos Arbetsförmedlingen för

en reguljär anställning på heltid på den öppna arbetsmarknaden, inklusive anställning på

Samhall plus utbildning som inte är arbetsmarknadsutbildning.

Ung KOMP

25 av 35

• Positivt utfall definition 2 – omfattar reguljära anställningar som i definition 1, men

även arbete som inte är på heltid och/eller är subventionerat inräknas. Detta är den defi-

nition som projektet arbetat efter och som beskrivs i projektets styrdokument.

• Positivt utfall definition 3 – enligt Ung komps styrdokument där även arbete som inte

är på heltid och/eller är subventionerat inräknas plus aktivitetskoder inom JOB/UGA som

innebär någon form av arbete.

Vilka sökandekategorier som omfattas av respektive definition återges i tabellen nedan.

Figur 18: Definitioner av positivt utfall

SKAT/aktivitet

Namn Utfallstyp

De

fin

itio

n 3

– in

klu

sive

akt

ivit

ete

r JO

B/U

GA

D

efin

itio

n 2

– e

nlig

t st

yrd

oku

men

t

Def

init

ion

1

- A

vslu

t

1 Fått tillsvidareanställning Arbete utan stöd

2 Fått tidsbegränsad anställning Arbete utan stöd

3 Fått fortsatt anställning hos samma arbetsgivare Arbete utan stöd

4 Fått anställning inom Samhall Arbete utan stöd

7 Annan utbildning än arbetsmarknadsutbildning Studier

21 Deltidsarbetslös Arbete utan stöd

22 Timanställd Arbete utan stöd

23 Yrkesfiskare Övriga inskrivna

31 Tillfälligt arbete Arbete utan stöd

33 Nystartsjobb Arbete med stöd

34 Utresande EU/EES-sökande Övriga inskrivna

36 Särskilt nystartsjobb Arbete med stöd

38 Utvecklingsanställning Arbete med stöd

39 Trygghetsanställning Arbete med stöd

40 Yrkesintroduktion Arbete med stöd

42 Lönebidrag Arbete med stöd

43 Offentligt skyddat arbete Arbete med stöd

45 Förstärkt särskilt anställningsstöd Arbete med stöd

46 Stöd till start av näringsverksamhet Arbete med stöd

49 Särskilt anställningsstöd Arbete med stöd

58 Utvecklingsanställning Samhall Arbete med stöd

78 Instegsjobb Arbete med stöd

25, 26 Deltidsarbete

93, 94 Samhall

32 Utbildningskontrakt Studier

27, 28 Timanställning

Yrkesinriktad utbildning på FS

29, 30 Tillfälligt arbete

Tillfälligt arbete < 30 dagar

4.4 Etablering av kontrollgrupp

Den deskriptiva statistiken ovan visar att Ung komp-deltagarna skiljer sig ganska mycket från

målgruppen som helhet på så sätt att Ung komp-deltagarna generellt har sämre förutsättningar.

För att göra grupperna jämförbara har matchning av individer genomförts. Förenklat innebär det

att man för varje individ i Ung komp försöker hitta en individ som har samma egenskaper men

som inte ingår i Ung komp. Matchningen är genomförd med metoden Coarsened Exact Matching

(CEM) och finns beskriven i bilaga 1.

Nedan illustreras resultatet från matchning för Ung komp-deltagare (behandlingsgrupp) och kon-

trollgruppen. För cirka hälften av individerna i behandlingsgruppen har en eller flera matchnings-

Ung KOMP

26 av 35

personer identifierats i målgruppen. Det framgår av tabellen att behandlingsgruppen och kon-

trollgruppen i stort sett är identiska efter matchningen, med andra ord jämförbara.

Tabell 19: Jämförande deskriptiv statistik, efter matchning.

4.5 Effektresultat

Effektutvärderingen kan inte belägga en positiv effekt till följd av deltagande i Ung komp för dem

som effektutvärderas. Figurerna nedan visar andelen individer som x månader efter inträde i Ung

komp fick ett positivt utfall som varade i minst 30 dagar. Tidpunkt 0 på de horisontella axlarna

avser tidpunkten för inträde i Ung komp, (och tidpunkt då kontrollgruppen möter kriterier för

inskrivning, se bilaga 1 för mer detaljerad förklaring). T.ex. punkt 1 avser tidpunkten en månad

efter inträdet. Regressionsanalyser har genomförts för samtliga utfallsdefinitioner. I dessa kan en

negativ effekt beläggas när utfallsdefinition 1 används och nolleffekt när definition 2 eller 3 an-

vänds. Nedan beskrivs utfallen för de olika utfallsdefinitionerna.

Variabel Behandling Kontroll Differens Differens, omatchat

Andel kvinnor 35% 35% 0 -3%

Ålder 20,6 21,3 -1 -0,4

Förgm utb kortare än 9 år 5% 5% 0 2%

Förgm utb 9 (10) år 36% 36% 0 15%

Gymnasial utb 57% 57% 0 -14%

Eftergymnasial utb 2% 2% 0 -3%

Född i Sverige 87% 87% 0 1%

Född i Europa (ej SE) 1% 1% 0 0%

Född utanför Europa 12% 12% 0 0%

Andel nyanlända 1% 1% 0 -4%

Villig att flytta 77% 84% 0 -6%

Erfarenhet i primärt/sekundart yrke 33% 34% 0 -5%

Utbildad inom primärt/sekundart yrke 26% 27% 0 -9%

Antal inskrivningsdagar (totalt) 443 443 0 136

Maximal behandlingstid 492 494 -2 -148

Lämnar arbete/arbetsmarknadsprogram 0% 0% 0 0%

Tar ej jobb 0% 0% 0 0%

Ej motiverad att söka arbete 0% 1% 0 0%

Ej kontakt enl. ok. 10% 8% 0 5%

Redovisar ej aktivitetsrapport 17% 17% 0 4%

Funktionsnedsatt, kognitivt 5% 5% 0 2%

Funktionsnedsatt, fysiskt 0% 0% 0 0%

Arbetsmarknadsprogram 1% 2% 0 -1%

Studieprogram 13% 13% 0 3%

Övrigt program 2% 1% 0 1%

Medianinkomst (tkr) 236 236 0 -9013

Andel förvärvsfrekvens 72% 73% 0 -4%

Andel eftergymnasial 23% 21% 0 1%

N 1910 20666

Ung KOMP

27 av 35

4.5.1 Positivt utfall definition 1

Deltagare i Ung komp lämnar inte projektet för arbete på den reguljära arbetsmarknaden eller

studier i lika hög grad som kontrollgruppen. Tio månader efter inskrivningen i Ung komp har var

femte deltagare lämnat projektet för arbete jämfört med var fjärde i kontrollgruppen.

Figur 20: Andel med positivt utfall, utfallsdefinition 1

4.5.2 Positivt utfall definition 2

När de sökandekategorier som projektet klassificerar som positiva utfall används minskar skillna-

derna drastiskt mellan behandlingsgrupp och kontrollgrupp. Tre månader efter behandlingsdatum

är skillnaden som störst, 4 procentenheter. Efter 20 månader har lika stora andelar, ca 45 pro-

cent, uppnått ett positivt utfall.

Figur 21: Andel med positivt utfall, utfallsdefinition 2

4.5.3 Positivt utfall definition 3

Om analysen även inkluderar aktiviteter i Jobb- och utvecklingsgarantin och Jobbgarantin för

ungdomar som innebär arbete, blir den kumulativa andelen med positivt utfall för Ung komp-

deltagare högre än för individer i kontrollgruppen efter tio månader. Skillnaden är dock inte stat-

istiskt signifikant.

Figur 22. Andel med positivt utfall, utfallsdefinition 3

Ung KOMP

28 av 35

4.5.4 Enbart studier

Nedan illustreras utfallet när enbart studier (sökandekategori 7 och utbildningskontrakt) används

som positivt utfall. Efter 24 månader är skillnaden cirka 3,5 procentenheter till fördel för Ung

komp-deltagare.

Figur 23: Andel med positivt utfall (> 30 dagar), utbildning (SKAT 7 & utbildningskontrakt), matchad kontroll- och behandlingsgrupp

4.6 Subgruppsanalys – personer med funktionsnedsättning

Nedan illustreras resultaten för deltagare och kontrollgrupp med funktionsnedsättning, utfallsde-

finition 1. De som deltar i Ung komp har större sannolikhet för ett positivt utfall jämfört med

kontrollgruppen. Resultatet är statistiskt signifikant (10-procentig nivå).

Figur 24. Andel med positivt utfall för deltagare med funktionsnedsättningskod13, utfallsdefinition 1

13 Observera att dessa individer hade en funktionsnedsättningskod innan deltagande i Ung komp. Inom Ung komp kartläggs sedan

individer och andelen inskrivna i projektet med funktionsnedsättningskod ökar från dryga 10 till 30 procent. Se 3.1.2.2.

0%

5%

10%

15%

-12

-11

-10 -9 -8 -7 -6 -5 -4 -3 -2 -1 0 1 2 3 4 5 6 7 8 9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

Behandling Kontroll

0%

5%

10%

15%

20%

25%

30%

35%

-12

-11

-10 -9 -8 -7 -6 -5 -4 -3 -2 -1 0 1 2 3 4 5 6 7 8 9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

Behandling Kontroll

Ung KOMP

29 av 35

5. SLUTSATSER

I detta kapitel sammanfattar Ramböll resultaten av utvärderingen och drar slutsatser. Inled-

ningsvis bedömer vi projektet utifrån utvärderingskriterierna måluppfyllelse, effektivitet och håll-

barhet i korthet. Därefter följer sammanfattande slutsatser om hur Ramböll ser på att fortsätta

bedriva Ung komp och om de förutsättningar som ESF-rådet ger för effektutvärdering. Avslut-

ningsvis ger vi ett antal rekommendationer på basis av utvärderingens slutsatser.

5.1 Måluppfyllelse

5.1.1 Deltagarrekrytering

Deltagarvolym

Det volymmål som satts i ESF-ansökan om 5 000 deltagare har uppnåtts, även om det tog längre

tid än beräknat. Totalt skrevs 6 867 deltagare in i Ung komp.

Könsfördelning bland deltagarna

Vid projektets slut hade 2 484 kvinnor och 4 383 män skrivits in i Ung komp, vilket överträffar

målet i ESF-ansökan. Andelen kvinnor var 36 procent. En analys av andelen inskrivna män och

kvinnor i förhållande till målgruppen i respektive kommun visar att samtliga delprojekt utom ett

har legat inom 5 procentenheter från kommunnormen vid två av tre mättillfällen. Därmed bedö-

mer Ramböll att målsättningen om könsfördelningen har uppnåtts.

Fördelning mellan projektets tre målgrupper

Styrdokumentet anger att andelen deltagare från målgrupp 3 inte ska överstiga 30 procent.

Detta mål överstegs redan i december 2015. Andelen var sedan över 30 procent under hela peri-

oden. I juni 2017 hörde 44 procent till målgrupp 3. Målsättningen andelen individer i målgrupp 3

uppnås ej.

En förklaring till detta är att delprojekten hade svårt att rekrytera personer från målgrupp 1 och

2 då de ofta hade en pågående planering och ogärna släpptes av den ordinarie verksamheten. En

annan förklaring är att projektet styrdes mot att prioritera målgrupp 3 för att svara mot 90-

dagarsgarantin.

5.1.2 Individnivå

Resultat

Projektets mål var att 65 procent av avslutade deltagare skulle gå vidare till arbete eller studier.

Ackumulerat uppnår Ung komp sammantaget 61,5 procent, och når alltså inte målet.

Utvärderingen visar vidare att killar i Ung komp uppnår positiva utfall enligt projektets definition

av arbete i något större utsträckning än tjejer. De påbörjar däremot inte studier i högre utsträck-

ning än tjejer. Killar och tjejer lämnar dock projektet för att arbeta i samma utsträckning. Dessa

skillnader i resultat kan bero på att grupperna har olika behov och förutsättningar och/eller att de

får olika behandling i projektet. Att kvinnor och män får olika insatser inom Arbetsförmedlingens

ordinarie verksamhet finns det belägg för i tidigare studier.

Inskrivningstid

Genomsnittstiden för övergång till arbete, utbildning eller annan känd orsak är drygt 7 månader,

vilket ligger inom de 8 månader som projektet angett som mål.

Ung KOMP

30 av 35

5.1.3 Organisationsnivå

Etablering av Ung komp

Styrdokumentet anger att minst 15 Ung komp-team skulle etablerats under 2015–2017. Totalt

startades 16 delprojekt, vilket innebär att målet är uppfyllt.

Arbete i enlighet med styrdokumentets basvärden

Vår bedömning är att delprojekten i stort arbetar på ett likartat sätt i enlighet med Ung komps

basvärden. De tre kärnkomponenterna som utgör Ung komps basnivå finns representerade i alla

delprojekt, men med betydande variationer under genomförandet. Det finns exempelvis delpro-

jekt som under lång tid saknade personal jämfört med budget och saknade kompetenser som

finns med i styrdokumentets beskrivning. Det har främst varit kommunala kompetenser som

saknats, men även specialistkompetens har saknats under delar av genomförandet i vissa delpro-

jekt. Personalsammansättningen ändrades under genomförandet och våren 2017 var det inget

delprojekt som helt saknade någon kompetens. Samlokaliseringen har varierat mellan delpro-

jekten, men samtliga når upp till de krav som ställs i styrdokumentet.

I det faktiska arbetet med deltagarna har delprojekten arbetat på delvis olika sätt, men utifrån

en i grunden gemensam process. Det har även förekommit variationer i hur exempelvis kartlägg-

ningssamtal eller Ung komp-veckan har genomförts. Skillnader i arbetssätt beror främst på att

allt arbete lagts upp individuellt för att möta den enskilda personens behov, vilket är i linje med

projektets arbetssätt. Ung komp har inte varit ett väldefinierat projekt med en fast metodik eller

arbetsprocess som alla deltagare ska ta del av, utan snarare ett mer flexibelt arbetssätt inom

vissa ramar.

Metod för att sprida arbetssätt inom Arbetsförmedlingen

I styrdokumentet anges att en del av implementeringen är att kunskaper och erfarenheter från

arbetssättet systematiskt ska spridas till andra enheter inom Arbetsförmedlingen. Inom projektet

finns en process för att stödja implementeringen av nya delprojekt, och detta stöd har också

genomförts enligt plan.

Ramböll bedömer att metodstödsteamen varit framgångsrika, och att nya delprojekt implemente-

rats på ett effektivt sätt. Metodstödsteamens arbete har varit centralt för att starta nya delpro-

jekt genom att teamen har tillfört kunskap och erfarenhet som gett trygghet och struktur. Det

hade dock varit bättre om metodstödsteamen hade återvänt ytterligare en gång när verksamhet-

en kommit igång ordentligt, förslagsvis efter två månader då de nystartade delprojekten hade

nya frågor och utmaningar att diskutera. Målsättningen om systematisk spridning är dock upp-

fylld.

Ökat förtroende för Arbetsförmedlingen

Ung komp leder till ett ökat förtroende för Arbetsförmedlingen hos deltagarna. Vid inskrivningen

hade 40 procent ett högt förtroende för Arbetsförmedlingen, vilket efter sex månader hade stigit

till 60 procent.

Målsättningen är, enligt styrdokumentet, att lägst 90 procent av de inskrivna efter sex månader

ska ha ökat sitt förtroende eller ha uppnått ett högt förtroende för Arbetsförmedlingen. Totalt har

63 procent haft positiv utveckling, alternativt ett ihållande högt förtroende, målet uppnås således

inte. Det kan dock påpekas att målet är väldigt ambitiöst.

5.2 Effektivitet

Projektets övergripande mål är att en större andel som deltagit i Ung komp ska börja ett arbete

eller en utbildning efter avslutat projekt i jämförelse med en likvärdig grupp i ordinarie verksam-

het. För att utvärdera denna målsättning har en effektutvärdering genomförts.

Ung KOMP

31 av 35

Möjligheterna att genomföra en robust effektutvärdering är beroende av projektets riggning och

genomförande. På grund av hur projektet riggats och genomförts har gruppen som kunde effekt-

utvärderas endast innefattat en av tre deltagare (cirka 2 000 av 7 000 deltagare) vilket gjort att

generaliserbarheten (den externa validiteten) är låg. De primära skälen är två. För det första

valde projektet att rigga Ung komp med en tredje målgruppskategori som inte kunde effektut-

värderas, och som därmed på förhand exkluderades ur studien. Denna målgruppskategori skulle

maximalt omfatta 30 procent av samtliga deltagare, denna andel har dock uppgått till hela 44

procent. För det andra har selektion skett inom målgruppskategori 1 och 2, så att de personer

som bedömts ha särskilt behov av projektet valts ut för deltagande. Medvetna om denna selekt-

ion har Ramböll valt att ha ett strikt matchningsförfarande för att nå en hög intern validitet i

undersökningen. Det har gjort att ett stort antal (cirka 2000 personer) exkluderats från effektut-

värderingen av metodologiska skäl. Sammantaget har en effektutvärdering med hög kvalitet men

låg generaliserbarhet genomförts. Det innebär att det inte varit möjligt att bedöma genom-

snittseffekten för hela Ung komp, men väl för ett urval av deltagarna.

I bortfallsanalysen i Bilaga 1 – Effektutvärdering framkommer det att deltagare som står närmre

arbetsmarknaden matchas i högre utsträckning än övriga deltagare. Exempelvis har den mat-

chade behandlingsgruppen gymnasial utbildning och är födda i Sverige i större utsträckning än de

deltagare som inte effektutvärderas. Därtill har de i mindre utsträckning funktionsnedsättnings-

kod vid inskrivning samt avvikelser under sin tidigare arbetslöshetshistorik på arbetsförmedling-

en. Den troligtvis mest betydande skillnaden är tidigare inskrivningstid på arbetsförmedlingen,

den matchade populationen har i genomsnitt varit inskrivna sju månader kortare.

Ramböll drar följande slutsatser kopplat till projektets övergripande mål:

• Effektutvärderingen visar att de effektutvärderade deltagarna i Ung komp har lägre sannolik-

het att lämna projektet för ett arbete på den reguljära arbetsmarknaden eller studier (sökan-

dekategori 1-7) under uppföljningsperioden, än om den hade deltagit i annan verksamhet vid

Arbetsförmedlingen.

• Effektutvärderingen visar en nolleffekt för den effektutvärderade populationen när styrgrup-

pens utfallsdefinition används, som inkluderar deltidsarbete och subventionerade arbeten.

Det är således ingen skillnad i utfall mellan att delta i Ung komp och annan verksamhet vid

Arbetsförmedlingen.

• Vi har även utökat utfallsdefinitionen till att även inkludera aktivitetskoder inom Jobb- och

utvecklingsgarantin och Jobbgarantin för ungdomar. Inte heller då går det att se någon skill-

nad i sannolikheten för positivt utfall av projektet för den effektutvärderade populationen.

• För deltagare i den effektutvärderade populationen som har en kod för funktionsnedsättning

finns starka indikationer på att projektet har en positiv effekt, framförallt för de som varit in-

skrivna i projektet i mer än 18 månader. Det är dock väldigt få deltagare (88 stycken) som

hade en funktionsnedsättningskod vid inskrivningen i projektet samt ingår i målgrupp 1 eller

2 och därmed effektutvärderas.

Att effektutvärderingen inte finner någon positiv effekt för de deltagare som ingår är inte helt

förvånande med tanke på evidensen för effekter av arbetsmarknadsprogram som är riktade till

personer som befinner sig långt från arbetsmarknaden. Positiva effekter för denna målgrupp

framträder i litteraturen först på lång sikt (2–3 år), och på kort sikt har i vissa fall även negativa

effekter observerats. I effektutvärderingen har vi dock försökt utforska denna hypotes genom att

analysera resultat över tid samt visa att det i regel tar längre tid för projektdeltagare att nå posi-

tiva utfall än individer i kontrollgruppen. Detta tillsammans med känslighetsanalyser, då restrikt-

ioner i tid i positivt utfall används, ger en svag indikation om inlåsningseffekter.

Ung KOMP

32 av 35

Sammanfattningsvis kan Ramböll inte göra en slutgiltig bedömning av projektets effekt i förhål-

lande till annan verksamhet då gruppen som kunnat effektutvärderats understigit en tredjedel av

deltagarna. Gruppen som har effektutvärderats har något bättre förutsättningar än genomsnitts-

deltagaren och för denna grupp går det inte att påvisa en positiv effekt på styrdokumentets ut-

fallsdefinition.

5.3 Hållbarhet

Deltagarnas positiva utfall i form av arbete minskar med tiden. Efter 90 dagar har andelen som

arbetar gått från 45 till 30 procent, och efter 360 dagar är endast 9 procent kvar i arbete. Kon-

trollgruppens resultat visar en liknande hållbarhet, så det är alltså varken bättre eller sämre håll-

barhet för Ung komps resultat. Att andelen minskar med tiden är naturligt eftersom många ar-

betstillfällen är tidsbegränsade eller försvinner av andra skäl.

För studier är resultaten hållbara över längre tid. Efter sex månader har andelen deltagare som

studerar gått från 8 till 7 procent. Även här är kontrollgruppens hållbarhet jämförbar med delta-

garnas. Att studieresultaten är hållbara på kort sikt är glädjande eftersom det inte räcker att

påbörja studier; det stora värdet ur ett arbetsmarknadsperspektiv kommer först när studierna

avslutas och kan användas som en merit. Efter 360 dagar har dock studieresultatet för deltagare

halverats, vilket kan betyda att deltagarna hoppat av sina studier eller att utbildningen avslutats.

5.4 Sammanfattande slutsatser

5.4.1 Ung komp bör drivas vidare, men revideringar krävs

Ramböll ser skäl att fortsätta arbeta med Ung komps arbetssätt, men vi ser behov av att revidera

projektet. Bakom denna slutsats finns en mängd bedömningar som vi går igenom nedan.

Effektutvärderingen visar inte på positiv effekt av Ung komp och de väsentligt högre kostnaderna

för att bedriva verksamheten gör att kostnadseffektiviteten i insatsen kan ifrågasättas. Effektut-

värderingen kan fastställa att Ung komp leder till sämre arbetsmarknadsutfall för arbete på den

reguljära arbetsmarknaden än övrig verksamhet på Arbetsförmedlingen för de deltagare som står

närmre arbetsmarknaden. Det finns också flera resultat i utvärderingen som talar för att fortsätta

bedriva Ung komp. Vi har tillräckligt starka kvalitativa data för att konstatera att deltagare inom

Ung komp får en hjälp som de inte annars får via den ordinarie verksamheten. Progressionsmät-

ningen visar också att deltagarna utvecklas i riktning mot arbete samt att deras förtroende för

Arbetsförmedlingen stärks. Framför allt visar tidigare genomförda studier (se avsnitt 2.6 i bilaga

1) att effekter på unga av denna typ av insatser visar sig först två till tre år efter genomförd in-

sats, och att det därmed är för tidigt för att slutgiltigt bedöma Ung komps effektivitet. Projektet

kan på längre sikt visa sig vara mer effektivt än vad som i dagsläget går att belägga.

Sammantaget ser Ramböll skäl att arbeta vidare med konceptet Ung komp, men vi ser att verk-

samheten behöver utvecklas på flera sätt, särskilt organisatoriskt. Det behövs en ny analys av

Ung komps syfte och målgrupp. Varför ska verksamheten bedrivas framöver, och vilka behov ska

den möta? Kontexten ser annorlunda ut idag; inte minst är ungdomsarbetslösheten lägre idag än

när Ung komp lanserades, och därtill har Arbetsförmedlingens samverkan med kommuner ut-

vecklats. Vi utvecklar de rekommendationer vi har i avsnitt 5.5.

5.4.2 ESF-rådet ger inte goda förutsättningar för att effektutvärdera ESF-projekt

ESF-rådet har under den nuvarande programperioden påtalat att de önskar se fler effektutvärde-

ringar av de projekt som fonden finansierar, något som även EU-kommissionen efterfrågat.

Ramböll menar dock att ESF-rådet inte ger goda förutsättningar för detta. En anledning är att

styrningen av projektens design, upplägg och tillgång till individdata minskar förutsättningarna.

Det finns dock två problem som ligger närmre till hands.

Ung KOMP

33 av 35

Det första är kravet på att slututvärderingen ska rapporteras kort tid efter att projektet har av-

slutats, vilket är problematiskt av flera skäl:

• De data som krävs för att genomföra en effektstudie kan ta lång tid att få ut, i fallet Ung

komp flera månader, eller ha eftersläpningar innan den finns tillgänglig. Det betyder att

den sista delen av projektperioden måste utgå ur effektstudien om slututvärderingen inte

kan skjutas fram. Denna perioden är ofta den mest produktiva i ett ESF-projekt eftersom

verksamheten satt sig och rutiner och processer kommit på plats, och det är därmed en

olycklig period att tappa ur en effektstudie.

• När effektstudier ska avrapporteras nära inpå projektavslutet blir det omöjligt att an-

vända inkomstdata som utfallsvariabel eftersom de inte publiceras förrän efter två år. In-

komstdata är enligt Ramböll en överlägsen utfallsvariabel eftersom den håller hög data-

kvalitet och möjliggör en enkel definition av utfallet övergång till arbete.

• Flera internationella metastudier visar att effekten på målgruppen unga av denna typ av

insatser kommer först efter 2–3 år. (Se bilaga Effektutvärdering.) Det gör att effekten

underskattas när den studeras direkt efter projektets slut.

Det andra problemet är att ESF-projekt sällan riggar för att kunna genomföra effektutvärderingar

med hög kvalité innan de kör igång. Istället lämnas den biten därhän med förhoppning att det

kan lösas i efterhand. Många av de problem som uppstår vid genomförande av effektutvärdering

är problem som hade kunnat hanteras under riggningsfasen men som inte går att lösa i efter-

hand. Detta leder till effektutvärderingar av lägre kvalité. Om ESF-rådet vill se fler effektutvärde-

ringar av sina projekt bör tydligare krav ställas på detta i utlysningarna, samt att stöd ges till

projektägare kring design och förutsättningar. Externa utvärderare som också finnas på plats

tidigt i analys- och planeringsfasen. Inspiration kan hämtas från Arbetsförmedlingens arbete med

projekteffekter.se där en tydlig lista på kriterier finns för vad ett projekt måste uppfylla för att

kunna effektutvärderas.

Ramböll föreslår att ESF-rådet utlyser ekonomiska medel för att genomföra effektstudier i efter-

hand. ESF-rådet kan bidra till mer kunskap om tidigare satsningar genom att utlysa medel för att

studera effekter av ESF-projekt på längre sikt, lämpligen efter 3–5 år. Vilken tidpunkt som är

optimal beror på flera saker, exempelvis om inkomstdata ska användas som utfallsmått. Medel

bör dock bara utlysas om de nödvändiga förutsättningarna finns, såsom tillgång till dokumentat-

ion och data, samt om det finns rimliga skäl att tro att projektet i fråga gett signifikanta effekter.

5.5 Rekommendationer

Rapporten avslutas med de rekommendationer som Ramböll vill ge Arbetsförmedlingen utifrån

utvärderingens resultat och slutsatser. Först ges två projektspecifika rekommendationer som rör

Ung komp, och därefter ett antal allmänna rekommendationer som rör Arbetsförmedlingens

verksamhet mer generellt.

5.5.1 Projektspecifika rekommendationer

Revidera Ung komp

Om beslut tas om att fortsätta bedriva Ung komp efter att nuvarande finansiering upphör re-

kommenderar Ramböll att ett antal centrala analyser genomförs för att revidera verksamheten.

Utvärderingen har visat att det av det krävs en renodling av projektets målgrupp. Det påverkar

också på vilka platser verksamheten bör genomföras. Tydliga riktlinjer och förutsättningar för

utvärdering rekommenderas också.

Analysera vilken målgrupp projektet bör vändas till:

Verksamheten bör riktas tydligare mot dem som verkligen behöver den, och denna målgruppsde-

finition bör följas tydligare än under Ung komp. Effektutvärderingen visar att Ung komp inte är

effektivt för de deltagare som står närmre arbetsmarknaden. För denna grupp bör således andra

Ung KOMP

34 av 35

insatser inom Arbetsförmedlingen erbjudas. Effektutvärderingen har inte entydigt kunna besvara

vilka deltagare som projektet är mest lämpat för med anledning av att det saknats förutsättning-

ar att effektutvärdera alla deltagare. Effektutvärderingen pekar dock på att personer med funkt-

ionsnedsättning kan vara en sådan grupp. Ramböll föreslår därför att det genomförs en gedigen

målgruppsanalys för att projektet ska kunna riktas mot rätt målgrupp.

Analysera därefter var Ung komp behövs:

Utifrån målgruppsanalysen som beskrivs ovan behöver analys göras av var i Sverige som aktuell

målgrupp finns i stor utsträckning, vilket bör påverka valet av var Ung komp ska bedrivas framö-

ver. Det behövs således en analys av var behoven är som störst innan man bestämmer var verk-

samhet av denna typ bör bedrivas.

Det finns ytterligare skäl att analysera var Ung komp bör bedrivas. Rambölls effektutvärdering

har fokuserat på att estimera en genomsnittseffekt för den population det varit möjligt och ej

brutit ned effekten på ortsnivå. Resultatuppföljningen visar dock att det finns stora geografiska

variationer mellan delprojekten vilket föranleder behov av ytterligare analys av var projektet har

störst nytta.

Ta fram tydliga riktlinjer för verksamheten innan den inleds:

Utifrån dessa analyser bör Arbetsförmedlingen ta fram nya riktlinjer som tydligt anger vad som

ska göras och hur. Detta måste vara på plats innan en ny verksamhet dras igång, så att verk-

samheten kan styras på ett effektivt sätt.

Säkra förutsättningar för utvärdering innan verksamheten inleds:

Arbetsförmedlingen bör också beakta förutsättningarna för uppföljning och utvärdering i design-

fasen. Möjligheten att styra verksamheten samt att lära sig av den bör beaktas i god tid, så att

förutsättningar finns på plats för att effektutvärdera ett förlängt Ung komp.

Ung komp bör utvärderas igen för att fånga långsiktiga effekter

Ramböll rekommenderar en ny effektstudie av Ung komp om 5 år eftersom det finns god evidens

för att effekter av arbetsmarknadsinsatser för unga med svag arbetsmarknadsanknytning först

framträder på längre sikt. Det finns därmed risk för att effekten av insatsen kraftigt underskattas

när den bedöms direkt efter avslutat projektet, vilket är fallet i denna utvärdering.

Om effekten studeras igen rekommenderar Ramböll vidare att använda ett annat utfallsmått,

företrädesvis inkomstdata. Denna variabel är nämligen mer entydig och har högre datakvalitet än

sökandekategorier i AIS, samtidigt som utfallet övergång till arbete kan definieras enklare med

inkomstdata. Detta medför att studien tidigast kan genomföras om 4–5 år, då inkomstdata pub-

liceras med en tvåårig eftersläpning. Statistiska centralbyrån kan följa deltagande individer i

data, och kan se om de varit med i något annat projekt efteråt och därmed bör exkluderas från

studien.

5.5.2 Generella rekommendationer

Ta tillvara på Ung komps metod för spridning av arbetssätt

Det arbetssätt som har använts inom Ung komp för att implementera konceptet på nya orter bör

spridas inom myndigheten. Ramböll ser metoden som ett framgångsrikt exempel på implemente-

ringsstöd, där erfaren personal ger stöd och rådgivning enligt en väl designad process.

Enligt ESF-ansökan saknades tillräckliga metoder för detta inom Arbetsförmedlingen vid tidpunk-

ten för ansökan. Med Ung komp som exempel bör detta arbetssätt kunna användas vid liknande

spridning eller implementering i framtiden. Arbetssättet är dock inte generellt överförbart utan

behöver anpassas till den aktuella kontexten, men grunden är god och kan som minst tjäna som

inspiration.

Ung KOMP

35 av 35

Starta inte projekt utan att tydligt definiera målsättningar, målgrupp, aktiviteter och

riktlinjer för styrning

Ung komp startade utan att det fanns tillräckligt tydliga instruktioner för målsättningar, mål-

grupp, aktiviteter och styrning. Dat var först i december 2015 som ett styrdokument kom som

hanterade dessa centrala ämnen. Sådana förutsättningar bör avgöras under projektets analys-

och planeringsfas, i god tid innan verksamheten sätter igång. Det är Rambölls bedömning att

brist på dessa instruktioner ledde till oklarheter och osäkerhet bland delprojekten vilket påver-

kade genomförandet negativt under inledningsfasen av projektet.

Deltagarrekryteringen bör planeras annorlunda

Deltagarrekryteringen inom Ung komp var en utmaning. Den kom inte igång som planerat, drog

ut på tiden och blev tvungen att prioriteras på bekostnad av andra värden innan utmaningarna

löstes. Vid start av liknande projekt framöver bör Arbetsförmedlingen planera deltagarrekryte-

ringen noggrannare och i tid följa upp volymerna och agera vid tecken på att planen inte följs.

I Ung komps fall byggde budgeten på att delprojektet snabbt nådde sin kapacitet, något som var

krävande för personalen och delvis gjorde att annan verksamhet fick nedprioriteras eftersom

inskrivningsprocessen i Ung komp är personalintensiv. Detta bör planeras annorlunda i framtida

delprojekt eller helt andra projekt med liknande design.

Säkra personaltillgång innan verksamheten startar

Ung komp hade under det första verksamhetsåret svårt att få alla kompetenser på plats enligt

styrdokumentet. Det var särskilt utmanande att få tag på kommunala resurser och specialister.

Kommunens resursfördelning är svår för Arbetsförmedlingen att påverka, men tillgången till spe-

cialister kunde ha säkrats tidigare. Inför start av liknande verksamheter framöver bör det säker-

ställas att personal finns tillgänglig innan uppstart, om det gäller personalgrupper som är cen-

trala för genomförandet.

Ta tillvara på Ung komps användande av kundresurser

Ramböll bedömer att kundresurserna inom Ung komp varit viktiga för projektets process och

resultat. De har kompletterat övrig personal och bidragit till att effektivisera arbetet. De har

också bidragit till att kunderna fått ett gott bemötande, något som med stor sannolikhet driver

resultaten när det gäller ökat förtroende för Arbetsförmedlingen.

Arbetsförmedlingen bör därför ta tillvara på detta sätt att använda kundresurserna och överväga

om det finns andra verksamheter där denna personaltyp skulle kunna användas på liknande sätt.

Ung KOMP

0-1

BILAGA 1

EFFEKTUTVÄRDERING AV UNG KOMP

Ung KOMP

0-2

BILAGA 2

SAMHÄLLSEKONOMISK ANALYS

Ung KOMP

0-3

BILAGA 3

PROGRESSIONSRAPPORT

Ung KOMP

0-4

BILAGA 4

STYRDOKUMENT UNG KOMP

Styrdokument Ung komp beslutad i version 10 efter gd-föredragning 20151208

Ung KOMP

0-5

BILAGA 5

NULÄGESANALYS – NOV 2015

Ung KOMP

0-6

BILAGA 6

DELRAPPORT II – MAJ 2016

Ung KOMP

0-7

BILAGA 7

DELRAPPORT III – APRIL 2017