Så svarar du på frågan: Och vad ledde detta till då?!

Om att mäta resultaten av jämställdhetsarbetet

ESF Jämts avslutningskonferens, Örebro 24 april 2013Göran Hallin

Inledning

• Göran har 20 års erfarenhet som forskare, chef i analysmyndigheter och konsult

• Lång erfarenhet av utvärdering av komplexa program och processer – har bl.a. följt EU:s strukturfonder sen 1995

• Kontigo arbetar med analyser, utvärderingar och strategiskt processtöd inom bla regional utveckling, tillväxt, kompetensförsörjning och social hållbarhet.

• Vi har lång erfarenhet av att arbeta med insatser kring socialt utanförskap, likabehandling och jämställdhet

• Den här presentationen grundar sig på olika underlag, bl.a:• Utvärderingar av Social och regionalfonden

på programnivån• Utvärdering av jämställdhet och

tillgänglighet i Socialfonden• En analys av sambanden mellan

jämställdhet och tillväxt• En studie av hur man kan mäta effekter av

likabehandling i projekt• Ett flertal lärande utvärderingar för projekt

finansierade genom Socialfonden

Göran & Kontigo

Vi delar våra kunders engagemang för samhällsutveckling

• En relativt omfattande verksamhet• Sverige tilldelades cirka 6,2 mdr från EU via Socialfonden• Till detta kommer ungefär lika mycket i nationell medfinansiering• Sammanlagt investerar vi ca 1, 75 mdr/år. • Det motsvarar all kommunal verksamhet i en medelstor svensk

kommun som t.ex. Katrineholm (ca 32 000 inv).• Socialfonden ”främjar kompetensutveckling och motverkar

utanförskap”.• Målen är inte helt enkla att uttyda, men handlar om att:

• Deltagande individer har fått eller kan ta sig an nya arbetsuppgifter• Deltagande arbetsplatser har fått kunnigare arbetskraft, bredare

verksamhet, ökad kunskap om hur man kan motverka diskrivminering och främja likabehandling eller står bättre rustade för att möta långtidssjukskrivningar

• Deltagande individer skall i högre grad än i ordinarie åtgärder få jobb. • Deltagarna skall uppleva att deras möjlighet att få arbete har ökat

• Socialfonden skall också vara en ”experimentverkstad” genom insatser för ”innovativ verksamhet, lärande miljöer, strategisk påverkan och samverkan”.

• Slutligen skall Socialfonden bidra till ökad tillgänglighet och jämställdhet genom att alla projekt skall verka för detta – det finns dock inga särskilda mål för vad detta skall leda till

Socialfonden i Sverige – Som Katrineholms kommun

1. Syftar till1. Lyfta fram betydelsen av att kunna

visa på resultaten av vårt arbete – särskilt med fokus på jämställdhetsarbetet inom Socialfonden

2. Visa hur man skapar förutsättningar för att kunna svara på frågan: Och vad ledde detta till då?!

2. Presentationen är indelad i1. Varför så viktigt? 2. Resultat, måluppfyllelse, effekt,

nytta – vad betyder begreppen och är det viktigt?

3. Att mäta måluppfyllelse, resultat, effekter och nytta av jämställdhetsprojekt

Denna presentation

Därför är det viktigt att kunna svara på frågan – Och vad ledde detta till då?!

• Politik är att välja – att prioritera• Prioriteringar handlar om att väga insatser mot andra

insatser, att genomföra insatser eller inte genomföra insatser

• Prioriteringar handlar om att värdera sådant som går att mäta och sådant som inte går att mäta

• Prioriteringar handlar om att värdera sådant som kan räknas i kronor och sådant som inte kan räknas i kronor

• Demokratin vilar på en legitimitet som bottnar i att vi kan redogöra för våra prioriteringar

• Det vi gör inom Socialfonden hade vi kunnat använda till ”ännu ett Katrineholm”.

• Insatserna för jämställdhet hade kunnat användas för kanske ett Sorsele

• Därför är det viktigt att vi talar om vad de lett till – vi bör glädja oss åt frågan!

Därför bör vi kunna svara på frågan: Och vad ledde detta till då?!

Resultat, måluppfyllelse, effekt och nytta – några begrepp

• Mål: Något som man vill påverka (ändra/bevara). Skälet till insatsen• Resultat: Det omedelbara resultatet av den insats man genomför.• Aktiviteter: Det man konkret gör• Resurser: Det som krävs för att genomföra aktiviteterna

En insatslogik beskriver vad man vill uppnå och hur man vill göra det

Måluppfyllelse, effekt och nyttaMåluppfyllelse – Har man nått den påverkan på målet som man önskade?

Effekt – Hur stor del av måluppfyllelsen beror på insatsen?

Nytta – Värdet av effekten

Vikten av att sätta olika typer av mål

Resurser – Mål i t.ex. budgettermer. Aktivitet – Mål för omfattning, kvalitet och deltagande i aktiviteterResultat – Omedelbart utfall av aktivitetMål – Mål för förändring/bevarande av det förhållande som motiverar insatsen. Effekt – Mål för vilken förändring som själva insatsen skall åstadkomma – jämställdheten i organisationen skall öka med x som en följd av insatsenNytta – Mål för värdet av insatsens effekt – värdet av den ökade jämställdheten

Resurser

•2 mkr i budget

Aktivitet

• Alla chefer skall genomgå jämställdhetsutbildning

Resultat

•Cheferna skall ha ökat sin kunskap om strategier för ökad jämställdhet

Målpåverkan

• Mer jämställd organisation

Behöver preciseras:

t.ex. vad ökat, hur mycket,

vad strategier. :

Hur mäta: upplevd

jämställdhet (index)?

Faktiska mått: löneskillnader,

skillnad i rekrytering,

etc.:

Att mäta resultat, måluppfyllelse, effekt och nytta

PortföljutvärderingSkall svara på frågorna:

• Har avsatta resurser använts?• Har resurserna använts till de aktiviteter som de var avsedda

för?

ProcessutvärderingSkall svara på frågorna:

• Har aktiviteterna genomförts enligt plan?• Har målen för aktiviteterna nåtts? (Har alla chefer verkligen

genomgått jämställdhetsutbildningen)

ResultatutvärderingSkall svara på frågorna:• Har målen för vad aktivisterna skall leda till uppnåtts?• Har chefernas kunskap ökat?

Måluppfyllelse, effekt och nyttaMåluppfyllelse – Har man nått den påverkan på målet som man önskade?• Har organisationen blivit mer jämställd?Effekt – Hur stor del av måluppfyllelsen beror på insatsen?• Har organisationen blivit mer jämställd än det skulle ha blivit

utan insatsen?Nytta – Värdet av effekten

• I de flesta projekt påverkas målet (det man vill åtgärda) av många andra saker förutom insatsen

• Effekten: Den skillnad som insatsen gjort när det gäller påverkan på det övergripande målet

• Jämföra mellan faktiskt läge och ett ”teoretiskt” om-inte-läge

• Utmaningen är att ”hitta” ett om-inte att jämföra med. Den enda skillnaden mellan faktiskt läge och om-inte-läget skall vara just insatsen.

• Man kan när man utformar insatser söka ”skapa en kontrollgrupp” – en experimentsituation. T.ex. en annan organisation som liknar denna som man följer trots att man inte genomför ett projekt.

• Man kan också ”i efterhand” söka identifiera kontrollgrupper – identifiera liknande organisation, organisationer. Statistik för att avgöra att målgruppen och kontrollgruppen är lika.

• Sen kan man ”fuska lite” – det viktigaste är tanken på vad en effekt faktiskt är

Att utvärdera effekterna av en jämställdhetsinsats i en organisation

• Jo, vi satte målet att vår organisation skulle bli mer jämställd – t.ex. löneskillnaderna mellan män och kvinnor skulle försvinna. Vi har nu inte riktigt nått ända fram, men skillnaderna har minskat med X procentenheter. (Måluppfyllelse)

• Vi satsade på att öka chefernas kunskap. När vi utvärderat detta före och efter insatsen ser vi att kunskapen har ökat med xx enheter på vårt index. (Resultat)

• En framgångsfaktor kan vara att hela 98 procent av cheferna faktiskt har deltagit fullt ut i utbildningsinsatserna. (Genomförande)

• Vilken skillnad gjorde då projektet? Vi har jämfört utvecklingen av löneskillnaderna i vår organisation under den här perioden med:• Hur skillnaderna i en organisation som liknar vår men som inte

genomfört någon liknande insats har utvecklats• Hur skillnaderna i hela vår bransch har utvecklats• Hur skillnaderna utvecklats i organisationen tidigareDå ser vi att skillnaderna minskat med x procentenheter mera i vår organisation än i jämförbara organisationer. Vi menar att detta är en indikator på projektets effekt. (Effekt)

• Vi menar att den effekten har ett stort värde för vår organisation, och för våra anställda – Värdet överstiger kostnaden (Nytta)

Så – Vad ledde detta till då?

Tack för uppmärksamheten!

Insatslogik för jämställdhetsprojektInom Socialfonden ser vi att det finns två huvudsakliga sätt att utforma jämställdhetsinsatserna – jämställdhet som mål eller jämställdhet som medel. Insatserna har således helt olika mål.

Jämställdhets-insats Ökad kunskap Ökad

jämställdhet

Jämställdhets-insats

Ökad jämställdhet

Minskad sjukfrånvaro

Jämställdhet som medel

Jämställdhet som mål

Aktivitet Resultat Målpåverkan

Bakgrund• I företag X är 70% av de anställda män. Stora

skillnader finns också när det gäller vilka typer av jobb som männen respektive kvinnorna har i organisationen.

• En medarbetarundersökning visar att både män och kvinnor är missnöjda med hur de bemöts av chefer och ledning i vissa situationer.

• Företaget har svårt att rekrytera yngre utbildade, i synnerhet kvinnor.

Uppdrag• Utveckla jämställdheten i företaget

Case: Ökad jämställdhet i företag x

After Work?

Insatslogik metodutveckling Jämställdhet

Resurser – Mål i t.ex. budgettermer. Aktivitet – Mål för omfattning, kvalitet och deltagande i aktiviteterResultat – Omedelbart utfall av aktivitetMål – Mål för förändring/bevarande av det förhållande som motiverar insatsen.

Resurser

•Budget•Jämförbara förutsättningar för metodutveckling

Aktivitet

• Utformning och test av ny metod i jämförelse med traditionell

Resultat

• Skillnader mellan metoder

• Ny metod kan introduceras

Målpåverkan

• Mer jämställd organisation

Befintlig metod

Utveckling ny metod

Befintlig metod

Test av metoder

Ny metod introduceras

Bakgrund• XX kommuns långtidssjukskrivningar kostar

kommunen 10 mkr varje år• I XX kommun visar det sig att kvinnor är i högre

utsträckning än män långtidssjukskrivna• I XX kommun får männen större del av både de

friskvårds- och rehabiliteringsresurser som kommunen investerar

• Forskning visar att personligt anpassad friskvård och rehabilitering effektivt motverkar långtidssjukskrivningar

Uppdrag• Utveckla nya metoder för minskade

långtidssjukskrivningar i kommunen• Ökad jämställdhet skall vara ett medel i metoden

Case: Jämställdhetsintegrera arbetet för att motverka långtidsjukskrivna i XX kommun