Evalueringsplan for Regionalfonden og

Socialfonden i Danmark 2014-2020

Oktober 2015

2

Indhold

1. Indledning .............................................................................................................................. 3

2. Formål, omfang og koordination ........................................................................................... 5

3. Rammer for evalueringer ...................................................................................................... 6

4. Planlagte evalueringer ........................................................................................................... 7

4.1 Fælles eksterne virkningsevalueringer af enkeltprojekter med fokus på læring ................ 8

4.2 Evaluering af projekternes bidrag til de specifikke mål i programmerne ......................... 11

4.2.1 Counterfactual impact evaluations (CIE) .................................................................... 12

4.2.2 Theory based evaluations (TBE) ................................................................................. 14

4.3 Evaluering af yderområde-indsatsen ................................................................................ 17

4.3.1 Evaluering af yderområde-projekter .......................................................................... 17

4.3.2 Evaluering af yderområde-strategier ......................................................................... 18

4.4 Samfundsøkonomisk evaluering ....................................................................................... 18

3

1. Indledning

- Der foretages evalueringer for at forbedre kvaliteten af udformningen og gennemførelsen af programmer og for at vurdere deres effektivitet og virkninger. Programmernes virknin-ger evalueres i lyset af de respektive ESI-fondes målsætninger i forhold til målene for EU-strategien for intelligent, bæredygtig og inklusiv vækst og, under hensyn til programmets størrelse, i forhold til BNP og arbejdsløshed i det pågældende programområde hvor det er relevant.

(Artikel 54 i den generelle forordning for strukturfondene)

Resultatorientering og målbare resultater er nøgleord for strukturfondsindsatsen i Danmark 2014-2020. For at fremme fokus på resultatskabelse er både regionalfondsprogrammet og socialfonds-programmet bygget op omkring effektkæder (forandringsteorier), dvs. hver prioritetsakse har sin egen indre sammenhæng mellem aktiviteter, output og resultater (effekter). Effektkæderne i programmerne rummer frihedsgrader til, at det enkelte projekt kan skrues sammen for at tage højde for særlige regionale udfordringer og muligheder. Derfor skal alle, som ansøger om EU-medfinansiering, opstille og beskrive deres projekts specifikke effektkæde (årsags-virkningssammenhænge), dvs. forklare hvorfor og hvordan det er hensigten, at netop deres projekt vil virke og bidrage til at indfri målene i strukturfondsprogrammerne.1 Evaluering er en afgørende del af resultatorientering. Evaluering fokuserer på at dokumentere, om og hvordan strukturfondsprojekterne rent faktisk virker. Og på systematisk opsamling, formidling og forankring af viden og læring, som kan bruges til at udvikle endnu bedre projek-ter og virkemidler fremover. Gode og brugbare evalueringer kræver god planlægning. Ifølge strukturfondsforordningerne skal der udarbejdes en evalueringsplan, som beskriver, hvordan evalueringen af strukturfond-sindsatsen i Danmark 2014-2020 organiseres, samt hvilke konkrete evalueringer der planlæg-ges gennemført i programperioden og hvorfor. Evalueringsplanen skal godkendes af Overvåg-ningsudvalget.2 Afsnit 2 beskriver evalueringsplanens formål, omfang og koordination med andre evaluerings-aktiviteter. Afsnit 3 beskriver rammerne omkring evaluering, herunder organiseringen. Afsnit 4 beskriver de konkrete planlagte evalueringer.3 Generelt lægges der sammenlignet med programperioden 2007-2013 op til flere resultat- og virkningsevalueringer i 2014-2020 – og færre proces- og implementeringsevalueringer. Dette er i tråd med EU-Kommissionens anbefalinger og det skærpede europæiske fokus på at skabe målbare resultater med strukturfondsindsatsen. I det følgende beskrives kort erfaringerne med evalueringer i 2007-2013 som afsæt for de planlagte evalueringsaktiviteter i 2014-2020.

1 Projekter, som indstilles via de regionale vækstfora, skal desuden bidrage til at opfylde målene i de

regionale vækst- og udviklingsstrategier. 2 Jf. artikel 110, stk. 2 i den generelle strukturfondsforordning.

3 Evalueringsplanen er opstillet i overensstemmelse med ”Guidance Document on Evaluation Plans”, EU-

Kommissionen, februar 2015.

4

Erfaringer med evalueringer 2007-2013 Det mest værdifulde evalueringstiltag i 2007-2013 var den såkaldt registerbaserede monitore-ring og effektmåling af de virksomheder og personer, der deltog i regional- og socialfondspro-jekter. Erhvervsstyrelsen begyndte i 2010 at indsamle identifikationsnumre på alle de virksom-heder og personer, der deltog i strukturfondsprojekter. Disse identifikationsnumre blev koblet med Danmarks Statistisk registre, hvilket – uden at belaste deltagerne overhovedet – gav en række faktabaserede oplysninger om deltagerne, heriblandt deres lokalisering, beskæftigelse, omsætning, branchetilknytning (virksomheder) samt alder, uddannelsesniveau, arbejdsmar-kedstilknytning (personer). Sammen med de fem regioner og Bornholms Regionskommune finansierede Erhvervsstyrelsen også en række effektmålinger med registerdata, hvor deltagervirksomheders vækst i beskæfti-gelse og omsætning blev sammenlignet med kontrolgrupper. Hovedparten af disse målinger blev udført på de enkelte vækstforas indsatsområder, dvs. på grupper af projekter. Generelt viste de fleste målinger, at deltagervirksomhederne klarede sig statistisk signifikant bedre end kontrolgrupperne. Dette er ikke noget endegyldigt bevis på, at indsatsen virkede, idet der må tages forbehold for, om man har fundet de ”rigtige” kontrolgrupper – men det er dog et gan-ske stærkt tegn. En ulempe ved at måle på hele regionale indsatsområder har været, at de omfattede en række – ofte ret forskelligartede – projekter og virkemidler, som blev målt samlet. Målingerne indike-rede derfor kun effekten af det ”gennemsnitlige” projekt og det ”gennemsnitlige” virkemiddel inden for et indsatsområde, men fortalte ikke meget om, præcist hvilke projekter og virkemid-ler der virkede godt/mindre godt. Der blev ikke målt på strukturfondenes prioriteter i 2007-2013, men det er hensigten at gøre dette i 2014-2020, jf. afsnit 4.2 nedenfor. En anden vigtig lære fra evalueringerne i 2007-2013 var, at det ofte var vanskeligt at afgøre, hvornår et givet projekt havde været en succes eller ej. Dels fordi succeskriterierne ofte ikke var målbare, dels fordi der i en del tilfælde ikke var indsamlet solide data til at belyse, hvilke output og resultater projekterne havde skabt. Der blev udført mange eksterne evalueringer af enkeltprojekter, men det skete med forholdsvis forskelligartede metoder fra projekt til projekt, hvilket gjorde det vanskeligt systematisk at samle op på de gode og mindre gode erfaringer. Samtidig kan der have været en vis bias i de evalueringer, som projekterne selv bestilte og medfinansierede. Erhvervsstyrelsen og de regionale vækstfora har bestræbt sig på at styrke grundlaget for at foretage valide evalueringer i 2014-2020. Det starter som nævnt ovenfor med, at projekter skal have en klar og målbar effektkæde for at modtage støtte. I projektperioden bliver der halvårligt fulgt op på, om projektet gennemføres som planlagt og skaber de forventede resul-tater. Programmerne indeholder prioritetsspecifikke output- og resultatindikatorer, der er præcist defineret i indikatorvejledningerne for henholdsvis Regionalfonden og Socialfonden, og som herved styrker mulighederne for at sammenligne projekternes resultater (inden for samme prioritet).4 Samtidig, jf. afsnit 4.1 nedenfor, skal eksterne evalueringer af enkeltprojek-ter foretages med ensartede metoder fra projekt til projekt med henblik på systematisk at opsamle, formidle og forankre læring på tværs regioner.

4 En del af indikatorerne i de danske programmer er såkaldt ”common indicators”, som også anvendes af

regional- og socialfondsprojekter i de øvrige EU-lande.

5

Evalueringsplanen er et dynamisk dokument, som efter behov kan justeres i løbet af program-perioden. Eventuelle justeringer af planen drøftes med og godkendes formelt af Overvåg-ningsudvalget. Forvaltningsmyndigheden kan efter behov foretage ad hoc evalueringer i løbet af programperioden.

2. Formål, omfang og koordination

Formål Det overordnede formål med evalueringsplanen er at understøtte, at evalueringerne i praksis bidrager til at maksimere programmernes effekter. Evalueringerne skal altså ikke kun doku-mentere, om indsatsen har virket eller ej, men også bruges som grundlag for fremadrettet at optimere indsatsen i løbet af programperioden 2014-2020 (og evt. i næste programperiode), så strukturfondsmidlerne fokuseres på de virkemidler, der skaber størst effekt pr. støttekrone. Et andet vigtigt formål med evalueringsplanen er at sikre, at det nødvendige datagrundlag for at foretage de planlagte evalueringer findes, og at evalueringerne gennemføres tids nok til at levere de forordningsbestemte input til gennemførelsesrapporter, statusrapporter etc. Særligt bemærkes, at evalueringerne mindst én gang i løbet af programperioden skal vurdere, hvordan strukturfondsprojekterne har bidraget til målene for hver prioritet i programmerne.5 Omfang Nærværende evalueringsplan omfatter både regionalfondsprogrammet 2014-2020 Innovation og bæredygtig vækst i virksomheder samt socialfondsprogrammet 2014-2020 Vækst via ud-dannelse og iværksætteri. Det er valgt at have én samlet evalueringsplan for begge programmer, fordi projekter finansie-ret af den ene fond ofte understøttes og forstærkes af projekter finansieret af den anden fond.6 Det gælder fx vækstforas klyngeindsatser. Samtidig viser erfaringerne fra 2007-2013, at de relevante evalueringsemner og -spørgsmål ofte er identiske for de to fonde. At det organi-satoriske set-up omkring de to fonde er helt ens i Danmark taler også for at have én samlet evalueringsplan. Én samlet evalueringsplan udelukker ikke, at der kan foretages evalueringer af den ene fond isoleret.7 De planlagte evalueringer, jf. afsnit 4 nedenfor, er stort set ligeligt fordelt på de to fonde. Koordination med andre evalueringer Evalueringsplanen er koordineret med den ”fælles evalueringsramme for den regionale indsats for vækst- og erhvervsudvikling”, som Danmarks Vækstråd vedtog i marts 2015.8 Ifølge denne evalueringsramme skal alle større strukturfondsprojekter (projekter, som støttes med 2 mio. DKK eller flere EU-midler) samt udvalgte mindre strukturfondsprojekter evalueres af den samme fælles eksterne evaluator på tværs af regioner. Disse evalueringer indgår derfor i nær-værende evalueringsplan, jf. afsnit 4.1. Et andet tiltag i den nævnte fælles evalueringsramme er en særlig evaluering af vækstforas yderområde-indsats, som også indgår i nærværende eva-

5 Jf. Artikel 56 i den generelle forordning for strukturfondene.

6 I enkelte tilfælde er det samme projekt endda medfinansieret af begge fonde.

7 Det blev således gjort i 2007-2013, hvor der også kun var én evalueringsplan omfattende begge fonde.

8 Danmarks Vækstråd omfatter blandt andet repræsentanter fra alle seks regionale vækstfora.

6

lueringsplan for så vidt angår de strukturfondsrelaterede dele af yderområde-indsatsen (se afsnit 4.3).

3. Rammer for evalueringer

Hvem planlægger og udfører evalueringerne Evalueringsplanen udarbejdes af forvaltningsmyndigheden (Erhvervsstyrelsen) og godkendes af Overvågningsudvalget for strukturfondene 2014-2020.9 Evalueringsplanen kan efter behov justeres i løbet af programperioden. Eventuelle ændringer af planen godkendes af Overvåg-ningsudvalget. Selve evalueringerne skal, jf. artikel 54 i den generelle strukturfondsforordning, gennemføres af interne eller eksterne eksperter, der er funktionelt uafhængige af de myndigheder, der har ansvaret for programgennemførelsen. De fleste evalueringer i nærværende evalueringsplan vil blive gennemført af eksterne eksper-ter, som vælges efter udbud. Eksterne eksperter anvendes for at sikre uafhængighed og tro-værdighed. Dog vil de evalueringer, som primært bygger på de enkelte strukturfondsprojekters skriftlige afrapporteringer til forvaltningsmyndigheden, herunder indikatorer for aktiviteter, output og effekter, blive gennemført af forvaltningsmyndighedens evalueringsenhed, som er funktionelt uafhængig af programgennemførelsen. Der er tilknyttet tre nationaløkonomer til forvaltningsmyndighedens evalueringsenhed, som alle har stor erfaring med diverse evalue-ringsmetoder, heriblandt counterfactual impact evaluations og theory based evaluations.10 Der er allerede nedsat en styre- og arbejdsgruppe i relation til de fælles eksterne virkningseva-lueringer af enkeltprojekter (afsnit 4.1).11 Til de øvrige evalueringsaktiviteter vil forvaltnings-myndigheden efter behov nedsætte en evalueringsarbejdsgruppe med deltagelse af de parter i Overvågningsudvalget, som ønsker at deltage. Arbejdsgruppen vil bl.a. kunne bidrage til eks-terne evalueringer ved at kommentere udbudsmateriale og faktuelle oplysninger i evaluerings-rapporterne. Kvalitetssikring Alle evalueringer vil blive baseret på velanskrevne metoder. Langt hovedparten af evaluerin-gerne vil være af typen counterfactual impact evaluations eller theory based evaluations (ud-dybes i afsnit 4.2). Der vil kun blive hyret eksterne konsulenter, som kan dokumentere stor erfaring og stærke kompetencer med de nævnte evalueringstyper. Evaluator kan efter behov tilknytte ekstern følgeforskning el. lign. til sine evalueringer. Forvaltningsmyndighedens evalueringsenhed vil typisk sparre med de eksterne evaluatorer, men for at sikre uafhængighed og troværdighed vil alle konkrete vurderinger og anbefalinger være de eksterne evaluatorers ansvar alene. Overvågningsudvalgets evalueringsarbejdsgruppe, jf. ovenfor, vil udelukkende skulle bidrage til at kvalitetssikre faktuelle forhold i evalueringerne, dvs. sikre at evaluators anbefalinger ikke hviler på faktuelle misforståelser el. lign.

9 Jf. artikel 110, stk. 2 i den generelle forordning for strukturfondene.

10 I evalueringsplanen er der derfor ikke afsat ressourcer til kompetenceudvikling i evaluering.

11 Styre- og arbejdsgrupperne omfatter vækstforumsekretariaterne og Erhvervsstyrelsen.

7

Offentliggørelse og opfølgning på evalueringer Overvågningsudvalget skal ”undersøge fremskridt med hensyn til gennemførelsen af evalue-ringsplanen og opfølgningen på resultaterne af evalueringerne”.12 Overvågningsudvalget vil derfor blive forelagt de vigtigste resultater fra de evalueringer, som er omfattet af evalue-ringsplanen. Den nærmere opfølgning på og brug af de enkelte evalueringer er beskrevet i afsnit 4.1-4.4 nedenfor. Der vil blive lagt vægt på, at evalueringerne indeholder konkrete og praktiske anbefalinger til fremadrettet optimering af indsatsen. Når evalueringerne forelægges Overvågningsudvalget, vil de blive ledsaget af forvaltningsmyndighedens forslag til opfølgning på de anbefalinger, som evaluator giver. Overvågningsudvalget vil ikke blive forelagt evalueringer af enkeltprojekter, men vil blive ori-enteret om de vigtigste læringspunkter fra evalueringerne af enkeltprojekter inden for de en-kelte prioritetsakser i programmerne (uddybes i afsnit 4). Evalueringerne vil blive offentliggjort på forvaltningsmyndighedens hjemmeside, i nyhedsbreve samt eventuelt i pressemeddelelser. Alle afsluttede evalueringer, undtagen evalueringer af enkeltprojekter (se afsnit 4.1), vil blive indrapporteret til EU-Kommissionen via det såkaldte SFC-system, inkl. udbudsmateriale, evalueringsmetoder og pris.

4. Planlagte evalueringer

Tabel 1 indeholder en oversigt over de planlagte evalueringer, inkl. budget og tidspunkt for gennemførelse. De enkelte evalueringers formål og indhold uddybes i afsnit 4.1-4.4 nedenfor. Som nævnt i indledningen kan planen – med overvågningsudvalgets godkendelse – revideres efter behov.13

12

Jf. artikel 110, stk. 2 i den generelle forordning for strukturfondene. 13

Ifølge artikel 57 i den generelle strukturfondsforordning gennemføres ”efterfølgende evaluering” (ex post evaluering) af Kommissionen eller af medlemsstaterne i tæt samarbejde med Kommissionen. Ved efterfølgende evalueringer undersøges ”ESI-fondenes effektivitet og deres bidrag til EU-strategien for intelligent, bæredygtig og inklusiv vækst”. De ”efterfølgende evalueringer” er ikke nærmere omtalt i nærværende evalueringsplan, men de evalueringer, som er indeholdt i planen, vil give vigtige input til de efterfølgende evalueringer.

8

Tabel 1. Oversigt over planlagte evalueringer, 2014-2020 Evaluering Fond Samlet

budget (DKK)

Medfinansiering med EU-TA-midler (DKK)

Intern/ekstern evaluering

Tidspunkt

4.1 Fælles eksterne virkningsevalueringer af enkeltprojekter med fokus på læring

Regionalfond og Socialfond

20.000.000 1)

10.000.000 Ekstern Løbende i 2015-2021

4.2 Evaluering af pro-jekternes bidrag til de specifikke mål i pro-grammerne

2)

Regionalfond og Socialfond

2.000.000 3)

1.000.000 Ekstern og intern 2018 og 2021

4.3 Evaluering af yder-område-indsatsen

Regionalfond og Socialfond

1.000.000 4)

500.000 Ekstern 2017 og 2021

4.4 Samfundsøkono-misk evaluering

Regionalfond og Socialfond

1.000.000 500.000 Ekstern 2018 og 2021

1) Omfatter ekstern evaluering af projekter, som modtager 2 mio. DKK eller mere i EU-støtte, jf. afsnit 4.1.

2) Se afsnit 4.2 for en uddybning af evalueringerne af de enkelte prioriteter.

3) Heraf 0,5 mio. DKK til ”counterfactual impact evaluations” og 1,5 mio. DKK til “theory based impact evaluations”, jf. afsnit 4.2. 4)

Beløbet omfatter både evaluering i 2017 og 2021. En stor del af de konkrete yderområde-projekter evalueres af den fælles eksterne evaluator, jf. afsnit 4.1, hvorfor de reelle udgifter til evaluering af yderområde-indsatsen bliver højere end 1.000.000 DKK (se afsnit 4.3 nedenfor).

4.1 Fælles eksterne virkningsevalueringer af enkeltprojekter med fokus på læring I programperioden 2007-2013 blev der foretaget en række eksterne evalueringer af enkeltstå-ende strukturfondsprojekter. Det skete normalt på den måde, at hvert projekt valgte sin egen evaluator, hvilket havde den konsekvens, at der blev anvendt mange forskellige evaluerings-metoder, og det var ofte vanskeligt at sammenligne projekter på tværs og uddrage systematisk læring af dem. Flere regioner har høstet gode erfaringer med en anden tilgang: Regionen har valgt og finan-sieret en ekstern evaluator til at evaluere en række projekter (typisk både strukturfondsprojek-ter og ikke-strukturfondsprojekter). Denne tilgang har gjort evalueringerne betydeligt mere ensartede og lettere at uddrage værdifuld læring og viden af. I 2014-2020 har regionerne (inkl. Bornholms Regionskommune) og Erhvervsstyrelsen aftalt at bygge videre på disse gode regionale erfaringer og udpege én fælles evaluator (evt. et konsor-tium), som skal evaluere alle større strukturfondsprojekter (både Regionalfonden og Social-fonden), uanset hvilken region projektet stammer fra.14 Den fælles evaluator vælges efter EU-udbud (2. halvår 2015).15 Evalueringerne vil være virkningsevalueringer med fokus på, om projekterne har virket eller ej – og hvorfor. Evalueringerne skal supplere de registerbaserede effektmålinger, jf. afsnit 4.2. De registerbaserede effektmålinger foretages efter projekterne er afsluttede. Den fælles evalua-tors evalueringer skal derimod foretages cirka midtvejs i projektperioden og ved projektafslut-

14

Aftalen omfatter også ikke-strukturfondsprojekter, men disse dele af aftalen omtales ikke nærmere i denne evalueringsplan. 15

EU-udbuddet blev vundet af COWI A/S.

9

ning, hvor man er sikker på at kunne kontakte projektlederen, projektdeltagerne mv. Be-grebsmæssigt skal den fælles evaluators evalueringer således have karakter af theory based impact evaluations, ikke counterfactual impact evaluations (uddybes i afsnit 4.2 nedenfor). Evalueringerne skal bidrage til at styrke den systematiske læring på tværs af regioner med henblik på at skabe endnu mere effektfulde projekter fremover. Læringen skal være enkel, præcis og anvendelsesorienteret og tage højde for den kontekst, som projekterne er gennem-ført i, da konteksten ofte er afgørende for, om og hvordan et projekt har virket, og i hvor høj grad læringen kan overføres til andre projekter og regioner. Evalueringerne forventes altså løbende igennem programperioden at give solide oplysninger om, hvorvidt projekterne bidrager til de ønskede resultater, herunder de specifikke mål, hø-rende til hver enkelt prioritet – og hvis ikke, hvordan indsatsen i så fald kan justeres. Konkret skal evaluator, i samarbejde med projektaktørerne og snarest muligt efter et projekt har fået tilsagn, udarbejde et evaluerings- og læringsdesign for projektet og med udgangs-punkt heri senere foretage midtvejs- og/eller slutevaluering af projektet. Midtvejsevalueringerne skal især have fokus på projekternes fremdrift og give konkrete anbe-falinger til eventuelle justeringer af det enkelt projekts indhold i den resterende projektperio-de. Slutevalueringerne skal foretages ved projektafslutning for at sikre, at projektaktørerne og -deltagerne kan kontaktes. Ofte vil det være vanskeligt at måle projekternes effekter ved pro-jektafslutning, hvorfor det typisk vil være nødvendigt at evaluere på, om målgruppen har op-nået ny indsigt (viden), ændret adfærd mv., som er en forudsætning for at realisere effekterne på længere sigt. Måling af effekterne på længere sigt klares bl.a. ved hjælp af registerdata, jf. afsnit 4.2 nedenfor. Datagrundlag for evalueringerne Som led i opstilling af evaluerings- og læringsdesignet for det enkelte projekt skal den eksterne evaluator sikre sig, at de nødvendige data for at foretage de konkrete evalueringer indsamles. Evaluator vil få adgang til eksisterende data i Erhvervsstyrelsens økonomistyrings- og projekt-rapporteringssystem, herunder projekternes fremdrift målt på økonomisk forbrug samt aktivi-tets-, output- og resultatindikatorer. Herudover vil evaluator selv indsamle supplerende data til brug for evaluering af projekterne, bl.a. vha. interviews/surveys af projektledelsen og projekt-deltagerne. Tværgående evalueringer inden for prioriteter Projekter inden for samme prioritet (indsatsområde) i et strukturfondsprogram er sammenlig-nelige inden for og på tværs af regioner, idet projekterne har programmet som fælles referen-ceramme. For strukturfondsprojekter inden for samme prioritet, jf. tabel 2, skal evaluator derfor ikke kun evaluere de enkelte projekter, men også foretage tværgående evalueringer for at afdække de vigtigste læringspunkter inden for og ikke mindst på tværs af regioner.16 16 Prioriteterne vedr. Bæredygtig grøn byudvikling (Regionalfonden) og EURES (Socialfonden), som de regionale

vækstfora ikke er involveret i udmøntningen af, vil ikke blive omfattet af de fælles evalueringer. Disse to prioriteter evalueres derfor på anden vis, jf. afsnit 4.2.

10

Tabel 2. Indsatsområder (prioriteter) i henholdsvis socialfonds- og regionalfondsprogrammet omfattet af fælles eksterne evalueringer Socialfonden Regionalfonden

Iværksætteri og jobskabelse

Iværksætteri

Vækstrettet kompetence-udvikling

Styrket innovation i SMV’er

Innovationssamarbejder

Klyngeorganisationer

Inklusion via uddannelse og Beskæftigelse

Flere vækstvirksomheder

Erhvervsuddannelse og videregående uddannelse

Energi- og ressourceeffektive SMV’er

Det er forventningen, at evaluator med tiden kan koge læringspunkterne ind til et anvendel-sesorienteret ’hjælpeværktøj’, som kan være til inspiration for nye projekter, men også kan anvendes i forbindelse med vækstforumsekretariaternes og Erhvervsstyrelsens dialog med og sagsbehandling af kommende projekter. Evaluator skal sikre en god balance mellem, at lærin-gen ikke bliver for banal, og at den bliver mulig at anvende og generalisere til andre projekter og regioner. I første omgang er det aftalt, at de fælles eksterne evalueringer skal dække projekter med start i 2014, 2015, 2016 eller 2017. Hvis de indhøstede erfaringer bliver så positive som håbet, ven-tes projektet forlænget til også at omfatte den resterende strukturfondsperiode. Alle strukturfondsprojekter, som får en EU-støtte (tilsagn) på eller over 2 mio. DKK i 2014-2017, skal slutevalueres af den fælles eksterne evaluator. De regionale vækstforumsekre-tariater kan vælge også at få midtvejsevaluereret disse projekter. For strukturfondsprojekter, som får et EU-tilsagn under 2 mio. DKK, afgør de regionale vækst-forumsekretariater, om projektet skal evalueres af den fælles evaluator (det kan være midt-vejs- og/eller slutevalueringer). Grænsen på 2 mio. DKK er valgt for at begrænse dels de sam-lede evalueringsudgifter, dels de administrative byrder på de forholdsvis små projekter. Udgifter og finansiering Midtvejs- og slutevaluering af enkeltprojekter koster 82.300 DKK, mens en midtvejs- eller slut-evaluering alene koster 48.300 DKK (inkl. opstilling af evaluerings- og læringsdesign tidligt i projektperioden). 17 Priserne er de samme for alle projekter, uanset budget, fond og prioritet. Midtvejs- og slutevalueringer af de forholdsvis store projekter (EU-støtte på eller over 2 mio. DKK) vil blive finansieret 50:50 af nationale EU-TA-midler (teknisk assistance) og regionale er-hvervsudviklingsmidler (evt. også med regionale EU-TA-midler, hvis de nationale EU-TA-midler ikke rækker). Midtvejs- og slutevalueringer af de mindre projekter finansieres 50:50 af regio-nernes EU-TA-midler og regionale udviklingsmidler. Forvaltningsmyndigheden har afsat 10 mio. DKK nationale EU-TA-midler til medfinansiering af evaluering af de forholdsvis store projekter (EU-støtte på 2 mio. DKK eller mere). Baseret på erfaringerne fra programperioden 2007-2013 vurderes dette at være tilstrækkeligt til at med-finansiere slutevalueringer af samtlige forholdsvis store strukturfondsprojekter i 2014-2020,

17

Jf. tilbuddet fra COWI A/S.

11

men næppe midtvejsevalueringer af samtlige projekter. Som nævnt afgør vækstforumsekreta-riaterne, om projekterne skal midtvejsevalueres, og regionernes EU-TA-midler kan bruges til medfinansiering i givet fald. Afrapportering og brug af evalueringsresultater Erhvervsstyrelsen og vækstforumsekretariaterne lægger som nævnt stor vægt på, at de fælles evalueringer skal vurdere projekternes resultatskabelse og bidrage til at styrke den systemati-ske læring på tværs af regioner med henblik på at udvikle endnu mere effektfulde projekter i fremtiden. Den fælles eksterne evaluator vil udfærdige en evalueringsrapport på 10-15 sider i forbindelse med alle midtvejs- og slutevalueringer. Midtvejsevalueringer skal kunne bruges til styring, dvs. vurdere projektets fremdrift og indeholde konkrete anbefalinger til eventuelle justeringer af projektindhold, organisering mv. i den resterende projektperiode. Slutevalueringerne skal have fokus på de resultater, som projekterne har leveret og kan for-ventes at levere efter projektafslutning, samt de vigtigste læringspunkter (positive og negati-ve). Alle evalueringsrapporter vil blive offentligt tilgængelige på bl.a. forvaltningsmyndighedens projektdatabase. De vigtigste læringspunkter fra evalueringerne drøftes på regionale og tværregionale work-shops og webinarer og opsamles i et elektronisk hjælpeværktøj, som kan bruges af både pro-jektudviklere og sagsbehandlere i vækstforumsekretariaterne og Erhvervsstyrelsen. Målet er, at fremtidige projekter får let adgang til en solid erfaringsdatabase, og at projekter i stadig stigende grad vil kunne basere deres effektkæder og forventede resultater på tidligere indhø-stede erfaringer. Overvågningsudvalget vil en gang om året få forelagt de vigtigste resultater, læringspunkter og anbefalinger fra de tværgående eksterne evalueringer inden for hver prioritet i programmerne. Evalueringsresultaterne vil også blive opsummeret i årsrapporterne.

4.2 Evaluering af projekternes bidrag til de specifikke mål i programmer-ne Ifølge Artikel 56, stk. 3 i den generelle forordning for strukturfondene skal det mindst én gang i løbet af programperioden evalueres, hvordan støtten fra fondene har bidraget til målene for hver prioritet. EU-Kommissionen skelner mellem to overordnede tilgange til sådanne evalueringer:

Theory based evaluations (TBE): Fokuserer på at vurdere hvordan og hvorfor projekter skaber resultater (effekter), dvs. fokuserer på de forskellige led i projekternes effektkæde (forandringsteori) og sammenhængen imellem dem.

Counterfactual impact evaluations (CIE): Fokuserer på at måle, hvor stor en forskel projek-terne har gjort ved at sammenligne de deltagende virksomheder og personers udvikling med en såkaldt kontrolgruppe. Denne metode forudsætter bl.a. et betydeligt antal delta-gere, solide statistiske data og en relevant kontrolgruppe at sammenligne deltagerne med.

12

De to evalueringstyper har hver deres fordele og ulemper og udelukker ikke hinanden.18 Tabel 3 viser, hvordan og hvornår de to typer evalueringer planlægges anvendt til at evaluere projek-ternes bidrag til at indfri de specifikke mål i programmerne. Evalueringerne uddybes nedenfor, begyndende med CIE, derefter TBE. Tabel 3. Evaluering af specifikke mål i strukturfondsprogrammerne

Fond og prioritet

(ERDF=Regionalfond,

ESF=Socialfond)

Specifikt mål Evalueringstype og tidspunkt

(TBE=theory based evalu-ations, CIE=counterfactual

impact evaluations)

ERDF, Styrket innovation i SMV’er Øge antallet af innovative SMV’er TBE (2018 og 2021)

ERDF, Flere vækstvirksomheder Øge antallet af vækstvirksomheder CIE (2021) TBE (2018 og 2021)

ERDF, Energi- og ressourceeffekti-ve SMV’er

Forbedre energi- og ressource-effektivitet i SMV’er

TBE (2018 og 2021)

ERDF, Bæredygtig grøn byudvikling Øge antal innovative SMV’er og reducere energiforbruget i byer med over 30.000 indbyggere

TBE (2018)

ESF, Iværksætteri og jobskabelse Øge antallet af selvstændige og overlevelsesraten og øge beskæfti-gelsen i ESF-støttede virksomheder

CIE (2018 og 2021) TBE (2018 og 2021)

ESF, Mobilitet på tværs af lande-grænser

Øge arbejdskraftens mobilitet på tværs af landegrænser

TBE (2018 og 2021)

ESF, Inklusion via uddannelse og beskæftigelse

Øge beskæftigelsen for personer på kanten af arbejdsmarkedet

CIE (2018 og 2021) TBE (2018 og 2021)

ESF, Erhvervsuddannelse og vide-regående uddannelse

Øge antallet af personer med en erhvervsuddannelse eller en vide-regående uddannelse

CIE (2021) TBE (2018 og 2021)

4.2.1 Counterfactual impact evaluations (CIE)

Erhvervsstyrelsen, de fem regioner og Bornholms Regionskommune har siden 2011 samarbej-det med Danmarks Statistik om counterfactual impact evaluations af strukturfondsindsatsen i 2007-2013. Disse evalueringer, som er baseret på Danmarks Statistiks registerdata og brug af kontrolgrupper, er i den eksterne ex post evaluering af det danske regionalfondsprogram 2007-2013 fremhævet som ”the most telling evidence” (evalueringen er bestilt af EU-Kommissionen). Danmarks Statistik, regionerne og Erhvervsstyrelsen vil bygge videre på de positive erfaringer med CIE i evalueringerne af strukturfondsindsatsen 2014-2020. Konkret er det planen at fore-tage CIE af alle de prioriteter, hvor Danmarks Statistik har de nødvendige registerdata. Det

18 Jf.

http://ec.europa.eu/regional_policy/sources/docgener/evaluation/guide/evaluation_sourcebook.pdf

13

vurderes at være tilfældet for tre af de fire prioriteter i socialfondsprogrammet og for en af de fire prioriteter i regionalfondsprogrammet, jf. tabel 3 ovenfor. Fx kan registerdata bruges til at måle, hvilke af de deltagende virksomheder i prioritetsaksen Flere vækstvirksomheder (Regionalfonden), der udvikler sig til vækstvirksomheder og dermed bidrager til prioritetens specifikke mål om at løfte det samlede antal vækstvirksomheder i Danmark. Ved at sammenholde deltagervirksomhedernes udvikling med en kontrolgruppe kan man samtidig få et estimat på, i hvor høj grad strukturfondsindsatsen har bidraget til at styrke deltagervirksomhedernes vækst og dermed indfri det specifikke mål for prioriteten. Det er som udgangspunkt ikke hensigten at gennemføre CIE på enkeltprojekter, men derimod på den samlede mængde af projekter hørende til en given prioritet.19 Ud over effekt (’impact’), vil evalueringerne måle, hvad det har kostet at skabe resultaterne (omkostningseffektivitet). Datagrundlag for CIE De registerbaserede CIE-målinger er baseret på Erhvervsstyrelsens systematiske indsamling af oplysninger om, hvilke personer (CPR-numre) og virksomheder (CVR- og p-numre), der delta-ger i strukturfondsprojekterne. Disse identifikationsnumre kobles med Danmarks Statistiks registre for at følge den faktiske udvikling i de private deltagervirksomheder (beskæftigelse, omsætning mv.) og blandt personerne (arbejdsmarkedstilknytning, uddannelsesniveau mv.). Hvornår gennemføres CIE Tabel 3 ovenfor viser, hvornår CIE af de enkelte prioriteter planlægges gennemført. Evaluering af prioriteten Flere vækstvirksomheder (Regionalfonden) planlægges gennemført i 2021. Da evalueringen bør omfatte et betydeligt antal projekter, og deltagervirksomhederne skal have mindst 5 ansatte ved vækstperiodens start og opnå en gennemsnitlig årlig vækst på mindst 20 pct. over en 3-årig periode, vurderes det ikke at give mening at foretage evalueringen før 2021. Det vil dog årligt, første gang i 2018, blive monitoreret vha. registerdata, om de private delta-gervirksomheder er på vej til at blive vækstvirksomheder. CIE af prioriteten Iværksætteri og jobskabelse (Socialfonden) planlægges gennemført første gang i 2018, idet effekterne på iværksætteri og jobskabelse (men ikke overlevelsesraten) for-ventes at kunne måles forholdsvist hurtigt efter projektafslutning. Der gennemføres endnu en CIE af prioriteten i 2021, inkl. projekternes effekt på iværksætternes overlevelsesrate. CIE af prioriteten Inklusion via uddannelse og beskæftigelse (Socialfonden) planlægges gen-nemført første gang i 2018, idet indsatsens resultater må formodes at kunne måles forholds-vist hurtigt, efter projekterne afsluttes. Der gennemføres endnu en CIE af prioriteten i 2021. CIE af prioriteten Erhvervsuddannelse og videregående uddannelse (Socialfonden) planlægges gennemført i 2021. Det vurderes ikke at give mening at foretage evalueringen tidligere, da evalueringen bør omfatte et betydeligt antal projekter, og da det tager mindst 3 år at gennem-føre de uddannelser, som er omfattet af prioriteten. Det vil dog årligt blive monitoreret, om deltagerne er i gang med en uddannelse.

19

Der kan også gennemføres registerbaserede målinger på projekter med et stort antal deltagere.

14

Udgifter til CIE I evalueringsplanen afsættes i alt 500.000 DKK til registerbaseret monitorering og effektmåling af de ovennævnte fire prioriteter.20 I de første år af programperioden vil der udelukkende blive tale om monitorering, mens man længere fremme i programperioden kan begynde at måle effekterne på nogle prioriteter ved hjælp af registerdata, jf. ovenfor. Det er hensigten også at monitorere de prioriteter, hvis specifikke mål ikke kan evalueres vha. registerdata. Fx vil det være relevant at bruge registerdata til at følge beskæftigelses- og om-sætningsudviklingen i de virksomheder, som tager del i prioriteten Styrket innovation i SMV’er (Regionalfonden), selv om det specifikke mål for denne prioritet (øge antal innovative virk-somheder) ikke kan måles med registerdata – i sidste ende skal en styrket innovationsaktivitet gerne styrke virksomhedernes økonomiske aktivitet.

4.2.2 Theory based evaluations (TBE)

Det planlægges at gennemføre theory based evaluations (TBE) af alle otte prioriteter, jf. tabel 3 ovenfor. For nogle prioriteter er dette den eneste mulighed, fordi der ikke findes registerdata til at foretage CIE, jf. ovenfor. Og for de fire prioriteter, som kan måles med CIE, vurderer for-valtningsmyndigheden, at det vil være relevant og give værdifuld ekstra information også at bruge TBE, fordi TBE – i højere grad end CIE – giver indsigt i, hvordan og hvorfor indsatsen har virket (eller ikke virket), herunder om nogle dele af indsatsen har virket betydeligt bedre end andre. TBE af de seks største prioriteter Som nævnt i afsnit 4.1 vil de fælles eksterne evalueringer af enkeltprojekter og tværgående evalueringer af projekter inden for samme prioritet i programmerne have karakter af theory based evaluations og have fokus på om projekterne bidrager til at indfri de resultater, som er opstillet for den enkelte prioritet, herunder det specifikke mål. Med de fælles eksterne evalueringer vil der således være et solidt grundlag for at kunne vurde-re projekternes bidrag til de specifikke mål for seks ud af otte prioriteter, jf. tabel 2 ovenfor.21 Evalueringerne vil fokusere på de hovedindsatser, som hver prioritet består af. Således vil fx evalueringen af inklusion-prioriteten (Socialfonden) både fokusere på uddannelsesindsatsen over for unge med særlige udfordringer og på indsatsen knyttet til socialøkonomiske virksom-heder. Evalueringerne forventes gennemført i 2018 og i 2021 med det datagrundlag, som er beskre-vet i afsnit 4.1 ovenfor. Evaluator vil være ekstern.22 Evalueringerne foretages primo 2018 for at få input til eventuelle justeringer af indsatsen i den resterende programperiode. Der vurde-res ikke at være nok erfaringer at indhente før 2018.

20

Udgifterne omfatter indkøb af data og timer hos Danmarks Statistik. 21

Der må tages forbehold for, at projekternes bidrag til at indfri det specifikke mål ofte ikke vil kunne måles direkte, når projekterne afsluttes. Fx sigter innovationsprojekter (Regionalfonden) typisk på at udvikle prototyper o. lign., mens virksomhederne først bliver innovative – og dermed bidrager til at indfri det specifikke mål – når og hvis der markedsintroduceres nye produkter. Om der er udviklet per-spektivrige prototyper vil kunne måles ved projektafslutning, men selve markedsintroduktionen sker typisk først efter projektafslutning. 22

Evalueringerne i 2018 planlægges udført af COWI A/S, som er fælles evaluator, jf. afsnit 4.1.

15

Evalueringerne vil både have fokus på effektivitet (målopfyldelse), omkostningseffektivitet (hvad har det kostet at skabe resultaterne) og effekt (’impact’) (i hvor høj grad kan de opnåede resultater tilskrives programindsatsen). Udgifter til TBE af de seks største prioriteter I evalueringsplanen afsættes i alt 1 mio. DKK til ovennævnte TBE af de seks prioriteter, som er omfattet af de fælles evalueringer. Evalueringerne forventes at kunne gennemføres til denne pris, da den fælles evaluator, jf. afsnit 4.1, vil tilvejebringe et meget solidt datagrundlag for TBE af hver prioritet. Prioriteterne Bæredygtig grøn byudvikling (Regionalfonden) og Mobilitet på tværs af lande-grænser (Socialfonden) er som nævnt i afsnit 4.1 ikke omfattet af de fælles eksterne evaluerin-ger. Evalueringen af disse to prioriteter beskrives i det følgende. TBE af Bæredygtig grøn byudvikling For prioritetsaksen Bæredygtig grøn byudvikling, hvor midlerne udmøntes af et særligt indstil-lingsudvalg, og hvor projektindholdet kan variere betydeligt fra projekt til projekt, har Er-hvervsstyrelsen besluttet, at tilsagnsmodtager (den kontraktansvarlige partner) for det enkelte projekt skal tilknytte en ekstern evaluator. Evaluator skal have særlige kompetencer inden for integreret byudvikling og det konkrete projekts fagområde. Disse evalueringer vil have karakter af TBE og vil bl.a. skulle vurdere, i hvor høj grad det enkelte projekt har bidraget til at opfylde de specifikke mål for den bæredygtige grønne byindsats (øge antal innovative SMV’er og reducere energiforbruget i byer med over 30.000 indbyggere). Datamaterialet vil være det samme som for de fælles eksterne evalueringer, jf. afsnit 4.1: Eva-luator vil få adgang til eksisterende data i Erhvervsstyrelsens økonomistyrings- og projekt-rapporteringssystem, herunder projekternes fremdrift målt på økonomisk forbrug samt aktivi-tets-, output- og resultatindikatorer. Herudover vil evaluator selv indsamle supplerende data til brug for evaluering af projekterne, bl.a. vha. interviews/surveys af projektledelsen og projekt-deltagerne. Også for denne prioritet vil der således være en række TBE af de enkelte projekter, som vil give et solidt grundlag for at se på tværs af projekterne og vurdere deres samlede bi-drag til at indfri de specifikke mål for prioriteten. Evalueringen på tværs af projekter vil være ekstern og planlægges foretaget i 2019, hvor samt-lige projekter hørende til prioriteten ventes gennemført, jf. regionalfondsprogrammet. Der afsættes 200.000 DKK til denne evaluering. TBE af Mobilitet på tværs af landegrænser Prioriteten Mobilitet på tværs af landegrænser består, modsat alle andre prioriteter, af støtte til ét stort ”projekt”, EURES-netværket (European Employment Service). Nærmere bestemt støtter Socialfonden i Danmark de nationale EURES-aktiviteter, som består i en række konkrete rekrutterings- og informationsaktiviteter (uddybet i socialfondsprogrammet). De konkrete aktiviteter udmøntes af de regionale jobcentre og Work In Denmark. Der vil blive foretaget en ekstern evaluering af den socialfondsfinansierede EURES-indsats i 2018 og i 2021. Evalueringen vil have karakter af TBE, idet der vil blive lagt vægt på at vurdere, om og hvordan indsatsen har bidraget til at tiltrække udenlandsk arbejdskraft til Danmark og hjulpet danskere til at finde job i udlandet. Evalueringen af den socialfondsfinansierede EURES-

16

indsats vil blive koordineret med eventuelle evalueringer af de tværgående EURES-aktiviteter i EU. Datagrundlaget vil være de indikatorer, som fremgår af socialfondsprogrammet, og de data, som evaluator selv vil indsamle vha. interview af Work In Denmark m.fl. Der afsættes i alt 300.000 DKK til de to evalueringer af den socialfondsfinansierede EURES-indsats. Afrapportering og brug af evalueringsresultater Der vil blive udarbejdet en skriftlig evalueringsrapport for hver CIE og for hver TBE af de otte prioriteter i de to programmer, jf. ovenfor tabel 3 ovenfor. TBE i 2018 vil indeholde den eks-terne evaluators anbefalinger til eventuelle justeringer af indsatsen.23 Hovedresultaterne fra hver evaluering, inkl. forvaltningsmyndighedens forslag til opfølgning på evaluators eventuelle anbefalinger, forelægges Overvågningsudvalget på det førstkommende møde efter evalueringen er afsluttet. Evalueringsrapporterne, inkl. evt. pressemeddelelse el. lign., vil blive offentliggjort på forvalt-ningsmyndighedens hjemmeside. Om årsrapporter som forelægges i 2017 og 2019 Ifølge artikel 50, stk. 4 i den generelle forordning for strukturfondene skal den årlige gennem-førelsesrapport (årsrapport), som forelægges i 2017, indeholde og vurdere fremskridt med hensyn til at nå programmets mål, herunder fondenes bidrag til ændringer i værdien af resul-tatindikatorer, når der foreligger dokumentation fra relevante evalueringer. Den årlige gen-nemførelsesrapport, som forelægges i 2019, og den endelige gennemførelsesrapport for fon-dene skal indeholde oplysninger om og vurdere fremskridtene med hensyn til at nå program-mets mål og dets bidrag til virkeliggørelse af EU-strategien for intelligent, bæredygtig og inklu-siv vækst. I årsrapporten, som forelægges i 2017, vil forvaltningsmyndigheden dels måle, om indikatorer-ne for de specifikke mål hørende til hver prioritet bevæger sig i den rigtige retning eller ej, dels måle på de output, som de afsluttede og igangværende projekter har leveret. Alle projekter bliver målt med prioritetsspecifikke outputindikatorer, der er opstillet mål for, jf. program-merne. Der ventes kun at være beskedne effekter/resultater at måle på, da kun ganske få pro-jekter vil være afsluttet ved udgangen af 2016. Resultaterne fra de (få) slutevalueringer, som den fælles eksterne evaluator har gennemført ved udgangen af 2016, vil indgå i årsrapporten, som forelægges i 2017. I årsrapporten, som forelægges i 2019, vil der være betydeligt flere projekter afsluttet og bety-deligt flere eksterne evalueringer af de enkelte prioritetsakser at trække på. Ikke mindst plan-lægges der at være gennemført en TBE af samtlige otte prioritetsakser, jf. tabel 3 ovenfor. I årsrapporten, som forelægges i 2019, vil forvaltningsmyndigheden sammenfatte resultaterne fra disse eksterne evalueringer, herunder vurdere bidraget til EU-strategien for intelligent, bæredygtig og inklusiv vækst.24

23

Resultater fra en CIE kan også give grund til at revurdere indsatsen, men typisk vil en CIE fokusere på, om indsatsen har virket eller ej og ikke gå i dybden med hvorfor eller hvordan indsatsen har virket/ikke virket. 24

Årsrapporten, som forelægges i 2019, vil som alle øvrige årsrapporter indeholde opdaterede data for alle programindikatorer.

17

4.3 Evaluering af yderområde-indsatsen Ifølge lov om erhvervsfremme skal de regionale vækstfora i deres bidrag til de regionale vækst- og udviklingsstrategier beskrive, hvordan de vil styrke udviklingen i yderområderne inden for regionen. Yderområderne er i strukturfondssammenhæng defineret som kommuner, der opfylder to kriterier: 1) erhvervsindkomsten pr. indbygger er under 90 pct. af landsgennemsnittet, og 2) der er mere end en halv times kørsel til en større by (en by med over 45.000 indbyggere). I alt 23 kommuner opfylder disse kriterier, jf. kapitel 6 i strukturfondsprogrammerne.25 Sammen-lagt bor der ca. 940.000 personer i yderområderne. Vækstforum Hovedstaden er det eneste af de seks vækstfora, som ikke har yderområder at tage hensyn til.26 Ifølge en bekendtgørelse skal der hvert fjerde år – første gang i 2017 – foretages en ekstern evaluering af de regionale vækstforas indsats for yderområderne. Rammen for evaluering af yderområdeindsatsen skal udarbejdes af Danmarks Vækstråd i dialog med de regionale vækst-fora. Evalueringerne skal ifølge bekendtgørelsen bl.a. bruges som ”afsæt for benchmarking og videndeling om yderområdeindsatsen på tværs af de regionale vækstfora”. Evalueringerne skal udføres særskilt for hver region og omfatte strategierne, der er fastlagt for vækst og erhvervsudvikling i yderområderne, og de igangsatte projekter, herunder effekterne af disse.

4.3.1 Evaluering af yderområde-projekter

Rammen for evaluering af yderområdeindsatsen blev vedtaget i Danmarks Vækstråd i marts 2015. Det blev besluttet, at yderområde-projekterne omfatter to typer af projekter:

a) Projekter med et særligt yderområde-fokus. Vækstforumsekretariatet vurderer, om

det enkelte projekt har et særligt rekrutteringsmæssigt og/eller indholdsmæssigt fokus

på at styrke udviklingen i yderområderne.27

b) Projekter, der kommer yderområderne til gavn, selv om projekterne er målrettet et

bredere geografisk område (fx en hel region). Disse initiativer identificeres ud fra de CVR- og CPR-numre, som indsamles om alle deltagere i projekterne.

Ovenstående oplysninger registreres systematisk om strukturfondsprojekter i 2014-2020.28 Hovedparten af de strukturfondsprojekter, som vil påvirke yderområderne, vil blive evalueret af den fælles eksterne evaluator, jf. afsnit 4.1. Der kan dog være enkelte af de mindre struktur- 25

Hertil kommer, at de 27 småøer er omfattet af yderområde-definitionen. 26

Yderområderne er defineret for hele perioden 2014-2020 og forventes ikke ændret, selv om mæng-den af kommuner, som opfylder de to kriterier, eventuelt skulle ændre sig over tid. 27 Vækstforumsekretariatet skal svare ’ja’ til spørgsmålet om yderområde-fokus, hvis projektet 1) gør

noget særligt for at rekruttere deltagere (virksomheder eller personer) fra yderområderne, og/eller 2) hvis projektet indholdsmæssigt har fokus på problemstillinger, som er særligt relevante for yder-områder. Det kan fx være projekter, som har fokus på erhvervsområder, der fylder relativt meget i yderområder (eksempelvis kystturisme, fødevarer eller biobrændsel), eller projekter, som sigter på at kompetenceudvikle/uddanne personer bosat i yderområder. Hvis projektet har et særligt yderområde-fokus, beskriver sekretariatet dette fokus nærmere. 28

Vækstforumsekretariaterne vil også registrere disse oplysninger for yderområde-projekter, der ikke medfinansieres med strukturfondsmidler.

18

fondsprojekter (under 2 mio. DKK i EU-støtte), som ikke evalueres af den fælles evaluator. Der afsættes 125.000 DKK i 2017 og 125.000 DKK i 2021 (EU-TA-midler) til at medfinansiere evalue-ring af disse forventeligt forholdsvis få og små projekter. Medfinansieringen på 50 pct. finder regionerne. EU-TA-midlerne kan kun bruges til evaluering af strukturfondsprojekter. Eventuelle evalueringer af ikke-strukturfondsprojekter med yderområde-fokus betaler regionerne alene. Datagrundlag Datagrundlaget for evalueringer af yderområdeprojekterne vil være det samme som beskrevet i afsnit 4.1 vedr. de fælles eksterne virkningsevaluering af enkeltprojekter.

4.3.2 Evaluering af yderområde-strategier Danmarks Vækstråd besluttede i maj 2015, at evalueringen af yderområde-strategierne skal supplere evalueringen af projekterne ved at vurdere, om eventuelle forskelle i resultaterne på projektniveau kan forklares med forskelle i det strategiske fokus, som vækstforaene har valgt, fx om vækstforum har satset på at integrere yderområde-indsatsen i den øvrige indsats eller har målrettet yderområde-indsatsen lokale potentialer og udfordringer. Ud over evaluering af projekter med yderområde-fokus, jf. afsnit 4.3.1, afsættes der 250.000 DKK i 2017 og 250.000 DKK i 2021 (EU-TA-midler og nationale TA-midler) til at medfinansiere evaluering af vækstforas strategier for yderområderne. TA-midlerne kan kun bruges til at med-finansiere evaluering af de dele af vækstforas strategier for yderområderne, som er struktur-fondsrelaterede. Datagrundlag Udgangspunktet for evalueringen er de nedskrevne regionale strategier og de foretagne eva-lueringer af konkrete projekter med yderområde-fokus, jf. afsnit 4.3.1. Herudover kan evalua-tor få brug for at interviewe et antal personer med tilknytning til bl.a. de regionale vækstfora, inkl. sekretariaterne. 29 Afrapportering og brug af evalueringsresultater Evalueringen af hvert vækstforums yderområdeindsats vil blive afrapporteret skriftligt hvert fjerde år, første gang i 2017.30 Resultaterne fra yderområdeevalueringerne vil blive forelagt Danmarks Vækstråd og – de strukturfondsrelevante dele – Overvågningsudvalget. Evalueringsresultaterne vil blive brugt aktivt til at erfaringsudveksle på tværs af vækstfora om, hvilke dele af yderområdeindsatsen der har virket godt/mindre godt, og dermed bidrage til at skærpe indsatsen yderligere.

4.4 Samfundsøkonomisk evaluering Evalueringerne beskrevet i afsnit 4.1-4.3 har primært fokus på de konkrete virksomheder og personer, der deltager i strukturfondsprojekterne. Imidlertid må det forventes, at indsatsen har bredere samfundsøkonomiske effekter som følge af forstærkende multiplikatoreffekter og modgående fortrængningseffekter mv. Eksempelvis kan øget aktivitet i de deltagende virk-

29 Det er planen at vælge den samme fælles eksterne evaluator, jf. afsnit 4.1, til at vurdere projekterne

og strategierne i alle regioner (ekskl. Region Hovedstaden som ikke har yderområder). 30

Ekskl. Vækstforum Hovedstaden, som ikke har yderområder.

19

somheder have positive effekter på fx underleverandører, som ikke har deltaget i projekterne. Omvendt kan modstykket til en øget omsætning i de deltagende virksomheder være lavere efterspørgsel og aktivitet andre steder i økonomien. I 2014 hyrede Erhvervsstyrelsen Centre for Economic and Business Research (CEBR) ved CBS til at udarbejde en detaljeret beskrivelse af, hvordan man kan foretage kvantitative samfunds-økonomiske evalueringer af strukturfondsindsatsen 2014-2020. CEBR’s metodeforslag er baseret på de makroøkonomiske modeller ADAM og DREAM. Begge modeller dækker hele den danske økonomi og modellerer eksplicit nationalregnskabet. Model-lerne kan ikke kvantificere samfundseffekterne på regionalt niveau.31 Da de danske strukturfondsmidler, inkl. medfinansiering, kun udgør en meget beskeden andel af Danmarks BNP (ca. 0,02 pct.), skal modelleringer af de samfundsøkonomiske effekter af strukturfondsindsatsen tolkes meget forsigtigt. Det er dog CEBR’s vurdering, at strukturfonds-midlerne (inkl. medfinansiering) er store nok til, at det giver mening at modellere effekterne vha. ADAM- og DREAM-modellerne, hvis man venter, indtil mindst ca. en tredjedel til halvde-len af strukturfondsmidler er givet som tilsagn. Konkret modelleres de samfundsøkonomiske effekter af strukturfondsindsatsen som økonomi-ske ”stød” i de to modeller.32 Stødenes størrelse baseres på programindikatorerne og evt. de registerbaserede effektmålinger, jf. afsnit 4.2. Den samfundsøkonomiske effekt af flere innova-tive virksomheder (det specifikke mål for prioritetsakse 1 i regionalfondsprogrammet) model-leres fx ved at støde til produktiviteten i ADAM (jf. at det er veldokumenteret, at innovative virksomheder på gennemsnittet er mere produktive end ikke-innovative virksomheder). De samfundsøkonomiske effekter af et højere uddannelsesniveau (det specifikke mål for priori-tetsakse 4 i socialfondsprogrammet) optræder først på længere sigt, hvorfor CEBR lægger op til at bruge den generelle ligevægtsmodel DREAM til at kvantificere disse effekter. CEBR anbefaler at måle de samfundsøkonomiske effekter på BNP, samlet beskæftigelse, of-fentlig saldo og privat forbrug. I princippet kan beregningerne baseres på projekternes forven-tede effekter (målt ved hjælp af programindikatorerne), men beregningerne vil i sagens natur blive mere nøjagtige, hvis de baseres på projektaktørernes vurdering ved projektafslutning fremfor ved ansøgning. De første målinger forventes at kunne foretages i 2018. Og igen i 2021. Målingerne foretages af eksterne parter i samarbejde med forvaltningsmyndighedens evalue-ringsenhed. Datagrundlag Datagrundlaget for de samfundsøkonomiske evalueringer er de igangsatte regional- og social-fondsprojekters udgifter og finansiering samt output og effekter målt med programindikato-rerne. De nævnet oplysninger bruges til at modellere de økonomiske ’stød’ i de makroøkono-miske modeller ADAM og DREAM.

31

CEBR’s forslag er beskrevet i metodenotatet ”Samfundsøkonomisk evaluering af regional- og social-fondsindsatsen 2014-2020”. 32

Prioriteterne vedr. bæredygtig grøn byudvikling (prioritetsakse 4 i regionalfondsprogrammet), mobili-tet på tværs af landegrænser (prioritetsakse 2 i socialfondsprogrammet) og inklusion via uddannelse og beskæftigelse (prioritetsakse 3 i socialfondsprogrammet) udelades af de samfundsøkonomiske bereg-ninger, fordi disse indsatser ikke umiddelbart lader sig implementere i makroøkonomiske modeller.

20

Udgifter Der afsættes 1 mio. DKK i evalueringsplanen til de samfundsøkonomiske effektvurderinger. Afrapportering og brug af evalueringsresultater De samfundsøkonomiske evalueringsresultater vil blive afrapporteret skriftligt af en ekstern evaluator. Resultaterne af den første evaluering vil blive sammenfattet i årsrapporten, som forelægges i 2019, bl.a. som led i at vurdere socialfonds- og regionalfondsprojekternes bidrag til EU-strategien for intelligent, bæredygtig og inklusiv vækst (særligt målene vedr. beskæfti-gelsesgrad og evt. også uddannelse).