Upload
ivrit
View
54
Download
1
Embed Size (px)
DESCRIPTION
Gids voor de meting van effecten van Competentiepolen en projecten TETRA en Collectief Onderzoek. Infosessie VIN netwerk. IDEA Consult ( www.ideaconsult.be ). Opgericht in 1998, gebaseerd in Brussel, 40 werknemers - PowerPoint PPT Presentation
Citation preview
Gids voor de meting van effecten van Competentiepolen en projecten TETRA en Collectief
Onderzoek
Infosessie VIN netwerk
2
Opgericht in 1998, gebaseerd in Brussel, 40 werknemers
Ecorys groep (met kantoren in o.a. Nederland, VK, Spanje, Rusland, Turkije, Hongarije)
Onderzoek & advies Beleid Nationale en Europese overheden 4 kennisvelden
Competitiviteit en Innovatie Arbeidsmarktbeleid Regionale en stedelijke
ontwikkeling Vastgoed en ruimtelijke
ontwikkeling
IDEA Consult(www.ideaconsult.be)
Agenda Achtergrond
Over deze studie Het belang van effectmetingen Onderliggende principes en bouwstenen
Het meetproces in vier stappen Doelstellingen Effecten Indicatoren Meting
3
Over deze studieDoelstellingen
Ontwikkelen meetmethodiek (generieke set van parameters)
Voor CP: om als managementtool te gebruiken en ter verantwoording van (publieke en private) middelen.
Voor IWT: om als tool te gebruiken om de relevante resultaten en directe/indirecte effecten te meten en de werking van het programma te kunnen evalueren.
3 verschillende programma’s (CP, VIS-CO en TETRA), 1 generieke meetmethodiek.
4
Over deze studieInterrelatie met andere studies
Selectie van gerelateerde IWT studies (www.iwt.be/publicaties): Studie 48: ‘Making the Difference: The Evaluation of
"Behavioral Additionality" of R&D Subsidies’
Studie 56: 'What difference do IWT R&D grants make for their clients’
Studie 59: 'De effectiviteit van het Vlaamse Innovatiesamenwerkingsverband (VIS)’
Studie 61: 'Werking en effecten van Collectief Onderzoek’
Studie 62: 'Zelfevaluatie van competentiepolen'
5
Over deze studie Aanpak
Empirische toepassing door middel van 7 ‘testmetingen’.
Studie bouwt voort op “methodiek zelfevaluatie van competentiepolen”.
Concept eindrapport is beschikbaar.
6
F1: Inceptiefase
F2: Gezamenlijke ontwikkeling meetmethodiek
F3: Empirische toepassing
F4: Optimalisatie meetmethode
F5: Eindrapportage en valorisatie
Belang effectmetingen? Investeren in O&O
Studies op bedrijfsniveau (O&O) leidt tot bruto rendementen tot 20-30%
Inclusief kennisverspreiding, loopt dit op tot 30-40% Alle bedrijven doen aan O&O dus? Nee, want:
onzekerheid, toe-eigening, destructie Marktfalen, dus overheid moet rol opnemen
(CP, TETRA, CP) Verantwoording in functie van keuzes en
beperkte middelen
7
Onderliggende principes en bouwstenen Algemene principes
meetkader/handleiding Meten van gerealiseerde effecten Meten van waardecreatie bij de ‘ontvangers’ Toelaten ‘bottom-up’ aanpak Werken met ‘blauwdrukken’ ‘Pick list’ van indicatoren (‘type’ indicatoren) Praktische tips en suggesties Beperken van administratieve lasten
8
Effecten en hun dimensies
Drie dimensies: Niveau waarop de effecten zich
kunnen voordoen (ontvanger, uitvoerders).
Soorten effecten waarop een project gericht is.
De tijdsdimensie waarop deze effecten te verwachten zijn (KT, MT, LT).
9
Soorten effecten
10
Input
Output
Strategievorming
Risico
Versnelling
Competentie- en expertiseopbouw
Schaal en reikwijdte
Netwerking en samenwerking
Bijkomende O&O investeringen/ inspanningen door bedrijven als gevolg van deelname aan het project/programma.
Tastbare resultaten die het gevolg zijn van deelname aan het betreffende project/programma (bijv. nieuw product of proces).
Effecten rond verbetering van managementroutines, erkenning innovatie als strategisch belangrijk en/of uitwerking innovatieplan.
Effecten in relatie tot het kunnen nemen van meer risico in een bepaald project.
Effecten in relatie tot het sneller toegang krijgen tot competenties en expertise, en dus het sneller kunnen realiseren van output.
Effecten in relatie tot opbouw, uitbreiding en verdieping van kennis, ervaring en competenties.
Effecten in relatie tot de grootte en reikwijdte van een project en zijn uitkomsten.
Effecten rond uitbreiding/verbreding van netwerken en intensivering van samenwerking.
Tijdsdimensie effecten KT: ‘tijdens’ of ‘net na’ de uitvoering van een
project < 1 jaar na afloop van een project Ev. rekening houdend met verlengde looptijd
MT: ‘na’ de uitvoering van een project >1 en <3 jaar na afloop Ev. rekening houdend met verlengde looptijd
LT: ‘ruim na afloop’ van een project > 3 jaar Attributie probleem
11
Het meetproces in vier stappen (1)
12
Vraag 1: Welke doelstellingen stellen wij (als projectaanvragers) centraal? Hulpvragen: 1.1 Welke doelstellingen staan centraal in het betreffende IWT programma (resp. CP/TETRA/CO)? 1.2 Welke klemtonen willen wij leggen in ‘ons’ project en kan/mag dit? 1.3 Kunnen en mogen we (van het IWT) de nodige activiteiten uitvoeren om deze doelstellingen te
bereiken?
Vraag 2: Welke effecten willen we vervolgens bereiken?
Hulpvragen: 1.4 In functie van de gelegde klemtonen bij de beantwoording van de vorige vragen, welke effecten
zullen zich voordoen, of welke effecten wilt u realiseren? 1.5 Houd hierbij rekening met de soort effecten, het niveau waarop de effecten zich kunnen
voordoen, en de termijn waarbinnen de effecten te verwachten zijn (IWT regels).
Het meetproces in vier stappen (2)
13
Vraag 3: Welke indicatoren zijn het geschikt om de effecten te meten en dus te monitoren?
Hulpvragen: 1.1 Effecten zijn op verschillende manieren te meten; welke indicatoren zijn het meest geschikt om
de vooropgestelde effecten te meten? 1.2 Zorg hierbij voor voldoende variëteit in uw indicatorenmand! Kwantitatieve en kwalitatieve
indicatoren dienen zich af te wisselen.
Vraag 4: Welke meetaanpak is hierbij geschikt?
Hulpvragen: 1.3 Ligt de gegevensverzameling binnen uw bereik of bent u tevens afhankelijk van aanlevering
door anderen? Wie moet wat doen? Maak hierover afspraken! 1.4 Maakt de meetaanpak integraal deel uit van het management van uw project(en)? Voorzie
voldoende tijd en middelen om de indicatoren op te volgen.
Vraag 1 - Doelstellingen
14
Vraag 1 Welke doelstellingen stellen wij (als projectaanvragers) centraal?
Gewenst resultaat Een helder overzicht van de doelstellingen die u als
projectaanvrager/-uitvoerder met uw project nastreeft.
Mogelijke hulpmiddelen De IWT handleidingen die in detail aangeven welke activiteiten,
en dus doelstellingen, gefinancierd kunnen worden. De blauwdruk van doelstellingen voor CP, TETRA en CO die te
vinden zijn in bijlagen 1, 2 en 3 (zie handleiding) waardoor u zich kunt laten inspireren.
Het ‘Logic Model’ principe.
Blauwdruk
15
Activiteiten I ntermediaire Doelstellingen Strategische Doelstellingen Impact Hier neemt u de dagdagelijkse
activiteiten op die wil uitvoeren om uw doelstellingen te behalen. Dit zijn de activiteiten die eveneens gefinancierd kunnen worden (zie
IWT handleidingen).
Hier geeft u de doelstellingen weer die een resultaat reflecteren bij de onmiddellijke doelgroep, vaak de
bedrijven (de zogenaamde ‘beneficiaries’).
Hier geeft u de doelstellingen weer die overeenkomen met de
verwachte strategische effecten (zelfs impact) van het gefinancierde project of gefinancierde projecten.
Hier geeft u de ambitie weer die samenhangt met de globale impact
van de interventie (lees: het steunprogramma in zijn geheel)
Voorbeelden:
A1. Uitvoeren van contractonderzoek, coöperatief onderzoek en collectief onderzoek
A2. Maken van publicaties (vakinhoudelijk en niet-vakinhoudelijk)
A3. Organisatie van evenementen (workshops, conferenties, …)
…
Voorbeelden:
ID1. Verhogen van het aantal innovaties bij bedrijven
ID2. Verhogen van kennis en competenties bij bedrijven
ID3. Verbeteren van afstemming, samenwerking en coördinatie binnen en rond de sector
…
Voorbeelden:
SD1. Vergroten van het
innovatievermogen van bedrijven in de sector
SD2. Verhogen van de internationale zichtbaarheid van de bedrijven en de sector
…
Voorbeelden:
I1. Versterken van de
concurrentiepositie van de sector en verhogen van de werkgelegenheid
…
Tijd
Vraag 2 - Effecten
16
Vraag 2 Welke effecten wilt u bereiken?
Gewenst resultaat Een helder overzicht van de effecten die u via uw project
wenst te bereiken en waarover u als projectuitvoerder verantwoordelijkheid draagt.
Mogelijke hulpmiddelen De IWT handleidingen die in detail aangeven welke
doelstellingen en resultaten worden verwacht van een soortgelijk project.
De ‘grid’ die wij voor u hebben ontwikkeld in het kader van deze handleiding.
Het ‘Logic Model’ principe zoals eerder uitgelegd. De door u vooropstelde intermediaire doelstellingen die
feitelijk uw uitgangspunt moeten zijn.
De ‘grid’
17
Naam project: [titel van het project] Type project: [onder welk programma past het project?] Datum invulling: [datum/versie invulling]
Soorten effecten
Niveau en termijn waarop effecten te
verwachten zijn
Ontvangers (bedrijven)
Uitvoerders (kennisinstellingen)
Input Gaan er bijkomende investeringen/inspanningen zijn?
KT: [invulling] KT: [invulling]
MT: MT: Netwerking en samenwerking Zullen er effecten zijn rond netwerking en samenwerking?
KT: KT:
MT: MT:
Schaal en reikwijdte Laat het project toe om bedrijven deel te laten nemen aan onderzoek op grotere schaal?
KT: KT:
MT: MT:
Competentie- en expertiseopbouw Zal het project leiden tot competentie- en expertiseopbouw?
KT: KT:
MT: MT:
Vraag 3 - Indicatoren
18
Vraag 3 Welke indicatoren zijn geschikt om de effecten te meten en
dus te monitoren? Gewenst resultaat
Een selectie van indicatoren die toelaten om op periodieke basis de vooropgestelde effecten te meten en dus het succes van de eigen werking te kunnen aantonen.
Mogelijke hulpmiddelen De IWT handleidingen die in detail aangeven welke
indicatoren (vooral activiteiten) periodiek gerapporteerd moeten worden.
De in deze studie ontwikkelde lijst met ‘type’ indicatoren per soort effect (toegespitst naar niveau en tijdsdimensie).
Indicatoren 21 voorgestelde indicatoren
Fiche uitgewerkt per indicator Lijst met overige type indicatoren
Kenmerken goede indicatoren Relevantie Afbakening Acceptatie Geloofwaardigheid Eenvoud Betrouwbaarheid en robuustheid Consistentie en vergelijkbaarheid
19
20
Menu van ‘type’ indicatoren (zie indicatorenfiches voor nadere duiding) I nput Gaan er (bijkomende) investeringen/inspanningen zijn?
I ndicatoren die effecten meten bij de ontvangers, zijnde veelal de bedrijven
(Focus bij CP, TETRA en CO)
I ndicatoren die effecten meten bij de uitvoerders, zijnde veelal de kennisinstellingen
(Expliciet bij TETRA en CO projecten)
1. Co-investering (directe financiële en niet-financiële projectinbreng) 2. Bedrag aan vervolginvesteringen (materieel en immaterieel)
Netwerking en samenwerking Zullen er effecten zijn rond netwerking en samenwerking?
3. Aantal bedrijven dat zijn relevante netwerk heeft kunnen uitbreiden 4. Aantal bedrijven dat een formele vervolgsamenwerking aangaat (naar
type samenwerking) 5. Aantal succesvol doorverwezen bedrijven 6. Aantal en evolutie in het betalende ledenaantal (CP)
Schaal en reikwijdte Laat het project toe om bedrijven deel te laten nemen aan onderzoek op grotere schaal?
7. Aantal bedrijven dat deelneemt aan de projecten (en karakteristieken van deze bedrijven)
8. Aantal bedrijven dat zonder dit project het uitgevoerde onderzoek niet zelfstandig zouden (kunnen) uitvoeren
Competentie- en expertiseopbouw Zal het project leiden tot competentie- en expertiseopbouw?
9. Aantal bedrijven dat zijn competentie en expertise verder heeft ontwikkeld
10. Aantal bedrijven dat ‘voor het eerst’ een projectaanvraag indient voor publieke financiering
11. Toename in onderzoekscapaciteit 12. Aantal wetenschappelijke (peer review) publicaties 13. Aantal afgeleverde thesissen/doctoraten 14. Aantal nieuwe onderzoeksthema’s en/of onderzoekslijnen
Versnelling Zal het project de snelheid van O&O verhogen dan anders het geval zou zijn?
15. Aantal bedrijven dat erin geslaagd is om sneller tot ‘ontwikkeling’ over te gaan
Risico Leidt het project tot risico verkleining (in relatie tot onzekerheid van en bij onderzoek?)
16. Aantal bedrijven dat het projectrisico niet alleen zou kunnen of willen dragen
Strategie Zal het project de strategie van het bedrijf rond O&O veranderen?
17. Aantal bedrijven dat een onderzoek- en/of innovatiestrategie heeft ontwikkeld
18. Aantal bedrijven dat zijn O&O projectmanagementvaardigheden heeft vergroot
Output Zullen er nieuwe producten of processen ontwikkeld worden? Of sterke optimalisaties?
19. Aantal ontwikkelde prototypes (en/of testopstellingen) 20. Aantal nieuwe (of vernieuwde) producten en/of diensten 21. Aantal procesoptimalisaties/-vernieuwingen
19. Aantal ontwikkelde prototypes (en/of testopstellingen) 20. Aantal nieuwe onderzoeksthema’s en/of onderzoekslijnen
Fiches indicatoren - Voorbeeld I
21
2 Bedrag aan vervolginvesteringen (materieel en/ of personeel)
Meetniveau ONTVANGER UITVOERDER OVERIG Tijdsdimensie KT (tijdens of < 1jr na afloop) MT (tussen 1 – 3 jaar na afloop) Type effect INP N&S S&R C&E VER RIS STR OUT Beschrijving Deze indicator meet vervolginvestering (materieel en of immaterieel) die gedaan
worden om de resultaten/uitkomsten van het project verder te ontwikkelen en/of te exploiteren. Hierbij kan het gaan om een fysieke investering (bijvoorbeeld een machine) al dan niet in combinatie met het aanwerven van nieuwe werknemers. De investering moet tijdens of kort na afloop van het project plaatsvinden.
Nodige variabelen 1. Bedrag aan investeringen in machines 2. Loonmassa gekoppeld aan nieuwe aanwervingen (en/of VTE besteding aan
exploitatie)
Mogelijke subindicatoren
1. Gedane investering als % van gemiddelde jaarlijkse investeringen
Niveau indicator Bedrijf
Periodiciteit [Te bepalen in overleg met het IWT]
Meetmethode Via bevraging/feitelijke data bedrijf
Bijkomende informatie / Input (INP) Netwerking en Samenwerking (N&S) Schaal en Reikwijdte (S&R) Competentie- en Expertiseopbouw (C&E) Versnelling (VER) Risico (RIS) Strategie (STR) Output (OUT)
Fiches indicatoren - Voorbeeld II
22
3 Aantal bedrijven dat zijn relevante netwerk heeft kunnen uitbreiden
Meetniveau ONTVANGER UITVOERDER OVERIG Tijdsdimensie KT (tijdens of < 1jr na afloop) MT (tussen 1 – 3 jaar na afloop) Type effect INP N&S S&R C&E VER RIS STR OUT Beschrijving Deze indicator meet het aantal bedrijven (evt. uit gebruikersgroep) dat door
deelname aan een project zijn netwerk heeft kunnen uitbreiden. Netwerking is van groot belang in het kader van kennisdeling en dus ‘openheid’ tot innovatie (en samenwerking). Het moet hierbij gaan om een uitbreiding die direct aan het project kan worden gerelateerd en wel met actoren die relevant zijn (zoals collega bedrijven, kennisinstellingen, etc.).
Nodige variabelen 1. Aantal bedrijven dat zijn relevante netwerk heeft uitgebreid met bedrijven 2. Aantal bedrijven dat zijn relevante netwerk heeft uitgebreid met
kennisinstellingen 3. Aantal bedrijven dat zijn relevante netwerk heeft uitgebreid met [OVERIG]
Mogelijke subindicatoren
1. Uitbreiding met bedrijven – nationaal 2. Uitbreiding met bedrijven – internationaal
Niveau indicator Bedrijf
Periodiciteit [Te bepalen in overleg met het IWT]
Meetmethode Via bevraging/opinies van bedrijven
Bijkomende informatie /
Vraag 4 - Meetaanpak Vraag 4
Welke meetaanpak is het meest geschikt? Gewenst resultaat
Een concreet aanpak/plan voor de verzameling van de nodige variabelen/data (rekening houden met efficiëntie)
Mogelijke hulpmiddelen De indicatorenfiches Aangereikte type vragenlijst om de meeste
indicatoren te meten (en overige tips) Het rapport ‘Zelfevaluatie Competentiepolen’
23
Vraag 4 - Meetaanpak Belangrijk om afspraken met leden/bedrijven
te maken op voorhand Integratie met huidige rapportagetools
Zelfevaluatie, RAP, … Efficiënte meting en rapportage (aanzet
vragenlijst in rapport) Onafhankelijk van verplichtingen richting IWT
Belangrijk om meerdere gegevensbronnen met elkaar te confronteren (validatie)
24
ContactArnold VerbeekManager – Senior expert Innovatie & [email protected]
Sjouke BeemsterboerAnalist Innovatie & [email protected]