View
218
Download
1
Category
Preview:
DESCRIPTION
Sinds eind jaren negentig stimuleert SURF – de samenwerkingsorganisatie van instellingen in het hoger onderwijs en onderzoek – ICT-innovatie in het hoger onderwijs, met als doel de kwaliteit van het onderwijs te verbeteren. De laatste vijf jaar richten de innovatieprogramma’s zich – in het licht van Lissabon-afspraken - op onderwerpen als het verbeteren van de instroom en het verminderen van studie-uitval. Dit is deel 2 van een drieluik over innovatie met impact.
Citation preview
59
t h e m a h o g e r o n d e r w i j s . o r g &T H M A
n de afgelopen tien jaar hebben instellingen voor hoger onderwijs in SURFverband ervaringen opgedaan met de mogelijkheden die ICT biedt in het onderwijs. Dit gebeurde binnen verschillende stimule
ringsprogramma’s: het Onderwijsvernieuwingsprogramma (19992009), het Nationaal Actieplan eLearning (20062011) en Studiekeuzegesprekken wat werkt? (20092011).ICTprojecten leggen vaak kiemen voor de toekomst: na het zaaien kan er niet altijd direct worden geoogst. De projecten maken onderdeel uit van een langdurig veranderproces in het onderwijs, waarbij ICT bijdraagt aan het eigentijds en aantrekkelijk maken van het onderwijs, en aan het verbeteren van de kwaliteit ervan, door het efficiënter en/of effectiever te maken. De vraag welke rol een project precies speelt in een verandertraject is vaak moeilijk te beantwoorden, laat staan te kwantificeren. Toch is het belangrijk om te onderzoeken wat de toegevoegde waarde van projecten is, en wat succes en faalfactoren zijn. Het inzichtelijk maken van de toegevoegde waarde vergroot de kans dat de resultaten uit het project ook worden geadopteerd en duurzaam worden ingezet. Om gericht te kunnen investeren in innovatie, is het dus van belang om inzicht te krijgen in wat wel en niet werkt.In theorie is iedereen het erover eens dat evaluatie een noodzakelijke voorwaarde is bij het uitvoeren van innovatieprojecten. Maar in de praktijk blijkt het vormgeven van evaluatie binnen projecten en programma’s makkelijker gezegd dan gedaan. SURF ontwikkelt op basis van
voortschrijdend inzicht een aanpak voor de evaluatie van projecten, met hulp van experts uit instellingen voor hoger onderwijs, Kennisnet en TNO, die net als SURF innovatieprojecten stimuleren en uitvoeren. In dit artikel beschrijven we onze belangrijke lessons learned bij het uitvoeren van evaluaties rond innovatieprojecten en wat belangrijke elementen zijn in de aanpak van evaluaties.
Verschillende stadia van innovatie
In de loop van de jaren ontwikkelde ICTinnovatie zich van onderzoek naar de mogelijkheden van ICT in de onderwijspraktijk naar het strategisch inzetten van ICT in het onderwijs. Eind jaren negentig was ICT nog een relatief nieuw fenomeen in het onderwijs en werd er vooral geëxperimenteerd met nieuwe toepassingen en mogelijkheden. Zo werd onderzocht welke rol bijvoorbeeld GPS, online samenwerkingstools of streaming video in het onderwijs zouden kunnen spelen. Op het moment dat meer kennis en ervaring ontstond over wat kansrijke toepassingen zijn voor het onderwijs kon een volgende stap gezet worden, en werd een ‘proof of concept’ ontwikkeld. Geleidelijk ontstond de behoefte om een volgende stap te zetten en technieken die hun potentie voor het onderwijs bewezen hadden, op grotere schaal te kunnen invoeren. Het Nationaal Actieplan eLearning (20062011) was daarop gericht. Het programma heeft een strategische doelstelling: het verhogen van studierendement en/of het verbeteren van de instroom,
Sinds eind jaren negentig stimuleert SURF – de samenwerkingsorganisatie van instellingen in het hoger onderwijs en
onderzoek – ICT-innovatie in het hoger onderwijs, met als doel de kwaliteit van het onderwijs te verbeteren. In drie
artikelen schetsen we achtereenvolgens de ontwikkeling van een instrumentarium voor innovatieprogramma’s; de
zoektocht naar een zinvol framework voor het vormgeven van evaluatie; en tenslotte geven we inzicht in de impact van
de programma’s en lessons learned.
Drieluik over innovatie met impact
Deel 2: De zoektocht naar betekenisvolle evaluatie
Christien Bok en Annette Peet
SURFfoundation
I
60
T H M A 3 - 1 1 &
doorstroom en uitstroom in het hoger onderwijs. De projecten die de instellingen binnen het programma uitvoerden, moesten bijdragen aan die doelstelling.
Van experiment tot implementatie
Afhankelijk van het stadium van innovatie, heeft een project bepaalde karakteristieken. SURF wil met vier typen projecten de groei van kleinschalige experimenten naar implementatie faciliteren. Succesvolle projecten kunnen ‘doorgroeien’ naar een volgend stadium.
Grassroots zijn kleine experimentele (ontwikkel)projecten, vaak uitgevoerd door één persoon in een kleine setting, om te onderzoeken op welke manier methoden of technieken kunnen worden ingezet in de onderwijspraktijk. Ontwikkelprojecten ondersteunen de (door)ontwikkeling of het ontwerp van een ICTinnovatie tot een proof of concept door een kleine groep van samenwerkende instellingen. Opschalingsprojecten bieden instellingen de mogelijkheid om te onderzoeken of methoden en technieken die in een kleinere setting succesvol waren, ook op grotere schaal werken.Een volgende logische stap vormen implementatieprojecten waarbij de innovatie ook daadwerkelijk op grote schaal wordt ingevoerd. Met deze projecten wil SURF in toekomstige programma’s experimenteren. Waar tot dusver binnen een programma voor één type project werd gekozen, zullen nieuwe thematische programma’s ruimte bieden aan meerdere stadia van innovatie.Inherent aan innovatie is dat niet alle experimenten werken. Daarom is evaluatie essentieel, om onderbouwd te besluiten of een experiment kansrijk genoeg is om door te groeien naar een volgend stadium. Hoewel de aard en de omvang van de evaluatie verschilt per type project kunnen we drie generieke fases onderscheiden bij het uitvoeren van evaluaties: vooraf, tijdens en na het project.
Een goede start
Evaluatie begint niet pas na afloop van een project. Juist de periode voor de start van een project is een cruciaal moment om een experiment te kunnen evalueren. Dat
begint bij het expliciteren van de doelstelling van het project. Waarom wordt gekozen voor een bepaalde interventie? De keuze voor een interventie is gebaseerd op een veronderstelling over de werking ervan. Die veronderstelling is vaak gebaseerd op intuïtie. Het is de kunst om die veronderstelling te onderbouwen, bijvoorbeeld door gebruik te maken van resultaten van eerdere onderzoeken en beschikbare literatuur. Bij voorkeur worden de doelstellingen en de hypothese van het project ook getoetst bij toekomstige gebruikers.
In de werkwijze van SURF is het expliciteren van de doelstelling en de aannames die eraan ten grondslag liggen een van de criteria om in aanmerking te komen voor subsidie. Projectvoorstellen worden beoordeeld op kwaliteit en kansrijkheid door de Wetenschappelijk Technische Raad (WTR) van SURF. De WTR bestaat uit erkende autoriteiten, die niet alleen de nieuwste ontwikkelingen op hun specifieke expertisegebied kennen, maar ook letterlijk thuis zijn in de wereld van het hoger onderwijs.Als een project wordt gesubsidieerd moet een Controlling Document worden opgesteld, waarin de op te leveren resultaten, de projectinrichting, planning en financiën worden beschreven. Deze instrumenten stimuleren een goede start van de evaluatie van projecten.
Figuur 1: Succesvolle projecten kunnen 'doorgroeien' naar een volgend stadium
Lessons Learned 1: Expliciteren van de doelstellingDe ervaring leert dat als de doelstelling en de redenering die ten grondslag ligt aan een project worden geëxpliciteerd, doorgaans de kwaliteit van het projectplan verbetert, wat weer een positief effect heeft op de uitvoering van het project.Het expliciteren van de doelstellingen en de hypothese van een project vragen om een investering die zich tijdens en na afloop van het project ruimschoots terugbetaalt. Zeker als het hele projectteam er samen aan werkt, zorgt dat voor een soepele start en uitvoering van een project, omdat men gezamenlijk richting geeft aan het project.
Grassroots projecten Ontwikkel projecten
DOEL: kleinschalige experimenten met nieuwe technieken in onderwijs-praktijk
DOEL: ontwikkelen en ontwerpen van kansrijke technieken in onderwijspraktijk
DOEL: op grotere schaal inzetten van succesvolle technieken in de onderwijs-praktijk
DOEL: succesvolle technieken implementeren in bestaande organisatie
Opschalingsprojecten Implementatie projecten
61
t h e m a h o g e r o n d e r w i j s . o r g &T H M A
Invulling van programmadoelstelling
Innovatieprojecten van SURF worden uitgevoerd in het kader van programma’s. De programma’s worden opgesteld in samenspraak met de instellingen voor hoger onderwijs, om te garanderen dat ze aansluiten bij de ontwikkelingen binnen het hoger onderwijs. Instellingen die projecten uitvoeren zijn vrij om hun eigen specifieke projectdoelstellingen te kiezen binnen de thematische innovatieprogramma’s, die optimaal aansluiten op hun eigen situatie. De doelstellingen van de projecten zijn een specifieke invulling van de programmadoelstelling.
Praktijkgericht onderzoek
Bij de aanvang van het project krijgt de evaluatie daadwerkelijk invulling. Een eerste stap is de nulmeting. Deze is van belang om te kunnen onderzoeken of de doelstelling wordt behaald. Op basis van die nulmeting ontstaat tijdens het project een beeld of de interventie inderdaad leidt tot de gewenste nieuwe situatie. Tijdens het project wordt op gezette tijden de stand van zaken ten opzichte van de nulmeting bekeken. Evaluatie tijdens het project zorgt voor voortdurende reflectie: of de doelstellingen nog wel worden gehaald, en of in het project de juiste middelen worden ingezet om de doelstellingen te halen. Als het nodig is, kan dan tijdig worden bijgestuurd. Ook kan, op basis van de uitkomsten van de evaluatie gedurende het project, blijken dat de hypothese moet worden bijgesteld. Door tijdens het project te blijven volgen of de hypothese nog spoort met de werkelijkheid en te onderbouwen waarom wel of waarom niet, kan innovatie op een onderbouwde manier gestuurd worden.
In de loop van een project komen ook tal van onverwachte, niet voorziene zaken aan het licht. Die onverwachte effecten kunnen een heel belangrijke rol spelen in de evaluatie
resultaten, en moeten daarom voldoende aandacht krijgen.In een dynamisch proces als het onderwijs waarin zoveel externe factoren een rol spelen, het heel moeilijk is om een directe relatie aan te tonen tussen een verandering in het onderwijs en een ICTinterventie. Het is dus heel belangrijk om ook omgevingsfactoren mee te nemen in de evaluatie.De evaluatie van de verschillende typen projecten hebben elk hun eigen insteek. De evaluatie van grassrootsprojecten is meestal kleinschalig en kortcyclisch van aard. Als sprake is van ontwikkelprojecten waarin een protoptype of redelijk uitgekristalliseerde interventie wordt ingezet, richt de evaluatie zich op de vraag of de verwachte opbrengsten zich in de praktijk voordoen. Dit kan aanleiding geven tot opschaling. In opschalingsprojecten is van belang na te gaan of de verwachte opbrengsten zich ook op grote(re) schaal aandienen.
De projecten binnen de SURFprogramma’s kennen geen apart budget voor onderzoek. Het leeuwendeel van de middelen wordt besteed aan de subsidie voor innovatieprojecten. Het onderzoek dat wordt uitgevoerd, vindt plaats binnen de innovatieprojecten zelf. De middelen voor onderzoek zijn dus beperkt en grootschalig onderzoek is daarom niet mogelijk. Projecten moeten daarom realistische keuzes maken over wat zij willen en kunnen evalueren. Door vooraf de doelstellingen en de hypothese helder te omschrijven is het makkelijker om de belangrijkste vragen te identificeren die in het project beantwoord zouden moeten worden. Welke vragen dat zijn, en hoeveel dat er zijn, wordt mede bepaald door de (te verwachten) beschikbaarheid van data, de beschikbare expertise, tijd en menskracht. Dit betekent prioriteiten stellen in wat je precies gaat meten, en bepalen van welke populatie je informatie wilt verzamelen. Om zo efficiënt mogelijk gebruik te maken van beschikbare middelen verdient het aanbeveling
Lessons Learned 2: onderscheid programma- en projectdoelstellingHet Nationaal Actieplan eLearning heeft als doelstelling het verhogen van de participatie in en het studierendement het hoger onderwijs. Om te kunnen meten of het programma die doelstelling zou halen, moesten de projecten kwantificeren welke bijdrage zij zouden leveren aan de programmadoelstelling. Soms is de relatie met de programmadoelstelling echter indirect. Het heeft geen zin om waardevolle projecten die indirect bijdragen aan de programmadoelstelling, te vragen hun resultaten direct te relateren aan de programmadoelstellingen. Daarmee wordt geen bruikbare bijdrage geleverd aan de evaluatie van de programmadoelstellingen, noch aan de projectdoelstellingen.
Lessons Learned 3: slim omgaan met beschikbare middelenOm een hypothese wetenschappelijk te toetsen en een causaal verband aan te kunnen tonen tussen de interventie en de effecten moeten er voldoende gegevens beschikbaar zijn, en moet gewerkt worden met een controlegroep. Dat is binnen innovatieprojecten, gezien de beperkte looptijd en geringe onderzoeksbudgetten vaak niet haalbaar. Bovendien vraagt de aard van projecten vaak om een praktijkgerichte aanpak van evaluatie, waarin ook kwalitatief onderzoek een belangrijke rol speelt. In de praktijk sluiten projecten steeds vaker allianties met onderzoeksgroepen en lectoraten om een deel van de evaluatie uit te voeren. Op deze manier wordt er slim gebruik gemaakt van beschikbare expertise en menskracht.
62
T H M A 3 - 1 1 &
zo veel mogelijk gebruik te maken van data die al door de instelling verzameld worden, en aansluiting te zoeken bij onderzoeksgroepen binnen instellingen.
Enthousiasme en inspiratie
Als duidelijk is welke vragen relevant zijn voor de evaluatie is het zaak om te kiezen voor de beste methode om die vragen te beantwoorden. Hierbij is onderscheid te maken in kwalitatieve en kwantitatieve evaluatie. Het belang van kwalitatief onderzoek, bijvoorbeeld in de vorm van observaties, interviews, enquêtes en focusgroepen, mag niet worden onderschat. Kwalitatief onderzoek kan een indicatie geven over de waarde van de interventie, en het geeft inzicht in de ervaringen van gebruikers. Het succes van een interventie hangt namelijk ook nauw samen met het enthousiasme van de personen die ermee werken. Door dit enthousiasme inzichtelijk te maken is de kans groot dat anderen ook enthousiast worden. Resultaten en bevindingen zijn dan nog niet wetenschappelijk van aard, maar kunnen wel dusdanig veel belovend zijn, dat ook mensen buiten het project enthousiast worden en geïnspireerd raken.
Hoewel het geen wet van Meden en Perzen is, is het naarmate een project meer richting opschaling en implementatie gaat mogelijk om meer gebruik te maken van kwantitatieve methodes, en van evaluaties met controlegroepen.
Evaluatie van het proces
Daar waar de projectleider tijdens het project zorgt voor de inhoudelijke evaluatie en onderzoekt of de interventie oplevert wat werd verondersteld, zorgt de Commissie
Figuur 2: Onderscheid in kwalitatieve en kwantitatieve evaluatie
Figuur 3: Prioriteiten stellen in wat je precies gaat meten, en bepalen van welke populatie je informatie wilt verzamelen
Voor Tijdens Na Lange Termijn
Doelstelling, hypothese,onderbouwing van gekozen interventie
Monitoring doelstellingToetsing hypotheseEventueel bijsturing
Conclusie & evaluatieLessons learned
Conculsies lange termijn.
Grassroots projecten
Ontwikkelprojecten
Opschalingsprojecten
Implementatieprojecten
Kwalitatief onderzoek
Kwantitatief onderzoek
Projectbewaking van SURF tijdens het project voor de bewaking van het proces. Deze onafhankelijke commissie bestaat uit experts op het terrein van ICTonderwijsinnovaties en het uitvoeren en begeleiden van grote projecten. De bewaking is primair gericht op de bewaking van planning, budget en beoogde resultaten. Dit gebeurt om te voorkomen dat projecten ontsporen in planning en budget. Daarbij ontstaat een spanningsveld: juist in het geval van innovatieprojecten moet voldoende ruimte zijn voor experimenteren en moet voldoende mogelijkheid zijn om plannen aan te passen op basis van de inhoudelijke evaluatie die de instellingen uitvoeren. Innovatie en veranderprocessen verlopen lang niet altijd volgens plan, maar kunnen grillig zijn. Koerswijziging gedurende het project moet daarom altijd mogelijk zijn, mits goed onderbouwd. Het gaat er tenslotte om dat de doelstelling van een project gehaald wordt, niet dat precies wordt uitgevoerd wat vantevoren bedacht was.
De balans opmaken
Na afloop van een project is het moment om de bevindingen op een rijtje te zetten en conclusies te trekken. Verschillende componenten zijn waardevol om op te nemen in het evaluatieverslag: zijn de doelstellingen behaald? Zijn de beloofde deliverables geleverd? En vooral ook: wat zijn de lessons learned? In de praktijk zijn projectteams en opdrachtgevers vooral gericht op het behalen van succes, en te weinig op het leren van opgedane ervaringen, succesvol of niet. Terwijl leren van wat niet werkt een heel essentieel onderdeel is van innovatietrajecten. Sterker: een kenmerk van innovatie is dat er ook zaken niet lukken. Bij een bedrijf als Google geldt zelfs het adagium: 'als er niet genoeg mislukt, dan hebben we niet genoeg geprobeerd.'
De evaluatie na afloop van het project bestaat ook uit het laten zien wat de toegevoegde waarde van ICT kan zijn in het onderwijs, en welke factoren de adoptie ervan bepalen. De resultaten van die evaluatie zijn heel goed bruikbaar voor de disseminatie van de projectresultaten. Geleerde lessen en procesevaluaties zijn waardevol voor instellingen voor hoger onderwijs, zo kunnen zij voortbouwen op eerdere ervaringen. Ook moet er voldoende kennisuitwisseling zijn binnen en tussen de verschillende innovatieprogramma’s, zodat projectleiders in verschillende stadia van innovatie van elkaar kunnen leren, ook over wat niet werkt.
63
t h e m a h o g e r o n d e r w i j s . o r g &T H M A
Effecten op langere termijn
Een project vormt vaak een eerste stap in een veranderingsproces. De echte effecten van die verandering zijn meestal pas op langere termijn zichtbaar. Het kan dan bijvoorbeeld gaan om kwaliteitaspecten als hogere studenttevredenheid, meer efficiëntie of effectiviteit van het onderwijs.
Het meten van effecten op langere termijn valt buiten het bereik van projecten die met subsidie van SURF worden uitgevoerd, die vaak maximaal twee jaar duren. Door de evaluatie vooraf, tijdens en na afloop van het project, zou het voor instellingen wel eenvoudiger moeten zijn om die effecten op termijn te meten. Tenslotte is het juist het inzicht in de effecten van investeringen die relevant zijn voor de instellingen. Idealiter worden evaluaties van geïmplementeerde methoden en technieken opgenomen in de reguliere instellingsevaluaties. Dit gebeurt bij een aantal projecten uit het Nationaal Actieplan eLearning.
Een heldere redeneerketen
Om invulling te geven aan de drie stadia van evaluatie, en ook aan de effectmeting op lange termijn, kan de redeneerketen een handig hulpmiddel zijn.
RedeneerketenOm te beschrijven hoe de interventie helpt om tot de gewenste situatie te komen ontwikkelden Daan Andriessen en Eja Kliphuis van Hogeschool INHOLLAND de redeneerketen. Deze kent vier onderdelen, die, afhankelijk van het soort project, gehanteerd kunnen worden:
1. Beschrijving probleem en context: Wat is het probleem waarvoor de innovatie wordt ontworpen? Hoe zit de opleiding in elkaar en hoe kan de context van de onderwijsinstelling waarin de innovatie wordt toegepast het beste worden beschreven?
2. Explicitering van de redeneerketen: Waarom lost de interventie (in de vorm van de gekozen ICTinnovatie of methode) het probleem binnen de opleiding op?
3. Beschrijving innovatie: Hoe beschrijf je de innovatie zo dat andere instellingen die eventueel kunnen overnemen? De innovatie moet zo duidelijk en compleet mogelijk worden beschreven, zodat een geïnteresseerde leek er iets aan kan hebben en kan inschatten of het op zijn of haar context van toepassing is.
4. Effectmeting: Welke effecten kan je meten, waarvoor zijn data beschikbaar of te verzamelen? Hoe kan het effect van de interventie het beste worden gemeten?
Evaluatie op programma-niveau
SURF stimuleert de evaluatie op projectniveau, maar wil ook inzichtelijk maken wat de opbrengst van een programma als geheel is geweest. Daarbij gaat het niet alleen om de resultaten van de verschillende projecten, maar ook om de lessons learned en dwarsverbanden. De evaluatie van een programma zou er daarom in grote lijnen hetzelfde uit moeten zien als de evaluatie van een project. In thematische programma’s die SURF momenteel ontwikkelt, vormt de evaluatiemethodiek daarom ook onderdeel van het innovatieprogramma als geheel.Binnen programma’s met een thematische insteek is het
Figuur 4: Een project vormt vaak een eerste stap in een veranderingsproces.
Lessons Learned 4: Wees realistisch over wat je kunt meten
SURF had bij het Nationaal Actieplan eLearning aanvankelijk de ambitie om effecten op langere termijn te meten. Maar instellingen liepen tegen heel praktische grenzen op. De projecten waren gericht op doorontwikkeling en implementatie, op zichzelf al weerbarstige trajecten, waar ze maar beperkte tijd voor hadden. Het bleek lastig te om daarnaast ook invulling te geven aan effectmeting, En bovendien: echte effecten worden pas zichtbaar als de implementatie is afgerond, en er dankzij de ICT –interventie een nieuwe situatie is ontstaan. In het onderwijs is een cyclus van een jaar vaak een goede periode om te onderzoeken of rendementen gestegen zijn. Vaak bleek het niet mogelijk deze cyclus in de projectperiode te passen. Daarom neemt SURF het meten van effecten op lange termijn niet meer op in de criteria voor het uitvoeren van project.
Voor Tijdens Na
PROGRAMMA:Nationaal strategisch programmadoelstellingenHypotheseOnderbouwing gekozen interventie (programma-activiteiten en criteria voor projectsubsidies)
PROGRAMMA:Nulmeting rondom thema in hoger onderwijsMonitoring doelstellingToetsing hypothese, kwalitatief/kwantitatiefEventueel bijsturing
PROGRAMMA:Evaluatie programmaresultaten, op basis van doelstellingen en hypothese en op basis van projectresultatenProcesevaluatieDisseminatie van resultaten en lessons learned
PROJECT:Projectvoorstel met: ProjectdoelstellingHypotheseOnderbouwing gekozen interventie
PROJECT:Prioriteren evaluatievragen, haalbaarheidsanalyse evaluatie Inrichten meetprogramma, kwalitatief en/of kwantitatiefNulmetingMonitoring doelstellingToetsing hypothese, kwalita-tief/kwantitatiefEventueel bijsturing
PROJECT: Evalueren projectresultaten op basis van doelstelling en hypotheseProcesevaluatieDisseminatie van resultaten en lessons learned
PROCESSelectie projecten door WTR op basis van programmacrite-ria en kwaliteitscriteriaControlling Document met uit-gewerkte planning en budget
PROCESVoortgangsbewaking door Commissie Projectbewaking op basis van kwartaalrappor-tages en reviews.
PROCESEnd Review door Commissie Projectbewaking
64
T H M A 3 - 1 1 &
zinvol om de resultaten van de verschillende projecten binnen het programma onderling te kunnen vergelijken, om vast te stellen welke interventies wel en welke niet werken en onder welke omstandigheden. Het programma ‘Studiekeuzegesprekken, wat werkt?’ is zo’n programma. Het is erop gericht om inzicht te krijgen in wat succesvolle manieren zijn om studiekeuzegesprekken in te richten en in te zetten in het studiekeuzeproces. Om daar een uitspraak over te kunnen doen, werd een format ontwikkeld, zodat de resultaten van de verschillende projecten vergeleken konden worden. Op die manier wilde het programma een antwoord geven op de vraag wat werkt en wat niet. Dat is gedeeltelijk gelukt. In de praktijk bleek dat vergelijkbaarheid toch lastig was, simpelweg omdat de omstandigheden binnen verschillende instellingen weer sterk verschillen. De uitkomsten van een aantal projecten kon echter wel ten opzichte van elkaar worden vergeleken in een crosscase analyse. Zo bood het programma toch enig inzicht in de verschillende uitwerkingen van studiekeuzegesprekken en hun effect op verschillende variabelen.
SamenvattendOm inzicht te krijgen in de kansrijkheid van experimenten met ICT in het onderwijs, is evaluatie van groot belang. Er zijn drie stadia van evaluatie te onderscheiden; voor, tijdens en na een project. Daarnaast zijn er drie niveaus van evaluatie te onderscheiden: op programmaniveau, op projectniveau, en op procesniveau.
ICTinnovatieprojecten leveren verschillende resultaten op. De resultaten van de evaluatie dienen verschillende doelen.
Figuur 5: De evaluatiemethodiek is onderdeel van het innovatieprogramma als geheel
Lessons learned 5: Vergelijkbaarheid blijft lastigKomen tot vergelijkbare evaluaties blijft lastig. Een uniforme wijze van evalueren blijft lastig te realiseren, wat een gevolg is van een steeds terugkerend dilemma: voor het meten van effecten van onderwijsinterventies moeten deze zoveel mogelijk op dezelfde wijze uitgevoerd en gemeten worden, maar de praktijk vraagt vaak verschillen in aanpak. Een serieuze investering in het ontwikkelen voor een format dat resultaten vergelijkbaar maakt is daarbij van belang.
Over SURF In SURF werken de Nederlandse universiteiten, hogescholen en onderzoeksinstellingen samen aan grensverleggende ICTinnovaties. Ze creëren zo de basis om optimaal gebruik te maken van de mogelijkheden van ICT en te excelleren in hun onderwijs en onderzoek. SURF bestaat uit drie organisaties: SURFfoundation, SURFnet en SURFdiensten.
SURF stelt alle
resultaten
beschikbaar voor
instellingen
Inzicht in
kansrijkheid van
nieuwe projecten
(WTR)
Inzicht in
kansrijkheid van
nieuwe projecten
(WTR)
Voor vervolg en
nieuwe projecten
(CP)
Resultaten om al
dan niet op voort
te bouwen
Inzicht in
kansrijkheid voor
doorgroei/
implementatie
Inzicht in
kansrijkheid voor
doorgroei/
implementatie
Voor vervolg en
nieuwe projecten
Deliverables Informatie over de
werking van de interventie
Informatie over
onverwachte resultaten
Lessons learned
Binnen SURFprogramma’s zijn de resulaten van belang in het langdurige veranderings en vernieuwingsproces dat de instellingen voor hoger onderwijs uitvoeren. Enerzijds bieden ze inzicht in de kansrijkheid van experimenten om door te groeien, anderzijds bieden ze leerpunten voor de beoordeling en uitvoering van nieuwe projecten.In het laatste deel van dit drieluik gaan we in op factoren die de kansrijkheid bepalen om van een experiment naar daadwerkelijke implementatie te komen.
& ◀
Christien Bok is werkzaam bij de SURFfoundationbok@surf.nl
Annette Peet is werkzaam bij de SURFfoundationpeet@surf.nl
Met dank aan Daan Andriessen van INHOLLAND, Alfons ten Brummelhuis van Kennisnet en Matthijs Leendertse van TNO
Bronnen:10 jaar onderwijsinnovatie. Evertse, J., februari 2011Onderwijsvernieuwingsprojecten, 10 jaar innovatie in de praktijk. SURFfoundation, april 2008Studiekeuzegesprekken in het hoger onderwijs. Drs. Fred Verbeek, Dr. Marjan Glaudé, Drs.
Edith van Eck, september 2010.
Recommended