Upload
dangtuong
View
220
Download
0
Embed Size (px)
Citation preview
Einführung in Konzeption und
Umsetzung von Monitorings und
Evaluationen
1
iDA Seminar –
14. Dezember 2016
Bea Knippenberg, Daniel Lechner, DAAD
Inhaltsübersicht
2
1. Theoretischer Hintergrund für Monitoring und
Evaluation:
Zieldefinitionen und Wirkungsgefüge
Indikatorenentwicklung
2. Wirkungsgefüge in der Praxis: Monitoringbeispiel:
IPID4all
3. Evaluationsplanung und Wirkungsgefüge
Theoretischer Hintergrund für Monitoring und Evaluation
1a. Zieldefinition anhand eines Wirkungsgefüges
3
Inputs Aktivitäten OutputOutcome
(Kurz- und mittel-
fristige Wirkungen)
Impact(Langfristige
Wirkungen)
Evaluation
Monitoring
Hinweise zur Erstellung des Wirkungsgefüges
4
Input = eingesetzte finanzielle, personelle und/oder materielle Ressourcen
(z.B. Personal, Geld, Partner, Know-How, Zeit)
Aktivitäten = durchgeführte/initiierte Tätigkeiten, die zur Erreichung der
Outputs nötig sind (z.B. Projekte, Maßnahmen wie Schulungen, Beratungen)
Output = unmittelbare, konkrete und zählbare Leistungen/Produkte (z. B.
geschulte Personen, organisierte Veranstaltungen, Publikationen)
Outcome = direkte kurz- und mittelfristige, positive und negative, beabsichtigte
und unbeabsichtigte Wirkungen, die aus der Nutzung der Outputs für die
Zielgruppe resultieren
Impact = längerfristige Wirkungen, einschl. positiver und negativer, die direkt
oder indirekt, beabsichtigt oder unbeabsichtigt durch die Maßnahme verursacht
werden
Hinweise zur Erstellung des Wirkungsgefüges II
5
Zwischen jedem Schritt in der Wirkungskette soll eine
„wenn-dann“-Beziehung bestehen. Diese wird durch
einen Pfeil visualisiert (Kausalität).
Die 2. Impact-Ebene bezieht sich auf
programmübergreifende strategische Ziele des DAAD (z.B.
aus der Strategie „DAAD 2020“).
Wirkungskette
Inputs Aktivitäten Output Outcome Impact
Kurz- &
mittelfristige
Wirkungen
Langfristige
Wirkungen Außerhalb des
direkten
Einflussbereichs des
Projekts
Input DAAD,
Hochschulen und
weitere Partner
Veranstaltungen
werden
durchgeführt
Curricula/
Lehrmodule, die
dem Stand der
Wissenschaft
entsprechen, sind
entwickelt
PartnerHS bieten
arbeitsmarktrel.
Studiengänge an,
die Kontext + Stand
der Wissenschaft
entsprechen
Programm trägt zur
struktur. Stärkung
der Lehre + Arbeits-
marktorientierung
an den Partner-HS
bei
Input OutputAktivität Outcome Impact
6
Entwicklung Wirkungsgefüge
Inputs Aktivitäten Output Outcome Impact
Implementierung
Planung
Wie?Was wollen wir?
Warum?
ResultateRessourcen
7
Entwicklung von Wirkungsgefügen
8
Input Aktivitäten
Outcome
(Direkte kurz- und
mittelfristige Wirkungen)
Impact
(Längerfristige Entwicklungswirkungen)
Inputs des DAAD
(Programmmittel,
Expertise und Beratung)
Inputs der Hochschulen
(Personal, Expertise,
Infrastruktur)
Inputs weiterer Partner
Veranstaltungen werden
durchgeführt
Fort- und Weiterbildungen
werden angeboten
Für die Projektdurch-führung relevante Lehr-/Lernmaterialien, Verbrauchsmaterialien, Kleingeräte, usw. werden identifiziert und beschafft
Praxisrelevante Curricula/
Lehrmodule, die dem lokalen
Kontext und dem Stand der
Wissenschaft entsprechen, sind
gemeinschaftlich entwickelt und
erprobt
Lehrpersonal an den
Partnerhochschulen ist
fachlich und didaktisch
qualifiziert
Strukturelle
Voraussetzungen für
Studiengänge und
studienbegleitende
Angebote sind geschaffen
Individuelle Kontakte zwischen den beteiligten Hochschulen und insbesondere zu Wirtschaftspartnern sind erweitert und konsolidiert
Partner-Hochschulen bieten arbeitsmarktrelevante Studiengänge an, die dem lokalen Kontext und dem Stand der Wissenschaft entsprechen
Hochschulen schaffen
arbeitsmarktrelevante
studienbegleitende
Angebote
Deutsche Hochschulen
haben Expertise in der
Entwicklungs-
zusammenarbeit erworben
Entwicklungsrelevante
fachliche Netzwerke
zwischen beteiligten
Institutionen und
Wirtschaftspartnern sind
etabliert
Das Programm trägt zur strukturellen Stärkung der Lehre und der Arbeitsmarktorientierung an den Partnerhochschulen bei
Das Programm trägt dazu
bei, dass sich deutsche
Hochschulen aktiv als
Partner in die
Entwicklungszusammenar
beit einbringen
Das Programm trägt zur
Internationalisierung der
beteiligten Hochschulen
bei
Das Programm trägt zur Verstetigung der Kooperationsstrukturen zwischen den beteiligten Hochschulen und Institutionen bei
Das Programm trägt zur
nachhaltigen Entwicklung
bei
Das Programm trägt zum
Aufbau leistungsfähiger
und weltoffener
Hochschulen bei
Projektbezogene
Aufenthalte werden
durchgeführt
Output
(Produkte, Dienstleistungen,
Veränderungen)
Entwicklung von Wirkungsgefügen
9
Input Aktivitäten
Outcome
(Direkte kurz- und
mittelfristige Wirkungen)
Impact
(Längerfristige Entwicklungswirkungen)
Inputs des DAAD
(Programmmittel,
Expertise und
Beratung)
Inputs der
Hochschulen
(Personal,
Expertise,
Infrastruktur)
Inputs weiterer Partner
Veranstaltungen werden
durchgeführt
Fort- und
Weiterbildungen
werden angeboten
Für die Projektdurch-führung relevante Lehr-/Lernmaterialien, Verbrauchsmaterialien, Kleingeräte, usw. werden identifiziert und beschafft
Praxisrelevante Curricula/
Lehrmodule, die dem lokalen
Kontext und dem Stand der
Wissenschaft entsprechen, sind
gemeinschaftlich entwickelt und
erprobt
Lehrpersonal an den
Partnerhochschulen
ist fachlich und
didaktisch qualifiziert
Strukturelle
Voraussetzungen für
Studiengänge und
studienbegleitende
Angebote sind geschaffen
Individuelle Kontakte zwischen den beteiligten Hochschulen und insbesondere zu Wirtschaftspartnern sind erweitert und konsolidiert
Partner-HS bieten
arbeitsmarkt-
relevante
Studiengänge an,
die dem lokalen
Kontext und dem
Stand der
Wissenschaft
entsprechen
Hochschulen schaffen
arbeitsmarktrelevante
studienbegleitende
Angebote
Deutsche Hochschulen
haben Expertise in der
Entwicklungs-
zusammenarbeit erworben
Entwicklungsrelevante
fachliche Netzwerke
zwischen beteiligten
Institutionen und
Wirtschaftspartnern sind
etabliert
Das Programm trägt zur
strukturellen Stärkung
der Lehre und der
Arbeitsmarkt-
orientierung an den
Partnerhochschulen bei
Das Programm trägt dazu
bei, dass sich deutsche
Hochschulen aktiv als
Partner in die
Entwicklungszusammenar
beit einbringen
Das Programm trägt zur
Internationalisierung der
beteiligten Hochschulen
bei
Das Programm trägt zur Verstetigung der Kooperationsstrukturen zwischen den beteiligten Hochschulen und Institutionen bei
Das Programm trägt zur
nachhaltigen Entwicklung
bei
Das Programm
trägt zum Aufbau
leistungsfähiger
und weltoffener
Hochschulen bei
Projektbezogene
Aufenthalte werden
durchgeführt
Output
(Produkte, Dienstleistungen,
Veränderungen)
Formulierungshinweise
10
Aktivitäten-Ebene: Aktive Formulierungen wählen:
„Veranstaltungen werden durchgeführt“ und nicht
„Durchführung von Veranstaltungen“
Output/Outcome-Ebene: Formulierungen sollen Ist-Zustand
beschreiben: “Internationale Kooperationen sind
gestärkt“ statt „internationale Kooperationen werden
gestärkt“
Impact-Ebene: Das Ziel sollte immer mit „das Programm
leistet einen Beitrag zu…“ beginnen.
Unterschiedliche Nutzung des Wirkungsgefüges für
Monitoring und Evaluation
11
Monitoring
Überprüfung der Erfüllung / des
Fortschritts der einzelnen
Wirkelemente
Untersuchung bis
Outcomeebene
Evaluation
Überprüfung des Fortschritts
sowie des kausalen
Zusammenhang zwischen den
Wirkelementen
Untersuchung auf nicht
intendierte Nebenwirkungen
(positiv/negativ)
Analyse je nach Dauer des
Programms bis Impactebene
Theoretischer Hintergrund für Monitoring und Evaluation
1b. Indikatorenentwicklung
12
Programm trägt zur strukturellen Stärkung der
Lehre + Arbeits-marktorientierung an den
PartnerHS bei
Programm trägt zur Internationalisierung der
beteiligten HS bei
PartnerHS bieten arbeitsmarktrelevante
Studiengänge an, die lokalem Kontext + Stand
der Wissenschaft entsprechen
Entwicklungsrelevante fachliche Netzwerke
zwischen beteiligten Institutionen und
Wirtschaftspartnern sind etabliert
Praxisrelevante Curricula/ Lehrmodule, die
dem Stand der Wissenschaft entsprechen, sind
entwickelt
Strukturelle Voraussetzungen für Studiengänge
+ Angebote sind geschaffen
Lehrpersonal an den PartnerHS ist fachlich und
didaktisch qualifiziert
Die bestehenden individuellen Kontakte
zwischen beteiligten HS + Wirtschaftspartnern
sind erweitert und konsolidiert
Lehr-/ Lernmaterialien usw. werden
bereitgestellt
Personelle Unterstützung zur Durchführung der
Projekte wird bereitgestellt
Veranstaltungen werden durchgeführt
Inputs des DAAD
Inputs der Hochschulen
Inputs weiterer Partner
Programm trägt zur
Verstetigung der
Kooperations-
strukturen zwischen
den beteiligten HS und
Institutionen bei
HS schaffen arbeitsmarktrelevante
studienbegleitende Angebote
Projektbezogene Aufenthalte werden
durchgeführt
Deutsche HS haben Expertise in der
Entwicklungs-zusammenarbeit erworben
Programm trägt dazu bei, dass sich deutsche
HS aktiv als Partner in Entwicklungszusam-
menarbeit einbringen
1b: Was ist ein Indikator?
Quantitative
Indikatoren =
Mengen oder Beträge
z.B. Anzahl fortgebildeter
Personen
„Variable oder Faktor
(quantitativer oder qualitativer Natur)
in Form eines einfachen und
verlässlichen Instruments, mit dem
Fortschritte gemessen, durch eine
Entwicklungsmaßnahme bedingte
Veränderungen wiedergegeben oder
auch Leistungen eines Akteurs
beurteilt werden können.“ (OECD, 2009)
Qualitative Indikatoren = Beurteilung eines Subjektes
z.B. Selbsteinschätzung zum Kompetenzgewinn
13
Programmziel und Indikatoren (Beispiel)
14
Programmziel / Outcome Indikatoren
Partner-Hochschulen bieten Studiengänge
an, die dem lokalen Kontext und dem
Stand der Wissenschaft entsprechen
Neue Studiengänge, die dem lokalen
Kontext und dem Stand der
Wissenschaft entsprechen werden
angeboten / sind akkreditiert bzw. im
Akkreditierungsverfahren.
Anzahl der Studierenden, die im
Berichtsjahr an einem Studiengang
studieren, für den das Curriculum seit
Beginn der Partnerschaft neu entwickelt
wurde
Fachbezogene Partnerschaften mit Hochschulen in
Entwicklungsländern
Specificpräzise und eindeutig hinsichtlich der Qualität /
Quantität - wer? was? wie?
Measurablemit angemessenem Aufwand und zu
angemessenen Kosten messbar
Attainable realistisch zu erreichen
Relevant
aussagekräftig hinsichtlich der intendierten
Veränderungen
(zeigt der Indikator tatsächlich Veränderungen auf
Output, Outcome bzw. Impact-Ebene an?)
Time-Bound auf einen klaren zeitlichen Rahmen bezogen
Qualitätskriterien für Indikatoren
15
Indikator S M A R T
Gegenseitige Anerkennung von
Studienleistungen
Gegenseitige Anerkennung von Credit Points
im MA Human Rights zwischen der Universität
Jena und der Universität Bogotá
Unterzeichnung eines Abkommens über die
gegenseitige Anerkennung von Credit Points im
MA Human Rights zwischen der Universität
Jena und der Universität Bogotá
Unterzeichnung eines Abkommens über die
gegenseitige Anerkennung von Credit Points im
MA Human Rights zwischen der Universität
Jena und der Universität Bogotá bis 2019
Output: Strukturelle Voraussetzungen für den Joint Master MA Human Rights sind geschaffen
Beispiel für einen SMARTen Indikator
16
Indikatorenentwicklung: Ein kurzer Leitfaden
17
Entwurf idealer Indikatoren, die Wirkungselemente optimal
messen würden
Ableitung realisierbarer Indikatoren, die trotz erkannter
Probleme umsetzbar erscheinen
Festlegung der Skalen und Instrumentenentwicklung
Vergleich verschiedener Indikatoralternativen
Datenerhebung und Berechnung der Indikatoren (Pretest)
Entscheidung über die Beibehaltung, Weiterentwicklung oder
die Ablehnung eines Indikators
Weiterführende Lektüre:
18
Hier der Link
Teil 2: Praxisbeispiel IPID4all
19
Mit IPID4all erhalten deutsche
Hochschulen die Möglichkeit,
durch eine Bündelung
spezifischer Maßnahmen die
Internationalisierung der
Promotionsphase
weiterzuentwickeln bzw. neue
Strategien der
Internationalisierung zu
erproben und in geeigneter
Weise langfristig zu etablieren.
Indikatorenbildung: Beispiel Bedarfsoriertierung von
Maßnahmen (Output 1)
21
Qualitativer
Indikator
Kontrollfrage
Operationalsierung der Indikatorenfragen. Beispiel
Fragebogen Betreuer
22
2. Angaben zu den Internationalisierungsmaßnahmen
2.2 Bewertung der Bedarfsorientierung
Bitte beurteilen Sie die Bedarfsorientierung der Internationalisierungsmaßnahmen an der [Name der Fördereinheit
auslesen] Denken Sie dabei zunächst an das Jahr 2014 zurück und beurteilen Sie die damalige Bedarfsorientierung der
Internationalisierungsmaßnahmen. Beurteilen Sie im Anschluss bitte die aktuelle Bedarfsorientierung.
Sehr gut Gut Befriedigend Ausreichend Mangelhaft Ungenügend
Keine
Bewertung
möglich
Bedarfsorientierung in 2014 ☐ ☐ ☐ ☐ ☐ ☐ ☐
Aktuelle Bedarfsorientierung ☐ ☐ ☐ ☐ ☐ ☐ ☐
Skalen
definieren
Tool-
kennt
nisse
Auswertung I: Triangulation lohnt sich!
24
95,20%
44,90%
30,80%
0%
20%
40%
60%
80%
100%
Koordinatoren Betreuer Promovierende
Anteil Befragte, die die Bedarfsorientierung der Internationalisierungsmaßnahmen als gesteigert
einstufen
Teil 3: Evaluationsplanung und Wirkungsgefüge
Ausgangspunkt:
Definitionen von Programmzielen und Erarbeitung des
Wirkungsgefüges
Definition des Kerninteresses (Programmevaluation, Teilaspekte,
Einzelfragen, einzelne Projekte, etc. )
Erarbeitung der Terms of Reference
26
Planungsphase: OECD / DAC Kriterien zur
Leitfragendefinition
27
Relevanz – Tun wir das richtige?
Effektivität – Erreichen wir die angestrebten Ziele?
Effizienz – Werden die Ziele wirtschaftlich erreicht?
Wirksamkeit – Trägt die Maßnahme zur Erreichung übergeordneter Ziele bei?
Nachhaltigkeit – Sind positive Wirkungen von Dauer?
Exkurs: Definition des Erwartungshorizonts: Attribution
vs. Kontribution
Attribution
Ziel von Evaluationen ist es
immer den Effekt einer
Maßnahme eindeutig
nachzuweisen.
Experimentelle Designs
notwendig, meist nicht
realisierbar
Kontribution
Grundidee: Der Beitrag eines
Gebers wird gemessen
Theoriebasierte
Evaluierungsmethode, die
plausible Schlussfolgerungen
über den
Wirkungszusammenhang eines
Programms zulässt.
Analysiert warum Wirkungen
eingetreten sind
28
Exkurs: Von der Kontribution zum Mixed-Method Design
29
Ansätze
Theoriebasiert: basierend auf Programmtheorie bzw. Wirkungsgefüge
Quantitativ: basierend z.B. auf Umfragen
Qualitativ: basierend auf partizipativen Methoden und Einzelinterviews
Mixed-Method Design: Zusammenspiel aus obigen Ansätzen
Triangulation
Vorgehen: Bewusster Einsatz unterschiedlicher Erhebungsverfahren,
(Beobachtung, Leitfadeninterview, Fokusgruppen, Desk Study, etc.)
Ziel: Ausgleich verschiedenen „Fehler“ unterschiedlicher Datenquellen
Planungsphase: Vorgehen und Zusammenspiel der
Erhebungsinstrumente
30
Kaskadisches Vorgehen (Qualitativ Quantitativ, Quantitativ
Qualitativ)
Beispiel: explorative Interviews, Befragung,
Validierungsworkshop, Experteninterviews
Planungsphase: Evaluationssarten (extern)
Einzelgutachter
Kombination aus
Berichterstatter
(Berufsevaluator)
und Fachgutachter
(Professor)
Vorteil: deckt
Evaluations-
standards und
fachliche Aspekte
ab
31
Consulting Firma /
Institut
Professionelles
Institut in
Zusammenarbeit
mit lokalen
Gutachtern
Methodisch
versiert und
routiniert
Peer Review
Evaluation durch
Kommission aus
Fachgutachtern
(Professoren)
Fachliche Analyse
rückt in den
Vordergrund,
OECD DAC
Kriterien rücken in
den Hintergrund
Planungsphase: Zeitplan und Kostenkalkulation
Zeitplan wird konkretisiert
Finanzierung und Aufwand geschätzt
Ausschreibung/Vergabe erfolgt
33
Planungsphase Zusammenfassung: Erstellung der ToR /
Leistungsbeschreibung / Arbeitsplans
Zusammenfassung des
Programmhintergrundes
Erarbeitung der Leitfragen
anhand vordefinierter
Kriterien (DAC,
Wirkungsgefüge)
Methodenauswahl
Anforderungsprofil
Arbeitsaufwand und Kosten
34
Durchführungsphase
Ausarbeitung Evaluationsdesign & Erhebungsinstrumente
Erstellung Inception Report
Methodische Begleitung
Inhaltliche und organisatorische Begleitung
Organisation und Durchführung von weiteren Meetings und
Begehungen
Erstellung und Abnahme von Zwischen- und
Abschlussberichten: prüfen auf sachliche Korrektheit und
logische Stringenz
35
Durchführungsphase: Beispiel einer Evaluationsmatrix
Outcome: Kooperation zw. Forschern sind intensiviert
(Projektvorhaben, gem. Publikationen)
36
DAC
+
WG
Verwertungsphase
Implementierung der
Management Response
Prüfung der Umsetzung der
Management Response
Ggf. Dialog mit
Implementierungs-
verantwortlichen
Information Geldgeber
(BMBF, AA, BMZ, EU)
38