Embed Size (px)
Citation preview
Stabsstelle Monitoring und Evaluierung
Policy für Monitoring und Evaluierung der GIZ
Als Bundesunternehmen unterstützt die GIZ die deutsche Bundesregierung bei der Erreichung ihrer Ziele in der Internationalen Zusammenarbeit für nachhaltige Entwicklung.
Herausgeber Deutsche Gesellschaft für Internationale Zusammenarbeit (GIZ) GmbH T +49 228 44 60-0 (Bonn) T +49 61 96 79-0 (Eschborn) Sitz der Gesellschaft Bonn und Eschborn Friedrich-Ebert-Allee 40 53113 Bonn T +49 228 44 60-1877 F +49 228 44 60-2877 Dag-Hammarskjöld-Weg 1-5 65760 Eschborn T +49 61 96 79-1408 F +49 61 96 79-80 1408 E [email protected] I www.giz.de/monitoring Verantwortlich Martina Vahlhaus, Leiterin der Stabsstelle Monitoring und Evaluierung Projektleitung Claudia Kornahrens Autor Dr. Sylvia Schweitzer Druck Gedruckt auf 100 % Recyclingpapier, nach FSC-Standards zertifiziert Bonn und Eschborn, November 2013
3
Inhaltsverzeichnis
Seite
Vorwort 4
I. Einleitung 5
a. Neue Rahmenbedingungen für Monitoring und Evaluierungen der GIZ 5
b. Ziel und Zweck der Policy 6
II. Monitoring und Evaluierung: Definition und Zweck 6
a. Definition von Monitoring und Evaluierung 6
b. Nutzung von Monitoring und Evaluierung 7
III. M&E Instrumente in der GIZ 7
a. Wirkungsorientiertes Monitoring (WoM) 7
b. Projektevaluierungen 8
c. Unternehmensstrategische Evaluierungen 8
d. Zusammenschau von M&E Instrumenten und Zwecken 8
IV. Akteure für Monitoring und Evaluierung und ihre Rollen 9
V. Bewertungskriterien und -kategorien für M&E 11
VI. Qualitätskriterien und -standards für M&E 12
a. Qualitätskriterien für Wirkungsorientiertes Monitoring (WoM) 12
b. Qualitätsstandards für Evaluierung 13
VII. Nutzung von M&E Ergebnissen und Empfehlungen 14
4
Vorwort
Immer wieder sind neue Ideen gefragt, um maßgeschneiderte und nachhaltige Lösungen für
komplexe gesellschaftliche Aufgabenstellungen zu finden. Dabei ist Kreativität gefordert – und
der Mut, mit Realitätssinn Neuland zu beschreiten, denn in der internationalen Zusammenarbeit
(IZ) laufen Veränderungen selten gradlinig ab. Dennoch gilt es, diese Veränderungen
bestmöglich zu gestalten. Dafür sind Monitoring und Evaluierungen (M&E) ein grundlegender
Baustein. Denn nur wer weiß, warum etwas im einen Fall gut funktioniert hat und an anderer
Stelle nicht, wird künftig in ähnlichen Situationen den richtigen Weg für eine nachhaltige
Entwicklung finden.
Der Erfolg der GIZ als Dienstleister in der IZ hängt wesentlich vom Nachweis der Wirkungen
und Effizienz ihrer Arbeit ab. Zum einen erfordert die Steuerung von Aufträgen einen klaren
Blick dafür, wo ein Programm steht, welche Wege Erfolg versprechen und aus welchen
Erfahrungen gelernt werden kann. Zum anderen verlangen die Aufraggeber und Partner der
GIZ und auch die Öffentlichkeit, dass das Unternehmen Auskunft über die Wirkungen seiner
Arbeit gibt.
Aus Erfolgen und Misserfolgen zu lernen, verlangt eine offene Fehler- und Lernkultur und
Lernprozesse, die unternehmensweit verankert sind und mit Leben gefüllt werden. M&E ist
daher zentraler Bestandteil der Unternehmensstrategien, des Programmmanagements und der
unternehmerischen Tätigkeit der GIZ als Dienstleister in der IZ für nachhaltige Entwicklung.
5
I. Einleitung
Als Bundesunternehmen unterstützt die GIZ die Bundesregierung dabei, ihre Ziele in der
internationalen Zusammenarbeit für nachhaltige Entwicklung zu erreichen und ist außerdem
weltweit aktiv in der internationalen Bildungsarbeit. Sie unterstützt ihre Partner auf lokaler,
regionaler, nationaler und internationaler Ebene in strategischen und konzeptionellen Fragen
sowie bei der Umsetzung ihrer politischen Ziele.
Wichtigster Auftraggeber der GIZ ist das Bundesministerium für wirtschaftliche Zusammenarbeit
und Entwicklung (BMZ). Darüber hinaus ist die GIZ für weitere Bundesressorts – darunter das
Auswärtige Amt, das Bundesministerium für Umwelt, Naturschutz, Bau und Reaktorsicherheit,
das Bundesministerium der Verteidigung, das Bundesministerium für Wirtschaft und Energie
und das Bundesministerium für Bildung und Forschung –, für Bundesländer und Kommunen
sowie für öffentliche und private Auftraggeber im In- und Ausland tätig. Dazu gehören
beispielsweise Regierungen anderer Länder, die Europäische Kommission, die Vereinten
Nationen und die Weltbank. Die GIZ kooperiert intensiv mit der Privatwirtschaft und trägt zu
einem sinnvollen Zusammenspiel von Entwicklungs- und außenwirtschaftlichen Aktivitäten bei.
a. Neue Rahmenbedingungen für Monitoring und Evaluierungen der GIZ
Die M&E Policy der GIZ baut auf der langjährigen Evaluierungserfahrung des Unternehmens
auf. Gleichzeitig nimmt sie Bezug auf die neuen Rahmenbedingungen für M&E, die sich durch
Veränderungen im politischen Umfeld der IZ, bei Auftraggebern, Partnern und im Unternehmen
ergeben haben.
In den letzten Jahren hat sich mit der Orientierung auf Development Effectiveness ein Wandel
in der IZ vollzogen. Diese findet angesichts von Programm- und Budgetorientierung tendenziell
stärker auf der Ebene der regionalen und nationalen Politik statt, während sich die erhofften
Wirkungen, durch die Ausrichtung an den Millennium Development Goals, immer stärker auf
der Ebene von Individuen und Haushalten manifestieren sollen. Hinzu kommt, dass mehr und
mehr Akteure im internationalen Raum Entwicklungsbeiträge leisten. Zu diesen Akteuren zählen
u.a. verschiedene Ministerien der Geberländer, private Stiftungen, die Privatwirtschaft, die
Zivilgesellschaft, Schwellenländer, die zunehmend selber als Geber in Erscheinung treten, und
nicht zuletzt Empfängerländer selbst mit ihren wachsenden Eigenbeiträgen. Damit wird die
Erfassung von Wirkungen der Arbeit der GIZ immer schwieriger aber auch immer notwendiger.
Dieser Herausforderung muss sich die GIZ stellen.
Der veränderte Gesellschaftszweck der GIZ, die „Förderung der internationalen
Zusammenarbeit für nachhaltige Entwicklung und der internationalen Bildungsarbeit“, eröffnet
Marktchancen für die Zusammenarbeit mit neuen Kooperationspartnern und Auftraggebern,
zum Beispiel Regierungen, Stiftungen, privatwirtschaftliche Unternehmen und multi- und
bilaterale Geber. Die Europäische Union beispielsweise ist bereits jetzt ein wichtiger
Auftraggeber der GIZ neben der Bundesregierung und der neue Gesellschaftszweck ermöglicht
der GIZ, ihre Kompetenzen auch auf dem EU-Binnenmarkt anzubieten.
Kooperationspartner und Geber fragen M&E aus verschiedenen Blickwinkeln nach. Sie
verlangen den Einsatz hochwertiger M&E Systeme sowie einen belastbaren Wirkungsnachweis.
Zudem hat sich das Auftragsverfahren der GIZ mit ihrem Hauptauftraggeber, dem
Bundesministerium für wirtschaftliche Zusammenarbeit und Entwicklung (BMZ), verändert. Es
sieht statt Programmphasen die Vergabe von dreijährigen Modulen vor.
6
Von Öffentlichkeit und Fachwelt wird verstärkt gefordert, die Wirkungen der IZ nachzuweisen.
Transparenz wird ein immer wichtigeres Thema in der internationalen und nationalen
Diskussion über die Verbesserung der Wirksamkeit der Entwicklungszusammenarbeit.
Deutschland ist Mitglied der „International Aid Transparency Initiative“ (IATI). Die GIZ will die
dort verankerten gemeinsamen Standards für die Veröffentlichung von Informationen zur IZ
erfüllen.
b. Ziel und Zweck der Policy
Die M&E Policy der GIZ spiegelt die grundlegende Philosophie wieder, auf der M&E in der GIZ
fußt. Sie dient dazu:
1. die Bedeutung von M&E für das Unternehmen darzustellen;
2. Transparenz und Konsistenz herzustellen hinsichtlich der Prinzipen, Rollen,
Verantwortlichkeiten und Prozesse, die für M&E in allen Geschäftsbereichen des
Unternehmens gelten sollen;
3. Maßstäbe zu setzen für die methodische Qualität und ethische Durchführung und
Nutzung von M&E Ergebnissen.
Die M&E Policy richtet sich insbesondere an
1. Mitarbeiterinnen und Mitarbeiter der GIZ, die Monitoringsysteme aufbauen oder dabei
beraten;
2. Mitarbeiterinnen und Mitarbeiter der GIZ, die Evaluierungen beauftragen oder
durchführen;
3. Gutachterinnen und Gutachter, die mit dem Aufbau von Monitoringsystemen oder der
Durchführung von Evaluierungen von der GIZ beauftragt werden; und
4. Auftraggeber und Kooperationspartner in der IZ und die interessierte Öffentlichkeit.
II. Monitoring und Evaluierung: Definition und Zweck
a. Definition von Monitoring und Evaluierung
Unter Monitoring versteht die GIZ die kontinuierliche und systematische Beobachtung und
Erfassung des Programmfortschritts. Dieser wird durch die regelmäßige Überprüfung von
Zielgrößen anhand von Indikatoren und der Beurteilung des Programms aus Sicht der
wichtigsten Akteure gemessen. Im wirkungsorientierten Monitoring wird der gesamte
Veränderungsprozess beobachtet, der durch ein Programm ausgelöst wird. Dies ist ein
integraler Bestandteil des Programmmanagements.
Die GIZ lehnt ihre Definition von Evaluierung an die der DeGEval – Gesellschaft für Evaluation
– an.1 Evaluierung ist demnach zu verstehen als systematische Untersuchung des Wertes und
Nutzens eines Gegenstandes. Solche Evaluierungsgegenstände können Programme, und die
darin erbrachten Produkte und Leistungen oder Politiken und Strategien sein. Durch die
systematische Beschreibung und Analyse des Evaluierungsgegenstands wird dessen
Bewertung vorbereitet. Die erzielten Ergebnisse, Schlussfolgerungen oder Empfehlungen
müssen nachvollziehbar sein und auf empirisch gewonnenen qualitativen und / oder
quantitativen Daten beruhen. Evaluierung kann sowohl Programm-begleitend stattfinden als
auch abschließend.
1 DeGEval – Gesellschaft für Evaluation e.V. (2008) (Hrsg.): Standards für Evaluation, S. 15.
7
b. Nutzung von Monitoring und Evaluierung
Die GIZ nutzt M&E für folgende Zwecke:
Qualitätsverbesserung: Die GIZ nutzt Ergebnisse aus M&E, um zur Qualität und Wirksamkeit
der Arbeit des Unternehmens beizutragen. M&E ist daher wesentlicher Teil des
Qualitätsmanagements der GIZ.
Geschäftsentwicklung: M&E spielen bei der Gewinnung von Neuaufträgen von neuen
Auftraggebern sowie bei der Auftraggeberbindung eine entscheidende Rolle. M&E wird als
Qualitätsmerkmal der GIZ in Wert gesetzt. Es stärkt die Umsetzungskompetenz und damit die
Wettbewerbsfähigkeit des Unternehmens.
Lernen: Die GIZ nutzt Ergebnisse aus M&E für Lernprozesse in den Programmen und für den
unternehmensweiten Lernprozess.
Steuerung: Die Evidenz von Wirkungen wird so erhoben, dass sie in die Steuerungs-
Entscheidungen auf allen Ebenen eingehen kann, von einzelnen Programmen bis zu den
Führungs- und Steuerungsgremien. M&E legt damit die Grundlage für operative, strategische
und Managemententscheidungen.
Berichterstattung und Rechenschaftslegung: Die GIZ nutzt M&E, um Rechenschaft über
ihre Arbeit gegenüber ihren Auftraggebern und der Öffentlichkeit abzulegen. Ein Teil von
Rechenschaftslegung, der für alle Auftraggeber der GIZ eine besonders hohe Bedeutung hat,
ist die Berichterstattung über erzielte Wirkungen. M&E liefert dafür empirisch fundierte Evidenz.
III. M&E Instrumente in der GIZ
Grundlage und Ausgangspunkt des M&E Systems und damit aller M&E Instrumente ist das
Wirkungsmodell der GIZ. Es bildet den Veränderungsprozess in einem Sektor ab und
verdeutlicht darin die Ansatzpunkte eines Programms. Auf seiner Basis wird das
wirkungsorientierte Monitoring aufgebaut. Darüber hinaus gilt es als Referenz für die Bewertung
von Programmen in Evaluierungen.
a. Wirkungsorientiertes Monitoring (WoM)
Das wirkungsorientierte Monitoring (WoM) ist ein wichtiger Bestandteil des Managements eines
Programms. Es ermöglicht einen daten-gestützten regelmäßigen Dialog über die Wirkungen
eines Programms. Monitoringsystem und -verfahren der Partner werden für das Monitoring der
Maßnahme soweit möglich genutzt. Die Programmleitung und die Partner nutzen ihr WoM für
die Steuerung und stellen sicher, dass die wesentlichen Informationen den Fachkräften sowie
anderen Betroffenen und Interessierten zur Verfügung stehen.
Das WoM der GIZ hat zwei Funktionen: Einerseits liefert es dem Team und den Partnern
regelmäßig Hinweise darüber, wo das Programm in Bezug auf die angestrebten Wirkungen und
innerhalb des geplanten Prozesses steht und ob der eingeschlagene Weg den gewünschten
Erfolg verspricht. Andererseits dient das WoM dazu, blinde Flecken im Wirkungsmodell
aufzudecken und die Wirkungslogik des Programms zu hinterfragen. Dies erfolgt durch die
offene Erfassung der Perspektiven wichtiger Akteure und Stakeholder auf das Programm.
Dieses Vorgehen trägt der Komplexität von Programmen Rechnung, indem es
Unvorhergesehenes berücksichtigt.
8
b. Projektevaluierungen
Projektevaluierungen beinhalten den kritisch analytischen Rückblick auf die Wirkungen eines
Programms und seiner Teile (Module). Im Fall eines potentiellen Folgemoduls setzt sich die
Projektevaluierung mit weiteren Planungselementen für die Konzeption des Folgemoduls
auseinander. Projektevaluierungen werden standardmäßig bei allen Programmen durchgeführt,
die vom Bundesministerium für Wirtschaftliche Zusammenarbeit und Entwicklung (BMZ) in
Auftrag gegeben wurden und ein bestimmtes Mindestauftragsvolumen haben. Beauftragt
werden in der Regel Module, die eine Laufzeit von bis zu drei Jahren haben. Die
Projektevaluierung am Ende der Laufzeit ist verbindlich.
In allen Geschäftsbereichen bietet die GIZ die Anwendung von Projektevaluierungen
standardmäßig an. Dabei ist zu beachten, dass der jeweilige Auftraggeber die Ansprüche und
Zielsetzung an und von Evaluierung bestimmt.
c. Unternehmensstrategische Evaluierungen
Unternehmensstrategische Evaluierungen werden von der Stabsstelle M&E nach Entscheidung
des Vorstands in eigener Verantwortung finanziert und durchgeführt. Die Gegenstände
Unternehmensstrategischer Evaluierungen werden an Entscheidungsbedarfen und
Veränderungsprozessen des Unternehmens ausgerichtet. Dies beinhaltet auch die Lieferung
wichtiger Informationen für die Geschäftsentwicklung. Dabei identifiziert die GIZ selber
unternehmensstrategisch wichtige Lernfelder, die sowohl aus dem Bereich der
Leistungserbringung (wie Ansätze, Konzepte, Instrumente, Programme, Portfolios), als auch
der Strategie (wie Politiken, Strategien, Konzepte, Initiativen des Unternehmens) stammen.
Die Evaluierungen orientieren sich am Ansatz der nutzungsorientierten Evaluierung (utilization-
focused evaluation nach Michael Q. Patton), d.h. es wird versucht die Nutzung der
Evaluierungsergebnisse zu fördern, in dem das Erkenntnisinteresse, der Informationsbedarf
und die Umsetzungskapazitäten beteiligter Akteure bei der Konzipierung von
Unternehmensstrategischen Evaluierungen in den Mittelpunkt gestellt werden (intended use by
intended users). Dazu organisiert die Stabstelle einen Dialogprozess mit relevanten Akteuren
aus dem Unternehmen, der sich über den gesamten Prozess von Evaluierungen erstreckt.
Dieser beinhaltet die Entwicklung der Evaluierungsfragen, einen regelmäßigen Dialog und
schließlich Diskussionen über die Ergebnisse und deren Nutzung.
Die Themen für Unternehmensstrategische Evaluierungen werden anhand folgender Kriterien
ausgewählt:
Unternehmenspolitische Bedeutung,
Mittelfristiger Veränderungsbedarf,
Evidenzbedarf,
Evaluierbarkeit.
d. Zusammenschau von M&E Instrumenten und Zwecken
Das M&E-System der GIZ bedient die Zwecke Qualitätssicherung und –verbesserung,
Geschäftsentwicklung, Lernen, Steuerung, Berichtserstattung und Rechenschaftslegung auf
verschiedenen Ebenen.
In den Programmen verankert, ermöglicht das WoM eine fortlaufende kritische Reflektion und
Anpassung der eigenen Arbeit. Dies ist eine Voraussetzung für eine evidenzbasierte Steuerung
9
und für Lernen. Damit trägt es zur Verbesserung der Qualität, der Wirkungsorientierung und
letztlich der Wirkungen der Programme bei. Zudem liefern Evaluierungen von BMZ-
beauftragten Modulen und Evaluierungen von Programmen in anderen Geschäftsbereichen der
GIZ Informationen über Wirkungen, die erzielt wurden. Informationen aus Monitoring und
Evaluierung werden zum einen für die auftraggeberspezifische Berichterstattung verwendet. Sie
sind damit wichtig für die Pflege bestehender Kunden, was die Gewinnung von Neuaufträgen
unterstützen kann. Empirisch fundierte Informationen aus M&E Berichten über die Qualität der
Arbeit des Unternehmens werden zum anderen für die Gewinnung von Neukunden genutzt.
Zudem können mit der Entwicklung von überzeugenden Standards für M&E
auftraggeberspezifisch attraktive Angebote für Wirkungsorientierung gemacht werden.
Schließlich werden Informationen aus M&E für die Rechenschaftslegung gegenüber der
Öffentlichkeit genutzt.
Neben diesem unmittelbaren Nutzen auf Ebene der Programme legt das M&E-System auch die
Basis für die Sicherung und Verbesserung von Qualität und Wirkungen darüber hinaus. Die
übergreifende Auswertung von Lernerfahrungen aus (i) Evaluierungen in allen
Geschäftsbereichen des Unternehmens (beispielsweise auf sektoraler oder regionaler Ebene)
und (ii) unternehmensstrategischen Evaluierungen leistet einen wichtigen Beitrag zum
Wissensmanagement und der Strategieentwicklung des Unternehmens.
Die folgende Grafik veranschaulicht, zu welchen Zwecken die M&E Instrumente der GIZ
beitragen.
IV. Akteure für Monitoring und Evaluierung und ihre Rollen
Führungsebene
Im Rahmen des unternehmensweiten Strategieprozesses kann die Führungs- und
Managementebene Themen für unternehmensstrategische Evaluierungen vorschlagen. Für
10
jede unternehmensstrategische Evaluierung übernimmt ein Mitglied des Excecutive
Management Committee (EMC) – einem zentralen Beratungsgremium zur mittelfristigen
strategischen Ausrichtung des Unternehmens – die Patenschaft. Die Ergebnisse
unternehmensstrategischer Evaluierungen sowie programmübergreifender
Querschnittsauswertungen von Projektevaluierungen werden regelmäßig einem zentralen
Entscheidungsgremium des Unternehmens (dem Operativen Jour Fixe) vorgestellt. Auf der
Grundlage von Evaluierungsergebnissen verabschiedet dieses Gremium entsprechende
Umsetzungsvereinbarungen.
Operative Unternehmenseinheiten
Die operativen Einheiten umfassen alle Abteilungen an den Standorten in Deutschland und alle
Büros in der Außenstruktur des Unternehmens, die am Design und an der Durchführung von
Programmen beteiligt sind. Innerhalb der operativen Einheiten spielen die
Programmverantwortlichen eine besonders wichtige Rolle für M&E. Sie sind – in der Regel
gemeinsam mit den Partnern – für den Aufbau des WoM Systems verantwortlich. Die
Verantwortung für Vorbereitung, Durchführung und Umsetzung von M&E sowie die Auswertung
der Ergebnisse und Empfehlungen zur Nutzung im Programmkontext obliegt dem jeweiligen
Programmverantwortlichen. Die operativen Unternehmenseinheiten sind außerdem in die
regionale und sektorale Auswertung von Evaluierungen eng eingebunden. Mitarbeiter aus den
operativen Einheiten können in unternehmensstrategischen Evaluierungen Mitglied einer
Referenzgruppe sein. Die Referenzgruppe berät die Stabstelle in allen Fragen der
Durchführung einer unternehmensstrategischen Evaluierung.
Stabsstelle M&E
Die Stabsstelle Monitoring und Evaluierung ist im Unternehmen zentraler Ansprechpartner für
das Thema Monitoring und Evaluierung und hält die dafür notwendige Fachkompetenz vor. Als
Stabsstelle untersteht sie organisatorisch direkt dem Vorstand und ist vom operativen Geschäft
getrennt. Diese Organisationsstruktur stärkt ihre Unabhängigkeit.
Die Stabsstelle M&E
ist Dienstleisterin für alle Organisationseinheiten der GIZ. Sie berät die dezentral
organisierten operativen Unternehmenseinheiten bei Aufbau und Nutzung von
Monitoringsystemen und bei der Steuerung und Durchführung von Evaluierungen. Auf
zentraler Ebene stellt sie belastbare, evidenzbasierte Informationen für die
Unternehmensführung bereit, u.a. durch die unabhängige Durchführung von
Unternehmensstrategischen Evaluierungen;
überprüft die methodische Qualität der Projektevaluierungen;
entwickelt die M&E Verfahren, Instrumente und Standards der GIZ ständig weiter und
berät den Vorstand dahingehend, dass das M&E System des Unternehmens stets
aktuell gültigen nationalen und internationalen Standards entspricht und national wie
international fachlich anerkannt ist;
erfüllt die Funktion eines Wissensbrokers. Sie gestaltet institutionelle Lernprozesse zu
Evaluierungsergebnissen und trägt zum Wissensmanagement des Unternehmens bei.
Dies geschieht z.B. durch (i) die Bereitstellung von Evaluierungsergebnissen für den
Planungsprozess und für replizierbare innovative Ansätze sowie (ii) durch die
Auswertung von Evaluierungen und Studien Dritter;
11
dient als Eingangsportal für alle Anfragen, die das Deutsche Evaluierungsinstitut der
Entwicklungszusammenarbeit (DEval) im Rahmen seiner externen Evaluierungen an die
GIZ stellt;
vertritt die GIZ in Fachkreisen und arbeitet in Kooperationen und Netzwerken mit M&E
Einheiten von Auftraggebern, Durchführungsorganisationen und Forschungsinstitutionen
zusammen.
V. Bewertungskriterien und -kategorien für M&E
Die GIZ legt bei der Bewertung von Programmen und anderen Aspekten, die Gegenstand von
M&E sind, Bewertungskriterien an. Mit der Anwendung dieser Kriterien verfolgt sie
unterschiedliche Ziele.
Die Verwendung der Bewertungskriterien des Development Assistance Committee (DAC) der
Organisation für wirtschaftliche Zusammenarbeit und Entwicklung (OECD) gewährleistet die
internationale Anschlussfähigkeit der M&E Produkte der GIZ. Diese Kriterien sind wie folgt
definiert:
Relevanz: Misst das Ausmaß, in dem die Ziele des Programms im Einklang sind mit den
Prioritäten der Zielgruppe, des Partnerlandes und des Auftraggebers der Maßnahme.
Effektivität: Misst den Grad zu dem die geplanten Ziele erreicht werden.
Effizienz: Misst die Angemessenheit der für eine Entwicklungsmaßnahme eingesetzten
Ressourcen im Hinblick auf die damit erreichten Ziele.
Impact: Misst den Beitrag, der durch die Entwicklungsmaßnahme zu den angestrebten
übergeordneten entwicklungspolitischen Zielen und zu anderen positiven und negativen
Veränderungen direkt verursacht wurde oder zu denen die Maßnahme direkt oder in-
direkt beigetragen hat.
Nachhaltigkeit: Misst inwieweit die positiven Wirkungen der Entwicklungsmaßnahme
nach Ende des Programms fortdauern bzw. fortdauern werden.
Für Evaluierungen im Kontext der Humanitären Hilfe und Krisenprävention hat das DAC der
OECD weitere Kriterien festgelegt. Dies sind Kohärenz, Koordination und Deckungsgrad. Da
viele der GIZ Partnerländer durch politische Krisen und Konflikte gekennzeichnet sind, sind
diese Kriterien je nach Kontext mit zu betrachten.
Die Ausrichtung von M&E an den fünf Erfolgsfaktoren des Managementmodell der GIZ –
Capacity WORKS2 – stellt sicher, dass die Ergebnisse von M&E gut für das Management von
Aufträgen der GIZ genutzt werden können. Die Erfolgsfaktoren werden deshalb im Rahmen von
M&E berücksichtigt. Die Erfolgsfaktoren sind die Basis, auf der die Entwicklungsmaßnahme mit
den Partnern ausgehandelt wird und anhand derer die Beiträge der GIZ entwickelt werden. Die
Erfolgsfaktoren und die Schlüsselthemen, die sie beinhalten, stellen sich folgendermaßen dar:
Strategie: Strategische Ausrichtung, Entwicklung und Bewertung von Optionen, Capacity
Development-Strategie des Programms;
Kooperation:
o Nach innen: Kooperationssystem, Formen und Inhalte von Kooperationen, Rollen
und Verantwortlichkeiten
2 GTZ (2008): Capacity WORKS. Das Management Modell für Nachhaltige Entwicklung.
12
o Nach außen: Gestaltung von Partnerschaften, Aushandlung von
Tauschbeziehungen;
Steuerungsstruktur: Steuerungsmodell des Programms, wirkungsorientiertes Monitoring,
Entscheidungsfindung, Kommunikation und Verantwortung in der Steuerung;
Prozesse: Analyse der relevanten Prozesse im Partnerland, Gestaltung von Prozessen
und Prozesshierarchien, Prozessoptimierung und Schnittstellen;
Lernen und Innovation: Gestaltung einer kohärenten Lernarchitektur auf den Ebenen
Gesellschaft (mit Rahmenbedingungen und Kooperationssystemen), Organisation und
Person, Förderung der Lernkompetenz auf allen Ebenen.
Die Berücksichtigung der Erfolgsfaktoren ist Grundlage für unternehmensweite Lernprozesse
sowie das Lernen im Programm.
Da sich die Zielsetzungen von Evaluierungen und die Charakteristika der
Evaluierungsgegenstände unterscheiden können, müssen nicht immer alle Bewertungskriterien
und –kategorien angewendet werden. Die Auswahl bzw. der Ausschluss einzelner Kriterien und
Kategorien muss aber begründet werden.
VI. Qualitätskriterien und -standards für M&E
a. Qualitätskriterien für Wirkungsorientiertes Monitoring (WoM)
Um die Erkenntnisse aus dem Monitoringsystem erfolgreich mit den Partnern nutzen zu können
und eine nach Wirkungen ausgerichtete Steuerung des Programms zu ermöglichen, hat die GIZ
Qualitätskriterien für WoM Systeme formuliert. Ein gutes WoM System zeichnet sich demnach
durch vier Kernelemente aus, die jeweils mit Qualitätskriterien hinterlegt sind:
(a) Aufbau und Struktur
Die Grundlage für jedes WoM System ist die Wirkungslogik eines Programms, die im
Wirkungsmodell dargestellt ist. Sie wird bereits während der strategischen Planung entwickelt:
Ziele, Wirkungen, Indikatoren, Wirkungshypothesen und externe Faktoren werden in ein
Monitoringformat aufgenommen und mit Daten zur Ausgangssituation (Baseline) versehen.
Auch Datenerhebungsmethoden, Messintervalle und die Verantwortlichkeiten werden beim
Aufbau des WoM Systems vereinbart und festgehalten.
(b) Umsetzung und Steuerung
Damit die Nutzung der Monitoringdaten gelingt, versteht die GIZ das WoM-System als
integralen Bestandteil des Programmmanagements. Monitoringdaten liefern kontinuierlich einen
Hinweis auf den Stand der Wirkungserreichung und darauf ob und wie (um)gesteuert werden
muss. Die Verantwortung liegt bei der Programmleitung und den Partnern gemeinsam. Daher
ist es essentiell, dass das WoM System gemeinsam mit Partnern, Mittlern und
Programmmitarbeitern und –mitarbeiterinnen erarbeitet, von allen akzeptiert und in die
Entscheidungsmechanismen der Partner eingebettet wird. Auch die Bereitstellung der
notwendigen Ressourcen für die Umsetzung des WoM Systems ist von großer Bedeutung.
13
(c) Dokumentation und Lernen
Die Erkenntnisse aus Monitoringdaten über Wirkungen werden mit den Programmbeteiligten
reflektiert. Ergebnisse werden für die interne und externe Kommunikation sowie die
Berichterstattung dokumentiert und allen beteiligten Akteuren zugänglich gemacht, damit sie
auch für das institutionelle Lernen und die Geschäftsentwicklung genutzt werden können.
(d) Wirtschaftlichkeit
Um den Anforderungen an Effizienz und Wirtschaftlichkeit Rechnung zu tragen, sollten der
Umfang eines WoM Systems in einem angemessen Kosten-Nutzen Verhältnis stehen und
immer soweit möglich bestehende Systeme von Partnern nutzen.
b. Qualitätsstandards für Evaluierung
Die GIZ orientiert sich bei ihren Evaluierungen an den „Standards für Evaluation“ der
Gesellschaft für Evaluation (DeGEval) und den OECD-DAC „Qualitätsstandards für die
Entwicklungsevaluierung“. Als Basis für die Entwicklung von Instrumenten zur
Qualitätssicherung formuliert die Stabsstelle M&E Qualitätsstandards für die verschiedenen
Aspekte von Qualität: die Prozessqualität, die methodische Qualität und die Berichts- bzw.
Produktqualität.
Prozessqualität
Die Art und Weise, wie der Prozess einer Evaluierung gestaltet wird, ist für den späteren
Nutzen der Evaluierung sehr wichtig. Um die Evaluierung so nützlich wie möglich zu gestalten,
sollten folgende Standards erfüllt werden:
Klärung des Evaluierungszwecks: Der Zweck einer Evaluierung wird mit dem
Auftraggeber ausgehandelt und in der Aufgabenbeschreibung der Evaluatoren und im
Evaluierungsbericht klar dargestellt.
Beteiligung relevanter Stakeholder und intendierter Nutzer: Durch die Beteiligung
relevanter Stakeholder und intendierter Nutzer am Evaluierungsprozess wird die
Fairness der Evaluierung gefördert und die Akzeptanz gestärkt. Das
Erkenntnissinteresse, der Informationsbedarf und die Kapazitäten zur Umsetzung von
Evaluierungsergebnissen und –empfehlungen relevanter Stakeholder und Nutzer
müssen berücksichtigt werden.
Geeigneter Zeitpunkt: Evaluierungsergebnisse liegen so zeitgerecht vor, dass sie für
die Beantwortung steuerungsrelevanter Fragen und für unternehmensstrategische
Entscheidungen herangezogen werden können.
Glaubwürdigkeit und Kompetenz des Evaluierungsteams: Das Evaluierungsteam ist
so zusammengesetzt, dass es über alle erforderlichen Kenntnisse verfügt, die für die
professionelle Durchführung der Evaluierung notwendig sind. Dazu gehören fachliche,
methodische, sprachliche, kulturelle, institutionelle und regionale Kenntnisse.
Unabhängigkeit: Evaluatoren dürfen nicht in die Planung oder Durchführung des zu
evaluierenden Programms involviert gewesen sein. Die Evaluierungsberichte geben
ausschließlich die Meinung des Autors wieder. Evaluatoren erhalten freien Zugang zu
Informationen. Den Organisationseinheiten, die M&E in einem Unternehmen
verantworten, ist der Freiraum gegeben, das eigene Haus mit kritischen
Evaluierungsergebnissen zu konfrontieren.
14
Ethische Durchführung: Die Evaluierung unterliegt den Grundsätzen der Integrität und
Aufrichtigkeit. Evaluierungsmanager und Evaluatoren achten die Menschenrechte und
respektieren bei allen Beteiligten Unterschiede in Kultur, Sitten und Gebräuchen und
Glauben. Die Rechte und das Wohlergehen der an der Evaluierung Beteiligten werden
geschützt. Anonymität wird allen Informanten angeboten und wenn gewünscht oder bei
Bedarf zum Schutz des Individuums umgesetzt.
Dokumentation der Evaluierungsergebnisse: Evaluierungsergebnisse werden
systematisch dokumentiert, gespeichert und verbreitet.
Methodische Qualität
Die methodische Qualität einer Evaluierung bezieht sich auf die Anwendung der Methoden der
empirischen Sozialforschung zur Datenerhebung und –auswertung. Vier Standards sind für die
methodische Qualität von Bedeutung.
Angemessenheit: Die Methoden sind dem Evaluierungsgegenstand, der Fragestellung
der Evaluierung, ihrem Zweck, den Rahmenbedingungen und den zur Verfügung
stehenden finanziellen und zeitlichen Ressourcen angemessen.
Professionelle Anwendung: Als angewandte Forschung entspricht die Datenerhebung
und –auswertung im Rahmen von GIZ-Evaluierungen den methodischen Maßstäben der
empirischen Sozialforschung. Das heißt, auch bei knappen zeitlichen oder finanziellen
Ressourcen erfolgt die Datenerhebung und –auswertung und das Heranziehen von
Sekundärdaten und Hintergrundinformationen immer systematisch und nachvollziehbar.
Validierung: Um die Validität (d.h. die Gültigkeit) der Evaluierungsergebnisse sicher zu
stellen, werden verschiedene Methoden der Datenerhebung und –auswertung
trianguliert. Die Evaluatoren hinterfragen die Validität und die Generalisierbarkeit der
Ergebnisse kritisch, um ihr bei der Formulierung von Empfehlungen Rechnung tragen.
Intersubjektive Nachvollziehbarkeit: Der gesamte Evaluierungsprozess, insbesondere
die Datenerhebung und –auswertung, werden so dokumentiert, dass jeder
nachvollziehen kann, wie die Evaluatoren zu ihren Ergebnissen gelangen.
Berichts- bzw. Produktqualität
Im Bericht / Produkt werden der Evaluierungsprozess und die Evaluierungsergebnisse
nachvollziehbar, transparent, vollständig, ausgewogen und nutzerfreundlich dargestellt.
Empfehlungen sind für relevante Akteure nützlich und handlungsleitend.
VII. Nutzung von M&E Ergebnissen und Empfehlungen
Um von der Bereitstellung von Evidenz zu Veränderungen zu kommen, ist die GIZ in drei
Dimensionen tätig: interne und externe Kommunikation, Lernprozesse und Management
Response.
Kommunikation
Ergebnisse und Empfehlungen, die der Rechenschaftslegung dienen, werden veröffentlicht.
Innerhalb der GIZ sollen alle Evaluierungsberichte aus allen Geschäftsbereichen über eine
zentrale Datenbank verfügbar sein. Der interessierten Öffentlichkeit stehen im Sinne der
Transparenz Kurzberichte der Projektevaluierungen im Internet zur Verfügung. Alle zwei Jahre
veröffentlicht die GIZ zur Dokumentation ihrer Wirkungen und zur Darstellung der
15
Konsequenzen, die sie aus den Ergebnissen gezogen hat, einen Bericht über die M&E
Ergebnisse des Unternehmens. Darüber hinaus werden die Ergebnisse besonders
erkenntnisreicher Evaluierungen in Artikeln veröffentlicht und auf Konferenzen vorgestellt. Die
Stabsstelle M&E stellt im Internet außerdem Positionspapiere zu aktuellen Fachthemen zur
Verfügung.
Ein weiterer Aspekt der Nutzung von Daten aus den Programmen ist ihre Verwendung in der
Aggregierten Wirkungsberichterstattung, also der Programm- und länderübergreifenden Dar-
stellung von Wirkungen. Zu diesem Zweck erheben die Programme mithilfe standardisierter
Indikatoren in ausgewählten Sektoren Daten, die unternehmensweit für die Darstellung des
Erreichten in der Öffentlichkeit und gegenüber den Auftraggebern genutzt werden. Die GIZ hat
so die Möglichkeit, die Erfolge ihrer Arbeit übergreifend und konsolidiert zu präsentieren.
Lernprozesse
Als lernende Organisation hat die GIZ den Anspruch, Ergebnisse aus Monitoring und
Evaluierungen für den unternehmensweiten Lernprozess zu nutzen. M&E Erkenntnisse werden
dabei so aufbereitet und genutzt, dass ein Lernen im Programm, im Sektor als auch im
Unternehmen stattfinden kann. Zunächst wird auf Programmebene Wissen erworben. Um
davon als Unternehmen profitieren zu können, gilt es, dieses Wissen unternehmensweit in
weiterführende Prozesse zu integrieren. Hierfür ist ein Austausch auf verschiedenen Ebenen
erforderlich: horizontal zwischen den verschiedenen Organisationseinheiten des
Unternehmens, sowie vertikal zwischen den Hierarchieebenen von der Geschäftsführung bis
zum/zur einzelnen Mitarbeiter/in. Die zentrale Aufgabe besteht also darin, Erfahrungswerte so
aufzubereiten, dass unterschiedliche Akteure in verschiedenen Prozessen daraus lernen
können.
Um die Erkenntnisse aus M&E für den kontinuierlichen Verbesserungsprozess nutzbar zu
machen, hat die StS eine Reihe von Lerninstrumenten entwickelt.3 Diese institutionalisieren das
Lernen aus M&E, indem die Erkenntnisse auf den drei Lernebenen in den Prozess
zurückgeführt werden. Dazu gehören u.a. Lernveranstaltungen und der Dialog mit den sektoral
aufgestellten Fachverbünden der GIZ. Lernveranstaltungen z.B. in Form von Lerncafés bieten
die Möglichkeit, sich fachübergreifend über Evaluierungsergebnisse auszutauschen. Daran
nehmen nicht nur die unmittelbar Beteiligten und Verantwortlichen teil, sondern alle, für die die
Evaluierungserkenntnisse von Nutzen sein können.
Management Response
Um sicherzustellen, dass sich das Unternehmen systematisch mit Empfehlungen aus M&E
auseinandersetzt, wird von der Stabsstelle ein Management Response System koordiniert.
Hierin werden Zustimmung zu bzw. Ablehnung von Empfehlungen aus Evaluierungen
systematisch dargestellt und begründet. Darüber hinaus werden Schritte zur Umsetzung von
Empfehlungen verbindlich vereinbart. Die Stabsstelle M&E überprüft den Stand der Umsetzung
akzeptierter Empfehlungen regelmäßig.
Erst wenn aus M&E Konsequenzen gezogen und Veränderungen angestoßen werden, wirkt
M&E und kann einen Beitrag zur nachhaltigen Entwicklung leisten.
3 Nähere Informationen zu Lerninstrumenten finden sich in: GIZ (2013): Lernen aus Evaluierung. Prozesse und Instrumente der GIZ
als lernende Organisation und der Beitrag zum interorganisationalen Lernen. Internet: www.giz.de/monitoring ► Lernen aus Evaluierung
16
Deutsche Gesellschaft für Internationale Zusammenarbeit (GIZ) GmbH Sitz der Gesellschaft Bonn und Eschborn Friedrich-Ebert-Allee 40 53113 Bonn T +49 228 44 60-1877 F +49 228 44 60-2877 Dag-Hammarskjöld-Weg 1-5 65760 Eschborn T +49 61 96 79-1408 F +49 61 96 79-80 1408 E [email protected] I www.giz.de/monitoring
