Upload
others
View
1
Download
0
Embed Size (px)
Citation preview
EVALUIERUNGSBERICHT
Institutionelle Evaluierung des Deutschen Evaluierungsinstituts der
Entwicklungszusammenarbeit (DEval)
MÄRZ 2017
IMPRESSUM evalag (Evaluationsagentur Baden-Württemberg) Stiftung des öffentlichen Rechts M 7, 9a-10, 68161 Mannheim www.evalag.de
Institutionelle Evaluierung des DEval, Bonn – 2017 1
Institutionelle Evaluierung des Deutschen Evaluierungsinstituts der
Entwicklungszusammenarbeit (DEval), Bonn
Evaluierungsbericht
1. März 2017
Inhaltsverzeichnis
1 Zusammenfassung .............................................................................................. 2
2 Grundlagen des Verfahrens ................................................................................. 7
2.1 Auftrag und Zielsetzung des Verfahrens ............................................. 7
2.2 Gutachtergruppe .................................................................................. 7
2.3 Verfahrensgestaltung ........................................................................... 8
3 Begutachtungsbericht ........................................................................................ 11
3.1 Ausgangssituation ................................................................................... 11
3.2 Governance ............................................................................................. 12
3.2.1 Ressortforschungseinrichtung ........................................................... 16
3.3 Selbstverständnis und Strategie .............................................................. 18
3.3.1 Organisationsentwicklung .................................................................. 19
3.3.2 Personal ............................................................................................. 21
3.3.3 Evaluierung ........................................................................................ 24
3.3.4 Methodenentwicklung ........................................................................ 26
3.3.5 Evaluation Capacity Development ..................................................... 28
3.3.6 Kommunikation mit den Zielgruppen ................................................ 29
3.3.6.1 Wissenschaftlicher Austausch ........................................................... 31
3.4 Wirtschaftlichkeit ...................................................................................... 32
Anhang 1: Begutachtungsfelder ............................................................................... 34
Anhang 2: Bewertungsgrundlagen ........................................................................... 37
Anhang 3: Tabellarische Übersicht der Empfehlungen ............................................ 39
Institutionelle Evaluierung des DEval – 2017 2
1 Zusammenfassung
Das Deutsche Evaluierungsinstitut der Entwicklungszusammenarbeit (DEval) mit Sitz
in Bonn wurde Ende 2011 vom Bundesministerium für wirtschaftliche Zusammenarbeit
und Entwicklung (BMZ) auf der Grundlage eines 2010 gefassten Kabinettsbeschlusses
gegründet und im November 2012 durch einen Festakt eröffnet. Anlass war der ge-
wachsene Bedarf an politikrelevanten, unabhängigen und methodisch fundierten Eva-
luierungen der Entwicklungszusammenarbeit (EZ) sowie an mehr Transparenz zu den
Ergebnissen der EZ. Das BMZ folgte damit dem Befund einer von ihm veranlassten
„Systemprüfung“, die eine „Schieflage“ der Evaluierung der EZ konstatierte (zu wenige
strategische Evaluierungen) und u. a. die Einrichtung einer Evaluierungsagentur emp-
fahl.1 Auch die OECD mahnte anlässlich der DAC Peer Review 2010 entsprechende
Verbesserungen an und begrüßte die Reformabsicht.
Zweck des DEval ist „die Förderung der Entwicklungszusammenarbeit durch unabhän-
gige Analysen und Bewertungen der Wirksamkeit, Wirtschaftlichkeit und Nachhaltigkeit
von Maßnahmen der Entwicklungszusammenarbeit sowie die Erarbeitung von Emp-
fehlungen für deren Verbesserung. Ferner fördert die Gesellschaft die Leistungsfähig-
keit von Menschen und Organisationen in Kooperationsländern, eigene Analysen und
Bewertungen durchzuführen.“2
Das neu gegründete Institut steht vor der Herausforderung, sich innerhalb des viel-
schichtigen Gefüges der deutschen EZ als neuer Akteur an der Schnittstelle von Poli-
tik, Durchführungspraxis und Wissenschaft zu etablieren und dabei einem neuen Auf-
trag gerecht werden, nämlich mit seinen Evaluierungsergebnissen für das EZ-System
strategisch relevante Steuerungsimpulse zu setzen.3 Zugleich muss es sich Anerken-
nung als methodisch führendes Evaluierungsinstitut erarbeiten.
Der institutionelle Aufbau des DEval begann in der zweiten Jahreshälfte 2012 mit ei-
nem kleinen Mitarbeiterstab „von Null“ an (Personalrekrutierung, Etablierung einer ei-
genständigen Verwaltung, Festlegung zentraler administrativer und auf die Evaluie-
rungstätigkeit bezogener Prozesse etc.). Ein Wechsel der ersten Geschäftsführung im
Sommer 2014, der bis April 2015 die Übernahme der Interimsgeschäftsführung durch
eine Vertreterin des BMZ erforderlich machte, und eine hohe Personalfluktuation ha-
ben bis weit in das Jahr 2015 hinein die Organisationsentwicklung und Profilierung des
Instituts erschwert. Zwei von insgesamt drei Fachabteilungsleitungen sowie die Lei-
tung des sogenannten Kompetenzzentrums Methoden (KZM), die auch mit der Funk-
tion der stellvertretenden Geschäftsführung verknüpft ist, konnten erst zwischen Sep-
tember 2015 und Juni 2016 besetzt werden.
Die Gutachtergruppe ist vor diesem Hintergrund sowie ausgehend von den ihr zur Ver-
fügung stehenden Unterlagen und den beim Vor-Ort-Termin gewonnenen Eindrücken
zu der Einschätzung gelangt, dass das DEval 2016 noch mit dem grundlegenden Auf-
bau des Instituts und dem Erreichen operativer Handlungsfähigkeit befasst war. Der
1 Vgl. Axel Borrmann / Reinhard Stockmann: Evaluation in der deutschen Entwicklungszusammenar-
beit. Bd. 1: Systemanalyse. (Waxmann) Münster 2009, S. 160-162, S. 165.
2 Gesellschaftsvertrag des DEval, § 2.
3 Systembedingt evaluieren die Durchführungsorganisationen Deutsche Gesellschaft für Internationale
Zusammenarbeit (GIZ) und Kreditanstalt für Wiederaufbau (KfW), die über eigene Evaluierungsstäbe
und -mittel verfügen, maßnahmenbezogen und nur in ihrem jeweiligen Zuständigkeitsbereich.
Institutionelle Evaluierung des DEval – 2017 3
Schwerpunkt lag dabei auf dem für das DEval entscheidenden Handlungsfeld Evaluie-
rung. Eine darüber hinausgehende strategische Positionierung ist erst in Ansätzen er-
folgt, grundlegende Konzepte und Strategien sind noch zu vervollständigen.
Die Gutachtergruppe erkennt in diesem Zusammenhang ausdrücklich an, was die Lei-
tung und die Mitarbeiterinnen und Mitarbeiter des DEval gemeinsam mit Verantwortli-
chen im BMZ, insbesondere dem zuständigen Fachreferat für Evaluierung und Res-
sortforschung, und auch unterstützt durch die Beiratsmitglieder des DEval, erreicht ha-
ben.
Nach Auffassung der Gutachtergruppe ist nun der Zeitpunkt erreicht, um für die zu-
kunftsfähige Weiterentwicklung des DEval wichtige Weichenstellungen anzugehen.
Dazu will die Gutachtergruppe Hinweise geben, Chancen und Risiken aufzeigen und
Empfehlungen aussprechen.
Sie bezieht sich dabei zum einen auf übergreifende, strukturelle Rahmenvorgaben, die
die Arbeit des DEval definieren, vom DEval selbst aber nicht verändert werden kön-
nen: Mit den entsprechenden Empfehlungen wendet sich die Gutachtergruppe an die
Führungsebene des BMZ und weitere politisch Verantwortliche. Zum anderen greift die
Gutachtergruppe Aspekte auf, die im Verantwortungsbereich des DEval liegen. Sie
richtet die entsprechenden Empfehlungen an die Leitung des Instituts. Außerdem legt
die Gutachtergruppe ihre Einschätzung zur Wirtschaftlichkeit der Institutslösung dar.
Die wichtigsten Empfehlungen an das BMZ und das DEval sind im Folgenden zusam-
mengefasst. Einschätzungen und Bewertungen der Gutachtergruppe, die den jeweili-
gen Empfehlungen zugrunde liegen, sowie detaillierte weitere Empfehlungen sind Ka-
pitel 3 zu entnehmen. Anhang 3 listet alle Empfehlungen tabellarisch auf.
Die Gutachtergruppe hat bei der Bewertung berücksichtigt, dass das DEval ein junges
Institut in einer Übergangssituation ist. Sie hofft, dass die hier vorgelegten Befunde
und Empfehlungen von beiden Adressatenkreisen als konstruktive Beiträge aufgenom-
men werden und das DEval als Institution und Akteur im (inter-)nationalen EZ-Feld vo-
ranbringen werden.
Governance
Die Gutachtergruppe knüpft mit ihren Empfehlungen zur Governance an Befunde des
OECD DAC Peer Review Germany 2015 an: „Um zu gewährleisten, dass das DEval
seinem Auftrag vollkommen unparteiisch und unabhängig nachgehen kann, muss das
BMZ u. U. weiter über die Governance der neuen Einrichtung nachdenken, u. a. über
die Rolle seines Beirats sowie über die Berichtswege zur Bundesregierung.“4 Sie legt
dem BMZ deshalb nahe, die Unabhängigkeit des Instituts künftig nicht mehr allein auf
wissenschaftliche Unabhängigkeit zu beschränken, sondern zu einem umfassenden,
deutlich sichtbaren Strukturmerkmal des DEval auszubauen. Sie verweist dazu auf
den bereits 1991 in den „Principles for Evaluation of Development Assistance“ festge-
haltenen Standard: „Impartiality and independence will best be achieved by separating
the evaluation function from the line management responsible for planning and manag-
ing development assistance. This could be accomplished by having a central unit re-
sponsible for evaluation reporting directly to the minister […] or to a board of directors
or governors of the institution.”5
4 OECD DAC Peer Review Germany 2015, deutsche Fassung, S. 80.
5 DAC: Principles for Evaluation of Development Assistance. Paris 1991, S. 6: Institutional Structure for
Managing Evaluation.
Institutionelle Evaluierung des DEval – 2017 4
Die Gutachtergruppe empfiehlt deshalb, dem DEval als Zeichen seiner auch institutio-
nellen Unabhängigkeit und seines Stellenwerts im deutschen EZ-System einen direk-
ten Berichtsweg zum Parlament und/oder unmittelbar zur Hausspitze des BMZ zu er-
öffnen. Beispielsweise berichtet die Independent Evaluation Group der Weltbank direkt
an den Aufsichtsrat. Der Internal Oversight Service der UNESCO oder auch das Eva-
luierungsdepartment im Bereich Entwicklungszusammenarbeit des Ministeriums für
Auswärtige Angelegenheiten der Niederlande (IOB) verfügen über direkte Berichts-
wege zu den Führungsebenen ihrer Institutionen. In Bezug auf die Form der Berichter-
stattung regt die Gutachtergruppe an, sich gemeinsam mit dem DEval über angemes-
sene, gut rezipierbare Formate zu verständigen.
Hinsichtlich der im Gesellschaftsvertrag des DEval als erforderlich festgelegten Ge-
samtzustimmung des BMZ zum vom DEval selbst festgelegten Mehrjährigen Evaluie-
rungsprogramm (MEP), rät die Gutachtergruppe dazu, den formalen Charakter dieses
Vorgangs in der Außendarstellung transparenter zu machen und so die Unabhängig-
keit des DEval zu unterstreichen.
In Bezug auf den für die Aufgabenerfüllung des DEval notwendigen Zugang zu Daten
und Dokumenten empfiehlt die Gutachtergruppe, in Anlehnung an die mit dem BMZ in
abschließender Vorbereitung befindliche Regelung, auch mit den Durchführungsorga-
nisationen eine entsprechende Vereinbarung festzulegen.
Die Gutachtergruppe rät dem DEval außerdem eine klare Entscheidung in Bezug auf
den Status des DEval als Ressortforschungseinrichtung und die damit verbundenen
Konsequenzen zu treffen. Dazu gilt es, die mit diesem Status verbundenen Vorteile
und Chancen gegenüber den Risiken unter strategischen Gesichtspunkten gemeinsam
mit dem BMZ nochmals abzuwägen und sich dabei an den „Leitlinien für eine moderne
Ressortforschung“6 zu orientieren. Sie legt dem DEval nahe, Kontakt mit anderen Res-
sortforschungseinrichtungen aufzunehmen, um von deren Erfahrungen, auch in Bezug
auf Best Practice (Strukturen, Prozesse, Schnittstellen zu zuständigen Ministerien, Or-
ganisationsentwicklung etc.), lernen zu können.
Die Gutachtergruppe empfiehlt dem DEval aber in jedem Fall sich künftig konsequen-
ter forschungsorientiert auszurichten und diese Ausrichtung im Selbstverständnis und
der Strategie des Instituts deutlich zur Geltung zu bringen sowie in allen Institutsberei-
chen und Handlungsfeldern umzusetzen.
Zur grundsätzlichen Stärkung der wissenschaftlichen Unabhängigkeit des DEval emp-
fiehlt die Gutachtergruppe dem BMZ die Einrichtung zweier getrennter Beratungsgre-
mien für das DEval, nämlich zum einen eines wissenschaftlichen Beirats und zum an-
deren eines Nutzerbeirats, der der Einbindung verschiedener Stakeholder des DEval
dient.
Sollte sich das BMZ gemeinsam mit anderen Ministerien auf eine ressortübergreifende
Tätigkeit des DEval verständigen, regt die Gutachtergruppe an, ein übergeordnetes,
mit steuerungsrelevanter Entscheidungsbefugnis ausgestattetes Kuratorium zu schaf-
fen, in dem alle beteiligten Ministerien sowie Mitglieder aller im Bundestag vertretenen
Fraktionen und die Vorsitzenden der beiden Beiräte vertreten sind.
In Bezug auf das Handlungsfeld Evaluation Capacity Development empfiehlt die Gut-
achtergruppe dem BMZ, das DEval in beratender Funktion einzubeziehen, sofern es in
die Konzeption einer ECD-Strategie eintritt.
6 Bundesministerium für Bildung und Forschung für die Bundesregierung: Zehn Leitlinien für eine mo-
derne Ressortforschung, 2007.
Institutionelle Evaluierung des DEval – 2017 5
Selbstverständnis und Strategie
Das DEval strebt an, sich als ein Referenzinstitut für wissenschaftlich fundierte und
strategisch wie politisch relevante Evaluierungsarbeit der EZ aufzustellen. Dabei will
sich das DEval zum einen durch seine unabhängige Evaluierungsarbeit als nutzenstif-
tender und strategisch bedeutsamer Akteur in der deutschen EZ positionieren. Zum
anderen will sich das DEval wissenschaftlich durch die Anwendung und Weiterentwick-
lung von Evaluierungsmethoden und -designs sowie durch Interdisziplinarität, Metho-
denpluralismus und entwicklungspolitische Expertise im Themenfeld der EZ profilieren.
Die Gutachtergruppe hält diese komplementäre Zielsetzung für zukunftsfähig und auch
für zwingend: Für die Etablierung als Referenzinstitut sind exzellente Evaluierungen
die Voraussetzung. Diese sind nach Auffassung der Gutachtergruppe wiederum nur
durch die Kenntnis und Anwendung sowie die Entwicklung exzellenter Methoden und
damit starke Wissenschafts- und auch Forschungsbezüge realisierbar.
Die Gutachtergruppe empfiehlt dem DEval daher seine Zielsetzung, zielorientiert anzu-
gehen und sowohl in der Außendarstellung als auch DEval-intern deutlich und verbind-
lich zu machen. Sie rät in diesem Zusammenhang dazu, das übergeordnete Ziel durch
kohärente strategische Ansätze und Maßnahmen für die einzelnen Handlungsfelder
und die Organisationsentwicklung des DEval zeitnah zu konkretisieren. Sie gibt dazu
weitere Hinweise in den Teilkapiteln 3.3.1 bis 3.3.6.
Die Gutachtergruppe empfiehlt dem DEval außerdem, seine Aktivitäten (insbesondere
die MEP-Planung) künftig konsequent an Resultaten bzw. am angestrebten Impact auf
das Gesamtsystem der Entwicklungszusammenarbeit auszurichten. Voraussetzungen
dafür sind klare Zielsetzungen und eine übergeordnete Programmtheorie, welche Ver-
änderungswirkungen das DEval mit Hilfe welcher Aktivitäten sowohl im Bereich der
Evaluierungsmethodik als auch im EZ-Bereich (thematisch und/oder institutionell) er-
reichen will. Relevanz der Themen und Qualität der Produkte sollten Vorrang vor
Quantität haben.
Personal
Die Gutachtergruppe regt gegenüber dem BMZ eine flexiblere Gestaltung von Gehalts-
komponenten (insbesondere für Teamleitungsstellen) sowie nach Möglichkeit eine mo-
derate Erhöhung der unbefristeten Teamleitungsstellen des DEval an. Außerdem emp-
fiehlt die Gutachtergruppe zu überprüfen, ob der bei der Institutsgründung festgelegte
administrative Betreuungsschlüssel nach wie vor ausreichend ist.
Die Gutachtergruppe unterstützt Big Data- und Open Data-Vorhaben des DEval und
legt dem BMZ deshalb nahe, eine qualifizierte personelle Verstärkung für diesen Be-
reich des DEval zu ermöglichen.
Wirtschaftlichkeit
Die Frage nach der Wirtschaftlichkeit der Institutslösung ist für die Gutachtergruppe
schwer zu beantworten. Die Wirtschaftlichkeit bzw. die Effektivität und Effizienz des
DEval lassen sich ihrer Auffassung nach zweckmäßig in erster Linie qualitativ und an-
hand von Veränderungswirkungen bestimmen, die durch Resultate des DEval (mit-)
angestoßen werden. Dieser Impact bezieht sich sowohl auf die Ebene der politischen
Steuerung als auch auf die Tätigkeit der (nicht-)staatlichen Durchführungsorganisatio-
nen und auf die der Partnerländer. Berücksichtigt werden muss aus Sicht der Gutach-
tergruppe auch der Beitrag des DEval zum wissenschaftlichen Erkenntnisfortschritt im
Bereich der Evaluierungsmethodenforschung. Für entsprechende Erfolgsbewertungen
Institutionelle Evaluierung des DEval – 2017 6
ist es aus Sicht der Gutachtergruppe aber noch zu früh. Sie hält die vorhandene Da-
tenbasis sowohl für qualitativ als auch für quantitativ fundiert begründete Aussagen
noch für zu klein.
Zum gegenwärtigen Zeitpunkt weist die Gutachtergruppe deshalb darauf hin, dass die
institutionelle Förderung des DEval in Höhe von 7.398 T€ (Plan) 7 im Vergleich zum
Gesamtetat des BMZ für das Haushaltsjahr 2016 (7,407 Mrd. EUR) mit stark steigen-
der Tendenz für 2017 (8,541 Mrd. EUR) nur einen Anteil von weniger als 0,1 % er-
reicht. Dies erscheint der Gutachtergruppe eine vertretbare Größenordnung, um die
Gründungszwecke des DEval zu verwirklichen. Zugleich sieht sie das DEval in der
Verantwortung, im Rahmen seiner weiteren Strategieplanung und Profilbildung Er-
folgsziele und mit ihnen verbundene qualitative und quantitative Indikatoren festzule-
gen, die eine stichhaltige Erfolgskontrolle des Impacts des DEval8 ermöglichen. Eine
aussagekräftige Überprüfung der Zielerreichung und der Wirtschaftlichkeit der Organi-
sationsstruktur und internen Prozesse des DEval könnte dann beispielsweise im Rah-
men einer erneuten externen institutionellen Evaluierung in drei bis fünf Jahren stattfin-
den.
7 Vgl. Bundeshaushaltsplan 2016. Einzelplan 23: Bundesministerium für wirtschaftliche Zusammenar-
beit und Entwicklung, S. 43, 46-47. Das DEval erhält als Projektträger im Wege der Projektförderung
zusätzliche Mittel im Bereich Evaluation Capacity Development (2016 (Plan): 750 TEUR, siehe S. 43,
68.
8 Dabei könnte ggf. auf die in der „Ausgangserhebung zum DEval und seinem Umfeld“ (Berichtslegung
2015; eines der ersten Projekte der Gründungsleitung) benannten langfristigen Impact-Erwartungen an
das Institut Bezug genommen werden, z. B. „Vom DEval (weiter)-entwickelte Designs und Methoden
werden in Evaluierungen der (inter-)nationalen EZ genutzt und in der wissenschaftlichen Debatte auf-
gegriffen.“; „Die Transparenz in der deutschen EZ ist erhöht.“
Institutionelle Evaluierung des DEval – 2017 7
2 Grundlagen des Verfahrens
2.1 Auftrag und Zielsetzung des Verfahrens
Im Auftrag des Bundesministeriums für Entwicklungszusammenarbeit (BMZ) führte
evalag (Evaluationsagentur Baden-Württemberg), Stiftung des öffentlichen Rechts,9 im
Zeitraum vom 1. Juli 2016 bis zum 1. März 2017 die externe Evaluierung des Deut-
schen Instituts der Entwicklungszusammenarbeit (DEval), Bonn durch. Die Evaluie-
rung erfolgte auf der Grundlage eines Peer-Review-Verfahrens.
Ziel des Verfahrens war es, dem BMZ Erkenntnisse und Einschätzungen zu Stärken
und eventuellen Schwachstellen des DEval bereitzustellen und ggf. Vorschläge für
eine Weiterentwicklung zu geben.
Zu diesem Zweck wurde vom Auftraggeber folgende Aufgabenstellung vorgegeben:
Analyse und Bewertung des Stands der Zielerreichung der bei der Gründung
des DEval festgelegten Ziele sowie der in den verschiedenen Aufgabenberei-
chen des DEval zu diesem Zweck erbrachten Leistungen und der dazu imple-
mentierten Organisationsstruktur und Ressourcenausstattung; Prüfung der An-
gemessenheit und – soweit möglich – der Wirtschaftlichkeit der Institutslösung;
Erarbeitung von Empfehlungen zur Profilierung in den verschiedenen Aufgaben-
bereichen des DEval sowie des Instituts als Gesamtheit und erforderlichenfalls
zur Weiterentwicklung der Organisationsstruktur (auch unter dem Gesichtspunkt
der Anforderungen an die Wahrnehmung der Aufgaben als Ressortforschungs-
reinrichtung des Bundes).
Das Evaluierungsverfahren ist formativ ausgerichtet. Der Evaluierungsbericht enthält
daher neben einer Bewertung des Status quo auch Einschätzungen zur weiteren Ent-
wicklung und zeigt Zukunftspotentiale des DEval auf.
2.2 Gutachtergruppe
Der internationalen Gutachtergruppe gehörten drei Fachgutachterinnen und ein Fach-
gutachter an. Die Mitglieder wurden in Abstimmung mit dem Auftraggeber festgelegt.
Kriterien für die Mitwirkung waren
international anerkannte (Gutachter-)Tätigkeit im Bereich Evaluierung in der
internationalen Entwicklungszusammenarbeit,
ausgewiesene Expertise in Bezug auf Evaluierungsmethodik und Evaluie-
rungsstandards,
Wahrnehmung von Leitungsfunktionen im Bereich Evaluierung mit Bezügen
zur internationale Entwicklungszusammenarbeit,
Erfahrung in der Institutionalisierung und Organisationsentwicklung von Evalu-
ierungseinheiten oder von wissenschaftlichen Einrichtungen,
Erfahrung mit Evaluierungen von Ressortforschungseinrichtungen
9 Satzung der Stiftung evalag (Evaluationsagentur Baden-Württemberg) i. d. F. vom 26. Februar 2009
(Bekanntmachung des Ministeriums für Wissenschaft, Forschung und Kunst Baden-Württemberg vom
26. Oktober 2009 im GBl. vom 18. November 2009, Nr. 20, S. 671-676), mit geänderter Fassung des
§ 13 (30. März 2010), des § 13 Abs. 5, § 18 Abs. 4, Abs. 5 und Abs. 6 und § 21 Abs. 3 (22. November
2010) und § 13, § 15, § 16 (17. Juni 2015)).
Institutionelle Evaluierung des DEval – 2017 8
Die Prüfung der Unbefangenheit und die Bestellung der Mitglieder der Gutachter-
gruppe erfolgte durch evalag.10
Mitglieder der Gutachtergruppe waren
Professorin Dr. Eva Barlösius, Professorin für Makrosoziologie/Sozialstruktur-
analyse, Leibniz Universität Hannover11
Dr. Wendy Asbeek Brusse, Direktorin des Inspectie Ontwikkelingssamenwerking
en Beleidsevaluatie (IOB), Evaluierungsdepartment im Bereich Entwicklungszu-
sammenarbeit, Außenhandel und Außenpolitik des Ministeriums für Auswärtige
Angelegenheiten der Niederlande
Carolin Heider, Generaldirektorin und Senior Vice President der Independent
Evaluation Group, World Bank Group, USA
Professor Dr. Frans Leeuw, Law, Public Policy and Social Science Research,
Universität Maastricht sowie Direktor des Research, Statistics and Documentation
Center (WODC) des Ministeriums für Sicherheit und Justiz der Niederlande
Auf Seiten von evalag übernahm der Stiftungsvorstand, Dr. Anke Rigbers, die Ge-
samtleitung des Evaluierungsverfahrens. Die für die Verfahrenskoordination und die
Redaktion des Evaluierungsberichts zuständige wissenschaftliche Referentin war
Petra Gerlach, M.A.
2.3 Verfahrensgestaltung
Methodisches Vorgehen
Die Institutionelle Evaluierung wurde als Peer-Review-Verfahren unter Beachtung an-
erkannter Qualitätsstandards für Evaluationsverfahren durchgeführt.12 evalag gewähr-
leistet, dass eine im Hinblick auf Organisation, methodische Durchführung und Ergeb-
nisdokumentation unbefangene, faire und den Zielsetzungen angemessene Begutach-
tung stattgefunden hat.
Fragestellung, Gegenstand und Zweck der Begutachtung wurden mit dem Auftragge-
ber sorgfältig abgeklärt. Die Verfahrensschritte wurden in Abstimmung mit dem Auf-
traggeber, dem DEval und der Gutachtergruppe festgelegt.
Bewertungsfelder
Die von der Gutachtergruppe festgelegten Bewertungsfelder waren inhaltlicher und
qualitativer Art. Sie bezogen sich auf
das Gesamtsystem der (intern-)nationalen Entwicklungszusammenarbeit und den
Stellenwert des DEval in diesem System
die Governance des DEval und dabei insbesondere auf die Aspekte Vision, Mis-
sion, Zielsetzung und Strategie sowie die Unabhängigkeit des DEval
Organisation und Management mit den Schwerpunkten Struktur und interne Steu-
erung, Organisation, Personal sowie Ressourcen und Wirtschaftlichkeit
10 Satzung der Stiftung Evaluationsagentur Baden-Württemberg, § 9 (2).
11 Von 2001-2011 Mitglied im Evaluationsausschuss sowie weiteren Ausschüssen und Arbeitsgemein-
schaften des Wissenschaftsrats im Bereich Ressortforschung. 2010 bis Ende Juni 2013 Leitung des
BMBF-geförderten Projekts “Ressortforschung unter Anpassungsdruck: Governance im Spannungsfeld
von Staat, Wissenschaft und Gesellschaft“.
12 Vgl. DeGEval – Gesellschaft für Evaluation e.V. (Hrsg.): Standards für Evaluation, 4. unveränderte
Auflage. Mainz 2008.
Institutionelle Evaluierung des DEval – 2017 9
die Leistungsbereiche des DEval, d. h.
die Evaluierungstätigkeit,
die (Weiter-)Entwicklung und Überprüfung von Methoden und Standards,
die Förderung von Evaluierungskapazitäten in Kooperationsländern sowie
den Wissenstransfer und die Vernetzung (als Querschnittsaufgabe)
Die zur Überprüfung herangezogenen Begutachtungsaspekte sind Anhang 1 zu ent-
nehmen.
Bewertungsgrundlagen
Die von der Gutachtergruppe zur Vorbereitung des Vor-Ort-Termins am DEval und im
Rahmen der anschließenden Berichtslegung herangezogenen Informationsgrundlagen
sind Anhang 2 zu entnehmen.
Verfahrensablauf
Der Auftraggeber BMZ hat für die Verfahrensdurchführung eine zweiköpfige Steue-
rungsgruppe bestimmt. Der Steuerungsgruppe gehörten der Vorsitzende des DEval-
Beirats sowie die Leiterin der Unterabteilung 10 (Grundsatzfragen der bilateralen EZ)
an. Für operative Fragen war das für das DEval zuständige Fachreferat 105 (Evaluie-
rung und Ressortforschung) Ansprechpartner von evalag.
Das Verfahren wurde im Juli 2016 mit der Selbstbewertung des DEval eröffnet. Der
Selbstbericht wurde evalag am 4. Oktober 2016 fristgerecht übermittelt und anschlie-
ßend an die Mitglieder der Gutachtergruppe versandt.
Am 21. Oktober 2016 diskutierte die Gutachtergruppe im Rahmen einer von evalag
moderierten Telefonkonferenz die schriftlichen Informationsgrundlagen und bereitete
den Vor-Ort-Termin vor.
Der Vor-Ort-Termin fand vom 16.-18. November 2016 statt. Dabei erarbeitete sich die
die Gutachtergruppe in zahlreichen Gesprächsrunden eine unmittelbare Einschätzung
zu Stärken, Schwächen und Potentialen des DEval in Bezug auf die Begutachtungskri-
terien. Gesprächspartnerinnen und -partner aus dem DEval waren13
der Geschäftsführer/Direktor und der stellvertretende Geschäftsführer
die Verwaltungsleitung
die Abteilungsleiter_innen
die Teamleiter_innen
Vertreterinnen und Vertreter des Betriebsrats
Mitarbeitende der Evaluierungsabteilungen sowie des Kompetenzzentrums
Methoden (KZM)
Mitarbeitende der Verwaltung sowie der IT
Mitarbeitende der Presse und Öffentlichkeitsarbeit sowie der Assistenz der
Geschäftsführung
N. N.14
13 Aufgrund unterschiedlicher Funktionen und Zuständigkeiten waren einige DEval-Mitarbeitende, ins-
besondere auf Leitungsebene, auch zu einem mehrfachen Gedankenaustausch mit der Gutachter-
gruppe aufgefordert.
14 Die Gutachtergruppe hat allen Mitarbeitenden des DEval zusätzlich die Möglichkeit geboten, wäh-
rend des Vor-Ort-Termins in einem bereits im Vorfeld festgelegten und intern kommunizierten Zeitfens-
ter ein ca. 15minütiges, vertrauliches Gespräch mit jeweils zwei Mitgliedern der Gutachtergruppe zu
Institutionelle Evaluierung des DEval – 2017 10
Darüber hinaus standen der Gutachtergruppe beim Vor-Ort-Termin von Seiten des
BMZ die Leiterin der Unterabteilung 10 sowie die Leiterin des Referats 105 und zwei
ihrer Mitarbeitenden für ein persönliches Gespräch zur Verfügung.
Wesentliche Einschätzungen und tendenzielle Empfehlungen der Gutachtergruppe
wurden der Geschäftsführung, Vertreterinnen des Auftraggebers sowie den Mitarbei-
tenden in drei getrennten Feedback-Runden jeweils von einem Mitglied der Gutachter-
gruppe in knapper Form dargelegt.
Auf Grundlage der beim Vor-Ort-Termin nach jedem Gespräch festgehaltenen Zwi-
schenbilanz und der Abschlussbesprechung der Gutachtergruppe sowie unter Bezug-
nahme auf die bei den Abschlussfeedbacks geäußerten Einschätzungen erstellte
evalag einen Berichtsentwurf. Dieser wurde in einem mehrfachen Umlaufverfahren mit
den Mitgliedern der Gutachtergruppe abgestimmt.
Die vorläufige Fassung wurde dem Auftraggeber (Steuerungsgruppe und zuständiges
Fachreferat) und dem DEval am 16. Januar 2017 mit der Bitte um Prüfung auf sachli-
che Richtigkeit übermittelt. Sachliche Fehler wurden entsprechend korrigiert. Anschlie-
ßend wurde die endgültige Fassung des Berichts erstellt. Dieser wurde am 1. März
2017 an den Auftraggeber übermittelt.
Am 19. Mai 2017 wird der Stiftungsrat von evalag das Verfahren und den Bericht unter
methodischen Aspekten diskutieren. Das Verfahren wird damit evalag-intern abge-
schlossen.
Struktur des Berichts
Die Gliederung des Berichts wurde in Abstimmung mit der Gutachtergruppe festgelegt.
Dabei wurden von evalag zur internen Qualitätssicherung festgelegte formale und die
Berichtsstruktur betreffende Vorgaben berücksichtigt. Alle Gesprächsaussagen wur-
den anonymisiert.
Kapitel 1 (Zusammenfassung) enthält wesentliche Empfehlungen der Gutachtergruppe
an das BMZ sowie die wichtigsten, übergreifenden Empfehlungen der Gutachter-
gruppe an das DEval. Detaillierte weitere Empfehlungen sind Kapitel 3 zu entnehmen.
Außerdem legt die Gutachtergruppe in der Zusammenfassung ihre Einschätzung zur
Wirtschaftlichkeit der Institutslösung dar.
Kapitel 2 erläutert die Rahmenbedingungen der Verfahrensdurchführung. Kapitel 3
enthält jeweils eine knappe Sachstandsdarstellung, die zur inhaltlichen Orientierung
über wesentliche Fakten und Zusammenhänge und dadurch zur Nachvollziehbarkeit
der Gutachteraussagen beitragen soll. Die Sachstandsdarstellungen sind nicht auf
Vollständigkeit angelegt. Sie basieren auf Angaben im Selbstbericht des DEval sowie
auf weiteren öffentlich zugänglichen Quellen.15 Den Sachstandsdarstellungen werden
jeweils Einschätzungen und Bewertungen sowie, formal und inhaltlich getrennt, Emp-
fehlungen der Gutachtergruppe an das BMZ und an das DEval zugeordnet.
führen, um weitere oder im bisherigen Verfahren aus Mitarbeitersicht noch nicht hinreichend berück-
sichtigt erscheinende Aspekte, insbesondere in Bezug auf die weitere Organisationsentwicklung des
DEval, in das Evaluationsverfahren einzubringen.
15 Soweit möglich wurden die verwendeten Sachinformationen auf Stimmigkeit und Plausibilität hin ge-
prüft. evalag geht grundsätzlich von der Verlässlichkeit der Angaben aus, die von den am Evaluie-
rungsverfahren Beteiligten gemacht werden. Dies gilt insbesondere für den Selbstbericht.
Institutionelle Evaluierung des DEval – 2017 11
3 Begutachtungsbericht
3.1 Ausgangssituation
Das Deutsche Evaluierungsinstitut der Entwicklungszusammenarbeit (DEval) mit Sitz
in Bonn wurde Ende 2011 vom Bundesministerium für wirtschaftliche Zusammenarbeit
und Entwicklung (BMZ) auf der Grundlage eines 2010 gefassten Kabinettsbeschlusses
gegründet und im November 2012 durch einen Festakt eröffnet. Anlass war der ge-
wachsene Bedarf an politikrelevanten, unabhängigen und methodisch fundierten Eva-
luierungen der Entwicklungszusammenarbeit (EZ) sowie an mehr Transparenz zu den
Ergebnissen der EZ. Das BMZ folgte damit dem Befund einer von ihm veranlassten
„Systemprüfung“, die eine „Schieflage“ der Evaluierung der EZ konstatierte (zu wenige
strategische Evaluierungen) und u. a. die Einrichtung einer Evaluierungsagentur emp-
fahl.16 Auch die OECD mahnte anlässlich der DAC Peer Review 2010 entsprechende
Verbesserungen an und begrüßte die Reformabsicht.
Zweck des DEval ist „die Förderung der Entwicklungszusammenarbeit durch unabhän-
gige Analysen und Bewertungen der Wirksamkeit, Wirtschaftlichkeit und Nachhaltigkeit
von Maßnahmen der Entwicklungszusammenarbeit sowie die Erarbeitung von Emp-
fehlungen für deren Verbesserung. Ferner fördert die Gesellschaft die Leistungsfähig-
keit von Menschen und Organisationen in Kooperationsländern, eigene Analysen und
Bewertungen durchzuführen.“ 17
Der institutionelle Aufbau des DEval begann in der zweiten Jahreshälfte 2012 mit ei-
nem kleinen Mitarbeiterstab „von Null“ an (Personalrekrutierung, Etablierung einer ei-
genständigen Verwaltung, Festlegung zentraler administrativer und auf die Evaluie-
rungstätigkeit bezogener Prozesse etc.). Ein Wechsel der ersten Geschäftsführung im
Sommer 2014, der bis April 2015 die Übernahme der Interimsgeschäftsführung durch
eine Vertreterin des BMZ erforderlich machte, und eine hohe Personalfluktuation ha-
ben bis weit in das Jahr 2015 hinein die Organisationsentwicklung und Profilierung des
Instituts erschwert. Zwei von insgesamt drei Fachabteilungsleitungen sowie die Lei-
tung des sogenannten Kompetenzzentrums Methoden (KZM), die auch mit der Funk-
tion der stellvertretenden Geschäftsführung verknüpft ist, konnten erst zwischen Sep-
tember 2015 und Juni 2016 besetzt werden.
Einschätzungen und Bewertungen
Das neu gegründete Institut steht nach Einschätzung der Gutachtergruppe vor der
Herausforderung, sich innerhalb des vielschichtigen Gefüges der deutschen EZ als
neuer Akteur an der Schnittstelle von Politik, Durchführungspraxis und Wissenschaft
zu etablieren und dabei einem neuen Auftrag gerecht werden, nämlich mit seinen Eva-
luierungsergebnissen für das EZ-System strategisch relevante Steuerungsimpulse zu
setzen.18 Zugleich muss es sich Anerkennung als methodisch führendes Evaluierungs-
institut erarbeiten.
16 Vgl. Axel Borrmann / Reinhard Stockmann: Evaluation in der deutschen Entwicklungszusammenar-
beit. Bd. 1: Systemanalyse. (Waxmann) Münster 2009, S. 160-162, S. 165.
17 Gesellschaftsvertrag des DEval, § 2.
18 Systembedingt evaluieren die Durchführungsorganisationen Deutsche Gesellschaft für Internationale
Zusammenarbeit (GIZ) und Kreditanstalt für Wiederaufbau (KfW), die über eigene Evaluierungsstäbe
und -mittel verfügen, maßnahmenbezogen und nur in ihrem jeweiligen Zuständigkeitsbereich.
Institutionelle Evaluierung des DEval – 2017 12
Vor dem Hintergrund der schwierigen Startphase des Instituts sowie ausgehend von
den ihr zur Verfügung stehenden Unterlagen und den beim Vor-Ort-Termin gewonne-
nen Eindrücken ist die Gutachtergruppe zu der Einschätzung gelangt, dass das DEval
2016 noch mit dem grundlegenden Aufbau und dem Erreichen operativer Handlungs-
fähigkeit befasst war. Der Schwerpunkt lag dabei auf dem für das DEval entscheiden-
den Handlungsfeld Evaluierung. Eine darüber hinausgehende strategische Positionie-
rung ist erst in Ansätzen erfolgt, grundlegende Konzepte und Strategien sind noch zu
vervollständigen.
Die Gutachtergruppe erkennt in diesem Zusammenhang ausdrücklich an, was die Lei-
tung und die Mitarbeiterinnen und Mitarbeiter des DEval gemeinsam mit Verantwortli-
chen im BMZ, insbesondere dem zuständigen Fachreferat für Evaluierung und Res-
sortforschung, und auch unterstützt durch die Beiratsmitglieder des DEval, erreicht ha-
ben.
Nach Auffassung der Gutachtergruppe ist nun der Zeitpunkt erreicht, um für die zu-
kunftsfähige Weiterentwicklung des DEval wichtige Weichenstellungen anzugehen.
Dazu will die Gutachtergruppe Hinweise geben, Chancen und Risiken aufzeigen und
Empfehlungen aussprechen.
3.2 Governance
Alleingesellschafterin des DEval ist die Bundesrepublik Deutschland, vertreten durch
das BMZ. Das DEval ist verpflichtet, dem BMZ jährlich einen Wirtschaftsplan (zu In-
vestitionen und zum Betrieb) und eine zustimmungspflichtige Unternehmensplanung
vorzulegen.19 Das Ministerium ist alleiniger Zuwendungsgeber. Das für die Fachauf-
sicht des DEval zuständige Fachreferat ist das Referat 105 (Evaluierung und Ressort-
forschung).20
Das DEval ist gegenüber dem BMZ in Bezug auf seine wissenschaftliche Tätigkeit un-
abhängig.21
Das „Mehrjährigen Evaluierungsprogramm“ (MEP) ist die zentrale Planungs- und
Handlungsgrundlage des DEval.22 Es ist jeweils auf einen Dreijahreszeitraum ausge-
legt, wird aber jährlich rollierend überarbeitet und ist jeweils für das erste Jahr verbind-
lich. Die Konzeption des MEP erfolgt unter Federführung des DEval in einem breiten
Konsultationsprozess. Das MEP bedarf in seiner Gesamtheit der (formalen) Zustim-
mung durch das BMZ und wird erst anschließend veröffentlicht.
19 Vgl. Gesellschaftsvertrag des DEval, § 11.
20 Vgl. Organisationsplan des BMZ vom 15. August 2016. Das Referat 105 gehört zur Unterabteilung
10 (Grundsatzfragen der bilateralen Entwicklungszusammenarbeit), das der Abteilung 1 (Grundsatzfra-
gen EZ; Zivilgesellschaft, Kirchen und Wirtschaft; ländliche Entwicklung) zugeordnet ist. Es ist neben
dem DEval auch für das Deutsche Institut für Entwicklungspolitik (DIE) zuständig.
21 Vgl. Gesellschaftsvertrag des DEval, § 7 (6): „Die Geschäftsführung ist an durch Gesellschafterbe-
schluss erteilte Weisungen nicht gebunden in Bezug auf die wissenschaftliche Unabhängigkeit im Rah-
men der Durchführung eines nach § 10 beschlossenen Evaluierungsprogramms.“
22 Vgl. Gesellschaftsvertrag des DEval, § 10: „Die Geschäftsführung hat rechtzeitig vor Beginn eines
jeden Geschäftsjahres ein mehrjähriges Evaluierungsprogramm aufzustellen, in dem die vorzunehmen-
den Tätigkeiten der Gesellschaft auf dem Gebiet der Evaluierung von Maßnahmen der Entwicklungs-
zusammenarbeit möglichst individualisiert oder nach abstrakten Kriterien eindeutig abgrenzbar, darge-
legt werden.“
Institutionelle Evaluierung des DEval – 2017 13
Der Berichtsweg des DEval ist detailliert festgelegt:23 Gemäß Gesellschafterbeschluss
berichtet das DEval über die Ergebnisse seiner Evaluierungen an das BMZ durch
Übersendung der jeweiligen Abschlussberichte. Es informiert dabei zunächst das Eva-
luierungsreferat des BMZ. Dieses trägt dafür Sorge, dass die politische Leitung des
BMZ informiert wird und dass der Ausschuss für wirtschaftliche Zusammenarbeit des
Deutschen Bundestages (AwZ) und die Berichterstatter des Einzelplans 23 (BMZ) im
Haushaltsausschuss des Deutschen Bundestages die Berichte innerhalb einer ange-
messenen Frist erhalten. Zeitgleich mit der Publikation der Berichte durch das DEval
wird eine gesonderte, schriftliche Stellungnahme des BMZ veröffentlicht.24
Das DEval verfügt über einen Beirat, der es berät hinsichtlich der Methodik, Planung,
Durchführung und Ergebnissicherung von Evaluierungen sowie in Bezug auf die Auf-
stellung des MEP.25 Dem Beirat gehören Mitglieder des deutschen Bundestages (Ver-
treterinnen bzw. Vertreter aller Fraktionen), Persönlichkeiten aus der Wissenschaft so-
wie Vertreterinnen und Vertreter von deutschen Durchführungsorganisationen der Ent-
wicklungszusammenarbeit sowie zivilgesellschaftlicher Organisationen und einer inter-
nationalen Organisation an.
Die Tätigkeit des DEval ist derzeit de facto auf den Geschäftsbereich des BMZ und da-
bei auf den bilateralen, staatlichen Bereich und dessen Durchführungsorganisationen,
vor allem auf die Deutsche Gesellschaft für Internationale Zusammenarbeit (GIZ) und
die Kreditanstalt für Wiederaufbau (KfW), sowie auf die Förderung von zivilgesell-
schaftlichen Organisationen, der Kommunen und der Wirtschaft begrenzt.
Zur Aufgabenerfüllung ist das DEval auf den Zugang zu Daten und Dokumenten auf
Seiten des BMZ sowie bei den Durchführungsorganisationen angewiesen. Eine Ver-
einbarung, die den Zugang in Bezug auf das BMZ regelt, wird derzeit abschließend
rechtlich geprüft. Eine entsprechende Vereinbarung mit den Durchführungsorganisatio-
nen ist ein Desiderat.
Grundsätzlich ist die Aufgabenstellung des Instituts auf das gesamte Feld der Entwick-
lungszusammenarbeit bezogen, also z. B. auch auf die multilaterale EZ. Der Gesell-
schaftsvertrag des DEval nennt als „Zweck der Gesellschaft […] die Förderung der
Entwicklungszusammenarbeit durch unabhängige Analysen und Bewertungen der
Wirksamkeit, Wirtschaftlichkeit und Nachhaltigkeit von Maßnahmen der Entwicklungs-
zusammenarbeit sowie die Erarbeitung von Empfehlungen für deren Verbesserung.“26
Er erlaubt somit grundsätzlich eine nicht nur auf den Zuständigkeitsbereich des BMZ
begrenzte, sondern eine ressortübergreifende Tätigkeit des DEval, die auch ODA-Mit-
tel27 anderer Ressorts einbezieht.
23 DEval/BMZ-interne Handreichung: Berichtsweg und Publikation von DEval-Evaluierungsberichten
vom 20. Januar 2016. – Andere Veröffentlichungen, wie z. B. Policy Briefs, stellt das DEval dem für
Evaluierung zuständigen Fachreferat 105 des BMZ einige Tage vor der geplanten Veröffentlichung zur
Information zur Verfügung.
24 http://www.bmz.de/de/ministerium/evaluierung/ergebnisse/evaluierungsberichte-stellungnahmen/in-
dex.html (abgerufen am 23. November 2016).
25 Vgl. Gesellschaftsvertrag des DEval, § 13 sowie Geschäftsordnung für den Beirat, Stand 20. März
2013. Der Beirat berät außerdem in Bezug auf die Aufgabenerfüllung des DEval allgemein und pflegt
den Informations- und Meinungsaustausch zu allen mit den Gesellschaftszwecken des DEval zusam-
menhängenden Fragen.
26 Gesellschaftsvertrag des DEval, § 2 (1).
27 Offical development assistance
Institutionelle Evaluierung des DEval – 2017 14
Einschätzungen und Bewertungen
Die Gutachtergruppe sieht die wissenschaftliche Unabhängigkeit des DEval in Bezug
auf die eigenständige Festlegung von Forschungsfragen und die Methodenwahl als
gegeben an.
Ein wissenschaftlicher, d. h. mehrheitlich mit Wissenschaftlerinnen und Wissenschaft-
lern besetzter Beirat, der die Methodenentwicklung des DEval beratend begleitet und
die Qualitätssicherung der Forschung unterstützt, ist aus Sicht der Gutachtergruppe
zur grundsätzlichen Stärkung der wissenschaftlichen Unabhängigkeit dennoch ein De-
siderat.
Darüber hinaus würde sich eine größere bzw. nach außen sichtbarere, auch institutio-
nelle Unabhängigkeit des DEval nach Ansicht der Gutachtergruppe förderlich auf seine
internationale Anerkennung und Reputation auswirken. Der DEval-Beirat kann aus
Sicht der Gutachtergruppe die institutionelle Unabhängigkeit des DEval vom BMZ nicht
gewährleisten, auch wenn die parlamentarische Opposition durch Beiratsmitglieder
eingebunden ist.
Die Gutachtergruppe gibt zu bedenken, dass die Bundesrepublik Deutschland als ei-
ner der weltweit führenden EZ-Mittelgeber international aufmerksam beobachtet wird.
Dies gilt insbesondere für vorbildhafte Entwicklungen im Bereich der EZ-Evaluierung,
zu denen die Gründung des DEval zählt. Zudem geht die Gutachtergruppe im Rahmen
der „2030 Agenda for Sustainable Development“ der Vereinten Nation von einer vo-
raussichtlich steigenden Nachfrage nach übergreifenden Analysen des EZ-Systems
insgesamt aus, für deren Durchführung in Deutschland nur das DEval den Auftrag hat.
Aus Sicht der Gutachtergruppe ergibt sich im Hinblick auf internationale Standards und
vergleichbare Einrichtungen aus der Kombination von wissenschaftlicher Unabhängig-
keit und institutioneller Abhängigkeit des DEval vom BMZ (Alleingesellschafterin, Zu-
wendungsgeberin, Bestellung des Geschäftsführers) derzeit ein Zielkonflikt, da das
BMZ sowohl Evaluierungsgegenstand als auch Adressat von Bewertungen und Emp-
fehlungen des DEval ist. Die Gutachtergruppe schätzt diese Konstellation als für das
DEval schwierig ein, weil sie darin Risiken für die internationale Außenwahrnehmung
des Instituts sieht (Glaubwürdigkeit und Akzeptanz von Befunden, Stellenwert).
In Bezug auf den angestrebten hohen Stellenwert des DEval sieht die Gutachter-
gruppe auch den derzeitigen Berichtsweg als nachteilig an, da das Institut (abgesehen
von Beiratsmitgliedern) keinen direkten Zugang zum Parlament oder zum Ausschuss
für wirtschaftliche Zusammenarbeit und/oder zur Hausspitze des BMZ hat. Ein solcher
Zugang würde nach Auffassung der Gutachtergruppe jedoch die Sichtbarkeit des DE-
val signifikant erhöhen und dem Institut die Möglichkeit eröffnen, Befunde auch ohne
ausdrückliche Zustimmung des BMZ zu thematisieren.
Für die Gutachtergruppe ist es in diesem Zusammenhang auch wesentlich, dass das
DEval das MEP selbständig und kohärent zu seiner Institutsstrategie festlegen und da-
mit ggf. auch Maßnahmen und/oder Programme evaluieren kann, deren Überprüfung
das BMZ möglicherweise nicht oder zu einem anderen Zeitpunkt wünscht, und dass
die mit damit verbundene (wissenschaftliche) Unabhängigkeit des Instituts deutlich(er)
gemacht wird.
Die Gutachtergruppe begrüßt im weiteren Zusammenhang auch die in Aussicht ste-
hende Vereinbarung zwischen BMZ und DEval in Bezug auf den geregelten Zugang
zu Daten und Dokumenten.
Ein ressortübergreifender Ansatz wäre eine große Chance für das Institut und würde
zugleich den in der derzeitigen Struktur auf das BMZ-Umfeld begrenzten Mehrwert für
das Gesamtsystem der EZ steigern können. Im Hinblick auf die gesellschaftspolitisch
wachsende Relevanz der Politikkohärenz erscheint der Gutachtergruppe deshalb die
Institutionelle Evaluierung des DEval – 2017 15
im Gesellschaftsvertrag des DEval angelegte Option einer ressortübergreifenden Tä-
tigkeit sehr begrüßenswert. Um andere Ministerien für das DEval zu öffnen bzw. das
DEval zu einer gemeinsamen Einrichtung zu machen, wären aus Sicht der Gutachter-
gruppe seitens des BMZ allerdings umfassende politische und strukturelle Weichen-
stellungen notwendig.
Empfehlungen
Die Gutachtergruppe knüpft mit ihren Empfehlungen zur Governance an Befunde des
OECD DAC Peer Review Germany 2015 an: „Um zu gewährleisten, dass das DEval
seinem Auftrag vollkommen unparteiisch und unabhängig nachgehen kann, muss das
BMZ u. U. weiter über die Governance der neuen Einrichtung nachdenken, u. a. über
die Rolle seines Beirats sowie über die Berichtswege zur Bundesregierung.“28 Sie legt
dem BMZ deshalb nahe, die Unabhängigkeit des Instituts künftig nicht mehr allein auf
wissenschaftliche Unabhängigkeit zu beschränken, sondern zu einem umfassenden,
deutlich sichtbaren Strukturmerkmal des DEval auszubauen. Sie verweist dazu auf
den bereits 1991 in den „Principles for Evaluation of Development Assistance“ festge-
haltenen Standard: „Impartiality and independence will best be achieved by separating
the evaluation function from the line management responsible for planning and manag-
ing development assistance. This could be accomplished by having a central unit re-
sponsible for evaluation reporting directly to the minister […] or to a board of directors
or governors of the institution.”29
Die Gutachtergruppe empfiehlt deshalb, dem DEval als Zeichen seiner institutionellen
Unabhängigkeit und seines Stellenwerts im deutschen EZ-System einen direkten Be-
richtsweg zum Parlament und/oder unmittelbar zur Hausspitze des BMZ zu eröffnen.
Beispielsweise berichtet die Independent Evaluation Group der Weltbank direkt an den
Aufsichtsrat. Der Internal Oversight Service der UNESCO oder auch das Evaluierungs-
department im Bereich Entwicklungszusammenarbeit des Ministeriums für Auswärtige
Angelegenheiten der Niederlande (IOB) verfügen über direkte Berichtswege zu den
Führungsebenen ihrer Institutionen. In Bezug auf die Form der Berichterstattung regt
die Gutachtergruppe an, sich gemeinsam mit dem DEval über angemessene, gut rezi-
pierbare Formate zu verständigen.
Hinsichtlich der im Gesellschaftsvertrag des DEval als erforderlich festgelegten Ge-
samtzustimmung des BMZ zum vom DEval im Zuge eines Konsultationsprozesses
selbst festgelegten Mehrjährigen Evaluierungsprogramms (MEP), rät die Gutachter-
gruppe dazu, den formalen Charakter dieses Vorgangs in der Außendarstellung trans-
parent zu machen und so die Unabhängigkeit des DEval zu unterstreichen.
Zur grundsätzlichen Stärkung der wissenschaftlichen Unabhängigkeit empfiehlt die
Gutachtergruppe dem BMZ die Einrichtung zweier getrennter Beratungsgremien für
das DEval, nämlich zum einen eines wissenschaftlichen Beirats und zum anderen ei-
nes Nutzerbeirats, der der Einbindung verschiedener Stakeholder des DEval dient.
In Bezug auf den für die Aufgabenerfüllung des DEval notwendigen Zugang zu Daten
und Dokumenten empfiehlt die Gutachtergruppe, in Anlehnung an die mit dem BMZ in
abschließender Vorbereitung befindliche Regelung, auch mit den Durchführungsorga-
nisationen eine entsprechende Vereinbarung festzulegen.
28 OECD DAC Peer Review Germany 2015, deutsche Fassung, S. 80.
29 DAC: Principles for Evaluation of Development Assistance. Paris 1991, S. 6: Institutional Structure
for Managing Evaluation.
Institutionelle Evaluierung des DEval – 2017 16
Sollte sich das BMZ gemeinsam mit anderen Ministerien auf eine ressortübergreifende
Tätigkeit des DEval verständigen, regt die Gutachtergruppe an, ein übergeordnetes,
mit steuerungsrelevanter Entscheidungsbefugnis ausgestattetes Kuratorium zu schaf-
fen, in dem alle beteiligten Ministerien sowie Mitglieder aller im Bundestag vertretenen
Fraktionen und die Vorsitzenden der beiden Beiräte vertreten sind.30
In Bezug auf das Handlungsfeld Evaluation Capacity Development empfiehlt die Gut-
achtergruppe dem BMZ, das DEval in beratender Funktion einzubeziehen, sofern es in
die Konzeption einer ECD-Strategie eintritt.
3.2.1 Ressortforschungseinrichtung
Das DEval ist im Mai 2016 als dem BMZ zugeordnete Einrichtung in die Liste der Res-
sortforschungseinrichtungen des Bundes aufgenommen worden. Das Institut hat dazu
selbst den Anstoß gegeben. Im BMZ ist das Fachreferat 105 „Evaluierung und Res-
sortforschung“ für die Fachaufsicht zuständig.
Ressortforschungseinrichtungen liegen an der Schnittstelle von Wissenschaft und Poli-
tik.31 Entscheidende Merkmale sind Forschungsstärke und Wettbewerbsfähigkeit im
Wissenschaftssystem,32 insbesondere in Bezug auf das wissenschaftliche Personal33
und auf zielgruppenorientierte Veröffentlichungsstrategien. Der Forschungsanteil soll
so bemessen sein, dass die den Bundeseinrichtungen jeweils übertragenen Aufgaben
optimal erfüllt werden können.34
Die Mehrzahl der Ressortforschungseinrichtungen verfügt über wissenschaftliche Bei-
räte, die zur wissenschaftlichen Qualitätssicherung (Forschungsansätze, Methoden,
Ergebnissicherung) und in der Regel auch zur Konzeption der Forschungsprogramme
beitragen.35
30 Vgl. die Stiftung Wissenschaft und Politik (SWP) – Deutsches Institut für Internationale Politik und
Sicherheit, Berlin. Die SWP ist eine rechtsfähige Stiftung des bürgerlichen Rechts. Ihr Zweck ist es,
wissenschaftliche Untersuchungen auf den Gebieten der internationalen Politik sowie der Außen- und
Sicherheitspolitik mit dem Ziel der Politikberatung auf der Grundlage unabhängiger wissenschaftlicher
Forschung durchzuführen und in geeigneten Fällen zu veröffentlichen. Der Stiftungsrat ist das oberste
Aufsichts- und Entscheidungsorgan: Er bestellt die Leitung des Instituts, billigt den Orientierungsrah-
men der Forschungsarbeit und garantiert deren Unabhängigkeit. (http://www.swp-berlin.org/de/start-
seite.html, abgerufen am 29. November 2016).
31 Bundesministerium für Bildung und Forschung für die Bundesregierung: Konzept einer modernen
Ressortforschung. Bonn / Berlin 2007, S. 3. Ressortforschungseinrichtungen zeichnen sich aus durch:
Problemorientierung und Praxisnähe; interdisziplinäre Ausrichtung; transdisziplinäre Nutzer- und An-
wendereinbindung; Generierung von Transferwissen und Erbringung von Übersetzungsleistungen vom
wissenschaftlichen System in das Anwendersystem; Verbindung kurzfristig abrufbarer wissenschaftli-
cher Kompetenz mit der Fähigkeit, langfristig angelegte Fragestellungen kontinuierlich und forschungs-
basiert zu bearbeiten; Handlungsfähigkeit in Spannungsfeldern, die durch unterschiedliche Rationalitä-
ten der Wissenschaft und der Politik gekennzeichnet sind.
32 Bericht der Bundesregierung zur Weiterentwicklung der Einrichtungen mit Ressortforschungsaufga-
ben vom 22. Juni 2011, S. 7.
33 Bericht der Bundesregierung zur Weiterentwicklung der Einrichtungen mit Ressortforschungsaufga-
ben vom 22. Juni 2011, S. 10.
34 Bundesministerium für Bildung und Forschung für die Bundesregierung: Zehn Leitlinien einer moder-
nen Ressortforschung. Bonn / Berlin 2007, S. 4.
35 Bericht der Bundesregierung zur Weiterentwicklung der Einrichtungen mit Ressortforschungsaufga-
ben vom 22. Juni 2011, S. 11: „In vielen Einrichtungen sind wissenschaftliche Beiräte eingerichtet. Es
ist im Einzelfall zu prüfen, ob Einrichtungen einen Beirat oder mehrere benötigen […].“
Institutionelle Evaluierung des DEval – 2017 17
Einschätzungen und Bewertungen
Der Status als Ressortforschungseinrichtung eröffnet dem DEval nach Einschätzung
der Gutachtergruppe Chancen für die weitere Entwicklung und Profilierung des Insti-
tuts, enthält aber auch Herausforderungen. Sie sieht in Bezug auf die Merkmale For-
schungsstärke und Wettbewerbsfähigkeit im Wissenschaftssystem Handlungsbedarf.
Nach Auffassung der Gutachtergruppe sollte sich das DEval künftig stärker for-
schungsorientiert ausrichten und nationale und internationale Kooperationen mit ande-
ren Forschungseinrichtungen aufbauen, die zu den gleichen Evaluierungs- und Metho-
denthemen arbeiten. Sie hält diese Ausrichtung für das DEval als ein vergleichsweise
kleines Institut, dessen Ressourcen und damit auch Projektbearbeitungsmöglichkeiten
quantitativ begrenzt sind, für besonders geeignet, um sich durch wissenschaftlich
hochwertige, beispielhafte Ergebnisse mit Impact-Wirkung national und international
zu profilieren.
Mit dem Status einer Ressortforschungseinrichtung ergeben sich nach Einschätzung
der Gutachtergruppe für das DEval als eine noch junge, noch nicht allseits anerkannte
Einrichtung unter den gegenwärtigen strukturellen Rahmenbedingungen (Fachaufsicht
in der Funktion als Alleingesellschafterin und Fachaufsicht für die Ressortforschung
durch dasselbe Fachreferat des BMZ) aber auch Risiken und zwar in Bezug auf die
Außenwahrnehmung als eine vom BMZ unabhängige Einrichtung und damit auch in
Bezug auf die breite politische sowie praktische Anerkennung seiner Ergebnisse und
Leistungen.
Empfehlungen
Die Gutachtergruppe rät dem DEval eine klare Entscheidung in Bezug auf seinen Sta-
tus als Ressortforschungseinrichtung und die damit verbundenen Konsequenzen zu
treffen. Dazu gilt es, die mit diesem Status verbundenen Vorteile und Chancen gegen-
über den Risiken unter strategischen Gesichtspunkten gemeinsam mit dem BMZ noch-
mals abzuwägen und sich dabei an den „Leitlinien für eine moderne Ressortfor-
schung“36 zu orientieren. Sie legt dem DEval nahe, Kontakt mit anderen Ressortfor-
schungseinrichtungen aufzunehmen, um von deren Erfahrungen, auch in Bezug auf
Best Practice (Strukturen, Prozesse, Schnittstellen zu zuständigen Ministerien, Organi-
sationsentwicklung etc.), lernen zu können.
Die Gutachtergruppe empfiehlt dem DEval aber in jedem Fall sich künftig konsequen-
ter forschungsorientiert auszurichten und diese Ausrichtung im Selbstverständnis und
der Strategie des Instituts deutlich zur Geltung zu bringen sowie in allen Institutsberei-
chen und Handlungsfeldern umzusetzen.
36 Bundesministerium für Bildung und Forschung für die Bundesregierung: Zehn Leitlinien für eine mo-
derne Ressortforschung, 2007.
Institutionelle Evaluierung des DEval – 2017 18
3.3 Selbstverständnis und Strategie
Das DEval hat ein Leitbild veröffentlicht, das seine Vision und Mission vorstellt. 37
Vision des DEval ist es demnach, mit strategisch relevanter Evaluierungsarbeit zu ei-
ner verbesserten Wirksamkeit der Entwicklungszusammenarbeit beizutragen und da-
mit nachhaltige Entwicklungsprozesse zu unterstützen. Indem es wissenschaftlich fun-
diertes und praxisrelevantes Wissen generiert und verbreitet, will das Institut Lernpro-
zesse und sachorientierte Entscheidungen in Politik und Praxis fördern und zudem die
demokratische Legitimität des Politikfeldes stärken.
Mission des DEval ist es, an der Schnittstelle zwischen Politik, Wissenschaft und
Durchführungspraxis durch evaluative und thematische Kompetenz zu überzeugen.
Außerdem will das Institut Wissen über komplexe und strategisch relevante Sachver-
halte in der Entwicklungszusammenarbeit passgenau politischen und operativen Ent-
scheiderinnen und Entscheidern als sachliche Urteils- und Entscheidungsgrundlage
zur Verfügung stellen und durch seine Arbeit auch die Evaluierungskapazitäten in Part-
nerländern der deutschen Entwicklungszusammenarbeit stärken.
Handlungsfelder des DEval sind die Durchführung strategisch relevanter Evaluierun-
gen (Kerngeschäft), die Weiterentwicklung von Evaluierungsmethoden und Evaluie-
rungsstandards, die Stärkung von Evaluierungskapazitäten in Entwicklungs- und
Schwellenländern (Evaluation Capacity Development) sowie die Wissensverbreitung,
Wissensvermittlung und Vernetzung (Querschnittsaufgabe).
Die erste und vorläufige Strategieplanung für das DEval wurde von der Interimsge-
schäftsführerin vorgelegt und Anfang 2015 mit dem BMZ abgestimmt. Im Frühjahr
2016 hat das DEval unter der neuen Institutsleitung mit einer Strategieplanung begon-
nen, die sich auf den Vierjahreszeitraum 2017-2020 bezieht. In seinem zur Information
der Gutachtergruppe erstellten Selbstbericht (Stand Oktober 2016) hat das DEval als
zentrales strategisches Ziel, seine Etablierung als (inter-)nationales anerkanntes Refe-
renzinstitut für exzellente, wissenschaftlich fundierte und strategische wie politisch re-
levante Evaluierungsarbeit innerhalb der nächsten vier bis fünf Jahre definiert. Zur Er-
reichung dieses Ziels will sich das DEval zum einen durch seine unabhängige Evaluie-
rungsarbeit als nutzenstiftender und strategisch bedeutsamer Akteur in der deutschen
EZ positionieren. Zum anderen will sich das DEval wissenschaftlich durch die Anwen-
dung und Weiterentwicklung von Evaluierungsmethoden und -designs sowie durch In-
terdisziplinarität, Methodenpluralismus und entwicklungspolitische Expertise im The-
menfeld der EZ profilieren. Dabei bedingen sich beide Handlungsdimensionen gegen-
seitig.
Einschätzungen und Bewertungen
Die Gutachtergruppe hält das strategische Ziel des DEval, sich zu einem Referen-
zinstitut für exzellente Evaluierung im EZ-Bereich zu entwickeln, für zukunftsfähig.
Zwingende Voraussetzung hierfür ist aus Sicht der Gutachtergruppe allerdings, dass
die in der Zielbeschreibung benannten komplementären Handlungsdimensionen mit
vergleichbarer Intensität bearbeitet werden, da sie sich gegenseitig bedingen: Für die
Etablierung als Referenzinstitut sind exzellente Evaluierungen die Voraussetzung.
Diese sind nach Auffassung der Gutachtergruppe wiederum nur durch Kenntnis, An-
wendung und Entwicklung exzellenter Methoden und damit starke Wissenschafts- und
auch Forschungsbezüge realisierbar.
37 Download unter https://www.deval.org/de/leitbild.html (abgerufen am 6. Dezember 2016).
Institutionelle Evaluierung des DEval – 2017 19
Die Methodenforschung ist für die Gutachtergruppe deshalb zentral, weil sie, indem sie
neue Forschungsfragen generiert und neue methodische Zugänge sucht, wesentlich
dazu beiträgt, beispielhafte neue Bewertungsperspektiven und neue Erkenntnismög-
lichkeiten für das EZ-System zu gewinnen. Sie gibt dem DEval aus Sicht der Gutach-
tergruppe die Möglichkeit, relevanten Mehrwert zu erzielen.
Seiner strategischen Zielsetzung folgend kann das DEval nach Einschätzung der Gut-
achtergruppe sowohl für das politische Steuerungshandeln und die Durchführungspra-
xis der EZ strategisch wichtige, wegweisende Beiträge erarbeiten, als auch metho-
disch-wissenschaftlich vorangehen.
Voraussetzungen dafür sind klare Zielsetzungen und eine übergeordnete Programm-
theorie, welche Veränderungswirkungen das DEval mit Hilfe welcher Aktivitäten so-
wohl im Bereich der Evaluierungsmethodik als auch im EZ-Bereich (thematisch und/o-
der institutionell) erreichen will. Relevanz der Themen und Qualität der Produkte soll-
ten Vorrang vor Quantität haben.
Empfehlungen
Die Gutachtergruppe empfiehlt dem DEval daher, seine Zielsetzung zielorientiert anzu-
gehen und sowohl in der Außendarstellung als auch DEval-intern deutlich und verbind-
lich zu machen. Sie rät in diesem Zusammenhang dazu, das übergeordnete Ziel durch
kohärente strategische Ansätze und Maßnahmen für die einzelnen Handlungsfelder
und die Organisationsentwicklung des DEval zeitnah zu konkretisieren. Sie gibt dazu
weitere Hinweise in den folgenden Teilkapiteln.
Die Gutachtergruppe empfiehlt dem DEval außerdem, seine Aktivitäten (insbesondere
die MEP-Planung) künftig konsequent an Resultaten bzw. am angestrebten Impact auf
das Gesamtsystem der Entwicklungszusammenarbeit auszurichten.
3.3.1 Organisationsentwicklung
Das DEval gliedert sich in den Bereich Geschäftsführung, den Bereich Presse und Öf-
fentlichkeitsarbeit und die Verwaltung mit den Aufgabenfeldern Personal und Organi-
sation, Finanzen, IT und Zentrale Dienste. Hinzu kommen drei Abteilungen im Evaluie-
rungsbereich,38 die seit Gründung der Einrichtung bestehen und die Funktion haben,
Evaluierungen arbeitsteilig durchzuführen. Dazu gibt es in jeder Abteilung Evaluie-
rungsteams. Das Kompetenzzentrum Methoden (KZM), das neben eigenen Projekten
zur (Weiter-)Entwicklung von Methoden vorrangig Aufgaben zur Qualitätssicherung
und Standardsetzung für das DEval insgesamt übernehmen soll, ist als Querschnitts-
abteilung angelegt.
Verschiedene Qualitätssicherungsmaßnahmen wurden bereits implementiert (u. a.
Einführung interner und externer Peer Reviews sowie des Referenzgruppenprozesses
in Evaluierungsverfahren, Dokumentation und Optimierung interner Prozesse in Form
von Checklisten, Prozessbeschreibungen, Richtlinien, Lektorat). Mit dem Aufbau eines
internen Wissensmanagements wurde in der ersten Jahreshälfte 2016 begonnen.
Im Rahmen der internen Kommunikation des DEval gibt es derzeit zahlreiche struktu-
rierte Besprechungsformate mit unterschiedlich festgelegten Teilnehmerkreisen, die
38 Evaluierung I: Staatliche EZ, Governance; Evaluierung II: Nachhaltige Wirtschafts- und Sozialent-
wicklung; Evaluierung III: Zivilgesellschaftliche EZ, entwicklungspolitische Bildung.
Institutionelle Evaluierung des DEval – 2017 20
sich in regelmäßigem Rhythmus (wöchentlich bis monatlich) treffen, u. a. Manage-
mentteam-Besprechung, Institutsbesprechung, Abteilungsbesprechungen, Teambe-
sprechungen oder die sogenannte „Evaluatorenrunde“.
Die Institutskultur des DEval wird laut Leitbild von gegenseitiger Wertschätzung, Ver-
trauen, dem Prinzip der Sorgfalt und der Eigenverantwortung in einem teamorientier-
ten Arbeitsumfeld bestimmt.
Einschätzungen und Bewertungen
Die schwierige Aufbauphase des DEval ist nach Einschätzung der Gutachtergruppe
mit dem Jahr 2016 abgeschlossen, das Institut hat operative Handlungsfähigkeit er-
reicht: Alle Leitungspositionen sind besetzt, die Konsolidierung des Instituts kann be-
ginnen.
Die Gutachtergruppe sieht die Herausforderung für die weitere Organisationsentwick-
lung des DEval darin, zur strategischen Zielsetzung des DEval kohärente Strukturen
und Prozesse zu implementieren bzw. bestehende Lösungen anzupassen.
So ist beispielsweise die Aufgabe, die angemessene (vertikale) Hierarchie39 und hori-
zontale Abgrenzung (zwischen den Abteilungen) zu bestimmen, nach Einschätzung
der Gutachtergruppe noch nicht abschließend gelöst und führt derzeit, so Hinweise im
Rahmen der Vor-Ort-Begehung, zu Informationsverlusten trotz zahlreicher interner
Austauschformate. Die Gutachtergruppe sieht auch eine (in Aufbauphasen häufige)
Tendenz zu einer punktuell hohen, formalen Regelungsdichte, während an anderer
Stelle übergeordnete, handlungsleitende Vorgaben sowie die Etablierung von Quali-
tätssicherungsmechanismen noch Desiderate sind.
Empfehlungen
Die Gutachtergruppe empfiehlt dem DEval zu überprüfen, ob die derzeitigen Abtei-
lungsgliederungen, Hierarchien und Austauschformate die interne und externe Hand-
lungsfähigkeit des Instituts mit Blick auf die Zielerreichung tatsächlich verbessern und
ob sie der Weiterentwicklung der Institutskultur förderlich sind.
Die Gutachtergruppe rät dem DEval außerdem, die Aufmerksamkeit künftig verstärkt
auf die Entwicklung eines umfassenden Ansatzes für das systematische institutionelle
Lernen zu richten. Sie empfiehlt dazu u. a. die Entwicklung eines alle Institutsbereiche
und Handlungsfelder umfassenden Qualitätsmanagements sowie die zeitnahe Umset-
zung von bereits geplanten Maßnahmen zur Projekt- und Ressourcensteuerung.
Neben der Bewältigung der fachlich-inhaltlichen Aufgaben der Organisationsentwick-
lung steht das DEval vor der Herausforderung der Personalentwicklung und der Her-
ausbildung einer Institutskultur in einer 2015 und 2016 stark gewachsenen Beleg-
schaft: Eine Institutskultur erfordert ein einheitliches und an gemeinsamen Wert- und
Beurteilungsmaßstäben orientiertes Führungsverhalten gegenüber den Mitarbeitenden
der verschiedenen Bereiche bzw. Abteilungen; Führungskräfte sollten die Werte der
(angestrebten) Institutskultur daher vorbildhaft vorleben und ihre Verankerung in allen
Organisationsbereichen und Handlungsfeldern nach Kräften fördern.
39 Evaluierungsteams – drei Abteilungen bzw. Abteilungsleitungen – KZM als Querschnittabteilung –
Geschäftsführung.
Institutionelle Evaluierung des DEval – 2017 21
3.3.2 Personal
Das DEval hat einen im Bundeshaushaltsplan festgeschriebenen Stellenplan, der für
das jeweilige Haushaltsjahr verbindlich ist. Nach den Angaben im aktuellen Wirt-
schaftsplan des DEval gibt es 39 feste Stellen, davon 21 für evaluatorisch-wissen-
schaftliche Tätigkeit einschließlich vier Abteilungsleitungsstellen vier Stellen für Projek-
tadministration sowie 14 Stellen im Bereich der Geschäftsführung und Verwaltung (Ge-
schäftsführer, Assistenz, Öffentlichkeitsarbeit; Verwaltungsleitung und Verwaltungsmit-
arbeitende). Aus Programmmitteln kann das DEval über den Stellenplan hinaus befris-
tet wissenschaftliche Mitarbeitende einstellen.
Das Managementteam ist seit Juni 2016 erstmals vollständig besetzt. Allein 2016 sind
14 Mitarbeitende in den Evaluierungsabteilungen und im Kompetenzzentrum Metho-
den sowie zwei Verwaltungsmitarbeitende neu eingetreten. Hinzu kommen 13 studen-
tische Unterstützungskräfte. Acht Einstellungsverfahren für mehrheitlich befristete Eva-
luatorenstellen (Besetzung Jahresbeginn 2017) laufen oder sind geplant.
Das DEval weist darauf hin, dass die Konkurrenz um qualifiziertes Personal groß ist.
Ursache sind hohe Anforderungen (u. a. fundierte Evaluierungs- und Methodenkennt-
nisse, Sektorspezialisierung, EZ-Kenntnisse, sehr gute Deutschkenntnisse) in Kombi-
nation mit festen Vorgaben zur Eingruppierung (Entgeltgruppe TVÖD 13-15) sowie in-
tern kaum vorhandene Aufstiegschancen, die sich im Wettbewerb mit finanziell attrakti-
veren Arbeitgebern, wie z. B. GIZ und KfW, nachteilig auswirken.
Vor diesem Hintergrund hat das DEval Schwierigkeiten, wissenschaftlich-methodisch
hochqualifizierte und zugleich im Prozessmanagement von EZ-Evaluierungen und
auch der Personalführung bereits erfahrene Teamleiterinnen und Teamleiter40 für die
weitgehend eigenständige Koordination von Evaluierungsprojekten zu gewinnen.41 Die
Anzahl der unbefristeten Teamleitungsstellen ist auf acht begrenzt.
Instrumente der Personalentwicklung sind interne und externe, teils verpflichtend an-
gelegte Fort- und Weiterbildungsformate (individuell, für Gruppen), die interdisziplinäre
Zusammenarbeit im jeweiligen Evaluierungsteam bzw. -projekt (training on the job) so-
wie der DEval-intern organisierte Fachaustausch und hauseigene Vortragsveranstal-
tungen. In Einzelfällten wurden Vereinbarungen zur Förderung einer Promotion getrof-
fen. Neu eingeführt wurden Strukturierte Jahresgespräche für die einzelnen Mitarbei-
tenden mit ihren jeweiligen Vorgesetzten, die auch Entwicklungs- und Fortbildungsbe-
darf thematisieren sollen. 2017 soll ein institutsweites Personalentwicklungskonzept für
alle Beschäftigen implementiert werden.
Das DEval hat einen Betriebsrat. Außerdem wurde Anfang November 2016 auf Initia-
tive von Mitarbeiterinnen eine Gender-AG gegründet.
Einschätzungen und Bewertungen
Eine gute Personalpolitik (gezielte Rekrutierungsstrategie, Weiterentwicklung und
Pflege der Institutskultur etc.) ist nach Auffassung der Gutachtergruppe untrennbarer
Bestandteil einer kohärenten Strategieplanung. Dieser Aufgabe sollte daher besondere
Aufmerksamkeit zukommen.
40 Häufige Alternativbezeichnung: Senior-Evaluatorin/Senior-Evaluator.
41 Zu einem Evaluierungsteam gehören im Regelfall neben der Teamleiterin oder dem Teamleiter ein
bis zwei (Fach-)Evaluatorinnen bzw. (Fach-)Evaluatoren sowie ein Stellenanteil für Projektadministra-
tion und ggf. studentische Hilfskräfte.
Institutionelle Evaluierung des DEval – 2017 22
Die Gutachtergruppe hat beim Vor-Ort-Termin viele, in unterschiedlichen Aufgabenbe-
reichen und Funktionen tätige kompetente, motivierte, engagierte und lernbereite DE-
val-Mitarbeiterinnen und -Mitarbeiter kennenlernen dürfen. Sie sind aus Sicht der Gut-
achtergruppe die wichtigste Ressource für die erfolgreiche Weiterentwicklung des DE-
val.
Für die Gutachtergruppe ist es nun wichtig, die bis einschließlich 2015 hohe Personal-
fluktuation auf ein Normalmaß zu reduzieren und insbesondere den befristet angestell-
ten akademischen Mitarbeiterinnen und Mitarbeitern berufliche Anschlusschancen in-
nerhalb wie außerhalb des DEval aufzuzeigen.
Einen Wettbewerb der Gehälter mit GIZ, KfW und anderen kann das DEval als öffentli-
cher Arbeitgeber aus Sicht der Gutachtergruppe nicht gewinnen. Das Institut kann sich
ihrer Einschätzung nach aber gezielt mit „weichen“ Komponenten als attraktiver Arbeit-
geber positionieren (z. B. Flexibilisierung der Arbeitszeiten, gezielte Personalentwick-
lung) und sich insbesondere als Ort der wissenschaftlichen Weiterqualifizierung profi-
lieren. Dazu ist jedoch verstärkte Kooperation mit dem Wissenschaftssystem erforder-
lich, z. B. um Promotionsmöglichkeiten anzubieten.
Den Hierarchieebenen sollte dabei besondere Aufmerksamkeit gelten, da sie in Ver-
bindung mit der aktuellen Geschlechterverteilung (überproportionaler Anteil von Män-
nern in Leitungsfunktionen) zur Begünstigung männlicher Karrieren beitragen könnten.
Im Hinblick auf das internationale Arbeitsfeld des DEval erscheint der Gutachtergruppe
grundsätzlich eine größere Diversität der Mitarbeiterinnen und Mitarbeiter des DEval
wünschenswert.
Einen moderaten Stellenzuwachs bei den unbefristeten Teamleitungsstellen sowie die
Flexibilisierung des Stellenplans zur leichteren Gewinnung von hochqualifiziertem Per-
sonal sieht die Gutachtergruppe als begründeten Wunsch des Instituts an. Die bishe-
rige, auf ein bestimmtes Evaluierungsvorhaben bezogene Zweckbefristung von zusätz-
lich erforderlichen Teamleitungsstellen sowie von Stellen für Evaluatorinnen und Eva-
luatoren hält die Gutachtergruppe im Hinblick auf die langfristige Aufgabenerfüllung
des DEval und vor dem Hintergrund der Opportunitätskosten (hoher Ressourcenauf-
wand für Neubesetzung und Einarbeitung) für ungünstig.
Neue Handlungsmöglichkeiten in Bezug auf befristete Stellen ergeben sich aus Sicht
der Gutachtergruppe durch den Status als Ressortforschungseinrichtung und die damit
verbundene Option der Anstellung nach dem Wissenschaftszeitvertragsgesetz.42
Empfehlungen
Die Gutachtergruppe sieht Chancen für das DEval, sich als Arbeitgeber in einem star-
ken Wettbewerbsumfeld künftig besser zu positionieren. Sie empfiehlt der Leitungs-
ebene dazu insbesondere, die mit dem Status als Ressortforschungseinrichtung ver-
bundenen personalpolitischen Chancen zu nutzen und vor allem wissenschaftlich inte-
ressierte Mitarbeiterinnen und Mitarbeiter zu gewinnen und gezielt zu fördern. Sie
empfiehlt außerdem, sich mit den Themen Gleichstellung und Diversität sowohl auf
42 Bericht der Bundesregierung zur Weiterentwicklung der Einrichtungen mit Ressortforschungsaufga-
ben vom 22. Juni 2011, S. 12. – Gesetz über befristete Arbeitsverträge in der Wissenschaft (Wissen-
schaftszeitvertragsgesetz – WissZeitVG), 12. April 2007 (BGBl. I S. 506), geändert durch Artikel 1 des
Gesetzes vom 11. März 2016 (BGBl. I S. 442).
Institutionelle Evaluierung des DEval – 2017 23
strategischer Ebene als auch im Institutsalltag konstruktiv und mit hoher Aufmerksam-
keit und Sensibilität auseinanderzusetzen.43
Konkret rät die Gutachtergruppe dazu, bereits bei der Personalrekrutierung die For-
schungsanteile der Tätigkeit auszuweisen und sich durch verstärkte Vernetzungsaktivi-
täten sowie frühzeitige interne Informationen über Ausschreibungsplanungen darum zu
bemühen, jungen, befristet beschäftigten akademischen Mitarbeiterinnen und Mitarbei-
tern Wege in Anschlussbeschäftigungen oder Zusatzqualifikationen zu eröffnen (z. B.
Vertragsverlängerungen aus Projektmitteln, Übergang in unbefristete Stellen, Über-
gang in drittmittelfinanzierte Projekte von wissenschaftlichen Kooperationspartner,
Gastaufenthalte zur Forschungszwecken).44 Die Gutachtergruppe empfiehlt außerdem,
Regelungen für Promotionsstellen am DEval festzulegen.45
Sie legt dem Institut außerdem nahe, die Flexibilisierung der Arbeitszeiten in Betracht
zu ziehen.
Vor dem Hintergrund der immer größeren Bedeutung von IT-Kenntnissen (siehe 3.3.3
Methoden) empfiehlt die Gutachtergruppe dem DEval auch, künftig eine Software-Po-
licy festzulegen, die definiert, welche Software-Kenntnisse zwingend von neuen Mitar-
beitenden erwartet werden und welche Programme vorgehalten werden.
Die Gutachtergruppe regt gegenüber dem BMZ eine flexiblere Gestaltung von Gehalts-
komponenten (insbesondere für Teamleitungsstellen) sowie nach Möglichkeit eine mo-
derate Erhöhung der Anzahl der unbefristeten Teamleitungsstellen des DEval an. Au-
ßerdem empfiehlt die Gutachtergruppe zu überprüfen, ob der bei der Institutsgründung
festgelegte administrative Betreuungsschlüssel nach wie vor ausreichend ist.
43 Aussage der DFG zur Förderung der Chancengleichheit in der Wissenschaft „Chancengleichheit und
Gleichstellung zahlen sich auf mehrfache Weise aus: erst durch sie ist es möglich, das vorhandene In-
novations- und Talentpotenzial voll auszuschöpfen. Zudem wirken sich divers zusammengesetzte Ar-
beitsgruppen aufgrund der Vielfalt der Perspektiven, Erfahrungen und Fähigkeiten ihrer Mitglieder posi-
tiv auf die Qualität der Forschung aus und erbringen somit einen beträchtlichen Mehrwert.“
(http://www.dfg.de/foerderung/grundlagen_rahmenbedingungen/chancengleichheit/ ; abgerufen 24. No-
vember 2016). – Bundesministerium für Bildung und Forschung für die Bundesregierung: Konzept ei-
ner modernen Ressortforschung. Bonn / Berlin 2007, S. 7: Chancengleichheit: „Bei allen Stellenbeset-
zungen ist die Wahrung der Chancengleichheit zu gewährleisten und im Rahmen der Gleichstellung
von Frauen und Männern eine Erhöhung des Frauenanteils in Leitungspositionen anzustreben.“
44 Bundesministerium für Bildung und Forschung für die Bundesregierung: Zehn Leitlinien einer moder-
nen Ressortforschung. Bonn / Berlin 2007, S. 5: „Die Bundeseinrichtungen fördern im Rahmen ihrer
Aufgaben den wissenschaftlichen Nachwuchs. Wissenschaftliche Qualifizierung, Forschungsaufent-
halte im In- und Ausland und Lehrtätigkeiten werden den Beschäftigten soweit möglich eröffnet. Ein an-
gemessenes Maß an befristet Beschäftigten und Doktoranden in den Forschungsbereichen der Bun-
deseinrichtungen wird angestrebt.“ Bundesministerium für Bildung und Forschung für die Bundesregie-
rung: Konzept einer modernen Ressortforschung. Bonn / Berlin 2007, S. 7: Weiterbildungsstrategien:
„Die Einrichtungen prüfen für das wissenschaftliche Personal insbesondere ihre Möglichkeiten bezüg-
lich: - einer wissenschaftlichen Weiterbildung z. B. durch Besuch wissenschaftlicher Tagungen, For-
schungsaufenthalte, wissenschaftliche Nebentätigkeiten; - eines befristeten Personalaustauschs mit
Hochschulen, außeruniversitären Forschungseinrichtungen, den zuständigen Ressorts und anderen
Einrichtungen mit Ressortforschungsaufgaben.“
45 Bundesministerium für Bildung und Forschung für die Bundesregierung: Konzept einer modernen
Ressortforschung. Bonn / Berlin 2007, S. 7: Wissenschaftlicher Nachwuchs. „Akademische Weiterqua-
lifikation erfordert und stärkt die Zusammenarbeit mit Hochschulen, z. B. bei Promotionen und Habilita-
tionen. Zur aktiveren Beteiligung an der Qualifizierung wissenschaftlichen Nachwuchses werden Rege-
lungen für Promotionsstellen an den Einrichtungen angestrebt (z. B. in Form von Doktorandenprogram-
men oder Nachwuchsgruppen).“
Institutionelle Evaluierung des DEval – 2017 24
Die Gutachtergruppe unterstützt Big Data- und Open Data-Vorhaben des DEval und
legt dem BMZ deshalb nahe, eine qualifizierte personelle Verstärkung für diesen Be-
reich zu ermöglichen.
3.3.3 Evaluierung
Evaluierung ist das Kerngeschäft des DEval und sein umfassendstes Handlungsfeld.
Der Schwerpunkt liegt auf komplexen Evaluierungen mit strategisch-übergeordneter
Zielsetzung (Bezug zu Instrumenten und Strukturen der deutschen EZ, Sektoren und
Länderprogrammen des BMZ oder ganzen Themenfeldern). Die Evaluierung einzelner
Projekte oder Programme erfolgt nur im Ausnahmefall. Das Arbeitsprogramm wird
durch das rollierende Mehrjährige Evaluierungsprogramm (MEP) vorgegeben.
Für 2016 hat das DEval im Rahmen der MEP-Festlegung erstmals mittel- bis langfris-
tig angelegte Themenschwerpunkte gesetzt, nämlich „Instrumente und Strukturen der
deutschen Entwicklungszusammenarbeit“, „Nachhaltigkeit (als Querschnittsthema)“
sowie „Fragile Staaten, Friedensförderung und Konfliktprävention“.
Ein wesentliches Element der Evaluierungsverfahren des DEval ist ein strukturierter
Referenzgruppenprozess: Für jedes Verfahren wird eine Referenzgruppe gebildet, in
der politisch Verantwortliche für den jeweiligen Untersuchungsgegenstand (in der Re-
gel Vertreterinnen und Vertreter aus Fachreferaten des BMZ), Verantwortliche aus den
Durchführungs- und Förderorganisationen und ggf. weitere Stakeholder vertreten sind.
Sie haben als „Sounding Board“ während des gesamten Evaluierungsprozesses eine
beratende und unterstützende Funktion (Vermittlung von Kontakten und Bildung einer
Informations-Schnittstelle innerhalb der eigenen Organisation, Bereitstellung von Da-
ten und Dokumenten, Kommentierung konzeptioneller Entwürfe und von Berichtsent-
würfen etc.).
Auf Seiten der an DEval-Evaluierungsverfahren beteiligten BMZ-Referate und der
Durchführungsorganisationen steht eine strukturierte Umsetzungsplanung, die (neu)
auch den voraussichtlichen Umgang mit DEval-Evaluierungsergebnissen bzw. Emp-
fehlungen thematisiert, noch am Anfang.
Ein Monitoringverfahren, das – in einem weiteren Schritt – die faktische Umsetzung
von Empfehlungen überprüft, wird vom DEval 2017 erstmals durchgeführt.
Einschätzungen und Bewertungen
Die Gutachtergruppe hat durch Einsichtnahme in veröffentlichte Evaluierungsberichte
und durch eine projektbezogene Posterpräsentation beim Vor-Ort-Termin einen Ein-
blick in verschiedene laufende und abgeschlossene Evaluierungsvorhaben erhalten.46
Vor diesem Hintergrund sieht die Gutachtergruppe das aktuelle Themenspektrum der
Evaluierungen (auch wegen eines Überhangs von Altprojekten) als heterogen und un-
verbunden an. Dies führt nach ihrer Einschätzung sowohl DEval-intern, d. h. auf der
Arbeitsebene, als auch in Bezug auf die Außenwahrnehmung des DEval derzeit zu
Nachteilen, da noch kein klares Profil erkennbar ist. Sie betont deshalb die Wichtigkeit
eines künftig strategisch begründeten MEP, der die Wahl der Evaluierungsgegen-
46 Eine vertiefte Beurteilung einzelner Evaluierungsverfahren und -berichte war nicht Bestandteil der
Aufgabenstellung der Gutachtergruppe.
Institutionelle Evaluierung des DEval – 2017 25
stände systematisiert und aufzeigt, wie mit seiner Hilfe das Ziel, das DEval als Refe-
renzinstitut für exzellente Evaluierung zu etablieren, erreicht werden kann. Die Bildung
von Themenschwerpunkten kann dabei helfen.
Nach Wahrnehmung der Gutachtergruppe gibt es auf der Ebene der Projektdurchfüh-
rung noch zu viele individuelle und auf Einzelprojekte bezogene, aber verallgemeiner-
bare Lösungen sowohl für organisatorische als auch methodisch-thematische Prob-
lemstellungen. Punktuell hat die Gutachtergruppe die Berücksichtigung bzw. das Hin-
terfragen der im jeweiligen Projektdesign angelegten Erkenntnisgrenzen vermisst.
Der Referenzgruppenprozess ist aus Sicht der Gutachtergruppe ein geeignetes Instru-
ment, um relevante Stakeholder, deren Erkenntnisinteressen und -erwartungen, deren
spezifisches Wissen und deren Informationszugänge in die Evaluierungsverfahren ein-
zubinden. In Bezug auf die aktive Mitwirkung der Fachreferate des BMZ sieht die Gut-
achtergruppe allerdings Grenzen, was deren dafür verfügbare Personalressourcen be-
trifft.
Den Ansatz des DEval, die BMZ-Fachreferate und die Durchführungsorganisationen
bei der Umsetzungsplanung beratend zu unterstützten, begrüßt die Gutachtergruppe
in Bezug auf den Ansatz des Lernens aus Evaluierung und die systemverändernde
Mission des DEval.
Den 2017 erstmals startenden Prozess des Umsetzungsmonitoring sieht die Gutach-
tergruppe als eine Chance an, auch dieses Instrument für einen beratend orientierten
Dialog- und Lernprozess zu nutzen. Die Gutachtergruppe würde es für die Akzeptanz
des DEval als nachteilig einstufen, wenn das DEval dabei in die Rolle einer Prüfinstanz
(ggf. sogar mit Sanktionsrechten) gedrängt würde.
Empfehlungen
Die Gutachtergruppe empfiehlt dem DEval, seine künftigen MEP-Planungen am strate-
gischen Ziel, das DEval als Referenzinstitut für exzellente Evaluierung zu etablieren,
auszurichten. Dabei rät die Gutachtergruppe dazu, die im Rahmen des MEP zu bear-
beitenden Evaluierungsgegenstände und Themenschwerpunkte von Forschungsfra-
gen und vom angestrebten (strategischen) Impact auf das EZ-System ausgehend aus-
zuwählen und zu systematisieren.
Als ein weiteres, allerdings nachgeordnetes MEP-Planungskriterium empfiehlt die Gut-
achtergruppe die Passung von Evaluierungen (und ihren Folgemaßnahmen) zu den
begrenzten personellen und zeitlichen Ressourcen der zuständigen Fachreferate des
BMZ abzugleichen. Den betreffenden Referaten sollten die aktive Teilnahme am Refe-
renzgruppenprozess und ein konstruktiver Umgang mit den Evaluierungsergebnissen
personell und zeitlich möglich sein.
Die Gutachtergruppe empfiehlt im Zuge des Ausbaus des Qualitätsmanagements und
zur Förderung des institutionellen Lernens eine stärkere Systematisierung der Evaluie-
rungsprozesse. Ziel sollte es dabei sein, Routineprozesse zu erleichtern und so zu-
gleich Freiräume für die Gewinnung neuer (Forschungs-)Perspektiven (methodisch,
thematisch, organisatorisch) zu schaffen. Die Team- und Abteilungsleitungen sieht die
Gutachtergruppe in der Verantwortung, in der Projektkonzeption und -durchführung
noch weniger erfahrene Mitarbeiterinnen und Mitarbeiter zielorientiert anzuleiten.
Die Gutachtergruppe rät dem BMZ von einer verbindlichen Umsetzungsverpflichtung
von DEval-Evaluierungsergebnissen im Prozess der Umsetzungsplanung ab, da ein
solches Vorgehen erfahrungsgemäß zum Verlust der intrinsischen Motivation relevan-
ter Prozessbeteiligter führen und letztlich schlechtere Ergebnisse erbringen wird als
Institutionelle Evaluierung des DEval – 2017 26
eine freiwillige Selbstverpflichtung. Sie empfiehlt deshalb, sowohl die Umsetzungspla-
nung als auch das Umsetzungsmonitoring als ein beratend und lernorientiert ausge-
richtetes Verfahren auszugestalten.
3.3.4 Methodenentwicklung
Das Handlungsfeld „(Weiter-)Entwicklung von Methoden und Standards“ ist schwer-
punktmäßig am Kompetenzzentrum Methoden (KZM), der Querschnittsabteilung des
DEval, verankert. Das KZM ist erst seit Sommer 2016 auf Leitungs- und Mitarbeiter-
ebene vollständig besetzt.
Das DEval folgt einem anwendungsorientierten Forschungsverständnis. Der Nutzen
der (weiter-)entwickelten Methoden für die eigene Evaluierungstätigkeit wie auch für
die (inter-)nationale Evaluierungsgemeinschaft steht im Vordergrund. Zur Weiterent-
wicklung von Standards trägt das DEval durch die Erarbeitung von Empfehlungen für
die Implementierung von Best Practices sowie zu Anpassungen oder Neuausrichtun-
gen bestehender Standards bei.
DEval-Evaluierungen sind in der Regel durch folgende Merkmale charakterisiert: Sie
beziehen sich auf zuvor nicht untersuchte Evaluierungsgegenstände und werfen neue
Evaluierungsfragen auf. Zu ihrer Untersuchung sind Rekonstruktionen der jeweiligen
Wirkungslogik und der Einsatz theoriebasierter Evaluierungsdesigns erforderlich. Ziel
des DEval ist es, mit Hilfe systemischer Perspektiven auch nicht intendierte Wirkun-
gen, Risiken oder Alternativerklärungen sowie Wirkungen anderer Akteurinnen und Ak-
teure zu erfassen. Das DEval verfolgt grundsätzlich einen „Mixed-Methods-Ansatz“
und sichert seine Befunde durch die Verwendung mehrerer Datenerhebungsverfahren
und die Interpretation mit Hilfe der Daten-, Methoden-, Forscher-Triangulation ab. Pro-
zesse und Kausalmechanismen werden nach Angaben des Instituts mit qualitativen
Verfahren der Sozialwissenschaften analysiert, quantitative Elemente fließen beispiels-
weise in Form quantitativer Portfolioanalysen, der ökonometrischen Auswertung von
Umfragedaten oder mit Hilfe quasi-experimenteller Verfahren der Wirkungsmessung in
Verfahren ein. In einzelnen Evaluierungen nutzt das DEval nach eigenen Angaben
auch innovative Methoden und Evaluierungsansätze.
Ob und inwieweit das DEval seine mit öffentlichen Mitteln erhobenen Daten in einer
Forschungsdateninfrastruktur sowohl für die interne als und auch externe Nachnut-
zung verfügbar machen kann, ist derzeit noch unklar.
Einschätzungen und Bewertungen
Die Gutachtergruppe hat durch Einsichtnahme in veröffentlichte Evaluierungsberichte
und durch eine projektbezogene Posterpräsentation beim Vor-Ort-Termin einen Ein-
blick in verschiedene laufende und abgeschlossene Evaluierungsvorhaben und die da-
bei angewandten Methoden erhalten. Vor diesem Hintergrund erkennt sie einen gro-
ßen Methodenreichtum des DEval.
Allerdings sieht die Gutachtergruppe das DEval vor der Aufgabe, den eigenen hohen
Anspruch an Methodenqualität und Methodenentwicklung künftig konsequent(er), in
allen Evaluierungsvorhaben, einzulösen. Hochkarätige angewandte Forschung ist aus
Sicht der Gutachtergruppe für das DEval die entscheidende Voraussetzung, um das
strategische Ziel, sich als Referenzinstitut für exzellente Evaluierung zu etablieren, er-
reichen zu können.
Institutionelle Evaluierung des DEval – 2017 27
Die Gutachtergruppe sieht eine weitere Aufgabe beim Innovationsverständnis: Wissen-
schaftliche Innovation setzt nach ihrer Auffassung grundlegende methodische Neuent-
wicklungen voraus. Das DEval ist diese Aufgabe zunächst mit Ansätzen der Re-Kom-
bination vorhandener Methoden und des Methodentransfers aus anderen Disziplinen
in das EZ-Feld angegangen. Dies sind erste Schritte für Neuentwicklungen, denen
aber weitere folgen müssen.
Die Gutachtergruppe rät dem DEval außerdem zur Vorsicht bei Untersuchungen inner-
halb einer spezifischen Programmlogik. Dabei handelt es sich nach ihrer Erfahrung
zwar um vergleichsweise ergebnissichere, oft aber auch selbstreferentielle Ansätze,
die kaum neue Erkenntnisperspektiven oder grundlegende Veränderungspotential er-
schließen. In diesem Zusammenhang sollten auch die vom DEval gesetzten neuen
Themenschwerpunkte47 dahingehend überprüft werden, inwieweit sie zur Methoden-
entwicklung beitragen können.
Darüber hinaus hält die Gutachtergruppe eine Klärung und Positionsbestimmung des
DEval-Verständnisses von Lernen aus Evaluierung für notwendig – und zwar sowohl in
Bezug auf die verschiedenen Zielgruppen des DEval als auch DEval-intern: Die Si-
cherstellung des Lernens im Prozess und aus den Ergebnissen von Evaluierung ist für
die Gutachtergruppe eine wichtige Qualität und ein wichtiges Profilmerkmal für das
Selbstverständnis und die Außenwahrnehmung des Instituts. Dies gilt sowohl in Bezug
auf Ergebnisse, die für den EZ-Bereich relevant sind, als auch für den Bereich der
Evaluierungsmethoden.
Der Wunsch des DEval, seine Forschungsdaten künftig für die Nachnutzung aufzube-
reiten, wird von der Gutachtergruppe unterstützt. In der wissenschaftlichen For-
schungslogik sind Open Data notwendig: Es muss dem DEval nach Auffassung der
Gutachtergruppe deshalb möglich sein, Vergleichsdaten auch langfristig vorzuhalten
und auch Dritten zur Verfügung zu stellen. Die Gutachtergruppe sieht darin auch eine
Chance für das DEval, neue wissenschaftliche Partner für Forschungskooperationen
zu gewinnen.
Die Gutachtergruppe hält zudem verstärkte, über bisherige punktuelle Ansätze (wie
z. B. die Einbeziehung von Geo Coding Data oder Remote Sensing Data) hinausge-
hende methodische Aktivitäten des DEval im Bereich Big Data für notwendig, um die
Anschlussfähigkeit des Instituts an aktuelle Entwicklungen und den internationalen
wissenschaftlichen Wettbewerb in diesem Bereich sicherzustellen.48
Empfehlungen
Die Gutachtergruppe empfiehlt der Leitungsebene des DEval, eine zur Gesamtstrate-
gie kohärente Forschungsstrategie zu entwickeln, die aufzeigt, wie sich das Institut ein
praxisbezogenes Forschungsfeld aufbauen will und wie dieses mit anderen Teilstrate-
gien (u. a. Personalpolitik (siehe 3.3.2), Evaluierung (siehe 3.3.3), Wissenschaftlicher
Austausch (siehe 3.3.6.1) verbunden werden kann.
Zur Klärung und Positionsbestimmung in Bezug auf das DEval-Verständnis von Ler-
nen aus Evaluierung legt die Gutachtergruppe die Auseinandersetzung mit folgenden
Fragen nahe: Bedeutet Lernen für das DEval die Vermittlung von Fähigkeiten zur kon-
47 „Instrumente und Strukturen der deutschen Entwicklungszusammenarbeit“, „Nachhaltigkeit (als
Querschnittsthema)“ sowie „Fragile Staaten, Friedensförderung und Konfliktprävention“
48 Siehe beispielsweise das Projekt „United Nations Global Pulse – Harnessing big data for develop-
ment and humanitarian action“ unter http://www.unglobalpulse.org/ (abgerufen am 19. Dezember
2016).
Institutionelle Evaluierung des DEval – 2017 28
kreten Problemlösung oder die Schaffung von Problembewusstsein? Welche Zielgrup-
pen sollen was und in welcher Form vom DEval lernen? Wie werden die Lernbedürf-
nisse der Stakeholder identifiziert? Wie können Forschungsdesigns mit Lern- und Ver-
änderungspotential entwickelt werden?
Die Gutachtergruppe empfiehlt, die Bemühungen um eine Open Data-Lösung fortzu-
setzen. Darüber hinaus rät sie dem DEval dazu, sich künftig in Knowledge Reposito-
ries (wie beispielsweise The Impact Evaluation Repository49 oder The Campbell Col-
laboration50) einzubringen. Sie empfiehlt außerdem, sich mit den methodischen Mög-
lichkeiten von Big Data auseinanderzusetzen.
Außerdem hält die Gutachtergruppe die zeitnahe Sicherung eines institutionalisierten
Literaturzugangs für das DEval für unumgänglich, der allen Mitarbeitenden einen direk-
ten Zugang zu einschlägiger (inter-)nationaler Fachliteratur und damit verbunden auch
zu anderen Databanken und Meta-Datenbanken eröffnet.51
Die Gutachtergruppe legt dem BMZ zur Unterstützung der Big Data- und Open Data-
Vorhaben des DEval nahe, eine qualifizierte personelle Verstärkung für diesen Bereich
zu ermöglichen.
3.3.5 Evaluation Capacity Development
Das DEval ist die einzige staatliche Einrichtung der bilateralen Entwicklungszusam-
menarbeit in Deutschland, zu deren fest verankerten Kernaufgaben Evaluation Capa-
city Development (ECD) zählt. Eine von Seiten des BMZ vorgegebene Strategie für
ECD gibt es bislang nicht.
Als zentrales ECD-Projekt führt DEval seit Juli 2014 das Pilot-Projekt FOCEVAL in
Costa Rica und ausgewählten weiteren lateinamerikanischen Ländern durch. Das
Institut verfolgt dabei mit Hilfe eines horizontalen, dezentralisierten Steuerungsmodells
einen systemischen Ansatz (individuelle, institutionelle und gesellschaftliche Ebene)
Dazu wurde in der Partnerregion eine große Koordinierungsgruppe mit Akteurinnen
und Akteuren aus dem Öffentlichen Bereich, der Wissenschaft und der Zivilgesell-
schaft eingerichtet.
Eine Herausforderung für das DEval als Institut ergibt sich im Projekt FOCEVAL aus
dem Umstand, dass das DEval hier erstmals in der Rolle als Projektträger auftritt und
damit zusätzlich zu seiner Institutionellen Förderung weitere Zuwendungsmittel erhält.
Damit sind von den sonst üblichen Verwaltungsvorgängen des Instituts abweichende
Verwaltungsprozesse und Rechtsfragen verbunden, die zu Mehraufwand führen.
Grundsätzlich betrachtet das DEval ECD-Aktivitäten als Querschnittsaufgabe in allen
Evaluierungsverfahren, die geeignete Anknüpfungspunkte zur gleichzeitigen Stärkung
von Evaluierungskapazitäten in den jeweiligen Partnerländern bieten. Die relevanten
Partner(einrichtungen) vor Ort werden dazu im Rahmen einer komplementären Refe-
renzgruppe und/oder mit Hilfe der Rekrutierung lokaler Gutachterinnen und Gutachter
über nationale Evaluierungsgesellschaften sowie durch die Vernetzung mit nationalen
Wissenschaftlerinnen und Wissenschaftlern oder Hochschulen eingebunden.
49 http://www.3ieimpact.org/en/evidence/impact-evaluations/impact-evaluation-repository/ (abgerufen
8. Dezember 2016)
50 https://www.campbellcollaboration.org/ (abgerufen 8. Dezember 2016)
51 Beispielsweise Web of ScienceTM (https://webofknowledge.com/ abgerufen 8. Dezember 2016).
Institutionelle Evaluierung des DEval – 2017 29
Beratung spielt im ECD-Bereich nach Angaben des DEval eine zunehmend größere
Rolle, beispielsweise durch Mitwirkung an der Entwicklung von nationalen oder überre-
gionalen Evaluierungsstandards in Partnerländern oder -regionen.
Die internationale Vernetzung und Sichtbarkeit des DEval werden stark von ECD-Akti-
vitäten bestimmt.
Einschätzungen und Bewertungen
Die Gutachtergruppe beurteilt den ECD-Ansatz des DEval mit einem Fokus auf vor-
bildhafte, multilateral und mehrdimensional ausgerichtete (und daher auch aus For-
schungsperspektive interessante) Pilotprojekte und die durchgängige Berücksichtigung
von ECD-Aspekten in eigenen Evaluierungsvorhaben im Sinne einer Querschnittsauf-
gabe positiv. Sie sieht künftig einen (international) hohen Bedarf an angewandter For-
schung im Handlungsfeld ECD. Den Beitrag der ECD-Aktivitäten zur Internationalisie-
rung des DEval beurteilt die Gutachtergruppe als hilfreich.
Empfehlungen
Die Gutachtergruppe empfiehlt dem DEval, das Handlungsfeld ECD in die For-
schungsstrategie des Instituts zu integrieren und zum Gegenstand eigener Evaluie-
rung zu machen. Sie empfiehlt dazu auch Promotionsstellen vorzusehen.
Die Gutachtergruppe empfiehlt dem BMZ das DEval in beratender Funktion einzube-
ziehen, sofern es in die Konzeption einer ECD-Strategie eintritt.
3.3.6 Kommunikation mit den Zielgruppen
Die Aktivitäten des DEval in seinen verschiedenen Handlungsfeldern und die Vermitt-
lung der dabei gewonnenen Erkenntnisse beziehen sich auf sehr unterschiedliche Ziel-
gruppen:
politische Akteurinnen und Akteure aus Exekutive (BMZ, insbesondere Evaluie-
rungsreferat und Fachreferate; weitere Ressorts mit Bezügen zur Entwicklungs-
zusammenarbeit) und Legislative (Parlament, insbesondere Ausschuss für wirt-
schaftliche Zusammenarbeit des Deutschen Bundestages),
Entscheidungsträgerinnen und Entscheidungsträger aus staatlichen Durchfüh-
rungsorganisationen (insbesondere GIZ und KfW) und aus der nicht-staatlichen
Durchführungspraxis,
Akteurinnen und Akteure aus Partnerländern der deutschen Entwicklungszu-
sammenarbeit,
die (inter-)nationale Fachöffentlichkeit im Bereich der Entwicklungszusammen-
arbeit
die (inter-)nationale Evaluierungsgemeinschaft,
die Wissenschaft (Hochschulinstitute, Think Tanks mit Evaluierungs- und Me-
thodenbezug und/oder Bezug auf die Entwicklungszusammenarbeit),
die an Entwicklungszusammenarbeit interessierte Öffentlichkeit sowie
Medien, die über Entwicklungszusammenarbeit berichten (überregionale Tages-
zeitungen, Fachmedien, Blogs, Online-Medien, TV/Radio).
Das DEval veröffentlicht die Ergebnisse seiner Evaluierungen derzeit in Form umfang-
reicher Abschlussberichte sowohl als Druckfassungen als auch als PDF-Dateien im In-
ternet. Mit Rücksicht auf die Gepflogenheiten des Parlaments werden Abschlussbe-
richte in der Regel in deutscher Sprache verfasst.
Institutionelle Evaluierung des DEval – 2017 30
Weitere Veröffentlichungen des DEval sind seit 2015 die sogenannten Policy Briefs, in
denen strategische Schlussfolgerungen und Empfehlungen des DEval auf wenigen
Seiten in komprimierter Form dargestellt werden. Die Policy Briefs sind ebenfalls auf
der DEval-Website abrufbar und werden auch gedruckt. Sie werden grundsätzlich in
einer deutschen und einer englischen Fassung erstellt.
Ab 2017 ist nach Angaben des DEval die Intensivierung der noch im Aufbau befindli-
chen Pressearbeit vorgesehen. Außerdem soll die Online-Kommunikation ausgehend
von der DEval-Website um einen Newsletter und um Social Media-Aktivitäten ergänzt
werden.
Das DEval hat zudem eigene Veranstaltungsformate etabliert, u. a. die sogenannten
„Brown Bag Lunches“, eine Vortragsreihe zu methodischen und inhaltlichen Themen,
die sich neben den eigenen Mitarbeitenden an das politische Umfeld, die Fachöffent-
lichkeit im EZ-Bereich sowie die Evaluierungsgemeinschaft im Raum Bonn richtet.
Einschätzungen und Bewertungen
Das DEval steht aus Sicht der Gutachtergruppe vor der Herausforderung, sehr hetero-
gene Zielgruppen mit unterschiedlichen Nutzungsbedürfnissen zu informieren, deren
Wünsche in Bezug auf Schwerpunktsetzungen (EZ-Themen und/oder Methoden) und
den Vertiefungs- bzw. Verdichtungsgrad der Informationen (Umfang, Strukturierung
und formale Aufbereitung von Ergebnissen) stark voneinander abweichen.
Vor diesem Hintergrund hält die Gutachtergruppe die bisher übliche, umfangreiche Be-
richtsform für Evaluierungen (Abschlussberichte) nicht mehr für zielführend und statt-
dessen zielgruppenspezifische Formate für erforderlich. Das Format der Policy Briefs
hält die Gutachtergruppe für den Politikdialog für einen geeigneten Ansatz.
Die Gutachtergruppe begrüßt, dass das DEval – als einen ersten Schritt – den Be-
richtsumfang der bereits in Vorbereitung befindlichen Abschlussberichte reduzieren
und die zugehörigen Datenanhänge an anderer Stelle zugänglich machen will.
Außerdem sieht es die Gutachtergruppe als notwendig an, dass das DEval künftig ver-
stärkt in englischer Sprache publiziert, um seine internationale Sichtbarkeit zu erhö-
hen, da deutschsprachige Veröffentlichungen international nur von (zu) wenigen zur
Kenntnis genommen werden.
Sie unterstützt die vom DEval geplanten Social Media-Aktivitäten und die vorgesehene
Herausgabe eines eigenen Newsletters sowie die Weiterführung der hauseigenen Ver-
anstaltungsreihe.
Empfehlungen
Die Gutachtergruppe empfiehlt dem DEval im Rahmen seiner Gesamtstrategie und mit
engem Bezug auf das MEP eine zielgruppenspezifische Kommunikationsstrategie
(einschließlich einer Strategie für den Politikdialog) zu entwickeln und daraus eine Pro-
duktpalette abzuleiten. Sie rät dazu, Transparenz herzustellen, welche Zielgruppen
vom DEval künftig in welchen Abständen, in welcher Vertiefung und Verdichtung, in
welchen (Publikations- und Veranstaltungs-)Formen und auf welchen Informationska-
nälen bedient werden. Rückmeldungen der einzelnen Zielgruppen zu ihren Informa-
tions- und Nutzungsbedürfnissen sollten nach Möglichkeit berücksichtigt werden.
Die Gutachtergruppe empfiehlt dem DEval, verstärkt in englischer Sprache zu publizie-
ren; dies gilt insbesondere für wissenschaftliche Veröffentlichungen zur Evaluierungs-
methodenforschung.
Institutionelle Evaluierung des DEval – 2017 31
3.3.6.1 Wissenschaftlicher Austausch
Der Austausch des DEval mit der wissenschaftlichen Community erfolgt neben den
Veröffentlichungen des Instituts durch Beiträge von Mitarbeiterinnen und Mitarbeitern
zu Konferenzen und in Fachzeitschriften. Einzelne sind in der universitären und außer-
universitären Lehre aktiv. Das DEval richtet außerdem einschlägige, auch internatio-
nale Veranstaltungen aus.52
Um seine (inter-)nationale Vernetzung zu fördern, engagiert sich das DEval in unter-
schiedlichen Kooperationen, Netzwerken, Verbänden und Vereinen: Im Evaluierungs-
bereich ist DEval gemeinsam mit dem BMZ deutsches Mitglied im OECD-DAC EVAL-
NET, Mitglied der European Evaluation Society (EES) und der Gesellschaft für Evalua-
tion e.V. (DeGEval) und wirkt in informellen und regionalen Netzwerken mit (z. B. Nor-
dic+ Evaluation Group). Im wissenschaftlichen Bereich kooperiert das DEval u. a. mit
dem CEval (Centrum für Evaluation) der Universität des Saarlandes und dem AidData
Center for Development Policy am College of William and Mary in den USA. Eine Ko-
operation mit dem benachbarten Deutschen Institut für Entwicklungspolitik (DIE),
Bonn, u. a. für einen gemeinsamen Bibliothekszugang, ist in Planung. Eine internatio-
nale Kooperation mit dem University College of London wird vorbereitet. Darüber hin-
aus ist das DEval Mitglied der European Association of Development Research and
Training Institutes (EADI). Über das ECD-Projekt FOCEVAL ist das DEval im ReLAC
(lateinamerikanisches Evaluierungsnetzwerk), in „EvalYouth“, in CLEAR Mexiko und
dem Regionalbüro von UN Women Panama aktiv. Außerdem unterstützt das DEval
gemeinsam mit dem Deutschen Akademischen Austauschdienst (DAAD) eine Hoch-
schulkooperation der Universität des Saarlandes, der Universität von Costa Rica und
von San Carlos in Guatemala für einen Blended Learning Masterstudiengang.
Einschätzungen und Bewertungen
Die Gutachtergruppe sieht bei der gezielten Verbreitung wissenschaftlich relevanter
Ergebnisse des DEval, insbesondere auf dem Gebiet der Methodenentwicklung, noch
Potential und im Hinblick auf die strategische Zielsetzung, sich als Referenzinstitut zu
etablieren, Entwicklungsmöglichkeiten.
Der Wahrnehmung der Gutachtergruppe nach hat der bisherige Output-Druck bei den
Evaluierungsberichten eine systematische, über Einzelinitiativen hinausgehende Vor-
gehensweise für den wissenschaftlichen Wissenstransfer bislang behindert. Sie be-
grüßt deshalb, dass am DEval für einen Dreimonatszeitraum erstmals Personalres-
sourcen ausschließlich für Disseminierung (1,5 Stellen) zur Verfügung stehen. Sie
macht zugleich deutlich, dass sie dies für eine Daueraufgabe hält.
Die Vernetzungsbemühungen des DEval, u. a. durch Mitgliedschaften und die aktive
Mitwirkung in einschlägigen (inter-)nationalen Verbänden, Vereinen und Netzwerken
sowie das Bemühen um (inter-)nationale Kooperationspartner im Hochschulbereich,
beurteilt die Gutachtergruppe positiv. Eine kontinuierliche, intensive Zusammenarbeit
des DEval mit einschlägigen Institutionen in Bonn hält die Gutachtergruppe mit Blick
auf die Rekrutierung qualifizierter (Nachwuchs-)Wissenschaftlerinnen und Wissen-
schaftler für das DEval für wünschenswert.
52 z. B. Netzwerktreffen der ECD-Zentren (CLEAR) oder internationale Konferenz „Evidence on a Silver
Platter“ (gemeinsam mit den Außenministerien der Niederlande und Belgiens) im Jahr 2015.
Institutionelle Evaluierung des DEval – 2017 32
Empfehlungen
Die Gutachtergruppe empfiehlt dem DEval, in allen Projekten und jeweils während des
gesamten Projektverlaufs personelle und zeitliche Ressourcen auch für wissenschaftli-
che Veröffentlichungen und Transferleistungen einzuplanen. Sie rät dazu, bereits in
der Konzeptionsphase die adressierten Forschungsfragen mit den angestrebten wis-
senschaftlichen Endprodukten zu verknüpfen (z. B. Ziel sind X Fachpublikation in den
Reviewed-Papers A, B und C sowie ein Fachvortrag auf einer in zwei Jahren stattfin-
denden internationalen Konferenz zum Thema D). Daneben hält es die Gutachter-
gruppe für notwendig, dass alle wissenschaftlich tätigen Mitarbeiterinnen und Mitarbei-
ter die Möglichkeit erhalten, aktiv in wissenschaftlichen Netzwerken mitzuwirken.
Die Gutachtergruppe rät dem DEval außerdem dazu, nach Möglichkeit weitere (inter-)
nationale Forschungskooperationen anzubahnen und künftig gemeinsam mit universi-
tären Forschungseinrichtungen auch kooperative Drittmittelforschung in Betracht zu
ziehen.
3.4 Wirtschaftlichkeit
Die Institutionelle Förderung des DEval beträgt für das Jahr 2016 insgesamt
7.398.000,- €.53 Die Prüfung der zweckentsprechenden Mittelverwendung unterliegt
der Revision des BMZ. Das DEval hat bislang keine Drittmittel eingeworben, es erhält
jedoch Projektfördermittel für die Erfüllung seiner Aufgabe Evaluation Capacity Develo-
pment im Rahmen des Projekts FOCEVAL (Laufzeit Oktober 2014 bis Dezember
2018).
Kennzahlen liegen bislang nur in kleinem Umfang vor und beziehen sich zudem aus-
schließlich auf den quantitativen Output des DEval (Anzahl der an das BMZ übermittel-
ten Abschlussberichte, Zahl der Veröffentlichungen und Veranstaltungen des Instituts
etc.). – Die finanzielle Ausstattung wird vom DEval mit Bezug auf die bestehenden
Aufgaben als grundsätzlich angemessen eingeschätzt.
Einschätzungen und Bewertungen
Die Frage nach der Wirtschaftlichkeit der Institutslösung ist für die Gutachtergruppe
schwer zu beantworten. Die Wirtschaftlichkeit bzw. die Effektivität und Effizienz des
DEval lassen sich ihrer Auffassung nach zweckmäßig in erster Linie qualitativ und an-
hand von Veränderungswirkungen bestimmen, die durch Resultate des DEval (mit-)an-
gestoßen werden. Dieser Impact bezieht sich sowohl auf die Ebene der politischen
Steuerung als auch auf die Tätigkeit der (nicht-)staatlichen Durchführungsorganisatio-
nen und auf die die Partnerländer. Berücksichtigt werden muss aus Sicht der Gutach-
tergruppe auch der Beitrag des DEval zum wissenschaftlichen Erkenntnisfortschritt im
Bereich der Evaluierungsmethodenforschung. Für entsprechende Erfolgsbewertungen
ist es aus Sicht der Gutachtergruppe aber noch zu früh. Sie hält die vorhandene Da-
tenbasis sowohl für qualitativ als auch für quantitativ fundiert begründete Aussagen
noch für zu klein.
53 Ist-Stand 2016: nach Angaben des DEval voraussichtlich 6.200.000,- €; Soll-Stand 2015: 7.398.000
€ / Ist-Stand 2015: 5.227.000,- €. Minderausgaben u. a. wegen nicht besetzter Personalstellen.
Institutionelle Evaluierung des DEval – 2017 33
Zum gegenwärtigen Zeitpunkt weist die Gutachtergruppe deshalb darauf hin, dass die
institutionelle Förderung des DEval in Höhe von 7.398 T€ (Plan) 54 im Vergleich zum
Gesamtetat des BMZ im Haushaltsjahr 2016 (7,407 Milliarden Euro) nur einen Anteil
von weniger als 0,1 % erreicht. Dies erscheint der Gutachtergruppe eine vertretbare
Größenordnung, um die Gründungszwecke des DEval zu verwirklichen.
Empfehlungen
Die Gutachtergruppe sieht das DEval in der Verantwortung, im Rahmen seiner weite-
ren Strategieplanung und Profilbildung Erfolgsziele und mit ihnen verbundene qualita-
tive und quantitative Indikatoren festzulegen, die eine stichhaltige Erfolgskontrolle des
Impacts des DEval55 ermöglichen. Eine aussagekräftige Überprüfung der Zielerrei-
chung und der Wirtschaftlichkeit der Organisationsstruktur und internen Prozesse des
DEval könnte dann beispielsweise im Rahmen einer erneuten externen institutionellen
Evaluierung in drei bis fünf Jahren stattfinden.
54 Vgl. Bundeshaushaltsplan 2016. Einzelplan 23: Bundesministerium für wirtschaftliche Zusammenar-
beit und Entwicklung, S. 43, 46-47. Das DEval erhält als Projektträger zusätzliche Mittel im Wege der
Projektförderung für den Aufgabenbereich Evaluation Capacity Development (2016 (Plan): 750 TEUR)
siehe S. 43, 68.
55 Dabei könnte ggf. auf die in der „Ausgangserhebung zum DEval und seinem Umfeld“ (Berichtsle-
gung 2015; eines der ersten Projekte der Gründungsleitung) benannten langfristigen Impact-Erwartun-
gen an das Institut Bezug genommen werden, z. B. „Vom DEval (weiter)-entwickelte Designs und Me-
thoden werden in Evaluierungen der (inter-)nationalen EZ genutzt und in der wissenschaftlichen De-
batte aufgegriffen.“; „Die Transparenz in der deutschen EZ ist erhöht.“
Institutionelle Evaluierung des DEval – 2017 34
Anhang 1: Begutachtungsfelder
Begutachtungsaspekte
Gesamtsystem der (inter-)nationalen EZ
Stellenwert des DEval
(Unternehmenszweck und
strategische Funktionen;
Erfüllung der strategischen
Funktionen; Unternehmens-
umfeld)
Mandat und Aufgaben bzw. Handlungsfelder
Kohärenz der Handlungsfelder
Zielgruppen und Wirkungsfelder
Alleinstellungsmerkmale und Reputation, Mehrwert
der Einrichtung für die deutsche EZ
Relevanz des Outputs in Bezug auf Wirkungsfelder,
Akzeptanz und Durchsetzungsfähigkeit
externe Schnittstellen
Verortung im deutschen EZ-System sowie im
Evaluierungssystem der deutschen EZ
Verortung im internationalen Umfeld im Bereich der
Entwicklungsevaluierung
Synergien und konkurrierende Einrichtungen
vergleichbare Einrichtungen (auch international)
Governance
Vision Erwartungen/Intentionen/Szenarien in Bezug auf die
künftige Entwicklung des DEval
Mission und Zielsetzung Selbstverständnis, Ziele und Aufgaben
Strategie Strategiefindung (Zielentwicklung und Zielfestlegung)
Umsetzung der Strategie / Vorgehensweise und Maß-
nahmen zur Zielerreichung
Maßnahmen-Priorisierung bzw. Schwerpunkt-setzun-
gen und Kohärenz
Besetzung, Aufgaben und Rolle des Beirats
Institutionelle Unabhän-
gigkeit
Handlungsfreiheit, Festlegung des Arbeits- bzw. For-
schungsprogramms
Fachaufsicht, Rechtsaufsicht, Arbeitsrecht, Personal-
einstellung
finanzielle Regelungen (Haushalt)
Zusammenwirken mit dem BMZ
Zusammenwirken mit dem Beirat
Berichtspflichten
Umgang mit Vertraulichkeit, Betrug, Korruption,
Integritätsproblemen in den Kooperationsländern und
intern
Institutionelle Evaluierung des DEval – 2017 35
Begutachtungsaspekte
Organisation und Management
Struktur und interne
Steuerung
Leitungsstrukturen
Interne Kommunikation und interne Schnittstellen
Institutskultur
Qualitätsmanagement und institutionelles Lernen
Organisation Zweckmäßigkeit und Kohärenz von Organisation und Auf-
gabenverteilung
Personal Personalausstattung und -struktur
Personalgewinnung und -entwicklung
Ressourcen und Wirt-
schaftlichkeit
Finanzierung
Infrastruktur
Wirtschaftlichkeit der Einrichtung und ihrer Aufgaben-
wahrnehmung
Handlungsfelder
Evaluierungstätigkeit Aufgabenstellung
Maßnahmen-Priorisierung / Schwerpunktsetzungen
Zielgruppen
aktuelles Arbeitsprogramm
abgeschlossene Projekte
Standards und Kriterien
Methoden
Data Governance / Datenqualität
grundlegende Prozesse
relevante Beteiligte und Schnittstellen
Ergebnisse / Output
Qualität, Relevanz und Wirkungen des Output
Kooperationen und Vernetzung
Beitrag zum Wissenstransfer
Qualitätssicherung
Ressourcen und Effektivität
(Weiter-)Entwicklung und
Überprüfung von über-
greifenden Methoden und
Standards
Notwendigkeit eigener Forschungsaktivitäten
Forschungsansatz und Themen, methodologische
Innovationen
Vorgehensweise
aktuelles Arbeitsprogramm
abgeschlossene Projekte
relevante Beteiligte und Schnittstellen
Ergebnisse / Output
Qualität, Relevanz und Wirkungen des Output
Passung der Forschungsaktivitäten zu grundlegenden
Anforderungen an Forschung in Ressortforschungs-
einrichtungen
wissenschaftliche Kooperationen und Vernetzung,
Publikationen
Institutionelle Evaluierung des DEval – 2017 36
Begutachtungsaspekte
Fortsetzung:
(Weiter-)Entwicklung und
Überprüfung von über-
greifenden Methoden und
Standards
Fortsetzung:
Beitrag zum Wissenstransfer
Qualitätssicherung
Ressourcen und Effektivität
Wissenstransfer und
Vernetzung (als Quer-
schnittsaufgabe)
Formen und Medien der Öffentlichkeitsarbeit
Vorgehensweise in Bezug auf unterschiedliche Ziel-
gruppen sowie Handlungs- und Wirkungsfelder
Mehrwert der Beiträge im Vergleich zu anderen
(intern-)nationalen Einrichtungen der EZ
Konzeption, Durchführung und Effektivität von
Qualifizierungsmaßnahmen
(internationale) Vernetzung und Kooperation mit an-
deren Einrichtungen der EZ und des Wissenschafts-
systems
Förderung von Evaluie-
rungskapazitäten in
Kooperationsländern
Zielsetzungen und Vorgehensweise
Effektivität
Stellenwert in der nationalen und internationalen
Evaluierungsdebatte
Institutionelle Evaluierung des DEval – 2017 37
Anhang 2: Bewertungsgrundlagen
Zur Vorbereitung des Vor-Ort-Termins am DEval und im Rahmen der anschließenden
Berichtslegung hat die Gutachtergruppe umfangreiche Informationsgrundlagen heran-
gezogen.
a) Vermerk zu einem verfahrensbezogenen Gespräch mit dem Parlamentarischen
Staatssekretär des BMZ, Herrn Fuchtel, am 7. November 2016 in Berlin;56
b) zum Zweck der Information und Vorbereitung der Gutachtergruppe erstellte ver-
trauliche Unterlagen57
Selbstbericht des DEval mit umfangreichem Dokumentenanhang;
Ergebnisprotokoll eines Leitfragen-basierten Interviews mit dem Vorsitzen-
den des DEval-Beirats Herrn Hauser, Präsident des Bundesrechnungshofs
a. D., am 4. November 2016 in Bonn;58
Ergebnisprotokolle von Leitfragen-basierten Telefoninterviews mit Mitglie-
dern des DEval-Beirats;59
schriftliche Rückmeldungen von Mitgliedern des DEval-Beirats zu Leitfragen
der Gutachtergruppe;
Ergebnisprotokoll eines telefonischen Experteninterviews mit Herrn Profes-
sor Dr. Joachim von Braun, Direktor des Center for Development Research
(ZEF) und Inhaber des Lehrstuhls für Economics and Technical Change der
Universität, zum Gesamtkontext der deutschen Entwicklungszusammenar-
beit;60
Anonymisierte Gesamtauswertung telefonischer Kurzinterviews mit Refe-
ratsleiterinnen und Referatsleitern sowie Mitarbeitenden verschiedener Re-
ferate des BMZ zu Erfahrungswerten, die diese als Mitglied in einer oder
mehreren Referenzgruppen des DEval oder im Rahmen anderer Formen der
Zusammenarbeit mit dem DEval gewonnen haben, sowie zu diesbezügli-
chen Einschätzungen.61
56 Dokumentation: Dr. Anke Rigbers, evalag.
57 Der Auftraggeber BMZ hat keinen Zugang zu diesen Informationen; eine Weitergabe an Dritte ist
ausgeschlossen.
58 Festlegung der Leitfragen durch die Gutachtergruppe; Durchführung und Dokumentation: Dr. Anke
Rigbers, evalag.
59 Festlegung der Leitfragen durch die Gutachtergruppe; Durchführung und Dokumentation: Petra Ger-
lach, evalag, im Zeitraum 13. Oktober bis 8. November 2016. Die einzelnen Ergebnisprotokolle wurden
vor der Übermittlung an die Gutachtergruppe von den jeweiligen Interviewpartner_innen auf die zutref-
fende Erfassung ihrer Einschätzungen geprüft und freigegeben.
60 Telefonkonferenz mit Herrn Professor von Braun am 31. Oktober 2016. Interviewleitung: Caroline
Heider; Dokumentation: Petra Gerlach, evalag. – Darüber hinaus führte Herr Professor Leeuw im Ok-
tober 2016 ein Hintergrundgespräch zum aktuellen Stand der Evaluierung in der deutschen Entwick-
lungszusammenarbeit mit Herrn Professor Dr. Rainer Stockmann, Inhaber des Lehrstuhls für Soziolo-
gie der Universität des Saarlandes, Direktor des Centrum für Evaluation e. V. (CEval) und Mitverfasser
der Studie „Evaluation in der deutschen Entwicklungszusammenarbeit“ (2009).
61 Benennung einer Auswahl möglicher Gesprächspartner_innen durch den Auftraggeber (Referat
105); Festlegung der Leitfragen durch die Gutachtergruppe; Durchführung und Dokumentation: Petra
Gerlach, evalag, im Zeitraum 2.-15. November 2016.
Institutionelle Evaluierung des DEval – 2017 38
c) öffentlich zugängliche Informationsgrundlagen der Gutachtergruppen waren
vom DEval veröffentlichte Berichte und Policy Briefs
Stellungnahmen des BMZ zu Berichten des DEval
der Webauftritt des DEval
Berichte der Organisation for Economic Co-Operation and Development
(OECD): Development Assistance Committee (DAC) Peer Review Report
Germany 2010 und 2015
DAC Principles for Evaluation of Development Assistance. Paris 1991
OECD DAC / DAC Evaluation Network: Evaluation Systems and Use: a
Working Tool for Peer Reviews and Assessments 2006
Evaluation Cooperation Group (ECG): Review Framework for the Evaluation
Function in Multilateral Banks 200962
ESG: Template for Assessing the Independence of Evaluation Organizations
[o. D.]
United Nations Evaluation Group (UNEG): Framework for Professional Peer
Reviews of the Evaluation Function of UN Organizations 2011
Axel Borrmann / Reinhard Stockmann: Evaluierungspraxis in der deutschen
Entwicklungszusammenarbeit. Bd. 1: Systemanalyse; Bd. 2: Fallstudien.
Münster / New York / München / Berlin (Waxmann) 2009 (Studie im Auftrag
des Bundesministeriums für wirtschaftliche Zusammenarbeit und Entwick-
lung)
Bericht der Bundesregierung zur Weiterentwicklung der Einrichtungen mit
Ressortforschungsaufgaben vom 22. Juni 2011
Bundesministerium für Bildung und Forschung für die Bundesregierung:
Konzept für eine moderne Ressortforschung, 2007
Bundesministerium für Bildung und Forschung für die Bundesregierung:
Zehn Leitlinien für eine moderne Ressortforschung, 2007
Empfehlungen zur Profilierung der Einrichtungen mit Ressortforschungsauf-
gaben des Wissenschaftsrats, 2010
Wissenschaftsrat (Hrsg.): Aufgaben, Kriterien und Verfahren des Evaluati-
onsausschusses des Wissenschaftsrats. Greifswald 2014 (Drs. 4205-14)
Wissenschaftsrat (Hrsg.): Kriterien des Evaluationsausschusses für die Be-
gutachtung von Einrichtungen mit Ressortforschungsaufgaben des Bundes.
Köln 2013 (Drs. 3078-13)
62 Insbesondere Appendix 1: Questionnaire: Working Tool for a Review Framework for the Evaluation
Function and Assessment of the Evaluation Function in Participating ECG Members)
Institutionelle Evaluierung des DEval – 2017 39
Anhang 3: Tabellarische Übersicht der Empfehlungen
Empfehlung Adressat
Governance
Unabhängigkeit als Strukturmerkmal BMZ
Direkter Berichtsweg an Parlament und/oder Hausspitze des
BMZ
BMZ
Transparenz schaffen in Bezug auf die nur formale Gesamtzu-
stimmung des BMZ zum MEP
BMZ
DEval
Vereinbarung über den Zugang des DEval zu Daten und Doku-
menten mit dem BMZ und den Durchführungsorganisationen
BMZ
Einrichtung eines (zusätzlichen) wissenschaftlichen Beirats BMZ
Ressortübergreifende Tätigkeit des DEval BMZ
Ressortforschungseinrichtung
Abwägung der Chancen und Risiken des Status als Ressortfor-
schungseinrichtung unter strategischen Gesichtspunkten
DEval
BMZ
Forschungsorientierung umsetzen DEval
Vernetzung mit anderen Ressortforschungseinrichtungen DEval
Selbstverständnis und Strategie
Strategisches Ziel (Referenzinstitut für exzellente Evaluierung
im EZ-Bereich) durch kohärente strategische Ansätze und Maß-
nahmen für die einzelnen Handlungsfelder und die Organisati-
onsentwicklung des DEval zeitnah konkretisieren.
DEval
Orientierung an Resultaten bzw. am angestrebten Impact auf
das EZ-System
DEval
Organisationsentwicklung
Organisationsentwicklung in Kohärenz mit dem strategischen
Ziel
DEval
Förderung systematischen institutionellen Lernens und Ausbau
des Qualitätsmanagements
DEval
Institutionelle Evaluierung des DEval – 2017 40
Empfehlung Adressat
Überprüfung der Abteilungsgliederung, Hierarchien und Aus-
tauschformate
DEval
Personal
Nutzung von Beschäftigungsmöglichkeiten nach dem Wissen-
schaftszeitvertragsgesetz und Schaffung von Regelungen für
Promotionsstellen
DEval
Aktives Aufzeigen weiterführender Karrierewege für befristet
beschäftigte wissenschaftliche Mitarbeiterinnen und Mitarbeiter
DEval
Strategische und interne Auseinandersetzung mit den Themen
Gleichstellung und Diversität
DEval
Flexibilisierung der Arbeitszeiten DEval
Festlegung einer Software-Policy DEval
Flexiblere Gestaltung von Gehaltskomponenten für Teamlei-
tungsstellen
BMZ
Moderate Erhöhung der unbefristeten Teamleitungsstellen BMZ
Überprüfung des administrativen Betreuungsschlüssels BMZ
Personelle Stärkung des Bereichs Big Data, Open Data BMZ
Evaluierung
Systematisierung der Evaluierungsgegenstände sowie der
MEP-Planung in Kohärenz mit dem strategischen Ziel
DEval
Systematisierung der Evaluierungsprozesse DEval
Berücksichtigung der Aufnahmefähigkeit von Evaluierungen auf
Seiten des Ministeriums
DEval
Ausgestaltung der Umsetzungsplanung und des Umsetzungs-
monitoring als beratend und lernorientiert ausgerichtete Verfah-
ren
DEval
BMZ
Methodenentwicklung
Entwicklung einer Forschungsstrategie in Kohärenz mit dem
strategischen Ziel als Referenzinstitut
DEval
„Lernen aus Evaluierung“ definieren DEval
Open Data Aktivitäten fortsetzen DEval
Institutionelle Evaluierung des DEval – 2017 41
Empfehlung Adressat
Einbeziehung von Big Data DEval
Institutionellen Literatur- und Datenbankzugang für alle
Evaluator_innen sichern (z. B. Web of Science)
DEval
Evaluation Capacity Development (ECD)
Integration von EDC in die Forschungsstrategie DEval
Schaffung von Promotionsstellen DEval
Einbeziehung des DEval in die ECD-Strategieentwicklung BMZ
Kommunikation mit den Zielgruppen
Entwicklung einer zielgruppenspezifischen Informationsstrate-
gie und Produktpalette
DEval
Verstärkte (wissenschaftliche) Publikationstätigkeit in englischer
Sprache
DEval
Wissenschaftlicher Austausch
Konsequente Einplanung personeller und zeitlicher Ressourcen
für wissenschaftliche Veröffentlichungen, Transferleistungen
und für Vernetzung
DEval
Vorab-Festlegung angestrebter wissenschaftlicher Produkte
bereits während der Projektkonzeption
DEval
Anbahnung weiterer Forschungskooperationen und Einstieg in
kooperative Drittmittelforschung
DEval
Wirtschaftlichkeit
Festlegung qualitativer und quantitativer Indikatoren für die
künftige Erfolgskontrolle
DEval