www.causemann.org

„einfach – kompliziert – komplex“

Programmtheorie und logische Modelle in der Evaluierung nach Patricia Rogers

Bernward Causemann

DeGEval, AK Epol, Frühjahrstagung 2011

12. Mai 2011

www.causemann.org 2

Anfangsaufgabe

Bitte überlegen Sie sich eine Evaluierung,

deren Gegenstand Ihres Erachtens

kompliziert oder komplex war.

www.causemann.org

Programmtheorie und logische Modelle

Theorien des Wandels, Wirkungsketten, logische Modelle – hinter Entwicklungsmaßnahmen stehen Programmtheorien.

Evaluierungen beziehen sich i.d.R. auf diese Programmtheorien oder rekonstruieren sie.

Viele Theorien machen die Wirklichkeit einfacher als angemessen – und führen zu Fehlsteuerungen und irrigen Wirkungsaussagen.

Eine Unterscheidung in einfach / kompliziert / komplex nach 7 Kriterien kann Interventionen und Evaluierungen angemessener machen.

3

www.causemann.org 4

Drei Beispiele

<Glouberman/Zimmerman 2002>, zitiert nach <Rogers 2008, S. 31>, Übersetzung: Causemann

Einfach:Ein Kochrezept anwenden

Kompliziert:Eine Rakete zum Mond senden

Komplex:Ein Kind aufziehen

Das Rezept ist essentiell „Rezepte“ sind notwendig „Rezepte“ können nur begrenzt angewandt werden

Rezepte sind getestet, um einfache Nachahmung zu sichern

Eine Rakete zum Mond schicken erhöht die Sicherheit, dass es wieder gelingt

Ein Kind aufziehen bringt Erfahrung, aber keine Sicherheit, dass es wieder gelingt

Spezialwissen ist nicht erforderlich, aber Kochkenntnisse erhöhen die Erfolgsrate

Große Fachkenntnis in mehreren Disziplinen sind notwendig für den Erfolg

Fachkenntnis kann beitragen, aber ist weder notwendig noch hinreichend, um Erfolg zu sichern

Rezepte erzeugen standardisierte Produkte

Raketen sind in entscheidender Hinsicht ähnlich

Jedes Kind ist einzigartig und muss als Individuum verstanden werden

Die besten Rezepte bringen jedes Mal gute Ergebnisse

Es gibt eine hohes Maß an Sicherheit des Ergebnisses

Unsicherheit des Ergebnisses bleibt bestehen

www.causemann.org 5

Eigenschaften von Interventionen

<Patton 2010, S. 90>, ein Konzept von Ralph Stacey, publiziert von Zimmerman et al.

www.causemann.org 6

7 Charakteristika von Interventionen

1. Focus Art der Ziele

2. Governance Beteiligte Organisationen

3. Consistency Art der Übertragbarkeit

4. Necessariness Notwendig zur Zielerreichung?

5. Sufficiency Hinreichend für die Zielerreichung?

6. Change Trajectory Ursache-Wirkungsbeziehung

7. Unintended Outcomes Vorhersagbarkeit

www.causemann.org 7

1. Eigenschaft: Focus (Art der Ziele)

Die folgenden nach <Funnell/Rogers 2011, S. 74-91>

Einfach Kompliziert Komplex

Übereinstimmung über klare Ziele

Verschiedene Beteiligte haben unterschiedliche Ziele

Herausforderungen und Ziele verändern sich im Prozess und bilden sich neu heraus (Emergenz)

Mehrere konkurrierende Ziele sind notwendig für den Erfolg

Beteiligte formulieren im Prozess neue Ziele

Aktivitäten auf verschiedenen Ebenen des Systems notwendig

Ziele können nicht SMART sein

www.causemann.org 8

2. Eigenschaft: Governance (beteiligte Organisationen)

Einfach Kompliziert Komplex

Durchführung durch eine Organisation mit gemeinsamen Zielen und Verfahren

Mehrere spezifische Organisationen mit formalisierten Aufgaben

Neue Organisationen kommen hinzu und arbeiten flexibel zusammen

www.causemann.org 9

3. Eigenschaft: Consistency (Übertragbarkeit)

Einfach Kompliziert Komplex

Die gleiche Intervention funktioniert überall

Verschiedene Zielgruppen brauchen verschiedene Interventionen

Anpassung der Intervention an den Einzelfall

Anpassung an Kontext nicht notwendig

Anpassung der Intervention an die Situation

Was funktioniert, hängt davon ab, welche Gelegenheiten sich neu entwickeln

Kann als „best practice“ entwickelt werden

www.causemann.org 10

4. Eigenschaft: Necessariness (notwendig?)

Einfach Kompliziert Komplex

Der einzige Weg, um eine beabsichtigte Wirkung zu erzielen

Einer von mehreren möglichen Wegen, die beabsichtigten Wirkungen zu erzielen

im voraus planbar nur im Nachhinein erkennbar

www.causemann.org 11

5. Eigenschaft: Sufficiency (hinreichend?)

Einfach Kompliziert Komplex

Reicht aus, um die Ziele zu erreichen

Erzielt seine Wirkungen nur in Kooperation mit anderen Interventionen

Wirkt bei Allen Erzielt Wirkungen nur für manche Zielgruppen und in spezifischen Kontexten

im voraus planbar nur im Nachhinein erkennbar

www.causemann.org 12

6. Eigenschaft: Change Trajectory

Einfach Kompliziert Komplex

Konstantes, lineares Verhältnis zwischen Aufwand und Ergebnis

Veränderungsverlauf ist vorhersagbar, aber erfordert Fachwissen

Veränderungsverlauf ist nicht vorhersagbar und verläuft unstetig

Doppelter Aufwand erzielt doppeltes Ergebnis

Beziehungen sind nicht linear. Es gibt z.B. Wechselwirkungen.

Z.B. Schwellenwerte, nicht vorhersagbare Umschlagpunkte

Je länger die Intervention geht, desto größer die Veränderung

www.causemann.org 13

7. Eigenschaft: Unintended Outcomes

Einfach Kompliziert Komplex

Nicht intendierte Wirkungen können vorhergesagt und beobachtet werden

Verschiedene nicht intendierte Wirkungen sind unter bestimmten Bedingungen möglich

Nicht intendierte Wirkungen können nicht vorhergesagt werden

Fachwissen ist erforderlich, um sie vorherzusehen

Identifizierung ist nur im Nachhinein möglich

www.causemann.org 14

Literatur

<3ie 2009> Robert Chambers, Dean Karlan, Martin Ravallion, Patricia Rogers: Designing impact evaluations. Different perspectives, 3ie working paper 4, International Initiative for Impact Evaluation, New Delhi

<Funnell/Rogers 2011> Sue Funnell, Patricia Rogers: Purposeful Program Theory. Effective Use of Theories of Change and Logic Models, Jossey-Bass, San Francisco, i.E.

<Glouberman/Zimmerman 2002> Sholom Glouberman, Brenda Zimmerman: Complicated and Complex Systems: What Would Successful Reform of Medicare Look Like? Commission on the Future of Health Care in Canada, Discussion Paper 8

<Kurtz/Snowden 2003> C.F. Kurtz, D.J. Snowden: The New Dynamics of Strategy: Sense-making in a Complex and Complicated World. IBM Systems Journal 42(3), 462-83

<Patton 2010> Michael Quinn Patton: Developmental Evaluation, Guilford, New York 2010

<Rogers 2008 > Patricia Rogers: Using Program Theory to evaluate complicated and complex aspects of interventions, Evaluation 2008 14 (1). S. 29-48

<Rogers 2009> Patricia Rogers: Matching Impact Evaluation Design to the Nature of the Intervention and the Purpose of the Intervention, in: 3ie 2009, S. 24-33

www.causemann.org 15

Erinnern Sie sich noch an Ihre Evaluierung vom Anfang?

1. Überlegen Sie anhand von Rogers Kriterien: Welche der sieben Charakteristika der Intervention waren einfach, kompliziert oder komplex?

2. Nehmen Sie sich 5 Minuten Zeit zum Murmeln: Was hieß das für die Evaluierung?

3. Ich hoffe, wir haben noch Zeit für die Diskussion.

www.causemann.org 16

Vielen Dank für die Aufmerksamkeit !