3. 3 Tagesprogramm Warum und was sollte evaluiert werden? Ein
Experiment Das Evaluierungsproblem immer und berall. Was kann
dagegen getan werden? (Die wissenschaftliche Sichtweise) Nun ist es
an Ihnen
4. 4 Warum und was wird evaluiert?
5. 5 Warum evaluieren? Anleger und Investoren wollen wissen,
was Sie erreicht haben: Die gesellschaftlichen Auswirkungen (sowie
die Kosteneffizienz). Sie gewinnen an Glaubwrdigkeit, wenn Sie
Wirkungen nachweisen knnen. Wenn Sie durch staatliche Mittel
finanziert werden, sind Sie dem Steuerzahler
rechenschaftspflichtig. Was evaluieren? Das hngt von Ihrer Mission
ab! Und damit von Ihrer Theory of Change.
6. 6 Zentrale Fragestellungen 1. Kann eine bestimmte Wirkung
durch eine Manahme berhaupt erreicht werden (Effektivitt)? 2. Kann
die gleiche Wirkung auf kostengnstigerem Weg erreicht werden
(Effizienz)?
7. 7 Experiment
8. 8 Experiment Ich stelle Ihnen gleich zwei Fragen (aus zwei
Wissensgebieten). Auf dem Zettel, den ich Ihnen austeile, kreuzen
Sie bitte die aus Ihrer Sicht richtigen Antworten an (bitte nicht
mit dem Nachbarn tuscheln, nicht googeln). Gleichzeitig kreuzen Sie
bitte fr das erste Wissensgebiet an, wie Sie fr ihre Antwort
entlohnt werden wollen: Variabel: Bei richtiger Antwort erhalten
Sie zwei Tafeln Schokolade, bei falscher Antwort erhalten Sie keine
Tafel. Pauschal: Egal ob Ihre Antwort richtig oder falsch ist, Sie
erhalten immer eine Tafel Schokolade. Fr das zweite Wissensgebiet
haben wir Ihnen die Entscheidung bereits abgenommen und (zufllig)
die Art der Entlohnung festgelegt.
9. 9 Frage 1: Stars und Sternchen Das Kind welcher
US-amerikanischen Schauspielerin ist nach einem Kleiderschrank von
Ikea benannt? a. Kate Winslet b. Angelina Jolie c. Cate Blanchett
d. Sandra Bullock
10. 10 Frage 2: Fuballer erklren die Welt Welcher der folgenden
Sprche stammt von Berti Vogts? a. Ich denke nicht vor dem Tor. Das
mache ich nie. b. Hass gehrt nicht ins Stadion. Solche Gefhle soll
man gemeinsam mit seiner Frau daheim im Wohnzimmer ausleben. c.
Haste Scheie am Fu, haste Scheie am Fu! d. Der Jrgen Klinsmann und
ich, wir sind ein gutes Trio. Ich meinte: ein Quartett.
11. 13 Selektionsverzerrung Problem: Die Einteilung in
Behandlungs- und Kontrollgruppe war nicht zufllig! Personen, die
die richtige Antwort kennen, whlen variable Entlohnung. Dieses
Problem tritt meistens auf, wenn die Probanden selber entscheiden
knnen, ob Sie an einer Manahme teilnehmen. Lsung: Wir teilen die
Probanden (Sie!) zufllig in Kontroll- und Behandlungsgruppe ein
(wie wir es fr die zweite Frage gemacht haben).
12. 15 Das zentrale Evaluierungsproblem
13. 16 Ende 2016 ist die WHU eine international anerkannte
Hochschule mit Agenda Setting Kompetenz unter den Top 30 der
europischen Business Schools. Sie ist im Markt bekannt fr
qualitativ hochwertige Bachelor und Master Programme im Bereich
General Management, fr herausragende Forschungsleistungen und fr
ihre starke Vernetzung in die Wirtschaft. Dabei steht die WHU fr
gelebte Internationalitt und ihr klares Bekenntnis zu sozialer
Verantwortung. Einer ihrer besonderen Werte ist die enge Verbindung
zu allen Stakeholdergruppen. Vision der WHU
14. 17 Wie berprfen wir ob die Vision erreicht wird bzw. ob die
Manahmen zur Visionserreichung beitragen? Was sind die Zielgre(n)?
Als Erfolgsmastab dienen oft Ausgaben: Flossen (mehr) Mittel in die
Masterprogramme? oder die Entwicklung ausgewhlter Kennzahlen:
Kennen mehr Leute die WHU? Haben Spenden von Unternehmen
zugenommen? Die berprfung von Ursache-Wirkungszusammenhngen ist
dagegen unblich. und schwierig, wie wir gerade gesehen haben.
15. 18 Kontrollierte Zufallsexperimente - der Idealzustand
Aktuell: JPAL / Esther Duflo, Ursprung in der Medizin Man berprft
experimentell einen Ursache-Wirkungszusammenhang durch das
Beseitigen von Strfaktoren und Selektionsverzerrung Kann prinzipell
Kausaleffekte aufdecken (Gold-Standard)
16. 19 Grenzen experimenteller Studien Ausfhrung fr
insbesondere kleine Initiativen zu teuer und kompliziert Ethische
Probleme, kann Verhaltensnderung nach sich ziehen Teilweise knnen
Experimente aus praktischen, finanziellen oder ethischen Grnden
nicht durchfhrbar sein. Evaluationsstudien gehen zumeist davon aus,
dass die Manahme keine Effekte auf die Kontrollgruppe hat. Es knnen
jedoch vor allem bei groen Projekten Verdrngungs- oder
Spillovereffekte entstehen. Nicht-experimentelle Studien nutzen
statistische Methoden, um eine Kontroll- gruppe zu konstruieren,
die der experimentellen mglichst nahe kommt.
17. 20 Das Evaluierungsproblem Wirkung ist NICHT Y1-Y0 SONDERN
Y1-Y1 *
18. 21 (Teil-)lsungen: Korrektur der Selektionsverzerrung Damit
Y1-Y1 * richtig ist, braucht man eine Kontrollgruppe, welche exakt
der Untersuchungsgruppe entspricht oder man muss fr die anfnglichen
Unterschiede korrigieren. Wenn nur ex-post Daten vorhanden sind,
kann dies mittels dem propensity score matching geschehen. Annahme:
Nur beobachtbare Faktoren sind relevant! Jedoch wei man nie, ob
dies der Realitt entspricht
19. 22 (Teil-)lsungen: Doppelte Differenzen Wirkung Y1-Y1 *
Keine Zunahme der Selektionsverzerrung: =
20. 23 Diff-in-diff: Fehler mssen additiv und zeitinvariant
sein
21. 24 Diff-in-diff funktioniert nicht, wenn die Kontrollgruppe
sich anders entwickelt Y1 Impact? Y1 * Y0 t=0 t=1 time DD berschtzt
die Wirkung!
22. 25 Oder DD unterschtzt die Wirkung!
23. 26 Mgliche Lsungsanstze Kombination von PSM & DiD:
Kontrolliert vor und nach der Intervention fr die
Selektionsverzerrung Y1 Impact? Y1 * Y0 t=0 t=1 time
25. 28 Output Wirkung Output 1 Million Bume wurden gepflanzt
1607426 Brillen wurden geliefert (Vision Spring) Wirkung Wste wurde
zu Wald konomische Wirkung von 269 Mio. (Vision Spring) Bume
berleben & speichern Feuchtigkeit Brillen sind ntzlich,
gelangen dorthin, wo sie gebraucht werden und werden genutzt;
Durchschnittseinkommen derjenigen, die Brillen brauchen;
Produktivitts- steigerung durch Brillen; Einkommens- steigerung
dadurch. Weitere Annahmen ntig Theory of Change
27. 30 Grenzen in der Praxis Eine gute Evaluierung erfordert
viel Arbeit und viele gute Daten Glaubwrdigkeit versus Kausalitt:
Die ffentlichkeit knnte eher an guten Geschichten interessiert sein
als an analytischer Genauigkeit Dennoch kann man viel von dem
wissenschaftlichen Ansatz lernen: 1. Die Wirkungsevaluierung
bereits in der Plannungsphase mitdenken a) Theory of Change Wandels
sowie die relevanten Indikatoren entwickeln b) Bedarf an
Daten/Informationen c) Messbarkeit dessen, was man erreichen mchte
2. Mgliche Selektionsverzerrung vergegenwrtigen a) Auch wichtig, um
festzustellen, ob die Zielpopulation erreicht wurde! 3.
Identifikation und Beseitigung von Strfaktoren a) Falls mglich,
untersuchen Sie kontrafaktisch oder zumindest mit
durchschnittlichen statistischen Daten b) Was hat sich seit dem
Beginn Ihres Projektes generell gendert?
28. 31 Nun ist es an Ihnen Haben Sie eine konkrete Idee fr ein
Projekt? Start-Up? Oder sind Sie ehrenamtlich in einer Organisation
aktiv? Wenn ja was ist Ihre Mission? Welche Wirkungen mchten Sie
erreichen? Was ist ihre Theory of Change? Was sind Ihre Ziele? Was
Ihr Output? Wie mchten Sie Ihre Wirkungen messen?
29. 32 Aufgabe Suchen Sie sich in Gruppen von 2-4 Leuten eine
Organisation oder ein Projekt aus (ein eigenes oder von uns
vorgeschlagenes) Suchen Sie im Internet deren Mission/Vision und
Ziele berlegen Sie anhand dessen wie Sie Output und Impact messen
wrden Schlagen Sie ein "Evaluationsdesign" vor und stellen Sie es
kurz in max. 3 Minuten der Gruppe vor
30. 33 Aufgabe Alternativ: Sie sehen, dass euer Projekt schon
ausfhrlich ber seine eigene Evaluierung berichtet und nehmen das
zum Anlass sich kritisch damit auseinander zu setzen. Sie stellen
der Gruppe kurz vor wie die Organisation ihren Impact messt, wie
Sie den Erfolg davon einschtzen (schaffen sie es tatschlich ihren
Impact zu messen) und was Sie gegebenenfalls anders machen wrden.
Hinweis: Es geht nicht darum zu suchen, ob das von Ihnen gewhlte
Beispiel bereits Informationen zum Impact bereitstellt oder nicht!
Wenn Sie darber stolpern und es benutzen wollen, gut, wenn nicht,
auch gut.
31. 34 Mgliche Beispiele Dialog im Dunkeln/Dialog Social
Enterprise (http://www.dialogue-se.com/) Fairtrade
(http://www.fairtrade-deutschland.de) Betterplace
(http://www.betterplace.org) Heldenrat (http:// www.heldenrat.org)
Balu und Du (http://www.balu-und-du.de) Viva con agua
(https://www.vivaconagua.org)
