Badania ewaluacyjne

ETAPY BADAŃEWALUACYJNYCH2 ZAJĘCIA13.10.2008 R.

Etapy badań ewaluacyjnych� Opracowanie konceptualnego modelu badania i

zidentyfikowanie głównych punktów ewaluacji

� Opracowanie pytań ewaluacyjnych i opracowanie mierzalnych wskaźników

� Opracowanie planu ewaluacji� Zbieranie danych� Analiza danych

� Dostarczenie informacji zainteresowanym odbiorcom

Opracowanie konceptualnego modelu badania

� Aby poznać strukturę organizacyjną projektu� Aby zidentyfikować najbardziej krytyczne

elementy projektu/badania

„Model logiczny”WEJŚCIA DZIAŁANIA REZULTATY

KRÓTKOTERMINOWEREZULTATY

DŁUGOTERMINOWETERMINOWE

Model logiczny WEJŚCIA

Środki Programu Europejskiego Funduszu

Społecznego

Raporty WUP o spadku bezrobocia w województwie

podlaskim

Raporty o działalności NGO’sw województwie podlaskim

DZIAŁANIA

Promocja i rekrutacja do projektu

3 konferencje regionalne

4 seminaria „Lepiej rozumiemy prawo”

2 szkolenia dla Ośrodków Pomocy Społecznej

3 szkolenia dla NGO’s

4 szkolenia dla osób fizycznych

Coaching

Punkty informacyjno-doradcze

REZULTATY KRÓTKOTERMINOWE

450 uczestników konferencji

32 uczestników szkoleń dla PUP

16 modeli interpretacji przepisów prawnych

300 osób korzystających z punktów doradczych

Powstanie 4 podmiotów ES

118 uczestników szkoleń dla OPS

60 uczestników szkoleń dla NGO’s

112 uczestników szkoleń dla osób fizycznych

Dotarcie z akcją promocyjnądo wszystkich mieszkańców

województwa

REZULTATY DŁUGOTERMINOWETERMINOWE

Zwiększenie wiedzy na temat narzędzi aktywnej integracji oraz dobrych praktyk i ich stosowania

wśród pracowników pomocy społecznej

Podniesienie poziomu wiedzy i świadomości mieszkańców Podlasia

o ES

Zwiększenie wiedzy o ES wśród pracowników pomocy społecznej i

publicznych słuŜb zatrudnienia

Zmniejszenie barier organizacyjnych i prawnych związanych z zakładaniem

podmiotów ES

Opracowanie uniwersalnego modelu interpretacji przepisów prawnych z

dziedziny ES przez PUP

Opracowanie pytań ewaluacyjnych i mierzalnych wskaźników

� Identyfikacja kluczowych klientów i odbiorców badań ewaluacyjnych

� Sformułowanie pytań ewaluacyjnych zgodnych z interesem klientów i odbiorców

� Zdefiniowanie wskaźników� Uszeregowanie i sprecyzowanie pytań

Klienci i odbiorcy� MenedŜerowie i koordynatorzy projektu� Reprezentanci zleceniodawców� Beneficjenci (faktyczni i potencjalni)� Członkowie zespołu realizującego projekt� Naukowcy, dziennikarze� Członkowie wspólnoty

Matryca klientów/odbiorców

KATEGORIE ODBIORCÓWBADAŃ EWALUACYJNYCH

OKREŚLENIE OSÓB REPREZENTUJĄCYCH OKREŚLONĄ

KATEGORIĘ ODBIORCÓW

OCZEKIWANIA, INTERESY, WARTOŚCI POSZCZEGÓLNYCH ODBIORCÓW , MOGĄCE ODGRYWAĆ ROLĘ JAKO KRYTERIA ANALIZY I INTERPRETACJI BADAŃ EWALUACYJNYCH

Ewaluacja pracy prezydenta miasta

KATEGORIE ODBIORCÓWBADAŃ EWALUACYJNYCH

PREZYDENT MIASTA

USŁUGODAWCY PREZYDENTA

MIESZKAŃCY MIASTA

DZIENNIKARZE

UGRUPOWANIA POLITYCZNE

OKREŚLENIE OSÓB REPREZENTUJĄCYCH OKREŚLONĄ

KATEGORIĘ ODBIORCÓW

T. TRUSKOLASKI

GRUPA ESKADRA

PAN X. PANI Y ITD

KURIER PORANNY, GAZETA WYBORCZA ITD..

PLATFORMA OBYWATELSKA ITD

OCZEKIWANIA, INTERESY, WARTOŚCI POSZCZEGÓLNYCH ODBIORCÓW , MOGĄCE ODGRYWAĆ ROLĘ JAKO KRYTERIA ANALIZY I INTERPRETACJI BADAŃ EWALUACYJNYCH

JAK JESTEM OCENIANY, CZEGO LUDZIE OCZEKUJĄ, ZA CO MNIE CHWALĄ, ZA CO KRYTYKUJĄ ITD

JAKIE SĄ DOBRE, A JAKIE ZŁE STRONY WIZERUNKU PREZYDENTA? Z CZYM PREZYDENT SIĘ KOJARZY? ITD

CZY PREZYDENT REALIZUJE PROGRAM WYBORCZY? CZY LICZY SIĘ Z GŁOSEM OBYWATELI? CZY DZIAŁA ZGODNIE Z PRAWEM?

CZY PREZYDENT DZIAŁA W ZGODZIE Z INTERESEM PARTYJNYM? CZY PREZYDENT REALIZUJE PROGRAM WYBORCZY? ITD

Jakiej potrzebujemy informacji?� Czy zebrane informacje mają wpływ na powodzenie

realizacji projektu?� Kto będzie korzystał z informacji?� Czy uzyskanie informacji na określone pytanie jest

aktualnie moŜliwe?� Czy informacja jest waŜna dla wszystkich, czy jednej

grupy odbiorców?� Czy pytania da się przełoŜyć na mierzalne

wskaźniki?� Czy jest moŜliwe uzyskanie danych informacji biorąc

pod uwagę dostępne zasoby ludzkie i finansowe?

Algorytm definiowania celów ewaluacji

1. OGÓLNIE OPISZ ZADANIE PROJEKTU

2. SFORMUŁUJ POWYśSZE ODNOSZĄC SIĘ DO OGÓLNEGO CELU PROJEKTU

4. CZY DA SIĘ TO ROZBIĆ NA MNIEJSZE CZĄSTKI TAK, ABY DAŁO SIĘ PRECYZYJNIE OKREŚLIĆ, CO CHCIELIBYŚMY UJRZEĆ W FORMIE DOKUMENTU LUB ZMIANY?

3. SFORMUŁUJ CO, CO MA BYĆ PODDANE EWALUACJI TAK PRECYZYJNIE, JAK TO MOśLIWE

5. CZY JEST TO MIERZALNE? (CZY ISTNIEJĄ WSKAŹNIKI?) JEŚLI NIE, PRZEFORMUŁUJ PUNKT 3

Zasoby a ewaluacja

� Ludzie

� Czas� Pieniądze

Przygotowanie projektu ewaluacji

� Wybór podejścia metodologicznego i narzędzi zbierania danych

� Określenie, kto i kiedy będzie poddany ewaluacji

Wybór podejścia metodologicznego i narzędzi zbierania danych

� Metoda ilościowa� Metoda jakościowa

Określenie, kto i kiedy będzie poddany ewaluacjiProjektowanie ewaluacji wymaga określenia takich

czynników, jak:� Doboru badanych� UŜycia grup porównawczych� Czasu badania� Częstotliwości badania� Kolejności badań� Częstotliwości zbierania danych

Dobór badanych

Błędy towarzyszące doborowi

RODZAJ BŁĘDU PRZYCZYNA REMEDIA

BŁĄD DOBORUBADANIE CZĘŚCI , NIE ZAŚ

CAŁOŚCI POPULACJIWIĘKSZA PRÓBA , KTÓRA REDUKUJE , ALE NIE ELIMINUJE BŁĘDU DOBORU

OBCIĄśENIE PRÓBY

NIEKTÓRZY OBJĘCI EWALUACJĄ NIE BYLI OBJĘCI PROJEKTEM LUB DYSPONUJĄ NIEKOMPLETNĄ

INFORMACJĄ

POWTARZANIE PRÓB DOTARCIA DO ODPOWIEDNICH BENEFICJENTÓW .ODPOWIEDNIE I OSTROśNE OPRACOWYWANIE ZEBRANYCH INFORMACJIPORÓWNYWANIE INFORMACJI UZYSKIWANYCH OD RÓśNYCH GRUP RESPONDENTÓW

OBCIĄśENIE ODPOWIEDZI

ODPOWIEDZI NIE ODZWIERCIEDLAJĄ„PRAWDZIWYCH” OPINII LUB

ZACHOWAŃ , PONIEWAś PYTANIA ZOSTAŁY ŹLE ZROZUMIANE LUB TEś

RESPONDENCI NIE CHCĄ MÓWIĆPRAWDY

TESTOWANIE NARZĘDZI PRZED ZASTOSOWANIEMBRAK REMEDIUM NA NIESZCZERE ODPOWIEDZI , CHOĆ MOśNA ŁAGODZIĆ BŁĄD ODPOWIEDZI UMIEJĘTNYM PRZEDSTAWIENIEM CELU EWALUACJI

Grupy porównawczeProblem atrybucji – w jaki sposób sprawdzić, czy rezultaty projektu wynikają z jego działań, czy z powodu innych czynników?

Czas, częstotliwość, kolejność

Crosswalk przykładowego projektu

Co po projekcie ewaluacji?

� Zbieranie danych� Analiza danych� Raportowanie� Rozpowszechnianie