Zarządzanie badaniem ewaluacyjnym

Elżbieta Opałka

Krajowa Jednostka OcenyDepartament Koordynacji Polityki Strukturalnej

Ministerstwo Rozwoju Regionalnego

Proces realizacji badania ewaluacyjnego

Instytucja Zarządzająca/Po

średnicząca (Zespół Sterujący

Ewaluacją)

Jednostka Ewaluacyjna/

Grupa Sterująca

Decyzja o ewaluacji

Wykorzystywanie wyników

Opinie/wnioski

Raport z ewaluacji

Realizacja badania

Zakres ewaluacji

Zespół ewaluacyjny

Kryteria jakości procesu ewaluacji: Odpowiedni opis przedmiotu zamówienia (SOPZ): opis zamówienia

został dobrze przygotowany, był przydatny i nie wymagał weryfikacji

Prawidłowe zamówienie publiczne: zostało prawidłowo przeprowadzone a wybrany wykonawca był w stanie przeprowadzić ewaluację na odpowiednio wysokim poziomie

Dostępność: informacji/danych (z systemu monitorowania), respondentów

Odpowiednie zarządzanie procesem: bieżąca współpraca zamawiających i innych partnerów z ewaluatorami

Skuteczne wykorzystanie wyników ewaluacji (z dostarczonych raportów ewaluacyjnych) przez zlecających ewaluację oraz wszystkich zainteresowanych partnerów (w tym popularyzacja wyników ewaluacji)

Współpraca z Wykonawcą

Spotkanie inicjujące badanie:

Ustalenie szczegółowych zasad współpracy (w tym częstotliwość spotkań)

Szczegółowe omówienie koncepcji badania Uwagi i pytania do treści oferty będącej podstawą raportu

metodologicznego (dyskusja nad słabościami oferty)

Wymagania dot. raportu metodologicznego Dostępność danych oraz namiary na uczestników badania Ustalenie treści pisma wprowadzającego Podpisanie umowy na realizację badania

Współpraca z Wykonawcą

Spotkania w trakcie realizacji badania:

Spotkania wcześniej zaplanowane (najlepiej dostosowane do etapów prac badawczych) oraz spotkanie ad hoc (w razie konieczności)

Możliwość kontroli nad przebiegiem badania

Identyfikacja barier w realizacji badania

Ewentualne modyfikacje koncepcji badania (np. w przypadku obiektywnych trudności w uzyskaniu danych; weryfikacja i zmiana wymagań odnośnie zakresu wyników badania, w tym modyfikacja prób, grup respondentów, narzędzi)

Współpraca z Wykonawcą

Prezentacja raportu metodologicznego:

Ok. 2-3 tygodnie od dnia podpisania umowy

Prezentacja projektu raportu na forum Grupy sterującej (uwagi, dyskusja - zlecający pełni rolę moderatora)

Raport wcześniej rozesłany do członków Grupy sterującej

Rola zlecającego/jednostki ewaluacyjnej: weryfikacja zasadności uwag zgłaszanych przez zainteresowane strony/członków grupy sterującej

Raport metodologiczny

Układ raportu metodologicznego:1. opis obszaru badawczego2. metodologia badania (metody, narzędzie)3. plan organizacji pracy badawczej

ocena raportu metodologicznego analogiczna jak w przypadku oceny ofert (raport metod. stanowi uszczegółowienie oferty)

poprawna weryfikacja raportu metodologicznego pod kątem celów badania i dostępności danych determinuje przebieg całego procesu badawczego

Raporty cząstkowe

w przypadku badań dużych, etapowych lub gdy części składowe badania stanowią odrębne całości (np. analiza ilościowa/diagnoza stanu)

możliwość większej kontroli nad przebiegiem badania

możliwość ukierunkowania badania w trakcie realizacji

uzależnienie płatności od postępów badania (czynnik motywacyjny)

Raport końcowy

Oczekiwania odnośnie raportu końcowego i prezentacji wyników (wskazane w SOPZ):

Struktura raportu końcowego:

streszczenie raportu (w języku polskim i angielskim), spis treści, wprowadzenie, opis zastosowanej metodologii oraz źródła informacji

wykorzystywanych w badaniu, opis wyników ewaluacji, wnioski i rekomendacje, aneksy

Raport końcowy

Oczekiwania odnośnie raportu końcowego i prezentacji wyników:

określenie terminu prezentacji (np. na forum Grupy Sterującej),

w ramach prezentacji wyników: konsultacje z ewaluatorem w zakresie wdrożenia rekomendacji

Raport końcowy

Oczekiwania odnośnie raportu końcowego i prezentacji wyników:

określenie terminu prezentacji (np. na forum Grupy Sterującej),

w ramach prezentacji wyników: konsultacje z ewaluatorem w zakresie wdrożenia rekomendacji.

Raport końcowy

Forma raportu:

Raport ewaluacyjny powinien zawierać krótkie (10 stronicowe) podsumowanie przebiegu badania, w tym głównych obserwacji, wniosków i rekomendacji (tzw. executive summary). Ten dokument będzie podstawą rozpowszechniania wyników ewaluacji.

Raport wraz ze streszczeniem powinien być napisany zwięzłym i przejrzystym językiem; liczyć ok. 100 stron (dodatkowo w aneksach przedstawić można przeanalizowane studia przypadków czy przeprowadzone analizy ilościowe).

Wnioski i rekomendacje mogą być powtórzone w formie listy na wstępie raportu (po executive summary). Powinny jednak mieć jasne uzasadnienie w tekście – przy każdym z nich powinno się znaleźć odesłanie do szczegółowej części raportu.

Raport końcowy

Forma raportu:

Wskazane jest by, każdy z rozdziałów miał krótkie podsumowanie.

Rekomendacje powinny być jasne i praktyczne, najlepiej pogrupowane tematycznie Jeśli to możliwe dobrze jest podać rekomendacje wiodące (np. 10 rekomendacji) i do każdej z nich szczegółowe zalecenia o bardziej operacyjnym charakterze.

Rekomendacje powinny mieć załączoną skalę czasową (czy są to działania pilne, czy możliwe do wprowadzenia w średnim okresie), a także określać/sugerować, do kogo należeć powinno w pierwszej kolejności ich wdrażanie.

Raport końcowy

Forma raportu:

Jeśli grupa odbiorców raportu jest duża i zróżnicowana warto pomyśleć o przewodniku dla czytających (krótkie sugestie, które części raportu będą dla danego czytającego – np. KE, beneficjenta, samorządu – najbardziej użyteczne).

Krótkie komentarze na marginesie – prezentujące sedno danego akapitu czy części raportu bardzo ułatwiają szybkie czytanie i znajdowanie interesujących dla czytelnika informacji.

Przejrzystość i przystępność tekstu zwiększają tabele, schematy i zestawienia zamieszczone w ramkach studia przypadku (case studies).

W aneksach do raportu powinny znaleźć się: wykorzystane dane statystyczne, załączniki z formularzami użytych ankiet, listy konsultowanych osób i wykorzystane źródła. Do raportu (w oddzielnym aneksie) można również dołączyć tekst SOPZ.

Ocena raportu końcowego(elementy oceny)

Spełnione oczekiwania: Czy ewaluacja rozstrzyga wszystkie zagadnienia ewaluacyjne i czy odpowiada wymaganiom sprecyzowanym w SOPZ?

Właściwy zakres: Czy trafność programu, jego produkty, rezultaty, oddziaływania, interakcje z innymi politykami i nieoczekiwane efekty zostały objęte analizą?

Odpowiedni projekt: Czy wybrane podejście badawcze i użyte

narzędzia były adekwatne w stosunku do postawionych pytań (uwzględniając istniejące ograniczenia metodologiczne)?

Poprawność doboru danych: Czy użyte dane pierwotne i wtórne były odpowiednie do przedmiotu analizy? Czy są wystarczająco wiarygodne?

Ocena raportu końcowego

• Solidna analiza: Czy informacje jakościowe i ilościowe były poprawnie analizowane, zgodnie z bieżącą metodologiczną wiedzą i standardami? Czy były kompletne i wystarczające by odpowiedzieć na zadane pytania?

• Wiarygodne wyniki: Czy wyniki badania są logiczne, wypływają z przeprowadzonej analizy i mają oparcie w zebranych danych oraz ich interpretacji opartej na sformułowanych hipotezach wyjaśniających?

• Ważne konkluzje: Czy raport dostarcza jasnych konkluzji? Czy są one poparte wiarygodnymi dowodami?

Ocena raportu końcowego

Bezstronne i użyteczne rekomendacje: Czy rekomendacje są uczciwe, niezniekształcone przez osobiste uprzedzenia zlecającego? Czy są wystarczająco szczegółowe by móc je wdrożyć?

Przejrzystość raportu: Czy raport opisuje kontekst, cele, organizację i rezultaty analizowanego programu w taki sposób, że przedstawiane informacje są przystępne?

Najczęstsze błędy w raportach ewaluacyjnych

raport zbyt obszerny opisujący wszystko co się wydarzyło

wyciąganie nieuprawnionych wniosków, nie mających uzasadnienia w ustaleniach

zalewanie danymi, z których tylko część poddana jest analizie

formułowanie mało użytecznych rekomendacji

pobieżność analiz

ograniczona wiedza o szerszym kontekście ewaluowanej interwencji (innych podobnych przedsięwzięciach i ich ewaluacjach)

Najczęstsze błędy w raportach ewaluacyjnych

brak interpretacji, wniosków, komentarzy

zbędna koncentracja na szczegółach bez ogólnego obrazu wyników

schematyzm i rutyna w doborze metod badawczych

wykorzystywanie informacji bez podawania jej źródeł

chaotyczna struktura raportu, streszczenie napisane w pośpiechu

używanie żargonu badawczego (skrótów językowych)

Kanały komunikacyjne raportów ewaluacyjnych

  Kanały Komunikacji

Spotkanie połączone

z dyskusją

Skrócony

raport

Publikacja

Prezentacja

Broszury, artykuły

Konferenc

ja praso

wa

Odbiorcy

Zarządzający i wdrażający program    

Instytucje europejskie, regionalne, krajowe

       

Obywatele, Prasa      

Zarządzanie rekomendacjami

Wnioski i rekomendacje powinny być:

jasne / konkretne realistyczne, pragmatyczne (z podanym horyzontem

wdrożenia) aktualne bezstronne, obiektywne skierowane do konkretnych adresatów uzasadnione – wynikające z faktów i oparte na wynikach

badań, na wiarygodnych danych, szczegółowej wielowymiarowej analizie i trafnej ocenie

kluczowym wnioskom odpowiadają konkretne rekomendacje

Zarządzanie rekomendacjami

o zakresie i sposobie wykorzystania rekomendacji decyduje w zakresie swoich kompetencji Instytucja Zarządzająca/Pośrednicząca,

rolą Jednostki Ewaluacyjnej we współpracy z Grupą sterującą jest analiza i operacjonalizacja zaproponowanych przez ewaluatora rekomendacji,

umowa z wykonawcą może zakładać doradztwo ewaluatora w zakresie sposobu wdrażania rekomendacji,

Instytucja Zarządzająca/Pośrednicząca monitoruje proces wdrażania rekomendacji sformułowanych w wyniku przeprowadzonych ewaluacji (Informacja roczna w zakresie ewaluacji)

Dziękuję za uwagę

elzbieta.opalka@mrr.gov.pl