Evaluacija grant shema

SAFU, 24. veljače 2010.

Ana-Marija Paradinović, voditeljica Odjela za darovnice i okvirne sporazume

Evaluacija grant shema

24.02.2010.

Ciljevi

1. Dati okvir evaluacije darovnica

2. Naučiti korake u procesu evaluacije

3. Dati savjete kako izbjeći pogreške

POČETAK: Odbor za ocjenjivanje

SASTAV:

Provedbena agencija: chairperson & secretary

Korisnik (JPP): članovi s pravom glasa

Observeri (iz DEU, ostalih agencija)-redovito pozivati na sve sastanke

Asesori mogu, ali i ne moraju biti dijelom Ev Com-a (uzimaju se kada je očekivani broj pristiglih ponuda veliki ili je potrebno određeno tehničko znanje)

Odbor za ocjenjivanje

Ako Ev Com nema asesore, članovi Ev Com-a sami ocjenjuju projektne prijedloge

Ako se uzimaju (najčešće Framework ugovorom ili iz vlastitog proračuna), asesori moraju imati barem 5 godina iskustva u relevantnom sektoru, koje dokazuju životopisom

U svakom slučaju asesori samo predlažu, a članovi s pravom glasa odlučuju o projektnim prijedlozima

Odbor za ocjenjivanje

Sastaje se min 4 puta i sastavlja 4 različita izvještaja

U slučaju korištenja zamjenskog člana tijekom evaluacije, chairperson razmatra u kojem se opsegu evaluacija mora ponoviti

DEU se mora pismeno obavijestiti (dajući razloge odsutnosti imenovanog člana), ali razlozi zamjene moraju se opisati i u izvještaju

Potpisivanje Potpisivanje deklaracija o nepristranosti i povjerljivosti Rok za dostavu aplikacija – 60/90 dana od objave

GfA

Projektni prijedlozi - sadržaj

Application Form: Part A: Concept Note (projektni sažetak); Part B; Full Application (opis predloženog projekta), opis opis predloženog projekta), opis aplikanta (djelatnost, kapacitet projektnog i financijskog aplikanta (djelatnost, kapacitet projektnog i financijskog menadžmenta), partnera i suradnika (associates), izjave o menadžmenta), partnera i suradnika (associates), izjave o partnerstvupartnerstvu

Proračun – sastoji se od 3 lista!Proračun – sastoji se od 3 lista!

Logička matricaLogička matrica

Deklaracija aplikantaDeklaracija aplikanta

ChecklistaChecklista

Faze u ocjenjivanju projektnih prijedloga

4 faze u ocjenjivanju4 faze u ocjenjivanju::

1. Receipt and registration of proposals, Opening session and administrative check

2.2. Evaluation of the concept note3. Evaluation of the application form4. Verification of eligibility

Mogućnost klarifikacija aplikanata da nešto dodatno Mogućnost klarifikacija aplikanata da nešto dodatno dostave / pojasne (rokdostave / pojasne (rok za poja za pojaššnjenje do njenje do 4 radna 4 radna danadana))--načelo proporcionalnosti načelo proporcionalnosti

Dugotrajan proces evaluacije (ukupno trajanje 4 Dugotrajan proces evaluacije (ukupno trajanje 4 koraka cca 4-7 mjeseci)koraka cca 4-7 mjeseci)

Način ocjenjivanja

Ako nema asesora – za svaku aplikaciju članovi s Ako nema asesora – za svaku aplikaciju članovi s pravom glasa popunjavaju 1 grid, a ako Ev Com ima pravom glasa popunjavaju 1 grid, a ako Ev Com ima asesore – barem 2 asesora moraju pregledati i asesore – barem 2 asesora moraju pregledati i ocijeniti jednu aplikaciju (uzima se u obzir prosječna ocijeniti jednu aplikaciju (uzima se u obzir prosječna ocjena)ocjena)

Evaluatori ne smiju prepravljati gridove koje su Evaluatori ne smiju prepravljati gridove koje su ispunili asesoriispunili asesori

Ukoliko se evaluatori ne slažu s ocjenama asesora – Ukoliko se evaluatori ne slažu s ocjenama asesora – mogu zanemariti njihove gridove tako da nanovo mogu zanemariti njihove gridove tako da nanovo ispune grid i ocijene istu aplikaciju (ovakvu odluku ispune grid i ocijene istu aplikaciju (ovakvu odluku treba opravdati u izvještaju)treba opravdati u izvještaju)

“Receipt and registration of proposals”

Ev Com članovi ne moraju biti prisutniEv Com članovi ne moraju biti prisutni

Ev ComEv Com članovi moraju biti detaljno upoznati s članovi moraju biti detaljno upoznati s tekstom natječaja (Upute za prijavitelje)tekstom natječaja (Upute za prijavitelje)

Secretary registrira primitak svih ponuda u listi i Secretary registrira primitak svih ponuda u listi i priprema sve omotnice za Odbor (za priprema sve omotnice za Odbor (za administrativnu provjeru)administrativnu provjeru)

Za svaki pristigli projekt secretary zapisuje broj Za svaki pristigli projekt secretary zapisuje broj primitka, naziv pošiljatelja (od koga je stigla), primitka, naziv pošiljatelja (od koga je stigla), datum kada je poslana (primljena)datum kada je poslana (primljena)

1. “Opening session and administrative check”

Provjerava se administrativna prihvatljivost ponuda: Provjerava se administrativna prihvatljivost ponuda: potpunost prijave (točan broj primjeraka, potpisane potpunost prijave (točan broj primjeraka, potpisane izjave), engleski jezik, trajanje i iznos u skladu sa izjave), engleski jezik, trajanje i iznos u skladu sa Uputama za prijavitelje, te ostali zahtjevi prema Uputama za prijavitelje, te ostali zahtjevi prema priloženoj checklisti priloženoj checklisti

S obzirom na datum - prihvatljive su sve ponude koje S obzirom na datum - prihvatljive su sve ponude koje su poslane do određenog roka (preporučena pošiljka su poslane do određenog roka (preporučena pošiljka – datum na omotnici)-obratiti pažnju kako je rok – datum na omotnici)-obratiti pažnju kako je rok definiran u GfAdefiniran u GfA

1. “Opening session and administrative check”

Završna odluka vezana za prikladnost projektnog Završna odluka vezana za prikladnost projektnog prijedloga za prijedloga za nastavaknastavak ocjenjivanja opisuje se u ocjenjivanja opisuje se u izvještaju koji se šalje DEK-u na odobrenjeizvještaju koji se šalje DEK-u na odobrenje

Izvještaj sadrži i odluku te obrazloženje o Izvještaj sadrži i odluku te obrazloženje o eventualnom preskakanju stepa 2 eventualnom preskakanju stepa 2

AnAneksi izvještaju:eksi izvještaju: llisistt of applications received of applications received, , ddeclarations of impartiality and confidentialityeclarations of impartiality and confidentiality, , Completed administrative checklistsCompleted administrative checklists, , [Clarification [Clarification correspondence with the applicant(s)]correspondence with the applicant(s)]

Najčešće pogreške u 1. koraku

Aplikant: Aplikant: izvori finaciranja prema definiciji u GfA, točka 1.3 izvori finaciranja prema definiciji u GfA, točka 1.3

(omjer EU contributiona, nacionalnog sufinaciranja i (omjer EU contributiona, nacionalnog sufinaciranja i aplikantovih sredstava)-ovisi o definiciji u GfAaplikantovih sredstava)-ovisi o definiciji u GfA

mogući popratni dokumenti-nisu svi priloženimogući popratni dokumenti-nisu svi priloženi nekonzistentnost u prikazivanju istih informacija u nekonzistentnost u prikazivanju istih informacija u

različitim dijelovima Application formarazličitim dijelovima Application forma

Odbor za ocjenjivanje:Odbor za ocjenjivanje: nekonzistentnost u pripremi klarifikacija (načelo nekonzistentnost u pripremi klarifikacija (načelo

proporcionalnosti, načelo efikasnosti, načelo jednakog proporcionalnosti, načelo efikasnosti, načelo jednakog tretmana)tretmana)

priprema izvještaja-zbrajanje (aritmetičke greške)!priprema izvještaja-zbrajanje (aritmetičke greške)!

Savjeti u 1. koraku

najbolja praksa za imenovanje članova Odbora za najbolja praksa za imenovanje članova Odbora za ocjenjivanje: više različitih institucijaocjenjivanje: više različitih institucija

Pripremni sastanak (prije otvaranja ponuda)-detaljna Pripremni sastanak (prije otvaranja ponuda)-detaljna priprema članova odbora s pravom glasa:priprema članova odbora s pravom glasa:

1. utvđivanje strategije za ocjenjivanje (za step I) u skladu s GfA i osnovnim načelima javne nabave

2. najbolja praksa-opisivanje strategije u izvještaju

Izvještaj odražava rasprave i zaključke tijekom sastanaka Odbora za ocjenjivanje

Savjeti u 1. koraku

najbolja praksa: izdvojiti Declarations by the Applicant, checlists i Assessment grids, numerirati, inicirati (chaiperson i secretary), ne zagubiti, dokumenti potrebni za 4. step!

pripremiti popis s osnovnim podacima aplikanata (koristiti tijekom cijele evaluacije)

Assessment grids (isti primjerak za svaku ponudu) ispunjavati kontinuirano u svakom stepu

Izvještaj, točka 4., total requested contribution-zbrajanje (aritmetičke greške)!

pripremiti pisma aplikantima o rezultatima odmah nakon slanja izvještaja u DEU (slati nakon odobrenja izvještaja!)

2. “Evaluation of the concept note”

Concept Note (CN) mora biti na max. 4 straniceConcept Note (CN) mora biti na max. 4 stranice

Ocjene su od 1 do 5 (max 50 bodova); neke ocjene Ocjene su od 1 do 5 (max 50 bodova); neke ocjene se prema uputi u ev. gridu množe sa 2 radi važnostise prema uputi u ev. gridu množe sa 2 radi važnosti

Područja koja se ocjenjuju:Područja koja se ocjenjuju: Relevance of the actionRelevance of the action, , Effectiveness and Feasibility of the actionEffectiveness and Feasibility of the action, , Sustainability of the actionSustainability of the action

Min Min 12 12 bodova za bodova za "Relevance" "Relevance" ii min 30 min 30 bodova bodova ukupno – za prolaz u 3. krugukupno – za prolaz u 3. krug

2. “Evaluation of the concept note”

CN mogu ocjenjivati asesori / evaluatoriCN mogu ocjenjivati asesori / evaluatori

Svi ispunjavaju gridove i obavezno pišu komentare (prednosti i Svi ispunjavaju gridove i obavezno pišu komentare (prednosti i nedostaci) koji moraju biti u skladu s danim ocjenamanedostaci) koji moraju biti u skladu s danim ocjenama

Svi administrativno prihvatljivi concept notes se ocjenjuju Svi administrativno prihvatljivi concept notes se ocjenjuju (ovisno o broju bodova koje dobiju prolaze dalje u evaluaciju)(ovisno o broju bodova koje dobiju prolaze dalje u evaluaciju)

U Uputama je definirano koliko CN ide daljeU Uputama je definirano koliko CN ide dalje

Kopije svih gridova su aneks izvještajuKopije svih gridova su aneks izvještaju


Aplikant: Aplikant: ne uključuje podatke o vlastitoj organizaciji u concept ne uključuje podatke o vlastitoj organizaciji u concept

note note

nepreglednost uslijed aplikantove želje za nepreglednost uslijed aplikantove želje za uključivanjem prevelike količine informacija u concept uključivanjem prevelike količine informacija u concept notenote

Odbor za ocjenjivanje: Assessori ne potpišu Deklaraciju o nepristranosti i

tajnosti; ne provjeri se mogući sukob interesa assessora

Aritmetičke greške u zbrajanju bodova

Savjeti u 2. koraku

najbolja praksa: pripremiti upute za assessore (uključujući npr: najbolja praksa: pripremiti upute za assessore (uključujući npr: listu concept noteova koje su preuzeli, Deklaraciju listu concept noteova koje su preuzeli, Deklaraciju o nepristranosti i tajnosti, upute o ocjenjivanju, kontakt podatke chairpersona/secretarija, rok za dostavu gridova)

koordinirati rad assessora (najbolji omjer kvalitete i vremena predviđenog za individualno ocjenjivanje)

double eyes principle u pripremi Izvještaja, posebno prilikom računanja brojčanih ocjena

pripremiti pisma aplikantima o rezultatima odmah nakon slanja izvještaja u DEK (slati nakon odobrenja izvještaja!)

3. “Evaluation of the Full application form”

Ocjene su od 1 do 5 (max 100 bodova), neke ocjene Ocjene su od 1 do 5 (max 100 bodova), neke ocjene se prema uputi u ev. gridu množe sa 2 radi važnostise prema uputi u ev. gridu množe sa 2 radi važnosti

barem 2 asesorabarem 2 asesora ocjenjuju 1 aplikaciju, pri čemu se za ocjenjuju 1 aplikaciju, pri čemu se za rangiranje uzima u obzir prosječna ocjenarangiranje uzima u obzir prosječna ocjena

Područja koja se ocjenjuju: Područja koja se ocjenjuju: Financial and operational capacityFinancial and operational capacity RelevanceRelevance MethodologyMethodology SustainabilitySustainability Budget and cost-effectivenessBudget and cost-effectiveness

3. “Evaluation of the Full application form”

Za prolaz u 4. korak: Za prolaz u 4. korak: Financial and operational Financial and operational capacitycapacity mora dobiti 12 bodova ili više / mora dobiti 12 bodova ili više / RRelevanceelevance mora dobiti 20 bodova ili višemora dobiti 20 bodova ili više

Prema rangu bodova, aplikacije prolaze u 4. krug Prema rangu bodova, aplikacije prolaze u 4. krug natječajanatječaja

Radi se tablica s bodovima + rezervna lista Radi se tablica s bodovima + rezervna lista

Kopije svih gridova su aneks izvještajuKopije svih gridova su aneks izvještaju


Prevelike razlike u bodovima i suprotni komentari Prevelike razlike u bodovima i suprotni komentari ocjena između dvaju asesoraocjena između dvaju asesora

Aritmetičke greške u zbrajanju bodova prilikom pripreme rang liste i izvještaja

Savjeti u 3. koraku

najbolja praksa: pripremiti upute za assessore (uključujući npr: najbolja praksa: pripremiti upute za assessore (uključujući npr: listu aplikacija koje su preuzeli, listu aplikacija koje su preuzeli, upute o ocjenjivanju, kontakt podatke chairpersona/secretarija, rok za dostavu gridova )

koordinirati rad assessora (najbolji omjer kvalitete i vremena predviđenog za individualno ocjenjivanje)

double eyes principle u pripremi izvještaja, posebno prilikom računanja brojčanih ocjena

pripremiti pisma aplikantima o rezultatima odmah nakon slanja izvještaja u DEU (slati nakon odobrenja izvještaja!), uključiti uputu o dostavi dokumenata potrebnih za step 4 prema GfA, točka 2.4

4. “Verification of eligibility”

U ovoj fazi pregledava se prihvatljivost aplikanata / U ovoj fazi pregledava se prihvatljivost aplikanata / partnera (GfA 2.1.1, 2.1.2), tako da se ostavi cca 10 partnera (GfA 2.1.1, 2.1.2), tako da se ostavi cca 10 dana (odnosno prema roku definiranom u GfA, točka dana (odnosno prema roku definiranom u GfA, točka 2.4, ukoliko je tamo isti definiran) aplikantima da 2.4, ukoliko je tamo isti definiran) aplikantima da dostave dodatne dokumente (u pismu nakon 3. dostave dodatne dokumente (u pismu nakon 3. koraka) koji dokazuju ispravnost njihove deklaracije iz koraka) koji dokazuju ispravnost njihove deklaracije iz projektne aplikacije projektne aplikacije

Prije skupljanja Odbora za ovaj korak, aplikanti dakle Prije skupljanja Odbora za ovaj korak, aplikanti dakle moraju dostaviti dokumentaciju koja je navedena pod moraju dostaviti dokumentaciju koja je navedena pod dodatne dokumente u GfA (2.4)dodatne dokumente u GfA (2.4)

4. “Verification of eligibility”

Pregledavaju se: statuti aplikanta / partnera, Pregledavaju se: statuti aplikanta / partnera, financijski dokumenti (bilanca, račun dobiti i gubitka), financijski dokumenti (bilanca, račun dobiti i gubitka), FIF, LEF i ostali dokumenti nabrojeni u GfA, točka 2.4.FIF, LEF i ostali dokumenti nabrojeni u GfA, točka 2.4.

Popunjava se GfA VII. Assessment grid, dioPopunjava se GfA VII. Assessment grid, dio predviđen za step 4predviđen za step 4

Secretary Odbora mora sastaviti listu svih aplikanata Secretary Odbora mora sastaviti listu svih aplikanata koji nisu prihvatljivi i navesti razloge za neprihvatljivostkoji nisu prihvatljivi i navesti razloge za neprihvatljivost


nepridržavanje uputa o dostavi traženih dokumenata nepridržavanje uputa o dostavi traženih dokumenata (nedostatak pojedinih dokumenata ili nedostatak (nedostatak pojedinih dokumenata ili nedostatak originala kada su zatraženi)originala kada su zatraženi)

Savjeti u 4. koraku

konzultirati nacionalnu legislativu ukoliko je to konzultirati nacionalnu legislativu ukoliko je to potrebno u kontekstu pojedinačnih traženih potrebno u kontekstu pojedinačnih traženih dokumenata (tijela ovlaštena za izdavanje, tumačenje dokumenata (tijela ovlaštena za izdavanje, tumačenje kriterija prihvatljivosti ovisnih o nacionalnom kriterija prihvatljivosti ovisnih o nacionalnom zakonodavstu i sl.) i istu pripremiti za sastanak zakonodavstu i sl.) i istu pripremiti za sastanak OdboraOdbora

sve pristigle omotnice s traženim dokumentima sve pristigle omotnice s traženim dokumentima pripremiti za sastanak Odborapripremiti za sastanak Odbora

Deklaracije aplikanata i Assesment gridove za Deklaracije aplikanata i Assesment gridove za aplikacije koje su ušle u step 4 pripremiti za sastanak aplikacije koje su ušle u step 4 pripremiti za sastanak odboraodbora

Potencijalni problemi

Pisma su administrativno zahtijevan posao za secretary

Nezgodno je i okupiti članove Odbora toliko puta (za korak 1 se zna kada će se skupiti, ali već za ostale korake čeka se odobrenje izvještaja i skupljanje odbora je ad hoc)

Koordinacija grant Odbora zahtijeva dobre organizacijske vještine chairperson / secretary


Gridovi se moraju pregledati (usklađenost bodova s komentarima)

Dokumentacija se može odobriti / odbiti / odobriti s komentarom, može se dogoditi da se prema odbijenici Ev Com mora ponovo sastati

Chair / sec eventualno zauzeti na drugim evaluacijama? Teško se planira vrijeme

Izlazak člana iz Odbora tokom trajanja evaluacije


Ugovaranje se direktno nastavlja na evaluaciju (u SAFU ugovaranje obavlja Odjel za pripremu i provedbu projekata)

Komunikacija s drugim odjelom – mora biti spreman na završetak evaluacije – rok za ugovaranje !

Pisma u 4. koraku već su ujedno slanje komentara i pojašnjavanje postupka “budget clearinga” koji slijedi odmah potom

Preporuke

Uska suradnja chairperson/secretary

Uzeti u obzir kontekst konačnog korisnika (uglavnom nisu iz privatnog sektora-dostupnost, poštivanje rokova i sl.)-načelo proporcionalnosti

Načelo tajnosti postupka,načelo jednakog pristupa u eventualnim kontaktima s krajnjim korisnikom (očekivati brojne upite s obzirom na trajanje postupka)

Koordinacija svih sudionika u postupku ocjenjivanja

Double eyes principle u pripremi svih izvještaja prije nego se šalju u internu/ex-ante kontrolu

Pitanja

?

Pitanja

Hvala na pažnji

Documents

Evaluacija grant shema