TERVISEDENDUSLIKE

PROGRAMMIDE HINDAMISE

KÄSIRAAMAT

Eesti Tervisekasvatuse Keskus Tallinn 2001

2

Tervise Kommunikatsiooni Osakond Tervisedenduse Keskus Toronto Ülikool

Tõlkija: Karina Reinmann Toimetaja: Anu Kasmel Keelekorrektuur: Andrus Lipand, Lagle Suurorg © Eesti Tervisekasvatuse Keskus Rüütli 24, 10130 Tallinn www.tervis.ee Trükikoda: OÜ Vali Press ISBN 9985-78-317-4

3

EESSÕNA

Eestis on palju inimesi, kes oma igapäevases töös puutuvad kokku

tervisedenduslike projektide ja programmidega, töötavad neis aktiivselt või on nendega mingil muul moel tuttavad. Märksa vähem teatakse projekti- ja programmitöö ühest olulisimast osast – hindamisest. Et veenduda, kas programm teenib püstitatud eesmärke, kas tegevused on kvaliteetsed, kas tegevused jõuavad sihtgrupini ning kas oodatavad tulemused tõepoolest saavutatakse, on hindamine loomulik ja iseendastmõistetav protsess programmis. Paraku elavad paljud programmid Eestis oma iseseisvat elu ilma kvaliteedianalüüsita ja tegevuste hindamiseta.

Teie käes olev Tervisedenduslike programmide hindamise käsiraamat on

loogiliseks jätkuks esimesele eestikeelsele materjalide kogumikule “Kvaliteet tervisedenduses”. Käsiraamat on kokku pandud Toronto Ülikooli Tervisedenduse Keskuse poolt, tõlgitud ja kohandatud Eesti oludele. Nimetatud käsiraamatust leiab kindlasti endale vajalikku iga tervisedendusliku projekti/programmi ja selle evalueerimisega tegelev isik nii Kanadas kui ka Eestis. Kogumikus on toodud selgelt ja süstematiseeritult kogu hindamisprotsessi käik aste-astmelt, alates terminite definitsioonidest ja hindaminei kontseptsiooni loomisest kuni tulemuste disseminatsioonini. Eriti väärtuslikuks pean käsiraamatus toodud programmi hindamise juhtprintsiipe, mis on oma olemuselt universaalsed, internatsionaalsed ja kasutatavad igas kultuurikeskkonnas. Käsiraamatuga kaasneb suurepärane kirjanduse loetelu, mis annab teemade kaupa täiusliku ülevaate programmi hindamise kohta praktiliselt kogu maailmas inglise keeles publitseeritud materjalidest. Soovin südamest, et käesolev kogumik muutuks tervisedenduslike projektide juhtidele igapäevaseks töö- ja abivahendiks ning parandaks sellega oluliselt käesoleval ajal veel habrast projektide kvaliteeti.

Anu Kasmel Direktor Eesti Tervisekasvatuse Keskus

4

SISUKORD Eessõna Sissejuhatus I aste: Ettevalmistus hindamiseks II aste: Asjaosaliste kaasahaaramine III aste: Ressursside määratlemine IV aste: Hindamise kavandamine V aste: Sobivate mõõtmismeetodite ja -protseduuride valik VI aste: Tööplaani, eelarve ja hindamise ajaplaani koostamine VII aste: Andmete kogumine VIII aste: Andmetöötlus ja tulemuste analüüs IX aste: Tulemuste interpreteerimine ja dissemineerimine X aste: Muudatuste sisseviimine Lisa 1: Tervisedenduslike tegevuste loogika mudel Kasutatud kirjandus

5

SISSEJUHATUS Programmi hindamise definitsioon. Üldine loogika mudel tervisedenduse mõistmiseks. Miks hinnata? Hindamise tüübid. Tervisedenduslike programmide hindamise astmed. PROGRAMMI HINDAMISE DEFINITSIOON. � Programmi hindamise mõiste võib olla laiaulatuslik ning sageli defineeritakse seda

vastavalt kasutusalale. � Kõige lihtsam versioon definitsioonist on järgmine: Programmi hindamine on

progammi kvaliteedi analüüs. � Kuidas ning missuguste kriteeriumite järgi me kvaliteeti hindame võib varieeruda ja

tuleneb erinevatest hindamisviisidest. � Ontario Tervishoiuministeerium aktsepteerib järgnevat definitsiooni: Programmi

hindamine on programmi kohta käiva informatsiooni süstemaatiline kogumine, analüüs ja aruandlus eesmärgiga parandada programmi kohta käivate otsuste vastuvõtmisi.

PROGRAMMI HINDAMINE TÄNAPÄEVAL � Ükskõik, millist definitsiooni kasutada, on ikka alati tegemist informatsiooni

kogumisega, mis aitaks programmi planeerijatel parandada oma programmi efektiivsust.

� Et saada usaldusväärset informatsiooni, kasutavad hindajad informatsiooni kogumisel niipalju kui võimalik teaduslikke meetodeid. Informatsioon kogutakse süstematiseeritult ning standardiseeritult.

� Kui hindamisel oli varem põhitähelepanu pööratud programmi mõjule, siis viimastel aastatel peetakse olulisemaks panna rõhku rohkem kvaliteedi järjepidevale parandamisele. Püütakse vastata küsimusele: Mida teha, et parandada programmi efektiivsust? Mida peaks muutma?

“Edukas programm, millel on hulgaliselt võimalusi, peab regulaarselt kindlaks tegema, kas ta on ikka õigel teel ning vastutama selle eest, et vajalikud muutused oleksid sisse viidud.” Thomas C. Timmreck, 1995.

6

MIKS ON VAJA PROGRAMME HINNATA? � Tõendite kogumiseks programmi mõjude kohta. � Finantseerijate ja poliitikute veenmiseks programmi vajalikkuses. � Programmi parandamise võimaluste leidmiseks, et > kindlaks teha, mis töötab, mis mitte; > sihtgrupi vajaduste selgitamiseks; > programmi materjalide kasulikkuse parandamiseks. � Võrrelda programmi teiste omataolistega. � Kulu-tulususe hindamiseks. � Hüpoteeside testimiseks uurimustöödes. PROGRAMMI HINDAMISE TÜÜBID Programmi hindamisi jaotatakse kolme erinevasse tüüpi sõltuvalt hindamise teostamise ajast ning kogutud informatsiooni laadist: 1. Formatiivsed hindamised Formatiivseid hindamisi teostatakse programmi loomise ja väljaarendamise perioodil. Neid kasutatakse planeerimise faasis eesmärgiga välja selgitada, kas programm baseerub tegelikel vajadustel ning kas programm kasutab efektiivseid ning sobivaid materjale ja protseduure. Formatiivsed hindamised sisaldavad: � vajaduste määratlemist � oodatavate tulemuste määratlemist � programmi loogika mudelite selgitamist � programmi materjalide pre-testimist � sihtgrupi analüüse. Programmi “teostamise hindamine” võib sisalduda nii formatiivses, kui protsessi hindamises, kuna see hindab programmi elluviimise kvaliteeti ning määratleb programmi parandamise teed. Teostamise hindamist viiakse läbi peale programmi elluviimise alustamist. 2. Protsessi hindamised Protsessi hindamised fokusseeruvad juba käigus olevatele programmidele. Uuritakse protseduure ja ülesannete täitmise viise ning tegevuste kvaliteeti. Otsitakse vastust küsimusele: “Mida on tehtud ja kellele?”. Protsessi hindamine sisaldab: � gruppide loetelu ja kirjeldusi, kelleni projekt on jõudnud; � teenuste loetelu ja kirjeldusi, mida on pakutud; � kirjeldusi teenuste pakkumise viisidest ja kvaliteedist; � teenuste pakkumisega kaasnenud protsesside kirjeldusi; � teenuste kvaliteedi kirjeldusi; � teostamise hinnangut.

7

3. Summatiivsed hindamised. Viiakse läbi siis, kui programm on ellu viidud. Uurib programmi mõju ning nii planeeritud kui planeerimata tulemusi. Vastab küsimustele: Kas programm muutis midagi? (mõju hindamine) ja kas programm saavutas oma eesmärgid? (tulemuste hindamine). Väga range tulemuste hindamise kavandamise korral võib osutuda põhjuslike seoste leidmine küllaltki komplitseeritud protsessiks. Tulemuste hindamisega on võimalik välja selgitada nii vahetuid tulemusi ja koheseid muutusi (näit. osavõtu määra, teadlikkuse, suhtumise või käitumise muutusi) kui ka pikaaegseid tulemusi (mis programmi mõjul paikkonnas/kogukonnas on toimunud). Tulemuste hindamine võimaldab analüüsida ka programmi kulu-tulusust. Summatiivsed hindamised sisaldavad: � muutusi suhtumistes, teadmistes ja käitumises; � muutusi haigestumuses ja suremuses; � osavõtvate inimeste hulka; � kulu-mõjususe (cost-effectiveness) analüüsi; � kulu-tulususe (cost-benefit) analüüsi; � muutusi poliitikas; � mõju hindamisi. Erinevate eluvaldkondade esindajad nimetavad taolisi hindamiste vorme erinevate nimedega, kuid oma olemuselt on neil sama tähendus. “Tulemuste hindamine” ja “summatiivne hindamine” on terminid, mida kasutatakse sageli samas kontekstis. Üldiselt soovitatakse kirjeldada oma hindamisi selgelt ja arusaadavalt ning mitte toetuda terminoloogiale. Alljärgnevalt on toodud rida definitsioone, mis võivad olla abiks erinevate summatiivsete evalvatsioonide eristamisel: Tulemuste hindamine (Outcome evaluation) – Vastab küsimusele: Mis tekib programmi tulemusel? Määratleb ära, kas oleme täitnud programmi lähi- ja kaug-eesmärgid. Mõju hindamine (Impact evaluation) – Analüüsib programmi mõju sihtgrupile ja teistele asjaosalistele. Mõju hindamine läheb kaugemale tulemuste hindamisest, kuna see ei mõõda ainult tulemusi, vaid ka muutusi, mis on aset leidnud programmi tulemustest johtuvalt. Kulu-tulususe hindamine (Cost-benefit evaluation) – Analüüsib programmi maksumust kontekstis. Hindab nii kulusid kui tulemusi rahalistes suurustes. Programmi tulemused või kasud programmist peavad sellisel juhul olema ümber arvutatud rahalistesse ühikutesse. Kulu-mõjususe hindamine (Cost-effectiveness evaluation) – Taolises hindamises väljendatakse rahalises suuruses vaid kulusid programmile. Mõju väljendatakse tulemustega ja tulemustest johtuvate muutustega (neid ei ole arvestatud rahalistes

8

ühikutes). Nüüd sõltub otsuste-tegijate interpretatsioonist, kas saavutatud tulemused olid tehtud kulutusi väärt või on olemas teisi ja odavamaid programme, millega saavutatakse samasuguseid tulemusi. FAKTORID, MIDA PEAKSIME ARVESSE VÕTMA, TEHES KULU ANALÜÜSI TÜÜPI HINDAMISI: � Lihtne on hinnata lühiaegseid tegevusi, näit. raviaega, puudutud tööpäevade arvu ja

väärtust jne. � Keeruline on hinnata taolisi tulemusi nagu suremus või haigestumine teatud

haigustesse, kuna tervisedenduslike tegevuste tulemused ilmnevad nii pika ajavahemiku jooksul, et seoseid ei ole võimalik rahaliselt määratleda. Epidemioloogilised uuringud suitsetamise levimuse kohta on näidanud, et suitsetamisharjumuse ennetamine ja lõpetamine langetavad haigestumist südame-veresoonkonnahaigustesse ning vähktõppe, mis omakorda toovad kaasa ravikulude vähenemise. Kuna aga nimetatud protsessid leiavad aset pika aja jooksul, ei ole võimalik üheselt määratleda säästetud ressursse.

� Mõningate tegevuste tulemuste kasulikkuses ja väärtuses on raske konsensusele jõuda.

� Vajalik on teha selgeks, kes saab kasu - sponsor, sihtgrupp, kogu rahvas või kõik nimetatud.

� Sageli ei ole võimalik ette näha kulude ja tulude seost interventsiooniga. � Hinnates kulu-mõjusust erinevates programmides võivad tekkida raskused

võrreldavusega kuna sageli klientide vajadused määravad programmi iseloomu ning tulemused ei ole võrreldavad. Näit.: suitsetamise lõpetamise meediakampaania võib maksta vähem kui suitsetamisest loobumise toetusgrupi programm, võib ometi viimatinimetatu osutuda äärmiselt vajalikuks kuna paljud inimesed võivad olla huvitatud just toetusgrupi programmist.

KOKKUVÕTTEKS � Ideaalses situatsioonis baseerub programmi areng elanikkonna vajadustel. � Formatiivset hindamist kasutatakse tulemuste parandamiseks. Eesmärk on olla kindel

tegevuste loogilises seoses oodatavate tulemustega. Kasutatud materjalid pre-testitakse sihtgrupil.

� Protsessi hindamist kasutatakse programmi elluviimisel, määratlemaks kuidas ta ellu viidi ning kes võttis sellest osa. Protsessi hindamine võimaldab parandada programmi tegevusi.

� Tulemuste hindamist kasutatakse programmi parandamiseks, tema efektiivsuse hindamiseks eesmärkide täitmisel ning elanikkonna vajaduste rahuldamiseks.

9

PROGRAMMI HINDAMISE JUHTPRINTSIIBID Programmi hindamise juhtprintsiibid on raamistikuks tervisedenduslike programmide hindamise kvaliteetsel teostamisel ja täiustamisel. Juhtprintsiibid määratlevad, millal, kuidas ning miks hindamisi peaks teostama ja kes peaks neis kaasa töötama. ================================================================ Definitsioonid Printsiip – Üldine seadus, millest tegevused juhinduvad. Programm – Ressurssidega toetatud tegevuste seeria, mis on suunatud teatud kindlas sihtgrupis spetsiifiliste tulemuste saavutamisele. Programmi hindamine – Programmi kohta käiva informatsiooni süstemaatiline kogumine, analüüs ja aruandlus eesmärgiga aidata otsuste tegemise protsessi. Asjaosalised (stakeholders) – Inimesed ja grupid (nii programmi sisemised kui välised), kel on huvi hindamise vastu, st nad on kaasa haaratud või mõjustatud programmi hindamisest. Asjaosalised võivad olla programmi personal, vabatahtlikud, osavõtjad, paikkonna elanikud, otsuste-tegijad või finantseerijad. ================================================================ JUHTPRINTSIIBID MILLAL? Programmi integreeritud planeerimine ja hindamine. •••• Hindamine peaks olema programmi juhtimise integreeritud osa ja peaks toimuma

programmi kõikide faaside ajal. •••• Kõik programmi plaanid peaksid sisaldama ka hindamise plaani, st millal ja mida

hinnatakse. KUIDAS? Programmi selge kirjeldus. • Hinnatav programm peaks olema selge kirjeldusega, eriti protsessi ja eesmärkide

osas, ka sihtgrupp peab olema selgelt välja toodud. Peaks kasutama programmi tegevusloogika mudelit, kui võimalik.

• Programmi eesmärgid, mis ei ole spetsiifilised, peaksid olema selgeks tehtud enne kui evalveerimist.

Identifitseeritud vajadustele suunatud selged eesmärgid. • Igasuguse hindamise eesmärk peab olema selgelt sõnastatud ja baseeruma otsuste

tegemise vajadustele. Spetsiifilised hindamise küsimused. • Hindamise küsimused peavad olema spetsiifilised ja selgesõnalised.

10

• Hindamise küsimused peavad põhinema vajadusele vastata juhtimise võtmeküsimustele.

• Programmi arengufaas, selle kompleksus ja hindamise põhjused peavad olema arvesse võetud hindamise küsimuste formuleerimisel.

• Hindamise küsimused peavad peegeldama programmi protsessi ja/või tulemuslikke eesmärke.

Eetiline aspekt. • Hindamisegrupi liikmed peaksid kindlustama ja respekteerima osavõtjate õigusi ning nende kaitse programmi hindamise käigus. Süstemaatilised meetodid. • Hindamise küsimused peavad kajastama kasutatavat evalvatsiooni meetodit. • Enne hindamise algust peab tutvuma kirjanduse ülevaatega ja varem mujal läbi viidud

hindamiste tegevustega. • Uusi andmeid ei peaks koguma, kui olemasolev informatsioon võimaldab vastata

adekvaatselt hindamise küsimustele. • Planeeritava hindamise meetodid peavad olema põhjalikud, piisava aja- ja

ressursimahuga. • Hindamisel peab kasutama erinevatest allikates pärit (nii kvalitatiivseid kui

kvantitatiivseid) andmekogumismeetodeid erinevates perspektiivides. Selgesõnaline ja korrektne aruandlus. • Hindamise aruanne peab sisaldama programmi ja ta konteksti kirjeldust, hindamise

eesmärke, informatsiooni allikaid, andmeanalüüsi meetodeid, leide ja piiranguid. • Hindamise aruanne peab olema esitatud selges, täielikus, korrektses ja objektiivses

vormis. Õigeaegne ja laiaulatuslik levitamine. • Hindamise üleandmine asjaosalistele peab olema õigeaegne. • Hindamise leide tuleb jagada teiste tervisedenduse valdkonna töötajatega. KES? Multidistsiplinaarne meeskondlik lähenemine. • Hindamise meeskond peab sisaldama erinevaid inimesi adekvaatsete teadmistega

programmist, selle sihtgrupist ja programmi hindamise tehnikatest. • Vastutused peavad olema kokku lepitud hindamise algusest peale. Üks inimene peab

olema vastutav juhtimise eest. • Hindamise meeskond peab otsima vajadusel tehnilist abi, toetust ja koolitust. • Hindamise meeskonna liikmed peavad järjepidevalt parandama oma hindamise

oskusi. Meeskonna liikmed peaksid üksteist täiendama. Asjaosaliste kaasahaaratus.

11

• asjaosalistega peaks konsulteerima ning vajadusel nad hindamise protsessi kaasa haarama (arvestades aja ja muid ressursse).

• Asjaosaliste huvid, ootused, prioriteedid ja pühendumus evalveerimisse peaks olema hindamise aruandes kokkuvõttes tunnustavalt ära märgitud.

• Kommunikatsioon asjaosalistega peaks olema aus ja avatud. • Hindamine peab arvestama programmi sotsiaalset ja kultuurilist keskkonda. MIKS? Hindamise tulemused peavad aitama parandada programmi kulgu. • Programmi juhid peaksid formuleerima edasised tegevusplaanid vastavalt hindamise

käigus leitule ja hindamise soovitustele. • Hindamise tulemusi peaks kasutama otsuste toetamiseks. Tervisedendusliku projekti planeerimine: Ülevaade I * Eelnevate hindamiste tulemused, tõendused Populatsiooni, kogukonna, indiviidide panus Soovitud suunad, seadusandlus, strateegiline mõtlemine

Esimene faas: Situatsiooni analüüs Eelnevad hindamineid, kirjandus, vajadused, visioon *

Teine faas: Eesmärkide määratlemine

Kolmas faas: Strateegiate arendamine: Tegevused, ajaplaan, ressursid

Projekti elluviimine koos kohandamistega

Tulemused, mõju

� Formatiivne hindamine � Programmi hindamine

����Neljas faas: Hindamine

� Protsessi hindamine

� Teostamise hindamine � Vahetu tagasiside

(Ja programmi kohandamine vastavalt lokaalsetele vajadustele)

(Pikaaegne mõju ja tulemused, tagasiside üldisele projektiplaanile)

12

TERVISEDENDUSLIKE PROGRAMMIDE HINDAMISE ASTMED 1 Ettevalmistav aste ° veendu, et hindamiseks vajalikud eeldused on olemas. ° määratle programmi lähi- ja kaugeesmärgid ° määratle mõõdetavad kvaliteediindikaatorid 2 Haara kaasa asjaosalised ° mõista nende huve ja ootusi ° kindlusta nende osavõtt ° koosta hindamise küsimustik 3 Kalkuleeri hindamise ressursside olemasolu ° personali ja muude ressursside olemasolu ° raha piisavust hindamiseks 4 Kujunda hindamise plaan ° vali hindamise tüüp ° koosta hindamise raamistik ° võta arvesse eetilised aspektid ja konfidentsiaalsus 5 Määratle sobivad mõõtmismeetodid ja protseduurid ° hindamise vahendid ° kvalitatiivsed versus kvantitatiivsed meetodid ° erinevate mõõtmismeetodite tugevused ja nõrkused ° kujunda valimi mudel 6 Tööta välja hindamise tegevusplaan, eelarve ja ajakava 7 Kogu andmed vastavalt kokkulepitud meetoditele ja protseduuridele ° piloot-test ° andmekogmistehnikad ° viited andmete kogumise kohta 8 Andmete töötlus ja analüüs ° valmista andmed analüüsiks ° analüüsi andmeid ° kasuta statistilist analüüsi 9 Interpreteeri ja jaga tulemusi ° tulemuste interpretatsioon ° tulemuste ettekandmine ° tulemuste levitamine 10 Tegutse (vii ellu evalvatsiooni tulemustest johtuvalt vajalikud muutused programmis)

13

ESIMENE ASTE: VALMISTU HINDAMISEKS Määratle hindamise kaug- ja lähieesmärgid Identifitseeri kvaliteedi indikaatorid Defineeri sihtgrupp Defineeri tegevused Kindlusta vajalike eelduste olemasolu HINDAMISEKS ETTEVALMISTATUD PROGRAMMIL PEAB OLEMA OLEMAS � selgelt defineeritud kaug- ja lähieesmärgid � selgelt määratletud kvaliteedi indikaatorid � selgelt defineeritud sihtgrupp � selgelt defineeritud tegevused, mis on ellu viidud kirjeldatud viisil � põhjuslikud seosed tegevuste ja tulemuste vahel � organisatsiooniline struktuur, mis toetab informatsiooni kogumist DEFINEERI OMA TERVISEDENDUSLIKU PROGRAMMI KAUG- JA LÄHIEESMÄRGID. � Kaugeesmärk: Missioon. See, mida soovid saavutada. � Lähieesmärk: Spetsiifilised ja mõõdetavad tulemused, mis saavutatakse tegevuste tulemusel ja viivad kaugeesmärgi saavutamisele. � Tee kindlaks, kas lähieesmärgid aitavad saavutada kaugeesmärke. � Eksisteerib erinevaid eesmärke: Programmil võivad olla nii ‘teostamise eesmärgid’ kui ‘tulemuste eesmärgid’ Teostamise eesmärgid seletavad, mida hakatakse tegema. Eesmärke hinnatakse vastavalt sellele, kas ja kuidas nad olid ellu viidud. Tulemuste eesmärgid seletavad, mis peaks tekkima, tulenema programmi elluviimisest. Nimetatud eesmärke hinnatakse erineval viisil. Näiteks teadlikkuse paranemise mõõtmisel on vajalik omada ülevaadet teadmistest enne ja pärast projekti elluviimist. Kliendi rahulolu mõõtmisel on võimalik küsitleda tarbijate kogemusi võrreldes teiste teenustega. MÄÄRATLE OMA PROGRAMMI EDUKUSE INDIKAATORID. Igal tulemuste eesmärgil peaks olema selgelt defineeritud edukuse indikaatorid, mis on kriteeriumiteks edukuse mõõtmiseks. Edukuse indikaatorid näitavad: � kuidas sa tead, kas oled täitnud eesmärgid? � mida peetakse efektiivseks? � mis on edukus?

14

� millist muutust oodatakse? Näit.:

> teadlikkus nõustamisteenusest tõuseb 15%; > enamus klientidest liigitab teie teenuse “väga heaks”; > edukuse indikaatoreid on kergem identifitseerida seal, kus eesmärgid on selgelt defineeritud; > programmi alguses võib olla ebakindel oodatavates tulemustes. Taolistel juhtudel on kasulik läbi mõelda mitteaktsepteeritavad asjaolud ning kalkuleerida tulemusi valjalülitamise kaudu; Näit.: Keegi ei tohiks hinnata nõustamise kvaliteeti hindega “halb”. Edukuse indikaator sellest tulenevalt peaks olema hinnang “hea” või “väga hea”.

STANDARDID VÕI KRITEERIUMID, MILLELE EDUKUSE INDIKAATORID PEAKSID BASEERUMA. � Reguleeriv mandaat Näit.: laste %, kes peaks olema vaktsineeritud aastaks 2000. � Sihtpopulatsiooni terviseseisund. Näit.: oodatav suremus või haigestumus. � Väärtushinnangud / Väljendatud ootused Näit.: teenuse kvaliteet - teenust “väga heaks“ hinnanute protsent. � Kokkulepitud standardid. Näit.: professionaalsete organisatsioonide poolt seatud standardid. � Uurimustöö kaudu leitud normid. Normid, mis on leitud eelnevate evalvatsioonide käigus. � Võrdlus- või kontrollgrupp. Märkimisväärsed erinevused interventsiooni- ja kontrollgrupi vahel Kui standardeid ei ole veel määratletud, võib edukuse indikaatoritel olla küll suundumus, kuid mitte oodatav väärtus. Näit. Projekti elluviimise järgselt te võite oodata teadlikkuse tõusu elanikkonnas, kuid ei saa olla kindel tõusu suuruses. DEFINEERI SELGELT SIHTGRUPID. MÕÕDETAVATE INDIKAATORITE NÄITED Formatiivne hindamine Protsessi hindamine Vajaduste hindamine � elluviidavad tegevused � teenuse kasutamine � personali aeg � ootelehed � kulud/hind � katkestused teenuse pakkumisel � promotsioon/avalikustamine � vajaduste tunnetamine � osavõtt

15

asjaosaliste poolt � küsitlused � ressursside jagamine Materjalide pre-testimine � formeerunud grupid � materjalide mõistetavus ´� läbiviidud koolitused � peamiste sõnumite identifitseerimine � personali muutused � loetavus � loodud kontaktid � esteetiline väärtus � kliendi rahulolu � huvi � atraktiivsus Tulemuste hindamine lühiajaline vahepealne � poliitika muutus � muutused teenuse tarbimises � muutused teadlikkuses, teadmistes � muutused käitumises ja uskumustes � kasu osavõtjatele pikaaegsed � barjäärid osavõtjatele � inimeste arv tõuseb, kelleni � muutused teenuse tarbimises programm on jõudnud,kasvab � suremus/haigestumus � tervisenäitajad � sotsiaalsed normid Kellest me oleme huvitatud? Kirjelda elanikkonda või selle gruppi, kellele programm on mõeldud: � Millised on demograafilised näitajad? � Kus nad elavad? � Milline on nendega parim kommunikatsiooni viis? Vahend (telefon, fax, post, e-mail)? Kellaaeg Nädalaaeg � Milline on nendeni jõudmise parim viis? � Kas nad on mingil viisil sarnased või unikaalsed? Kas teid huvitab selle elanikkonna mingi alagrupp? Defineeri oma programmi tegevused. Kuidas nad on ellu viidud? � Kui on olemas juba eelnevalt läbiarutatud teostamise eesmärgid, võib see tähendada, et on olemas ka defineeritud tegevused. Need sisaldavad ettevõtmisi, mida planeeritakse läbi viia. � Oluline ei ole vaid see, mida me planeerime teha. Oluline on ka viis, kuidas teha.

16

� Detailne tegevusplaan, mis sisaldab ülesandeid, iga ülesande juurde vastutavaid isikuid ning ajakava, aitab kavatsetud viisil kindlustada programmi kulgemist ja elluviimist. Usutavad põhjuslikud seosed. � Programmi tegevusloogika mudeli koostamine on üheks viisiks, kuidas kindlaks teha, kas programmil on olemas usutavad põhjuslikud seosed. � Programmi tegevusloogika mudel illustreerib viisi kuidas tegevused viivad oodatud lähi- ja kaugeesmärkideni. Kui me täidame programmi tegevusloogika mudeli, saab meile selgeks, kas programmil on mõtet ning kas oodatavad eesmärgid on reaalselt saavutatavad planeeritud tegevuste elluviimise järgselt. Organisatsiooniline struktuur. Kas me oleme võimelised koguma ja analüüsima informatsiooni oma programmi kohta sõltub sellest, kas on olemas struktuur, mis hindamise tegevusi toetab. Kõik hindamised võtavad aega ja ressursse. Mida kompleksem on hindamine, seda enam toetust vajame.

17

LISA: TÖÖANKEET (ESIMENE ASTE) - Programmi kirjeldus. Pea nõu hinnatava programmi juhiga. Täida järgnev tööankeet. Organisatsiooni nimi: …………………………………………………………………….. Programmi/projekti nimi:………………………………………………………………… Programmi eesmärgid: 1. …………………………………………………………..…………………………..… 2. ………………………………………………………………………………………… 3. ………………………………………………………………………………………… 4. …………………………………………………………………………………….…. 5. ………………………………………………………………………………………… Sihtgrupp: ………………………………………………………………………………… Lühike programmi kirjeldus: ……………………………………………………………. ……………………………………………………………………………………………. ……………………………………………………………………………………………. ……………………………………………………………………………………………. ……………………………………………………………………………………………. Edukuse indikaatorite määratlemine. Selgita programmi eesmärgid. Millised on teostamise ja millised tulemuste eesmärgid? Igaühe jaoks määratle edukuse indikaatorid. Programmi eesmärgid. 1. ………………………………………………………………………………………… Edukuse indikaatorid: …………………………………………………………………… ……………………………………………………………………………………………. ……………………………………………………………………………………………. ……………………………………………………………………………………………. 2. …………………………………………………………………………………………. Edukuse indikatorid: …………………………………………………………………….. ……………………………………………………………………………………………. ……………………………………………………………………………………………. ……………………………………………………………………………………………. 3. ..………………………………………………………………………………………. Edukuse indikaatorid: ………….………………………………………………………… ……………………………………………………………………………………………. ……………………………………………………………………………………………. ……………………………………………………………………………………….. jne.

18

TEINE ASTE: HAARA KAASA ASJAOSALISED Kes nad on? Defineeri! Mõista nende huve ja ootusi! Kutsu nad osalema! Koosta hindamise küsimustik! ASJAOSALISTE KAASAHAARAMINE � Selles faasis identifitseeritakse, millised organisatsioonid ja inimesed on huvitatud evalvatsiooni tulemustest. � Asjaosalisteks nimetatakse indiviide ja gruppe, kes on huvitatud hindamisest. Nende hulka kuuluvad programmi personal, vabatahtlikud, osavõtjad, sihtgrupp, paikkonna inimesed, otsustetegijad ja finantseerijad. � Haara nad hindamisega kaasa niipalju kui võimalik. Mida rohkem on nad haaratud, eriti otsuste tegemise protsessis, seda rohkem on nad koostööaldid pakkuma informatsiooni ning avatumad vastu võtma ootamatuid tulemusi. ASJAOSALISTE DEFINEERIMINE JA NENDE HUVIDE MÕISTMINE � identifitseeri kõik asjaosalised > programmi asjaosalised > hindamise asjaosalised � Mida nad soovivad hindamise kaudu teada? � Kui rangeid tulemusi nad eeldavad? � Kuidas sa kavatsed nende vajadusteni jõuda? � Võimalik, et on vajadus prioritiseerida asjaosaliste vajadused vastavalt piiratud eelarvele. SAAVUTA ASJAOSALISTE OSAVÕTT � Tee neile selgeks, millist kasu nad võivad saada hindamise tulemustest. � Kutsu asjaosalised kaasa hindamise algusest peale. � Leia võimalusi jagada neile “reaalset võimu” � Eelda nende osavõttu vaid asjadest, mis neid huvitab. � Saavuta konsensus hindamise kavandis ja vastutuste jagamises. � Ära koorma neid mittevajaliku informatsiooni kogumise või mitterealistliku ajakavaga. � Jaga tulemusi vormis, mis on asjaosalistele arusaadav. � Jaga häid tulemusi asjaosalistega. � Kasuta hindamise tulemusi programmi parandamiseks.

19

OSAVÕTUL PÕHINEV LÄHENEMINE HINDAMISELE. Asjaosaliste osavõtt varieerub erinevate hindamistüüpide juures. Mõned hindamise vormid kaasavad asjaosalisi vaid otsuste tegemise juures, teised taas kogu hindamise protsessis, hindamise kavandamisel, andmete kogumisel ja analüüsil. Asjaosaliste osavõtul baseeruva hindamise kasulikkus. Hindamisele tuleb kasuks, kui: � Kindlustada sobivate hindamise meetodite valik. � Kindlustada hindamise küsimuste baseerumine programmist osavõtjate tunnetustel ja kogemustel. � Hõlbustada võimestamise (empowerment) protsessi, st anda neile suurem kontroll programmi ja seda puudutavate otsuste üle. � Aitab üle saada programmi osavõtjate vastuseisust hindamisele. � Aitab kiirendada programmi hindamise mõistmist osavõtjate poolt. MILLISEID KRTEERIUME UURIDA? � Otstarbekas on luua nimekiri kriteeriumitest, mis peegeldavad asjaosaliste huve. � Millised on hindamise küsimused?

20

TÖÖANKEET: TEINE ASTE - Identifitseeri asjaosalised. Kes on programmi asjaosalised? Millised on nende huvid hindamisel? Kas nende huve on vajadus prioritiseerida? Võta arvesse kõik, mis võimalik. Asjaosalised Huvid hindamisel Prioriteedid o institutsioonid ..….….. ..………………………………/……………….…... o ettevõtjad ……………………………………… …./……………………. opaikkondlikud juhid ……………………………………… …. /……………………. o tarbijad . …………………………………………/…………………… o eksperdid ………………………………………… /…………………... o finantseerijad ………………………………………… /………………….. o huvigrupid ……………………………………… … /………………….. o meedia ………………………………………… /………………….. o sarnaste teemadega ………………………………………… /………………….. tegelevad inimesed o poliitikud ………………………………… ……… /………………….. o programmijuht ……………………………… ………../………………….. o sihtgrupp …………………………………………../…………………… o programmi meeskond …………………………………………../…………………… o vabatahtlikud ………………………………………….../…………………… o ______________ ……………………………………… …/……………………

21

KOLMAS ASTE: HINDA RESSURSSE Meeskonna ja ressursside olemasolu. Hindamisekss määratud raha hulk. RESSURSSIDE HINDAMINE � Kolmandal astmel analüüsi hindamise eelarvet ja mahtu ning olemasolevaid ressursse. � Vajalikku ja relevantset informatsiooni on võimalik saada paljudest eelnevalt tehtud hindamistest, seetõttu kalkuleeri enne hoolikalt, mida teha, kuna hindamine on kallis ning tema maksumus piirab sageli soovitavate tegevuste hulka. � Kolmas aste on väga oluline, kuna on riskantne alustada hindamist olemata kindel ressurssides. ASJAOLUD, MIDA ARVESSE VÕTTA RESSURSSIDE KALKULEERIMISEL. � Eelarve? Kui palju raha on määratud sellele hindamise projektile? � Kui palju on saadaval hindamistehnikaid valdavaid ja sellest konkreetsest hindamisest huvitatud inimesi? Mõtle läbi: > Kui palju kulub aega hindamiseks? > Millised on meeskonnaliikmete nõutavad oskused? > Huvi projekti vastu? > Huvi uute oskuste õppimise vastu? � Toetus partnerorganisatsioonide poolt: kas nad on valmis pakkuma ressursse ja personali hindamise läbiviimiseks? � Saadaolev varustus, näiteks koopiamasin, telefonid, arvutid ja tarkvara? � Kas on vabatahtlikke, kes on valmis kaasa aitama ning kas nad vajavad koolitust? � Kui palju on aega enne informatsiooni kogumist? Kui palju on aega projektis pühendatud hindamisele?

22

TÖÖANKEET: KOLMAS ASTE - Ressursside hindamine. Personal Millised on hindamise juhtimiseks kättesaadavad ressursid? o Fookus-grupi hõlbustaja o Eelarve (hindamiseks vajalikus mahus) o Protokollija o Andmete sisestaja Allikas 1: ……………………………………………… o Postitaja o Telefoni intervjuu korraldajad Allikas 2: ……………………………………………… o Intervjueerijad üks-ühele o Andmete analüüsija Allikas 3: ……………………………………………… o Aruande kirjutaja o Andmetöötleja o Küsimustiku koostaja o Personali/vabatahtlike oskused Informatsioon …………………………………………………………. o Eksisteerivad küsimustikud …………………………………………………………. Informatsioon valimi kohta: o Nimed …………………………………………………………. o Telefoninumbrid o Aadressid …………………………………………………………. o Kohtumiskohad …………………………………………………………. Varustus Arvuti: …………………………………………………………. o tekstitöötluse tarkvara o statistilise analüüsi tarkvara …………………………………………………………. o Koopiamasin o Printer o Teised kättesaadavad ressursid o Telefonid o Fookus-grupi tööruum …………………………………………………………. o Diktofon o Video …………………………………………………………. Vahendid …………………………………………………………. o Paber ankeetide trükimiseks …………………………………………………………. o Ümbrikud o Makstud vastused …………………………………………………………. o Postitus o Kleepaadressid …………………………………………………………. o Audio/video kassetid

23

NELJAS ASTE: HINDAMISE KAVANDAMINE Vali läbiviidav hindamise tüüp. Kujunda sobiv lähenemine hindamiseks. VALI LÄBIVIIDAVA HINDAMISE TÜÜP Enne kui alustad hindamise kavandamist, analüüsi läbi järgnevad küsimused: � Kui kaua on programm juba kestnud? � Millises arengufaasis on programm? � Milliseid hindamise tüüpe on juba läbi viidud? � Milliseid ressursse sa vajad hindamise teostamiseks? � Millised on asjaosaliste huvid? Prioritiseeri need. Järgmisel leheküljel paikneva tabeli täitmine aitab sind programmi hindamisel identifitseerida tühikuid. Programmi arengufaasi, kestvuse ja asjaosaliste huvide määratlemine aitab leida õige hindamise tüübi. Üldreeglina on formatiivne hindamine kõige kasulikum programmi arengufaasis. Protsessi hindamised on kõige kasulikumad programmi teostamise esimesetel aastatel. Tulemuste/summatiivsed hindamised on kõige kasulikumad läbi viia peale seda, kui programm on toiminud mõned aastad ning protsessid jätkuvad sujuvalt. Pea meeles, et kuigi tulemuste hindamine viiakse läbi programmi elluviimise mõningate aastate või isegi programmi lõppemise järgselt, tuleb hindamise planeerimist alustada programmi alguses. Vahel on vajalik enne programmi algust viia läbi algsituatsiooni uurimine ja mõõtmised. Kui hindamise tüüp on otsustatud (kas formatiivne, protsessi- või tulemuste hindamine), tuleb välja töötada sobivaim hindamise küsimustiku kavand. Enne, kui edasi minna hindamise kavandi juurde, kirjuta üles valitud hindamise tüüp ja valiku põhjendus. See on vajalik mõõtmismeetodite valikuks. Me viime läbi ……………………………….. hindamist, kuna me soovime vastuseid järgnevatele küsimustele: 1. ……………………………………………………………………………………….. 2. …………………………………………………………………………………….jne.

MILLISEID FAKTOREID PEAKS ARVESSE VÕTMA HINDAMISTÜÜBI VALIMISEL Programmi kestus Programmi arengu faas Hindamise tüüp Ressursside maht Asjaosaliste huvitatus

� Planeerimine

� Arendamine

� Formatiivne � Vajaduste hindamine � Tegevusloogika mudel � Materjalide pre-testimine � Auditooriumi analüüs

� Minimaalne

� Informatsiooni otsiv � Programmi parendamine

� Alla 1 aasta

� Elluviimine

� Teostamisemise

hindamine

� Tagasihoidlikud

� Mõjutus/ nõustamine

� 1-2 aastat

� Käigus

� Planeeritakse programmi

laiendamist � 3-5 aastat

� Raugemas

� Protsessi hindamine � Summatiivne hindamine

� Olulised

� Maksumus � Kaalutletakse programmi

lõpetamist � Ule 5 aasta

� Täidetud

� Tulemuste hindamine

(lähi-eesmärkide) * Kirjeldav

* pre/post * kulu-mõjususe analüüs

� Tõestada efektiivsust

� Taas-alustamine

� Tulemuste hindamine

(kaug-eesmärkide) * kirjeldav * pre/post * kontroll-grupp

� Kulu-tulususeanalüüs � Mõju hindamine

HINDAMISE VALIKUVÕIMALUSED JOHTUVALT RESSURSSIDEST Hindamise tüüp Minimaalsed ressursid Tagasihoidlikud ressursid Piisavad ressursid Formatiivne Kirjanduse ülevaade. Materjalide pre-testimine. Fookus-grupid, individuaalsed süva-intervjuud. Valiidsuse testid ressurssidele. Fookus-grupid (lihtsad). Paikkonna vajaduste hindamise Mõistetavuse testid. Intervjuu katked. uuringud Tegevusloogika mudel. Vajaduste hindamise foorum. Uuring ekspertide hulgas (Delfi)

Protsessi Päeviku pidamine Komputeriseeritud päeviku Juhtimise audit. pidamine. Tegevusloogika mudel. Standardiseeritud andmete Väline (omasuguse) ülevaade kogumine. (peer review, retsrospektiivne) Evalveeritavuse hindamine.

Tulemuste: Tulemuste kirjeldus Suhtumiste, teadmiste, uskumuste Võrdlusgrupid (lähi-eesmärkide) (mida on saavutatud). ja käitumise uuring. Pre/post mõõtmised (tervisekäitumine või –seisund) Pre/post mõõtmised (tunnetuste uuring, survey of perceptions)

Tulemused: Tulemuste kirjeldus. Elanikkonna uuring Võrdlusgrupid (kaug-eesmärgid) (käitumisuuringud) Muutused ajas. Pre/post mõõtmised (tervisekäitumine või –seisund)

KUJUNDA VAJALIK LÄHENEMINE HINDAMISELE � Sõltuvalt hindamise vajadustest võid kasutada kas kirjeldavat või analüütilist (eksperimentaalset) lähenemist. � Ideaalis soovib iga hindajaja valida hindamise vormi, mis kindlustab kõige valiidsema ja usaldusväärsema informatsiooni. � Enamik formatiivsetest ja protsessi hindamistest on oma olemuselt kirjeldavad ning ei nõua kontroll-grupi olemasolu või pre/post mõõtmisi. Sellest hoolimata on situatsioone, kus ka nimetatud meetodid annavad sobivamaid vastuseid formatiivse või protsessi hindamise küsimustele. � Kui planeerid tulemuste hindamist, võib sul olla soov valida hindamise vorm, mis näitab soovitud tulemuste saavutamist. Mõned analüütilised vormid on kindlamad ja usaldusväärsemad kui teised, mõõtes korrektselt põhjuse ja tagajärje seose. Igal vormil on oma nõrgad ja tugevad küljed. KIRJELDAV VERSUS ANALÜÜTILINE HINDAMISE VORM Kirjeldav/Mitte-eksperimentaalne � Kirjeldavad uuringud annavad ülevaate elanikkonna ja keskkonna üldistest iseloomustavatest joontest. � Taolisi hindamisi kasutatakse kõige sagedamini nende kerge teostamise ja vähese maksumuse tõttu. � Neid kasutatakse kõikide hindamistüüpide puhul. � Kirjeldav/mitte-eksperimentaalne hindamine ei tõesta põhjus-tagajärje seoseid. � Ei vajata kontroll-gruppi, kuid otsitakse mõningate mõõdetavate näitajate suhteid. Kirjeldava hindamise näiteid. Juhtuuring (case study). Kõige põhilisem uuringu vorm. See kirjeldab programmi, osavõtjaid ja tulemusi. Võib kirjeldada programmi teataval ajahetkel või dünaamikas. Rist-läbilõikeline uuring (cross-sectional design). Mõõdab kogu elanikkonda või elanikkonna valimit teataval ajahetkel eesmärgiga kirjeldada tema näitajaid. See annab läbilõikelise ülevaate elanikkonnast. Näiteks: � Paikkonna vajaduste uuring. � Auditooriumi analüüs (milliseid TV-kanaleid elanikkond vaatab?). � Materjalide pre-testimine. Võrdlev uuring (correlational study). Võrdleb programmi karakteristikuid programmi väljundiga samal ajahetkel. Näiteks:

27

� Teadlikkus kehalise aktiivsuse olulisusest ja kampaaniast osavõtu analüüs sama kehalise aktiivsuse kampaania käigus.

Eelnev/järgnev uuring (pre/post disain). Mõõtmisi teostatakse enne programmi elluviimist ja pärast programmi elluviimist. Analüütiline/ eksperimentaalne hindamine � Analüütilised uuringud erinevad üldiste tunnusjoonte lihtsatest kirjeldustest. Nad

hõlmavad spetsiifilistel eesmärkidel valitud gruppide süstemaatilist võrdlust, et selgitada, kas teostus oli efektiivne või milline programmi kavand töötas paremini. Võrreldakse gruppe, kellele suunati erinevalt kavandatud programme.

� Programmi hindamise analüütilisele kavandile on iseloomulik, et uurija määratleb, kellele suunata teostus ja kellele mitte. Eksisteerib kahte liiki eksperimentaalset kavandit: tõeline ja quasi-eksperiment.

Tõeline eksperiment. Uurija määratleb juhuvalimi alusel programmist osavõtjad ja kontrollgrupi (need, kes ei võta programmist osa). Samuti millal ja keda uuritakse. � Kuna osalejate valik toimub juhumeetodil, võimaldab eksperimentaalne kavand leida

erinevused gruppide vahel või programmiga seotud muutused programmis osalejate grupis.

� Kuna eksperimentaalse uuringu teostamine on küllaltki keeruline ja ka kallis, kasutatakse seda programmide evalvatsioonil harva.

Eba-( quasi-)eksperiment. Uurija saab määratleda, millal ja keda uuritakse, kuid ei saa määratleda juhuvalimi teel, kes programmis osaleb. � Kuna puudub juhuvalim, on suur võimalus, et leitud erinevused ei ole põhjustatud

programmi mõjust. � Taolised uuringud on sagedamini teostatavad, lihtsamini elluviidavad ja odavamad.

HINDAMISE KAVANDAMINE NÄITAMAKS PÕHJUSI JA NEIST JOHTUVAID MÕJUSID Kuidas me saaksime ilma kahtluseta tõestada, et tulem oli põhjustatud meie programmi mõjust? � Enamik uuringuid demonstreerivad suhteid, mitte põhjust ja efekti. Selleks, et näidata

põhjust ja efekti, me vajame: ä olulist seost põhjusliku faktori ja tulemuse vahel ä loogilist ajakulgu, st ekspositsioon eelneb efektile ä seost, mis on spetsiifiline programmile teiste võimalike faktorite elimineerimiseks ä seost, mis on püsiv erinevate gruppide uurimisel ja erineval ajal ä kooskõla teatud faktide või teooriaga

28

ä mõningatel juhtudel võimalust seostada interventsiooni mahtudega (mida mahulisem ekspositsioon, seda suurem efekt). � Enamik üksikuuringutest ei suuda tõestada põhjuse ja efekti seost üksinda ilma

kahtluseta. Demonstreerides sama efekti mitme uuringu ja mitmete uurijate poolt võime end tunda tulemuste suhtes kindlamana.

� Igal erineval uuringu kavandil on oma nõrgad ja tugevad küljed. Uurijatena me peame olema teadlikud uuringu nõrkadest külgedest, enne kui formuleerime kindlaid järeldusi.

� Eksperimentaalne kavand, kus uurijal on kontroll faktorite üle, mis uuringut mõjustavad, on üks mõjuvõimsamaid evalvatsiooni vorme, kuid ka kulukamaid ja aeganõudvamaid.

HINDAMISE VALIK TULEMUSTE VALIIDSUSE (KEHTIVUSELE) PARANDAMISEKS

Isegi siis, kui eksperimentaalne kontroll puudub, on võimalik hindamise tüübi valikuga parandada eksperimendi kehtivust ja tõsta tõenäosust parandada põhjus-efekti suhet. Uuringu kavandi ja protokolli (kuidas sa viid uurimuse läbi?) eesmärk on maksimaalselt vähendada uurimuse tulemuste alternatiivseid tõlgendusi. Alternatiivsed tõlgendused: A Leitud korrelatsioon tuleneb juhusest või asjaolude kokkulangevusest. B Süstemaatiline viga on põhjustatud uuritavate valimist. C Süstemaatiline viga on põhjustatud informatsiooni kogumisest või esitamisviisist. D Mittekontrollitud faktorite olemasolu. OHUD UURIMUSE SISEMISELE KEHTIVUSELE Ajalugu – Teised interventsiooni mõjustavad sündmused, mis leiavad aset esimese ja teise mõõtmise vahel. Küpsemine – Asetleidnud muutused vastajas, mis on põhjustatud aja möödumisest (interventsioonile mittespetsiifilised) nagu näiteks vanemaks saamine, väsimuse suurenemine jmt. Testimine - Teistkordse (korduva) testimise efekt tulemustele.

29

Instrumentatsioon – Muutused mõõtmist teostava instrumendi kalibreerimises, muutused jälgimises või punktides esimesel ja teisel mõõtmisel. Statistiline regressioon – selline kõrvalekalle võib ilmneda juhul kui grupid on selekteeritud ekstreemsete näitajate alusel. Diferentsiaalne valik – Kõrvalekalle, mis võib tuleneda vastajate erinevast valikust võrreldes kontrollgrupiga. Eksperimentaalne suremus või diferentsiaalne kaotus – Vastajate kaotus võrreldes kontrollgrupiga. Selektsiooni-küpsemise interaktsioon – Puudutab mitmeseid gruppe, kus üks grupp teeb läbi küpsemise protsessi, mis põhjustab eksliku tulemuse eksperimentaalsetes näitajates. OHUD UURIMUSE VÄLISELE KEHTIVUSELE Testimise reaktiivne või interaktiivne efekt – Seal kus pre-test võib tõsta või langetada vastaja tundlikkust või vastamisprotsenti ning sellega mõjustada pre-testitud populatsioonigrupi representatiivsust kogu elanikkonna suhtes. Valikust tingitud kõrvalekalde ja eksperimentaalsete näitajate vastastikune mõju Valikustst tingitud kõrvalekalle: � Enese-selektsioon (erinevused vastajate ja mitte-vastajate vahel) � Mitte-vastamine. Eksperimentaalsete korralduste reaktiivsed mõjud - Välistaks eksperimentaalsete näitajate mõju üldistused nende inimeste kohta, kellele kohaldub interventsioon mitte-eksperimentaalses keskkonnas. Kombineeritud ravi mõju – võib ilmneda juhul kui samale uuritavale ordineeritakse ravi kombineeritult, kuna uuritava eelneva ravi efekt ei ole enam eristatav. NÄITEID ERINEVATEST KAVANDITEST. Erinevate kavandite kirjelduseks kasutatavad sümbolid: X = Programm või interventsioon R = Juhumääramine O = Jälgimine Ühekordsed juhtuuringud (case-studies)/ kirjeldavad – Ristläbilõikelised Kirjeldavad ühe grupi näitajaid ühel ajahetkel. XO (pärast programmi teostamist; ainult järel-test).

30

OX (enne, kui programmi hakati ellu viima, sealhulgas vajaduste määratlemine, materjalide pre-testimine). Pre/post kavand OXO Kirjeldab ühe elanikkonnagrupi näitajaid enne ja pärast programmi teostamist. Eba(quasi)-eksperimentaalne kavand OXO Kaks gruppi, milledest üks osaleb programmis ja teine mitte. Mõlemaid O O gruppe mõõdetakse samaaegselt enne ja pärast programmi teostamist. OXO Kaks gruppi, mõlemad on programmis, kuid erineval ajal. O OXO Mõõtmisi teostatakse mitmetel erinevatel aegadel. Aja seeriad OXOXOXO Mõõtmisi teostatakse erinevate intervallidega kogu programmi jooksul. Eksperimentaalne kavand ROXO Sama protsess kui eelmisel, vaid osavõtjad on valitud juhumääramise RO O teel, hoolimata sellest, kas programm neile kohaldub või ei. Teil on alati võimalus luua oma originaalne hindamise kavand, mis alati sisaldab nõrkusi ja tugevusi. Täiendavat informatsiooni erinevate hindamiste kavandamise kohta on võimalik leida Campell ja Stanley’lt, 1966. SOOVITUSI EDUKA HINDAMISE KAVANDAMISEKS � Tea erinevate hindamistüüpide eeldusi. � Limiteeri kõrvalekaldeid niipalju kui võimalik. � Tunnista hindamise piiranguid. Ära üldista. � Põhjuse ja efekti suhet on raske demonstreerida ilma eksperimentaalse uurimuseta. EETILISED ASPEKTID JA KONFIDENTSIAALSUS. � Sarnaselt teadusuuringule on ka hindamine seotud eetiliste dilemmadega. Hindajatena

oleme kohustatud respekteerima osavõtjaid, kindlustama andmete puutumatuse ja olema ausad maksumuse suhtes.

� Hindajad on kohustatud pakkuma selget, kasulikku ja korrektset hinnangut materjali tellijatele (Posavac ja Carey, 1997).

� 1996. aastal andis Kanada Hindajate Ühing välja hindamise eetilise käitumise juhendi.

31

Informeeritud nõustumine � Nõusoleku saavutamine on üks hindamisest osavõtjate kaitsemise viis. Informeeritud

nõusoleku saavutamine tähendab, et inimesed, kes nõustuvad osalema, saavad aru projektist ja nende endi rollist selles ning samuti saadava informatsiooni kasutamisest. Neid peaks informeerima asjaolust, et osalemine on vabatahtlik.

� Nõusolek võib olla kirjalik või suuline (eriti telefoni-intervjuu või fookus-grupi teostamise korral).

32

JUHEND EETILISEKS KÄITUMISEKS HINDAMISEL 1. KOMPETENTSUS Hindajad peavad oma teenuse pakkumisel olema pädevad.

1.1 Hindajad peavad rakendama hindamisel küsitluste sobivaid süstemaatilisi meetodeid. 1.2 Hindajad peavad valdama hindamist sisuliselt. 1.3 Hindajad peavad järjepidevalt parandama oma hindamise metodoloogilisi ja praktilisi

oskusi. 2. AUSUS Hindajad peavad tegutsema ausalt kõikide asjaosaliste suhtes. 2.1 Hindajad peavad esitama oma oskuste ja teadmiste taset ausalt ja täpselt.

2.2 Hindajad peavad informeerima klienti kõikidest huvide konfliktidest enne lepingu sõlmimist või koheselt kui konflikt ilmub.

2.3 Hindajad peavad olema sensitiivsed kõikide asjaosaliste kultuurilise ja sotsiaalse keskkonna suhtes ning käituma sobivalt nimetatud keskkonna suhtes.

2.4 Hindajad peavad kooskõlastama kliendiga sellised lepingulised tingimused nagu konfidentsiaalsus, privaatsus, kommunikatsioon ja tulemuste omandiõiguse.

3.VASTUTUS Hindajad peavad vastutama oma tegevuse ja selle kvaliteedi eest.

3.1 Hindajad peavad tegema oma kliendile informatsiooni kättesaadavaks, et hõlbustada kliendil otsuste tegemist sobivate hindamise strateegiate ja metodoloogia valikul. Taoline informatsioon peab endas sisaldama ka valitud metodoloogia piiranguid. 3.2 Hindajad peavad vastutama selge, korrektse, täpse ja ausa kirjutatud ja/või suulise

uuringu tulemuste aruande ettekande eest, lisades sellesse ka uuringu piirangud ja soovitused kliendile.

3.3 Hindajad peavad vastutama oma uurimuse kulutuste arvestamise eest nii, et hindamine osutuks kliendile kulu-tulusaks.

3.4 Hindajad peavad vastutama hindamise läbiviimise eest ratsionaalse ajaühiku jooksul, mis on kokku lepitud kliendiga. Taolised kokkulepped peavad arvesse võtma ettearvamatuid viivitusi, mis võivad tekkida olenemata hindajatest sõtumatult.

Konfidentsiaalsus � Osavõtjaid tuleks informeerida, kas nendelt saadud informatsiooni hoitakse

konfidentsiaalsena või mitte. Sel juhul on vajalik võtta kasutusele tõsiseid meetmeid konfidentsiaalsuse säilitamiseks.

� Osavõjate nimesid on informatsiooni juures vaja kasutada harva. Konfidentsiaalsuse säilitamiseks peaks kasutama identifikatsiooni koode ning vaid hindaja peaks omama juurdepääsu koodidele.

Eetilised aspektid, mida on vaja arvesse võtta hindamise kavandamisel. (Posavac ja Carey, 1997)

33

� Uuritavate inimeste kaitse; � Asjaosaliste varieeruvad vajadused; � Ohud hindamise kehtivusele; � Võimalused negatiivsetele kõrvalnähtudele, mis võivad olla seotud programmi või

hindamisega; � Hindaja personaalsed endastmõistetavad väärtushinnangud; � Mõningatel juhtudel võivad programmist sõltuv personal või osavõtjad hindamist

tunnetada ohuna. Hindajate ja asjaosaliste vahel võib tekkida konflikte. Et neid vältida, on oluline, et hindaja ei hinda mitte ainult käigusolevat programmi, vaid ka pakub soovitusi ja ideid programmi parendamiseks, millest tõuseks tulu kõigile asjaosalistele;

� Hindamise sobitamine järjepideva kvaliteedi tagamise konteksti aitab redutseerida hindamisest tulenevaid ohte ning pakub lisaväärtust asjaosalistele.

Kokkuleppe vorm peaks sisaldama: � hindamise eesmärgi(d); � informatsiooni organisatsiooni/isiku kohta, kes hindamist teostab; � informatsiooni osavõtmise vabatahtlikkusest; � millist informatsiooni vajatakse; � kas uuring sisaldab riske; � mil viisil informatsiooni kogutakse; � kellel on juurdepääs informatsioonile; � kuidas tagatakse konfidentsiaalsus; � kuidas informatsiooni kasutatakse; � kes on kontaktisik.

34

VIIES ASTE SOBIVATE MÕÕTMISMEETODITE JA PROTSEDUURIDE VALIK Hindamise vahendid. Kvalitatiivsed versus kvantitatiivsed meetodid. Erinevate mõõtmismeetodite nõrkused ja tugevused. Mõõtmisvahendi arendamine. Valimi kavandi valik. HINDAMISE VAHENDID See aste käsitleb informatsiooni kogumise viise ja protseduure. Informatsiooni kogumiseks eksisteerib mitmeid teid. Erinevad andmekogumismeetodid on kui töövahendid. Ei ole olemas halbu ega häid informatsiooni kogumise viise. Igat töövahendit kasutatakse vastavalt eesmärgile. Andmekogumise vahendid muutuvad problemaatiliseks vaid siis, kui neid kasutatakse valel eesmärgil. KVALITATIIVSED JA KVANTITATIIVSED MEETODID Kvalitatiivsed meetodid Kvantitatiivsed meetodid � detailne, süvainformatsioon

� struktureeritud andmete kogumine

paljudelt asjaosalistelt � alati ei ole üldistatav kogu

elanikkonnale � tulemused on üldistatavad

� pakub informatsiooni keele, konteksti ja suhete kohta

� “sügav”

� “lai”

ERINEVATE MÕÕTMISMEETODITE TUGEVUSED JA NÕRKUSED Kvalitatiivsed meetodid Kvantitatiivsed meetodid A Fookus-grupid G Posti-, telefoniteel või vahetu uuring B Süvaintervjuud H Protsessi jälgiv vorm/registreerimine C Avatud küsimustik I Teenuse kasutamine D Päevikud J Suurte andmebaaside analüüs E Konsensuse saavutamine /Delphi meetod K Tervise / käitumise indikaatorite otsene

mõõtmine F Foorum/diskussiooni grupid L Haigestumise/suremuse otsene

mõõtmine

35

Et määratleda, millist meetodit kasutada, sobita nad: � programmi edukuse indikaatoritega � olemasolevate ressurssidega � parima infokogumise viisiga huvipakkuvatelt elanikkonna gruppidelt On vaja selgeks teha, kuidas: � suhelda asjaosalistega (telefon, post, jne.) � ja millal nendega kommunikeeruda (päeval, õhtul, jne) � vähendada ebamugavusi küsitletavatele. KVALITATIIVSED MEETODID (vt. järgneval leheküljel)

KVANTITATIIVSED MEETODID (vt. järgneval leheküljel)

VALIMINE Iga edukuse indikaatori jaoks, mida kavatsetakse mõõta, tuleb otsustada, millist mõõtmismeetodit kasutada. Järgnevalt toodud registreerimise lehed aitavad summeerida mõõtmisi ning näitavad, millist meetodit kasutada iga objektiivse indikaatori mõõtmiseks. MÕÕTMISVAHENDI LOOMINE Kui on otsustatud, millist mõõtmismeetodit kasutada, tuleb valida mõõtmise vahend. Mõõtmise vahenditeks on ankeedid / küsimustikud, vahendaja juhendid, registreerimise vormid, jälgimise vormid, päevikud, jne. Järgnevalt on toodud mõningad soovitused mõõtmisvahendi kavandamiseks: � vali või tööta välja mõõtmisvahend koos inimestega, kes hakkavad neid kasutama; � kasuta olemasolevaid mõõtmisvahendeid, mis sobivad sinu uuringuks ja on

kättesaadaval; � hoia ankeedid lühikesed ja lihtsad; � kogu informatsiooni, mida sa tõepoolest vajad, mitte seda, mida on huvitav teada; � kasuta nende inimeste keelt, kellelt informatsiooni kogud, väldi žargooni; � seal, kus on vaja kirjalikke vastuseid: ä kasuta suuri tähti ä väldi liiga mahuka informatsiooni paigutamist ühele lehele ä jäta lehele hulgaliselt vaba ruumi ä küsimused olgu võimalikult spetsiifilised ja konkreetsed ä jäta vastamiseks küllaldaselt ruumi � kasuta formaati, mida on kerge lugeda ja ja täita � vii eelnevalt läbi piloot-test.

36

KVALITATIIVSED MEETODID

Kirjeldus

Rakendus

Tugevused

Piirangud

Fookus-grupid

� Semistruktu-

reeritud dis-kussioon 8-12 asjaosalisega

� Juhib vahen-daja, kes jär-gib küsimus-tikku ja juhib grupi-dünaamikat

� Toimuv lindistatakse

� Väikeselt gru-pilt

asjaosali-selt süva-informatsiooni kogumiseks

� Materjalide pre-testimi-seks sihtgrupil

� Asjaosaliste suhtumiste ja arvamuste mõistmiseks

� Uuringu ette-valmistami-seks

� Pakub süva-

informatsiooni � Elluviimine ja

analüüs nõuab spetsialiseeri-tud oskusi

� Võib olla suhteliselt odav ellu viia

� Osavõtjad

mõjustavad üksteist

� Subjektiivne � On olemas

vahendaja kõrvalmõju võimalus

� On raskesti analüüsitav

� Tulemused ei ole kvantifitseeri-tavad elanik-konnale

Süvaintervjuud � Telefoni või silmast-silma intervjuud

� Tavaliselt intervjueeritakse 10-40 asjaosalist

� Intervjueerija järgib küsimustikku, kuid on fleksiibelne

� Sobib väikese arvu asjaosaliste hulgas sensitiivsete teemade uurimiseks

� Kasutatakse asjaosaliste suhtumiste ja arvamuste väljaselgitamiseks.

� Pakub konfi-dentsiaalsust

� Elimineerib vastastikuse mõjustatuse

� Annab intervjueerijale võimaluse selgitada ettenägematuid asjaolusid

� Annab detail-sema informa-tsiooni kui fookus-grupp

� Kallim ellu viia ja analüüsida kui fookus-gruppi

� On olemas intervjueerija kõrvalmõju võimalus

� On raske analüüsida

� Tulemused ei ole tavaliselt kvantifitseeri-tavad elanikkonnale

Uuringu avatud küsimused

� Struktureeritud küsimused, mis esitatakse kas telefoni või posti teel, mis lubab vastajal pakkuda tervikliku vastuse tema enda sõnadega

� Annab võimaluse saada täpsemaid tulemusi

� Annab võimaluse välja arendada suletud küsimusi

� Selgitavateks küsimusteks

� Annab potentsiaalse võimaluse kvantitatiivseks andme-töötluseks

� Annab sügavust kvantitatiivsetele andmetele

� On üldistatav elanikkonnale

� Korralik analüüs on aeganõudev

� Teeb uuringu pikaaegseks

� Ei ole paindlik

Päevikud � Programmi erinevate aspektide detailne arvestus

� Järjepidev protsessi do-kumenteeri-mine asjaosaliste poolt

� Kasutatakse primaarselt protsessi evalvat-siooniks

� Aitab teised evalvatsioonide tulemused paigutada konteksti

� Pakub infor-matsiooni, mis ei pruugi mui-du välja tulla

� On odav

� Võib olla raske ja kallis analüüsida

� Jälgimised on subjektiivsed

37

KVANTITATIIVSED MEETODID

Kirjeldus

Rakendus

Tugevused

Piirangud

Vaatlused

� Struktureeritud

küsimustiku täitmine paljude asjaosaliste poolt suhteliselt lühikese aja jooksul

� Küsimustikku täidetakse telefoni, posti, faksi teel või küsitleja juuresolekul

� Tagasisideme

kogumine, mis on kvantifitseeritav ja üldistatav kogu elanikkonnale

� Tulemused on

üldistatavad elanikkonnale

� Standardiseeritud ja struktureeritud küsimustikud minimaliseerivad intervjueerija kõrvalmõju

� Mahukas informatsioon kogutakse lühikese aja jookul

� Pakub harva

terviklikku ülevaadet vastaja perspektiivist � Võib olla väga

kallis � Nõuab teadmisi

statistikast ja teisi andmetöötluse spetsiifilisi oskusi

Protsessi jälgivad vormid

� Protsessi näitajate kogumine standardiseeritud viisil

� Tavaliselt inkorporeeritakse projekti/ programmi rutiinselt

� Dokumenteeri-takse projekti/ programmi protsessis

� Muutuste identifitseeri-miseks

� On võimalik inkorporeerida normaalsesse rutiini

� Lihtne kavandada ja kasutada

� Võib pakkuda korrektset ja detailset informatsiooni protsessi kohta

� Projekti/programmi personalile võib tunduda tülikana

� On olemas risk, et ei teostata regulaarselt või korrektselt

Mahukad andmebaasid

� Võib kasutada andmebaase, mis juba eksisteerivad huvipakkuvate gruppide kohta

� Paigutada oma projekti/

programmi laiemasse konteksti � Et registreerida

muutusi ja suundumusi huvi pakkuvates elanikkonna gruppides

� Võib olla suhteliselt odav või on andmetele juurdepääs tasuta

� Pakub korrektset, hästiuuritud informatsiooni

� Võib viia andmekogu-jate võrgustiku tekkele/ tekivad informatsiooni jagamise võimalused

� Projekti / programmi evalueerimiseks on kasutegur minimaalne

38

OTSUSTA VALIMI VORM

� Valimit kasutatakse uurimuse hinna ja töömahu redutseerimiseks, saades siiski elanikkonna representatiivselt grupilt informatsioon, mida vajatakse. On loomulik, et uuritavate arv peab olema peab olema piisavalt suur, et produtseerida usaldatavaid, valiidseid ja sihtpopulatsiooni esindavaid andmeid.

� Valimi kavand ja metodoloogia peab olema määratletud iga spetsiifilise andmekogumise meetodi jaoks. Kavand sõltub andmekogumise meetodist ja eesmärkidest.

� Vaatamata mõõtmismeetodile (näit. ankeet, fookus-grupp, jne.), jäävad valimi otsustamisel peamisteks kriteeriumiteks:

ä Kui palju on uuritavaid? ä Kuidas uuritavad valitakse?

� Küsimused, millele mõelda enne valimi suuruse otsustamist: ä Kui suur on sihtpopulatsioon? ä Mida lubab eelarve? ä Kui kindel on vaja olla andmete täpsuses? ä Kas on vaja andmeid spetsiifilistelt alagruppidelt?

� Valimi suuruse määratleb esmajärjekorras eelarve (kui palju saame endale lubada?) ja analüüsitavate alagruppide suurus. Peab olema kindel, et on valitud piisav hulk uuritavaid, et saada adekvaatne vastajate arv järelduste tegemiseks elanikkonna grupi kohta.

� Kui sihtgrupp on suhteliselt väike, peaks mõtlema auditi teostamisele (kaasa haarates kõiki). Kui sihtgrupp on suur (miljonid), ei ole võimalik parandada tulemuste täpsust intervjueerides rohkem ja rohkem inimesi. Kui intervjueeritavate arv on tõusnud tuhandeteni, on täpsuse paranemine minimaalne aga maksumus kõrge.

Lihtne juhuvalim.

� Kõige vähem komplitseeritum valim on lihtne juhuvalim. Nimetatud valimi korral on igaühel elanikkonnast võrdne võimalus kuuluda uuritavate hulka.

� Valimi viga on võimalik lihtsalt kalkuleerida. Vastuste mitmesuse usaldatavuse ulatus on kalkuleeritud ja esitatud järgnevas tabelis.

See tabel kehtib vaid lihtsa juhuvalimi kohta. See on usalduse mõõde, mis demonstreerib, et 95 juhul 100-st reaalne sihtgrupi liige kuulub sellesse ulatusse. Nimetatud kalkulatsioon ei võta arvesse mittevastanuid ega ka mõõtmisvigu.

39

VEA PIIRID LIHTSA JUHUVALIMI KORRAL (19 20-st) Valimi suurus

Ulatus

5/95

10/90

20/80

30/70

50/50

35 7-17% 7% 10% 14% 15% 17% 50 6-14% 6% 8% 11% 13% 14% 75 5-10% 5% 7% 8% 9% 10% 100 4-10% 4% 6% 8% 9% 10% 200 3-7% 3% 4% 6% 6% 7% 300 3-6% 3% 3% 5% 5% 6% 500 2-4% 2% 3% 4% 4% 4% 1000 1-3% 1% 2% 3% 3% 3% 1500 1-2% 1% 2% 2% 2% 2% 2000 1-2% 1% 1% 2% 2% 2% Sobivusvalim Sobivusvalimit ei valita elanikkonnast juhuslikult. See meetod põhineb printsiibil “võta, mis sobib”. Taolise valimi juures me ei saa mõõta usaldatavuse ulatust kuna valitud grupp ei esinda tervet elanikkonda. Vahel ei ole esindatus nii oluline, kui just spetsiifiliste indiviidide valik uuringusse. Valimi teisi kavandeid Stratifitseeritud juhuvalim. Elanikkond on jaotatud indiviidide gruppidesse, mis on teataval viisil sarnased. Peale elanikkonna jaotamise kahte või enamasse kihti (strata), teostatakse nimetatud gruppides juhuvalim igas kihis. Näit. Soovitakse juhuvalimit õpilaste hulgas, kes õpivad erakoolides, teatavas regioonis. Klaster-valim. Kasutatakse juhul, kui sihtgrupp on hajusalt jagunenud laias regioonis. Uuritav piirkond (näiteks maakond) jaotatakse kobarateks. Kobarate vahel teostatakse juhuvalim ning valitud kobaras haaratakse uuringusse kaasa kõik indiviidid. � Kuna valimi teostamine on küllaltki keeruline, siis see tavaliselt tellitakse. Valimi allikad � Laia elanikkonna uurimiseks kasutatakse tavaliselt: ä Telefonikatalooge, mis sisaldavad regiooni telefoninumbreid ä Ka CD-ROM’id sisaldavad telefonikatalooge ä Postiküsitluse korral on vaja aadresse, postikoode, ning ees- ja perekonnanimesid ä Valimi võib tellida Rahvastikuregistrist või muudest registritest ä On võimalik kasutada ka valimisnimekirju. TÖÖANKEET: ASTE 4 JA 5 A Hindamise kavandi otsustamine.

40

Täida vorm “Faktorid, mida võtta arvesse hindamise otsustamisel” ning otsusta, millist tüüpi hindamist vajatakse. Hindamise tüüp: …………………………………………………………………………………………….. …………………………………………………………………………………………….. Milline on sobivaim hindamise tüüp? o juhtumi uuring (kirjeldav) o rist-läbilõikeline (kirjeldav) o korreleeriv (kirjeldav) o pre-post võrdlus ühes grupis (kirjeldav) o kahe või enama grupi võrdlus (quasi-eksperimentaalne) o aja seeriad (grupi jälgimine ajas) (quasi-eksperimentaalne) o võrdlev kontroll-grupp (eksperimentaalne) Milline on hindamise kavand? ……………………………………………………………………………………………… ……………………………………………………………………………………………… ……………………………………………………………………………………………… B. Vali andmete kogumise meetod. Vaata oma programm üle ja kalkuleeri: ……………………………………………………………………………………………… Kui suured finantsid on olemas (või kättesaadavad)? ……………………………………………………………………………………………… Kui suured on olemasolevad sisemised ressursid? ……………………………………………………………………………………………… Milline on sihtgrupp? ……………………………………………………………………………………………… Milline on parim viis potentsiaalsete vastajatega suhtlemiseks? ……………………………………………………………………………………………… Milline meetod annab parima vastamisemäära selles konkreetses sihtgrupis? ………………………………………………………………………………………………

41

Milline meetod oleks mugavaim vastajatele? ……………………………………………………………………………………………… Milline meetod on sinule endale aegasäästvaim? ……………………………………………………………………………………………… Millist meetodit saad sa endale võimaldada? ……………………………………………………………………………………………… Milline meetod sobib sinu personalile ja ressurssidele? ……………………………………………………………………………………………… Üldiselt, milline andmete kogumise meetod oleks parim selle projekti jaoks? C. Otsusta valimi kavand Milline oleks sobivaim valimi kavand? o lihtne juhuvalim o sobivusvalim o stratifitseeritud juhuvalim o kobarvalim o muu Miks sa valisid sellise kavandi? ……………………………………………………………………………………………. ……………………………………………………………………………………………. Kui palju küsitletavaid sa valid? ……………………… Võta arvesse: Kui suur on sihtgrupp? ……………………… Mida lubab su eelarve? ……………………… Kui usaldatavaid tulemusi sa vajad? ……………………… Kas on vaja otsida spetsiifilisi alagruppe? ……………………… Kui mittu protsenti elanikkonnast moodustab sinu alagrupi? ……………………… Kust ja kuidas sa võtad valimi? .……………………...

MILLISEID FAKTOREID PEAKS VÕTMA ARVESSE HINDAMISE TÜÜBI VALIKUL

Programmi kestvus Programmi arengu faas Hindamise tüüp Ressursside maht Asjaosaliste huvitatus

Planeerimine

Areng

Formatiivne

Vajaduste hindamine Tegevusloogika mudel Materjalide pre-testimine Auditooriumi analüüs

Minimaalne

Informatsiooni otsiv Programmi parandamine

Alla 1 aasta

Teostamine

Teostamise hindamine

Tagasihoidlik

Lobbytöö/ nõustamine

1-2 aastat

Jooksvalt

Planeeritakse programmi laiendamist

3-5 aastat

Programmi käigus

Protsessi hindamine

Olulised

Maksumus Kalkuleeritakse programmi lõpetamist

Üle 5 aasta

Ellu viidud

Tulemuste hindamine- (lähieesmärkide)

• kirjeldav • pre/post • kontroll-grupp • kulu-tulususe analüüs

Tõestada efektiivsust

Üle 5aasta

Taasalustamine

Tulemuste hindamine-(kaugeesmärkide)

• kirjeldav • pre/post • kontroll-grupp • kulu-tulususe analüüs

HINDAMISE KAVANDI KOKKUVÕTE ……………………………………………………………………………………………… Programm Asjaosaliste huvid

……………………………………………………………………………………………… Hindamise kavand Programmi eesmärgid Edukuse indikaatorid Mõõtmismeetodid Ajakulu mõõtmine

45

KUUES ASTE TÖÖPLAANI, EELARVE JA AJAKAVA ETTEVALMISTAMINE HINDAMISEKS Hindamise elemendid, mida võtta arvesse maksumuse ja ajakava juure. Iga samm ja selle maksumus Kogumaksumus Kvalitatiivsed uuringud Parima saavutamiseks vajalik Sisemine versus välimine hindamine Eelarve ja ajakava määramine See aste sisaldab endas detailse tegevusplaani loomist ja sellega seotud maksumuse määratlemist hindamiseks. Hindamise läbiviimine võtab aega ja ressursse, mis vahel lihtsalt unustatakse. On loomulik, et juba projektitaotluse tegemisel määratletakse hindamise tegevusplaan ja maksumus, kui projekti üks loomulik osa. HINDAMISE ELEMENDID, MIDA VÕTTA ARVESSE MAKSUMUSE JA AJAKAVA KOOSTAMISEL Mõtle läbi iga järgmise sammu ajakava ja maksumus: 1. Hindamise kavand. 2. Mõõtmisinstrumendi valmistamine. 3. Mõõtmisinstrumendi piloot-testimine. 4. Mõõtmisinstrumendi muutmine vastavalt piloot-testimise tulemustele. 5. Andmete kogumine. 6. Andmetöötlus (kodeerimine, sisestamine, jne). 7. Andmete analüüsimine. 8. Aruande kirjutamine. 9. Tulemuste levitamine.

Hindamise kavand

Mõõtmis-instrumendi loomine

Mõõtmis-instrumendi piloottestimine

Andmete kogumine

Andmetöötlus Andmete analüüsimine

Aruande kirjutamine

MAKSUMUS 300/1000$ 500/2000$ 200/1000$ 2000/10 000$ 300/3000$ 400/2000$ 700/2500$ Näpunäited • Fookus võtme

küsimustele • Investeeri

planeerimisse • Hinda

asutuse-siseseid ressursse

• Uuri, kas on eelnevalt olemas valjatöötatud mõõtmis-instrumente

• Fookus vajadusele ‘teada saada’

• Aja testimise küsimustik

• Kas küsimused on selged ja arusaadavad?

• Kas küsimustik pole liiga pikk?

• Kasuta lahtiseid küsimusi teada saamaks, kas vajad täiendavaid küsimusi?

• Muuda ja täienda instrumenti, kui vajalik?

• Investeeri planeerimisse

• Koolita personal korralikult

• Ole teadlik välistest faktoritest, mis võivad muuta uuringu tulemusi või andmete kogumist

• Viga selles faasis läheb kalliks maksma

• Kasuta arvutit • Ole kindel, et

kodeerija on teadlik materjalist ja kursis terminoloogiaga

• Kontrolli andmete sisestamist

• Kavanda lihtne andmete sisestamise instrument

• Kombineeri statistiline ekspertiis asjaosaliste interpretat-siooniga

• Kvalitatiivne analüüs on kallis

• Pea pidevalt meeles oma eesmärke

• Kellele aruanne on mõeldud?

• Tea erinevusi aruandluse, interpretatsiooni ja soovituste vahel

• Esita informatsioon selgelt ja hästi kasutatavas vormis

KOGU-MAKSUMUS 4400-21500$

KVALITATIIVSED UURINGUD (Kanada dollarites) Fookus-grupp Üks/ühele intervjuu (üks) (kümme) Küsimustiku loomine 150-500 500-1000 Värbamine 400-800 200- 600 Vastajate ergutamine 0-400 0-400 Vahendid ja reisikulud 300-800 50-500 Vahendaja/intervjueerija 250-600 400-600 Analüüs ja aruanne 500-1000 500-2500 KOKKU 1600-4100 1650-5600 PARIMA KÄTTESAAMINE HINDAMISESTST � Investeeri planeerimisse. � Kombineeri testitud materjalid summatiivse pre-testiga.

Mõnikord on võimalik kombineerida baasandmete kogumist rahvastiku grupis kasutamisele mineva materjali testimisega samal rahvastiku grupil.

� Kuidas ja millal kasutada üliõpilasi ja vabatahtlikke. Vabatahtlikud ja üliõpilased võimaldavad säästa ressursse. Aga kui nad ei ole korralikult koolitatud või ei ole pühendunud projektile, võib nende kasutamine olla kahjulik hindamise kvaliteedile. � Sisemine versus välimine hindamine. Otsusta, mida suudab teha sisemine personal

oma pädevusega ja mida on parem tellida lepinguliselt väljastpoolt. � Hinda oma sisemisi ressursse.

� personali oskusi � personali kättesaadavust � personali huvi � arvutite ja tarkvara olemasolu � eelarvet.

MILLAL OTSIDA VÄLISEID RESSURSSE � Kui vajatakse objektiivset lähenemist � Kui organisatsiooni siseselt ei ole vajalikku oskusi � Kui personalil ei ole aega ega huvi � Kui seda võimaldavad ressursid EELARVE JA AJAKAVA MÄÄRATLEMINE � Selles faasis on võimalik luua detailne tegevusplaan, mis sisaldab kõiki ülesandeid,

isikute vastutust, maksumust ja oodatavaid täitmistähtaegu. � Protsessi lihtsustab tegevuste liigendamine. Järgnev tabel demonstreerib, milline peaks

tegevusplaan välja nägema.

49

� Tegevusplaani kasutamine aitab organiseerida hindamist ja kindlustada iga selle astme arvessevõtmist ja teostamist.

� Kui kasutatakse mitmeid andmekogumise tehnikaid, võib tekkida vajadus mitme tegevusplaani koostamise järele vastavalt igale andmekogumise meetodile ning lisaks valmistatakse üldine plaan. Näiteks, kui hindamine sisaldab uuringut ja fookus-gruppi, võid teha eraldi tegevusplaani nende mõlema elluviimiseks eraldi.

50

Tegevusplaani vormi näidis Ülesanded Vastutav isik Maksumus/

personali aeg Täitmise tähtaeg

Hindamise kavand � �

� �

� �

� �

Mõõtmisinstru-mendi loomine � �

� �

� �

� �

Mõõtmisinstrumen-di piloot-testimine � �

� �

� �

� �

Mõõtmisinstrumen-di täiendamine � �

� �

� �

� �

Andmete kogumine � � �

� �

� �

� �

Andmetöötlus � � �

� �

� �

� �

Andmete analüüsimine � � �

� �

� �

� �

Aruande kirjutamine � � �

� �

� �

� �

Tulemuste levitamine � �

� �

� �

� �

51

Töövorm aste nr.6 Kavanda hindamise tööplaan, eelarve ja ajakava. Ülesanne Vastutav isik Maksumus/ Oodatav teos- Personali aeg tamise tähtaeg Hindamise kavandamine � �

� � �

� � �

� � �

Mõõtmisinstrumendi kavandamine � �

� � �

� � �

� � �

Piloot-test mõõtmisinstrumendi loomine � �