ETUO_-_prezentacije_predavanja

EVALUACIJA TRETMANA U OBRAZOVANJU

EVALUACIJA TRETMANA EVALUACIJA TRETMANA U OBRAZOVANJUU OBRAZOVANJU

Prof.dr. Vesna BuProf.dr. Vesna BukokoOdsjek za psihologijuOdsjek za psihologiju

to je evaluacija?

klasa postupaka utvrivanje rezultata neke aktivnosti planirane sa svrhom postizanja nekog individualno ili drutveno vanog cilja

to se evaluira? Na kakve se aktivnosti odnosi evaluacija?

(jedna od) definicija (Rossi, Lipsey & Freeman, 2004):

primjena metoda drut.istraivanja na sustavno ispitivanje uinkovitosti programa socijalnih intervencija;

ovi su postupci prilagoeni politikom i organizacijskom okruenju u kojem se provode;

slue informiranju i poticanju akcija usmj.na poboljanje drutvenih uvjeta

program, socijalna intervencija

organizirano, planirano, obino kontinuirano ulaganje napora usmjereno na ublaavanje nekog drutvenog problema ili na poboljavanje drutvenih uvjeta

primjena metoda (metodologije) istraivanja u drut. znanostima

metode prouavanja (socijalnog) ponaanja razvijene u okviru drut.znanosti temeljene na sustavnom opaanju, mjerenju,..., i pravilima logikog zakljuivanja na temelju takvog opaanja

ukljuuju odgovarajue postupke za opisivanje (prikupljanje, analizu i interpretaciju dokaza o..) (kvalitete) izvedbe programa

izazov: uskladiti istra.metode, eval.pitanja i okolnosti, primijeniti ih uz najvie mogue standarde

uinkovitost programa socijalnih intervencija

bilo kakav oblik evaluacije (vrijedan spomena) mora prosuditi kvalitetu programa u odnosu na neki od aspekata njegove uinkovitosti u smislu stvaranja/poveavanja drutvene dobrobiti

evaluacija nekog programa openito ukljuuje procjenu neke od (ili vie) sljedeih domena: Potreba za programom Plan/nacrt programa Njegova primjena i pruanje usluga Njegov utjecaj ili ishodi Njegova efikasnost

prilagodba politikom i organizacijskom okruenju

evaluacijski plan se openito kreira u vezi s pitanjima koje o programu postavlja naruitelj sponzor evaluacije, i drugi zainteresirani stakeholders pojedinci, grupe, organizacije sa specifinim interesom za funkc.programa

esto nuno pregovarati definirati pitanja, plan evaluacije, provedba, prikaz nalaza ovisno o korisnicima

evaluacija se nee provesti ako ne postoje zainteresirani za nalaze i potencijalno za njihovu upotrebu

informiranje i poticanje drutvenih akcija usmjerenih na poboljanje drutvenih uvjeta

zadatak evaluacije je dati odgovore o na pitanja o programu (korisne i koji e biti upotrebljeni) njezina je svrha dati smjernice za akciju

zajedniki nazivnik svih evaluacijskih istraivanja: cilj im je da budu korisna i koritena bilo neposredno ili kao kumulativni doprinos praktinim spoznajama

Logika?

oekivanje da intervencija ima mjerljive/opaljiveposljedice

postojanje ciljaintervencije odreivanje kriterija uspjeha/neuspjeha

postavljanje kriterija (na kojim dimenzijama) Formiranje standarda (koliko dobro) Mjerenje izvedbe i

usporedba sa standardima

Sinteza i integracija dokaza u prosudbu vrijednosti

Zato?

Ilustracija: Cambridge-Sommerville

program prevencije delinkv.ponaanja (N=506)

- 5 godina; eval.nakon 30g. Program:

Tret.skup.: mentor, rad s obitelji, med.i druga briga, drutv.akt.etc.

Eval.: usporedba tret i kontr skupine -izvori info, objektivni:

statist., arhivi policije, sudova, du.bolnica itd

Rezultati: - veina pokazatelja nema

razlike; - gdje su naene razlike

upuuju na tetnosttretmana!

niz praktinih razlogaevaluacija moe:

pomoi u donoenju odluka o daljnjoj provedbi programa

ocijeniti korisnost novih programa i inicijativa poveati uinkovitost voenja i administr. programa zadovoljiti zahtjeve sponzora vezano uz isplativost doprinijeti substancijalnim i metodolokim

spoznajama u drutvenim znanostima

opa svrha evaluacije programa:

doprinos unapreenju kvalitete usluga /intervencija namijenjenih osobama /grupama koje ih trebaju

potreba za razlikovanjem svrhovitih/ uinkovitih programa/intervencija od neuspjenih traenje odgovora na niz pitanja u vezi s programom(ima)

kakva je priroda i domet problema? Gdje se nalazi, na koga i kako utjee, koliko je rairen?

koji elementi ili aspekti problema ili njegovih posljedica opravdavaju nove, proirene ili izmijenjene drut.programe?

koje (provedive) intervencije imaju ansu znaajno ublaiti problem?

na kojim je ciljnim populacijama prikladno (ima smisla) provoditi intervenciju?

dopire li odreena intervencija do ciljne populacije? je li intervencija primijenjena na odgovarajui nain? jesu li

planirane usluge pruene? je li intervencija uinkovita u postizanju eljenih ciljeva? je li program opravdan/isplativ u odnosu na uinkovitost i

koristi?

Radni opis/znaenje evaluacije (Owen & Rogers, 1999):

proces kreiranja, ustanovljavanja (pregovaranje o) evaluacijskog plana

prikupljanje i analiza dokaza koji e proizvesti nalaze

prikazivanje/izvjetavanje o nalazima u svrhu: opisa ili razumijevanja onoga to se evaluira donoenja sudova i/ili odluka o onome to se

evaluira

nalazi

- dokazi: informacije prikupljene tijekom evaluacije - zakljuci: sinteza info., prikaz, redukc., verifikac. - prosudbe: vrednovanje zakljuaka - preporuke: sugerirani tijek akcija u svjetlu dokaza

i zakljuaka

Priroda intervencija

istraivanje socijalnih i obrazovnih intervencija trebalo bi se odnositi na 3 aspekta evaluiranih (predmeta evaluacije; Shadish i dr., 1991):

Internalna struktura i funkcioniranje

Ogranienja koja oblikuju nacrt/plan i provedbu programa

Drutveni initelji koji utjeu na razvoj evaluiranih, kako se sami mijenjaju u funkciji vremena i kako oni povratno doprinose drutvenim promjenama

Priroda intervencija

to evaluiramo?

kategorije objekata evaluacije (Oven & Rogers, 1999): programi ope drutvene akcije (policies) organizacije proizvodi pojedinci

(glavne) vrste/tipovi evaluacije

Evaluacija potreba Evaluacija potencijala Evaluacija procesa/provedbe Evaluacija ishoda/efektivnosti Evaluacija efikasnosti

- ocjene razliitih aspekataprimijenjenih intervencija

kompletna evaluacija programa bi obuhvatila sve aspekte ili komponente

naglasak na nekom od aspekata ovisno o okolnostima, fazi u provedbi programa itd.)

Procjena provedivosti programa (potencijali organizacije, tima)

vrednovanje provedbe programa evaluacija ishoda (utjecaji programa na ciljnu populaciju)

Evaluacija potencijala

. - glavno pitanje: moe li se i kojoj mjeri ostvariti program u zadanim uvjetima i sa zadanim sredstvima?

ocjena osoblja (brojnost, kompetentnost, strunost, iskustvo, spec. trening)

ocjena klijenata (potrebe, demografija itd raniji tretmani),

programa (sadraj, vrsta vrem. raspored aktivnosti, dostupnost klijenata)

Evaluacija provedbe

- kvaliteta provedbe programa to je napravljeno? koliko dobro? koliko je u skladu s onim to je planirano (u

planu intervencije)?

Evaluacija ishoda

utjecaj programa na klijente - jesu li ciljevi tretmana postignuti u

stupnju u kojem je planirano? - jesu li promjene posljedica tretmana ili

nekih drugih varijabli? - je li primijenjena intervencija bolja od

neke druge u smislu dostizanja ciljeva tretmana

Razliite vrste evaluacije za razliite vrste programa

Kome treba evaluacija?

Vremenski okvir potreba

obuhvatnost/dosezi/irina/programa

Tko moe provoditi evaluaciju?

- tko donosi evaluativne sudove?

uloge evaluatora - razliitosti radnih okruenja

Instit. za koje se provodi evaluacija; dravne/Vladine institucije; privatne istraivake firme

interni i eksterni evaluatori kompetentnost osobne kvalitete svrha evaluacije

Evaluacijska istraivanja

Specifinost?

Fundamentalna primijenjena

Valjanost?

Campbell (1957; 1986) kauzalno zakljuivanje u istr.uvjetima slinim onima na koje se eli generalizirati

Valjanost istraivanja interpretacija, generalizacija Valjanost istraivakog postupka internalna valjanost je li odnos izmeu dvije varijable kauzalan u kontekstima u kojima

je veza testirana eksternalna valjanost stupanj u kojem se kauzalna veza moe poopiti na druge

vrste okolnosti, situacija, osobe, grupe, vremenske toke, naine operacionalizacije uzroka i posljedice

konstruktna valjanost poopavanje na konstrukte teorijskih uzroka i posljedica

vrijednost evaluacijskog istraivanja ostvarenost ova 3 tipa valjanosti

Poremetnje valjanosti potencijalni izvori pristranosti (u zakljuivanju)

Stvarne (sistematske, ali s programom nepovezane) promjene ispitanika maturacija, razvojne promjene, uenje, dosada, umor,

dogaaji izmeu testiranja vremenski se poklapaju s tretmanom

Oite promjene rezultat naina formiranja uzoraka Selekcija raspored ispitanika, osipanje ispitanika,

regresijski artefakt

Promjene vezane uz nain prikupljanja podataka Efekti testiranja, reaktivnost, promjene u postupku

mjerenja

Vanjske okolnosti, izvori pristranosti

Untarnji faktori eksper.artefakt (npr. efekti eksperimentatora)

Istraivaka kontrola poveavanje internalne valjanosti

Sluajni izbor i raspored ispitanika Odabir nacrta istraivanja

Nacrti evaluacijskih istraivanja

utvrditi utjecaje tretmana (uzrok, nezavisna var.) na karakteristike tretmanske skupine (posljedica, zavisna var.)

broj, vrsta zavisnih varijabli u eval.istra. moe varirati:

priroda tretmana cilj evaluacije zahtjevi naruitelja

Uvjeti za ustanovljavanje kauzalnog odnosa (pozitivist.tradicija; suvr.filoz. znanosti, Popper):

zakljuivanje, spoznaje temelje se na odbacivanju alternatinih interpretacija kauzalnih hipoteza

(1) vremenski slijed: uzrok prethodi pretpost. posljedici u vremenu

(2) kovariranje izmeu uzroka i posljedice (3) iskljuena druga objanjenja posljedice osim

pretpost.uzroka

Neeksperimentalni nacrti

Jednokratno ispit. tretmanske skupine TS: I / M

Dvokratno ispitiv. tretmanske skupine TS: M / I / M

Usporedba s prigodnom kontr.skupinom TS: I / M KS: / M

Kvazieksperimentalni nacrti

valjanost istra. (evaluacije ishoda) ==> testiranje kauzalnih hipoteza mogue je poveati:

(1) poveavanjem broja mjerenja prije i nakon tretmana

(2) uvoenjem dodatnih skupina isp. - neizloenih tretmanu

(3) koritenjem veeg broja varijabli za koje se oekuje ili ne oekuje podlonost utjec.tretmana


Pretest-posttest s usporedivom skupinom

TS: M / I / M KS: M / / M


Nacrt s raspolovljenim skupinama

(S)TS1: I / M (S)TS2: M / I (S)KS1: / / M (S)KS2: M / /


(prekinute) vremenske serije

TS: M / M / M / M / I / M / M / M / M


Diskontinuitet regresije specijalni sluaj nacrta s neekvival.

kontrolnom skupinom

eksperimentalni nacrti

Osnovni oblik

STS: M / I / M SKS: M / / M

Evaluacijski modeli

Tradicionalni model

impresionistike evaluacije; neformalne, od supervizora, samoevaluacije

Model istraivanja u drutvenim znanostima

eksperimentalni pristup; objektivnost, ogranienja u primijenj.uvjetima

Inspekcijski model (uzor industrija) slino jednokratnom ispitivanju nakon

viegod. tretmana trokovi? unapre.programa?

Model crne kutije (ili zatvorene kutije)

Ishod; interno funkcioniranje? potroaki model; evaluacija proizvoda Socijalni programi? unapre.programa?

Evaluacija temeljena na ciljevima stupanj dostizanja ciljeva; prevladavajui m. potp.fokusiranost na ciljeve ispit.razloga uspjeha/neuspj.prog, dodatni

+/- efekti, priroda/kvaliteta ciljeva za klijente

Evaluacija - bez poznavanja ciljeva prouavanje programa, provedbe, osoblja

klijenata, uvjeta, podataka.. slinost s antrop.; kompatibilnost nalaza

eval.sa svrhama progr i potrebama klijenata

Fiskalna evaluacija objektivna evaluacija kalkulacija

financijskih ulaganja i povrat ulaganja podsjeanje evaluatora na trokove

nezanemarive; potekoe? procjene/odluke

Model ekspertnog miljenja otklanjanje nedostataka nekih pristupa evaluacije velikih, sloenih, jedinstvenih

entiteta

Naturalistiki model koritenje kvalitativnih metoda; osobna

opaanja, praenje svih faza, detaljni razg.i kontakti sa svim ukljuenim sudionicima

Model usmjeren na osnaivanje klijenata

naglasak na poticanju aktivnog sudjelovanja klijenata, pomoi u usvanjanju vjetina

pitanje valjanosti pristupa?

Teorijski voena evaluacija detaljan opis programa, usluga; specifik.

oekivanih promjena, naina djelov.programa oekivani ishodi analize povezanosti: usluge obiljeja klijenata; usluge

neposr.promjene; neposr.promjene ishodi

kritika? Usporedba s exp.pristupom, sluajni raspored sudionika u grupe, mogunosti kauzalng zakljuivanja

Model usmjeren na unapreenja programa

naglasak na unapreivanju programa a ne na metodologiji

nalaenje odstupanja, raskoraka: - opaeno planirano, eljeno, potrebno; oekivanja ciljne populacije i pruenih usluga; postignutih i oekivanih ishoda;

anticipirane potrebe? vjetine osoblja? Konceptualni temelj programa? oekivana potpora?

razumijevanje programa i uinaka

Planiranje evaluacijskog istraivanja

...donoenje niza odluka, konkretiziranje svih aspekata istraivanja

glavni elementi:

analiza mogunosti evaluacijskog tima i planir. njihovog koritenja; (usklaenost kapaciteta tima i ciljeva evaluacije, opa atmosfera u vezi s evaluacijom)

koritenje dobivenih evaluacijskih rezultata i izvedenih zakljuaka (ovisi o - npr. vrsta naruitelja evaluacije, planovi koritenja rezultata, usklaenost planova koritenja i dobivenih podataka, nain priopavanja rezultata)

Koraci u pripremi provedbe evaluacije

! jasna komunikacija i eksplicitni dogovori

pismeni tragovi dogovora o planu evaluacije

Upoznavanje programa i ukljuenih pojedinaca/grupa

- pribavljanje cjelovitog opisa programa

- upoznavanje s (izravno, osobno) ukljuenima u program (stakeholders) Osoblje (npr.voditelj programa) Klijenti Sponzori

Upoznavanje potreba (prirode traenih informacija)

Tko eli evaluaciju? to bi trebalo biti u sreditu evaluacije? Kakva vrsta evaluacije je prikladna? Zato se trai evaluacija? Kada je evaluacija potrebna? Koji su dostupni resursi za evaluaciju? Procjena ocjenjivosti programa.

Planiranje evaluacije

- pregled objavljenih istraivanja vezanih uz konkretni program ili sline programe

- odluivanje o metodologiji

- priprema pisanog prijedloga (evaluacijskog plana)


postavljanje evaluacijskih pitanja razgraniavanje podruja istraivanja; postizanje mjere

operacionalizacija evaluacijskih pitanja omjer subjektivnih i objektivnih podataka

izbor nacrta istraivanja ovisi o potrebnom stupnju kontrole vanjskih faktora da bi se

udvoljilo standardima evaluacije


izbor ispitanika odreivanje veliine uzorka, nain izbora ispitanika za

tretmansku i kontrolnu skupinu, reprezentativnost ukljuivanje svih klijenata ?

izvori i nain prikupljanja evaluacijskihpodataka

prikupljanje evaluacijskih podataka


utvrivanje standarda za ocjenu djelotvornosti intervencije/programa/tretmana

usporedba rezultata evaluacije s nekim a priori postavljenim standardom ili kriterijem

definiranje ili izbor kriterija ocjene;

ovisi o vrsti evaluacije i upotrebljenoj metodologiji, -usporedbe sa standardima najbolje prakse,

vie kriterija i standarda moe se koristiti kao osnova za ocjenu tretmana


utvrivanje - to je prihvatljiva razina ili standard uspjenosti

odreivanje neke razine efekta kao granine vrijednosti uspjeha i neuspjeha

opi standardi uspjenosti - treba odrediti dovoljno precizno da bi omoguili jasnu, jednoznanu primjenu pa onda i nepristranu ocjenu vrijednosti programa


analiza prikupljenih podataka

izvjetavanje o rezultatima evaluacijskog istraivanja

Evaluacijska izvjea

potvrda uspjeha argument za nastavak ili ponovnu primjenu programa

prikaz nedostataka osnova za event.poboljanja

rezultati evaluacije - forma, sadraj, primatelj

Izvjeivanje: odreivanje kruga korisnika diseminacija nalaza i zakljuaka pisano evaluacijsko izvjee

Osnovni elementi izvjea

Uvod

opis intervencije, teorijska osnovica, naina provedbe, ciljevi, konkretni podaci

evaluacijska pitanja, obrazloenja relevantnosti, procjena korisnosti eval.istra.

event. usporedbe s drugim slinim programima/evaluac., pretpostavke o oekivanim rezultatima evaluacije

Metoda

Opis, obrazloenje nacrta Metode prikupljanja podataka, sudionici Mjerni instrumenti Ispitanici broj, formiranje uzoraka,

subuzoraka, formiranje tretm/kontr.grupa, osipanje

Varijable, nain formiranja Mogunost generalizacije, populacija, okolnosti,

intervencije Plan analize podataka

Rezultati

Izlaganje u tabl., grafikom i slinom obliku samo rezultate vezane uz evaluacijska

pitanja! pomoni podaci i analize u priloge isl.

odabir vrste analize -> rezultati primarno praktine implikacije (misliti i na korisnike)

Rasprava

Znaenje i ocjena rezultata, veza s evaluaciskim pitanjima

Mogua objanjenja nalaza

svrha: potvrditi/opovrgnuti kauzalne veze tretmana i

zav. varijabli ocjena uspjenosti intervencije

Zakljuci i preporuke

Jasne tvrdnje o odnosu eval.pitanja i istr.podataka logike i praktine implikacije tiu se programa (i

njegove sudbine) praktine preporuke (zagovaranje nastavka, prijedlozi

za modifikacije, ponovna primjena drugi uvjeti, korisnici, odbacivanje/prekid programa..)

Saetak

integracija glavnih elemenata izvjea (bez detalja)

Documents

ETUO_-_prezentacije_predavanja