View
40
Download
0
Category
Preview:
DESCRIPTION
evaluacija tretmana u obrazovanju
Citation preview
EVALUACIJA TRETMANA U OBRAZOVANJU
EVALUACIJA TRETMANA EVALUACIJA TRETMANA U OBRAZOVANJUU OBRAZOVANJU
Prof.dr. Vesna BuProf.dr. Vesna BukokoOdsjek za psihologijuOdsjek za psihologiju
to je evaluacija?
klasa postupaka utvrivanje rezultata neke aktivnosti planirane sa svrhom postizanja nekog individualno ili drutveno vanog cilja
to se evaluira? Na kakve se aktivnosti odnosi evaluacija?
(jedna od) definicija (Rossi, Lipsey & Freeman, 2004):
primjena metoda drut.istraivanja na sustavno ispitivanje uinkovitosti programa socijalnih intervencija;
ovi su postupci prilagoeni politikom i organizacijskom okruenju u kojem se provode;
slue informiranju i poticanju akcija usmj.na poboljanje drutvenih uvjeta
program, socijalna intervencija
organizirano, planirano, obino kontinuirano ulaganje napora usmjereno na ublaavanje nekog drutvenog problema ili na poboljavanje drutvenih uvjeta
primjena metoda (metodologije) istraivanja u drut. znanostima
metode prouavanja (socijalnog) ponaanja razvijene u okviru drut.znanosti temeljene na sustavnom opaanju, mjerenju,..., i pravilima logikog zakljuivanja na temelju takvog opaanja
ukljuuju odgovarajue postupke za opisivanje (prikupljanje, analizu i interpretaciju dokaza o..) (kvalitete) izvedbe programa
izazov: uskladiti istra.metode, eval.pitanja i okolnosti, primijeniti ih uz najvie mogue standarde
uinkovitost programa socijalnih intervencija
bilo kakav oblik evaluacije (vrijedan spomena) mora prosuditi kvalitetu programa u odnosu na neki od aspekata njegove uinkovitosti u smislu stvaranja/poveavanja drutvene dobrobiti
evaluacija nekog programa openito ukljuuje procjenu neke od (ili vie) sljedeih domena: Potreba za programom Plan/nacrt programa Njegova primjena i pruanje usluga Njegov utjecaj ili ishodi Njegova efikasnost
prilagodba politikom i organizacijskom okruenju
evaluacijski plan se openito kreira u vezi s pitanjima koje o programu postavlja naruitelj sponzor evaluacije, i drugi zainteresirani stakeholders pojedinci, grupe, organizacije sa specifinim interesom za funkc.programa
esto nuno pregovarati definirati pitanja, plan evaluacije, provedba, prikaz nalaza ovisno o korisnicima
evaluacija se nee provesti ako ne postoje zainteresirani za nalaze i potencijalno za njihovu upotrebu
informiranje i poticanje drutvenih akcija usmjerenih na poboljanje drutvenih uvjeta
zadatak evaluacije je dati odgovore o na pitanja o programu (korisne i koji e biti upotrebljeni) njezina je svrha dati smjernice za akciju
zajedniki nazivnik svih evaluacijskih istraivanja: cilj im je da budu korisna i koritena bilo neposredno ili kao kumulativni doprinos praktinim spoznajama
Logika?
oekivanje da intervencija ima mjerljive/opaljiveposljedice
postojanje ciljaintervencije odreivanje kriterija uspjeha/neuspjeha
postavljanje kriterija (na kojim dimenzijama) Formiranje standarda (koliko dobro) Mjerenje izvedbe i
usporedba sa standardima
Sinteza i integracija dokaza u prosudbu vrijednosti
Zato?
Ilustracija: Cambridge-Sommerville
program prevencije delinkv.ponaanja (N=506)
- 5 godina; eval.nakon 30g. Program:
Tret.skup.: mentor, rad s obitelji, med.i druga briga, drutv.akt.etc.
Eval.: usporedba tret i kontr skupine -izvori info, objektivni:
statist., arhivi policije, sudova, du.bolnica itd
Rezultati: - veina pokazatelja nema
razlike; - gdje su naene razlike
upuuju na tetnosttretmana!
niz praktinih razlogaevaluacija moe:
pomoi u donoenju odluka o daljnjoj provedbi programa
ocijeniti korisnost novih programa i inicijativa poveati uinkovitost voenja i administr. programa zadovoljiti zahtjeve sponzora vezano uz isplativost doprinijeti substancijalnim i metodolokim
spoznajama u drutvenim znanostima
opa svrha evaluacije programa:
doprinos unapreenju kvalitete usluga /intervencija namijenjenih osobama /grupama koje ih trebaju
potreba za razlikovanjem svrhovitih/ uinkovitih programa/intervencija od neuspjenih traenje odgovora na niz pitanja u vezi s programom(ima)
kakva je priroda i domet problema? Gdje se nalazi, na koga i kako utjee, koliko je rairen?
koji elementi ili aspekti problema ili njegovih posljedica opravdavaju nove, proirene ili izmijenjene drut.programe?
koje (provedive) intervencije imaju ansu znaajno ublaiti problem?
na kojim je ciljnim populacijama prikladno (ima smisla) provoditi intervenciju?
dopire li odreena intervencija do ciljne populacije? je li intervencija primijenjena na odgovarajui nain? jesu li
planirane usluge pruene? je li intervencija uinkovita u postizanju eljenih ciljeva? je li program opravdan/isplativ u odnosu na uinkovitost i
koristi?
Radni opis/znaenje evaluacije (Owen & Rogers, 1999):
proces kreiranja, ustanovljavanja (pregovaranje o) evaluacijskog plana
prikupljanje i analiza dokaza koji e proizvesti nalaze
prikazivanje/izvjetavanje o nalazima u svrhu: opisa ili razumijevanja onoga to se evaluira donoenja sudova i/ili odluka o onome to se
evaluira
nalazi
- dokazi: informacije prikupljene tijekom evaluacije - zakljuci: sinteza info., prikaz, redukc., verifikac. - prosudbe: vrednovanje zakljuaka - preporuke: sugerirani tijek akcija u svjetlu dokaza
i zakljuaka
Priroda intervencija
istraivanje socijalnih i obrazovnih intervencija trebalo bi se odnositi na 3 aspekta evaluiranih (predmeta evaluacije; Shadish i dr., 1991):
Internalna struktura i funkcioniranje
Ogranienja koja oblikuju nacrt/plan i provedbu programa
Drutveni initelji koji utjeu na razvoj evaluiranih, kako se sami mijenjaju u funkciji vremena i kako oni povratno doprinose drutvenim promjenama
Priroda intervencija
to evaluiramo?
kategorije objekata evaluacije (Oven & Rogers, 1999): programi ope drutvene akcije (policies) organizacije proizvodi pojedinci
(glavne) vrste/tipovi evaluacije
Evaluacija potreba Evaluacija potencijala Evaluacija procesa/provedbe Evaluacija ishoda/efektivnosti Evaluacija efikasnosti
- ocjene razliitih aspekataprimijenjenih intervencija
kompletna evaluacija programa bi obuhvatila sve aspekte ili komponente
naglasak na nekom od aspekata ovisno o okolnostima, fazi u provedbi programa itd.)
Procjena provedivosti programa (potencijali organizacije, tima)
vrednovanje provedbe programa evaluacija ishoda (utjecaji programa na ciljnu populaciju)
Evaluacija potencijala
. - glavno pitanje: moe li se i kojoj mjeri ostvariti program u zadanim uvjetima i sa zadanim sredstvima?
ocjena osoblja (brojnost, kompetentnost, strunost, iskustvo, spec. trening)
ocjena klijenata (potrebe, demografija itd raniji tretmani),
programa (sadraj, vrsta vrem. raspored aktivnosti, dostupnost klijenata)
Evaluacija provedbe
- kvaliteta provedbe programa to je napravljeno? koliko dobro? koliko je u skladu s onim to je planirano (u
planu intervencije)?
Evaluacija ishoda
utjecaj programa na klijente - jesu li ciljevi tretmana postignuti u
stupnju u kojem je planirano? - jesu li promjene posljedica tretmana ili
nekih drugih varijabli? - je li primijenjena intervencija bolja od
neke druge u smislu dostizanja ciljeva tretmana
Razliite vrste evaluacije za razliite vrste programa
Kome treba evaluacija?
Vremenski okvir potreba
obuhvatnost/dosezi/irina/programa
Tko moe provoditi evaluaciju?
- tko donosi evaluativne sudove?
uloge evaluatora - razliitosti radnih okruenja
Instit. za koje se provodi evaluacija; dravne/Vladine institucije; privatne istraivake firme
interni i eksterni evaluatori kompetentnost osobne kvalitete svrha evaluacije
Evaluacijska istraivanja
Specifinost?
Fundamentalna primijenjena
Valjanost?
Campbell (1957; 1986) kauzalno zakljuivanje u istr.uvjetima slinim onima na koje se eli generalizirati
Valjanost istraivanja interpretacija, generalizacija Valjanost istraivakog postupka internalna valjanost je li odnos izmeu dvije varijable kauzalan u kontekstima u kojima
je veza testirana eksternalna valjanost stupanj u kojem se kauzalna veza moe poopiti na druge
vrste okolnosti, situacija, osobe, grupe, vremenske toke, naine operacionalizacije uzroka i posljedice
konstruktna valjanost poopavanje na konstrukte teorijskih uzroka i posljedica
vrijednost evaluacijskog istraivanja ostvarenost ova 3 tipa valjanosti
Poremetnje valjanosti potencijalni izvori pristranosti (u zakljuivanju)
Stvarne (sistematske, ali s programom nepovezane) promjene ispitanika maturacija, razvojne promjene, uenje, dosada, umor,
dogaaji izmeu testiranja vremenski se poklapaju s tretmanom
Oite promjene rezultat naina formiranja uzoraka Selekcija raspored ispitanika, osipanje ispitanika,
regresijski artefakt
Promjene vezane uz nain prikupljanja podataka Efekti testiranja, reaktivnost, promjene u postupku
mjerenja
Vanjske okolnosti, izvori pristranosti
Untarnji faktori eksper.artefakt (npr. efekti eksperimentatora)
Istraivaka kontrola poveavanje internalne valjanosti
Sluajni izbor i raspored ispitanika Odabir nacrta istraivanja
Nacrti evaluacijskih istraivanja
utvrditi utjecaje tretmana (uzrok, nezavisna var.) na karakteristike tretmanske skupine (posljedica, zavisna var.)
broj, vrsta zavisnih varijabli u eval.istra. moe varirati:
priroda tretmana cilj evaluacije zahtjevi naruitelja
Uvjeti za ustanovljavanje kauzalnog odnosa (pozitivist.tradicija; suvr.filoz. znanosti, Popper):
zakljuivanje, spoznaje temelje se na odbacivanju alternatinih interpretacija kauzalnih hipoteza
(1) vremenski slijed: uzrok prethodi pretpost. posljedici u vremenu
(2) kovariranje izmeu uzroka i posljedice (3) iskljuena druga objanjenja posljedice osim
pretpost.uzroka
Neeksperimentalni nacrti
Jednokratno ispit. tretmanske skupine TS: I / M
Dvokratno ispitiv. tretmanske skupine TS: M / I / M
Usporedba s prigodnom kontr.skupinom TS: I / M KS: / M
Kvazieksperimentalni nacrti
valjanost istra. (evaluacije ishoda) ==> testiranje kauzalnih hipoteza mogue je poveati:
(1) poveavanjem broja mjerenja prije i nakon tretmana
(2) uvoenjem dodatnih skupina isp. - neizloenih tretmanu
(3) koritenjem veeg broja varijabli za koje se oekuje ili ne oekuje podlonost utjec.tretmana
Kvazieksperimentalni nacrti
Pretest-posttest s usporedivom skupinom
TS: M / I / M KS: M / / M
Kvazieksperimentalni nacrti
Nacrt s raspolovljenim skupinama
(S)TS1: I / M (S)TS2: M / I (S)KS1: / / M (S)KS2: M / /
Kvazieksperimentalni nacrti
(prekinute) vremenske serije
TS: M / M / M / M / I / M / M / M / M
Kvazieksperimentalni nacrti
Diskontinuitet regresije specijalni sluaj nacrta s neekvival.
kontrolnom skupinom
eksperimentalni nacrti
Osnovni oblik
STS: M / I / M SKS: M / / M
Evaluacijski modeli
Tradicionalni model
impresionistike evaluacije; neformalne, od supervizora, samoevaluacije
Model istraivanja u drutvenim znanostima
eksperimentalni pristup; objektivnost, ogranienja u primijenj.uvjetima
Inspekcijski model (uzor industrija) slino jednokratnom ispitivanju nakon
viegod. tretmana trokovi? unapre.programa?
Model crne kutije (ili zatvorene kutije)
Ishod; interno funkcioniranje? potroaki model; evaluacija proizvoda Socijalni programi? unapre.programa?
Evaluacija temeljena na ciljevima stupanj dostizanja ciljeva; prevladavajui m. potp.fokusiranost na ciljeve ispit.razloga uspjeha/neuspj.prog, dodatni
+/- efekti, priroda/kvaliteta ciljeva za klijente
Evaluacija - bez poznavanja ciljeva prouavanje programa, provedbe, osoblja
klijenata, uvjeta, podataka.. slinost s antrop.; kompatibilnost nalaza
eval.sa svrhama progr i potrebama klijenata
Fiskalna evaluacija objektivna evaluacija kalkulacija
financijskih ulaganja i povrat ulaganja podsjeanje evaluatora na trokove
nezanemarive; potekoe? procjene/odluke
Model ekspertnog miljenja otklanjanje nedostataka nekih pristupa evaluacije velikih, sloenih, jedinstvenih
entiteta
Naturalistiki model koritenje kvalitativnih metoda; osobna
opaanja, praenje svih faza, detaljni razg.i kontakti sa svim ukljuenim sudionicima
Model usmjeren na osnaivanje klijenata
naglasak na poticanju aktivnog sudjelovanja klijenata, pomoi u usvanjanju vjetina
pitanje valjanosti pristupa?
Teorijski voena evaluacija detaljan opis programa, usluga; specifik.
oekivanih promjena, naina djelov.programa oekivani ishodi analize povezanosti: usluge obiljeja klijenata; usluge
neposr.promjene; neposr.promjene ishodi
kritika? Usporedba s exp.pristupom, sluajni raspored sudionika u grupe, mogunosti kauzalng zakljuivanja
Model usmjeren na unapreenja programa
naglasak na unapreivanju programa a ne na metodologiji
nalaenje odstupanja, raskoraka: - opaeno planirano, eljeno, potrebno; oekivanja ciljne populacije i pruenih usluga; postignutih i oekivanih ishoda;
anticipirane potrebe? vjetine osoblja? Konceptualni temelj programa? oekivana potpora?
razumijevanje programa i uinaka
Planiranje evaluacijskog istraivanja
...donoenje niza odluka, konkretiziranje svih aspekata istraivanja
glavni elementi:
analiza mogunosti evaluacijskog tima i planir. njihovog koritenja; (usklaenost kapaciteta tima i ciljeva evaluacije, opa atmosfera u vezi s evaluacijom)
koritenje dobivenih evaluacijskih rezultata i izvedenih zakljuaka (ovisi o - npr. vrsta naruitelja evaluacije, planovi koritenja rezultata, usklaenost planova koritenja i dobivenih podataka, nain priopavanja rezultata)
Koraci u pripremi provedbe evaluacije
! jasna komunikacija i eksplicitni dogovori
pismeni tragovi dogovora o planu evaluacije
Upoznavanje programa i ukljuenih pojedinaca/grupa
- pribavljanje cjelovitog opisa programa
- upoznavanje s (izravno, osobno) ukljuenima u program (stakeholders) Osoblje (npr.voditelj programa) Klijenti Sponzori
Upoznavanje potreba (prirode traenih informacija)
Tko eli evaluaciju? to bi trebalo biti u sreditu evaluacije? Kakva vrsta evaluacije je prikladna? Zato se trai evaluacija? Kada je evaluacija potrebna? Koji su dostupni resursi za evaluaciju? Procjena ocjenjivosti programa.
Planiranje evaluacije
- pregled objavljenih istraivanja vezanih uz konkretni program ili sline programe
- odluivanje o metodologiji
- priprema pisanog prijedloga (evaluacijskog plana)
Planiranje evaluacije
postavljanje evaluacijskih pitanja razgraniavanje podruja istraivanja; postizanje mjere
operacionalizacija evaluacijskih pitanja omjer subjektivnih i objektivnih podataka
izbor nacrta istraivanja ovisi o potrebnom stupnju kontrole vanjskih faktora da bi se
udvoljilo standardima evaluacije
Planiranje evaluacije
izbor ispitanika odreivanje veliine uzorka, nain izbora ispitanika za
tretmansku i kontrolnu skupinu, reprezentativnost ukljuivanje svih klijenata ?
izvori i nain prikupljanja evaluacijskihpodataka
prikupljanje evaluacijskih podataka
Planiranje evaluacije
utvrivanje standarda za ocjenu djelotvornosti intervencije/programa/tretmana
usporedba rezultata evaluacije s nekim a priori postavljenim standardom ili kriterijem
definiranje ili izbor kriterija ocjene;
ovisi o vrsti evaluacije i upotrebljenoj metodologiji, -usporedbe sa standardima najbolje prakse,
vie kriterija i standarda moe se koristiti kao osnova za ocjenu tretmana
Planiranje evaluacije
utvrivanje - to je prihvatljiva razina ili standard uspjenosti
odreivanje neke razine efekta kao granine vrijednosti uspjeha i neuspjeha
opi standardi uspjenosti - treba odrediti dovoljno precizno da bi omoguili jasnu, jednoznanu primjenu pa onda i nepristranu ocjenu vrijednosti programa
Planiranje evaluacije
analiza prikupljenih podataka
izvjetavanje o rezultatima evaluacijskog istraivanja
Evaluacijska izvjea
potvrda uspjeha argument za nastavak ili ponovnu primjenu programa
prikaz nedostataka osnova za event.poboljanja
rezultati evaluacije - forma, sadraj, primatelj
Izvjeivanje: odreivanje kruga korisnika diseminacija nalaza i zakljuaka pisano evaluacijsko izvjee
Osnovni elementi izvjea
Uvod
opis intervencije, teorijska osnovica, naina provedbe, ciljevi, konkretni podaci
evaluacijska pitanja, obrazloenja relevantnosti, procjena korisnosti eval.istra.
event. usporedbe s drugim slinim programima/evaluac., pretpostavke o oekivanim rezultatima evaluacije
Metoda
Opis, obrazloenje nacrta Metode prikupljanja podataka, sudionici Mjerni instrumenti Ispitanici broj, formiranje uzoraka,
subuzoraka, formiranje tretm/kontr.grupa, osipanje
Varijable, nain formiranja Mogunost generalizacije, populacija, okolnosti,
intervencije Plan analize podataka
Rezultati
Izlaganje u tabl., grafikom i slinom obliku samo rezultate vezane uz evaluacijska
pitanja! pomoni podaci i analize u priloge isl.
odabir vrste analize -> rezultati primarno praktine implikacije (misliti i na korisnike)
Rasprava
Znaenje i ocjena rezultata, veza s evaluaciskim pitanjima
Mogua objanjenja nalaza
svrha: potvrditi/opovrgnuti kauzalne veze tretmana i
zav. varijabli ocjena uspjenosti intervencije
Zakljuci i preporuke
Jasne tvrdnje o odnosu eval.pitanja i istr.podataka logike i praktine implikacije tiu se programa (i
njegove sudbine) praktine preporuke (zagovaranje nastavka, prijedlozi
za modifikacije, ponovna primjena drugi uvjeti, korisnici, odbacivanje/prekid programa..)
Saetak
integracija glavnih elemenata izvjea (bez detalja)
Recommended