REZULTATI PREFFI PROJEKTA:STUDIJA KVALITETE IMPLEMENTACIJE

PREVENTIVNIH PROGRAMA PREVENTIVNIH PROGRAMA

Miranda Novak

MEĐUNARODNA ZNANSTVENO-STRUČNA KONFERENCIJAUČINKOVITA PREVENCIJA U ZAJEDNICI: PARTNERSTVO ZNANOSTI I PRAKSE

Istraživački projekt

»Preffi – osiguravanje kvalitete u Istarskoj županiji«

Odjel za zdravstvo i socijalnu skrbEdukacijsko-rehabilitacijski fakultet, Sveučilište u ZagrebuEdukacijsko-rehabilitacijski fakultet, Sveučilište u Zagrebu

Uklapanje znanstveno-utemeljenih principa u prevencijsku praksu u Istri kroz suradnju znanosti i prakse

KVALITETA PROGRAMA

MODEL TRENINGA ZA PREVENCIJU

KVALITETAIMPLEMENTACIJE

UČINCI

PROGRAMA

RAZVOJ PROGRAMA

Cilj & kontekstualni faktori

EkspertizaZnanost Politika Resursi VođenjeEkspertiza

TRENING ZA PREVENCIJUPrincip znanstveno-utemeljene prakse

Logički modeli ���� Implementacija���� Evaluacija ���� Zagovaranje

Interaktivna grupna edukacija i Individualne konzultacije

VODITELJI ORGANIZACIJAAUTORI PROGRAMA

PROVODITELJI PROGRAMA

MOTIVACIJA ZA ISTRAŽIVANJEo Evaluacije učinkovitosti raznih preventivnih intervencija u strogo

kontroliranim uvjetima pokazale su da je prevencija učinkovita, no nedostaje dokaza za korištenje programa u prirodnim uvjetima u zajednici (Kam, Greenberg and Weiss, 2003; Greenberg et al., 2005; Fixsen et al., 2005,

Proctor and Rosen, 2008)Proctor and Rosen, 2008)

o Novija istraživanja ukazuju na potrebu da se studije u kontroliranim uvjetima sustavno pretvore u pozitivne ishode za sudionike programa

ZNANOST PRAKSAKONTEKST I SUSTAV

PODRŠKE KARAKTERISTIKE

PROGRAMA

o Implementacija se odnosi na sadržaj programa i način na koji je program proveden u određenom okruženju (Durlak and Dupre,

2008)

o Karakteristike same intervencije i karakteristike sustava

IMPLEMENTACIJSKA ISTRAŽIVANJA

o Karakteristike same intervencije i karakteristike sustava podrške

o Važno je razlikovati faktore koji utječu na implementaciju (Fixsen et al., 2005, 2009) i pojedinih aspekata implementacije (Durlak and Dupre, 2008)

KAPACITET ORGANIZACIJE KAPACITET ORGANIZACIJE

STAVOVI PREMA

INTERVENCIJIKARAKTERISTIKE PROGRAMAKARAKTERISTIKE PROGRAMA

IMPLEMENTACIJSKI FAKTORI – KAPACITET ZA IMPLEMENTACIJU PROGRAMA

KVALITETA

IMPLEMENTACIJE

DOSLJEDNOST

REAKCIJE KORISNIKA

KVALITETA PROVEDBE

PROGRAMA

INDIKATORI KVALITETE IMPLEMENTACIJE

TRENING I ZNANJE

PODRŠKA PROVODIITELJU

SUSTAV PRAĆENJA

VJEŠTINEPROVODITELJA

STANDARDIZACIJA

PROGRAMA

STAVOVI PREMA INTERVENCIJI

IMPLEMENTACIJE KORISNIKA

BROJ SUSRETA

PROGRAMA

PERCEPCIJA UČINKA

PROGRAMA

Glavni cilj ovog doktorskog istraživanja bila jestudija procesa implementacije i njihovih ishoda u preventivnim programima in Croatia.Croatia.

Razlike u kvaliteti

implementacijemeđu

programima

Razlike u percepciji

implementacijemeđu 3 vrste

izvora

Utjecaj Treninga na kvalitetu

implementacije

UZORAK: 24 programa promocije mentalnog zdravlja i prevencije

VODITELJI PROVODITELJI

IMPLEMENTACIJSKI FAKTORI Standardizacija

Vještine provoditelja

Stavovi

Trening

Podrška

Standardizacija

Stavovi

Trening

PodrškaPodrška

Praćenje

Podrška

Praćenje

PROVODITELJI SUDIONICI

INDIKATORI KVALITETE

IMPLEMENTACIJE

Dosljednost

Kvaliteta provedbe

Reakcije korisnika

Percepcija učinka programa

Doza

Kvaliteta provedbe

Reakcije korisnika

Percepcija učinka programa

Lipanj 2010 - Prosinac 2010 – Siječanj 2011 Veljača 2011 - Veljača 2011 -

Siječanj 2011 Siječanj 2011 Ožujak 2011 Prosinac 2011

3 procjenjivača

nezavisno procjenjivala24 projektne

prijave

Podjela 24 programa :

eksperimentalna (N=12) i kontrolna skupina Prva

Fokus groupe

Generiranječestica za

upitnik

Implementacija 24 programa22 VODITELJA PROGRAMA

55 PROVODITELJA

EXPERIMENT.

Trening za

19 VODITELJA PROGRAMA

50 PROVODITELJA

PROGRAMA

434 SUDIONIKA

prijave skupina (N=12)

Prvaprocjenakvalitete

implementacije

Post-procjenakvalitete

implementacije

STUDIJA UTJECAJA TRENINGA ZA PREVENCIJU

PROVODITELJA PROGRAMA

744 SUDIONIKA

Trening za prevenciju

za eksperimentalne

uvjete

STUDIJA KVALITETE IMPLEMENTACIJE

REZULTATI

2

2,5

3

3,5

4

na

imp

lem

enta

cijs

kih

fakt

ora standardizacijaM

standardizacijaP

vještine provoditelja M

stavoviM

stavoviP

treningMIskazi o implementacijskim faktorima za sva 24

0

0,5

1

1,5

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24

Raz

ina

imp

lem

enta

cijs

kih

Programi

treningM

treningP

podrškaM

podrškaP

praćenjeM

praćenjeP

r >.50

Iskazi o implementacijskim faktorima za sva 24 programa pokazuju da je percepcija voditelja organizacija i provoditelja programa uglavnom slična

VODITELJI: Najniže ocjene za standardizaciju, trening i praćenjePROVODITELJI: Najniže ocjene za standardizaciju i trening

2

2,5

3

3,5

4

nd

ikat

ori

kva

lite

te im

ple

me

nta

cije

DOSLJEDNOST p

KVALITETA PROVEDBE p

KVALITETA PROVEDBE sud

REAKCIJE p

Indikatori kvalitete implementacije su vrlo visoki – svi rezultati su iznad vrijednosti 3

0

0,5

1

1,5

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24

Ind

ikat

ori

kva

lite

te im

ple

me

nta

cije

Programi

REAKCIJE p

REAKCIJE sud

PROGUČINAK p

PROGUČINAK sud

r =.31 - .48

rezultati su iznad vrijednosti 3

Ukupno grupni rezultati pokazuju da provoditelji programa daju slične iako malo više ocjene kao sudionici programa

FAKTORI KOJI PREDVIĐAJU KI

SUDIONICIPROVODITELJI

SUDIONICI

Iskaz voditelja o implementacijskim faktorima

Iskaz provoditelja o implementacijskim faktorima

SUDIONICI

Iskazi voditelja o stavovima o programu povezani su s iskazima sudionika o čestini pohađanja radionica

• Iskazi voditelja o podršcikoju daju povezani su sa reakcijama sudionika na program i provoditelja

Voditelji koji izvještavaju o većim vještinama provoditelja programa i osiguravaju više podrške imaju provoditelje programa koji program provode s više dosljednosti

SUDIONICI

Iskaz provoditelja o stavovima prema programu povezani su sa čestinom dolaska kod sudionika programa i redovitošću

Učinci Treninga za prevenciju na implementacijske faktore iz perspektive

voditeljaPOSLIJE TRENINGA UČINAK TRENINGA

KONT EXP BETA

(SE)

P VELIČINA EFEKTA

Standardizacija

M

SD

2,89

0,43

2,05

0,81-0.84

(0.28)

<.001** -1.35

Vještine provoditelja

M

SD

3,61

0,47

3,76

0,39

0.15

(0.18)

0.42 0.35

Stavovi

Voditelji iz eksperimentalnih uvjeta daju kritičnije odgovore nego voditelji iz kontrolnih uvjeta = PROMJENA KRITERIJA

Stavovi

M

SD

2,97

0,37

2,74

0,46

-0.23

(0.18)

0.21 -0.55

Trening

M

SD

2,95

0,72

2,39

0,50

-0.56

(0.27)

.05* -0.92

Podrška

M

SD

3,47

0,63

3,25

0,40

-0.21

(0.22)

.36 -0.42

Praćenje

M

SD

3,14

0,70

2,35

0,29-0.79

(0.22)

.01** -1.59

N 11 11

Učinci Treninga za prevenciju na implementacijske faktore iz perspektive

provoditelja

POSLIJE INTERVENCIJE UČINAK INTERVENCIJE

KONT INT BETA

(SE)

P VELIČINA EFEKTA

Standardizacija

M

SD

3,10

0,54

2,85

0,59

-0.34

(0.23)

0.15 -0.43

Stavovi

M 3,04 2,83 -0.13 0.31 -0.59

Provoditelji iz eksperimentalnih uvjeta daju kritičnije odgovore nego provoditelji iz kontrolnih uvjeta = PROMJENA KRITERIJA

M

SD

3,04

0,41

2,83

0,29

-0.13

(0.13)

0.31 -0.59

Trening

M

SD

3,07

0,66

2,85

0,59

-0.22

(0.17)

0.21 -0.36

Podrška

M

SD

3,44

0,47

3,49

0,69

0.07

(0.25)

0.77 0.09

Praćenje

M

SD

2,97

0,57

2,80

0,60

-0.38

(0.25)

0.14 -0.29

N 33 22

Učinci Treninga za prevenciju na indikatore kvalitete implementacije iz

perspektive provoditelja

POSLIJE INTERVENCIJE UČINAK INTERVENCIJE

KONT EXP BETA

(SE)

P VELIČINA EFEKTA

Dosljednost

M

SD

3,29

0,37

3,22

0,36

-0.02

(0.13)

0.85 -0.19

Kvaliteta provedbe

Zadnje mjerenje je pokazalo da provoditelji programa iz eksperimentalne grupe ne izvještavaju o poboljšanim indikatorima kvalitete implementacije u usporedbi s

kontrolnom skupinom

Kvaliteta provedbe

M

SD

3,55

0,40

3,49

0,36

-0.03

(0.14)

0.82 -0.16

Reakcije sudionika

M

SD

3,36

0,41

3,49

0,36

0.12

(0.15)

0.45 0.34

Percepcija učinka programa

M

SD

3,34

0,48

3,25

0,48

0.02

(0.19)

0.93 -0.19

N 33 22

Učinci Treninga za prevenciju na indikatore kvalitete implementacije iz

perspektive sudionika programa

POSLIJE INTERVENCIJE UČINAK INTERVENCIJE

KONT EXP BETA P VELIČINA EFEKTA

Kvaliteta provedbe

M

SD

3,43

0,52

3,64

0,340.17

(0.07)

.02* 0.49

Zadnje mjerenje je pokazalo da sudionici programa iz eksperimentalne grupe izvještavaju o poboljšanju kvalitete implementacije: kvaliteta provedbe i reakcije sudionika

SD 0,52 0,34 (0.07)

Reakcije sudionika

M

SD

3,09

0,67

3,50

0,41

0.26

(0.12)

.04* 0.76

Percepcija učinka programa

M

SD

2,94

0,74

3,23

0,620.19

(0.12)

.14 0.43

N 391 353

Analize su pokazale da je Trening za prevenciju učinkovitiji za KRAĆE PROGRAME

0,49

0,32

0,2

0,4

0,6

Reakcije sudionika

Experimental

Analize su pokazale da je Trening za prevenciju učinkovitiji za KRAĆE PROGRAME GDJE VODITELJI NISU AKTIVNI

-0,15

-0,32-0,4

-0,2

0

Active Not Active

Control

PRAKTIČNE PREPORUKE

Ulaganje u implementacijske faktore

KAPACITET ORGANIZACIJE KAPACITET ORGANIZACIJE

STAVOVI PREMA INTERVENCIJI KARAKTERISTIKE PROGRAMAKARAKTERISTIKE PROGRAMA

TRENING I ZNANJE

PODRŠKA PROVODIITELJU

SUSTAV PRAĆENJA

VJEŠTINE PROVODITELJA

STANDARDIZACIJA PROGRAMA

STAVOVI PREMA INTERVENCIJI

o Županijski Odjel za zdravstvo i socijalnu skrb te ostale jedinice lokalne samouprave moraju uložiti i u znanje evaluatora koji procjenjuju pisane prijedloge projekata

o I lokalna uprava i organizacije u praksi trebale bi više ulagati u trening o I lokalna uprava i organizacije u praksi trebale bi više ulagati u trening provoditelja, edukacije unutar samih organizacija i dodatno stručno usavršavanje u skladu sa recentnim znanjima i vještinama nužnima za provedbu programa

o Odjel za zdravstvo i socijalnu skrb IŽ može

− Zaposliti stručnjaka specijaliziranog za promociju mentalnog zdravlja i prevenciju kako konzultanta

− Preporučiti praktičarima da redovito koriste novokonstruirane − Preporučiti praktičarima da redovito koriste novokonstruirane upitnike za praćenje implementacije

− Kontrolirati koliko su voditelji organizacija aktivno uključeni jer je njihovo aktivno sudjelovanje u provedbi prediktor kvalitete

− Propisati minimalan broj radionica/susreta koji program mora imati

− Propisati način rada organizacija s kojima će surađivati/koje će financirati

HVALA NA PAŽNJI