Embed Size (px)
Citation preview
www.ars.toscana.it
?Caterina Silvestri e Nadia Olimpi
Osservatorio di [email protected]
I modelli di progettazione per la realizzazione di interventi efficaci
Corso di formazione"I modelli di progettazione e la Evidence Based Preve ntion:
strumenti per la realizzazione di interventi effica ci“Firenze, 14/15 Ottobre 2015 – Pisa 28/29 Ottobre 201 5 – Siena 12/13 Novembre 2015
www.ars.toscana.it
PerchPerch éé i progetti i progetti non non
funzionano?funzionano?
www.ars.toscana.it
Cause di fallimento dei Progetti
• Obiettivi non chiaramente definiti, non misurabili o irrealistici• Interventi inefficaci • Risorse inadeguate• Mancanza di un sistema informativo per la gestione e il
controllo• Sequenza e gerarchia delle attività non disegnate in modo
adeguato• Mancata assegnazione di compiti e responsabilità
www.ars.toscana.it
Cause di fallimento dei Progetti
• Progetti non decisi o non condivisi dal management aziendale
• Mancanza di un comitato promotore• Team di progetto in cui mancano competenze
necessarie (sottovalutate)• Mancata individuazione (cattiva scelta) della
responsabilità del progetto (manager del progetto)
Come ovviare a queste problematiche?
www.ars.toscana.it
… con una buona progettazione
I modelli maggiormente utilizzati in Toscana:�il modello di pianificazione di Green/Kreuter
�il Project Cycle Management (PCM)
www.ars.toscana.it
Il modello Precede-Proceed (Green LW e Kreuter MW)
Il modello è stato elaborato nel 1991 da Lawrence W Green e Marshall W Kreuter, in collaborazione con il Public HealthService e il Center for Disease control and Prevention (CDC) statunitense.
Si fonda su due assunti:
• la salute è un processo multidimensionale e multipli sono i fattori di rischio;
• multidimensionale e multidisciplinare deve essere l’approccio per promuovere la salute.
www.ars.toscana.it
Il modello Precede-Proceed (Green LW e Kreuter MW)
• Il modello è stato applicato e studiato in oltre 960 studi pubblicati (e in migliaia di progetti non pubblicati) aventi come setting di intervento la comunità, la scuola e l’ambiente di lavoro.
• Unisce pianificazione e valutazione in sequenza logica
www.ars.toscana.it
Il modello Precede-Proceed (Green LW e Kreuter MW)
La peculiarità del modello:
� identificare i molteplici fattori che influenzano le condizioni di salute
� individuare gli specifici obiettivi dell’intervento.
www.ars.toscana.it
Il modello Precede-Proceed (Green LW e Kreuter MW)
Precede : è finalizzato alla raccolta di informazioni ed ha, come obiettivo ultimo, quello di individuare e descrivere i determinanti predisponenti, abilitanti e rinforzanti dei comportamenti a rischio e arrivare a stabilire le priorità e gli obiettivi del programma.
Proceed : questo percorso è finalizzato alla progettazione, realizzazione e valutazione degli interventi indicati dalla letteratura e sostenibili dal gruppo di progetto.
Il modello coniuga due percorsi tra loro complement ari:
www.ars.toscana.it
Il modello Precede-Proceed (Green LW e Kreuter MW)
Precede ha 5 fasi:
• Fase 1: Diagnosi sociale
• Fase 2: Diagnosi epidemiologica
• Fase 3: Diagnosi dei comportamenti e dell’ambiente
• Fase 4: Diagnosi educativa e organizzativa
• Fase 5: Diagnosi amministrativa e politica
www.ars.toscana.it
Il modello Precede-Proceed (Green LW e Kreuter MW)
Proceed ha 4 fasi:
• Fase 6: Implementazione dell’intervento
• Fase 7: Valutazione di processo
• Fase 8: Valutazione di impatto su comportamenti e ambiente
• Fase 9: Valutazione di risultato
www.ars.toscana.it
Il modello Precede-Proceed (Green LW e Kreuter MW)
www.ars.toscana.it
Il modello Precede-Proceed (Green LW e Kreuter MW)
Cominciare dalla fine…
Il modello chiede al pianificatore di focalizzare da subito la sua attenzione sull’output desiderato, interrogandosi sul perchéricercare quel risultato, prima ancora di chiedersi come raggiungerlo.
Prevede di procedere iniziando dal risultato desiderato ed avanzando verso le sue possibili cause, prima di passare alla progettazione dell’intervento e alla sua valutazione.
Il modello può essere letto iniziando dal lato destro…→
www.ars.toscana.it
Vengono definiti i problemi e le priorità socialiche la comunità ritiene abbiano un impatto sulla qualità della vita. Alcuni degli indicatori possono essere, ad esempio, la disoccupazione e la criminalità.
www.ars.toscana.it
Identifica specifici obiettivi o problemi che minacciano la salute che possono contribuire agli obiettivi e i problemi sociali della fase 1. Utilizzando fonti di dati già disponibili o informazioni ad hoc il pianificatore mette in ordine i principali problemi di salute. Vengono definiti obiettivi correlati alla salute misurabili che:- diventano gli standard con i quali sarà valutato il successo del programma;- servono come guida per il resto del processo di pianificazione.
Esempio: Aumento della prevalenza di bambini di età 8-9 anni sovrappeso nel territorio dell’Az. Usl…. nel periodo…
Esempio di obiettivo: ridurre la prevalenza del sovrappeso nei bambini di 8-9 anni nel territorio dell’Az. Usl… entro il….
www.ars.toscana.it
Identifica i comportamenti (stili di vita) e le situazioni ambientali che possono sostenere il problema di salute identificato nella fase precedente.Tali fattori diventano ulteriori obiettivi che guidano la pianificazione successiva e le attività.Esempio: eccessi consumo di bevande zuccherate, scarsa attivitàfisica, etc…
Esempi di obiettivi: diminuire il consumo di bevande zuccherate, aumentare il tempo dedicato alla pratica dell’attività fisica (…)
www.ars.toscana.it
Conoscenze, attitudini, credenze, sentimenti, valori che sostengono o ostacolano la motivazione al cambiamento
Condizioni che facilitano e sostengono la motivazione per la messa in atto di un comportamento. Comprendono capacità, risorse o barriere che aiutano o ostacolano la modifica del comportamenti o delle situazioni ambientali (disponibilità, leggi, abilitàpersonali, ecc.)
Risposte positive o negative che i soggetti ricevono dagli altri in seguito all’adozione di un nuovo comportamento, che lo incoraggiano o meno. Ad esempio, influenza dei pari.
Vengono valutati i determinanti delle dimensioni comportamentali e ambientali. Sono definiti come fattori predisponenti, rinforzanti e abilitanti
Esempi di obiettivi: aumentare le conoscenze sulla corretta alimentazione, aumentare le abilitàpersonali, aumentare il sostegno sociale, diminuire l’offerta di bevande zuccherate
Lo studio dei determinanti
richiede quindi al
pianificatore una
decisione su quelli prioritari
su cui centrare l'intervento
www.ars.toscana.it
Quali componenti e interventi sono necessari per agire sui cambiamenti specificati nelle fasi precedenti?Quale programma ha le possibilità politiche, organizzative e amministrative e le risorse (personale, badget, ecc.) per essere fattibile?
Gli interventi saranno
selezionati
sulla base delle
prove di efficacia disponibili
(EBP)
www.ars.toscana.it
Rappresenta l’atto di convertire gli obiettivi di un programma in azioni.
Il processo di valutazione, pur essendo nelle ultime fasi, ha inizio con la definizione degli obiettivi identificati in corrispondenza delle fasi di diagnosi
www.ars.toscana.it
La valutazione di processo si focalizza su questioni legate all’implementazione del programma. Il suo obiettivo è quello di capire e descrivere come un risultato viene prodotto.
La valutazione di impatto stima gli effetti immediati che il programma (o alcuni aspetti di esso) ha su comportamenti target.La chiarezza, specificità e plausibilità degli obiettivi generati nella fase Precede 3 e 4 fornisce il fondamento per la valutazione di impatto del programma.
La valutazione di outcome ha come oggetti di interesse gli indicatori dello stato di salute e della qualità della vita predisposti nelle prime fasi del processo di pianificazione.
www.ars.toscana.it
www.ars.toscana.it
Valore aggiunto del modello Precede-Proceed
• Valorizza la partecipazione
• Fondato su molteplici discipline: epidemiologia, scienze dell’educazione, scienze del comportamento, sociologia…
• Cerca di aprire la “scatola nera” andando a identificare i determinanti dei comportamenti di salute, scomponendoli nelle varie dimensioni personali (determinanti predisponenti), ambientali (determinanti abilitanti) e relazionali (determinanti rinforzanti)
• Accerta i bisogni e le condizioni della popolazione di riferimento
• Prevede una pianificazione congruente tra bisogni e attività
• È flessibile, adattabile al contesto e anche a temi diversi
• Sottolinea l’importanza di scegliere interventi e di provata efficacia
• Ripercorre, nelle sue fasi, la storia naturale del problema di salute e dei suoi determinanti
www.ars.toscana.it
Il project/Programme Cycle Management (PCM)
www.ars.toscana.it
Il project/Programme Cycle Management (PCM)
E’ un metodo introdotto dalla Commissione Europea nel 1993 come standard di qualità per l’ideazione, la progettazione esecutiva, l’attuazione e la valutazione dei progetti e dei programmi.
Le ragioni che rendono il PCM un metodo utile nella progettazione sono:
- la pertinenza
- la coerenza interna
- la sostenibilità
www.ars.toscana.it
Il project/Programme Cycle Management (PCM)
La pertinenza : fa sì che le decisioni che precedono l’intervento siano basate su problemi reali espressi dai destinatari dell’intervento stesso.
La coerenza interna : verifica la consistenza dei legami logici tra i diversi elementi del progetto (attività, risultati, obiettivi).
La sostenibilità : una proposta progettuale può essere valutata a fronte di numerosi aspetti (sostegno politico, uso di tecnologieappropriate, tutela dell’ambiente, differenze culturali, sociali e di genere, etc.).
Caratteristiche:
www.ars.toscana.it
Il Ciclo del Progetto
La sequenza delle fasi di preparazione e realizzazio ne dei progetti èstata definita il Ciclo del Progetto.
www.ars.toscana.it
� Analisi di contesto
� Albero dei problemi
� Albero degli obiettivi
� Modello logico
� Quadro logico
� Impianto valutativo
L’intero processo si suddivide in:
www.ars.toscana.it
Identificare tutti gli aspetti di quel contesto che hanno una qualche relazione con il problema/aspetto di salute per il quale prevediamo di mettere in atto un intervento o un progetto.
Cosa intendiamo per analisi di contesto?
www.ars.toscana.it
Come fare una buona Analisi di contesto?
�Non esiste uno standard di analisi di contesto �varia al variare dei problemi/aspetti di salute che vogliamo “descrivere” attraverso le peculiarità di un determinato contesto.
�Può essere d’aiuto appoggiarsi a un modello esplicativo teorico con una duplice funzione:• facilita la tessitura della “ragnatela” di
elementi che spiegano il come e i perché• prepara la strada alla ricerca di soluzioni
adeguate.
www.ars.toscana.it
L’analisi di contesto prevede:
Ambiente sociale:• Livello socio-economico• Professione svolta• Nuovi stili di vita
Ambiente fisico:• Luoghi di lavoro • Area geografica• Scuola Base genetica: /
Risposta individuale:• Età• Genere
Malattia o fattore di rischio:• Malattie cronico degenerative• Infortunistica stradale …..
Assistenza sanitaria:• MMG• Ospedali• Riabilitazione• Ambulatori specialistici
Prosperità:• Esiti invalidanti che pregiudicano la capacità lavorativa e riducono potere di acquisto• Accesso a cure specialistiche ad alto costo
Benessere:
Fisico e mentale
Salute e capacità:Attività svolte….….
Evans R G, 1990, modificato
www.ars.toscana.it
� Analisi di contesto
� Albero dei problemi
� Albero degli obiettivi
� Modello logico
� Quadro logico
� Impianto valutativo
L’altra fase del processo è:
www.ars.toscana.it
L’analisi delle problematiche consiste nell’identificare gli aspetti negativi di unasituazione esistente e le relazioni “causa-effetto” tra le differenti problematiche.Il lavoro si svolge in tre fasi:1. Identificazione degli attori coinvolti dal progetto proposto.2. Identificazione dei principali problemi di fronte ai quali si trovano i gruppi beneficiari.3. Sviluppo di un ‘Albero dei Problemi’ che stabilisca i rapporti di causa ed effetto tra i
problemi identificati.
Analisi delle problematiche: Prevalenza elevata di bambini 8-9 anni in sovrappeso
Prevalenza elevata di bambini 8-9 anni in sovrappeso
Elevati consumo di alimenti ipercalorici
Eccessiva disponibilità di
alimenti ipercalorici
Scarsa conoscenza dei genitori sulla
corretta alimentazione
Bassa prevalenza di bambini che svolgono
attività fisica
Pressioni economiche
Scarsa disponibilità di eventi formativi rivolti ai genitori
Basso investimento da parte delle autorità
competenti
Scarsa disponibilità di aree dedicate
Eccessivo costo dei
corsi sportivi
Scarsa conoscenza da parte dei genitori sui problemi legati alla sedentarietà
Effetti
CauseEccessiva privatizzazione delle strutture sportive
www.ars.toscana.it
� Analisi di contesto
� Albero dei problemi
� Albero degli obiettivi
� Modello logico
� Quadro logico
� Impianto valutativo
L’altra fase del processo è:
www.ars.toscana.it
Analisi degli obiettivi
L’Analisi degli Obiettivi presenta gli aspetti positivi della situazione desiderata per il futuro e implica la riformulazione delle problematiche in obiettivi raggiungibili.
L’Albero degli Obiettivi può essere pensato come lo specchio positivo
dell’Albero dei Problemi, dove al rapporto di ‘ causa-effetto ’ tra i problemi si
sostituisce quello di ‘ mezzi per ottenere lo scopo ’.
Problemi Obiettivi
Prevalenza elevata dibambini 8-9 anni in sovrappeso
Elevati consumi di alimentiipercalorici
Bassa prevalenza di bambini Che svolgono attività fisica
Ridurre la prevalenza di bambini di 8-9 anni sovrappeso
Ridurre il consumo di alimenti ipercalorici
Aumentare la prevalenza di bambini che svolgono attività fisica
www.ars.toscana.it
Come si costruisce un obiettivo?
Caratteristiche:
� definito chiaramente in termini di benefici per il gruppo o la persona destinataria
� realisticamente raggiungibile
� logico e misurabile
� pertinente
www.ars.toscana.it
Gli Obiettivi si dividono in:
• Obiettivo Generale (OG) del programma che descrive l’importanza per la società in generale dei benefici delle azioni del progetto. L’OG non saràraggiunto dal solo e singolo progetto in questione ma richiederà l’impatto di altri programmi e progetti.
• Obiettivi Specifici (OS) riguarda il problema focale da risolvere nell’ambito del singolo progetto, e si definisce in termini di benefici che il gruppo destinatario deve ricevere dal progetto.
www.ars.toscana.it
Scopi
Mezzi
Albero degli obiettivi
Problema: Elevati prevalenza di bambini di 8-9 anni sovrappes o
Obiettivo: Ridurre la prevalenza di bambini 8-9 anni sovrappes o
Ridurre la prevalenza di bambini 8-9 anni in sovrappeso
Ridurre il consumo di alimenti ipercalorici
Ridurre la disponibilità di
alimenti ipercalorici
Aumentare la conoscenza dei
genitori sulla corretta
alimentazione
Aumentare la prevalenza di bambini che svolgono attività
fisica
Ridurre la pressioni
economiche Aumentare la disponibilità di eventi formativi rivolti ai genitori
Aumentare gli investimenti da parte delle autorità
competenti
Aumentare la disponibilità di aree dedicate
Ridurre il costo dei
corsi sportivi
Aumentare conoscenza dei
genitori sui problemi legati alla
sedentarietà
Aumentare le strutture sportive pubbliche
www.ars.toscana.it
Analisi della Strategia d’Intervento: su cosa lavoriamo?
L’Analisi delle Strategie serve a decidere quali ob iettivi saranno inclusi NEL progetto e quali ne resteranno FUORI, quale sarà l’Obiettivo Specifico del progetto e qu ali ne saranno gli Obiettivi Generali.Secondo l’ampiezza degli scopi di un programma e della mole di lavoro da intraprendere, l’Analisi delle Strategie permetterà di definire il tipo di progetto che potrà essere specifico ad un programma complesso costituito da un grosso numero di progetti.
AlimentazioneAttività fisicaRidurre la prevalenza di bambini 8-9
anni in sovrappeso
Ridurre il consumo di alimenti ipercalorici
Ridurre la disponibilità di
alimenti ipercalorici
Aumentare la conoscenza dei
genitori sulla corretta
alimentazione
Aumentare la prevalenza di bambini che svolgono attività
fisica
Ridurre la pressioni
economiche Aumentare la disponibilità di eventi formativi rivolti ai genitori
Aumentare gli investimenti da parte delle autorità
competenti
Aumentare la disponibilità di aree dedicate
Ridurre il costo dei
corsi sportivi
Aumentare conoscenza dei
genitori sui problemi legati alla
sedentarietà
Aumentare le strutture sportive pubbliche
www.ars.toscana.it
� Analisi di contesto
� Albero dei problemi
� Albero degli obiettivi
� Modello logico
� Quadro logico
� Impianto valutativo
L’altra fase del processo è:
www.ars.toscana.it
Il modello logicoIl modello logico
� Verifica la logica dei benefici per la popolazione target
� Strumento per la ricerca della evidence a favore degli interventi proposti nel progetto
� Strumento di comunicazione con i gruppi d’intervento
� Traccia per il piano di valutazione
A cosa serve?
www.ars.toscana.it
� Idealmente è sintetizzato in una singola pagina e costruito per essere sintetico e chiaro (anche da altri interlocutori)
� Esprime visivamente le convinzioni sul perché il programma avrà successo
� Può essere ricordato facilmente proprio perché visivo� Per illustrare un programma con vari livelli di specificità o
per diversi stakeholders si possono utilizzare famiglie di modelli logici
� E’ un’arte che richiede pratica!
Il modello logico: quali caratteristiche?
www.ars.toscana.it
Un esempio: Modello logico del progettoUn esempio: Modello logico del progetto
Accordi con i dirigenti
Coinvolgimento attivo dei genitori da parte dei rappresentanti di classe
Partecipazione attiva dei genitori
Incontri formativi agli insegnanti
Formazione dei genitori sulla gestionedel tempo alla
Tv e video giochi da partedegli insegnanti
Acquisizione di competenze
discussione in classe
> del tempo trascorso alla Tv e video-giochi
Incentivare discussione in classe
sulla gestione del tempo alla
Tv e video-giochi
< del …. la prevalenza di bambini 8-9 anni sovrappeso
Ridurre la barriere
(sicurezza,
illuminazione, etc.)
Monitoraggio dei comportamenti adottati
Formazione degliinsegnantiindividuati
Consapevolezza della problematica
Incontri di sensibilizzazione
Modifica degli spazi
Valutazione delle possibili soluzioni
Individuazione degli spazi fruibili dai bambini
Genitori di bambini di 8-9 anni residenti
nell’Az. Usl
Dirigenti scolastici delle scuole primarie
dell’Az. Usl
Responsabili Servizi ambiente/viabilità
Responsabili Associazioni
sportive< il costo della
quota associativa
Accordi con i dirigenti
Disseminareinformazione
> Aumento dell’iscrizione
www.ars.toscana.it
� Analisi di contesto
� Albero dei problemi
� Albero degli obiettivi
� Modello logico
� Quadro logico
� Impianto valutativo
L’altra fase del processo è:
www.ars.toscana.it
E’ uno degli strumenti fondamentali del PCM, permette di avere un quadro completo ed esaustivo del progetto attraverso una matrice a doppia entrata dove figurano le parti salienti del progetto. È un approccio che utilizza la tecnica del problem solving con la partecipazione di tutte le persone interessate al progetto.
Dopo l’ideazione, il QL permette di verificare la coerenza dell’ideazione, facilita il monitoraggio e la valutazione.
Il quadro logico: cos’è?
www.ars.toscana.it
Template di quadro logico di progetto
Finalitàprogetto
Logica dell’intervento
Indicatori verificabili
obiettivamente
Fonti di verifica
Rischi e assunzioni
Obiettivo generale
Obiettivo specifico
Risultati attesi
Attività Mezzi Costi
Il Quadro Logico consiste in una tabella, o matrice , composta da quattro colonne e quattro righe. Nelle colonne s’individua ciò che il progetto intende far e, si chiariscono i rapporti causali e si specificano le condizioni e le incerte zze del progetto (Logica d’Intervento, Indicatori Oggettivamente Verificabili, Fonti di Ve rifica, Condizioni). Nelle righe ci si riferisce alla misurazione degli effett i del progetto definiti con indicatori-chiave e mezzi di verifica, e alle risor se utilizzate (Obiettivi Generali, Obiettivo Specifico, Risultati ed Attività).
www.ars.toscana.it
1. Formativa o selettiva
2. Migliora la qualità dei progetti
3. Funziona se il testo del progetto è correttamente
formulato
4. Deve essere proporzionata al progetto
La valutazione ex-ante
www.ars.toscana.it
Pertinenza eccellente buono sufficiente insufficiente non realizza to non applicabilelettura dei problemi generalilettura dei problemi di contestolettura dei problemi di progetto (AP)identificare e definire i problemi in numero e dettaglioadeguata identificazione dei gruppi di interesseadeguata strategia di coinvolgimento dei gruppi di interessevalidità dell'identificazione degli obiettivi sui problemi
Logica di progettoObiettivi ben definiti e armonicamente organizzati nella logica verticaleBenefici del target chiaramente identificatiObiettivi intermedi si configurano come servizi (deliverable)Il quadro logico è solido anche orizzontalmenteGli indicatori sono corretti e sufficientiIl modello logico ben costruito sul criterio 1: popolazione beneficiariaIl modello logico ben costruito sul criterio 2 : per ricerca evidenceAdeguata scelta fra diverse strategie
Il piano di valutazioneE' basato su metodi quantitativi e qualitativiGli indicatori sono validi per la valutazione di processo e di outcomeTempi e modi della valutazione sono ben stabiliti
La temporizzazione, compiti e responsabilitàL'analisi delle attività è ben realizzata (WBS)Le responsabilità delle attività sono ben distribuiteLe attività sono ragionevolmente distribuite lungo l'arco del progetto
La sostenibilitàPolitico-amministrativaCoerenza con il contestoPromozione della leadershipUso delle tecnologie appropriatePrevisione di impatto ambientaleAccettabilità culturale dell'intervento da parte degli operatori del progettoAccettabilità culturale dell'intervento da parte degli beneficiariCapacità manageriale delle strutture del post-progettoPrevisione del costo-efficacia delle attivitàStime sulla equità e accessibilità dell'intero target ai benefici del progettoTrasferibilità dei risultati (o dei metodi) in altri contesti simili
Schema per la valutazione ex -ante
www.ars.toscana.it
Punti di forza
� Il Quadro logico permette di avere un quadro completo ed esaustivo del progetto attraverso una matrice a doppia entrata dove sono presenti le parti fondamentali del progetto.
� Utilizza la tecnica del problem solving con la partecipazione di tutte le persone interessate la progetto.
� Rappresenta un sistema semplice e schematico per verif icare la coerenza interna e la relazione esistente tra le varie componenti in cui un progetto si struttura.
www.ars.toscana.it
Il concetto di valutazione
Aspetto intrinseco al concetto di crescita di ogni individuo: dalla nascita e per tutto il corso della vita, vediamo come lo sviluppo di funzioni di valutazione (di sé, dell’altro, di sé in rapporto all’altro, della realtà circostante, della presenza, consistenza e risolvibilità di problemi) sia fondamentale al continuo processo di adattamento attivo/interattivo che avviene tra la persona e il suo ambiente.
Lettura epistemologica
La valutazione, rappresentando un’attività attraverso la quale le persone (singoli o gruppi; comunità o istituzioni) esprimono un giudizio riguardo a un fatto rilevante e significativo per l’intero sistema, deve essere strettamente collegata alle procedure e ai metodi utilizzati affinché il giudizio risulti condizionato il meno possibile da aspetti individualistici raggiungendo un’elevata attendibilità.
Modello riguardante lo sviluppo dei sistemi
www.ars.toscana.it
Quindi …. valutiamo tutte le volte che giudichiamo azioni intenzionali fondate su dati empirici.
Questo ci porta ad affrontare tre tipologie di quesiti:
descrittivi : relativi non solo agli input e output dell’intervento, ma anche ai suoi risultati;
normativi , quando valutiamo se il progetto in questione sta operando in accordo con gli standard previsti o decisi in fase iniziale;
causali , e cioè quando ci chiediamo se il progetto ha raggiunto gli obiettivi che si era prefissato o quali sono le motivazioni che hanno prodotto uno scostamento.
Il concetto di valutazione
www.ars.toscana.it
ex post , durante la quale si rilevano i risultati del progetto attuando un confronto analitico e critico con quanto previsto in fase di progettazione e riprogettazione.
Il concetto di valutazione
…. come conseguenza, la valutazione si occuperà della fase:
ex-ante , che si concentra sulla verifica di coerenza del progetto rispetto alle condizioni contestuali che possono garantire il raggiungimento degli obiettivi specifici che porteranno al conseguimento dell’obiettivo generale;
in itinere , che rappresenta la fase di monitoraggio vera e propria e prevede il controllo delle strategie di attuazione e delle azioni sviluppate durante le diverse fasi del progetto (fase durante la quale è possibile apportare opportune modifiche e interventi correttivi);
www.ars.toscana.it
La valutazione: Cosa sono gli indicatori e a cosa s ervono
� … informazioni cruciali e selezionate che aiutano a misurare cambiamenti in relazione a bisogni prioritari… (OMS, 1981).
� … rappresentano informazioni selezionate allo scopo di misurare icambiamenti che si verificano nei fenomeni osservati e, conseguentemente, per orientare i processi decisionali (Decreto Ministeriale Ministero della Sanità - 24 luglio 1995).
� Variabili quantitative o parametri qualitativi che registrano un certo fenomeno, ritenuto appunto “indicativo” di un fattore di qualità (Ministero della sanità, 1996).
� Informazioni selezionate allo scopo di conoscere fenomeni d’interesse, misurandone i cambiamenti e, conseguentemente, contribuendo ad orientare i processi decisionali dei diversi livelli istituzionali (Ministro della Salute, 2002).
Tratto da: Indicatori in Sanità di Sergio Buffa, 2004.
www.ars.toscana.it
Requisiti principali
Un buon indicatore deve possedere le seguenti caratteristiche:
1. Costruibilità = possibilità di generarlo a basso costo con dati già disponibili
2. Affidabilità = capacità di rilevare le variazioni del fenomeno
3. Comprensibilità = per gli operatori e nei confronti degli operatori
4. Assenza di ambiguità
www.ars.toscana.it
Tipologia di indicatori
Gli indicatori possono essere:
� di diversa natura: quantitativi, di efficacia, di efficienza, finanziari, di performance, di innovazione, di servizio, etc.
� di diverso ambito: indicatori di input, di processo, di output, indicatori di risultato, di impatto sull’organizzazione, etc.
� quantitativi, qualitativi, un mix tra i due
� di diverso orizzonte temporale: a breve, medio e lungo termine
www.ars.toscana.it
Indicatori di processo
Misurano l’appropriatezza del processo assistenzial e in relazione a standard di riferimento (linee guida, percorsi assistenziali ).
Vantaggi
Misurano direttamente l’appropriatezza degli interventi
Permettono di identificare le appropriatezze (in eccesso e in difetto), suggerendo precocemente le aree di miglioramento del processo
Rispetto agli indicatori di esito sono considerati meno rilevanti da decisori e pazienti e, in parte, anche dai professionisti.
Svantaggi
www.ars.toscana.it
Indicatori di risultatoDocumentano una modifica in termini di esiti: clini ci (mortalità, morbilità), economici (costi diretti e indiretti) e umanistici (qualità di vita, soddisfazione).
VantaggiGli indicatori di esito possono essere misurati utilizzando informazioni già disponibili nei sistemi informativi aziendali o di altra natura.
SvantaggiSono necessarie complesse tecniche statistiche (risk adjustment) per correggere differenze socio-demografiche, variazioni random, effetti di selezione, etc. Richiedono lunghi periodi di osservazione (se l’esito si presenta a notevole distanza di tempo) e/o numeri considerevoli di partecipanti (in base alla frequenza attesa dell’esito).
www.ars.toscana.it
Tipologia di indicatori
Indicatore Numeratore Denominatore
Media Somma delle misure dei risultati di ciascuna osservazione
Numero di osservazioni
� Assume un significato quando è poca la variabilitàdelle osservazioni
� E’ importante mostrare la deviazione standard per fornire informazioni sulla variabilità delle osserva zioni
www.ars.toscana.it
Tipologia di indicatori
Indicatore Numeratore Denominatore
Proporzione Conteggio delle osservazioni con risultato positivo (o negativo)
Numero delle osservazioni
� Il numeratore è contenuto dentro il denominatore
� può assumere valori compresi fra 0 ed 1
� Si può trasformare in % (moltiplicando per 100)
www.ars.toscana.it
Tipologia di indicatori
Indicatore Numeratore Denominatore
Tasso Conteggio delle osservazioni con un determinato attributo
Numero delle osservazioni X periodo temporale
� Una proporzione con l’aggiunta del periodo temporal e
� Il numeratore è contenuto dentro il denominatore
� può assumere valori compresi fra 0 ed 1
� Si può trasformare in % (moltiplicando per 100), in per mille (moltiplicando per 1.000), etc.
www.ars.toscana.it
Tipologia di indicatori
Indicatore Numeratore Denominatore
Rapporto Numero osservazioni con un determinato attributo A
Numero osservazioni con un determinato attributo B
� Si confrontano due osservazioni diverse, correlate solo da un punto di vista logico
� Il numeratore è indipendente dal denominatore e quindi il rapporto può assumere qualunque valore
www.ars.toscana.it
Tipologia di indicatori
Indicatore Numeratore Denominatore
Evento sentinella Misura del risultato negativo
� Anche una sola osservazione è necessaria per misurare un evento in quanto l’atteso è “nessuna osservazione”.
www.ars.toscana.it
In conclusione….
La valutazione, se viene realizzata innescando un p rocesso di scambio e di riflessione, può essere un’occasione di cresci ta motivazionale e professionale
Inoltre è l’unico modo per:
� avere un feed-back, � capire se il lavoro produce cambiamenti o meno,� rendere visibili i risultati,� prevenire il burn-out,� contribuire alla condivisione di conoscenze tra gli operatori.
La collaborazione tra operatori e valutatori è un’oc casione per ripensare e riflettere sui percorsi intrapresi, per ridefinir e gli obiettivi in termini piùrealistici e congruenti con le attività svolte, per interrogarsi e tentare risposte sugli elementi positivi e negativi del pro getto.
www.ars.toscana.it
Grazie per l’attenzione!
Visita il nostro sito www.ars.toscana.ite iscriviti alla Newsletter ARS
Seguici anche su:FaceBook
TwitterYouTube
Flickr
