Embed Size (px)
Citation preview
Stefano CampostriniUniversità Ca’ Foscari Venezia
Metodi e strumenti per la valutazione nella prevenzione
Cesena, 7 giugno 2010
Teoria e metodi: un rapporto forse difficile ma assolutamente necessario
Valutazione come luogo d’incontro tra settori e approcci diversi
Pratiche valutative che sappiano coniugare forte attenzione agli aspetti teorici e sostanziali con la solidità dei metodi utilizzati
Valutare la prevenzione
Risultati, impatto, outcome… ha senso valutarli in attivitàpreventive?
Intervallo temporale tra intervento (valutazione) ed effetti
Alcune domande chiave
Perché valutare
Che cosa valutare
Come valutare
La centralità del metodo
assicura “rigore”
assicura trasparenza
sostanzia il giudizio
Perché valutareDefinizione di valutazione
Molteplicità di soggetti e di obiettivi portano molteplicità di approcci e di metodi di valutazione
Miglioramento Giudizio
Processo Process-improvement Evaluation
Process-assessmentEvaluation
Outcome Outcome improvementEvaluation
Outcome-assessmentEvaluation
(Chen, 1996)
Che cosa valutare(e chi valuta)
…un quadro un po’ più complesso
gestore valutatore regolatore
risorse verifica capacità attivazione
capacità attivazione
processo - audit audit interno audit esterno definizione regole processo - accountability accountability verifica verifica processo - prime risultanze
formative evaluation
summative evaluation
summative evaluation
output formative evaluation
summative evaluation
summative evaluation
outcome formative evaluation
summative evaluation
summative evaluation
risultanze complessive - sorveglianza sorveglianza
valutatore
regolatoregestore
Valutazione formativa Valutazione “summative”
Parliamo di funzioni e non di ruoli
Problemi tipici, approcci, strumentiDefinizione di risultato
Dati -> informazioni: dove e come raccogliere i dati“giusti”
Importanza di integrare con approcci qualitativi
Costruzione di indicatori
Come valutare…
La valutazione dei risultati: una sfida per gestori e regolatori
Definizione di Definizione di outcomeoutcome
Theory-based evaluation
Processo e risultatiProcesso e risultati
IndicatoriIndicatori
Evidenza ed efficaciaEvidenza ed efficacia
“non si può gestire ciò che non si può misurare”
Nessun vento è quello giusto per l’uomo che non sa verso quale porto si sta dirigendo
Definizione di Definizione di outcomeoutcome
(Seneca, I sec A.C.)
(Business Sciences, XX sec D.C.)
Obiettivi del progetto e obiettivi valutativi
Processo e risultatiProcesso e risultati
Valutazione di processo è la strumentazione che indica la rottaMa è anche occasione per una prima riflessione sui risultati (output e outcome)E un’importantissima fonte per la valutazione dei risultati (e una chiave di lettura)
soprattutto nella prevenzione!
Bisogno di efficacia
Meaning good does notmean doing good
Bisogno di evidenza
L’importanza di una evidence-based prevention
La difficoltà di capire (e misurare) l’efficacia di interventi preventivi
Saper interpretare le ombre (Platone, IV sec. A.C.)
Evidenza ed efficaciaEvidenza ed efficacia
Come i prigionieri nella caverna del mito di Platone,
la conoscenza avviene spesso scrutando le
“ombre”…
THEORY-BASED EVALUATIONValutazione collegata alla “teoria” del programma
Definizione della “teoria” Possibili tecniche
Cambiamentocomportamentale
THEORY-BASED EVALUATIONQualche esempio …
Realizzato
Pre Itinere PostIndagine sui genitori nei
centri vaccinali, nelle Regioni della valutazione
Modulo aggiuntivo PASSI, in alcune Regioni aderenti
Indagine sugli operatori coinvolti nella formazione, in alcune nelle Regioni aderenti Analisi dati Auditel
Follow-up telefonico, nelle Regioni della valutazione
Follow-up
Oggetto valutativo
Conoscenze
Conoscenze e impatto formazione
Esposizione al messaggio
Penetrazione del messaggio
Non realizzatoNota: Realizzato
Pre Itinere PostIndagine sui genitori nei
centri vaccinali, nelle Regioni della valutazione
Modulo aggiuntivo PASSI, in alcune Regioni aderenti
Indagine sugli operatori coinvolti nella formazione, in alcune nelle Regioni aderenti Analisi dati Auditel
Follow-up telefonico, nelle Regioni della valutazione
Follow-up
Oggetto valutativo
Conoscenze
Conoscenze e impatto formazione
Esposizione al messaggio
Penetrazione del messaggio
Non realizzatoNota:
formazione
informazione
Aumento conoscenza
risorse ----- processo ----- output ------------------oucome
Dati, informazioni, indicatori
dato = informazione
riduzione di incertezza
Qualche attenzione…
inferenza
significativitsignificativitàà
Test statistici
… ma anche significatività aldilà di quella statistica!
I metodi d’indagine qualitativi
Processi di “creazione” dei dati che hanno una prevalente natura di tipo qualitativo, non numerico Alcuni esempi: interviste in profondità, osservazione, focus group, delphi, …La rilevazione può avvenire sia sui soggetti destinatari dell’intervento formativo che su soggetti terzi ritenuti “esperti” rispetto al problema
EsplorareConoscere
Una prima definizione di espertipersone che, per la loro professione o per il ruolo da loro svolto nel sistema, sono considerate in grado di conoscere gli elementi fondamentali per la definizione della natura e delle caratteristiche del problema “oltre ad essere in possesso di una quantità elevata di informazioni pertinenti, è anche in grado di decodificarne i significati alla luce di un particolare background tecnico-scientifico e di particolari quadri teorici di interpretazione del problema”
L’utilizzo dei metodi di indagine qualitativa
in maniera autonoma, come unica metodologia di analisi per la definizione dei bisogni in maniera complementare, cioè congiuntamente ad un’analisi di tipo quantitativo mantenendo comunque una propria autonomiain maniera strumentale, cioè finalizzandone l’utilizzo alla successiva implementazione di una tecnica di analisi qualitativa
I fattori di scelta della tecnica di analisi
Tempo
Risorse (economiche e umane)
Il livello di approfondimento
I fattori di scelta della tecnica di analisiDifficoltà di preparazione
Difficoltà di interpretazione dei risultati
Utilità ed affidabilità dei risultati
Confrontabilità dei risultati nel tempo
Invasività rispetto al target
…
A riguardo degli indicatori
Indicatori…
Proxy del fenomeno che vogliono misurareProxy del fenomeno che vogliono misurare
caratteristiche• validità• affidabilità• sensibilità
da un concetto astratto ad una misurazione...
-Indice-Sintomo-Segno
Indicatori…Parametri con cui misurare un fenomeno il cui significato va oltre a ciò che è direttamente associabile al parametro
Quantificano e semplificano fenomeni aggregando e analizzando dati (indicatori semplici poi possono essere ulteriormente aggregati in indicatori complessi)
Il loro valore dipende dal contesto
Indicatori…Il loro compito è ridurre l’incertezza insita nei processi decisionali
Ridurre la complessità (accettando in ogni caso livelli di incertezza)
Non possono essere né troppi (non si riduce la complessità + onerosità) né troppo pochi (non si può guidare un 747 guardando solo l’altimetro…)
La circolarità nell’utilizzo degli indicatori
politiche
indicatori
Gli indicatorinecessariamente silegano alle politicheche devono informare
Non esistono “buoni indicatori” assoluti,
fuori da un contesto specifico
Gli indicatori sono strumenti necessari nello sviluppo,gestione/controllo e valutazionedelle politiche
Un buon indicatoredeve essere soprattutto
utile ed utilizzabile
Indicatori…Non si può gestire ciò che non si può misurare
Importanza dell’analisi comparativa (benchmarking)
Il concetto del “good enough” e del trade-off tra precisione, disponibilità e leggibilità
Alcune fondamentali domande prima di scegliere un indicatore
A che cosa serve (il legame con le politiche / obiettivi)Chi lo leggerà e con che modalità (come, quando)Quante risorse abbiamo a disposizione…
Contrasti..
Precisione
Rilevanza
Specificità
Praticabilità
Costi
Semplicità (leggibilità)
Parsimonia
Indicatori, qualche indicazione per la loro costruzione…
Operazionalizzazione del concetto astrattoIndividuazione di elementi misurabiliReperimento dei datiCostruzione dell’indicatore (semplice)Eventuale aggregazione per costruire un indicatore complesso
Indicatori complessi: metodi di costruzione
somme (ponderate)
metodi matematico-statistici
metodi “logici” (alberi, ecc.)
E infine…
La logica dei sistemi informativi
IL SISTEMA INFORMATIVO
una possibile definizione...
Complesso dinamico e coordinato di elementi atto a produrre e scambiare informazioni utili per decidere ed operare, a diverso livello, all’interno di un’organizzazione
???
Are Are wewe makingmakinga a differencedifference??
