Metodi e strumenti per la valutazione nella prevenzione Sanità...(e chi valuta) …un quadro un...

Stefano CampostriniUniversità Ca’ Foscari Venezia

stefano.campostrini@unive.it

Metodi e strumenti per la valutazione nella prevenzione

Cesena, 7 giugno 2010

Teoria e metodi: un rapporto forse difficile ma assolutamente necessario

Valutazione come luogo d’incontro tra settori e approcci diversi

Pratiche valutative che sappiano coniugare forte attenzione agli aspetti teorici e sostanziali con la solidità dei metodi utilizzati

Valutare la prevenzione

Risultati, impatto, outcome… ha senso valutarli in attivitàpreventive?

Intervallo temporale tra intervento (valutazione) ed effetti

Alcune domande chiave

Perché valutare

Che cosa valutare

Come valutare

La centralità del metodo

assicura “rigore”

assicura trasparenza

sostanzia il giudizio

Perché valutareDefinizione di valutazione

Molteplicità di soggetti e di obiettivi portano molteplicità di approcci e di metodi di valutazione

Miglioramento Giudizio

Processo Process-improvement Evaluation

Process-assessmentEvaluation

Outcome Outcome improvementEvaluation

Outcome-assessmentEvaluation

(Chen, 1996)

Che cosa valutare(e chi valuta)

…un quadro un po’ più complesso

gestore valutatore regolatore

risorse verifica capacità attivazione

capacità attivazione

processo - audit audit interno audit esterno definizione regole processo - accountability accountability verifica verifica processo - prime risultanze

formative evaluation

summative evaluation

summative evaluation

output formative evaluation

summative evaluation

summative evaluation

outcome formative evaluation

summative evaluation

summative evaluation

risultanze complessive - sorveglianza sorveglianza

valutatore

regolatoregestore

Valutazione formativa Valutazione “summative”

Parliamo di funzioni e non di ruoli

Problemi tipici, approcci, strumentiDefinizione di risultato

Dati -> informazioni: dove e come raccogliere i dati“giusti”

Importanza di integrare con approcci qualitativi

Costruzione di indicatori

Come valutare…

La valutazione dei risultati: una sfida per gestori e regolatori

Definizione di Definizione di outcomeoutcome

Theory-based evaluation

Processo e risultatiProcesso e risultati

IndicatoriIndicatori

Evidenza ed efficaciaEvidenza ed efficacia

“non si può gestire ciò che non si può misurare”

Nessun vento è quello giusto per l’uomo che non sa verso quale porto si sta dirigendo

Definizione di Definizione di outcomeoutcome

(Seneca, I sec A.C.)

(Business Sciences, XX sec D.C.)

Obiettivi del progetto e obiettivi valutativi

Processo e risultatiProcesso e risultati

Valutazione di processo è la strumentazione che indica la rottaMa è anche occasione per una prima riflessione sui risultati (output e outcome)E un’importantissima fonte per la valutazione dei risultati (e una chiave di lettura)

soprattutto nella prevenzione!

Bisogno di efficacia

Meaning good does notmean doing good

Bisogno di evidenza

L’importanza di una evidence-based prevention

La difficoltà di capire (e misurare) l’efficacia di interventi preventivi

Saper interpretare le ombre (Platone, IV sec. A.C.)

Evidenza ed efficaciaEvidenza ed efficacia

Come i prigionieri nella caverna del mito di Platone,

la conoscenza avviene spesso scrutando le

“ombre”…

THEORY-BASED EVALUATIONValutazione collegata alla “teoria” del programma

Definizione della “teoria” Possibili tecniche

Cambiamentocomportamentale

THEORY-BASED EVALUATIONQualche esempio …

Realizzato

Pre Itinere PostIndagine sui genitori nei

centri vaccinali, nelle Regioni della valutazione

Modulo aggiuntivo PASSI, in alcune Regioni aderenti

Indagine sugli operatori coinvolti nella formazione, in alcune nelle Regioni aderenti Analisi dati Auditel

Follow-up telefonico, nelle Regioni della valutazione

Follow-up

Oggetto valutativo

Conoscenze

Conoscenze e impatto formazione

Esposizione al messaggio

Penetrazione del messaggio

Non realizzatoNota: Realizzato

Pre Itinere PostIndagine sui genitori nei

centri vaccinali, nelle Regioni della valutazione

Modulo aggiuntivo PASSI, in alcune Regioni aderenti

Indagine sugli operatori coinvolti nella formazione, in alcune nelle Regioni aderenti Analisi dati Auditel

Follow-up telefonico, nelle Regioni della valutazione

Follow-up

Oggetto valutativo

Conoscenze

Conoscenze e impatto formazione

Esposizione al messaggio

Penetrazione del messaggio

Non realizzatoNota:

formazione

informazione

Aumento conoscenza

risorse ----- processo ----- output ------------------oucome

Dati, informazioni, indicatori

dato = informazione

riduzione di incertezza

Qualche attenzione…

inferenza

significativitsignificativitàà

Test statistici

… ma anche significatività aldilà di quella statistica!

I metodi d’indagine qualitativi

Processi di “creazione” dei dati che hanno una prevalente natura di tipo qualitativo, non numerico Alcuni esempi: interviste in profondità, osservazione, focus group, delphi, …La rilevazione può avvenire sia sui soggetti destinatari dell’intervento formativo che su soggetti terzi ritenuti “esperti” rispetto al problema

EsplorareConoscere

Una prima definizione di espertipersone che, per la loro professione o per il ruolo da loro svolto nel sistema, sono considerate in grado di conoscere gli elementi fondamentali per la definizione della natura e delle caratteristiche del problema “oltre ad essere in possesso di una quantità elevata di informazioni pertinenti, è anche in grado di decodificarne i significati alla luce di un particolare background tecnico-scientifico e di particolari quadri teorici di interpretazione del problema”

L’utilizzo dei metodi di indagine qualitativa

in maniera autonoma, come unica metodologia di analisi per la definizione dei bisogni in maniera complementare, cioè congiuntamente ad un’analisi di tipo quantitativo mantenendo comunque una propria autonomiain maniera strumentale, cioè finalizzandone l’utilizzo alla successiva implementazione di una tecnica di analisi qualitativa

I fattori di scelta della tecnica di analisi

Tempo

Risorse (economiche e umane)

Il livello di approfondimento

I fattori di scelta della tecnica di analisiDifficoltà di preparazione

Difficoltà di interpretazione dei risultati

Utilità ed affidabilità dei risultati

Confrontabilità dei risultati nel tempo

Invasività rispetto al target

…

A riguardo degli indicatori

Indicatori…

Proxy del fenomeno che vogliono misurareProxy del fenomeno che vogliono misurare

caratteristiche• validità• affidabilità• sensibilità

da un concetto astratto ad una misurazione...

-Indice-Sintomo-Segno

Indicatori…Parametri con cui misurare un fenomeno il cui significato va oltre a ciò che è direttamente associabile al parametro

Quantificano e semplificano fenomeni aggregando e analizzando dati (indicatori semplici poi possono essere ulteriormente aggregati in indicatori complessi)

Il loro valore dipende dal contesto

Indicatori…Il loro compito è ridurre l’incertezza insita nei processi decisionali

Ridurre la complessità (accettando in ogni caso livelli di incertezza)

Non possono essere né troppi (non si riduce la complessità + onerosità) né troppo pochi (non si può guidare un 747 guardando solo l’altimetro…)

La circolarità nell’utilizzo degli indicatori

politiche

indicatori

Gli indicatorinecessariamente silegano alle politicheche devono informare

Non esistono “buoni indicatori” assoluti,

fuori da un contesto specifico

Gli indicatori sono strumenti necessari nello sviluppo,gestione/controllo e valutazionedelle politiche

Un buon indicatoredeve essere soprattutto

utile ed utilizzabile

Indicatori…Non si può gestire ciò che non si può misurare

Importanza dell’analisi comparativa (benchmarking)

Il concetto del “good enough” e del trade-off tra precisione, disponibilità e leggibilità

Alcune fondamentali domande prima di scegliere un indicatore

A che cosa serve (il legame con le politiche / obiettivi)Chi lo leggerà e con che modalità (come, quando)Quante risorse abbiamo a disposizione…

Contrasti..

Precisione

Rilevanza

Specificità

Praticabilità

Costi

Semplicità (leggibilità)

Parsimonia

Indicatori, qualche indicazione per la loro costruzione…

Operazionalizzazione del concetto astrattoIndividuazione di elementi misurabiliReperimento dei datiCostruzione dell’indicatore (semplice)Eventuale aggregazione per costruire un indicatore complesso

Indicatori complessi: metodi di costruzione

somme (ponderate)

metodi matematico-statistici

metodi “logici” (alberi, ecc.)

E infine…

La logica dei sistemi informativi

IL SISTEMA INFORMATIVO

una possibile definizione...

Complesso dinamico e coordinato di elementi atto a produrre e scambiare informazioni utili per decidere ed operare, a diverso livello, all’interno di un’organizzazione

???

Are Are wewe makingmakinga a differencedifference??

stefano.campostrini@unive.it

Grazie per l’attenzione!