“Criteri di valutazione degli indicatori utilizzati dal ... · Gioacchino De Sandoli 21 Gli indicatori in sanità pubblica veterinaria e in sicurezza alimentare D.M. 24 luglio 1995

Ministero della SaluteMinistero della SaluteMinistero della SaluteMinistero della Salute

“Criteri di valutazione degli indicatori

utilizzati dal soggetto auditato. Strumenti di

valutazione e analisi degli indicatori”

DIPARTIMENTO DELLA SANITA’ PUBBLICA VETERINARIA, DELLA SICUREZZA ALIMENTAREE DEGLI ORGANI COLLEGIALI PER LA TUTELA DELLA SALUTE

DIREZIONE GENERALE DELLA SANITA’ ANIMALE E DEI FARMACI VETERINARI

P.I.F.di VENEZIA – UFFICIO IX AUDIT

Corso di Formazione“Criteri per il funzionamento e miglioramento dell’attività di controllo ufficiale da parte delle Autorità Competenti in materia di sicurezza

degli alimenti e sanità pubblica veterinaria e correlati sistemi di AUDIT. Elementi da verificare nel corso degli audit svolti, ai sensi dell’art 4(6) del Reg. 882/2004/CE, nell’ambito dei sistemi regionali di prevenzione

in sanità veterinaria e sicurezza degli alimenti”

Dr. Gioacchino De Sandoli – auditor di sistemaTorino, 18 aprile 2014

Gioacchino De Sandoli 2

INDICE

� Cos’è un indicatore� Come dovrebbe essere un indicatore� Perché costruirsi un set di indicatori� Esistono indicatori in veterinaria� Quando devo usare un indicatore� Come costruire un indicatore� Esempi di indicatori� Differenze tra rendicontazione e indicatori� Costruzione da zero di un indicatore


Indici e indicatori� Un indice è un'informazione sintetica capace di descrivere lo stato di un

elemento specifico del sistema oggetto di studio� Es. tasso di prevalenza; tasso di incidenza; (n°animali controllati / n°animati controllabili) X 100; (n°ispezioni effettuate / n°ispezioni

programmate) X 100

� Un indicatore è un’informazione sintetica capace di descrivere la dinamica di un sistema e/o di uno degli elementi che lo compongono ed è generato utilizzando due o più indici

� Es. Variazione percentuale del tasso di prevalenza della brucellosi ovi-caprina [(T.P. 2012 – T.P.2011) / T.P. 2011] X 100; variazione n°ispezioni effettuate / n°ispezioni previste

� Per Tasso si intende un indice matematico di una quantità� Es. Il tasso di mortalità è il rapporto tra il numero delle morti in una comunità o in un popolo, durante un periodo di tempo, e la quantità

della popolazione media dello stesso periodo.

� Wikipedia ad esempio parla di indice temporali quali la variazione di abitanti in un determinato arco temporale o anche di numero indice (o indice) per parlare della variazione di prezzo nel tempo e ancora afferma alla voce “indicatore statistico” che “un indice non può essere definito indicatore fino a che non gli si attribuisce un referente concettuale nell'ambito della ricerca”

� Questa distinzioni quindi, seppur corrette, sono estremamente tecniche e mutevoli secondo gli ambiti di applicazione e quindi spesso, per non causare disallineamento e incomprensioni, si utilizza indistintamente il termine indicatori


Cos’è un indicatore

� L’indicatore è una grandezza espressa in forma numerica (valore assoluto o rapporto o percentuale) finalizzata a rappresentare in modo sintetico un fenomeno complesso (processo, attività o risultato)

� Il fenomeno complesso che voglio rappresentare deve essere significativo e meritevole di attenzione (motivi economici -sanitari – mediatici)


Cos’è un indicatore

� Indicatore è lo strumento con cui misuro un aspetto del fenomeno che voglio rappresentare in modo sintetico

� Posso misurare:- l’obiettivo (esprimendo il grado di raggiungimento

dell’obiettivo es. capi controllati/capi controllabili)- la prestazioni (quantificazione dell’attività svolta es.

numero di capi vaccinati) (utile se confrontato con lo storico o con altre realtà “simili”)

- l’efficacia sociale (outcome = impatto sulla salute es. incidenza di brucellosi in aziende del territorio)


Cos’è un indicatore: ipotesi di classificazione

� Indicatori possono essere:- di contesto (es. n°bovini soggetti al piano di eradicazione TBC)

- di input (es. n°veterinari x 10.000 bovini)

- di processo (es. n°giorni evasione richiesta indennizzo / media nazionale)

- di output (es. n°controlli eseguiti / n°controlli programmati)

- di outcome (es. prevalenza TBC bovina)

- di efficacia (rapporto tra output e outcome – es. n°controlli positivi / controlli eseguiti)

- di efficienza (rapporto tra input e outcome – es. costo annuo per mantenimento qualifica U.I)

- di impatto (rapporto tra situazione iniziale e finale – es. incidenza TBC bovina)

Input processo outputSituazioneiniziale

Outcome


INDICE

� Cos’è un indicatore� Come dovrebbe essere un indicatore

� Perché costruirsi un set di indicatori� Esistono indicatori in veterinaria� Quando devo usare un indicatore� Come costruire un indicatore� Esempi di indicatori� Differenze tra rendicontazione e indicatori� Costruzione da zero di un indicatore


Come dovrebbe essere un indicatore…da utilizzare a livello ministeriale

� Rappresentativo del fenomeno� Chiaro su cosa vuole misurare e come� Misurabile ovvero fattibile� Comprensibile nella finalità ovvero su risultato

desiderato� Riferito a obiettivi, programmi o precessi� Significativo (importante) oppure necessario


Come dovrebbe essere un indicatore…da utilizzare a livello ministeriale

� Utile per confronti nel tempo e tra realtà comparabili� Comprensibile per policy maker e cittadini o per la

componente tecnica� Economico ovvero:- supportato da Sistemi Informativi esistenti o non

troppo onerosi- risorse umane dedicate proporzionali al beneficio- tempistiche adeguate per la realizzazione e il

monitoraggio


INDICE

� Cos’è un indicatore� Come dovrebbe essere un indicatore� Perché costruirsi un set di indicatori

� Esistono indicatori in veterinaria� Quando devo usare un indicatore� Come costruire un indicatore� Esempi di indicatori� Differenze tra rendicontazione e indicatori� Costruzione da zero di un indicatore


Perché costruirsi un set di indicatori

� La misurazione dei fenomeni sanitari tramite indicatori è previsto o auspicato dalle norme nazionali

- art. 1 comma 4, punto f del D.L.vo 502/92 “Riordino della disciplina in materia sanitaria”- Il PSN indica le misure e gli indicatori per la verifica dei livelli di assistenza effettivamente assicurati in rapporto a quelli previsti

- art. 10 comma 3 del D.L.vo 502/92 – Con decreto del Ministero della sanità, d’intesa con……sono stabiliti i contenuti e le modalità di utilizzo degli indicatori….

- art. 1, comma 1 del D.M. 24 luglio 1995 “Contenuti e modalità di utilizzo degli indicatori di efficienza e di qualità del SSN” in cui si afferma che il SSN adotta un insieme di indicatori quale strumento ordinario e sistematico per l’autovalutazione e la verifica dell’efficienza gestionale e dei risultati conseguiti.



- L’articolo 1 del D.M. 24 luglio 1995 “Contenuti e modalità di utilizzo degli indicatori di efficienza e di qualità del SSN” afferma ancora al comma 2 e 3 che gli indicatori rappresentano informazioni selezionate allo scopo orientare i processi decisionali dei diversi livelli istituzionali e che le Regioni e le ASL possono adottare ulteriori indicatori adeguati significativi ed influenti al fine di assistere efficacemente i processi decisionali



� Il legislatore ribadisce la necessita dell’utilizzo di indicatori per la gestione del SSN e ne individua alcuni tramite:

- D.M. 15 ottobre 1996 “Approvazione degli indicatori per la valutazione delle dimensioni qualitative del servizio riguardanti personalizzazione e l’umanizzazione dell’assistenza, il diritto all’informazione, alle prestazioni alberghiere, nonché l’andamento delle attività di prevenzione delle malattie (nessuno per s.p.v. e s.a.)

- D.M. del 12 dicembre 2001 “Sistema di garanzie per il monitoraggio dell’assistenza sanitaria” (3 indicatori su 91 per s.p.v. e s.a.)



� La norma sottolinea quindi il fatto che gli indicatori sono necessari

� Necessari in quanto rendono possibile trasformare i dati (numeri “freddi e muti”) in informazioni e pertanto sono utiliall’organizzazione di cui si misurano i fenomeni, alle altre Autorità Competenti e ai cittadini al fine di monitorare, controllare eriprogrammare le attività anche alla luce del principio di trasparenza


Perché costruirsi un set di indicatori: TRASFORMARE I DATI IN INFORMAZIONI

DATI INFORMAZIONI

AMBIENTE

SISTEMA INFORMATIVO INFORMATICO

VINCOLI NORMATIVI/TARGET/GOLD STANDARD

VINCOLI NORMATIVI/TARGET/GOLD STANDARD

FLUSSI INFORMATIVI INFORMATICI

FLUSSI INFORMATIVI NON INFORMATICI

SISTEMA INFORMATIVO NON

INFORMATICO



� Per essere utile, un indicatore deve essere riferito alla mission o agli obiettivi dell’organizzazione e deve, utilizzando la leva dei vincoli normativi/target/gold standard, orientare in modo virtuoso i comportamenti e le azioni verso determinati risultati perseguendo le iniziative intraprese o attivando un processo di miglioramento

� I vincoli normativi sono i risultati che l’organizzazione deve ottenere in un determinato arco temporale

� I target/gold standard sono i risultati che l’organizzazione vorrebbe ottenere in un determinato arco temporale


Perché costruirsi un set di indicatori:struttura di supporto

� Il sistema degli indicatori necessita per la sua alimentazione e messa a regime di una struttura di supporto formata da personale e sistemi informativi informatici/non informatici deputati all’acquisizione, selezione, interpretazione, eventuale accorpamento, analisi e confronto dei dati oltre alla conseguente circolazione delle informazioni dedotte dagli stessi


INDICE

� Cos’è un indicatore� Come dovrebbe essere un indicatore� Perché costruirsi un set di indicatori� Esistono indicatori in veterinaria

� Quando devo usare un indicatore� Come costruire un indicatore� Esempi di indicatori� Differenze tra rendicontazione e indicatori� Costruzione da zero di un indicatore


Esistono indicatori in veterinaria

� A livello nazionale e a livello regionale ed aziendale esistono indicatori dedicati alla sanità pubblica veterinaria e alla sicurezza alimentare

� Gli indicatori devono essere periodicamente aggiornati e costruiti dei nuovi perché:

- cambiano le norme (vincoli normativi) - aumentano le conoscenze scientifiche (gold standard)- cambiano gli obiettivi (target)- cambiano/migliorano i sistemi informativi o ne

vengono previsti di nuovi


Gli indicatori in sanità pubblica veterinaria e in sicurezza alimentare

� D.P.R. 24 dicembre 1992 - “Definizione dei livelli uniformi di assistenza sanitaria” che comprende 6 indicatori su 38 riconducibili alla s.p.v. e alla s.a. quali ad es:

� n°casi tossinfezioni alimentari / 100.000 abitanti� n°casi salmonellosi / 100.000 abitanti� prevalenza allevamenti infetti / totale allevamenti� incidenza allevamenti infetti / totale allevamenti



� D.M. 24 luglio 1995 – “Contenuti e modalitàdi utilizzo degli indicatori di efficienza e di qualità nel SSN” che comprende 18 indicatori su 224 riconducibili alla s.p.v. e alla s.a. quali ad es:

� n°di insediamenti produttivi censiti� n°di veterinari / popolazione residente X 1000� n°dei veterinari / Unità Bovino Equivalente X 10.000� n°insediamenti produttivi sottoposti ad ispezione / n°

insediamenti produttivi censiti X 100� quantità alimenti riconosciuti non idonei / quantità

alimenti controllati X 100



� Sistema di Garanzie per il monitoraggio dell’assistenza sanitaria ai sensi del D.M. del 12 dicembre 2001 - che comprende 3 indicatori su 91 riconducibili alla s.p.v. e alla s.a. quali ad es:

� Costo per U.B.E del Servizio di Sanità Pubblica Veterinaria

� Tasso di incidenza di Epatite B e T.B.C. polmonare� Tasso di incidenzac delle malattie infettive



� Sistema di Certificazione LEA delle Regioni� Indicatori veterinari inseriti nella GRIGLIA LEA (6)� MACRO indicatore dipartimentale (linea AAJ) composto da 5 items:� INDICATORI DI PERFORMANCE (6+4 soglia al 70%)� FLUSSI INFORMATIVI veterinari (20 x 2 soglia al 60% con 4 su 6)� Adozione delle misure appropriate a seguito dei risultati del Sistema

regionale di audit (art. 4 comma 6 del Regolamento CE 882/2004). � Attuazione del programma di AUDIT sulle Autorità Competenti - art. 4

(6) del Reg 882/2004� VERIFICA dell’EFFICACIA dei Controlli Ufficiali – art 8 (3) lettera a)

del Reg. 882/2004

� La Regione sarà considerata adempiente se avràraggiunto la sufficienza in almeno 4 dei 5 items

MACRO INDICATORE AAJ.doc



� Sistema Bersaglio, elaborato dal Laboratorio MeS della Scuola Superiore Sant’Anna di Pisa:

� Regione Toscana� IZS

� Nazionale e regionale

confronto ASL bersaglio.png

� Indicatore F16: efficienza/efficacia nella Sicurezza Alimentare e Nutrizione (SPV – IAN)

� Fino al 2008 era indicatore F14: efficienza e efficacia nella Sanità Pubblica Veterinaria



� SISTEMA BERSAGLIO REGIONE TOSCANA – dal 2009 l’F16 è un indicatore composito costituito da 8 sottoindicatori (es. F.16.1) a loro volta compositi (F.16.1.1) per un totale di 18 indicatori

� DIMENSIONE F: valutazione efficienza operativa e della performance economico-finanziaria

� Es. Flussi informativi (tempistica, correttezza modulistica e qualità del dato) (media interaziendale)

� Es. Campioni eseguiti per PNAA e PNR (vincolo normativo)� Es. Farmacosorveglianza (ingrossi e farmacie) (vincolo

normativo)� Es. Categorizzazione delle imprese alimentari (media

interaziendale)F16 SistemaValutazione_Nuti.pdf



� Ciascuna Regione o ASL individua, “se lo ritiene opportuno”, ulteriori indicatori

� Marche: decremento dell’indice dato dal rapporto tra n°cani vaganti catturati non identificati ed il n°cani vaganti catturati restituiti al proprietario per singola ASL calcolato al 31 dicembre 2014 nei confronti di quello calcolato nel biennio precedente



� Campania: verifica attraverso il sistema informativo GISA della categorizzazione del rischio del 100% delle strutture di ricovero per cani entro il 31 dicembre 2014

� Campania: % di catture di cani microchippatiin costante aumento

� Lazio: verifica, tramite report semestrali, l’incremento del numero dei controlli ispettivi e dei campioni biologici


INDICE

� Cos’è un indicatore� Come dovrebbe essere un indicatore� Perché costruirsi un set di indicatori� Esistono indicatori in veterinaria� Quando devo usare un indicatore

� Come costruire un indicatore� Esempi di indicatori� Differenze tra rendicontazione e indicatori� Costruzione da zero di un indicatore


Quando devo usare un indicatore

“Misurare tutto equivale a non misurare niente”

� Se previsto dalla normativa � Se organizzazione individua un obiettivo

importante ovvero:� pertinente rispetto all’organizzazione e alla

collettività� sfidante� politicamente-economicamente-socialmente

rilevante


Quando devo usare un indicatore

“Misurare tutto equivale a non misurare niente”

� Quindi un obiettivo può considerarsi importante nel caso in cui sia:

� strategico � determinante per ottenere un miglioramento

sanitario o gestionale o organizzativo� correlato a vincoli normativi (mission) o a

target/gold standard elevati


INDICE

� Cos’è un indicatore� Come dovrebbe essere un indicatore� Perché costruirsi un set di indicatori� Esistono indicatori in veterinaria� Quando devo usare un indicatore� Come costruire un indicatore

� Esempi di indicatori� Differenze tra rendicontazione e indicatori� Costruzione da zero di un indicatore


Come costruire un indicatore

� Individuo obiettivi importanti e misurabili

� Scelgo o costruisco indicatori che garantiscano:- l’esplicitazione degli obiettivi in forma sintetica - l’esplicitazione degli obiettivi in forma quantitativa- la presenza di correlazione/coerenza con gli obiettivi nazionali, regionali ed aziendali

� Inoltre, deve essere noto,e condiviso a priori, il significato della valutazione o della variazione ed i conseguenti limiti di accettabilità (se previsti)



� individuazione dell’obiettivo o del fenomeno che desidero misurare (processo/attivitàsoggetto a misurazione)

� individuazione delle caratteristiche di interesse che si decide di misurare (quantità o qualità)

� individuazione dell’unità di misura � individuazione della frequenza di misurazione� individuazione della tecnica di rilevazione

(formula)



� Individuare il vincolo normativo/target/gold standard� Definire il livello di accettabilità� Simulare la fattibilità dell’indicatore e dunque:� Verificare la disponibilità dei dati � Verificare la reperibilità dei dati� Verificare la calcolabilità della formula� Verificare la corrispondenza tra risultato ottenuto e

significato ipotizzato (anche utilizzando dati scelti a priori o palesemente improbabili)

� Approvare l’indicatore o apportare eventuali modifiche


Importanza della simulazione

� La simulazione dell’utilizzo dell’indicatore permette di:- Capire se l’indicatore misura quello che mi ero prefissato

e se riesce ad evidenziare le criticità- Individuare i dati necessari per il calcolo e decidere quindi

se sono già in mio possesso o devo provvedere a recuperarli da altri enti (es. IZS o Regioni) oppure ènecessario attivare un nuovo flusso o modificare quelli esistenti

- Scrivere nella “norma” livelli di attività adeguati al raggiungimento degli obiettivi di salute senza dimenticare che questi possono/devono essere sfidanti ma raggiungibili

- Prevedere una “temporizzazione” ed eventuali “step intermedi” per gli obiettivi maggiormente sfidanti e/o raggiungibili in un arco temporale medio-lungo



� Nel caso in cui l’indicatore non sia stato validato, ovvero non abbia superato lo studio di fattibilità, potrebbero essere necessarie modifiche e integrazioni a:

� Formula � Fonte e flusso dei dati e tempistica di rilevazione

� Inoltre, se chi costruisce l’indicatore è anche un “legislatore” si può incidere, per la parte di competenza, su:

� Obiettivo� Vincolo normativo, target, gold standard


Pertanto . . . quando si scrive una “norma”

� Occorre considerare la necessità di:� decidere a priori l’obiettivo/i che vorrei misurare e monitorare

� individuare o definire, se non già presente, il flusso informativo di dati (informatico o non informatico) necessario

� definire quali dati, o eventualmente quali informazioni, sono a disposizioni dell’organizzazione e quali si ritiene necessario acquisire tramite il flusso informativo (presenti in altre organizzazioni o con flussi ex novo)

� definire la tempistica della rendicontazione (in coerenza con altri flussi informativi quali ad es. debiti informativi verso la Commissione Europea per il cofinanziamento o il MANCP)

� definire il livello di attività atteso o accettabile (es. n°minimo di controlli, % dei controlli, frequenza dei controlli ecc.)

� costruire uno o più indicatori per misurare la qualità del processo, l’output, l’outcome ed effettuare una simulazione preventiva


I prossimi possibili obiettivi del Ministeroin tema di indicatori

� Costruire un set di indicatori ampio e chiaro in modo da coprire, se possibile, tutte le linee di attività afferenti alla sanità pubblica veterinaria e alla sicurezza alimentare. Tale set di indicatori consentirebbe:� di diluire il fattore di errore dovuto al singolo indicatore� di evitare l’eventuale concentrazione degli sforzi delle A.C. su

un circoscritto numero di attività monitorate� una rappresentazione più veritiera del livelli qualitativi e

quantitativi di attività dei Sistema Sanitario Regionale

� Implementare, ciascun Ufficio per la parte di competenza (qualora non fosse già attivo), un sistema di “verifica”finalizzato a incrociare le diverse fonti e/o validare i dati autocertificati dalle Regioni (es. Regione XXXX: dati autocertificati sembrerebbero non corrispondere ai dati presenti sul sistema SANAN oppurediscordanza tra dati autocertificati e dati riscontrati in audit)


INDICE

� Cos’è un indicatore� Come dovrebbe essere un indicatore� Perché costruirsi un set di indicatori� Esistono indicatori in veterinaria� Quando devo usare un indicatore� Come costruire un indicatore� Esempi di indicatori

� Differenze tra rendicontazione e indicatori� Costruzione da zero di un indicatore


Esempi di indicatori

� n°di campioni effettuati o Regione/ASL X - risultato: 3000o Regione/ASL Y - risultato: 4000

� n°di campioni effettuati / n°campioni programmati

o Regione/ASL X – risultato: 3000/3500 = 0,85o Regione/ASL Y – risultato: 4000/5000 = 0,80

� (n°di campioni effettuati / n°campioni programmati) X 100

o Regione/ASL X – risultato: (3000/3500) X 100 = 85,7%o Regione/ASL Y – risultato: (4000/5000) X 100 = 80%



� Ipotizziamo che entrambe le Regioni/ASL facciano valori assoluti discordanti ma la stessa % dei controlli(n°di campioni effettuati / n°campioni programmati) X 100

o Regione/ASL X – risultato: (3000/3000) X 100 = 100%o Regione/ASL Y – risultato: (4000/4000) X 100 = 100%

� Mi può bastare? Sono sicuro che l’organizzazione rispetta a pieno i vincoli normativi?

DIPENDE dai vincoli fissati dalle disposizioni



� IPOTESI A: il vincolo normativo dispone che la Regione/ASL debba fare, in un arco temporale pari all’anno solare, un numero determinato o minimo(almeno, non meno di ecc) di campioni per la ricerca di determinate sostanze o patogeni

� Regione/ASL X almeno 3000 e programmati 3000 e eseguiti 3000

� Regione/ASL Y almeno 5000 ma programmati 4000 e eseguiti 4000

o Regione/ASL X – risultato: (3000/3000) X 100 = 100% considerando sia la programmazione che il vincolo normativo

o Regione/ASL Y – risultato: (4000/4000) X 100 = 100% considerando programmazione ma (4000/5000) X 100 = 80% considerando il vincolo normativo


Esempi di indicatori� IPOTESI B: il vincolo normativo dispone che la Regione/ASL

debba fare, in un arco temporale pari all’anno solare, un numero determinato o minimo (almeno, non meno di ecc) di campioni per la ricerca di determinate sostanze o patogeni distribuiti equamente tra allevamenti e macelli

� Regione/ASL X almeno 3000 (1500 + 1500) e programmati 3000 (2000 + 1000) e eseguiti 3000 (2000 + 1000)

� Regione/ASL Y almeno 5000 ma programmati 4000 (2000 + 2000) e eseguiti 4000 (2000 + 2000)

o Regione/ASL X – risultato: (3000/3000) X 100 = 100% considerando la programmazione aggregata ma non rispetta il vincolo normativo in quanto la programmazione non è stata corretta

o Regione/ASL Y – risultato: (4000/4000) X 100 = 100% considerando programmazione, vincolo della distribuzione equa rispettato ma non rispettato il vincolo del numero totale dei campioni (4000/5000) X 1000 = 80%



� IPOTESI C: il vincolo normativo dispone che la Regione/ASL debba fare, in un arco temporale pari all’anno solare, un numero determinato o minimo (almeno, non meno di ecc) di campioni per la ricerca di sostanze farmacologicamente attive, distribuiti equamente tra allevamenti e macelli ma 1/3 nei suini e 2/3 nei bovini

� IPOTESI D: il vincolo normativo dispone che la Regione/ASL debba fare, in un arco temporale pari all’anno solare, un numero determinato o minimo (almeno, non meno di ecc) di campioni per la ricerca di sostanze farmacologicamente attive, distribuiti equamente tra allevamenti e macelli, 1/3 nei suini e 2/3 nei bovini e le molecole ricercate devono essere 50% antibiotici e 50% antinfiammatori

� IPOTESI N…..



� Più i vincoli normativi sono stringenti e precisi (le ipotesi da A a N possono essere costruite per qualsiasi linea di attività) più gli indicatori dovranno passare da una forma aggregata (quanto ho fatto) ad una forma analitica (quanto ho fatto, dove, per matrice, per specie, per analita, come ecc. ecc.)

� La decisione su quanto spessa deve essere la lente di ingrandimento (cioè quanto l’indicatore deve essere analitico) spetta a chi costruisce l’indicatore in base a una serie di considerazioni basate sulla finalità stessa dell’indicatore


Esempi di indicatori: aggregati vs analitici

� La scelta del tipo di indicatore dipende da:

� la conoscenza pregressa di eventuali criticità, di nuovi obiettivi da realizzare o obiettivi non ancora realizzati

� le informazioni di cui sono già in possesso� le informazioni che non posseggo ma posso reperire� le informazioni nuove che desidero possedere� cosa ritengo importante misurare


Esempi di indicatori: aggregati vs analitici

� Spesso, e non è per forza uno sbaglio, livelli istituzionali diversi optano, per misurare la stessa linea di attività/obiettivo, per indicatori con gradi di analiticità diversi

� Potrebbe essere opportuno che, anche all’interno della stessa istituzione, si costruissero, per la stessa linea di attività/obiettivo, indicatori con gradi di analiticità diversi in base al livello organizzativo


INDICE

� Cos’è un indicatore� Come dovrebbe essere un indicatore� Perché costruirsi un set di indicatori� Esistono indicatori in veterinaria� Quando devo usare un indicatore� Come costruire un indicatore� Esempi di indicatori� Differenze tra rendicontazione e indicatori

� Costruzione da zero di un indicatore


Differenze tra rendicontazione e indicatori

� Quando mi trovo di fronte ad una serie di numeri o di % riferite ad un processo, ad una attività o ad un obiettivo non è detto che mi trovi in presenza di un indicatore in quanto sebbene� L’indicatore è una grandezza espressa in forma numerica

(valore assoluto o rapporto o percentuale) finalizzata a rappresentare in modo sintetico un fenomeno complesso

esso deve � anche orientare i comportamenti e le azioni verso

determinati risultati perseguendo le iniziative intraprese o attivando un processo di miglioramento



� NUMERI UTILI ALLA RENDICONTAZIONE

� Mi dice quanto è stato fatto e al massimo mi dice quanto è stato fatto rispetto allo storico (criticità nella ricognizione dei vincoli normativi e criticità nella programmazione)

� Solitamente viene rilevato al termine dell’anno di riferimento e se rilevato in corso d’anno non rileva il grado di raggiungimento dell’obiettivo (criticitànella programmazione o negli strumenti di monitoraggio quali S.I. e/o format e tempistica di rilevazioni del flusso di dati)

� NUMERI UTILI COME INDICATORI

� Mi dice quanto è stato fatto rispetto al vincolo normativo o, in assenza, al target o al gold standard

� Può essere rilevato anche nel corso dell’anno di riferimento ed evidenziare il grado di raggiungimentodell’obiettivo




� Solitamente sono solo numeri che rappresentano fenomeni in forma aggregata (criticità nella ricognizione dei vincoli normativi e nella programmazione)

� Non supportati della ricognizione dei vincoli normativi

� Non supportati da una programmazione precisa e puntuale


� Possono derivare sia da indicatori aggregati che da indicatori analitici

� Necessitano ed esplicitano la ricognizione dei vincoli normativi

� Necessitano di una programmazione precisa e puntuale




� Non permettono di attivare un processo di miglioramento in corso d’anno o per l’anno successivo (criticità nella ricognizione dei vincoli normativi, nel controllo e nella riprogrammazione)

� Non risulta come un valore aggiunto per il raggiungimento degli obiettivi in quanto non èin grado di orientare i comportamenti e le azioni

� Non garantisce il rispetto dei vincoli normativi


� Permettono di attivare un processo di miglioramento in corso d’anno o per l’anno successivo

� Risulta un valore aggiuntoper il raggiungimento degli obiettivi in quanto è una leva per orientare i comportamenti e le azioni

� Facilita l’individuazione ed il rispetto dei vincoli normativi


INDICE

� Cos’è un indicatore� Come dovrebbe essere un indicatore� Perché costruirsi un set di indicatori� Esistono indicatori in veterinaria� Quando devo usare un indicatore� Come costruire un indicatore� Esempi di indicatori� Differenze tra rendicontazione e indicatori� Costruzione da zero di un indicatore


Costruzione da zero di un indicatore

GIOCHIAMO TRESSANDO L’ASSURDO� Un nuovo studio scientifico afferma che i suini con

orecchie piccole (lunghezza inferiore ai 10 cm) sono maggiormente sensibili alla malattia infettiva XYZ

� Inoltre, tale studio afferma che la malattia non si sviluppa se la prevalenza dei suini con orecchie piccole è inferiore al 5%

� Alla luce di tale studio la Comunità Europea dispone che “ogni Paese Membro deve garantire, entro e non oltre il 2016, una prevalenza di suini con orecchie piccole inferiore al 4%”


Ricordiamoci che…………

� È necessario che l’indicatore sia:- Comune a tutte le Regioni- Derivato da un vincolo normativo- Misurabile- Quantificabile rispetto ad un valore di riferimento

(individuato da una disposizione normativa)- Derivabile da un flusso di dati consolidato e

attendibile o da un nuovo flusso di dati costruito ad hoc


Alcune considerazioni preliminari

� Per l’Italia è un obiettivo già raggiunto, facile da raggiungere, sfidante o irraggiungibile?� serve per capire se è necessario proporre una nuova

disposizione o cambiare quella esistente

� Abbiamo suini con orecchie piccole? Quanti? Con quale prevalenza e incidenza? � serve per capire se opportuno agire da un punto di vista

normativo su prevalenza (abbattimento con o senza indennizzo) o su incidenza (blocco entrata in stalla – divieto di commercializzazione) o su entrambe

� Se non abbiamo informazioni a riguardo cosa facciamo? Avviamo una iniziativa legislativa a caso oppure cerchiamo di capire se è possibile avere le informazioni e in quanto tempo?


Alcune considerazioni preliminari:

� Disporre delle informazioni prima di avviare un processo decisionale, e quindi anche una iniziativa legislativa, èfondamentale per raggiungere l’obiettivo e farlo in tempi adeguati senza spreco di risorse

GIOCHIAMO� Es. IPOTESI A: in Italia la prevalenza dei suini con

orecchie piccole è pari allo 0,3% - azione legislativa “soft”/poco impattante

� Es. IPOTESI B: in Italia la prevalenza dei suini con orecchie piccole è pari all’8% - azione legislativa rivolta prevalentemente sull’incidenza

� Es. IPOTESI C: in Italia la prevalenza dei suini con orecchie piccole è pari al 60% - azione legislativa “hard”/molto impattante



� Per costruire un indicatore potenzialmente “utili” (ad es. prevalenza e/o incidenza di suini con orecchie piccole) devo definire almeno:

- Nome dell’indicatore- Descrizione dell’indicatore- Razionale- Obiettivo- Formula di calcolo- Frequenza di rilevazione- Target/Livello di accettabilità- Fonte dei dati- Definizione delle azioni/valutazioni in caso di non calcolabilità


Costruzione da zero di un indicatore: giochiamo

Le Regioni con prevalenza sconosciuti per l’anno 2014 saranno soggette ad un piano straordinario per l’identificazione dei suini orecchie corte

Definizione delle azioni/valutazioni in caso di non calcolabilità

Numeratore: sconosciuto

Denominatore: BDNFonte dei dati

4%Target/Livello di accettabilità

ogni 31 gennaio (annuale)Frequenza di rilevazione

(n°suini orecchie piccole / n°suini totali) X 100Formula di calcolo

Assicurare nel territorio italiano entro il 2016 una prevalenza < 4% di suini con orecchie piccole

Obiettivo

Ai sensi dell’art X, comma Y del Reg. Z/2014Razionale

Monitorare la quantità di suini con le orecchie corte rispetto al totale dei suini in Italia

Descrizione dell’indicatore

Prevalenza in Italia dei suini con orecchie corteNome dell’indicatore



� In questo caso (numeratore sconosciuto) non è sufficiente costruire correttamente l’indicatore in quanto dobbiamo anche costruire la base di dati

� L’azione correttiva da intraprendere, prima ancora del calcolo dell’indicatore e della conseguente azione legislativa, potrebbe essere:

- Attivazione di un flusso dedicato (es. file excel che le Regioni dovranno compilare, se hanno il dato o se possono reperirlo in ASL o devono attivare controlli in stalla dedicati o concomitanti ad altri C.U.)

- modifica della BDN inserendo un nuovo campo � Tali azioni devono esser intraprese tenendo in considerazione almeno,

l’importanza e la difficoltà dell’obiettivo, la tempistica di realizzazione, i costi emergenti, l’impatto sui colleghi del territorio ed sugli operatori e avendo già le idee sufficientemente chiare sulle iniziative legislative immediate (per garantire la fattibilità dell’indicatore) e quelle da intraprendere alla luce delle informazioni che fornirà l’indicatore stesso

� Solo a seguito di queste considerazioni ed eventuali azioni correttive potrò dedicarmi all’indicatore, al suo calcolo sistematico e alla sua rilevazione negli anni con conseguenti valutazioni comparative e di trend

GRAZIE PER L’ATTENZIONE

[email protected]. 320 - 4794643

FONTI e BIBLIOGRAFIA

dr.ssa Sabina Nuti – Scuola Superiore Sant’Anna di Pisa

dr Fabio Monteduro – Università Tor Vergata di Roma

dr Claudio Bernardi – Ulss 7 della Regione Veneto

dr Fabrizio De Massis – IZS di Teramo

dr.ssa Antonella Franzo – ULSS 6 della Regione Friuli Venezia Giulia

dr.ssa Nerina Dirindin – Università di Torino

Documents

“Criteri di valutazione degli indicatori utilizzati dal ... · Gioacchino De Sandoli 21 Gli indicatori in sanità pubblica veterinaria e in sicurezza alimentare D.M. 24 luglio 1995