Gli indicatori di monitoraggio: dal Piano Nazionale Esiti alle ... riservati/PNE metodi … · metodologica del Programma Nazionale Esiti (PNE). 2004. Il Progetto Mattoni-Outcome:

Dott.ssa Anna Patrizia Barone

Vigevano, 26 ottobre 2015

Gli indicatori di monitoraggio:

dal Piano Nazionale Esiti alle

misurazioni della Regione Lombardia

PNE: Metodi e caratteristiche

Il Programma Nazionale Esiti (PNE) sviluppa nel Servizio Sanitario italiano la valutazione degli esiti degli interventi sanitari, definibile come stima, con disegni di studio osservazionali, dell’occorrenza

degli esiti di interventi/trattamenti sanitari

Obiettivi principali del PNE

� Valutazione di nuovi trattamenti/tecnologie per i quali non sono possibilistudi sperimentali;

� Valutazione comparativa tra soggetti erogatori;

� Valutazione comparativa tra gruppi di popolazione (area di residenza,etc);

� Individuazione dei fattori dei processi assistenziali che determinano esiti,ad esempio: stima dei volumi minimi di attività associati ad esiti miglioridelle cure;

� Auditing interno ed esterno.

In molti sistemi sanitari vengono condotti programmicorrenti di valutazione comparativa di esiti tra soggettierogatori e di comunicazione dei risultati di questiprogrammi.

In Italia, le prime esperienze in tal senso sono statecondotte nell’ambito del progetto “ Mattoni – Misuradell’outcome ” e del “Programma regionale di valutazionedegli esiti degli interventi sanitari del Lazio, denominat oP.Re.Val.E.”, i cui risultati costituiscono la base progettualemetodologica del Programma Nazionale Esiti (PNE).

2004

Il Progetto Mattoni-Outcome:

� individuava 43 indicatori , scelti tra quelli più significativiutilizzati a livello internazionale (sistema sanitario inglese eamericano), distinti per complessità (bassa, media ealta), a seconda della necessità di utilizzare o meno, per illoro calcolo, modelli complessi di risk-adjustment oppureinformazioni cliniche, normalmente non rilevabili dalleSDO, ma dimostrate sperimentalmente importanti permeglio caratterizzare la gravità dei pazienti.

Mattone 08: Misura dell’Outcome


� per valutare l’eventuale necessità di informazioni aggiuntive,soprattutto di carattere clinico, non contenute nei sistemi informativicorrenti, era collegato con alcuni studi analitici di esito:

1. BPAC-2 - Studio degli esiti a breve termine di interventi di By-PassAorto-Coronarico nelle cardiochirurgie Italiane;

2. IN-ACS Outcome - Italian Network on Acute Coronary Syndromes -Epidemiologia clinica e outcome dei pazienti con sindromicoronariche acute ospedalizzati in Italia;

3. OSCAR - Outcome Survey sui Centri che eseguono Angioplastichecoronariche;

4. RISC - Registro Italiano dello Stenting Carotideo.



� Utilizzava come fonte dei dati solo la Scheda di DimissioneOspedaliera (SDO)

Osservazioni :

1. rilevati livelli molto eterogenei nella qualità delle informazioniSDO tra regioni

2. necessità di realizzare integrazioni e collegamenti trainformazioni individuali di diversi sistemi informativi


2008 -

Il PNE inizia nel 2010 con una iniziativa affidata dalCCM del Ministero della Salute ad Agenas.

Sono state finora prodotte quattro edizioni su webdei risultati PNE.

Legge 7 agosto 2012, n. 135

Ai fini della attivazione dei programmi nazionali di valutazione, il Ministerodella Salute provvede alla modifica ed integrazione di tutti i sistemiinformativi del Servizio Sanitario Nazionale ed alla interconnessione alivello nazionale di tutti i flussi informativi su base individuale.

Inoltre, si avvale dell’AGENAS per lo svolgimento delle funzioni divalutazione degli esiti delle prestazioni assistenziali e delle proceduremedico‐chirurgiche.

A tal fine, AGENAS accede, in tutte le fasi della loro gestione, ai sistemiinformativi interconnessi del Servizio Sanitario Nazionale.

DL 158 /2012 (che modifica il comma 3 dell’articolo 17 del Decreto Legislativo 502/1992),Art 4, comma 1, lettera f)

“Ciascuna regione promuove un sistema di monitoraggio delleattività assistenziali e della loro qualità, finalizzato a verificare laqualità delle prestazioni delle singole unità assistenziali dellestrutture sanitarie pubbliche e private accreditate, in raccordo con ilProgramma nazionale valutazione esiti dell'Agenzia nazionaleper i servizi sanitari regionali ed il coinvolgimento dei Direttori diDipartimento.”

Patto per la Salute 2014 ‐2016(art 12, comma 7)

Viene demandata ad AgeNaS la realizzazione di uno specificosistema di monitoraggio, analisi e controllo dell’andamento deisingoli Sistemi Sanitari Regionali, che consenta di rilevare in viapreventiva, attraverso un apposito meccanismo di allerta, eventualie significativi scostamenti delle performance delle Aziendesanitarie e dei Sistemi Sanitari Regionali, in termini di qualità,sicurezza, efficacia, efficienza, appropriatezza ed equità dei servizierogati.

Conferenza Stato Regioni del 5 agosto 2014

Si stabilisce:� di istituire presso l’Agenas un tavolo tecnico per definire i

valori soglia per volumi di attività specifici, correlati agliesiti migliori, e soglie per rischi di esito

� che le misure e le stime di riferimento e di verifica per ivolumi di attività e gli esiti siano quelle prodotte dal PNEdi Agenas.

Caratteristiche

Gli indicatori utilizzati dal PNE sono documentati daprotocolli scientifici basati sulla letteratura disponibile, conchiara definizione dell’esito misurabile di salute in studio(mortalità a breve termine, complicanze, ospedalizzazioniper specifiche condizioni ecc.).

Quando non sono disponibili o misurabili in modo valido esitidiretti di salute, il PNE utilizza esiti intermedi o esitisurrogati, che possono essere costituiti, ad esempio, daprocessi, procedure, tempi.

Per gli interventi sanitari per i quali sono disponibiliprove scientifiche di efficacia, il PNE valuta, attraversorevisioni sistematiche della letteratura ed analisiempiriche sui dati italiani, l’associazione tra volumi diattività ed esiti delle cure.

Vengono stimati, con specifici protocolli, indicatori divolumi di attività.

Caratteristiche

FONTI INFORMATIVE

� Sistema Informativo Ospedaliero (SIO)

� Sistema Informativo Anagrafe Tributaria

� Sistema informativo per il monitoraggiodell’assistenza in Emergenza ‐Urgenza

Il PNE utilizza tecniche di record linkage che consentono dicollegare informazioni provenienti dallo stesso archivio o da archividiversi.

Metodologia

INDICATORI POPULATION-BASED

Per confrontare lo stato di salute della popolazione reside nte inaree geografiche diverse , e guardare l’efficacia deitrattamenti/interventi dal punto di vista della funzione di tutela dellasalute:

l’esito viene attribuito (= esposizione) all’area di residenza: ASL o provincia di residenza (per gli indicatori di ospedalizzazione).

In quest’ultimo caso gli indicatori sono costruiti utilizzando aldenominatore la popolazione residente o specifici sottogruppi dellastessa (fonte ISTAT).

Metodologia

INDICATORI WORKLOAD-BASED

Per descrivere le differenze per soggetto erogatore, il denominatoreè costituito dalle dimissioni ospedaliere per la patologia/intervento inesame dei residenti in Italia per i quali è stata verificata lacorrispondenza anagrafica da Anagrafe Tributaria.(Questa selezione è stata effettuata allo scopo di attribuire a tutti i pazienti lastessa probabilità di trovare ricoveri precedenti l’episodio di cura in esame.)

Per la versione 2014 la popolazione in studio è costituita dalle dimissionirelative agli anni 2008‐2013.

L’esito viene attribuito (= esposizione) alle strutture di ricovero.

Metodologia

INDICATORI SU BASE PLURIENNALE

Gli indicatori nella maggior parte dei casi sono calcolati persingolo anno (2013).

Tuttavia, per ragioni legate alla potenza statistica, alcuni indicatorisono calcolati su base biennale (2012‐2013), triennale(2011‐2013) o quadriennale (2010‐2013).

Metodologia

MISURA DELL’EFFETTO

La misura di associazione utilizzata è il Rischio Relativo (RR).

L’RR è calcolato come rapporto tra due tassi/proporzioni ed esprime l’eccesso (oil difetto) di rischio del gruppo posto al numeratore rispetto al gruppo posto aldenominatore.

Per esempio, se l’ASL di residenza A ha, rispetto all’ASL B (area di riferimento), un RR dimortalità pari a 2, i residenti nella ASL A hanno un rischio di morte due volte superiore aquello dei residenti nella ASL B.

Nel PNE l’RR consente di capire se una determinata struttura ospedalierao area di residenza ha un rischio maggiore o minore rispetto al la medianazionale, al benchmark, ad un’altra struttura/area o rispe tto all’annoprecedente.

Metodologia

MISURA DELL’EFFETTO

Il Rischio Relativo (RR) può essere:

> 1 : aumento del rischio

< 1 : riduzione del rischio

L’aumento di rischio non va sempre inteso come un evento negativo madipende dalla natura dell’esito in studio.

Negativo: Infarto miocardico acuto: mortalità a 30 giorni dal ricoveroPositivo: Frattura del femore: intervento chirurgico entro 48 ore

Per alcuni indicatori la misura di associazione utilizzata è l’Hazard Ratio (HR),interpretabile come un RR istantaneo.

Metodologia

P‐VALUE

Il valore di p rappresenta la probabilità che il rischio relativoosservato differisca da 1 solo per effetto del caso.

Un valore di p alto indica, ad esempio, che i tassi di mortalità nei due gruppi postia confronto non sono, dal punto di vista statistico, significativamente diversi.

Un valore di p basso, al contrario, indica che la differenza osservata tra i duegruppi non è dovuta esclusivamente all’effetto del caso.

Per convenzione, una differenza viene considerata statist icamentesignificativa se il valore di p è minore o uguale a 0.05: in questo casodiciamo che i tassi di mortalità nei due gruppi sono, dal punto di vistastatistico, significativamente diversi.

Metodologia

MISURA DELL’EFFETTO “AGGIUSTATO” IN PRESENZA DICONFONDIMENTO

Negli studi osservazionali la valutazione comparativa degli esiti deve tenereconto delle possibili disomogeneità esistenti nelle popolazioni studiate ,dovute a caratteristiche quali età, genere, gravità della patologia in studio,presenza di comorbidità croniche, etc.

Questi fattori possono agire come confondenti dell’associazione traesito ed esposizione, pertanto nel PNE è stato effettuato unaggiustamento degli indicatori attraverso l’utilizzo di metodi di riskadjustment .

Questi permettono di studiare le differenze tra strutture e/o aree territoriali(espresse in termini di RR), “al netto” del possibile effetto confondente delladisomogenea distribuzione delle caratteristiche dei pazienti.

Metodologia

MODELLI STATISTICI

L’analisi statistica condotta nel PNE comprende:

� costruzione del modello predittivo;

� confronto tra strutture e aree di residenza;

� confronto temporale per struttura e area di residenza.

Metodologia

Costruzione del modello predittivo

Il modello predittivo è stato costruito utilizzando la regressione multivariata ,che permette l'analisi della relazione tra i possibili predittori dell’esito (fattori dirischio) e l'esito considerato.

Di tutti i fattori di rischio identificati sulla base delle conoscenze disponibili inletteratura, sono stati inclusi nel modello predittivo:

1. fattori di rischio “a priori” , ossia fattori da includere nel modelloindipendentemente dalla loro associazione con l’esito (principalmente l’età eil genere);

2. fattori selezionati attraverso procedure automatiche di tipo bootstrapstepwise: essi includono le comorbidità (specifiche per esito considerato)desunte dal ricovero indice e dai ricoveri ospedalieri dei due anniprecedenti .

Metodologia

Confronto tra strutture e aree di residenza

I rischi di ciascuna struttura e di ciascuna area sono staticonfrontati col rischio della popolazione generale (medianazionale), con un benchmark e con i rischi nell’anno preced ente.

I rischi sono stati “aggiustati” (utilizzando i modelli predittiviprecedentemente definiti) mediante il metodo della standardizzazionediretta che consente il confronto diretto tra tutte le strutture ( o le aree diresidenza).

Metodologia

Confronto temporale per struttura e aree di residenza

L’analisi dell’andamento temporale 2008‐2013 è stata realizzata includendo, inun unico modello di aggiustamento, il termine di interazione tra esposizione(struttura ospedaliera o area di residenza) e anno di analisi.

Questo assicura una completa confrontabilità tra le stime ottenute per annidifferenti.

Pertanto, il trend temporale è aggiustato per tutti i potenziali fattori confondentiindividuati dai modelli predittivi.

Metodologia

Struttura del sito

Struttura del sito

Struttura del sito

Struttura del sito

Struttura del sito

Struttura del sito

Struttura del sito

Struttura del sito

Struttura del sito

Struttura del sito

Struttura del sito

Struttura del sito

Struttura del sito

Struttura del sito

Struttura del sito

Struttura del sito

Elenco indicatori PNE 2014

indicatori PNE.docx

Proporzione di parti con taglio cesareo primario -Confronto con media nazionale

Proporzione di parti con taglio cesareo primario -Confronto con media nazionale

Proporzione di parti con taglio cesareo primario –Strutture con i rischi più alti

Proporzione di parti con taglio cesareo

primario – Lombardia -Confronto con media

nazionale

Proporzione di parti con taglio cesareo primario -Confronto con benchmark

Proporzione di parti con taglio cesareo primario -Confronto con benchmark

Proporzione di parti con taglio cesareo primario -Confronto tra due strutture

Proporzione di parti con taglio cesareo primario -Andamento temporale

Proporzione di parti con taglio cesareo primario -Andamento temporale

Proporzione di parti con taglio cesareo primario – Distribuzione fattori confondenti

Proporzione di parti con taglio cesareo primario – Distribuzione fattori confondenti

Risultati indicatori per ASL Provincia di Pavia


*Rischio aggiustato calcolato su tutti i ricoveri de lla struttura per l'indicatore in studio






Risultati indicatori per Ospedale di Vigevano(solo risultati statisticamente significativi)

Risultati indicatori per Ospedale di Vigevano

� I risultati del PNE possono essere utilizzati in modoappropriato in contesti di valutazione critica,soprattutto nell’ambito di processi e programmiintegrati di valutazione a livello regionale e locale .

� Le misure del PNE sono strumenti di valutazione asupporto di programmi di auditing clinico edorganizzativo finalizzati al miglioramento dell’efficaciae dell’equità nel SSN.

Condurre un processo sistematico di

verifica di qualità dei dati codificati nei

sistemi informativi sanitari sulla base

dei quali sono stati calcolati gli

indicatori

Individuare eventuali criticità nella

codifica e registrazione dei dati che

possono essere oggetto di interventi

specifici di miglioramento

È necessario:

Documents

Gli indicatori di monitoraggio: dal Piano Nazionale Esiti alle ... riservati/PNE metodi … · metodologica del Programma Nazionale Esiti (PNE). 2004. Il Progetto Mattoni-Outcome: