Embed Size (px)
Citation preview
QUALITÀ, VERIFICA E VALIDAZIONE DEL DATO
Eleonora BeccaloniReparto Suolo e Rifiuti
Istituto Superiore di Sanità – [email protected]
Qualità del datoLe risultanze ottenute da analisi chimiche sono spesso la
base per decisioni in merito a:
Problematiche ambientali.Problematiche di salute pubblica.Valutazione del Rischio igienico-sanitario.Problematiche di sicurezza alimentare.Problematiche d’interesse legale.
Quindi perché i dati siano accettati come validi ènecessario dimostrare l’adeguatezza delle metodiche analitiche scelte nonché l’attendibilità dei risultati.
GLI OBIETTIVI DI QUALITÀ
Definire l’errore accettabile e quindi un piano di qualità (requisiti legislativi)
Definire gli Obiettivi della Qualità dei Dati –DQOS (Data Quality Objectives)
Obiettivi di qualità del dato (DQOs)
Misure degli obiettivi di qualità(MQOs)
Sono dichiarazioni numeriche di performance degli obiettivi della qualità dei Dati
Si riferiscono specificatamente ai requisiti analitici desiderati da un particolare metodo analitico
Sono test di verifica di accettazione per gli Attributi della qualità dei Dati, misurati solitamente mediante i DQIs
Indicatori della Qualità dei Dati (DQIs)
PARCCS
- Precisione - Accuratezza (deviazione della misura o esattezza)
- Rappresentatività- Completezza- Comparabilità- Sensibilità
Indicatori di Qualità deiDati
Gli DQIs sono misure quantitative e qualitative degli attributi principali dellaqualità
Indicatori Quantitativi
- precisione, deviazione della misura e sensibilità
Indicatori Qualitativi
- rappresentatività, comparabilità, e completezza
INDICATORI Quantitativi
La precisione è la misura di accordo fra misure ripetute della stessa proprietà nelle identiche circostanze o in circostanze sostanzialmente simili
è un componente dell’incertezza di misuraSi esprime come range, %RPD o come deviazione standard dei risultati ottenuti
DeterminazioneRepliche di CRM possono essere utilizzate per la determinazione della precisione di un metodo analitico
PRECISIONE
Bias è la distorsione sistematica o persistente di un processo di misura che causa l'errore in un‘unica direzione
Il Bias è un indicatore quantitativo della grandezza dell'errore sistematico derivante da diverse cause
Si esprime come % di recupero
Deviazione della misura(BIAS)
Verifica del bias
Calibrazione strumentale
Bianchi
Campioni
Materiale di riferimento
Calibrazione strumentale
Punti richiesti – almeno 3
Bianco del punto zero – possibilmente quello di trattamento del campione
Concentrazione del campione ove possibile deve essere a circa metà della retta di calibrazione
Linearità della taratura
Coefficiente di correlazione più vicino a 1
Controllo dei bianchiIl controllo dei bianchi può aiutare a definire il bias
Bianco strumentale
Bianco dell’intera procedura analitica
Bianco di calibrazione
Bianchi di StrumentoServono a verificare gli eventuali errori sistematici dovuti all’ effetto memoria strumentale
- (freq. su esigenza, dopo campioni inquinanti)
Consiste nell’analizzare un bianco del solvente usato per l’analisi
I Bianchi strumentali sono sotto controllo quando:- il loro valore è inferiore al limite di quantificazione
Bianchi del Metodo
Servono a verificare gli eventuali errori sistematici dovuti a vetreria, reagenti e laboratorio- ogni 20 campioni
Consiste nell’analizzare un bianco del solvente usato per l’analisi sottoposto a tutte le operazioni del metodo
I Bianchi del metodo sono sotto controllo quando:- il loro valore è inferiore al limite di quantificazione
Bianchi di Calibrazione
Servono a verificare gli eventuali errori sistematici dovuti all’ effetto memoria strumentale riscontrati dopo il controllo della calibrazione
Consiste nell’analizzare un bianco del solvente usato per l’analisi
I Bianchi di calibrazione sono sotto controllo quando:- Il loro valore è inferiore al limite di quantificazione
Controllo dei Campioni
Sui campioni va eseguito un controllo iniziale per definire:
eventuali diluizioni;verifica delle interferenze;verifica delle scelte dei parametri strumentali;
Materiale di riferimentoUsato in tutte le procedure che caratterizzano
l’attività del QA e QC.
Nel caso specifico i materiali di riferimento servono a verificare gli eventuali errori sistematici dovuti al metodo eseguito su una matrice reale seppur omogenea.
I MCR sono sotto controllo quando il loro valore trovato è nei limiti definiti
È una misura complessiva della precisione (errori statistici) e del bias (errori sistematici) durante
l’esecuzione del metodo
L‘accuratezza si compone di precisione e di bias
ACCURATEZZA
L’influenza del Bias e della precisionesull’accuratezza generale
Imprecisie
deviati
poco preisie
poco deviati
Precisi edeviati
Precisi e non
deviati
QUALITA’ DEL DATOMATERIALI DI RIFERIMENTO
La funzione dei materiali di riferimento è rivolte alla:
- calibrazione della strumentazione;- sviluppo e valutazione dei metodi;- qualificazione della riferibilità della misura;- ed a tutte quelle funzioni che caratterizzano
l'attività di Quality Assurance (QA) e QualityControl (QC).
CASO STUDIO
Nel Laboratorio di Igiene Ambientale dell’Istituto Superiore di Sanità è stato condotto uno studio approfondito sulla determinazione del contenuto totale di arsenico in una matrice solida. Per lo studio in questione è stato utilizzato un materiale di riferimento del tipo BCR n. 141R rappresentato da un suolo calcareo.
SCHEMA OPERATIVO
Prove di RecuperoMineralizzazione di due soluzioni standard con concentrazione di As pari a 50 e 100 µg/L rispettivamenteLetture strumentali mediante ICP-AES, ETAAS con correttori di fondo Zeeman e lampada al Deuterio
Prova sul materiale di riferimentoMineralizzazione del campione in sei vesselsLettura strumentale in triplo per ogni vessel con gli stessi strumenti sopra elencati
PROVE DI RECUPERO RISULTATI
Le prove di recupero non hanno evidenziato particolari problemi né durante il processo di mineralizzazione né, tantomeno, durante l'analisi strumentale in entrambe le tecniche saggiate. I risultati sono stati soddisfacenti poiché il recupero è stato del 95% nella soluzione standard da 100 µg/L e del 108% nella soluzione standard da 50 µg/L per entrambe le due diverse tecniche strumentali.
PROVE DI RECUPERO LETTURA ICP-AES
PROVE SUL BCRRISULTATI
Sulla matrice suolo sono stati riscontrati interferenze di riga durante le determinazioni in ICP-AES e di matrice durante le analisi in ETAAS (con correttore di fondo con lampada al Deuterio).Per entrambe le tecniche strumentali è stato necessario cambiare la lunghezza d’onda, passando da una più sensibile (193.696 nm) ma con interferenti, ad una meno sensibile (188.979 nm) priva di interferenze.
LETTURA ICP-AES 193,696 nm As line
LETTURA ICP-AES 188,979 nm As line
LETTURA ETAAS (Deuterium) 193,696 nm As line
LETTURA ETAAS (Deuterium) 188,979 nm As line
LETTURA ETAAS (Zeeman)193,696 nm As line
RING TEST
Lo stesso materiale di riferimento è stato utilizzato per uno studio di intercalibrazione. I partecipanti alla prova hanno usato, oltre alle tecniche strumentali precedentemente descritte, altre due tecniche spettroscopiche, in particolare spettroscopia in assorbimento atomico con sviluppo d’idruri e spettroscopia in ICP-MS.
Valori trovati nel materiale di riferimento BCR 141 R determinati con le due lunghezze d’onda
con le diverse tecniche di assorbimento atomico (mg/kg s.s.)
ETAAS Deuterio ETAAS Zeeman HAAS 188,98 nm 193,70 nm 188,98 nm 193,70 nm 188,98 nm 193,70 m
VESSEL 1 9,13 42,1 n.d. 10,7 n.d. 7,33 VESSEL 2 8,45 37,2 n.d. 8,89 n.d. 7,68 VESSEL 3 8,14 35,4 n.d. 9,00 n.d. 14,9 VESSEL 4 8,07 40,4 n.d. 10,5 n.d. 8,45 VESSEL 5 9,38 36,7 n.d. 10,3 n.d. 6,60 VESSEL 6 8,01 37,8 n.d. 8,87 n.d. 8,88
Valore trovato 8,53 ± 0,53 38,3 ± 2,5 - 9,71 ± 0,80 - 8,97 ± 2,75
Valore certificato 8,84 ± 0,43
n.d. = non determinato perché non necessario
Valori trovati nel materiale di riferimento BCR 141 R determinati mediante ICP-AES e ICP-MS
(mg/kg s.s.)
ICP-AES ICP-MS 188,98 nm 193,70 nm
VESSEL 1 10,5 n.d. 8,6 VESSEL 2 11,6 n.d. 11,2 VESSEL 3 10,2 n.d. 11,6 VESSEL 4 11,4 n.d. 13,1 VESSEL 5 10,9 n.d. 13,3 VESSEL 6 10,3 n.d. 10,3
Valore trovato 10,8 ± 0,56 - 11,6 ± 1,90 Valore
certificato 8,84 ± 0,43
Grafico comparativo dei valori medi e deviazioni standard dei risultati di As ottenuti mediante diverse tecniche di spettroscopia (mg/kg ss)
02468
10121416
ETAASDeuterium188,98 nm
ETAASZeeman
193,70 nm
HAAS193,70 nm
ICP-AES188,98 nm
ICP-MS
mg/
kg s
s
Valori trovati Valore di riferimento
CONCLUSIONI Non è del tutto semplice determinare i microinquinanti inorganici,
soprattutto in matrici ambientali complesse ed eterogenee.L’uso routinario del materiale di riferimento permette di risolvere
problemi che non sarebbero neanche evidenziati, garantendo la qualitàdel dato finale.
La partecipazione a studi di intercalibrazione o ring-test si rivela molto utile, in alcuni casi risolutiva, poiché permette di valutare, mediante elaborazione statistica dei risultati, alcune criticità legate alle metodiche stesse di analisi e non ad errori dell’operatore.
La possibilità di scelta della tecnica strumentale più idonea è molto ampia, purché si prenda coscienza dei pregi e dei difetti di ogni tecnica strumentale.
La sensibilità è la possibilità di un metodo o di uno strumento di discriminare fra le risposte di misura
La sensibilità può essere considerata come il limite di rivelabilità
- ma questo termine è usato spesso senza definire che cosa si intende (rivelazione o quantificazione minima)
DQI la sensibilità descrive la possibilità di misurazione del costituente ai bassi livelli
- un livello pratico di quantificazione descrive la capacitàdi misurare un costituente con la certezza conosciuta
SENSIBILITÀ
Limiti di rivelabilitàLimite di rivelabilità strumentaleE’ la minima concentrazione misurata da cui si possa dedurre con ragionevolecertezza statistica la presenza dell’analita.E’ numericamente uguale a tre volte la deviazione standards del valore medio dellasoluzione standards dell’analita più prossima al bianco, sottratto del bianco stesso.Il calcolo deve essere effettuato su almeno dieci repliche di soluzione standards e dieci repliche di bianco.Il bianco è definito come il procedimento analitico completo, con omissione del campione di prova.
Limite di rivelabilità del metodoE’ la minima concentrazione misurata da cui si possa dedurre con ragionevolecertezza statistica la presenza dell’analita tenendo conto dell’intera proceduraanalitica.E’ numericamente uguale al limite di rivelabilità strumentale per il fattore didiluizione.
Limite di quantificazioneE’ il più basso tenore di analita misurabile con ragionevole certezza statistica. Qualora sia l’accuratezza che la precisione siano costanti in un campo diconcentrazione intorno al limite di rivelazione.Il limite di qualificazione sarà numericamente uguale a dieci volte la deviazionestandards del valore medio della soluzione standards dell’analita più prossima al bianco, sottratto del bianco stesso.Il bianco è definito come il procedimento analitico completo, con omissione del campione di prova.
Quality Associated with Calibration Regions
3σ 10 σ
Zero AnalyteConcentration
Region of high uncertainty
Region of certain detection
Region of less certain quantification
ApproximateMDL Level
Region of certainquantification
Instrument signal, standard deviation units
LODMatrix/method blank
Approximate PQL Level
LOQ
LOD = limit of detectionLOQ = limit of quantitationσ = population standard deviation
La verifica di dati si riferisce alle procedure necessarie per accertarsi se un insieme di dati sia una riflessione fedele di tutti i processi e le procedure seguite per generare i dati
la verifica è un processo di valutazione che richiede l'esame obiettivo della complessità, correttezza e conformità di uno specifico set di dati, rispetto ai metodi, alle procedure e alle condizioni progettuali precedentemente definite
VERIFICA
Attività tipiche di verifica-Confermare che le pratiche richieste dal metodo, dalla procedura o dai requisiti del progetto, siano state realmente impiegate
-Effettuare indipendentemente il doppio controllo dei calcoli
-Confermare che le note del laboratorio o di campo siano costanti con i rapporti convenzionali
-Valutazione analitica e incertezza del campo
-Controllare le operazioni sistema di gestione informativo del laboratorio
INDICATORI Quantitativi
DQIs da considerare nelle verifica
Completezza: Abbiamo ottenuto il numero voluto di punti di riferimenti dei campioni, con i metà dati corrispondenti?
Comparabilità: Possiamo confermare che tutti i campioni sono stati analizzati usando i metodi paragonabili?
Rappresentatività: Lo schema di campionamento previsto è stato seguitogiustamente?
La completezza è una misura della quantità di dati validi ottenuti da un sistema di misura, espresso come percentuale del numero di misure valide che dovrebbero essere raccolte
il DQI per la completezza è spesso espresso come percentuale
Completezza % = numero di risultati validi/numero di possibili risultati
COMPLETEZZA
La comparabilità è la confidenza con la quale un set di dati può essere comparato con un altro set di dati.
I set di dati da confrontare devono avere la stessa seguenza di analiti/varibili da ricercareLe unità di misura usate devono essere le stesseLe procedure analitiche usate devono essere equiparabili ed avere lo stesso tipo di performance: Precisione, Bias, Limiti di Rivelabilità, Standard utilizzatiI protocolli di assicurazione della qualità dei dati devono essere gli stessi (stessi QC)Le regole per escludere certi dati dai set devono essere uguali Il campionamento deve essere fatto in modo ed in tempistiche paragonabili e in posti uguali (dove possibile)Le variabili macroscopiche dei set devono essere paragonabili
COMPARABILITÀ
La rappresentatività è la misura del grado con cui i dati adeguatamente rappresentano una caratteristica di una popolazione di campioni o di una matrice d’interesse
Si misura mediante un appropriato programma di prelievo dei campioni (tecniche e procedure definite)
Si valuta mediante la valutazione dei dati relativi ai QC di campo
Influenze:l’omogeneità del sitol’omogeneità del campione rispetto ad un punto preciso dell’area campionata Carenza di informazioni nel piano di campionamento.L’utilizzo di metodiche analitiche non omogenee o con diversi DQO
RAPPRESENTATIVITÀ
VALIDAZIONE
E’ la conferma che deriva da un controllo dove si evidenzia il raggiungimento di obiettivi specifici richiesti, per un uso predefinito.
DQIs da considerare nella validazione
Sensibilità: I limiti di rivelabilità voluti sono stati realizzati?
Accuratezza: Sono stati raggiunti I recuperiprefissati?
Precisione: Sono stati raggiunti gli obiettivi delle prestazioni stabiliti nel programma dell’assicurazione della qualità?
INTEGRITÀ
La mancanza di integrità interessa tutte le funzioni dell'interpretazione di dati.
La mancanza di integrità include :– manipolazione delle misure di QC– la falsificazione dei dati– manipolazione dei risultati durante l'analisi– omissione di condurre i punti analitici richiesti– alterazione delle analisi dei risultati
RIFERIMENTI US-EPA
Sito: www.epa.gov/quality
QA/G-4 Guidance for the Data Quality Objectives Process
QA/G-5 EPA Guidance for Quality Assurance Project Plans
QA/G-5I Guidance for the Data Quality Indicators
QA/G-8 Guidance on Environmental Data Verification andValidation
SUGGERIMENTI ISS
Si ritiene che sussista una difformità non accettabile nel confronto tra i dati analitici dei laboratori a vario titolo coinvolti quando si verificano i seguenti casi:
Parametri inorganici: (metalli e non metalli): intervallo divariabilità tra i dati > ± 20%
Parametri organici: intervallo di variabilità tra i dati>±50%
Se si è in presenza di un caso del genere, si ritiene che si debba procedere nel seguente modo
SCENARIO A
Si procede ad una intercalibrazione, dalle risultanze di tale intercalibrazione si possono prospettare alcune situazioni:
1) entrambi i laboratori determinano correttamente i valori di concentrazione relativi al materiale di riferimento, e quindi dimostrano di lavorare con procedure idonee. In tal caso ripetere di nuovo le analisi dei due campioni, uniformando, ove necessario, i protocolli operativi adottati. Eventualmente operare uno scambio dei campioni al fine di verificare l’omogeneità degli stessi.
SCENARIO A
2) uno dei due laboratori non determina correttamente i valori certificati. In tal caso sarebbe opportuno per ulteriore conferma ripetere l’analisi da parte dell’altro laboratorio coinvolto, in presenza di un rappresentante del primo laboratorio. I valori determinati e confermati in questa fase saranno quelli da prendere per “validi”.
3) entrambi i laboratori non determinano correttamente i valori di concentrazione certificati. In tal caso prioritariamente andranno verificate le procedure analitiche adottate, al fine di produrre un protocollo condivisibile da entrambi i laboratori e ripetere le analisi. Qualora l’esito sia ancora negativo, si dovranno analizzare soluzioni “ad hoc” caso per caso in funzione delle procedure analitiche adottate, sia di preparazione del campione sia di tecnica strumentale.
SCENARIO B
Nel caso in cui sia impossibile reperire in commercio un materiale di riferimento in matrice suolo per lo specifico analita/i in questione, si può ipotizzare di produrne uno “ad hoc”, in cui l’analita/i è presente a concentrazione nota solo dall’Ente supervisore. Dopodiché si avranno gli stessi scenari ipotizzati al punto A).
SCENARIO CNel caso in cui non sia possibile reperire o produrre un
materiale che presenta le stesse caratteristiche di matrice e concentrazioni confrontabili di analita, si possono fare le seguenti ipotesi:
1. → prioritariamente procedere ad uno scambio dei 2 campioni originali e ripetere le analisi. Ciò permetteràuna prima valutazione sulla omogeneità dei due campioni.Nel caso di esito ancora discorde si dovrà utilizzare il terzo campione di suolo, fermo restando che il “terzo campione” sia da considerarsi rappresentativo della massa di suolo campionato, e facente parte dello stesso campione primario. Tale 3° campione andrà suddiviso in tre aliquote, di cui una conservata ancora come testimone da utilizzare eventualmente per una ulteriore indagine di dettaglio, e ripetere le analisi sulle aliquote del terzo campione
SCENARIO C
come ultima soluzione nell’ipotesi in cui si hanno anche sulle due aliquote del terzo campione di suolo dati discordanti, si propone di utilizzare la terza aliquota (qualora sufficiente in termini quantitativi per una analisi esaustiva) da analizzare congiuntamente, da parte di tutti i tecnici dei due laboratori interessati, dopo aver messo a punto concordemente un preciso protocollo operativo. I risultati ottenuti saranno considerati validi ai fini della caratterizzazione.
