1
Reicht positiv und negativ aus?
Qualitätskontrolle bei qualitativen Untersuchungen
Nürnberg, Köln, Hamburg, 2018
Ilka Richert, Bio-Rad Laboratories
2
FAQ‘s – Rili-BÄK
Wie sind hinsichtlich der Zuordnung zum Teil B1 infektionsserologische Verfahren einzustufen, deren Ergebnisse als Index oder Sample/Cut-Off ermittelt werden?
Es handelt sich bei der Ergebnisdarstellung zwar um die Angabe einer Zahl. Diese ist aber lediglich das Vielfache einer wie auch immer definierten Entscheidungsgrenze. Somit ist der Richtlinienteil B 1 nicht anzuwenden. Diese Verfahren werden üblicherweise bereits vom Hersteller als qualitative oder semiquantitative Verfahren klassifiziert. Im Übrigen gehören auch die semiquantitativen Verfahren zu den qualitativen Verfahren und sind dem Richtlinienteil B 2 zuzuordnen.
3
Rili-BÄK Teil B 2
4
Neustart
Kalibration
Reparatur
Wartung
Reagenz-chargenwechsel
(Verdünnung…)
Rili-BÄK Teil B 2
5
Sample Abs = 1054
Cut-off Abs = 456Sample S/CO
= 2,31
Befund:
Reaktiv
Der Weg zum Befund in der Infektionsserologie
• Validierung der Methode durch Hersteller definiert Einsatz als quantitativ oder nur qualitativ
• Auch qualitative Methoden arbeiten mit quantitativen Werten
6
Cut-Off Infektionsserologie
• Erfassung Serokonversion so früh wie möglich nach Infektion
• Unterscheidung negativ (nicht krank)
und positiv (krank)
• Überlappungsbereich (Graubereich)
• Festlegung Cut-Off-Wert kann durch Fehlklassifikationsrate beeinflusst werden:– Je höher der Cut-Off-Wert, desto weniger Patienten werden
erkannt (niedrige Trefferquote bzw. Sensitivität)
– Je niedriger der Cut-Off-Wert, desto mehr Patienten werden erkannt, aber auch falsch-positive Zuordnung (geringe Spezifität)
7
Festlegung des Cut-Off-Wertes
• 2 Standardabweichungen über dem Cut-Off-Wert der Gesunden
• 2 Standardabweichungen unter dem Mittelwert der Kranken
• ROC-Analyse
• Cut-Off-Werte können aufgrund empirischer Daten oder theoretisch festgelegt werden
• Messfehler des Tests ist zu beachten
8
Sensitivität & Spezifität
Anzahl richtig positiver Ergebnisse
Anzahl der KrankenSensitivität =
Anzahl richtig negativer Ergebnisse
Anzahl der GesundenSpezifität =
9
Hohe Sensitivität
Hohe Spezifität
Richtig positive Ergebnisse
Richtig negative Ergebnisse
Präzision/System stabil/RG-Chargen-
Wechsel?
Wichtige Aspekte in der Infektionsserologie
10
Bewertung der Kontrollergebnisse
Adäquates Kontrollmaterial
2 Voraussetzungen, um die Richtigkeit der Patientenergebnissesicherzustellen :
5.6.2 Qualitätssicherung5.6.2.1 AllgemeinesDas Laboratorium muss Verfahren zur Qualitätssicherung entwickeln, durch die das Erreichen der vorgesehenen Qualität der Ergebnisse nachgewiesen wird.
Wie kann Qualitätskontrolle helfen?
11
Unabhängige Kontrolle
• Ist nicht auf bestimmteReagenzien/Kalibratoreneingestellt
• Lange Laufzeit der Kon-trolle ermöglicht die Verlaufskontrolle über einen langen Zeitraum
• Kontrolle ist im klinischrelevanten, schwachpositiven Bereich (=Entscheidungsbereicheingestellt
• Multianalytkontrolle
In-Kit Kontrolle
ist zumeist das gleiche Material wie der Kalibrator
hat eine kurze Haltbarkeit od. an RG-Lot gebunden -keine langfristige Beurteilung
i.d.R. hoch positiv
wird oft zur Festlegung des S/C benötigt, ist deshalb auf den Test eingestellt und deshalb keine echte Kontrolle
In-house Kontrolle(Patientenpools)
Schwierig: Proben mit niedriger
Reaktivität
Handling
Stabilität für langfristige Beurteilung
Kontrolle derGerätehersteller
Ist immer eineEinzelkontrolle
Meist nur Angabedes Messbereichs
i.d.R. hoch positiv
Qualitätskontrollen in der Infektionsserologie
12
ISO 15189 – 5.6.2 Qualitätssicherung
5.6.2.2 QualitätskontrollmaterialienAnmerkung 2: Die Benutzung von Qualitätskontrollmaterialien einer unabhängigen Drittstelle sollte entweder anstelle oder zusätzlich zu den Qualitätskontrollmaterialien in Betracht gezogen werden, die durch den Hersteller der Reagenzien oder des Messgeräts geliefert werden.
5.6.2.2 QualitätskontrollmaterialienAnmerkung 1: Das Laboratorium sollte nach Möglichkeit bei den Qualitätskontrollmaterialien Konzentrationen aussuchen, welche speziell bei klinischen Entscheidungswerten oder nahe der klinischen Entscheidungswerte liegen, um die Validität der getroffenen Entscheidungen sicherstellen.
13
Infektionsserologie - Medizinisch relevante Konzentrationen
14
ISO 15189 - Risikomanagement
4.14.6 RisikomanagementDas Laboratorium muss die Auswirkung der Arbeitsprozesseund potenzieller Störungen auf die Untersuchungsergebnisse vor allem hinsichtlich der Patientensicherheit bewerten und muss Prozesse verändern, um die festgestellten Risiken zu verringern oder zu beseitigen und die Beschlüsse und Handlungen dokumentieren.
5.6.2.2 QualitätskontrollmaterialienQualitätskontrollmaterialien müssen regelmäßig und mit einer Häufigkeit untersucht werden, die auf der Stabilität des Verfahrens und dem Risiko einer möglichen Schädigung eines Patienten aufgrund eines fehlerhaften Ergebnisses beruht.
15
Häufigkeit: geringSchweregrad: hoch
Proben imCutoff-Bereich
Patient in Serokonversions-Phase:• Häufigkeit: 1:100.000 (Jahr) – geringes Risiko ABER• Schweregrad: Ein falsches Ergebnis hat ernste Folgen
Eine schwach positive Kontrolle kann das Risiko für fehlerhaftePatientenwerte minimieren
Risikomanagement
16
normal positiv
Falsch Neg. Falsch Pos.
VK 5 %
VK 10 %
Cut-offSpezifität Sensitivität
Kann eine Änderung in der Performance einRisiko sein?
17
Cut off
PositivNegativ
VK 15%
Graubereich +/- 5%
Unpräzision im Entscheidungsbereich
Quantifizierung/statistische Bewertung der Kontrollergebnisse:• Mittelwert• Standardabweichung• Variationskoeffizient• Fehlergrenze: 3 s Bereich
18
Anforderungen der Rili-BÄK
B 2 Qualitative laboratoriumsmedizinische Untersuchungen
2.1.2 (1)Die Bewertung der Untersuchungsergebnisse der Kontrollen hat unverzüglich nach Vorliegen des Ergebnisses zu erfolgen. Die Bewertung erfolgt an Hand der dem Kontrollmaterial zugewiesenen Zielvorgaben.
19
28,5 S/CO
X
Cut-Off-Bereich
HIV – Herstellerkontrolle mit großem Bereich
9,5 S/CO
1,0 S/CO
0,9 S/CO
Tage
Positiv
Negativ
+ 3s = + 9,51 S/CO
- 3s = - 9,51 S/CO
+ 2s = + 6,34 S/CO
+ 1s = + 3,17 S/CO
- 1s = - 3,17 S/CO
- 2s = - 6,34 S/CO
= 19 S/CO
20
InKit Kontrollen Positiv/Negativ
21
• Test: Anti-HCV, Hersteller XY
• Kontrolle: Bio-Rad Assayed VIROTROL-I
• Zielvorgaben Kontrolle
• Werte innerhalb der
Zielvorgaben:
→ Freigabe von Patientenwerten
Interne Qualitätssicherung: Rili-BÄK B 2
22
• Test: Anti-HCV, Hersteller XY
• Kontrolle: Bio-Rad Assayed VIROTROL-I
Warnung: 2s-BereichAbweisung: 3s-
Bereich
Interne Qualitätssicherung: 2 s / 3 s Bereiche
23
Grafische Beurteilung
24
- Wie sicher fühlen Sie sich bei Wechsel der Reagenz-charge?- Jede Reagenzcharge zeigt kleinere Variationen von Messung
zu Messung
- Jede neue Reagenzcharge kann größere Variationen zeigen
2 unterschiedlicheReagenzchargen
interne QC evtl. ok
mit unterschiedlicherPerformance
Einfluss auf die Patientenergebnisse?
MAABER
Patientenrisiko minimieren...
25
Labor startet mitneuer Virotrol Lot
am 28. März
Bis 6. Juni , MW : 6,47S/CO
VK : 5,68%außerhalb 3 s
6. Juni :Neue Reagenz-Lot
=> Ergebnisseaußerhalb 3 s
Erklärung fürShift:
Neue Reagenz-Lot
Reagenzchargenschwankungen
26
Performance mitalter Reagenz-Lot
MW: 6,47S/CO
VK : 5,68%
Auswirkung Shift ?
Performance mitneuer Reagenz-Lot
MW = 4,50 S/CO
VK = 3,6%
Reagenzchargenschwankungen
27
Reagenzchargenschwankungen
28
Alte Reagenz-Lot
GlobalePerformance des Test ist anders als
für einzelneReagenz-Lot
VK: 18,7%
Reagenzchargenschwankungen
29
Signifikante Veränderung der Ergebnisse -
Interpretation (falsch negativ)?
Die Verwendung einer neuer Reagenz-Lot hat einensignifikanten Einfluss auf die Kontrollergebnisse: Sind
Patientenergebnisse auch betroffen?
Interpretation
30
VK der Methode = 18,7%, Patientenergebnis = 3 s/co, Wiederfindungzwischen 1,88 and 4,12 ( 2s : 95,5% Vertrauensbereich)
Sample/cutoff
0 1 2 3 4
HerstellerWenn Patient < 1 S/Co
HIV negativ
HerstellerWenn Patient > 1 S/Co
HIV positiv
Labor Erfahrung :niedrigster
(Seroconversion) HIV positiv Wert
= 3 S/CO
5,15
Virotrol MW = 5,15VK = 18,7%
1,32 3 4,681,32 (-3s) 3 (+3s) 4,681,88 (-2s) 3 (+2s) 4,121,88 (-2s) 3 (+2s) 4,12
Interpretation
31
Hersteller XKontrolle
Hersteller XReagenz
UnabhängigeQualitätskontrolle
Kontroll-Lot 1
Reagenz-Lot 1
Kontroll-Lot 1
Kontroll-Lot 2 Kontroll-Lot 3
Reagenz-Lot 2 Reagenz-Lot 3
Zeit
Langfristige Beurteilung
32
• Beispiel: VIROTROL-I
Kontrolldatenvergleichsprogramm
33
Kontrolldatenvergleichsprogramm
Unabhängige Kontrollen
Präzision – Quantifizierung der QC Ergebnisse
Langfristige Beurteilung (RG-Chargen-Wechsel)
Medizinisch relevante Bereiche
Sichere Patientenergebnisse – Was ist zubeachten?