KULLANICI TARAFINDAN

TESTİN DOĞRULANMASI

(VERİFİKASYON)

Dr. Murat Öktem

Düzen Laboratuvarlar Grubu

Kaynaklar

• CLSI EP5-A2: Evaluation of Precision Performance of Quantitative

Measurement Methods (2004)

• CLSI EP6-A2: Evaluation of the Linearity of Quantitative Measurement

Procedures: A Statistical Approach (2003)

• CLSI EP9-A2: Method Comparison and Bias Estimation Using Patient

Samples (2002)

• CLSI EP10-A3: Preliminary Evaluation of Quantitative Clinical Laboratory

Measurement Procedures (2006)

• CLSI EP15-A2: User Verification of Performance for Precision and

Trueness (2005)

• CLSI EP17-A: Protocols for Determination of Limits of Quantitation

(2004)

• CLSI EP28-A2: How to Define and Determine Reference Intervals in the

Clinical Laboratory (2000)

• CAP Laboratory General Checklist, 2007

2

Geçerli Kılma (Validasyon) – Doğrulama (Verifikasyon)

• Mühendislik

• Yazılım

• Eğitim

• İlaç endüstrisi

• İstatistik

• Dokümantasyon

• Sosyoloji

• Test metotları

• Öngörü / Tahmin

3

Testin Geçerli Kılınması (Validasyon)• Tanım

• Referans

• Kullanıcı tarafından kesinlik (precision) ve doğruluk

(trueness) yönünden üretici beyanının doğrulanması

• Sadece üretici bilgileri ve validasyonu yeterli değildir, her

laboratuvar kendi verifikasyonunu yapmalıdır

• Verifikasyon rutin çalışma öncesi yapılmalıdır

• Yılda iki kez tekrarlanmalıdır

Testin Doğrulanması (Verifikasyon)

4

Testin Doğrulanması (Verifikasyonu)

• Analitik doğruluk (accuracy)

• Metot karşılaştırma

• Tekrarlanabilirlik (precision)

• Analitik duyarlılık (sensitivity) (Alt ölçüm sınırı)

• Analitik etkileşim (interference)

• Rapor edilebilir aralık• Analitik ölçüm aralığı (analytical measurable range)

• Klinik rapor edilebilir aralık (clinical reportable range)

• Referans aralığı

5

Analitik doğruluk (accuracy)

1. Referans metotla karşılaştırma

2. Kontrol materyali ile karşılaştırma

(QC1, QC2, QC3)

6

Metot Karşılaştırma – 1• En basiti 20 örnek çalışılmasıdır (CLSI-EP15-A2)

Bu örnekler beklenen aralıkta olmalıdır (M1-M20)

• Aynı örnekler 2 metotla da çalışılır

• Ortalama bias hesaplanır ve değerlendirilir

• Temel kitaplar (Tietz, Kaplan, vb.), CLIA limitleri,

Westgard web sitesi gibi kaynaklarla karşılaştırılır

7

Metot Karşılaştırma – 2• Regresyon analizi ile karşılaştırma yapılması çok daha

iyidir. İdeal sonuç slope=1, intercept=0, r=0,99

• Slope: Proportional bias, genellikle metotlar arası kalibrasyon

farkına bağlıdır

• Intercept: Constant bias, kalibrasyon veya set pointe bağlı

olabilir

• r: Çizilen çizgiye yakınlığı gösterir. Outlier ve tekrar gereklilikleri

gözden geçirilmelidir

• Ör: y= 1,28x – 44,6

• Slope 1,28

Demek ki yeni metot %28 daha yüksek sonuç veriyor

• Intercept -44,6

Demek ki yeni metotla absolute fark 44,6 birim daha düşük

8

Metot Karşılaştırma – 3

• Bias plot: İki metot arası % farklarla ayrı bir grafik

de hazırlanabilir. Bu sayede hangi düzeyde ne

kadar fark var görülebilir

• Bias varsa öncelikle kalibratör gözden geçirilmelidir

• Daha fazla örnek ile karşılaştırma yapmak gerekir

• Problem olan düzeye odaklanmak faydalı olabilir

• Dış kalite kontrol verileri de takip edilmelidir

9

Tekrarlanabilirlik (Precision)

• 2 düzey, 5 gün, 3’er çalışma yap (EP15-A2) (QC1, QC2)

• SS hesapla ve üretici verisi ile karşılaştır. SS yüksekse

neden araştır

• Klinik olarak karşılaşılabilecek düzeydeki örnekleri kullan.

Referans aralığı içinde olması şart değil

• Stabil olmayan analitler için hasta örnekleri yerine, ticari

kontrol veya kalibratörler kullanılabilir

10

Analitik Duyarlılık (Sensitivity)

(Alt ölçüm sınırı)

• Blank ve düşük düzey pozitif örnekler kullanılır

• Blank: Zero kalibratör

• Düşük düzey pozitif örnek ise üretici verilerine göre seçilir

• 20 blank çalış. ≥17 alt ölçüm sınırından düşük ise blank

valide edilmiştir (BL1-BL20)

• 20 düşük düzey çalış, >17 blank’in üzerinde ise alt ölçüm

sınırı valide edilmiştir (LP1-LP20)

11

Analitik Etkileşim (Interference)

• Bu madde için onaylanmış bir prosedür yoktur

• Hemolizli (H1-H5), Lipemik (L1-L5), Diyaliz (D1-D10)

• Toplam 20 çalışma yap

12

Rapor Edilebilir Aralık

• Analytical measurable range (AMR) (QC1, QC2, QC3)

• Cihazın direkt olarak rapor edebileceği sınırlar

• Linearite olarak da adlandırılır

• Metot kullanıma girmeden teyit edilmelidir

• 3 düzey kullanılır (düşük, orta, yüksek)

• Hasta örneği, kontrol, vb. kullanılabilir

• Clinically reportable range (CRR)

• Dilüsyon, vb. ile rapor edilebilecek sınırlar

• Laboratuvar yöneticisinin kararıdır, teyit gerektirmez

13

Referans Aralığı

• Her laboratuvarın kendi referans aralığını belirlemesi gerekmez

ama belirlenmiş referans aralığını teyit etmesi gerekir

• Kullanılabilecek kaynaklar

• Üretici önerileri

• Referans laboratuvarlar

• Makaleler

• Daha önce kullanılan/belirlenmiş referans aralıklar

• 20 sağlıklı olduğunu düşündüğün birey seç ve çalış (N1-N20)

• <2 limit dışı ise referans aralığı teyit edilmiştir

• ≥2 limit dışı ise yeni bir 20’li set çalış

• Teyit edilemezse yeniden referans aralık belirlenmesi gerekir

• Gaussian dağılım gösteriyorsa 120 örnek, göstermiyorsa 200 örnek ile

çalışma yapılmalıdır

14

Testin Doğrulanması (Verifikasyonu)

• Ticari kitler

• Laboratuvar içi geliştirilmiş, kalitatif dahil

uyarlanan tüm metotlar

• İlaç analizleri

15

Ticari kitlerin metot doğrulaması

sırasında tüm bu işlemlerin

yapılması şart değildir

Yapılması mecbur olanlar

• Analitik doğruluk (Accuracy)

• Tekrarlanabilirlik (Precision)

• Rapor edilebilir aralık

• Analytical measurable range (AMR)

• Clinically reportable range (CRR)

• Referans aralığı

16

17

*

* Yoksa, firmanın sağladığı kontrol örneği sadece o cihaz ve reaktif için kullanılabilir

18

Hazırlanacak örnekler (Mecburi)

QC1 15

QC2 15

QC3 7

N1-N20 20

Pazartesi Salı Çarşamba Perşembe Cuma

QC1, QC2, QC3 QC1, QC2 QC1, QC2 QC1, QC2 QC1, QC2

QC1, QC2, QC3 QC1, QC2 QC1, QC2 QC1, QC2 QC1, QC2

QC1, QC2, QC3 QC1, QC2 QC1, QC2 QC1, QC2 QC1, QC2

QC1, QC2, QC3 N1-N20

QC1, QC2, QC3

QC1, QC2, QC3

QC1, QC2, QC3

Çalışma programı (n= minimum 30 + 20)

19

Hazırlanacak örnekler (Genişletilmiş)

QC1 20

QC2 20

QC3 7

M1-M20 20 (rastgele seçilmiş serum)

BL1-BL20 20

L1-L20 20

H1-H5 5

LP1-LP5 5

D1-D10 10

20

Pazartesi Salı Çarşamba Perşembe Cuma

QC1, QC2, QC3 QC1, QC2 QC1, QC2 QC1, QC2 QC1, QC2

QC1, QC2, QC3 QC1, QC2 QC1, QC2 QC1, QC2 QC1, QC2

QC1, QC2, QC3 QC1, QC2 QC1, QC2 QC1, QC2 QC1, QC2

QC1, QC2, QC3 M1-M20 BL-BL20 L1-L20 H1-H5

QC1, QC2, QC3 LP1-LP5

QC1, QC2, QC3 D1-D10

QC1, QC2, QC3

Çalışma programı (n=125)

21

Kaynaklar

• CLSI EP5-A2: Evaluation of Precision Performance of Quantitative

Measurement Methods (2004)

• CLSI EP6-A2: Evaluation of the Linearity of Quantitative Measurement

Procedures: A Statistical Approach (2003)

• CLSI EP9-A2: Method Comparison and Bias Estimation Using Patient

Samples (2002)

• CLSI EP10-A3: Preliminary Evaluation of Quantitative Clinical Laboratory

Measurement Procedures (2006)

• CLSI EP15-A2: User Verification of Performance for Precision and

Trueness (2005)

• CLSI EP17-A: Protocols for Determination of Limits of Quantitation

(2004)

• CLSI EP28-A2: How to Define and Determine Reference Intervals in the

Clinical Laboratory (2000)

• CAP Laboratory General Checklist, 2007

22