of 54 /54
Method Evaluation 1 Method Evaluation and Method Validation ววววววว วววววว วววววววววววววววววววววววววววววววววววววว ววววววววววววววววววววววววววววววว วววววววววววววววววววววววววว Type of Analytical Method Reference Method Standard Method Routine Method http://home.kku.ac.th/wiskun/465211/MethodEvaluation.ppt http://home.kku.ac.th/wiskun/book/index.html

Method Evaluation and Method Validation

  • Upload
    hiroko

  • View
    684

  • Download
    2

Embed Size (px)

DESCRIPTION

Method Evaluation and Method Validation. วัตถุประสงค์ น.ศ.สามารถ 1. อธิบายวิธีการศึกษาเพื่อประเมินวิธีวิเคราะห์ได้ 2. วิเคราะห์และแปลความหมายผลการศึกษา เพื่อประเมินวิธีวิเคราะห์ได้. Type of Analytical Method. Reference Method Standard Method Routine Method. - PowerPoint PPT Presentation

Citation preview

Page 1: Method Evaluation  and  Method Validation

Method Evaluation 1

Method Evaluation and Method Validationวตถประสงค

น.ศ.สามารถ1. อธบายวธการศกษาเพอประเมนวธวเคราะหได2. วเคราะหและแปลความหมายผลการศกษา

เพอประเมนวธวเคราะหได

Type of Analytical MethodReference MethodStandard MethodRoutine Method

http://home.kku.ac.th/wiskun/465211/MethodEvaluation.ppthttp://home.kku.ac.th/wiskun/book/index.html

Page 2: Method Evaluation  and  Method Validation

2

Select, EvaluateDiagnostic Test

Select Methodof Analysis

Validate MethodPerformance

Implement Method

PerformTests

AcquireSpecimens

Check withStatistical QC

ReportResults

A Routine Laboratory Testing Process

Maintain MethodPrevent Problems

Develop MethodImprovements

Process for Establishing a Routine Test

From...http://www.westgard.com/lesson20.htm

Page 3: Method Evaluation  and  Method Validation

3

Method characteristicsApplication characteristics are factors that determine whethera method can be implemented in a particular laboratory situation.

Methodology characteristics are factors which, in principle, should contribute to best performance

Performance characteristics are factors which, in practice, demonstrate how well a method performs.

working range, precision, recovery, interference, accuracy, and sometimes detection limit

analytical sensitivity and analytical specificity of the method of analysis

choice of chemical reaction, optimization of reaction conditions, principles of standardization and calibration, and the rigor of the analytical procedure

cost-per-test, types of specimens sample volume, turnaround time, workload,equipment and personnel requirements, space, portability, and safety considerations

Page 4: Method Evaluation  and  Method Validation

Method Evaluation 4

Ideal Clinical Laboratory Test

• Perfect accuracy and precision• High analytical sensitivity

(a limit of detection of zero)• Absolute analytical specificity

(No interferences)

• Diagnostic sensitivity andspecificity of 100%

Analytical Performance

Diagnostic Performance

Area under ROC Curve closest to 1.0(Receiver Operating Characteristic)Likelihood ratios, LR >10 or LR <0.1

Page 5: Method Evaluation  and  Method Validation

Method Evaluation 5

ความถกตอง (Accuracy) คอ ความสามารถเขาใกลคาจรง(True Value) ของผลการวด

True Value ในทนคอ Conventional True Value (of a Quantity)คอ คาซงแสดงคณลกษณะของปรมาณเฉพาะเจาะจงทตกลงยอมรบรวมกนจากทประชม โดยมคาความไมแนนอน(uncertainty)ทเหมาะสมสำาหรบจดประสงคทกำาหนด

คำาศพททางดานมาตรวทยา. สถาบนมาตรวทยาแหงชาต [National Institute of Metrology(Thailand)]. [Online] sited on 27 April 2010. Available form URL http://www.nimt.or.th/knowledge/word.html

Page 6: Method Evaluation  and  Method Validation

Method Evaluation 6

ความแมนยำา (Precision) คอ1 .องศาของความสอดคลอง และเปนไปตามกนของการวดท

ไมขนตอกนของปรมาณอนหนงภายใตเงอนไขเดยวกน 2. คาความใกลเคยงกนของผลการวดซำาหลายๆ ครง ซงการ

วดหลายๆ ครง จะตองกระทำาภายใตสภาวะและเงอนไขเดยวกน

ความคลาดเคลอน (Error) คอ ผลของการวดลบดวยคาจรงของปรมาณทถกวด

Error = Measured Value - True Valueคำาศพททางดานมาตรวทยา. สถาบนมาตรวทยาแหงชาต [National Institute of Metrology(Thailand)]. [Online] sited on 27 April 2010. Available form URL http://www.nimt.or.th/knowledge/word.html

Page 7: Method Evaluation  and  Method Validation

Method Evaluation 7

ความไมแนนอน (Uncertainty) คอ 1 .ขอบเขตทกำาหนดไวแนนอน (Parameter) รวมกบ

ผลการวด ซงบอกลกษณะการกระจายของคาทไดจากวดซำาๆ กนทสามารถทำาใหอางไดสมเหตสมผลวาเปนของปรมาณทถกวด (Measurand)

2. การรายงานผลการวด จะตองรายงานคาความไมแนนอน

ปรมาณ = คาทวดได + ความไมแนนอน ทระดบความเชอมน …... %

คำาศพททางดานมาตรวทยา. สถาบนมาตรวทยาแหงชาต [National Institute of Metrology(Thailand)]. [Online] sited on 27 April 2010. Available form URL http://www.nimt.or.th/knowledge/word.html

Page 8: Method Evaluation  and  Method Validation

Method Evaluation 8

• Accuracy (ความถกตอง)• Precision (ความแมนยำา)• Analytical sensitivity (ความไวตอการวเคราะหปรมาณ)• Analytical specificity to include interfering substances

(ความจำาเพาะตอสารทวเคราะห)• Reportable range of patient test results

(ชวงทวเคราะหไดในตวอยางของวธตรวจ)• Reference range

(ชวงคาอางอง/ปกต ทพบในคนปกต)• Any other performance characteristic required for

test performance

Performance specifications of a new method are

Page 9: Method Evaluation  and  Method Validation

Method Evaluation 9

Analytical Method Evaluationวธวเคราะห/วธตรวจวด

การประเมนตองม• ขอมล/สารสนเทศ• เกณฑการตดสนใจ

ผลตรวจเชอถอได• ถกตอง (accuracy)• แมนยำา (precision)

เปาห

มาย

การประเมนวธวเคราะหวาใหผลตรวจนาเชอถอหรอไม

Page 10: Method Evaluation  and  Method Validation

Method Evaluation 10

XXXXXXXX

XXXXXXX

XXX

XXXXX X

TrueValue

ObservedMean

Systemic error, SERandom error, RETotal error, TE

Observed Distribution And Error concept of AccuracyWestgard JO. The Meaning and Application of Total ErrorSite on 5Jun09 From..http://www.westgard.com/essay111.htm

Page 11: Method Evaluation  and  Method Validation

Method Evaluation 11

คาจรง (x)

ผลตร

วจ (y

) y = x + 0ผลตรวจ = คาจรง

No error

y = x

+ b

y = ax +

0

Constant error

Proportional error

Systemic error (SE) Constant error (CE) Proportional error (PE)Random error (RE)

Systemic error & Random error

มรปแบบ error ทคาดการณได

มรปแบบ error ทคาดการณไมได

?

b0

Page 12: Method Evaluation  and  Method Validation

Method Evaluation 12

• Application characteristics study ศกษาหลกปฏกรยาตรวจและวธตรวจ• Linearity study ชวงการวเคราะหของวธ => Lower & Upper limit• Precision study ความแปรปรวนของผลวเคราะห (within run & between run)• Interference study การรบกวนวธวเคราะหของสารทอาจพบในตวอยางตรวจ• Recovery study ประมาณการ proportional error• Method comparison study เปรยบเทยบผลตรวจกบวธอางอง (Reference method)

Analytical Method Evaluation Study

Page 13: Method Evaluation  and  Method Validation

Method Evaluation 13

ชนดความผดพลาด การประเมนขนตน การประเมนขนปลาย

ความผดพลาดแบบสม (Random Error)

ความแมนยำาภายในชดการวเคราะหWithin-run study

ความแมนยำาระหวางชดการวเคราะหBetween-run study

ความผดพลาดคงท (Constant Error)

การศกษาการรบกวนInterference study

การศกษาเปรยบเทยบผลการตรวจกบวธอางองComparison study

ความผดพลาดแบบสดสวน (Proportional Error)

การศกษารคอเวอร และการศกษาไลเนยลตRecovery study and Linearity study

การศกษาเปรยบเทยบผลการตรวจกบวธอางองComparison study

ความผดพลาดแบบระบบ (Systematic Error)

การศกษาเปรยบเทยบผลการตรวจกบวธอางองComparison study

ลำาดบการศกษาเพอประเมนความผดพลาดของวธวเคราะห

Page 14: Method Evaluation  and  Method Validation

Method Evaluation 14

Abso

banc

e

ความเขมขน

Linearity

A = a·b·C

abAC ความสมพนธจรง

ความสมพนธตามการคำานวณของสมการ Beer’s law

ตำา สง 0.00

Linearity ของการวเคราะหดวยวธวดการดดกลนแสงคำานวณความเขมขนจากคา absorbance

Higher limit of detectionชวงการวเคราะห

analytical range

Lower limit of detection

Page 15: Method Evaluation  and  Method Validation

Method Evaluation 15

ศกยไ

ฟฟา

ความเขมขน

Low Cal

High Cal

ชวงการวเคราะหanalytical range

Higher limit of detection

Lower limit of detection

Lower limit Higher limit

Linearity ของการวเคราะหดวยวธวดศกยไฟฟา

Page 16: Method Evaluation  and  Method Validation

Method Evaluation 16คาคำานวณจากการเจอจางตวอยาง (x)

คาวเ

คราะ

หไดจ

ากวธ

วเคร

าะห

(y)

y = a

x + b

ตวอยางคาสง เจอจางLinearity study โดยใชตวอยางคาสงๆ

คาครอบคลมชวงตงแต0 ถง 1.5 เทาของคาทตรวจพบในงานประจำาวน

Linearity = คาสงสดของกลมขอมลททำาให slope = 1.00 + 0.03 และ intercept = 0.0 + within run precision

Page 17: Method Evaluation  and  Method Validation

Method Evaluation 17

Precision study

• ความแมนยำาของการตรวจวเคราะหซำาในชดการวเคราะห (Within Run Precision)

วเคราะหตวอยางเดมซำา 20 ครง แลวนำาผลการวเคราะหมาคำานวณสมประสทธความแปรปรวน (%CV) 100Mean

SDCV

มผลตรวจมากกวา 1 ขอมล ออกนอกชวง mean + 2 SDไมควรนำาวธนมาใช%CV < ½ ของ Intra-individual variation ของสารในรางกายเชน Total protein ม Intra-individual variation = 3%%CV ไมควรมากกวา 1.5%

Westgard แนะนำา within-run %CV ไมควรเกน 1/4 of TEa

Page 18: Method Evaluation  and  Method Validation

Method Evaluation 18

• ความแมนยำาของการตรวจวเคราะหซำาระหวางชดการวเคราะห (Between Run Precision)

Precision study

%CV ไมควรเกนคาความผดพลาดทยอมรบได (allowable error)ของการตรวจวดสารนน ?

Total proteinCLIA Acceptable Performance 10%Medical Decision Level 7.0 g/dlCLIA Allowable Error 0.70 g/dlMedically Allowable Error 0.51 g/dl

CLIA = Clinical Laboratory Improvement Amendments

1000.751.0

= 7.28%ทระดบ 7.0g% %CV ไมควรเกน Westgard แนะนำา beteween-run %CV ไมควรเกน 1/3 of TEa

Page 19: Method Evaluation  and  Method Validation

For short-term imprecision, the within-run standard deviation (sw-run) or the within-day standard deviation (sw-day) should be ¼ or less of the defined allowable total error to be acceptable, i.e., sw-run or sw-day < 0.25 TEa

For long-term imprecision, the total standard deviation (stot) should be 1/3 or less of the defined TE, i.e., stot < 0.33 TEa .

Analyze 1 sample of each of the 2 materials on 20 different days to estimate long-term imprecision

Select at least 2 different control materials that represent low and high medical decision concentrations for the test of interest

http://www.westgard.com/lesson22.htm

19Method Evaluation

TE = %Bias + Imprecision (z %CV)

Page 20: Method Evaluation  and  Method Validation

Method Evaluation 20

Total proteinCLIA Acceptable Performance 10%Medical Decision Level 7.0 g/dlCLIA Allowable Error 0.70 g/dlMedically Allowable Error 0.51 g/dl

การประมาณคา Random error (RE) จาก %CV

RE = 1.96 x imprecision Mean100CV%SD

Random error ทคา mean คำานวณจากสตร

%CV = 5.0%

35.00.71005SD

RE = 1.96 x 0.35 = 0.69

%28.71000.751.0

Medical Decision level = 7.0

RE = 1.96 x 5 = 9.8%

โดยใชโอกาสทางสถต (ประมาณ 1.96SD)

Page 21: Method Evaluation  and  Method Validation

Method Evaluation 21

NCCLS EP5-A2 Evaluation of Precision Performance of Quantitative Measurement Methods; Approved Guideline—Second Edition1) ตรวจวดตวอยางศกษา อยางนอย 20 วน2) ใน 1 วน ตรวจตวอยางศกษา 2 ครง และครงละ 2 ตวอยาง3) ในการตรวจตวอยางศกษาทกครง ตองมการตรวจตวอยางควบคม

คณภาพการตรวจดวย อยางนอย 1 ระดบความเขมขน4) การศกษา precision performance ตองทำากบตวอยางศกษา 2

ระดบความเขมขน เปนอยางนอย

Day# การตรวจครงท 1 การตรวจครงท 2R1p1 R1p2 R2p1 R2p2

1 242 246 245 2462 243 242 238 2383 247 239 241 240: : : : :: : : : :

19 241 239 247 24520 247 240 245 242

ตวอยางศกษา Level 1

Repeatability, Method precision

NCCLS. Evaluation of Precision Performance of Quantitative Measurement Methods; Approved Guideline—Second Edition.NCCLS document EP5-A2 (ISBN 1-56238-542-9). NCCLS, 940 West Valley Road, Suite 1400, Wayne, Pennsylvania 19087-1898 USA, 2004.

Page 22: Method Evaluation  and  Method Validation

Method Evaluation 22

Interference study ตวอยางตรวจทางเคมคลนกสวนมากเปน serum/plasmaสารรบกวนการวเคราะหทมโอกาสพบไดแก - hemoglobin จากการแตกของเมดเลอดแดง - ไขมนทมมากในบาง serum - บลรบนทมมากในบาง serum - ยาบางชนดทอาจมมากใน serum

• ตวอยางทไมมสารรบกวน

• ตวอยางทมสารรบกวน

hemoglobin 0 mg/dlbilirubin < 1.5 mg/dltriglyceride < 150mg/dl

ความเขมขนสารรบกวน ตงแตระดบตำาไปจนถงมากสดทคาดวาจะพบไดในตวอยางของงานประจำาวน

ความเขมขนทระดบคาอางอง

ตวอยางสำาหรบศกษา

Page 23: Method Evaluation  and  Method Validation

Method Evaluation 23

Bilirubin,200 mg/dl

Diluents Bilirubin

(mg/dl)

1.0 ml 3.0 ml 502.0 ml 2.0 ml 1003.0 ml 1.0 ml 150

ตวอยางทไมมสารรบกวน

Bilirubin

(mg/dl)1.0 ml 9.0 ml 01.0 ml 9.0 ml 51.0 ml 9.0 ml 101.0 ml 9.0 ml 15

Diluents

ตวอยางศกษาผลการรบกวนของ bilirubin ตอการตรวจวดกลโคส

Bilirubin

(mg/dl)

ผลตรวจวดกลโคส (mg/dl)ผลรบกวน, mg/dl1 2 3 เฉลย

0 99 100 101 1005 103 101 102 102 102-100 = 2

10 104 105 103 104 104-100 = 415 112 111 110 111 111-100 = 11

Page 24: Method Evaluation  and  Method Validation

Method Evaluation 24

Hemoglobin

(mg/dl)

ผลตรวจวดกลโคส (mg/dl)ผลรบกวน, mg/dl1 2 3 เฉลย

0100300500700

Triglyceride(mg/dl)

ผลตรวจวดกลโคส (mg/dl)ผลรบกวน, mg/dl1 2 3 เฉลย

0300500700

ศกษาการรบกวนของการแตกของเมดเลอดแดง (hemolytic serum)

ศกษาการรบกวนของไขมน (Lipimic serum)

Page 25: Method Evaluation  and  Method Validation

Method Evaluation 25

ตวอยางศกษา

ตวอยางผปวย

สารมาตรฐานกลโคส1,000 mg/dl

Diluents(DW)

กลโคสทเตม(mg/dl)

1 A 2.0 ml 0.1 ml -2 A 2.0 ml 0.1 ml = 47.63 B 2.0 ml 0.1 ml -4 B 2.0 ml 0.1 ml = 47.6

ตวอยางศกษา Recovery ของการตรวจวดกลโคส

1.21.0000,1

1.21.0000,1

Recovery study การศกษาโดยการเตมสารในปรมาณททราบวามความเขมขนเทาใดลงในตวอยางศกษาแลวนำามาตรวจวดและนำามาวเคราะหดวาตรวจวดไดเปนรอยละเทาใดของปรมาณทเตมเขาไปในตวอยาง

Page 26: Method Evaluation  and  Method Validation

Method Evaluation 26

ตวอยางศกษา

ผลตรวจวดกลโคส (mg/dl)วดกลโคสท

เตมได (mg/dl)

%Recovery1 2 3 เฉลย

1 51 53 54 52.7 - -2 97 100 98 98.3 98.3-52.7

= 45.63 124 120 121 121.7 - -4 169 166 164 166.3 166.3-

121.7= 44.6

80.951006.476.45

70.931006.476.44

Average = 94.75Proportional error (PE) = | 100 - %Recovery |PE = | 100 – 94.75 | = 5.25%

MD Level Med.AE PE 50 5.35 2.6120 12.7 6.3200 21.4 10.5

5010025.5

12010025.5

20010025.5

Page 27: Method Evaluation  and  Method Validation

Method Evaluation 27

ตวอยางศกษา

ผลตรวจวดกลโคส (mg/dl)วดกลโคสท

เตมได (mg/dl)

%Recovery1 2 3 เฉลย

1 51 53 54 52.7 - -2 97 100 98 98.3 98.3-52.7

= 45.63 124 120 121 121.7 - -4 169 166 164 166.3 166.3-

121.7= 44.6

80.951006.476.45

70.931006.476.44

Average = 94.75%Expectation[1] วดได 52.7 [2] เตมสาร 47.6 จง expected จะตรวจวดได 100.3 (52.7+47.6)แตตรวจวดได 98.3

[3] วดได 121.7 [4] เตมสาร 47.6 จง expected จะตรวจวดได 169.3 (121.7+47.6)แตตรวจวดได 166.3

0.981003.1003.98nExpectatio%

2.981003.1693.166nExpectatio%

Page 28: Method Evaluation  and  Method Validation

Method Evaluation 28

Method comparison study

ผลตรวจจากวธอางอง (x)

ผลตร

วจจา

กวธใ

หม (y

)

y = a

x + b

หรอ วธทใชในปจจบน

• y-intercept ใชประมาณคา CECE = y-intercept

• slope ใชประมาณคา PEPE = (slope-1)x100

• สมประสทธสหสมพนธ (r) และ sy/x ใชประเมน RE

ใชตวอยางศกษาอยางนอย 40 ตวอยาง

ใชประมาณคา systemic error (SE) SE = | Yc – Xc |Yc คำานวณจากสมการ y = a x + b โดยกำาหนดคา x = Xc

%𝐷𝑖𝑓𝑓 𝑜𝑟%𝑏𝑖𝑎𝑠= (𝑥𝑐− 𝑦 𝑐)𝑥𝑐

×100

Page 29: Method Evaluation  and  Method Validation

Method Evaluation 29

ผลการศกษาเปรยบเทยบการตรวจกลโคส

y = 0.973x - 5.7, r = 0.9941, n = 82, sy/x = 3.73.172x 9.161y

MD Level Med.AE PE SE 50 5.35 1.3 7.1120 12.7 3.2 8.9200 21.4 5.4 11.1

Xc Yc

50 42.9 <=0.973x50 - 5.7120 111.1 <=0.973x120 - 5.7200 188.9 <=0.973x200 - 5.7

• วธอางอง (x)• วธใหม (y)

ผลตางใชบอก SEน.ศ. ลองตอบคำาถามน เพอทบสอบความเขาใจคาทใชบอก RE คอ...คาทใชบอก CE คอ...คาทใชบอก PE คอ...

Page 30: Method Evaluation  and  Method Validation

Method Evaluation 30

22 )x(xN

yxxyNa

2N)YY(s2

cx/y

baXY

xayb

  X Y X2 Y2 XY Yc Y-Yc (Y-Yc)2

1 5.1 8.5 26.01 72.25 43.35 6.53 1.97 3.88

2 5.4 2.8 29.16 7.84 15.12 6.85-

4.05 16.40

3 3.6 3.2 12.96 10.24 11.52 4.94-

1.74 3.03

4 6.8 3.6 46.24 12.96 24.48 8.34-

4.74 22.43

5 6.6 7.4 43.56 54.76 48.84 8.12-

0.72 0.52

6 6.5 7.1 42.25 50.41 46.15 8.02-

0.92 0.84

7 11.4 10.0129.9

6100.0

0114.0

013.2

2-

3.22 10.35

8 5.3 6.2 28.09 38.44 32.86 6.74-

0.54 0.30

9 4.9 3.3 24.01 10.89 16.17 6.32-

3.02 9.12

10 9.8 8.4 96.04 70.56 82.32

11.52

-3.12 9.73

11 5.5 4.1 30.25 16.81 22.55 6.96

-2.86 8.16

12 6.3 4.6 39.69 21.16 28.98 7.80

-3.20 10.27

13 4.9 2.9 24.01 8.41 14.21 6.32

-3.42 11.69

14 3.5 2.5 12.25 6.25 8.75 4.83

-2.33 5.44

15 6.5 4.4 42.25 19.36 28.60 8.02

-3.62 13.08

16 11.1 7.1

123.21 50.41 78.81

12.90

-5.80 33.63

17 7.3 5.2 53.29 27.04 37.96 8.87

-3.67 13.44

18 6.2 6.9 38.44 47.61 42.78 7.70

-0.80 0.64

19 14.6 17.8

213.16

316.84

259.88

16.61 1.19 1.41

20 11.9 15.2

141.61

231.04

180.88

13.75 1.45 2.11

21 8.8 11.2 77.44

125.44 98.56

10.46 0.74 0.55

22 16.0 19.9

256.00

396.01

318.40

18.10 1.80 3.24

23 21.0 20.7

441.00

428.49

434.70

23.41

-2.71 7.32

24 3.4 2.4 11.56 5.76 8.16 4.73

-2.33 5.42

25 8.0 6.2 64.00 38.44 49.60 9.61

-3.41 11.62

26 8.2 6.5 67.24 42.25 53.30 9.82

-3.32 11.03

27 17.1 12.4

292.41

153.76

212.04

19.27

-6.87 47.15

28 11.4 7.4

129.96 54.76 84.36

13.22

-5.82 33.84

29 11.0 11.5

121.00

132.25

126.50

12.79

-1.29 1.67

30 12.7 13.8

161.29

190.44

175.26

14.60

-0.80 0.64

S260.

8243.

22818.

32740.

92699.

1310.

3-

67.1 298.9

Nxx

Nyy

])(][)([ 2222 yyNxxNyxxyNr

Page 31: Method Evaluation  and  Method Validation

Method Evaluation 31

y = 1.0612x - 1.1191R2 = 0.8068

0.0

5.0

10.0

15.0

20.0

25.0

0.0 5.0 10.0 15.0 20.0 25.0

Reference method

Eval

uate

d m

etho

dy = 1.005x - 0.1175

R2 = 0.9965

0.0

5.0

10.0

15.0

20.0

25.0

0.0 5.0 10.0 15.0 20.0 25.0Eval

uate

d m

etho

d

Reference methodMD level SE Yc

10 0.5 9.5 =1.0612x10-1.1191 15 0.2 14.8 =1.0612x15-1.1191

SE Yc

0.1 9.9 =1.005x10-0.11750.0 15.0 =1.005x15-0.1175

5 0.8 4.2 =1.0612x5-1.1191 0.1 4.9 =1.005x5-0.1175

25.051005

5.0101005

75.0151005

AcceptablePerformance 5% Allowable error

Page 32: Method Evaluation  and  Method Validation

Method Evaluation 32

NCCLS EP9-A2 Method Comparison and Bias Estimation Using Patient Samples;Approved Guideline—Second Edition1) ใชจำานวนตวอยางศกษา อยางนอย 40 ตวอยาง ทความเขมขนครอบคลม

ชวงคาทวธตรวจนนตรวจได และควรมคาทอยนอกชวงคาอางอง อยางนอย 50% (20 ตวอยาง)

2) การตรวจตวอยางศกษา ตองทำาอยางนอย 5 วน3) การตรวจตวอยางศกษาแตละตวอยาง ตองตรวจแบบ duplicate ทงวธ

ทตองการศกษาและวธทใชอางอง และตองมการตรวจตวอยางควบคมคณภาพการตรวจดวย

Sample#

Test Method Comparative Method

Result1 Result2 Result1 Result2123::

2940

NCCLS. Method Comparison and Bias Estimation Using Patient Samples; Approved Guideline—SecondEdition. NCCLS document EP9-A2 (ISBN 1-56238-472-4). NCCLS, 940 West Valley Road, Suite 1400,Wayne, Pennsylvania 19087-1898 USA, 2002.

Page 33: Method Evaluation  and  Method Validation

Method Evaluation 33

Sigma,

-6s -5s -4s -3s -2s -1s1s 2s 3s 4s 5s 6s

คอ คาเบยงเบนมาตรฐานของขอมล

SDWithin + SD

Out of range + SD

(%)(Per

million)

168.26894921

% 317,310.51

295.44997361

% 45,500.26

399.73002039

% 2,699.80

499.99366575

% 63.342

599.99994267

% 0.5733

699.99999980

% 0.0020+ 6SD+ 5SD+ 4SD+ 3SD+ 2SD+ 1SD

กรณขอมลมการกระจายแบบรประฆงคลำา (ปกต)ชวง Mean + SD ใชประมาณสดสวนจำานวนขอมลทอยในขอบเขตนน ดงตาราง

Six Sigma; 6

Page 34: Method Evaluation  and  Method Validation

Method Evaluation 34

1.5 SD

Accept region

Sigma Metric

DPMwithout shift

DPMwith 1.5s

shift

1.00 317,400 697,700

2.00 45,400 308,637

2.50 12,419 158,686

3.00 2,700 66,807

3.50 465 22,750

4.00 63 6,210

4.50 6.8 1,350

5.00 0.57 233

5.50 0.038 32

6.00 0.002 3.4

Defects Per Millionเปาหมายการผลตสนคา ตองการใหผลผลตมจำานวนเสยหายคดเปน Sigma metric = 6ภายใตการผลตท shift ไป 1.5sจำานวนสนคาทเสยหายตองไมเกน 3.4 DPM

-6s -5s -4s -3s -2s -1s1s 2s 3s 4s 5s 6s

ความคาดเคลอนของกระบวนงาน(ประสบการณจากบรษท โมโตโรลา; เกด shift ได 1.5SD)

Page 35: Method Evaluation  and  Method Validation

Method Evaluation 35

ยางรถยนตจำานวน 6,000,000 เสนทผลตและนำาไปใชพบวา เปนสาเหตทำาใหเกดอบตเหตจำานวน 2,000 ครงและมคนเสยชวตจำานวน 100 ครงDefect of production is 2,000

6,000,000333

1,000,000

= 333 DPM=

Sigma Metric

DPMwithout shift

DPMwith 1.5s

shift

1.00 317,400 697,700

2.00 45,400 308,637

2.50 12,419 158,686

3.00 2,700 66,807

3.50 465 22,750

4.00 63 6,210

4.50 6.8 1,350

5.00 0.57 233

5.50 0.038 32

6.00 0.002 3.4

Process performance is3.5 sigma metric using the DPMwithout shift column.5.0 sigma metric using the DPMwith 1.5s shift column.

Page 36: Method Evaluation  and  Method Validation

Method Evaluation 36

Six Sigma provides a new methodology for measuring process performance andrefines earlier methodologies for making process improvements.

ปจจบน องคการธรกจชนนำา ใช Sigma metric เปนตวช วดความสำาเรจ และมเปาหมายใหได ระดบ 6Airline baggage handling shows 4.15 SigmaAirline safty shows more than 6 Sigma

Page 37: Method Evaluation  and  Method Validation

Method Evaluation 37

Q-Probe QUALITY INDICATOR % ERROR DPM SIGMA*Order accuracy 1.8 % 18,000 3.60Duplicate test orders 1.52 15,200 3.65Wristband errors (not banded) 0.65 6,500 4.00TDM timing errors 24.4 244,000 2.20Hematology specimen acceptability 0.38 3,800 4.15Chemistry specimen acceptability 0.30 3,000 4.25Surgical pathology specimen accessioning 3.4 34,000 3.30

Cytology specimen adequacy 7.32 73,700 2.95Laboratory proficiency testing 0.9 9,000 3.85Surg path froz sect diagnostic discordance 1.7 17,000 3.60

PAP smear rescreening false negatives 2.4 24,000 3.45Reporting errors 0.0477 477 4.80*Conversion using table with allowance for 1.5s shift

From.. http://www.westgard.com/lesson66.htm

Nevalainen D, Berte L, Kraft C, Leigh E, Morgan T. Evaluating laboratory performance on quality indicators with the six sigma scale. Arch Pathol Lab Med 2000;124:516-519

Page 38: Method Evaluation  and  Method Validation

Method Evaluation 38

Inspect Outcomesand Count

DefectsCalculate DefectPer Million

(DPM)Convert DPM

to Sigma Metric

Measure Variationof Process

Calculate SD and

Process CapabilityConvert Capabilityto Sigma Metric

Measure Outcome

Measure Variation

Two Approaches for Measuring Process Performance

Page 39: Method Evaluation  and  Method Validation

Method Evaluation 39

Bias Imprecision

TrueMeasured value

Total Error (TE)

Systemic error Random error

ความผดพลาดทยอมรบได (total allowable error), TEa

Page 40: Method Evaluation  and  Method Validation

Method Evaluation 40

TE = Bias + ImprecisionTE = Bias + z CV

Bias Imprecision

TrueMeasured value

Total Error (TE)

Allowable total error, TEa

TEa = Bias + z CV

CVBiasTEz a

ใชคา z ประเมนคณภาพผลการตรวจของหองวเคราะห และ ตดตามการพฒนาคณภาพงานของหองคา Z คอคา Sigma ในทางสถตวเคราะห

Sigma metric concept

Page 41: Method Evaluation  and  Method Validation

Method Evaluation 41

0

2

4

6

8

10

12

0 1 2 3 4 5 6

Method Evaluation Chart for …………………………………………………….

Imprecision, %CV

Inac

cura

cy, %

Bias

Method Evaluation Decision (MEDx) Chartfor Judging Method Performance

Allowable Total Error (%): 10.00 % (at decision level)

Inaccuracy (%bias): 3.00% (Observed at decision level)

Imprecision (%CV): 2.50% (Observed at decision level)

TE = Bias + z Imprecision (TE - Bias)Imprecision = ------------- z

z = 2z = 3z = 4

Observed (2.5,3.0)inaccuracy and imprecision

Excellent performance

Good performance

Poor performanceMarginal performance

From… James O. Westgard CLIN LAB SCI vol. 8, no. 5, Sept/Oct 1995, 277-283

Region of UnacceptablePerformance

Page 42: Method Evaluation  and  Method Validation

Method Evaluation 42

Measurement responseZero or “Blank”

Lower Limitof Detection

LLDBiologic Limitof DetectionBLD

Functional Sensitivity

FS

LLD = meanblk + Z sblk BLD = LLD + Z sspk

“Spiked”sample

“Spiked”sample

FS is estimated as the mean concentration for a spiked sample whose CV is 20%. Westgard, JO. The detection limit experiment. from..http://www.westgard.com/lesson29.htm

Z sblk Z sspkZ is 2 or 3.

Different Concepts of detection limit

Page 43: Method Evaluation  and  Method Validation

Method Evaluation 43

ตวอยาง การศกษา LLD และ BDL ของ PSA measurementBlank sample ( 0 ug/L) : mean = 1000 unit SD = 100 unitSpike sample (10 ug/L) : mean = 2000 unit SD = 200 unit

LLD (ug/L) =

0 + 2 (

100X 10 ) = 2 ug/L(2000-

1000)BDL (ug/L) =

2 ug/L + 2 (

200X 10 ) = 6 ug/L(2000-

1000)SD of Spike sample (10 ug/L) = 200 unit equal to 2 ug/L

CV = 2 ug/L X 100 = 20 %10 ug/LFS = 10 ug/L

Page 44: Method Evaluation  and  Method Validation

Method Evaluation 44

http://home.kku.ac.th/chuare/10/referencevalue.pdf

เอกสารคำาสอน เรองคาอางอง (Reference Value)เขยนโดย รศ.ชชาต อารจตรานสรณ

• ประโยชนของคาอางอง• การเกบขอมลเพอกำาหนดคาอางอง

- ตวอยาง (เปนตวแทนของประชากรได)คำานวณจำานวนตวอยางทใชการศกษาhttp://home.kku.ac.th/wiskun/451710/SampleSizeCal.pdf

- วธตรวจ (ตองเชอถอได)• วธกำาหนดคาอางอง

- กรณขอมลกระจายแบบปกตmean + 2SD

- กรณขอมลกระจายแบบไมปกตPercentile 2.5% - 97.5%

Page 45: Method Evaluation  and  Method Validation

Method Evaluation 45

ปฏบตการฝกคำานวณ Reference Value• ใหนกศกษา download ขอมลตวอยาง จาก

http://home.kku.ac.th/wiskun/465211/DataForRefVal.xls

ซงใน Worksheet ชอ Data ของไฟลท download จะมขอมลผลตรวจสารเคมชนดตางๆ จากผตรวจสขภาพประจำาป จำานวน 852 คน• กำาหนดนยม "ผมสขภาพด" คอ• ม BMI ปกต (18.5 - 22.9 Kg/m2)

จงวเคราะหเพอกำาหนดคาอางองของผลตรวจสารเคมชนดตางๆ• กรณกำาหนดคาอางองโดยใชชวง Mean 2 SD• กรณกำาหนดคาอางองโดยใชคา Percentile ท 2.5% ถง percentile ท 97.5%

Page 46: Method Evaluation  and  Method Validation

Method Evaluation 46

ขนตอนการวเคราะห• คดกรองเอาเฉพาะขอมลทมคา BMI ปกต กอน• ใช Microsoft Excel function คำานวณคา

Mean [AVERAGE(…)], SD [STDEV(…)], Percentile ท 2.5%

[PERCENTILE(…,0.025)] และ Percentile ท 97.5% [PERCENTILE(…,0.975)]

เพอกำาหนดคาอางองกรณแยกตามเพศและกรณไมแยกตามเพศ

• ทำาตารางสรปผลการวเคราะหขอมลเพอกำาหนดคาอางองไวในอก Worksheetสงไฟลผลงานการวเคราะหให อ.วสทธ กงวานตระกลท e-mail: [email protected] หลงการฝกปฏบตเสรจ

Page 47: Method Evaluation  and  Method Validation

Method Evaluation 47

Diagnostic sensitivity and specificity

ผลตรวจบงช

พยาธสภาพ

รวมDisease Non-

diseasePositive True Positive

aFalse Positive

b a + bNegative

False Negative

cTrue Negative

d c + dรวม a + c b + d a+b+c+

d

EvaluatedMethod

Gold or StandardMethod

Diagnostic Performance

Page 48: Method Evaluation  and  Method Validation

Method Evaluation 48

Diagnostic sensitivity and specificityผลตรวจบงช พยาธสภาพ รวมDisease Non-disease

Positive True Positivea

False Positiveb (-error) a + b

Negative False Negativec (-error)

True Negatived c + d

รวม a + c b + d a+b+c+d

Sensitivity = Specificity =caa bd

d

Positive predictive value =

Negative predictive value =

baa

cdd

Efficiency = dcbada

Prevalence = dcbaca

Page 49: Method Evaluation  and  Method Validation

Method Evaluation 49

True PositiveTrue Negative

เปนโรค

ไมเปนโรค

Cut-off level

ความ

คาผลตรวจ

เปนโรค

ไมเปนโรค

A B C D

Cut-off level

ความ

คาผลตรวจ

No False NegativeFalse Positive

เปนโรค

ไมเปนโรค

A B C D

Cut-off level

ความ

คาผลตรวจ

เปนโรค

ไมเปนโรค

A B C D

Cut-off level

ความ

คาผลตรวจ

True PositiveTrue Negative

No False PositiveFalse Negative

True PositiveTrue Negative

False Positive

False Negative

ความไวสง และความจำาเพาะสง

ความไวตำา แตความจำาเพาะสง

ความไวสง แตความจำาเพาะตำา

True PositiveTrue Negative

ความไวสง และความจำาเพาะสง

No False PositiveNo False Negative

ผลตรวจบงชพยาธสภาพ

Disease Non-disease

Positive True Positivea

False Positive

b (-error)

NegativeFalse

Negativec (-error)

True Negative

d

Sensitivity = caa

Specificity = bdd

Page 50: Method Evaluation  and  Method Validation

Method Evaluation 50

Likelihood Ratio; LR

The likelihood ratio of a positive test result (LR+) is sensitivity divided by 1- specificity.

The likelihood ratio of a negative test result (LR-) is 1- sensitivity divided by specificity.

LR+ =

Sensitivity1-

Specificity

LR- =1-

SensitivitySpecificityIn general, a diagnostic test with an LR of >10 or <0.10 changes

pretest probability dramatically and is considered a strong diagnostic test.

Page 51: Method Evaluation  and  Method Validation

Method Evaluation 51

Sensitivity(%)

Specificity(%)

PPV(%) NPV(%)

UPCR > 0.15 96 53 66 91UPCR > 0.17 91 58 67 88UPCR > 0.19 89 70 74 88UPCR > 0.24 73 87 84 78UPCR > 0.28 66 95 93 75UPCR > 0.39 55 100 100 71UA protein > 1+

41 100 100 65

UA protein > 2+

23 100 100 28

UA protein > 3+

11 100 100 55

From: Dwyer BK, Gorman M, Carroll IR and Druzin M. Journal of Perinatology 2008;28:461–7.

การใช UPCR และ UA protein วนจฉยภาวะProteinurea (>300mg/24-h urine)

Page 52: Method Evaluation  and  Method Validation

Method Evaluation 52

Table 3 Likelihood ratios for the urine protein-creatinine ration and the urinalysis for different ranges of test results.Test Result Likelihood ratioa (95%

CI)Interpretation

UPCR < 0.15 0.07 (0.02 – 0.27) Negative 0.15 – 0.27

0.73 (0.44 – 1.20) Indeterminate

> 0.28 13.21 (4.3 – 40.5) PositiveUA Negative 0.59 (0.47 – 0.73) Indeterminate > 1+ 49.29 (3.1 – 792.8) PositiveAbbreviations: UA, urinalysis; UPCR, urine protein–creatinine ratio.a0.05 was added to empty cells to allow for the calculation of the likelihood ratios.From: Dwyer BK, Gorman M, Carroll IR and Druzin M. Journal of Perinatology 2008;28:461–7.

Page 53: Method Evaluation  and  Method Validation

Method Evaluation 53

Receiver Operating Characteristic curve

Page 54: Method Evaluation  and  Method Validation

Method Evaluation 54

Trueness

Accuracy

Precision

SystematicError

TotalError

RandomError

Bias

Uncertainty

StandardDeviation

PerformanceCharacteristics Kind of Error Term of Expression

Expression of analytical specific performance characteristics

From…Büttner J: Reference Materials and Reference Methods in Laboratory Medicine: A Challenge to International Cooperation, Eur J Clin Chem Clin Biochem, 32,8: 571-577, 1994.