Method Evaluation and Method Validation

Method Evaluation 1

Method Evaluation and Method Validationวตถประสงค

น.ศ.สามารถ1. อธบายวธการศกษาเพอประเมนวธวเคราะหได2. วเคราะหและแปลความหมายผลการศกษา

เพอประเมนวธวเคราะหได

Type of Analytical MethodReference MethodStandard MethodRoutine Method

http://home.kku.ac.th/wiskun/465211/MethodEvaluation.ppthttp://home.kku.ac.th/wiskun/book/index.html

2

Select, EvaluateDiagnostic Test

Select Methodof Analysis

Validate MethodPerformance

Implement Method

PerformTests

AcquireSpecimens

Check withStatistical QC

ReportResults

A Routine Laboratory Testing Process

Maintain MethodPrevent Problems

Develop MethodImprovements

Process for Establishing a Routine Test

From...http://www.westgard.com/lesson20.htm

3

Method characteristicsApplication characteristics are factors that determine whethera method can be implemented in a particular laboratory situation.

Methodology characteristics are factors which, in principle, should contribute to best performance

Performance characteristics are factors which, in practice, demonstrate how well a method performs.

working range, precision, recovery, interference, accuracy, and sometimes detection limit

analytical sensitivity and analytical specificity of the method of analysis

choice of chemical reaction, optimization of reaction conditions, principles of standardization and calibration, and the rigor of the analytical procedure

cost-per-test, types of specimens sample volume, turnaround time, workload,equipment and personnel requirements, space, portability, and safety considerations

Method Evaluation 4

Ideal Clinical Laboratory Test

• Perfect accuracy and precision• High analytical sensitivity

(a limit of detection of zero)• Absolute analytical specificity

(No interferences)

• Diagnostic sensitivity andspecificity of 100%

Analytical Performance

Diagnostic Performance

Area under ROC Curve closest to 1.0(Receiver Operating Characteristic)Likelihood ratios, LR >10 or LR <0.1

Method Evaluation 5

ความถกตอง (Accuracy) คอ ความสามารถเขาใกลคาจรง(True Value) ของผลการวด

True Value ในทนคอ Conventional True Value (of a Quantity)คอ คาซงแสดงคณลกษณะของปรมาณเฉพาะเจาะจงทตกลงยอมรบรวมกนจากทประชม โดยมคาความไมแนนอน(uncertainty)ทเหมาะสมสำาหรบจดประสงคทกำาหนด

คำาศพททางดานมาตรวทยา. สถาบนมาตรวทยาแหงชาต [National Institute of Metrology(Thailand)]. [Online] sited on 27 April 2010. Available form URL http://www.nimt.or.th/knowledge/word.html

Method Evaluation 6

ความแมนยำา (Precision) คอ1 .องศาของความสอดคลอง และเปนไปตามกนของการวดท

ไมขนตอกนของปรมาณอนหนงภายใตเงอนไขเดยวกน 2. คาความใกลเคยงกนของผลการวดซำาหลายๆ ครง ซงการ

วดหลายๆ ครง จะตองกระทำาภายใตสภาวะและเงอนไขเดยวกน

ความคลาดเคลอน (Error) คอ ผลของการวดลบดวยคาจรงของปรมาณทถกวด

Error = Measured Value - True Valueคำาศพททางดานมาตรวทยา. สถาบนมาตรวทยาแหงชาต [National Institute of Metrology(Thailand)]. [Online] sited on 27 April 2010. Available form URL http://www.nimt.or.th/knowledge/word.html

Method Evaluation 7

ความไมแนนอน (Uncertainty) คอ 1 .ขอบเขตทกำาหนดไวแนนอน (Parameter) รวมกบ

ผลการวด ซงบอกลกษณะการกระจายของคาทไดจากวดซำาๆ กนทสามารถทำาใหอางไดสมเหตสมผลวาเปนของปรมาณทถกวด (Measurand)

2. การรายงานผลการวด จะตองรายงานคาความไมแนนอน

ปรมาณ = คาทวดได + ความไมแนนอน ทระดบความเชอมน …... %

คำาศพททางดานมาตรวทยา. สถาบนมาตรวทยาแหงชาต [National Institute of Metrology(Thailand)]. [Online] sited on 27 April 2010. Available form URL http://www.nimt.or.th/knowledge/word.html

Method Evaluation 8

• Accuracy (ความถกตอง)• Precision (ความแมนยำา)• Analytical sensitivity (ความไวตอการวเคราะหปรมาณ)• Analytical specificity to include interfering substances

(ความจำาเพาะตอสารทวเคราะห)• Reportable range of patient test results

(ชวงทวเคราะหไดในตวอยางของวธตรวจ)• Reference range

(ชวงคาอางอง/ปกต ทพบในคนปกต)• Any other performance characteristic required for

test performance

Performance specifications of a new method are

Method Evaluation 9

Analytical Method Evaluationวธวเคราะห/วธตรวจวด

การประเมนตองม• ขอมล/สารสนเทศ• เกณฑการตดสนใจ

ผลตรวจเชอถอได• ถกตอง (accuracy)• แมนยำา (precision)

เปาห

มาย

การประเมนวธวเคราะหวาใหผลตรวจนาเชอถอหรอไม

Method Evaluation 10

XXXXXXXX

XXXXXXX

XXX

XXXXX X

TrueValue

ObservedMean

Systemic error, SERandom error, RETotal error, TE

Observed Distribution And Error concept of AccuracyWestgard JO. The Meaning and Application of Total ErrorSite on 5Jun09 From..http://www.westgard.com/essay111.htm


คาจรง (x)

ผลตร

วจ (y

) y = x + 0ผลตรวจ = คาจรง

No error

y = x

+ b

y = ax +

0

Constant error

Proportional error

Systemic error (SE) Constant error (CE) Proportional error (PE)Random error (RE)

Systemic error & Random error

มรปแบบ error ทคาดการณได

มรปแบบ error ทคาดการณไมได

?

b0


• Application characteristics study ศกษาหลกปฏกรยาตรวจและวธตรวจ• Linearity study ชวงการวเคราะหของวธ => Lower & Upper limit• Precision study ความแปรปรวนของผลวเคราะห (within run & between run)• Interference study การรบกวนวธวเคราะหของสารทอาจพบในตวอยางตรวจ• Recovery study ประมาณการ proportional error• Method comparison study เปรยบเทยบผลตรวจกบวธอางอง (Reference method)

Analytical Method Evaluation Study


ชนดความผดพลาด การประเมนขนตน การประเมนขนปลาย

ความผดพลาดแบบสม (Random Error)

ความแมนยำาภายในชดการวเคราะหWithin-run study

ความแมนยำาระหวางชดการวเคราะหBetween-run study

ความผดพลาดคงท (Constant Error)

การศกษาการรบกวนInterference study

การศกษาเปรยบเทยบผลการตรวจกบวธอางองComparison study

ความผดพลาดแบบสดสวน (Proportional Error)

การศกษารคอเวอร และการศกษาไลเนยลตRecovery study and Linearity study


ความผดพลาดแบบระบบ (Systematic Error)


ลำาดบการศกษาเพอประเมนความผดพลาดของวธวเคราะห


Abso

banc

e

ความเขมขน

Linearity

A = a·b·C

abAC ความสมพนธจรง

ความสมพนธตามการคำานวณของสมการ Beer’s law

ตำา สง 0.00

Linearity ของการวเคราะหดวยวธวดการดดกลนแสงคำานวณความเขมขนจากคา absorbance

Higher limit of detectionชวงการวเคราะห

analytical range

Lower limit of detection


ศกยไ

ฟฟา

ความเขมขน

Low Cal

High Cal

ชวงการวเคราะหanalytical range

Higher limit of detection

Lower limit of detection

Lower limit Higher limit

Linearity ของการวเคราะหดวยวธวดศกยไฟฟา

Method Evaluation 16คาคำานวณจากการเจอจางตวอยาง (x)

คาวเ

คราะ

หไดจ

ากวธ

วเคร

าะห

(y)

y = a

x + b

ตวอยางคาสง เจอจางLinearity study โดยใชตวอยางคาสงๆ

คาครอบคลมชวงตงแต0 ถง 1.5 เทาของคาทตรวจพบในงานประจำาวน

Linearity = คาสงสดของกลมขอมลททำาให slope = 1.00 + 0.03 และ intercept = 0.0 + within run precision


Precision study

• ความแมนยำาของการตรวจวเคราะหซำาในชดการวเคราะห (Within Run Precision)

วเคราะหตวอยางเดมซำา 20 ครง แลวนำาผลการวเคราะหมาคำานวณสมประสทธความแปรปรวน (%CV) 100Mean

SDCV

มผลตรวจมากกวา 1 ขอมล ออกนอกชวง mean + 2 SDไมควรนำาวธนมาใช%CV < ½ ของ Intra-individual variation ของสารในรางกายเชน Total protein ม Intra-individual variation = 3%%CV ไมควรมากกวา 1.5%

Westgard แนะนำา within-run %CV ไมควรเกน 1/4 of TEa


• ความแมนยำาของการตรวจวเคราะหซำาระหวางชดการวเคราะห (Between Run Precision)

Precision study

%CV ไมควรเกนคาความผดพลาดทยอมรบได (allowable error)ของการตรวจวดสารนน ?

Total proteinCLIA Acceptable Performance 10%Medical Decision Level 7.0 g/dlCLIA Allowable Error 0.70 g/dlMedically Allowable Error 0.51 g/dl

CLIA = Clinical Laboratory Improvement Amendments

1000.751.0

= 7.28%ทระดบ 7.0g% %CV ไมควรเกน Westgard แนะนำา beteween-run %CV ไมควรเกน 1/3 of TEa

For short-term imprecision, the within-run standard deviation (sw-run) or the within-day standard deviation (sw-day) should be ¼ or less of the defined allowable total error to be acceptable, i.e., sw-run or sw-day < 0.25 TEa

For long-term imprecision, the total standard deviation (stot) should be 1/3 or less of the defined TE, i.e., stot < 0.33 TEa .

Analyze 1 sample of each of the 2 materials on 20 different days to estimate long-term imprecision

Select at least 2 different control materials that represent low and high medical decision concentrations for the test of interest

http://www.westgard.com/lesson22.htm

19Method Evaluation

TE = %Bias + Imprecision (z %CV)


Total proteinCLIA Acceptable Performance 10%Medical Decision Level 7.0 g/dlCLIA Allowable Error 0.70 g/dlMedically Allowable Error 0.51 g/dl

การประมาณคา Random error (RE) จาก %CV

RE = 1.96 x imprecision Mean100CV%SD

Random error ทคา mean คำานวณจากสตร

%CV = 5.0%

35.00.71005SD

RE = 1.96 x 0.35 = 0.69

%28.71000.751.0

Medical Decision level = 7.0

RE = 1.96 x 5 = 9.8%

โดยใชโอกาสทางสถต (ประมาณ 1.96SD)

http://www.westgard.com/clia.htm


NCCLS EP5-A2 Evaluation of Precision Performance of Quantitative Measurement Methods; Approved Guideline—Second Edition1) ตรวจวดตวอยางศกษา อยางนอย 20 วน2) ใน 1 วน ตรวจตวอยางศกษา 2 ครง และครงละ 2 ตวอยาง3) ในการตรวจตวอยางศกษาทกครง ตองมการตรวจตวอยางควบคม

คณภาพการตรวจดวย อยางนอย 1 ระดบความเขมขน4) การศกษา precision performance ตองทำากบตวอยางศกษา 2

ระดบความเขมขน เปนอยางนอย

Day# การตรวจครงท 1 การตรวจครงท 2R1p1 R1p2 R2p1 R2p2

1 242 246 245 2462 243 242 238 2383 247 239 241 240: : : : :: : : : :

19 241 239 247 24520 247 240 245 242

ตวอยางศกษา Level 1

Repeatability, Method precision

NCCLS. Evaluation of Precision Performance of Quantitative Measurement Methods; Approved Guideline—Second Edition.NCCLS document EP5-A2 (ISBN 1-56238-542-9). NCCLS, 940 West Valley Road, Suite 1400, Wayne, Pennsylvania 19087-1898 USA, 2004.


Interference study ตวอยางตรวจทางเคมคลนกสวนมากเปน serum/plasmaสารรบกวนการวเคราะหทมโอกาสพบไดแก - hemoglobin จากการแตกของเมดเลอดแดง - ไขมนทมมากในบาง serum - บลรบนทมมากในบาง serum - ยาบางชนดทอาจมมากใน serum

• ตวอยางทไมมสารรบกวน

• ตวอยางทมสารรบกวน

hemoglobin 0 mg/dlbilirubin < 1.5 mg/dltriglyceride < 150mg/dl

ความเขมขนสารรบกวน ตงแตระดบตำาไปจนถงมากสดทคาดวาจะพบไดในตวอยางของงานประจำาวน

ความเขมขนทระดบคาอางอง

ตวอยางสำาหรบศกษา


Bilirubin,200 mg/dl

Diluents Bilirubin

(mg/dl)

1.0 ml 3.0 ml 502.0 ml 2.0 ml 1003.0 ml 1.0 ml 150

ตวอยางทไมมสารรบกวน

Bilirubin

(mg/dl)1.0 ml 9.0 ml 01.0 ml 9.0 ml 51.0 ml 9.0 ml 101.0 ml 9.0 ml 15

Diluents

ตวอยางศกษาผลการรบกวนของ bilirubin ตอการตรวจวดกลโคส

Bilirubin

(mg/dl)

ผลตรวจวดกลโคส (mg/dl)ผลรบกวน, mg/dl1 2 3 เฉลย

0 99 100 101 1005 103 101 102 102 102-100 = 2

10 104 105 103 104 104-100 = 415 112 111 110 111 111-100 = 11


Hemoglobin

(mg/dl)


0100300500700

Triglyceride(mg/dl)


0300500700

ศกษาการรบกวนของการแตกของเมดเลอดแดง (hemolytic serum)

ศกษาการรบกวนของไขมน (Lipimic serum)


ตวอยางศกษา

ตวอยางผปวย

สารมาตรฐานกลโคส1,000 mg/dl

Diluents(DW)

กลโคสทเตม(mg/dl)

1 A 2.0 ml 0.1 ml -2 A 2.0 ml 0.1 ml = 47.63 B 2.0 ml 0.1 ml -4 B 2.0 ml 0.1 ml = 47.6

ตวอยางศกษา Recovery ของการตรวจวดกลโคส

1.21.0000,1

1.21.0000,1

Recovery study การศกษาโดยการเตมสารในปรมาณททราบวามความเขมขนเทาใดลงในตวอยางศกษาแลวนำามาตรวจวดและนำามาวเคราะหดวาตรวจวดไดเปนรอยละเทาใดของปรมาณทเตมเขาไปในตวอยาง



ผลตรวจวดกลโคส (mg/dl)วดกลโคสท

เตมได (mg/dl)

%Recovery1 2 3 เฉลย

1 51 53 54 52.7 - -2 97 100 98 98.3 98.3-52.7

= 45.63 124 120 121 121.7 - -4 169 166 164 166.3 166.3-

121.7= 44.6

80.951006.476.45

70.931006.476.44

Average = 94.75Proportional error (PE) = | 100 - %Recovery |PE = | 100 – 94.75 | = 5.25%

MD Level Med.AE PE 50 5.35 2.6120 12.7 6.3200 21.4 10.5

5010025.5

12010025.5

20010025.5



ผลตรวจวดกลโคส (mg/dl)วดกลโคสท

เตมได (mg/dl)

%Recovery1 2 3 เฉลย

1 51 53 54 52.7 - -2 97 100 98 98.3 98.3-52.7

= 45.63 124 120 121 121.7 - -4 169 166 164 166.3 166.3-

121.7= 44.6

80.951006.476.45

70.931006.476.44

Average = 94.75%Expectation[1] วดได 52.7 [2] เตมสาร 47.6 จง expected จะตรวจวดได 100.3 (52.7+47.6)แตตรวจวดได 98.3

[3] วดได 121.7 [4] เตมสาร 47.6 จง expected จะตรวจวดได 169.3 (121.7+47.6)แตตรวจวดได 166.3

0.981003.1003.98nExpectatio%

2.981003.1693.166nExpectatio%


Method comparison study

ผลตรวจจากวธอางอง (x)

ผลตร

วจจา

กวธใ

หม (y

)

y = a

x + b

หรอ วธทใชในปจจบน

• y-intercept ใชประมาณคา CECE = y-intercept

• slope ใชประมาณคา PEPE = (slope-1)x100

• สมประสทธสหสมพนธ (r) และ sy/x ใชประเมน RE

ใชตวอยางศกษาอยางนอย 40 ตวอยาง

ใชประมาณคา systemic error (SE) SE = | Yc – Xc |Yc คำานวณจากสมการ y = a x + b โดยกำาหนดคา x = Xc

%𝐷𝑖𝑓𝑓 𝑜𝑟%𝑏𝑖𝑎𝑠= (𝑥𝑐− 𝑦 𝑐)𝑥𝑐

×100


ผลการศกษาเปรยบเทยบการตรวจกลโคส

y = 0.973x - 5.7, r = 0.9941, n = 82, sy/x = 3.73.172x 9.161y

MD Level Med.AE PE SE 50 5.35 1.3 7.1120 12.7 3.2 8.9200 21.4 5.4 11.1

Xc Yc

50 42.9 <=0.973x50 - 5.7120 111.1 <=0.973x120 - 5.7200 188.9 <=0.973x200 - 5.7

• วธอางอง (x)• วธใหม (y)

ผลตางใชบอก SEน.ศ. ลองตอบคำาถามน เพอทบสอบความเขาใจคาทใชบอก RE คอ...คาทใชบอก CE คอ...คาทใชบอก PE คอ...


22 )x(xN

yxxyNa

2N)YY(s2

cx/y

baXY

xayb

X Y X2 Y2 XY Yc Y-Yc (Y-Yc)2

1 5.1 8.5 26.01 72.25 43.35 6.53 1.97 3.88

2 5.4 2.8 29.16 7.84 15.12 6.85-

4.05 16.40

3 3.6 3.2 12.96 10.24 11.52 4.94-

1.74 3.03

4 6.8 3.6 46.24 12.96 24.48 8.34-

4.74 22.43

5 6.6 7.4 43.56 54.76 48.84 8.12-

0.72 0.52

6 6.5 7.1 42.25 50.41 46.15 8.02-

0.92 0.84

7 11.4 10.0129.9

6100.0

0114.0

013.2

2-

3.22 10.35

8 5.3 6.2 28.09 38.44 32.86 6.74-

0.54 0.30

9 4.9 3.3 24.01 10.89 16.17 6.32-

3.02 9.12

10 9.8 8.4 96.04 70.56 82.32

11.52

-3.12 9.73

11 5.5 4.1 30.25 16.81 22.55 6.96

-2.86 8.16

12 6.3 4.6 39.69 21.16 28.98 7.80

-3.20 10.27

13 4.9 2.9 24.01 8.41 14.21 6.32

-3.42 11.69

14 3.5 2.5 12.25 6.25 8.75 4.83

-2.33 5.44

15 6.5 4.4 42.25 19.36 28.60 8.02

-3.62 13.08

16 11.1 7.1

123.21 50.41 78.81

12.90

-5.80 33.63

17 7.3 5.2 53.29 27.04 37.96 8.87

-3.67 13.44

18 6.2 6.9 38.44 47.61 42.78 7.70

-0.80 0.64

19 14.6 17.8

213.16

316.84

259.88

16.61 1.19 1.41

20 11.9 15.2

141.61

231.04

180.88

13.75 1.45 2.11

21 8.8 11.2 77.44

125.44 98.56

10.46 0.74 0.55

22 16.0 19.9

256.00

396.01

318.40

18.10 1.80 3.24

23 21.0 20.7

441.00

428.49

434.70

23.41

-2.71 7.32

24 3.4 2.4 11.56 5.76 8.16 4.73

-2.33 5.42

25 8.0 6.2 64.00 38.44 49.60 9.61

-3.41 11.62

26 8.2 6.5 67.24 42.25 53.30 9.82

-3.32 11.03

27 17.1 12.4

292.41

153.76

212.04

19.27

-6.87 47.15

28 11.4 7.4

129.96 54.76 84.36

13.22

-5.82 33.84

29 11.0 11.5

121.00

132.25

126.50

12.79

-1.29 1.67

30 12.7 13.8

161.29

190.44

175.26

14.60

-0.80 0.64

S260.

8243.

22818.

32740.

92699.

1310.

3-

67.1 298.9

Nxx

Nyy

])(][)([ 2222 yyNxxNyxxyNr


y = 1.0612x - 1.1191R2 = 0.8068

0.0

5.0

10.0

15.0

20.0

25.0

0.0 5.0 10.0 15.0 20.0 25.0

Reference method

Eval

uate

d m

etho

dy = 1.005x - 0.1175

R2 = 0.9965

0.0

5.0

10.0

15.0

20.0

25.0

0.0 5.0 10.0 15.0 20.0 25.0Eval

uate

d m

etho

d

Reference methodMD level SE Yc

10 0.5 9.5 =1.0612x10-1.1191 15 0.2 14.8 =1.0612x15-1.1191

SE Yc

0.1 9.9 =1.005x10-0.11750.0 15.0 =1.005x15-0.1175

5 0.8 4.2 =1.0612x5-1.1191 0.1 4.9 =1.005x5-0.1175

25.051005

5.0101005

75.0151005

AcceptablePerformance 5% Allowable error


NCCLS EP9-A2 Method Comparison and Bias Estimation Using Patient Samples;Approved Guideline—Second Edition1) ใชจำานวนตวอยางศกษา อยางนอย 40 ตวอยาง ทความเขมขนครอบคลม

ชวงคาทวธตรวจนนตรวจได และควรมคาทอยนอกชวงคาอางอง อยางนอย 50% (20 ตวอยาง)

2) การตรวจตวอยางศกษา ตองทำาอยางนอย 5 วน3) การตรวจตวอยางศกษาแตละตวอยาง ตองตรวจแบบ duplicate ทงวธ

ทตองการศกษาและวธทใชอางอง และตองมการตรวจตวอยางควบคมคณภาพการตรวจดวย

Sample#

Test Method Comparative Method

Result1 Result2 Result1 Result2123::

2940

NCCLS. Method Comparison and Bias Estimation Using Patient Samples; Approved Guideline—SecondEdition. NCCLS document EP9-A2 (ISBN 1-56238-472-4). NCCLS, 940 West Valley Road, Suite 1400,Wayne, Pennsylvania 19087-1898 USA, 2002.


Sigma,

-6s -5s -4s -3s -2s -1s1s 2s 3s 4s 5s 6s

คอ คาเบยงเบนมาตรฐานของขอมล

SDWithin + SD

Out of range + SD

(%)(Per

million)

168.26894921

% 317,310.51

295.44997361

% 45,500.26

399.73002039

% 2,699.80

499.99366575

% 63.342

599.99994267

% 0.5733

699.99999980

% 0.0020+ 6SD+ 5SD+ 4SD+ 3SD+ 2SD+ 1SD

กรณขอมลมการกระจายแบบรประฆงคลำา (ปกต)ชวง Mean + SD ใชประมาณสดสวนจำานวนขอมลทอยในขอบเขตนน ดงตาราง

Six Sigma; 6


1.5 SD

Accept region

Sigma Metric

DPMwithout shift

DPMwith 1.5s

shift

1.00 317,400 697,700

2.00 45,400 308,637

2.50 12,419 158,686

3.00 2,700 66,807

3.50 465 22,750

4.00 63 6,210

4.50 6.8 1,350

5.00 0.57 233

5.50 0.038 32

6.00 0.002 3.4

Defects Per Millionเปาหมายการผลตสนคา ตองการใหผลผลตมจำานวนเสยหายคดเปน Sigma metric = 6ภายใตการผลตท shift ไป 1.5sจำานวนสนคาทเสยหายตองไมเกน 3.4 DPM

-6s -5s -4s -3s -2s -1s1s 2s 3s 4s 5s 6s

ความคาดเคลอนของกระบวนงาน(ประสบการณจากบรษท โมโตโรลา; เกด shift ได 1.5SD)


ยางรถยนตจำานวน 6,000,000 เสนทผลตและนำาไปใชพบวา เปนสาเหตทำาใหเกดอบตเหตจำานวน 2,000 ครงและมคนเสยชวตจำานวน 100 ครงDefect of production is 2,000

6,000,000333

1,000,000

= 333 DPM=

Sigma Metric

DPMwithout shift

DPMwith 1.5s

shift

1.00 317,400 697,700

2.00 45,400 308,637

2.50 12,419 158,686

3.00 2,700 66,807

3.50 465 22,750

4.00 63 6,210

4.50 6.8 1,350

5.00 0.57 233

5.50 0.038 32

6.00 0.002 3.4

Process performance is3.5 sigma metric using the DPMwithout shift column.5.0 sigma metric using the DPMwith 1.5s shift column.


Six Sigma provides a new methodology for measuring process performance andrefines earlier methodologies for making process improvements.

ปจจบน องคการธรกจชนนำา ใช Sigma metric เปนตวช วดความสำาเรจ และมเปาหมายใหได ระดบ 6Airline baggage handling shows 4.15 SigmaAirline safty shows more than 6 Sigma


Q-Probe QUALITY INDICATOR % ERROR DPM SIGMA*Order accuracy 1.8 % 18,000 3.60Duplicate test orders 1.52 15,200 3.65Wristband errors (not banded) 0.65 6,500 4.00TDM timing errors 24.4 244,000 2.20Hematology specimen acceptability 0.38 3,800 4.15Chemistry specimen acceptability 0.30 3,000 4.25Surgical pathology specimen accessioning 3.4 34,000 3.30

Cytology specimen adequacy 7.32 73,700 2.95Laboratory proficiency testing 0.9 9,000 3.85Surg path froz sect diagnostic discordance 1.7 17,000 3.60

PAP smear rescreening false negatives 2.4 24,000 3.45Reporting errors 0.0477 477 4.80*Conversion using table with allowance for 1.5s shift

From.. http://www.westgard.com/lesson66.htm

Nevalainen D, Berte L, Kraft C, Leigh E, Morgan T. Evaluating laboratory performance on quality indicators with the six sigma scale. Arch Pathol Lab Med 2000;124:516-519


Inspect Outcomesand Count

DefectsCalculate DefectPer Million

(DPM)Convert DPM

to Sigma Metric

Measure Variationof Process

Calculate SD and

Process CapabilityConvert Capabilityto Sigma Metric

Measure Outcome

Measure Variation

Two Approaches for Measuring Process Performance


Bias Imprecision

TrueMeasured value

Total Error (TE)

Systemic error Random error

ความผดพลาดทยอมรบได (total allowable error), TEa


TE = Bias + ImprecisionTE = Bias + z CV

Bias Imprecision

TrueMeasured value

Total Error (TE)

Allowable total error, TEa

TEa = Bias + z CV

CVBiasTEz a

ใชคา z ประเมนคณภาพผลการตรวจของหองวเคราะห และ ตดตามการพฒนาคณภาพงานของหองคา Z คอคา Sigma ในทางสถตวเคราะห

Sigma metric concept


0

2

4

6

8

10

12

0 1 2 3 4 5 6

Method Evaluation Chart for …………………………………………………….

Imprecision, %CV

Inac

cura

cy, %

Bias

Method Evaluation Decision (MEDx) Chartfor Judging Method Performance

Allowable Total Error (%): 10.00 % (at decision level)

Inaccuracy (%bias): 3.00% (Observed at decision level)

Imprecision (%CV): 2.50% (Observed at decision level)

TE = Bias + z Imprecision (TE - Bias)Imprecision = ------------- z

z = 2z = 3z = 4

Observed (2.5,3.0)inaccuracy and imprecision

Excellent performance

Good performance

Poor performanceMarginal performance

From… James O. Westgard CLIN LAB SCI vol. 8, no. 5, Sept/Oct 1995, 277-283

Region of UnacceptablePerformance


Measurement responseZero or “Blank”

Lower Limitof Detection

LLDBiologic Limitof DetectionBLD

Functional Sensitivity

FS

LLD = meanblk + Z sblk BLD = LLD + Z sspk

“Spiked”sample

“Spiked”sample

FS is estimated as the mean concentration for a spiked sample whose CV is 20%. Westgard, JO. The detection limit experiment. from..http://www.westgard.com/lesson29.htm

Z sblk Z sspkZ is 2 or 3.

Different Concepts of detection limit


ตวอยาง การศกษา LLD และ BDL ของ PSA measurementBlank sample ( 0 ug/L) : mean = 1000 unit SD = 100 unitSpike sample (10 ug/L) : mean = 2000 unit SD = 200 unit

LLD (ug/L) =

0 + 2 (

100X 10 ) = 2 ug/L(2000-

1000)BDL (ug/L) =

2 ug/L + 2 (

200X 10 ) = 6 ug/L(2000-

1000)SD of Spike sample (10 ug/L) = 200 unit equal to 2 ug/L

CV = 2 ug/L X 100 = 20 %10 ug/LFS = 10 ug/L


http://home.kku.ac.th/chuare/10/referencevalue.pdf

เอกสารคำาสอน เรองคาอางอง (Reference Value)เขยนโดย รศ.ชชาต อารจตรานสรณ

• ประโยชนของคาอางอง• การเกบขอมลเพอกำาหนดคาอางอง

- ตวอยาง (เปนตวแทนของประชากรได)คำานวณจำานวนตวอยางทใชการศกษาhttp://home.kku.ac.th/wiskun/451710/SampleSizeCal.pdf

- วธตรวจ (ตองเชอถอได)• วธกำาหนดคาอางอง

- กรณขอมลกระจายแบบปกตmean + 2SD

- กรณขอมลกระจายแบบไมปกตPercentile 2.5% - 97.5%


ปฏบตการฝกคำานวณ Reference Value• ใหนกศกษา download ขอมลตวอยาง จาก

http://home.kku.ac.th/wiskun/465211/DataForRefVal.xls

ซงใน Worksheet ชอ Data ของไฟลท download จะมขอมลผลตรวจสารเคมชนดตางๆ จากผตรวจสขภาพประจำาป จำานวน 852 คน• กำาหนดนยม "ผมสขภาพด" คอ• ม BMI ปกต (18.5 - 22.9 Kg/m2)

จงวเคราะหเพอกำาหนดคาอางองของผลตรวจสารเคมชนดตางๆ• กรณกำาหนดคาอางองโดยใชชวง Mean 2 SD• กรณกำาหนดคาอางองโดยใชคา Percentile ท 2.5% ถง percentile ท 97.5%




ขนตอนการวเคราะห• คดกรองเอาเฉพาะขอมลทมคา BMI ปกต กอน• ใช Microsoft Excel function คำานวณคา

Mean [AVERAGE(…)], SD [STDEV(…)], Percentile ท 2.5%

[PERCENTILE(…,0.025)] และ Percentile ท 97.5% [PERCENTILE(…,0.975)]

เพอกำาหนดคาอางองกรณแยกตามเพศและกรณไมแยกตามเพศ

• ทำาตารางสรปผลการวเคราะหขอมลเพอกำาหนดคาอางองไวในอก Worksheetสงไฟลผลงานการวเคราะหให อ.วสทธ กงวานตระกลท e-mail: [email protected] หลงการฝกปฏบตเสรจ

mailto:[email protected]


Diagnostic sensitivity and specificity

ผลตรวจบงช

พยาธสภาพ

รวมDisease Non-

diseasePositive True Positive

aFalse Positive

b a + bNegative

False Negative

cTrue Negative

d c + dรวม a + c b + d a+b+c+

d

EvaluatedMethod

Gold or StandardMethod

Diagnostic Performance


Diagnostic sensitivity and specificityผลตรวจบงช พยาธสภาพ รวมDisease Non-disease

Positive True Positivea

False Positiveb (-error) a + b

Negative False Negativec (-error)

True Negatived c + d

รวม a + c b + d a+b+c+d

Sensitivity = Specificity =caa bd

d

Positive predictive value =

Negative predictive value =

baa

cdd

Efficiency = dcbada

Prevalence = dcbaca


True PositiveTrue Negative

เปนโรค

ไมเปนโรค

Cut-off level

ความ

ถ

คาผลตรวจ

เปนโรค


A B C D

Cut-off level

ความ

ถ


No False NegativeFalse Positive

เปนโรค


A B C D

Cut-off level

ความ

ถ


เปนโรค


A B C D

Cut-off level

ความ

ถ



No False PositiveFalse Negative


False Positive

False Negative

ความไวสง และความจำาเพาะสง

ความไวตำา แตความจำาเพาะสง

ความไวสง แตความจำาเพาะตำา


ความไวสง และความจำาเพาะสง

No False PositiveNo False Negative

ผลตรวจบงชพยาธสภาพ

Disease Non-disease

Positive True Positivea

False Positive

b (-error)

NegativeFalse

Negativec (-error)

True Negative

d

Sensitivity = caa

Specificity = bdd

ก

ค

ข

ง


Likelihood Ratio; LR

The likelihood ratio of a positive test result (LR+) is sensitivity divided by 1- specificity.

The likelihood ratio of a negative test result (LR-) is 1- sensitivity divided by specificity.

LR+ =

Sensitivity1-

Specificity

LR- =1-

SensitivitySpecificityIn general, a diagnostic test with an LR of >10 or <0.10 changes

pretest probability dramatically and is considered a strong diagnostic test.


Sensitivity(%)

Specificity(%)

PPV(%) NPV(%)

UPCR > 0.15 96 53 66 91UPCR > 0.17 91 58 67 88UPCR > 0.19 89 70 74 88UPCR > 0.24 73 87 84 78UPCR > 0.28 66 95 93 75UPCR > 0.39 55 100 100 71UA protein > 1+

41 100 100 65

UA protein > 2+

23 100 100 28

UA protein > 3+

11 100 100 55

From: Dwyer BK, Gorman M, Carroll IR and Druzin M. Journal of Perinatology 2008;28:461–7.

การใช UPCR และ UA protein วนจฉยภาวะProteinurea (>300mg/24-h urine)


Table 3 Likelihood ratios for the urine protein-creatinine ration and the urinalysis for different ranges of test results.Test Result Likelihood ratioa (95%

CI)Interpretation

UPCR < 0.15 0.07 (0.02 – 0.27) Negative 0.15 – 0.27

0.73 (0.44 – 1.20) Indeterminate

> 0.28 13.21 (4.3 – 40.5) PositiveUA Negative 0.59 (0.47 – 0.73) Indeterminate > 1+ 49.29 (3.1 – 792.8) PositiveAbbreviations: UA, urinalysis; UPCR, urine protein–creatinine ratio.a0.05 was added to empty cells to allow for the calculation of the likelihood ratios.From: Dwyer BK, Gorman M, Carroll IR and Druzin M. Journal of Perinatology 2008;28:461–7.


Receiver Operating Characteristic curve


Trueness

Accuracy

Precision

SystematicError

TotalError

RandomError

Bias

Uncertainty

StandardDeviation

PerformanceCharacteristics Kind of Error Term of Expression

Expression of analytical specific performance characteristics

From…Büttner J: Reference Materials and Reference Methods in Laboratory Medicine: A Challenge to International Cooperation, Eur J Clin Chem Clin Biochem, 32,8: 571-577, 1994.

Documents

Method Evaluation and Method Validation