Evidence-Based Medicine: Risk & Harm

อ. นพ.นวนรรน ธระอมพรพนธ

ภาควชาเวชศาสตรชมชน คณะแพทยศาสตร รพ.รามาธบด

สไลดบางสวนดดแปลงจากเอกสารประกอบการสอนของคณาจารยภาควชาเวชศาสตรชมชน คณะแพทยศาสตรโรงพยาบาลรามาธบด มหาวทยาลยมหดล

Epidemiology Reviews Study Designs Advantages & Disadvantages of Study Designs Risk Calculations & Confidence Intervals Number Needed to Harm

Risk & Harm Key Concepts Checklist

Epidemiology (ระบาดวทยา) เปนการศกษาในประชากร (demio = population) แบงออกเปน Descriptive

epidemiology ศกษาเชงพรรณนา ไมมการเปรยบเทยบระหวางตวแปร

Analytical epidemiologyศกษาเชงวเคราะห มการเปรยบเทยบระหวางตวแปรหรอระหวางกลม

Medical statistics(Biostatistics: ชวสถต) สถตทเกยวขอทางการแพทย แบงออกเปน Descriptive statistics

สถตเชงพรรณนา ไมมการเปรยบเทยบระหวางกลม

Inferential statistics สถตเชงอนมาน เปนการสรปผลในประชากรจากผลของกลมตวอยาง

Study

Designs

Assigned exposure

Laboratory

Animal

Human

Analytical

Descriptive

Comparison

group

No comparison

group

Natural exposure

Clinical trial

Field trial

Community trial

Experimental

Observational

Cohort study

Case-control study

Cross-sectional study

Ecological study

Longitudinal study


Case series

Case report4

5

กลมสมผสปจจยเสยง

Exposed

กลมเกดโรค

กลมไมเกดโรค

a

b

กลมไมสมผสปจจยเสยง

Not exposedกลมเกดโรค


c

d

Populationat risk

ปจจบน อนาคต

6

กลมสมผสปจจยเสยง

Exposed

กลมเกดโรค


a

b

กลมไมสมผสปจจยเสยง

Not exposedกลมเกดโรค


c

d

Populationat risk

อดต ปจจบน

Disease + Disease - Total

Exposed (E+) a b a+b

Unexposed (E-) c d c+d

Total a+c b+d a+b+c+d

Risk of disease among exposed = a

a+b

Risk of disease among unexposed =c

c+d

Relative risk or risk ratio (RR) = a

a+bc

c+d

RR = 1: No effectRR > 1: Harmful effect of exposureRR < 1: Protective effect of exposure

8

Source

Population

Disease (Cases)

No Disease(Controls)

Exposed

Unexposed

Exposed

Unexposed

Direction of inquiry

(Usually more controls than cases)





Odds of exposure among diseased (cases) = a

c

Odds of exposure among non-diseased (controls) =b

d

Odds ratio (OR) = a

cb

d

= ad

bc

OR = 1: No effectOR > 1: Harmful effect of exposureOR < 1: Protective effect of exposure

Risk of disease among exposed & risk of disease among non-exposed not meaningful because cases (Disease +) & controls (Disease -) are selected separately


Retrospective study Prospective study

Prevalence in

Short Period

“Snapshot”

At present time





Odds of exposure among diseased = a

c

Odds of exposure among non-diseased =b

d

Odds ratio (OR) = a

cb

d

= ad

bc

OR = 1: No effectOR > 1: Harmful effect of exposureOR < 1: Protective effect of exposure

การทดลองเปรยบเทยบประสทธผลของวธการรกษาระหวางกลม เชน กลม intervention (treatment group) กบกลมควบคม (control group) โดยการ assign subject ใหอยในกลมใดกลมหนงโดยการสม (randomization)Randomization หรอ random allocation ท าเพอมงหวงใหปจจยทอาจ

มผลตอ outcome มโอกาสทจะกระจายตวระหวาง 2 กลมดทสด เพอลด confounders เชน สมเพอใหอายเฉลย สดสวนเพศ หรอสดสวน comorbidities ใกลเคยงกน (แต randomization ไมการนตวาจะกระจายตวดแนนอน เปนเพยงการ maximize chance ทจะกระจายตวไดด)Concealed randomization คอการปกปด โดยผท าการ randomize

จะไมใหผเกยวของอนๆ ในการทดลองทราบผลของการสมวาใครอยกลมใด

Random allocation: การจดให subject แตละคนอยในกลม treatment หรอ control (และควรเปน concealed randomization)

Blinding: การปกปดผเกยวของไมใหทราบวา subject คนใดอยกลมใดในขนตอน intervention (single-blind, double-blind, triple-blind)

ไมม Co-intervention: ทง 2 กลมไดรบการปฏบตเทาเทยมกน ไมมกลมใดได intervention อนๆ เพมเตม (co-intervention) จากอกกลม นอกจาก intervention ทตองการศกษา

ไมม Contamination: กลม control ไมควรได treatment หรอ intervention ทก าลงศกษา

Intention-to-treat analysis: วเคราะหขอมลของ subject ตามทถก randomized ไมวาในความเปนจรง subject นนจะไดรบ intervention ใดหรอไม

กระบวนการใชขอมลจากกลมตวอยางมาหาขอสรปเกยวกบขอมลของประชากร แบงออกเปน 2 เรอง คอ การประมาณคา (parameter estimation) การทดสอบสมมตฐาน (hypothesis testing)

ในการศกษา จะมการตง 2 สมมตฐาน คอ Null hypothesis (H0): สมมตฐานของความไมแตกตาง เชน

RR = 1 OR = 1 Risk Difference = 0 Alternative hypothesis (Ha): สมมตฐานของความแตกตาง เชน

RR ≠ 1 OR ≠ 1 Risk Difference ≠ 0

หลงการตงสมมตฐาน (hypothesis generation) จะเกบขอมลมาพสจนสมมตฐานทตงไว (hypothesis testing) ซงจะน าขอมลมาค านวณเปนคาสถต (test statistic) และคา p-value เพอตรวจสอบนยส าคญทางสถต (statistical significance) แลวจงสรปผลวาจะปฏเสธ null hypothesis หรอไม

ในการวเคราะห จะมการค านวณคา test statistic ทไดจากเปรยบเทยบ expected outcome หาก null hypothesis เปนจรง กบ observed data

Probability ของการ observe ไดคาสถต (test statistics) เทากบทพบในกลมตวอยาง หรอมากกวา ถา null hypothesis เปนจรง

ถา p-value สงกวาระดบนยส าคญ (significance level หรอ level) ทก าหนด เชน p=0.20 (ท =0.05) คอ โอกาสทจะ observe ไดคาสถตเทากบทพบในกลมตวอยางหรอมากกวา คอ 20% หาก null hypothesis เปนจรง จง accept H0

ถา p-value ต ากวา level ทก าหนด เชน p=0.01 (ท =0.05) คอ โอกาสทจะ observe ไดคาสถตเทากบทพบในกลมตวอยางหรอมากกวา คอ 1% หาก null hypothesis เปนจรง จง reject H0

ใน hypothesis testing มโอกาสสรปผดได 2 กรณ

Type I errors (alpha errors) คอ สรปวามความแตกตาง (reject null hypothesis) เมอในความเปนจรง ไมมความแตกตางในประชากร (false positive) ซงเปน error ทมความส าคญเพราะอาจใหการรกษาทมอนตรายทงทจรงๆ ไมไดชวย หรออาจสรปวาปจจยใดเปน risk factor ทงทจรงๆ ไมใช

Type II errors (beta errors) คอ สรปวาไมมความแตกตาง (accept null hypothesis) เมอในความเปนจรง มความแตกตางในประชากร (false negative)

เนองจากเราท าการศกษาใน sample จงไมรความจรงใน population เราจงมกก าหนด level ต าๆ เชน 0.05 เพอควบคมโอกาสเกด Type I errors

Type II error ควบคมโดย statistical power

Statistical power คอ อ านาจในการตรวจพบ (detect) ความแตกตางระหวางกลมทศกษา ถาความแตกตางนนมอยจรงในประชากร ซงสมพนธกบ sample size

เมอท าการศกษาแลวพบวา p-value ไมมนยส าคญทางสถต จงควรตรวจสอบวา การศกษานมอ านาจ (power) เพยงพอทจะตรวจพบความแตกตางทอาจมอยจรงหรอไม ซงปกตในการออกแบบการศกษา จะตง power ท 80% (กลาวคอ ยอมใหมโอกาสเกด Type II errors ไดเทากบ (1-) = 20%

Risk: ความเสยงทท าใหเกดโรค เชน การมปจจยเสยงทสมพนธกบการเกดโรค

Harm: อนตรายจากการไดรบปจจย เชน ผลขางเคยงจากการรกษา

รปแบบการศกษาเรอง Risk & Harm สวนใหญจงเปน case-control study ดวยเหตผลทางจรยธรรม

Case-Control Studies

Nested Case-Control Studies

Matched Case-Control Studies

Odds Ratio (OR)

Number Needed to Harm (NNH)

Patient’s Expected Event Rate (PEER)

(in order of decreasing likelihood of being valid) Systematic reviews are ideal because individual RCTs are

seldom large enough to detect rare adverse events with precision. Unfortunately, systematic reviews are uncommon.

RCTs are difficult to conduct for most studies of harm. Cohort studies - exposed and unexposed followed for

development of outcome of interest. Case-control studies - cases with outcome of interest

compared with controls for “exposure.” Cross-sectional studies Case reports

22

Source

Population

Disease (Cases)

No Disease(Controls)

Exposed

Unexposed

Exposed

Unexposed

Direction of inquiry

(Usually more controls than cases)

Is the principle measure of effect from case-control studies (cannot calculate event rates)

Used as an estimate of the risk ratio if the risk of the disease in a population is low

Odds of exposure in the disease group divided by odds of exposure in non-diseased group

Population-based case-control studies

Hospital-based case-control studies

Unmatched case-control studies

Matched case-control studies

Sources of Cases Cases diagnosed or

identified In a hospital/clinic In a disease registry Mass screening Through a prior cohort

study Incidence or prevalent

cases

Sources of Controls

Population controls

Neighborhood or friend controls

Hospital controls

2 value = 28.7 p-value < 0.05

Odds Ratio = 42.7 (95% CI = 5.9-869.5)

Cases (Reye’s) Controls

Use ASA 26 53

Did not use ASA 1 87

TOTAL 27 140

Of the 91,523 women in the Nurses' Health Study who did not have cancer at baseline and who were followed for 14 years, 2,341 women had developed breast cancer by 1993.

Several studies have used standard cohort analyses to study precursors to breast cancer, e.g. use of hormonal contraceptives, which is a covariate easily measured on all of the women in the cohort.

If, on the other hand, one is interested in the association between gene expression and breast cancer incidence, it would be very expensive and possibly wasteful of precious blood specimen to assay all 89,000 women without breast cancer.

In this situation, one may choose to assay all of the cases, and also, for each case, select a certain number of women to assay from the risk set of participants who have not yet failed (i.e. those who have not developed breast cancer before the particular case in question has developed breast cancer).

https://en.wikipedia.org/wiki/Nested_case-control_study

Study whether exposure to a “risk factor” is associated with a subsequent “outcome”

Select 2 populations that are similar except for risk factor of interest

Follow them over time and see how many have the outcome or disease

Important Point: Start with the risk, then look for the outcome

Prospective cohort studies start at the present time with exposure, then follow patients prospectively over time into the future

Retrospective cohort studies start with exposure that happened some time ago, then look forward to see how many have the outcome today

Important Point: Like prospective cohort studies, retrospective cohort studies still start with exposure or risk and then measure the outcome

2 value = 4.56 p-value = 0.03

Relative Risk = 2.7 (95% CI = 1.04-7.03)

GI bleeding (Side effect)

Yes No

Drug A 12 124

Drug B 6 178

TOTAL 18 302

Study design

Advantages Disadvantages

Case-control Cheaper

Valuable for rare condition

Short duration

Baseline risk not measured

No temporal relationship

Recall bias

Nested case-control

Cheaper than cohort

Baseline risk measured

Temporal relationship

Decrease selection bias

(cases & controls are from the same cohort)

Controls may not represent

entire cohort due to die or

loss of follow up

Cohort Baseline risk measured

Temporal relationship

Expensive

Not valuable for rare disease

Long duration

Number of patients needed to be treated for one additional patient to be harmed

Deriving NNH from odds ratio

NNH =CER OR − 1 + 1

CER (OR − 1)(1 − CER)Note: CER = control event rate (rate of outcome among the unexposed); OR = odds ratio

Deriving NNH from risk ratio

NNH =1

Absolute risk increase

1. A randomized trial of new drug “Ligatite” reveals that 25% of World Cup skiers who take the drug for one year have ACL tears whereas 50% of World Cup skiers who take the placebo for the year have ACL tears. What is the NNT?

NNT = 1/(AR reduction) = 1/(0.50-0.25) = 4

3. An advertisement for a new drug fails to mention that it increases the relative risk of myocardial infarction by 50 % over 5 years. You read a valid study describing this finding. What is the NNH?

Unknown without knowing the event rate in the control population.

2. The study of the drug “Ligatite” also notes that 20% of athletes taking the drug develop clinical depression whereas 10% of athletes taking the placebo develop depression. What is the NNH?

NNH = 1/(AR increase) = 1/(0.20-0.10) = 10

Adapted from University of Washington EBM Course Slides

Converting OR to NNH

Calculator available at:

http://www.cebm.utoronto.ca/practise/ca/statscal/orToNnt.htm

For OR greater than 1

1.1 1.25 1.5 1.75 2 2.25 2.5

PEER

0.05 212 86 44 30 23 18 16

0.1 113 46 24 16 13 10 9

0.2 64 27 14 10 8 7 6

0.3 50 21 11 8 7 6 5

0.4 44 19 10 8 6 5 5

0.5 42 18 10 8 6 6 5

0.7 51 23 13 10 9 8 7

0.9 121 55 33 25 22 19 18


หญงไทยอาย 25 ป กนยาคมก าเนด Nordette (levonorgestrel) มเพอนมาแนะน าใหเปลยนเปน Mercilon (desogestrel) จงมาถามแพทยวายาคมตวใหมจะมความเสยงตอการเกดการตบตนของเสนเลอดด าหรอไม

P: In young women taking contraceptives I: does desogestrel C: when compared to levonorgestrel O: increase risk of venous thromboembolism

พมพ search terms ใน PubMed Clinical Queries ดงน

risk "venous thromboembolism" desogestrel[ti] levonorgestrel[ti]

เลอก Category Etiology พบ 4 บทความ

เลอกบทความชอ Risk of nonfatal venous thromboembolism with oral contraceptives containing norgestimate or desogestrelcompared with oral contraceptives containing levonorgestrel. Contraception 73 (2006):566–570

Clinical

ImportanceValidity

Applicability

1. Did investigators assemble clearly defined groups of patients similar in all important ways other than exposure?2. Were exposures and outcomes measured in the same ways in both groups (objective/blinded)?3. Was follow-up sufficiently long and complete (5% and 20% rule: if <5% of subjects lost follow-up, little concern, but if >20% lost follow-up, should be concerned)?4. Do the results of the harm study fulfill some of the tests for “causation”?


Is it clear that the exposure preceded the onset of the outcome?

Is there a dose-response relationship?

Any positive evidence from a dechallenge-rechallenge study?

Is the association consistent across studies?

Does the association have biological plausability?


1. What is the magnitude of the treatment effect?Absolute risk difference = Exposed Event Rate - Unexposed Event Rate

Relative risk difference = (Exposed Event Rate - Unexposed Event Rate)Unexposed Event Rate

NNH = 1/(absolute risk difference)

2. How precise is this estimate of the treatment effect?95% CI - range of values within which we can be 95% sure that the population value lies.


1. Is our patient so different from those in the study that its results cannot apply?

2. What is our patient’s risk of benefit and harm from agent?

3. What are our patient’s preferences, concerns, and expectations from this treatment?

4. What alternative treatments are available?


Health & Medicine

Evidence-Based Medicine: Risk & Harm