Cost effectiveness of alternative management strategies ... DESIGN R2R Feb 2011... · Research methodology (Random Error: Chance) เเก้ไข Statistics เชิง ระบบ!

Study Designs (รูปแบบงานวิจัย)

ผศ.นพ.เชิดชัย นพมณีจํารัสเลิศ

Sunday, February 13, 2011

• เป็นคําถามที่ผู้วิจัยสนใจและต้องการรู้ความจริงมากที่สุด

• ควรมีเพียงคําถามเดียว

• คําถามรองมีหลายคําถามได้

• เป็นตัวกําหนดรูปแบบงานวิจัย

• ประชากรที่ศึกษา

• ขนาดของประชากรที่ศึกษา

• การวัดผล และวิเคราะห์การศึกษา

คําถามวิจัยหลัก


• การศึกษาชนิด ลักษณะ ขนาดของปัญหา/โรค

• ความชุก (prevalence)/อุบัติการณ์ (incidence)

• การศึกษาค่าปรกติ

• การศึกษาการทดสอบ (Test) เพื่อการวินิจฉัยโรค (Diagnostic test)

• ความไว/ความจําเพาะ

ประเด็นวิจัย R2R


ประเด็นวิจัย R2R •การศึกษาปัจจัยเสี่ยง (Risk factor) /สาเหตุของปัญหา (Cause) /ปัจจัยที่พยากรณ์ผลลัพธ (prognostic)

•การศึกษาความสัมพันธ์ของปัญหากับปัจจัยต่างๆ(Correlation)

•การศึกษาเกี่ยวกับการรักษาและป้องกันโรค(Therapy, Prevention)

• ประสิทธิผล (Efficacy), ประสิทธิภาพ (Effectiveness),

• ความคุ้มค่า(Efficiency)


Type of Study designs(รูปแบบงานวิจัย)


เชิงระบบ!

แบบสุ่ม!







เชิงระบบ!ผลการวิจัย! ความจริง ! ความคลาด

เคลื่อน!ผลการวิจัย! ความจริง ! ความคลาดเคลื่อน!ผลการวิจัย! ความจริง ! ความคลาด

เคลื่อน!ผลการวิจัย! ความจริง ! ความคลาดเคลื่อน!

ผลการวิจัย! ความจริง ! ความคลาดเคลื่อน!


ผลการวิจัย! ความจริง ! ความคลาดเคลื่อน!

(Systematic Error: )เเก้ไข

Research methodology

(Random Error: Chance)เเก้ไข

Statistics











Sampling Bias (สุ่มตัวอย่าง)

Measurement Bias (วัด)

Selection Bias (คัดเลือก)

Confounding Bias (ตัวกวน)


Accessible Population

Target Population

Study sample Sampling Bias


Women in Bangkok

Target Population

Women in this room

Waist Circumference

Women in Thailand

Sampling Bias


• Comparison (กลุ่มเปรียบเทียบ?)

Descriptive study (พรรณนา)

Analytical study (วิเคราะห์)

Type of Study designs

• Interventions

Observational study (สังเกตุการณ์)

Experimental study (ทดลอง)☑

☒

☑

☒


Time Horizon (มิติเวลา)

➡ Prospective (ไปข้างหน้า)

Retrospective (ย้อนหลัง)

๏ Crossectional (ตัดขวาง)


⬅


• Descriptive study (เชิงพรรณนา)

• Analytical study (เชิงวิเคราะห์)



• ไม่มกีลุ่มเปรียบเทียบ, มักมีประชากรศึกษาเพียงกลุ่มเดียว

• เป็นการศึกษาแบบ Experimental (ทดลอง), Observational (สังเกตุการณ์), Prospective (ไปข้างหน้า, Retrospective (ย้อนหลัง) หรือ Cross-sectional (ตัดขวาง) ก็ได้

Descriptive study design (เชิงพรรณนา)


• มีกลุ่มเปรียบเทียบ, มักมีประชากรศึกษามากกว่า 1 กลุ่ม

• เป็นการศึกษาแบบ Experimental (ทดลอง), Observational (สังเกตุการณ์), Prospective (ไปข้างหน้า, Retrospective (ย้อนหลัง) หรือ Cross-sectional (ตัดขวาง) ก็ได้

Analytical study (เชิงวิเคราะห์)


• Case report

• Case series

• ความชุก (Cross-sectional)

• การศึกษาธรรมชาติของโรค (Natural history)

• Normal value (การหาค่าปรกติ)

Descriptive study design (เชิงพรรณนา)


Tongue tie: Anklyoglossia





อุบัติการณการตรวจพบคลื่นไฟฟาหัวใจผิดปกติที่มีผลตอการรักษาจากการตรวจคลื่น

ไฟฟาหัวใจประจำวันในหอผูปวย ซ.ีซ.ียู. และ ไอ.ซ.ีซ.ียู.


ที่มาและความสําคัญของปัญหา

ต้ังแตเปดหอผูปวยเม่ือปพ.ศ. 2524 ผูปวยทุกรายใน CCU และ

ICCU ไดรับการตรวจคลื่นไฟฟาหัวใจประจำวันทุกเชา

การตรวจคลื่นไฟฟาหัวใจประจำวันคิดเปนคาใชจายครั้งละ 300

บาท การตรวจทุกเชาในหอผูปวย CCU และ ICCU ซ่ึงมีผูปวยรวม

16 คน คิดเปนคาใชจาย 4,800 บาทตอวัน 144,000 บาทตอเดือน

1,728,000 บาทตอป

คิดเปนเวลาที่ใชประมาณ 3-4 ชั่วโมงตอวัน


วัตถุประสงค์ของโครงการวัตถุประสงคหลัก

-เพื่อศึกษาอุบัติการณการตรวจพบความผิดปกติของคลื่นไฟฟาหัวใจ

ประจำวันที่มีผลตอการเปลี่ยนแปลงการรักษา ในหอผูปวย CCU และ ICCU

วัตถุประสงครอง

-เพื่อศึกษาเวลาที่สูญเสียไป และคาใชจายในการตรวจคลื่นไฟฟาหัวใจประจำวัน

-เพื่อเปนขอมูลในการพัฒนาแนวทางการดูแลรักษาผูปวยโรคหัวใจตอไป


วิธีการศึกษา

การศึกษาครั้งนี้เปน prospective descriptive study design ผูปวยทุกรายที่เขารับการรักษาในหอผูปวย CCU และ ICCU โรงพยาบาลศิริราช จะไดรับการอธิบายเกี่ยวกับการศึกษาและการตรวจคลื่นไฟฟาหัวใจประจำวัน

โดยแพทยผูดูแล โดยผูปวยที่สมัครใจลงนามในใบยินยอมเขารวมในการศึกษา


วิธีการศึกษาข้ันตอนการศึกษา

• ทำการตรวจคลื่นไฟฟาหัวใจประจำวันในผูปวยทุกราย ในชวงเชา และตรวจคลื่นไฟฟาหัวใจเม่ือมีอาการผิดปกติ

• บันทึกอาการตาง ๆ ที่ตรวจพบขณะตรวจคลื่นไฟฟาหัวใจ และเวลาที่ใชในการตรวจแตละครั้ง

• แปลผลการตรวจโดยแพทยผูเชี่ยวชาญโรคหัวใจ 2 ทาน โดยเทียบการเปลี่ยนแปลงกับคลื่นไฟฟาหัวใจของครั้งลาสุด

• การเปลี่ยนแปลงของคลื่นไฟฟาหัวใจที่ตรวจพบ จะนำมาประกอบการตัดสินใจวามีผลตอการเปลี่ยนแปลงการรักษาผูปวยหรือไม


ผลการศึกษาวิจัย

คลื่นไฟฟาที่เปลี่ยนแปลงและมีผลตอการรักษา มีจำนวน 20% โดยมี

เพียง 12.7% ที่ไมสามารถตรวจพบจาก ECG monitoring พบมากในผูปวย

โรค acute coronary syndrome, CHF และ Arrhythmias ตามลำดับ และ

พบมากในชวง 4 วันแรกของการรักษา

จึงเปนแนวทางในการเลือกที่จะตรวจคลื่นไฟฟาหัวใจประจำวันเฉพาะ

ในผูปวยกลุมนี้ ใน 4 วันแรกของการรักษา


Impact ของโครงการนี้

ลดคาใชจายจาก 1,728,000 บาทตอปเปน 586,800 บาทตอป

และลดระยะเวลาที่ตองใชในการตรวจจาก17,280 นาทีตอป เปน 5,868 นาทีตอป

จากผลงานวิจัยดังกลาวขางตนสงผลใหหอผูปวย CCU และ ICCU ปรับกระบวนการทำงาน คำส่ังการรักษาที่เปน routine แบบเดิมใหเปนมาตรฐานตาม protocol ที่ไดมา สามารถลดคาใชจาย ลดระยะเวลาการทำงานของบุคลากรที่ใชในการตรวจ


ABSTRACT


ABSTRACT


Analytical Study design(วิเคราะห์)

Experimental Study

Observational Study


• Controlled trial• Before-after study

design• Cross – over• Control chart

Experimental study


• การศึกษาเกี่ยวกับการรักษาและป้องกันโรค(Therapy, Prevention)

• ประสิทธิผล (Efficacy), ประสิทธิภาพ (Effectiveness),

• ความคุ้มค่า(Efficiency)

Experimental study


ประชากรที่ศึกษา

Design of a Controlled Trial

ได้ปัจจัยA

ได้ปัจจัยB

ผลลัพธ์ A

ผลลัพธ์ BSelection bias?

Measurement bias?

Chance?

Confounder?



ได้ปัจจัยA

ได้ปัจจัยB

ผลลัพธ์ A

ผลลัพธ์ BSelection bias?

Measurement bias?Placebo effect

Chance?

Confounder?

RandomizedConcealment

Blinding Blinding AssessorObjective outcome

Lost to follow upITT analysis

Difference prognosis

Unequal intervention•Co-intervention•Contamination

Measurement bias?


• Allocation of subjects / interventions

• Non-randomized control trial (แบบไม่สุ่ม)

• Randomized control trial (แบบสุ่ม)

• Blinding

• Non-blind clinical trial (แบบไม่ปกปิด)

• Double-blind clinical trial (แบบปกปิด)

Types of Controlled Trials


โครงการ

การศึกษาเปรียบเทียบประสิทธิภาพการขยายมานตาระหวางการใช

ยา2.5%Phenylephrineและ0.75%Tropicamide กับ

ยา1%Tropicamideสลับกับยา10%Phenylephrine


ขั้นตอนการขยายมานตาที่OPD

วัดสายตาตรวจรับคำส่ังการหยอด

ยา 1minติดปายระบุขางที่หยอด

ยา30sec

อธิบายการปฏิบัติตัวกอน

และหลังหยอดยา1min

หยอด

ยา1%Tropicamide30se

c

หยอด

ยา10%Phenylephrine30s

ec

พบแพทยหองตรวจ

10min

-รูมานตาขนาด>7mm.

10 min

*ใชเวลาในการรอมานตาขยาย 60นาทีหยอดยา3รอบ


OPD จักษุ: ปญหา : 1.มีผูปวยรอขยายรูมานตานาน 2.มีผูปวยรอขยายรูมานตาจำนวนมาก 3. มีโอกาสผิดพลาดจากการหยอดยาผิดสูง


ยา1%Tropicamideสลับกับ

ยา10%Phenylephrine


ยา 2.5%Phenylephrine และ

0.75%Tropicamide


Placebo effectCo-interventionContamination

Blinding AssessorObjective outcome

โครงการ

การศึกษาเปรียบเทียบประสิทธิภาพการขยายมานตา

Patients

จนรูม่านตาขยายจนตรวจได้ 7

มิลลิเมตร

จนรูม่านตาขยายจนตรวจได้ 7

มิลลิเมตร

ระยะเวลาตั้งแต ่เริ่มหยอดตา

Selection bias?Measurement bias?

Confounder?

RandomizedConcealment Blinding



ผลการขยายรูมานตาระหวางกลุมที่ไดรับยาเด่ียว 2 ชนิดกับกลุมที่ไดรับยาผสม

กลุมยาเด่ียว 2

ชนิด

กลุมยา

ผสม

p–value

Number of patients whose pupil

reached 7 mm. within 40 minutes

38.9% 77.3% 0.023

Pupil size: mean ± SD (mm.)

At 40 minutes

At 2 hours 6.0 ± 0.9

6.7 ± 0.8

6.6 ± 0.8

6.8 ± 0.9

0.026

0.443

*เวลาทีใชเฉลี่ย 32นาที



ใชยาผสม 0.75% Tropicamide และ 2.5% Phenylephrine

hydrochloride ในการขยายมานตา สามารถ

1.ลดระยะเวลาอยางนอย 20 นาที

2.ลดจำนวนครั้งในการหยอดยา( จำนวน2 ครั้ง/ราย 50%)

3.ผลขางเคียงของยาผสมและยาเด่ียวแตกตางกันอยางไมมีนัย

สำคัญ


• Controlled trial

• Before-after study design

• Cross – over• Control chart

Experimental study


Time Horizon

Intervention

ผลลัพธ์ 1 ผลลัพธ์ 2

ก่อน หลัง

Before-after study design with same individuals

ประชากร (A)

ประชากร (A)Selection bias?

Measurement bias?

Chance? Confounder?


Time Horizon

การนวด

ปวดศีรษะก่อนนวด (9/10)

ก่อน หลัง

Tension HA Tension HA

ปวดศีรษะหลังนวด (5/10)



การนวด ก่อน หลัง

Tension HA(9/10)

Tension HA(5/10)

นอน

Tension HA(9/10) Tension HA

( ุ6/10)



Time Horizon

ผลลัพธ์ 1 ผลลัพธ์ 2

Intervention A2005

Intervention B2006

ประชากร (A)

ประชากร (B)

Before-after study design with different individuals/intervention

Selection bias?

Measurement bias?

Chance?

Confounder?


• Controlled trial• Before-after study

design• Cross – over

• Control chart

Experimental study


Time series with Control Chart


Common and special cause variation


กรอบแนวคิดความผันแปรของ Walter Shewhart

Common causes (สาเหตุที่เป็นปรกติวิสัย)

• ความผันแปรแบบสุ่มที่เกิดจากสาเหตุที่เกิดตามธรรมชาติ,เป็นปรกติวิสัยและเกิดขึ้นสม่ําเสมอกับทุกผลผลิตของขบวนการผลิตและบริการนั้นๆ


Special causes (สาเหตุที่ผิดปรกติวิสัย)

• ความผันแปรที่เกิดจากสาเหตุที่เกิดไม่เป็นปรกติวิสัย, ไม่เป็นไปตามธรรมชาติและเกิดขึ้นเป็นครั้งคราวและอยู่นอกเหนือการควบคุมจากกระบวนการผลิตและบริการโดยปรกติ

กรอบแนวคิดความผันแปรของ Walter Shewhart




Detecting Special Cause







Intervention


61


Type of data.1. Count data

p-Chart u-Chart c-Chart g-Chart

2. Measurement data (Continuous data) I or XmR chart X-bar and S-Chart

Type of Control chart


Aug 2003



อัตราการเกิดปอดอักเสบจากการใช

เครื่องชวยหายใจและการเปลี่ยนชุด

สายตอเครื่องชวยหายใจ

อัมพาภรณ เตชธนางกูรพรรณิภา สืบสุขพวงทอง ศิริพานิชผศ.พญ.สุรีย สมประดีกุล


• Primary outcome– อัตราการเกิด VAP ของผูปวย 2 กลุม

• Secondary outcome– คาใชจายทั้งหมดของการเปลี่ยน ventilator circuit ของผู

ปวย 2 กลุม


ผลการวิจัย


23


24

จำนวน จำนวนการเปลี่ยน] ราคา

(ICU) (ครั้ง/ป) 1. ถาเปลี่ยนทุก 7 วัน] 12] ] 1,692] ] 1,464,273.72

ประหยัด]] ] ] ] 1,896] 1,640,817.36

2. ถาไมเปลี่ยน] ] 12] ]

ประหยัด]] ] ] ] 3,588] ] 3,105,091.08

การเปลี่ยน Ventilator circuit เทียบกับการเกิด VAP ใน ICU

ประเด็น (ตนทุนเฉลี่ย 865.41 บาท/ครั้ง)R2R


• Cross-sectional study• Case-control study• Cohort study

(Prospective)

Observational design


• ศึกษาความชุกของโรค• ศึกษาคุณค่าของวิธีการทดสอบเพื่อการ

วินิจฉัย

Cross-sectional study


Gold Standard test

New Test

All patients

New Test

Gold Standard test

ศึกษาคุณค่าของวิธีการทดสอบเพื่อการวินิจฉัย

เป็นโรค ไม่เป็นโรค

บวก

ลบ

a b

c d


a b

c d

Sensitivity = a/(a+c)Specificity = d/(b+d) Prevalence = (a+c)/(a+b+c+d)



Cross-sectional

Present Past Future

เด็กแรกเกิด

STT Score

การดูดนมแม่


76

ได้ ไม่ได้

<8 a b

>=8 c dSTT Score

การดูดนมแม่


STT score <8 ในการทํานาย BF problem

Negative predictive value = 98.2%

Sensitivity = 88.3%


6 กรกฎาคม 2549Pediatric Triage System Development

Triage Check list


Triage checklist Triage checklist Triage checklist Triage checklist Triage checklist Triage checklist Triage checklist Triage checklist Triage checklist Triage checklist Triage checklist Triage checklist Triage checklist Triage checklist Triage checklist Triage checklist Triage checklist Triage checklist

ชื่อ……………………………………….............…………………. HN…………………….………... วันที่…………………….............................…ชื่อ……………………………………….............…………………. HN…………………….………... วันที่…………………….............................…ชื่อ……………………………………….............…………………. HN…………………….………... วันที่…………………….............................…ชื่อ……………………………………….............…………………. HN…………………….………... วันที่…………………….............................…ชื่อ……………………………………….............…………………. HN…………………….………... วันที่…………………….............................…ชื่อ……………………………………….............…………………. HN…………………….………... วันที่…………………….............................…ชื่อ……………………………………….............…………………. HN…………………….………... วันที่…………………….............................…ชื่อ……………………………………….............…………………. HN…………………….………... วันที่…………………….............................…ชื่อ……………………………………….............…………………. HN…………………….………... วันที่…………………….............................…ชื่อ……………………………………….............…………………. HN…………………….………... วันที่…………………….............................…ชื่อ……………………………………….............…………………. HN…………………….………... วันที่…………………….............................…ชื่อ……………………………………….............…………………. HN…………………….………... วันที่…………………….............................…ชื่อ……………………………………….............…………………. HN…………………….………... วันที่…………………….............................…ชื่อ……………………………………….............…………………. HN…………………….………... วันที่…………………….............................…ชื่อ……………………………………….............…………………. HN…………………….………... วันที่…………………….............................…ชื่อ……………………………………….............…………………. HN…………………….………... วันที่…………………….............................…ชื่อ……………………………………….............…………………. HN…………………….………... วันที่…………………….............................…ชื่อ……………………………………….............…………………. HN…………………….………... วันที่…………………….............................…

อายุอายุ

ลักษณะการหายใจลักษณะการหายใจลักษณะการหายใจลักษณะการหายใจลักษณะการหายใจ HydrationHydrationHydrationHydrationHydrationHydration Mental statusMental statusMental statusMental status

T0Cอายุอายุ ลํา

คอบุ๋ม

หน้าอกบุ๋ม

จมูกบาน

หายใจ เขียว ท้อง

เสีย อาเจียนปัสสาวะน้อย

ปากแห้ง

ชีพจรเบา

Capillary refill

(sec)

ร้องกวน

ชักก่อนมา รพ.

ซึม สับสน

T0C

อายุ <60 วันอายุ

<60 วัน> 80

เป็นน้ํา

> 10 ครั้งต่อวัน

พุ่ง มีสีเหลือง

<6 ครั้ง/วัน

>180 หรือ<120

>3

>38.5

<36.5

อายุ >2 เดือน-4ปีอายุ >2 เดือน-4ปี

>60



ดื่มน้ําแล้ว

อาเจียนทุกครั้ง

> 12 ชม.

ชีพจร เบา เร็ว

>40

อายุ >4 ปี

>45



ดื่มน้ําแล้ว

อาเจียนทุกครั้ง

> 12 ชม.

ชีพจร เบา เร็ว

>40


Triage checklist Triage checklist Triage checklist Triage checklist Triage checklist Triage checklist Triage checklist Triage checklist

อายุ

การซักประวัติการซักประวัติการซักประวัติการซักประวัติ

มีโรคประจําตัวมีโรคประจําตัว อื่นๆ & ปจจัยเส่ียงอายุเขียว/ซีดขึ้น

เลือดออกผิดปกติ

ปวดมาก

สารพิษ/ยาเกินขนาด

มีโรคประจําตัวมีโรคประจําตัว อื่นๆ & ปจจัยเส่ียง

อายุ <60 วัน โรคหัวใจ BF only และมี visible jaundice หรือ wt.gain <30

gms/day

HIV ประวัติการคลอด GA < 36 weeks หรือ birth weight < 2,500 gram

อายุ >2 เดือน โรคเลือด ……………………………………………………

……………………….

-4ปี Malignancy …………………………………………………………………………….

อายุ >4 ปี อื่น ๆ …………………………………………………………………………….


ผูประเมิน TRUE FALSE sensitivity specificity

แพทยรีบดวน 8 11

0.82

0.92

แพทย

รอได 2 57

0.82

0.92

พยาบาลรีบดวน 10 10

0.94

0.93

พยาบาล

รอได 0 58

0.94

0.93


• A method having established or widely accepted accuracy for determining a diagnosis of disease.

THE GOLD STANDARD



Case-control Study

DiseaseExposure

มีปัจจัยเสี่ยง (Y/N)

มีปัจจัยเสี่ยง (Y/N) ไม่เป็นโรค

เป็นโรค



Case-control Study

ปัจจัยเสี่ยง

Vit E Supl. (Y/N)

Non-CAD

CAD

Vit E Supl. (Y/N)


Hypothetical data on the association between vitamin E supplementation and the risk of CAD

Present AbsentPresent Absent

Yes

No

Yes

No

50 501

65 384

CAD

Vit. E sup.

ORC= (50*384)/(501*65) = 0.59P=0.003



Cohort Study

มีปัจจัยเสี่ยง/Prognostic factor

ผลลัพธ์(Y/N)


ไม่มีปัจจัยเสี่ยง/Prognostic factor



Cohort Study





Now



Retrospective cohort





NowStartอดีต




Selection Bias (คัดเลือก)

Confounding Bias (ตัวกวน)


C

OE

C OE

✓

✗

Confounding Bias


วันที่ รสไอศครีม เครื่อง1 Non vanilla ติด2 vanilla

ติด

3 vanillaไม่ติด

4 Non vanilla ติด5 Non vanilla ติด6 vanilla

ติด7 vanilla

ไม่ติด

8 vanilla ไม่ติด9 Non vanilla ไม่ติด10 vanilla

ไม่ติด

11 Non vanilla ไม่ติด12 Non vanilla ติด


vanillaไม่ติดไม่ติดไม่ติดไม่ติดไม่ติดไม่ติด

4ติด

2Non vanilla 42

ติดติดติดติดติดไม่ติด

OR: 4x4/2x2 = 4


วันที่ รสไอศครีม ระยะเวลาจอดรถ1 Non vanilla 92 vanilla 103 vanilla 174 Non vanilla 55 Non vanilla 76 vanilla 127 vanilla 238 vanilla 249 Non vanilla 1610 vanilla 2611 Non vanilla 1612 Non vanilla 9

การติดเครื่องติดติด

ไม่ติดติดติดติด

ไม่ติดไม่ติดไม่ติดไม่ติดไม่ติดติด


Duration

Start (x)Vanila

Confounding factor


Confounding Bias

• การป้องกัน/แก้ไข• Randomization, Restriction or Matching

• Multivariate analysis


22 Presentation Skills: How to Present Research Results 349

Fig. 22.3

References

1. Teaching Techniques, A Handbook for Health Professionals, R Foley and J Smilansky, McGraw-Hill, New York, 1980

2. The majority of this chapter was taken from personal experience and extensive notes that I had taken from a large number or Presentation Skills Workshops that I have attended. Although I cannot give specific credit for individual pieces of information, I can credit the Instructors of those workshops as follows:

(a) Sue Castorino, President, The Speaking Specialist, Chicago, IL, 1993 (b) Gerald Kelliher Ph.D., Associate dean, Medical College of Pennsylvania (c) Eleanor Lopez, Let’s Communicate Better, www.eleanorlopez.com (d) Power Speaking, and More, Joyce Newman Communications Inc (e) Jerry Michaels-Senior Consultant CommCore Communication Strategies (f) Science and Medicine Canada, Presentation & Platform Skills Workshop, 1992 (g) Wyeth Ayerst Laboratories, Ciba-Geigy, Schering, Pfizer, and KOS Pharmaceuticals for

sponsoring many of the Presentation Skills Workshops that I attended

3. Garson A, Gutgesell H, Pinsky WW, McNamara DG, The 10-minute talk, slides, writing, and delivery, Am Heart J, 111:193–203, 1985.


Questions???


Documents

Cost effectiveness of alternative management strategies ... DESIGN R2R Feb 2011... · Research methodology (Random Error: Chance) เเก้ไข Statistics เชิง ระบบ!