139
予予予予予予予予 @ 予 13 予予予予予予予予予予予 予予予予予予予 予予予予予予 予予予予予予予

20161106予測指標の作り方当日1031 配布版

  • Upload
    sr-ws

  • View
    652

  • Download
    6

Embed Size (px)

Citation preview

Page 1: 20161106予測指標の作り方当日1031  配布版

予測指標の作り方@第 13回秋季生涯教育セミナー

 日本プライマリ・ケア連合学会研究支援委員会

Page 2: 20161106予測指標の作り方当日1031  配布版

2

スタッフ  8名( 50音順、敬称略)

片岡裕貴(兵庫県立尼崎総合医療センター)坂西雄太(佐賀大学医学部地域医療支援学講座)佐々木彰(福島県立医大臨床研究イノベーションセンター)杉岡隆(佐賀大学医学部地域医療支援学)高田俊彦(福島県立医科大学白河総合診療アカデミー)竹島太郎(自治医科大学地域医療学センター地域医療学部門)橋本忠幸(橋本市民病院)山本舜悟(神戸大学感染症科)

Page 3: 20161106予測指標の作り方当日1031  配布版

3

WSトータルの目標

診断の予測指標研究を実施できる!

Page 4: 20161106予測指標の作り方当日1031  配布版

4

そのための行動目標

・ EQUATOR networkについて説明できる・ TRIPOD statementについて説明できる・予測指標とは何か説明できる・診断精度研究の枠組みを説明できる・診断の予測指標研究を TRIPODの枠組みに分けて説明することができる・ EZRを用いてロジスティック回帰分析を実施できるβ値と 95%信頼区間を見て変数選択ができるcallibration, discrimination, internal validation, external validationが実施できる

Page 5: 20161106予測指標の作り方当日1031  配布版

5

今日の行動目標

・ EQUATOR networkについて説明できる・ TRIPOD statementについて説明できる・予測指標とは何か説明できる・診断精度研究の枠組みを説明できる・診断の予測指標研究を TRIPODの枠組みに分けて説明することができる・ EZRを用いてロジスティック回帰分析を実施できるβ値と 95%信頼区間を見て変数選択ができるcallibration, discrimination, internal validation, external validationが実施できる

Page 6: 20161106予測指標の作り方当日1031  配布版

臨床研究デザイン道場

     

一、

研究の新規性よりも

   

診療現場で真に意味のある

      

クエスチョンを考案すべし

 

一、

統計解析のテクニッ

クよりも、

   

まずは研究デザインの真髄を学ぶべし

 

一、

症例報告・取り組み報告から

   

一歩前に踏み出すことに努めるべし

一、

多職種によるチー

ムで

   

 

臨床研究を学ぶことに努めるべし

一、

何よりも本日のセミナー

において

   

  

同じ志をもつ仲間と共に

      

 

楽しむことに努めるべし

Page 7: 20161106予測指標の作り方当日1031  配布版

7

復習

EQUATOR networkについての以下の文章で正しいものを全て選べ • 赤道に位置する国の集まった国際会議のことである• 臨床研究の透明性があり正確な報告を推進しているネットワークである

• 臨床研究の報告のためのガイドラインを作成している

• CONSORT声明は、観察研究の報告のためのガイドラインである

• STARD声明は、診断精度研究の報告のためのガイドラインである

Page 8: 20161106予測指標の作り方当日1031  配布版

8

復習

EQUATOR networkについての以下の文章で正しいものを全て選べ X 赤道に位置する国の集まった国際会議のことである○ 臨床研究の透明性があり正確な報告を推進しているネットワークである○ 臨床研究の報告のためのガイドラインを作成しているX CONSORT声明は、観察研究の報告のためのガイドラインである →ランダム化比較試験○ STARD声明は、診断精度研究の報告のためのガイドラインである

Page 9: 20161106予測指標の作り方当日1031  配布版

9

TRIPOD statementについての以下の文章で正しいものを全て選べ • 写真を 撮影するための三脚の国際規 格である• 予測指標研究のバイアスを評価するためのガイドラインである → PROBAST

• 予測指標の報告のためのガイドラインである• チェックリスト、説明と詳細の二部構成になっている

• H・G・ウェルズの小説に出て くる火星人の名称である

Page 10: 20161106予測指標の作り方当日1031  配布版

10

TRIPOD statementについての以下の文章で正しいものを全て選べ X 写真を 撮影するための三脚の国際規 格であるX 予測指標研究のバイアスを評価するためのガイドラインである → PROBASTO 予測指標の報告のためのガイドラインであるチェックリスト、説明と詳細の二部構成になっているX H・ G・ウェルズの小説に出て くる火星人の名称である

Page 11: 20161106予測指標の作り方当日1031  配布版

11

予測指標についての以下の文章で正しいものを全て選べ• いくつかの臨床指標を組み合わせて、アウトカムを予測するモデルのことである

• 診断の予測指標と予後の予測指標の 2 種 類がある

• CHADS2は診断の予測指標である• Wellsスコアは診断の予測指標である

Page 12: 20161106予測指標の作り方当日1031  配布版

12

予測指標についての以下の文章で正しいものを全て選べ○ いくつかの臨床指標を組み合わせて、アウトカムを予測するモデルのことである○ 診断の予測指標と予後の予測指標の 2 種 類があるX CHADS2は診断の予測指標である→予後○ Wellsスコアは診断の予測指標である

Page 13: 20161106予測指標の作り方当日1031  配布版

13

診断精度研究についての以下の文章で正しいものを全て選べ 

• 最もシンプルな診断精度研究は、ある対象全員(P)に対して、疾患を定義する検査(T)と新たに 調べたい検査( I)を行い、その結果を感度や特異度といった指標(O)でまとめたものである。

• 感度は疾患を持たない対象者のうちで、検査が陰性になる割合である

• 検査のカットオフ値を変化させても、感度と特異度は変化しない

• ROC下面積が大きければ、無条件に良い検査である

Page 14: 20161106予測指標の作り方当日1031  配布版

14

診断精度研究についての以下の文章で正しいものを全て選べ 

○ 最もシンプルな診断精度研究は、ある対象全員( P)に対して、疾患を定義する検査( T)と新たに 調べたい検査( I)を行い、その結果を感度や特異度といった指標( O)でまとめたものである。X 感度は疾患を持たない対象者のうちで、検査が陰 性になる 割合である : PID (positive in disease)と NIH(negative in health)X 検査のカットオフ値を変化させても、感度と特異度は変化しない

X ROC下面積が大きければ、無条件に良い検査である    →どういう状況で使いたいのか、状況に依存

   感度、特異度のどっちが重要?

Page 15: 20161106予測指標の作り方当日1031  配布版

15

今日の前 半のお題

Identifying Patients with Bacteremia in Community-Hospital Emergency Rooms: A Retrospective Cohort Study

Taro Takeshima , Yosuke Yamamoto, Yoshinori Noguchi, Nobuyuki Maki, Koichiro Gibo, Yukio Tsugihashi, Asako Doi, Shingo Fukuma, Shin Yamazaki, Eiji Kajii, Shunichi FukuharaPublished: March 29, 2016

http://journals.plos.org/plosone/article?id=10.1371/journal.pone.0148078

Page 16: 20161106予測指標の作り方当日1031  配布版

16

レクチャー:予測指標研究の構造

Page 17: 20161106予測指標の作り方当日1031  配布版

17

構造?

Page 18: 20161106予測指標の作り方当日1031  配布版

構造化とは?

項目ごとに分けて記載すること整理されて抜けがなくなる素早く理 解できる

18

https://www.nlm.nih.gov/bsd/policy/structured_abstracts.html福原 ,2013

Page 19: 20161106予測指標の作り方当日1031  配布版

臨床疑問の構造化!

PI(E)CO

19

福原 ,2013

Page 20: 20161106予測指標の作り方当日1031  配布版

20

診断精度の研究

Page 21: 20161106予測指標の作り方当日1031  配布版

21

診断精度の研究

PICOT (何でしたっけ?)

Page 22: 20161106予測指標の作り方当日1031  配布版

22

検査の臨床疑問の構造化は今回はこれを使います

PI(C)OT(ぴこてぃー)

P: 対象患者  (population: どんな検査をすでに受けて、どのようなプレゼンテーションか )I: みたい検査  (index test: 目的は代替 ?/add on?/triage?)C: みたい検査と比較する検査  (comparator)O: 診断精度の指標  (outcome)T: みたい病気を定義するもの  (target condition)

Page 23: 20161106予測指標の作り方当日1031  配布版

23

予測指標の報告のための 構造

Page 24: 20161106予測指標の作り方当日1031  配布版

24

予測指標研究の理解 /実施のための構造

T: Type of studyR: Research objectivesI: Index ruleP: ParticipantsO: OutcomeD: Diagnostic/prognostic performance measures

TRIPOD声明日本語翻訳プロジェクトチーム 2016(投稿中 )

Page 25: 20161106予測指標の作り方当日1031  配布版

25

予測指標研究の理解 /実施のための構造

TRIPOD PICOTT: Type of studyR: Research objectivesI: Index rule IP: Participants PO: Outcome TD: Diagnostic/prognostic performance measures

O

Page 26: 20161106予測指標の作り方当日1031  配布版

Type of study

-Single gate? Two gate?-What kind of data sources?

Research objectives

-Rationale?-Diagnostic/ prognostic?-Derivation/ Validation?

Index rule

-What kind of rules?

Participants

-Who included?-Who excluded?

Outcome

-What kind of outcomes

were predicted?

-How outcomes

were measured?

Diagnostic/prognostic performa-

nce measures

-Which performance measures?-How much

the measures?

Item 4a* Item 1, 2, 3a, 3b

Item 15a, b Item 5a, 5b, 5c, 13a, 13b, 13c

Item 6a, 6b, 14a, 14b

Item 10d, 16

Page 27: 20161106予測指標の作り方当日1031  配布版

27

グループワーク

Page 28: 20161106予測指標の作り方当日1031  配布版

28

T: Type of study

入り口は一つ ? /2つ ?どんなデータソース?

Page 29: 20161106予測指標の作り方当日1031  配布版

29

解説 : 診断予測研究の“ single-gate” or “two-gate”

対象となる疾患の含まれる集団

新規 検査法ゴールド・スタンダード

を同 時に実施疾患あり

疾患なし(健常者を含む)

新規 検査法 新規 検査法

コホート型 ケースコントロール型

Page 30: 20161106予測指標の作り方当日1031  配布版

30

T: Type of study

入り口は一つ ? /2つ ?どんなデータソース?

(書いてありそうな場 所は )

9:25

Page 31: 20161106予測指標の作り方当日1031  配布版

共 有

入り口は一つ ? /2つ ?どんなデータソース?

31

Page 32: 20161106予測指標の作り方当日1031  配布版

32

解説 :入り口

SettingThe setting was 4 community hospitals in JapanThe data were obtained from patients aged 16 years and olderwho had undergone blood-culture testing while in the ER between 1 April 2011 and 31 March 2012.

Page 33: 20161106予測指標の作り方当日1031  配布版

33

解説 : Resultから

Page 34: 20161106予測指標の作り方当日1031  配布版

34

R: Research objectives

Checklist: (item 1, 2, 3a, 3b)

何が新しい ?診断?予後?開発?検証?

9:33

Page 35: 20161106予測指標の作り方当日1031  配布版

35

解説 :どのタイミングで、情 報を測 定しているか?

Box A

ある症状を有する患者 予測因子

アウトカム

同 時に測定(診断 )

ある症状を有する患者 予測因子 アウトカ

経時的に測定(予後 )

別の曝露=バイアス!

Page 36: 20161106予測指標の作り方当日1031  配布版

37

解説 :開発/検証

開発

開発 検証

開発 検証

検証

データセット

Figure 1開発: development, 検証 : validation

Page 37: 20161106予測指標の作り方当日1031  配布版

38

R: Research objectives

Checklist: (item 1, 2, 3a, 3b)

何が新しい ?診断?予後?開発?検証?

9:40

Page 38: 20161106予測指標の作り方当日1031  配布版

共 有

何が新しい ?診断?予後?開発?検証?

39

Page 39: 20161106予測指標の作り方当日1031  配布版

40

解説

何が新しい ?

which will overcome some of the limitations of prior studies.

Page 40: 20161106予測指標の作り方当日1031  配布版

41

解説

診断?予後?

new prediction rule to identify bacteremia

Page 41: 20161106予測指標の作り方当日1031  配布版

42

解説

開発?検証?

we report on the developmentand testing

Page 42: 20161106予測指標の作り方当日1031  配布版

43

解説

開発?検証?

Derivation data came from the Japanese Red Cross Nagoya Daini Hospital, Okinawa GeneralHospital, and Shizuoka General HospitalValidation data came from Tenri Hospital

Page 43: 20161106予測指標の作り方当日1031  配布版

44

I: Index rule

Item: 15a, b

何を予測するどんな指標?

9:45

Page 44: 20161106予測指標の作り方当日1031  配布版

共 有

何を予測するどんな指標?

45

Page 45: 20161106予測指標の作り方当日1031  配布版

46

解説 : Resultから

Page 46: 20161106予測指標の作り方当日1031  配布版

47

解説

何を予測するどんな指標?• 菌血症を予測• the ID-BactER score

Page 47: 20161106予測指標の作り方当日1031  配布版

48

P: Participants

Item : item 5a, 5b, 5c, 13a, 13b, 13c

誰が組み入れ?誰が除外?

9:53

Page 48: 20161106予測指標の作り方当日1031  配布版

共 有

誰が組み入れ?誰が除外?

49

Page 49: 20161106予測指標の作り方当日1031  配布版

50

解説 組み 入れられた患者の特徴

Page 50: 20161106予測指標の作り方当日1031  配布版

51

解説

どんな対象者で開発・検証されているか?=どんな対象者に (どの程度 )当てはめることができるか?

本当に他の病院/セッティングの患者でも当てはまる?

Page 51: 20161106予測指標の作り方当日1031  配布版

52

解説

Discussionにもcommunity hospitals only in Japan, which could reduce the externalvalidity. Further testing with data from other countries is certainly needed.

開発 検証 検証

New !今回の研究

Page 52: 20161106予測指標の作り方当日1031  配布版

53

O: Outcome

Item: 6a, 6b, 14a, 14b

(対象者の)どんなアウトカムを予想?どうやって測定?

10:00

Page 53: 20161106予測指標の作り方当日1031  配布版

共 有

54

Page 54: 20161106予測指標の作り方当日1031  配布版

55

解説

どうやって測定?

True bacteremia was defined as growth of known pathogenic bacteria in 1 blood culture or asgrowth of common skin pathogens in 2 blood cultures.

Page 55: 20161106予測指標の作り方当日1031  配布版

56

解説

・アウトカム評価時のマスク化 ?True bacteremia was distinguished from contamination by the judgment of 2 physicians working independently, each of whom had more than 10 years of clinical experience. They referred to the results of at least 2 blood cultures and to the patient’s clinical course.

…やりようがない

Page 56: 20161106予測指標の作り方当日1031  配布版

57

D: Diagnostic/prognostic performance measures

Item: 16

どんな評価指標で性 能を評価?性 能はどの程度?

10:15

Page 57: 20161106予測指標の作り方当日1031  配布版

共 有

58

Page 58: 20161106予測指標の作り方当日1031  配布版

59

解説 :discriminationと calibrationの違い

Calibration(較正 ):モデルの予測結果と実測のアウトカムとの一 致度

Page 59: 20161106予測指標の作り方当日1031  配布版

60

解説 :discriminationと calibrationの違い

Discrimination(識別能 ):アウトカムになるイベントのありなしを予測モデルが区別する性 能

Page 60: 20161106予測指標の作り方当日1031  配布版

61

更に勉強してみたい

IDI,NRIとDecision-analysis

http://www.slideshare.net/shungo1977/dca-31156004

Page 61: 20161106予測指標の作り方当日1031  配布版

62

予測指標研究の理解 /実施のための構造

T: Type of studyR: Research objectivesI: Index ruleP: ParticipantsO: OutcomeD: Diagnostic/prognostic performance measures

TRIPOD声明日本語翻訳プロジェクトチーム 2016(投稿中 )

Page 62: 20161106予測指標の作り方当日1031  配布版

63

ID-BactER score

T: 開発、検証R: これまでより広い対象でI: ERでよく使われる項目を用いた菌血症予測ルールP: 日本の 4つの大規 模市中病院の ERで血培O: 血培、カルテデータを用いた菌血症診断、二人の医師によって実施D: callibrationと AUCを用いたdiscrimination、感度を重視したカットオフを決めた

Page 63: 20161106予測指標の作り方当日1031  配布版

64

今日の行動目標

・ EQUATOR networkについて説明できる・ TRIPOD statementについて説明できる・予測指標とは何か説明できる・診断精度研究の枠組みを説明できる・診断の予測指標研究を TRIPODの枠組みに分けて説明することができる・ EZRを用いてロジスティック回帰分析を実施できるβ値と 95%信頼区間を見て変数選択ができるcallibration, discrimination, internal validation, external validationが実施できる

Page 64: 20161106予測指標の作り方当日1031  配布版

臨床研究実施の全体像

65

研究目的=

リサーチクエッション

研究計 画書

倫理委員会

データ収集発表 解析

Page 65: 20161106予測指標の作り方当日1031  配布版

66

Page 66: 20161106予測指標の作り方当日1031  配布版

臨床研究実施の全体像: 7つのステップの位置67

基本設計 図

研究目的=

リサーチクエッション

研究計 画書

倫理委員会

データ収集発表 解析

Page 67: 20161106予測指標の作り方当日1031  配布版

臨床研究実施の全体像:今日読んだ論文

68

基本設計 図

研究目的=

リサーチクエッション

研究計 画書

倫理委員会

データ収集発表 解析

Page 68: 20161106予測指標の作り方当日1031  配布版

臨床研究実施の全体像: TRIPOD声明が規 定69

基本設計 図

研究目的=

リサーチクエッション

研究計 画書

倫理委員会

データ収集発表 解析

Page 69: 20161106予測指標の作り方当日1031  配布版

臨床研究実施の全体像:これからやること

70

基本設計 図

研究目的=

リサーチクエッション

研究計 画書

倫理委員会

データ収集発表 解析

Page 70: 20161106予測指標の作り方当日1031  配布版

71

今日の行動目標

・ EQUATOR networkについて説明できる・ TRIPOD statementについて説明できる・予測指標とは何か説明できる・診断精度研究の枠組みを説明できる・診断の予測指標研究を TRIPODの枠組みに分けて説明することができる・ EZRを用いてロジスティック回帰分析を実施できるβ値と 95%信頼区間を見て変数選択ができるcallibration, discrimination, internal validation, external validationが実施できる

Page 71: 20161106予測指標の作り方当日1031  配布版

今日の行動目標

・ EQUATOR networkについて説明できる・ TRIPOD statementについて説明できる・予測指標とは何か説明できる・診断精度研究の枠組みを説明できる・診断の予測指標研究を TRIPODの枠組みに分けて説明することができる・ EZRを用いてロジスティック回帰分析を実施できるβ値と 95%信頼区間を見て変数選択ができるcallibration, discrimination, internal validation, external validationが実施できる

72

Page 72: 20161106予測指標の作り方当日1031  配布版

73

注意

Macだと一部、 上手くいかない事 例が報告されています。ご容赦ください。

Page 73: 20161106予測指標の作り方当日1031  配布版

まずは用語の復習と整理

• 開発• Derivation• Development

基本的に同じ意味です開発用データセットから予測モデルを作ること

74

Page 74: 20161106予測指標の作り方当日1031  配布版

・検証・ validation

作成済みの予測モデルが、別のデータセットにどの程度当てはまるか測定すること• 内的検証( internal validation) →開発データセットを少し改変して使う• 外的検証( external validation) →別データセットを使う

75

Page 75: 20161106予測指標の作り方当日1031  配布版

ID-BactER score

T: 開発、 (外的 )検証R: これまでより広い対象でI: ERでよく使われる項目を用いた菌血症予測ルールP: 日本の 4つの大規 模市中病院O: 血培、カルテデータを用いた菌血症診断、二人の医師によって実施D: calibration:図と H-L検定   discrimination: AUC、内的 /外的検証     感度を重視したカットオフを決めた

76

Page 76: 20161106予測指標の作り方当日1031  配布版

開発:予測候補因子の選択

予測候補因子の選択専門家の意見、 既存の文献からの知見で選択限られたサンプルサイズでは多 くの因子を扱うことはできない→  Overfittingと Optimism

Overfittingモデルの当てはまりに対して過度の期待 (Optimism)モデルの当てはまりを過大評価

例 :開発に用いたデータセットでは性 能が良くても、別のデータセットでは性 能が悪い→”使えない”予測モデル

77

Page 77: 20161106予測指標の作り方当日1031  配布版

今回のグループワークでは

既に文献下調べが済んで候補の予測因子が決まった段階(研究計 画書 )は終わって、既にデータが集まったところからWSがスタートしていると考 えてください

78

Page 78: 20161106予測指標の作り方当日1031  配布版

つづいて

ソフトとデータを読み込んでみましょう

79

Page 79: 20161106予測指標の作り方当日1031  配布版

80

EZRで検索

Page 81: 20161106予測指標の作り方当日1031  配布版

shuki_haifu.rda を読み込む83

Page 82: 20161106予測指標の作り方当日1031  配布版

新たな変数を作りまし ょう

84

Page 83: 20161106予測指標の作り方当日1031  配布版

年齢を 2値変数化します85

age

age65

65

Page 84: 20161106予測指標の作り方当日1031  配布版

本当は

各種変数に どんなカットオフを設定するか/しないかを既存資料とエキスパートオピニオンを元に決める必要がありますが本日は省略

データセットでは、各予測変数に対して1つのカットオフを設定、 2値変数化

86

Page 85: 20161106予測指標の作り方当日1031  配布版

続いて Table 1 患者背景テーブル87

Page 86: 20161106予測指標の作り方当日1031  配布版

※時間の都合で変数は減らしています

88

Hosipital(0が開発セット、

1が検証セット )

Age65, ambulance, bac_dr, bil_f, bt380,

age

Page 87: 20161106予測指標の作り方当日1031  配布版

こんな感じ!

89

Page 88: 20161106予測指標の作り方当日1031  配布版

意味

90

年齢が 65歳未満 人数 (% )

0が開発セット、 1が検証セット

両病院群の割合が同じを帰無仮説とした p値(結果の報告は不要)

Page 89: 20161106予測指標の作り方当日1031  配布版

帰無仮説!?

帰無仮説: 2群の割合は同じ

その前 提で実験を繰り返したときに、目の前にある事象が起こる確率→ p値仮に目の前で 極めてまれな事象が起こっていると考 えた場合、前 提とした仮説は間違っている!

→差がある(興 味のある 人は事後補足資料に)

91

Page 90: 20161106予測指標の作り方当日1031  配布版

予測候補因子から予測因子への絞り込み

Univariate pre-selection各予測候補因子とアウトカムの単変量解析 結果を行い、多変 量解析の モデルに投入する予測候補因子を絞り込む単変量解析で一 定基準( p<0.2など)を満たすものを残すその後、多変 量解析する

※他にもいろいろやり方はあります 今回は、 Takeshima 2016のやり方を踏 襲 詳細は TRIPOD E&E参照

92

Page 91: 20161106予測指標の作り方当日1031  配布版

どの検定を選ぶのか?© 山崎新 先生

アウトカム変数

2値 連続 生存時間分布の記述 頻度集計

分割表ヒストグラム平均、 SD

Kaplan-Meier法

単変量解析 カイ二乗検定(またはフィッシャー検定)リスク比の推定

T検定F検定平均値の差

Log-rank検定率比の推定

93

お経ですか?

お経ですね

Page 92: 20161106予測指標の作り方当日1031  配布版

それでは、 Table 2の単変量 解析94

Page 93: 20161106予測指標の作り方当日1031  配布版

※変数は少なめにしてます!

95

Age65, bt380, bun20, chill, ldh400, wbc15

bac_dr(0が菌血症なし、 1があり )

カイ2乗検定

今回は No

hospital < 1開発セットに限定!

Page 94: 20161106予測指標の作り方当日1031  配布版

こんな結果になりました?

     bac_dr=0 bac_dr=1 カイ2乗検定のP値age65=0 230 31 1.43e-05age65=1 562 184 bt380=0 391 73 1.69e-05bt380=1 374 139 bun20=0 446 88 5.67e-05bun20=1 345 127 chill=0 620 137 9.31e-07chill=1 157 78 ldh400=0 698 183 0.105ldh400=1 82 31 wbc15=0 633 161 0.072wbc15=1 147 52

96

※ e-10は、 10の -10乗の意味

Page 95: 20161106予測指標の作り方当日1031  配布版

     bac_dr=0 bac_dr=1 カイ2乗検定のP値age65=0 230 31 1.43e-05age65=1 562 184 bt380=0 391 73 1.69e-05bt380=1 374 139 bun20=0 446 88 5.67e-05bun20=1 345 127 chill=0 620 137 9.31e-07chill=1 157 78 ldh400=0 698 183 0.105ldh400=1 82 31 wbc15=0 633 161 0.072wbc15=1 147 52

今回の変数選択のやり方は

97

※ e-10は、 10の -10乗の意味

Only predictors with a p value of lessthan 0.05 were kept in the final model.

Page 96: 20161106予測指標の作り方当日1031  配布版

Derivationの最後:多変 量解析

98

Page 97: 20161106予測指標の作り方当日1031  配布版

99

bac_dr(0が菌血症なし、

1があり )

Age65, bt380, bun20, chill

hospital < 1開発セットに限定!

Page 98: 20161106予測指標の作り方当日1031  配布版

              オッズ比  95%信頼区間下限  95%信頼区間上限       P値(Intercept) 0.0567 0.0351 0.0915 6.74e-32age65 2.2800 1.4800 3.5100 1.89e-04bt380 1.9100 1.3600 2.6800 1.67e-04bun20 1.9800 1.4200 2.7700 5.87e-05chill 2.3200 1.6200 3.3100 3.79e-06

100

Page 99: 20161106予測指標の作り方当日1031  配布版

※ここ以降はコピペできます。Wordをご確認ください

101

fit <- glm(formula = bac_dr ~ age65 + bt380 + bun20 + chill, family = "binomial", data=Dataset, subset=hospital < 1)summary(fit)

選択して実行

Page 100: 20161106予測指標の作り方当日1031  配布版

これがベータ係数(傾き)

Coefficients:                 Estimate Std. Error z value Pr(>|z|) (Intercept) -2.8699 0.2442 -11.754 < 2e-16 ***age65 0.8234 0.2205 3.734 0.000189 ***bt380 0.6484 0.1722 3.765 0.000167 ***bun20 0.6847 0.1704 4.018 5.87e-05 ***chill   0.8401 0.1817 4.623 3.79e-06 ***

102

Pが血培陽性の 起こる確率とするとLog(p/(1-p)) = -2.86+0.82*(65歳以上 )+0.64*(体温が 38℃以上 )               +0.68*(BUNが 20以上 )+0.84*(悪寒あり )

                    あり :1、なし0

Page 101: 20161106予測指標の作り方当日1031  配布版

点数化

Coefficients:age65 bt380 bun20 chill 0.8234 0.6484 0.6847 0.8401

103

便宜上、全部 1点ずつに!Ageと chillを 4点bt380と bunを 3点とするやり方も考 えられます結果がどの程度の当てはまりを持つかはこの後のステップで検証します

Page 102: 20161106予測指標の作り方当日1031  配布版

scoreという変数をage65、 bt380、 bun20、 chillの足し算で作成

104

Page 103: 20161106予測指標の作り方当日1031  配布版

105

Page 104: 20161106予測指標の作り方当日1031  配布版

106

Age65+bt380+bun20+chill

score

Page 105: 20161106予測指標の作り方当日1031  配布版

できあがり!

     bac_dr=0 bac_dr=1 score=0 52 1 score=1 213 24 score=2 316 91 score=3 143 66 score=4 26 30

107

※先ほど使った 2群の比較機能を使えば作れます

Page 106: 20161106予測指標の作り方当日1031  配布版

今日の行動目標

・ EQUATOR networkについて説明できる・ TRIPOD statementについて説明できる・予測指標とは何か説明できる・診断精度研究の枠組みを説明できる・診断の予測指標研究を TRIPODの枠組みに分けて説明することができる・ EZRを用いてロジスティック回帰分析を実施できるβ値と 95%信頼区間を見て変数選択ができるcallibration, discrimination, internal validation, external validationが実施できる

108

Page 107: 20161106予測指標の作り方当日1031  配布版

続いて

Calibrationと discrimination

109

Page 108: 20161106予測指標の作り方当日1031  配布版

復習 :discriminationと calibrationの違い

Calibration(較正 ):モデルの予測結果と実測のアウトカムとの一 致度

110

Page 109: 20161106予測指標の作り方当日1031  配布版

解説 :discriminationと calibrationの違い

Discrimination(識別能 ):アウトカムになるイベントのありなしを予測モデルが区別する性 能

111

Page 110: 20161106予測指標の作り方当日1031  配布版

まずはcalibrationから

・先ほどのように 図で示す 検定で示す

  2つのやり方があります

112

Page 111: 20161106予測指標の作り方当日1031  配布版

Hosmer-Lemeshow検定とは?

要: rmsResourceSelection, pROC, Polsplineパッケージの追加インストール※先に polsplineをインストールすること

パッケージの詳細な説明はhttps://cran.r-project.org/web/packages/rms/index.html

CRAN+パッケージ名でググると出てきます

113

Page 112: 20161106予測指標の作り方当日1031  配布版

114

※ネットがつながっている状態で

R console です!

Page 113: 20161106予測指標の作り方当日1031  配布版

115

OKをクリック

Page 114: 20161106予測指標の作り方当日1031  配布版

116

Polsplineをインストール

OKをクリック

Page 115: 20161106予測指標の作り方当日1031  配布版

117

続けて

rmsResourceSelectionpROCをインストールしてください

Page 116: 20161106予測指標の作り方当日1031  配布版

続いてロードしましょう

118

library (rms)library (ResourceSelection)library (pROC)

※以降はプログラムのコピペで 各班で進めてください

Page 117: 20161106予測指標の作り方当日1031  配布版

119

R コマンダー

コピペ選択して反転クリック

Page 118: 20161106予測指標の作り方当日1031  配布版

120

あとは、Wordのファイル通りに適宜コピペして進めてください

Page 119: 20161106予測指標の作り方当日1031  配布版

121

こんな感じのグラフ書けました?

11: 45まで

calibration discrimination

Page 120: 20161106予測指標の作り方当日1031  配布版

122

まとめ

こんな人にお勧め予測モデル研究 • 職 人芸的な確率の見積もりを数値化してみたい • いきなり前 向き研究はハードルが高い→既存のデータベースを使ってできる • 斬新なリ サーチクエスチョンが思いつかない→既存のルールの検証研究 (external validation)も意味がある

Page 121: 20161106予測指標の作り方当日1031  配布版

123

まとめ

山本 第 6回臨床医のための「臨床研究てらこ屋」

Page 122: 20161106予測指標の作り方当日1031  配布版

Further reading124

Page 123: 20161106予測指標の作り方当日1031  配布版

125

以下はおまけスライドP値とは

Page 124: 20161106予測指標の作り方当日1031  配布版

126

まずはこちらを見てみましょう。『 All You Need Is Kill』 IMAX予告 編

https://www.youtube.com/watch?v=nBs7vxHCvzg

Page 125: 20161106予測指標の作り方当日1031  配布版

(仮説)検定: 以下の様な研究結果が出ました

体重減少あり

体重減少なし

合計エステに通った

40 50 90

エステに通わなかった

20 70 90

合計 60 120 180

127

体重減少のあったリスク差は?リスク比は?

Page 126: 20161106予測指標の作り方当日1031  配布版

(仮説)検定: 以下の様な研究結果が出ました

体重減少あり

体重減少なし

合計エステに通った

40 50 90

エステに通わなかった

20 70 90

合計 60 120 180

128

リスク差  40/90 – 20/90 0.44- 0.22 = 0.22≒リスク比  40/90 / (20/90) = 2

Page 127: 20161106予測指標の作り方当日1031  配布版

まずは仮説を考 える・エステに通った場合と 通わなかった場合を 比較すると 体重に変化はない

129

Page 128: 20161106予測指標の作り方当日1031  配布版

エステに通った場合と 通わなかった場合を 比較すると 体重に変化はないという仮説の元に「実験」を繰り返してみる その場合、 体重減少の起こる確率は 1/3

130

体重減少あり

体重減少なし

合計エステ Aに通った

40 50 90

エステ Aに通わなかった

20 70 90

合計 60 120 180

Page 129: 20161106予測指標の作り方当日1031  配布版

実験を繰り返してみたとき

1/3で体重減少が起こる前 提で180回実験を繰り返す今回と同じ 事象が起こる確率は?

 

131

Page 130: 20161106予測指標の作り方当日1031  配布版

実験を繰り返してみたとき

1/3で体重減少が起こる前 提で180回実験を繰り返す今回と同じ 事象が起こる確率は?

 

132

40人よりも多い人が体重減少する確率= 0.015444

Page 131: 20161106予測指標の作り方当日1031  配布版

これって偶然?

133

Page 132: 20161106予測指標の作り方当日1031  配布版

Welcome to the “P” world134

0.05

Page 133: 20161106予測指標の作り方当日1031  配布版

きっと必然だろうと考 えると、前 提にした仮説は間違っている!

エステに通った場合と 通わなかった場合を 比較すると 体重に変化はない

135

→差がある

Page 134: 20161106予測指標の作り方当日1031  配布版

逆に

検定の前 提にした仮説が間違っていると言えなかった場合

エステに通った場合と 通わなかった場合を 比較すると 体重に変化はない

136

≠差はない

=差があるとは言えない(二重否定)

Page 135: 20161106予測指標の作り方当日1031  配布版

絵にしてみると

137

エステに通った エステに通わなかった

変化なし50人やせた40人 変化なし70人

ランダムサンプリングやせた20人

ここの差ではなく

こっちの差を見ている

Page 136: 20161106予測指標の作り方当日1031  配布版

仮に人数が 10倍だったら138

体重減少あり

体重減少なし

合計エステ Aに通った

400 500 900

エステ Aに通わなかった

200 700 900

合計 600 1200 1800

400人よりも多い人が体重減少する確率< 0.000001

Page 137: 20161106予測指標の作り方当日1031  配布版

p値を小さくするもの

・リスク差の大きさ・人数

→なので、統計学 的に”有 意 ”であることは、 臨床的に”優位”であることを必ずしも 意味しない

139

Page 138: 20161106予測指標の作り方当日1031  配布版

もう一度、 別の表現で

検定で見ているのは偶然の変動でどの程度の差があるかつまり、偶然誤差の評価

系 統 的誤差(バイアス)の影響を取り 除くことはできません

→バイアスを減らす研究デザインが重要!

140

Page 139: 20161106予測指標の作り方当日1031  配布版

141

質問?

[email protected]