Embed Size (px)
Citation preview
系統的レビュー研究計画書作成ワークショップ第五回
個々の文献の質の評価
京都大学大学院 辻本康尼崎総合医療センター Hospital Care Research Unit
片岡裕貴 辻本啓滋賀医科大学 岡見雪子 平大樹 山本晴香
精治寮病院 阪野正大亀田総合病院 総合内科 佐田竜一
2
このコースの目標
• 各参加者が興味を持つ臨床疑問を洗練した
上で、実施に足るレベルの系統的レビュー
の研究提案書を完成させる
3
前回の復習
P 、 I 、 C 、 O 、デザインについて定義を決めてもらいました。
→ これを表にしたものを Study Eligibility Sheet と言います
4
第五回質の評価
5
SR ＆ MA の全体像
構造化された疑問
系統的な検索・データベースの選択
・検索式の作成・文献の選択基準
・事前登録
漠然とした疑問
選択文献を対象とした批判的吟味
・事前に規定した評価基準 (Risk of bias)
発表 結果の統合とまとめ(=meta-analysis)
第一回 第二ー四回
第五回第五－七回第八 , 九回
6
今回のエフォート目安
動画視聴 １時間程度Risk of bias 2.0 を用いた文献評価 2 時間程度
＜時間がある人のみ＞Plagiarism の避け方 0.5 時間程度
RoB2.0 のサイトを参照 https://sites.google.com/site/riskofbiastool/
7
今日の目標
• バイアスの 5 つのドメインがわかる• Risk of bias tool 2.0 を用いて実際に文
献評価を行う
Q ： Allocation concealment
適切な割付の隠蔽化に をつけてください。◯1. コンピュータで作成したランダム表を見て割
付する2. 何も書かれていない封筒の中にランダム化し
た番号を入れ、登録順に封筒を引いてもらい割付する
3. 組み入れ者と独立したセンターから割付を行う
4. 登録順に交互に割付する
8
今回取り扱う”質”とは
1. リサーチクエスチョンに対して、その研究がどれだけバイアスのない正しい答えを導いているか ( 内的妥当性 )
2. 研究結果を他の集団へ適用するために、適切なリサーチクエスチョンを投げかけているか (外的妥当性 )
9
Risk of Bias と GRADE
同じ PICO を持つ研究をアウトカム毎に評価するのが Risk of Bias
同じ PICO を持つ研究をメタ・アナリシスして出てきた結果に対して、精度や外的妥当性 (=非直接性 ) を加味してエビデンスの総体を評価するのが
10
RoB 2.0
注意ご紹介する内容は draft version ですので変更になる可能性もございます。
今後変更があればまたアップデートしていきます。
11
RoB 2.0 の流れ
1. RoB を行う研究のデザインを選ぶ2. RoB を行うアウトカムを選び、その効
果推定値を記述3. レビューにおける知りたい介入効果を選ぶ (effect of interest)
4. 入手した評価に利用可能な資料を選ぶ5. 研究のバイアスを評価する
12
RoB 2.0 の流れ
1. RoB を行う研究のデザインを選ぶ2. RoB を行うアウトカムを選び、その効
果推定値を記述3. レビューにおける知りたい介入効果を選ぶ (effect of interest)
4. 入手した評価に利用可能な資料を選ぶ5. 研究のバイアスを評価する
13
14
15
レビューにおける知りたい介入効果
どちらかを選ぶ
• 介入に割り付けられた時の効果を知りたい（ intention to treat effect）
• 介入を行い、介入を遵守した時の効果を知りたい（ per-protocol effect）
ITT解析や per-protocol解析とは違うので注意
16
入手した資料を選ぶ
17
RoB 2.0 の流れ
1. RoB を行う研究のデザインを選ぶ2. RoB を行うアウトカムを選ぶ3. レビューにおける知りたい介入効果を選ぶ (effect of interest)
4. 入手した評価に利用可能な資料を選ぶ5. 研究のバイアスを評価する
18
RoB 2.0 tool におけるバイアス評価の概略図
19
Overall risk of bias
Signalingquestions
Risk of bias Domains
介入研究： 5 つのバイアスドメイン
1. ランダム化プロセスで生じるバイアス2. 意図した介入からの逸脱によるバイアス3. 欠測アウトカムによるバイアス4. アウトカム測定によるバイアス5. 報告する結果の選択によるバイアス
20
各ドメインおよび全体の RoB 評価は 3種類
1. Low Risk of Bias2. Some concerns3. High Risk of Bias
バイアスの影響の方向も評価する ( バイアスがある場合のみ )Favors experimental / Favors comparator / Towards null /Away from null / Unpredictable
21
Signaling questions
ドメインのバイアス評価を行うための項目
例：ランダム化プロセスで生じるバイアス
1.1 割付の順序はランダムか？1.2 対象者の募集から介入の割付まで、割付順序は隠蔽化されているか ?1.3 ランダム化の問題を反映するようなベースラインの不均衡があるか？
22
Signaling question 評価は 5種類
Y: YesPY: Probably YesPN: Probably NoN: NoNI: No Information
※当てはまるものがない場合、 NA: Not Applicable を選択も可
23
Signaling questions の評価を用いたドメイン評価
24
RoB2.0 テーブル（予想）
25
ランダム化
介入からの逸脱
欠測アウトカム
アウトカム評価
報告アウトカムの選択
全体
RCT A
RCT B
RCT C
RCT D
アウトカム：死亡
RoB 2.0
ドメイン毎の評価
26
介入研究： 5 つのドメイン：フェーズごと
27
Cochrane handbook for Systematic Reviews of Interventions
ランダム化の手順に伴うバイアス
介入からの逸脱によるバイアス
アウトカム評価によるバイアス欠測アウトカムによるバイアス報告する結果の選択によるバイアス
対象患者
割り付け介入群 コントロール群
アウトカム評価 アウトカム評価
アウトカムの報告
介入研究： 5 つのバイアスドメイン
1. ランダム化プロセスで生じるバイアス2. 意図した介入からの逸脱によるバイアス3. 欠測アウトカムによるバイアス4. アウトカム測定によるバイアス5. 報告する結果の選択によるバイアスの
28
ランダム化の手順で生じるバイアス
1.1 割付の順序はランダムか？
Yes の例 ) コイントス、乱数表、統計ソフトでの乱数発生No の例 ) 曜日、誕生日、カルテ番号
29
ランダム化の手順で生じるバイアス
1.2 対象者の募集から介入の割付まで、割付順序は隠蔽化されているか ? (allocation concealment)
Yes の例 ) • 中央割付• 表に連続番号が振ってある、透けない、封をした（かつ、不正開封がわかる）封筒
No の例）• 次に来る対象者がどちらの群に割付されるかが組入
れ者にわかる可能性があるという理由がある
30
ランダム化の手順で生じるバイアス
1.3 ランダム化の問題を反映するようなベースラインの不均衡があるか？
Yes の例 ) • 両群のサイズの違いが不自然に大きい• ベースラインの背景因子が統計学的有意に違うものが偶
然とは考えられないくらい多い• キーとなる予後因子に不均衡があり、偶然とは考え難い場合
No の例）• 両群で背景因子が均等になっている
31
Signaling questions から RoB を選ぶ（案）
32
介入研究： 5 つのバイアスドメイン
1. ランダム化プロセスで生じるバイアス2. 意図した介入からの逸脱によるバイアス3. 欠測アウトカムによるバイアス4. アウトカム測定によるバイアス5. 報告する結果の選択によるバイアス
33
意図した介入からの逸脱によるバイアス
2.1 参加者は自身がどちらの群に割り付けられたか知っていたか？
Yes の例 )• 手術 vs 保存的加療
No の例 )• プラセボ対照
34
意図した介入からの逸脱によるバイアス
2.2 治療者やトライアルの職員は、被験者がどちらの群に割り付けられたか知っていたか？
Yes の例 )• 術式 1 vs 術式 2
No の例 )• プラセボ対照
35
意図した介入からの逸脱によるバイアス
割付を遵守した効果に興味がある場合
36
意図した介入からの逸脱によるバイアス
2.3. 2.1 もしくは 2.2 で Y,PY,NI の場合重要な co-interventions は両群で均等に行われているか？
No の例 )介入の薬剤で副作用が知られており、モニター管理の回数や visit の回数が増えた
37
意図した介入からの逸脱によるバイアス
2.4 介入の遂行に成功したか？（介入の問題）
No の例）• 血圧 120未満に下げる介入を行う予定が、
120以上になってしまった症例が少なくなかった
• 来院後 1 時間以内の抗菌薬投与のトライアルだったが、 1 時間以内に投与ができなかった症例が少なくなかった
38
意図した介入からの逸脱によるバイアス
2.5 研究参加者は割付られた介入のレジメンを遵守できていたか？（参加者の問題）
No の例 )コンプライアンス不良、中断、入れ替わりがあったケースが、バイアスを生むと考えられるほど多い
Yes の例 )介入が短期間の 1 度きり
39
意図した介入からの逸脱によるバイアス
2.6 2.3, 2.4, or 2.5 で N, PN, NI の場合介入を遵守した際の効果を推定する適切な解析が使われたか？
Yes の例 )IPTW解析、操作変数法などで調整した結果も報告している
No の例 )Co-intervention が片方の群にしか起こり得ない場合ITT, per-protocol解析のみ
40
Signaling questions から RoB を選ぶ（案）
41
介入研究： 5 つのバイアスドメイン
1. ランダム化プロセスで生じるバイアス2. 意図した介入からの逸脱によるバイアス3. 欠測アウトカムによるバイアス4. アウトカム測定によるバイアス5. 報告する結果の選択によるバイアス
42
欠測アウトカムによるバイアス
3.1 ランダム化された参加者のアウトカムデータは全て、またはほとんど全て利用可能か
Yes の例 )全員のアウトカムデータが揃っており ITT解析している
No の例）バイアスを生じると考えられるのアウトカムデータが欠測または補完されている連続変数 : 95%未満 ( 時に 90%未満 )2値アウトカム：イベント数が欠測データより少ない場合
43
欠測アウトカムによるバイアス
3.2 3.1 が N/PN/NI の場合群間でアウトカムが欠測した理由は似ているか？
Yes の例 )少しの不一致はあるが、欠測した理由や割合から、欠測したデータが似ていると判断される
No の例）副作用による欠測がどちらか一方で多い
44
欠測アウトカムによるバイアス
3.3 3.1がN/PN/NIの場合欠測アウトカムの存在に対して、その結果が頑健であるエビデンスがあるか？
Yesの例 )アウトカムが死亡と仮定。 Iの 25% が死亡、 Cの10% が死亡したとすると、 I は有益と言えないという一般的な認識があれば、 Iの欠測アウトカムのうち25% を死亡とし、 Cの欠測アウトカムの 10%を死亡とする。そのような boundary level の worse case scenario でも覆らない結果が、感度分析で示されている（Boundary level に納得できるかを批判的吟味する必要はある）
No の例）Complete case analysis しか行われていない
45
Signaling questions から RoB を選ぶ（案）
46
介入研究： 5 つのバイアスドメイン
1. ランダム化プロセスで生じるバイアス2. 意図した介入からの逸脱によるバイアス3. 欠測アウトカムによるバイアス4. アウトカム測定によるバイアス5. 報告する結果の選択によるバイアス
47
アウトカム測定によるバイアス
4.1 アウトカム評価者は研究参加者が受けた介入を知っていたか
No の例）アウトカム評価者が介入に対し、盲検化されている
Yes の例）上記以外
48
アウトカム測定によるバイアス
4.2 4.1 が Y,PY,NI の場合アウトカム評価がどの介入をうけたかの知識により影響を受けるか
Yes の例 )患者報告アウトカム (疼痛など）
No の例）アウトカムが死亡
49
Signaling questions から RoB を選ぶ（案）
50
介入研究： 5 つのバイアスドメイン
1. ランダム化プロセスで生じるバイアス2. 意図した介入からの逸脱によるバイアス3. 欠測アウトカムによるバイアス4. アウトカム測定によるバイアス5. 報告する結果の選択によるバイアス
51
報告する結果の選択によるバイアス
5.1 アウトカムを計測するのに複数の指標、定義または時期などが用いられているか？Yes の例 )プロトコルを見て下記の事項がある、かつ報告はその一部のみである場合• 疼痛を計測するのに VAS, NRS, QOL などを用いている• 死亡を 7 日 , 14 日 , 28 日のそれぞれで評価している
No の例 )• 全ての指標が事前に決められた通りに全て報告されている• 計測する指標を事前に１つに決めている場合• １つしか計測方法がない場合
52
報告する結果の選択によるバイアス
5.2 データを複数回解析しているか
Yes の例 )プロトコルを見て下記事項が存在し、かつその一部のみが報告されている場合
• 多変量解析で入れる因子を変えて何度か解析が行われている
• カットオフ値を変えて解析を行っている
No の例 )• カットオフを事前に１つに決めている
53
Signaling questions から RoB を選ぶ（案）
54
Overall risk を判断する
Low risk of bias5 つのドメイン全てが Low risk of bias
Some concerns5 つのドメインのうち少なくとも 1 つが some concerns
High risk of bias少なくとも 1 つドメインが high risk of biasもしくは複数のドメインが some concerns になっており、それが結果の信頼性を大きく下げている
55
RoB2.0 を行うために
論文上では全ての事項が記載されていないことが多い
研究計画書やトライアルレジストリ (ClinicalTrials.gov など ) に記載されていることも多いためそれらを参照すること
特に報告する結果の選択によるバイアスを検討する際には計画書がないと評価できない
56
Q ： Allocation concealment
適切な割付の隠蔽化に をつけてください。◯1. コンピュータで作成したランダム表を見て割
付する2. 何も書かれていない封筒の中にランダム化し
た番号を入れ、登録順に封筒を引いてもらい割付する
3. 組み入れ者と独立したセンターから割付を行う
4. 登録順に交互に割付する
57
Q ： Allocation concealment
適切な割付の隠蔽化に をつけてください。◯1. コンピュータで作成したランダム表を見て割
付する2. 何も書かれていない封筒の中にランダム化し
た番号を入れ、登録順に封筒を引いてもらい割付する
3. 組み入れ者と独立したセンターから割付を行う
4. 登録順に交互に割付する
58
RoB 2.0
いきなりやるのはツラい
59
朗報： AI の進歩
RoB 1.0 を自動でやってくれる AI があります
RobotReviewerhttps://robot-reviewer.vortext.systems/
60
できあがり
64
https://robot-reviewer.vortext.systems/Gaudry et al. NEJM 2016
65
https://robot-reviewer.vortext.systems/Gaudry et al. NEJM 2016
判断根拠を参考にしてもよいかもしれません
66
https://robot-reviewer.vortext.systems/Gaudry et al. NEJM 2016
Q&A
RoB1.0 と 2.0 の違いは？
67
変更点：目的ごとにツールを分けた ２種類
• “Intention to treat の効果”を見たい場合the effect of assignment to the interventions at baseline (regardless of whether the interventions are received during follow-up)
• “Per-protocol の効果”を見たい場合the effect of starting and adhering to the interventions as specified in the trial protocol.
68
変更点：研究デザインごとにツールを分けた ３種類
• Individually randomized, parallel group trials• Cluster randomized, parallel group trials• Individually randomized, cross-over trials
69
変更点：研究の結果を意識して評価するようになった
RoBツールに以下を記述するようになった
• どのアウトカムを評価するのか• そのアウトカムの効果推定値
70
全部のアウトカムに対して個別に評価するのか？というのはまだ決まっていない！
変更点：ドメインが 5 個に減って、総合評価が加えられた
1. ランダム化プロセスでの Bias (arising from the randomization process)
2. 介入効果に影響する Bias (due to deviations from intended interventions)
3. 欠測アウトカムによる Bias (due to missing outcome data)
4. アウトカム測定に関する Bias (in measurement of the outcome)
5. アウトカム報告に関する Bias (in selection of the reported result)
>> 総合評価！
71
参考 ) 今までの 7 つのドメイン
1. ランダム割り付け手順の評価 (random sequence generation)2. 割り付け隠蔽の評価 (selection bias)3. 患者と医療者の盲検方法の評価 (performance bias)4. アウトカム評価者の盲検の評価 (detection bias)5. 欠測アウトカムの評価 (attrition bias)6. 報告バイアスの評価 (reporting bias)7. その他のバイアス評価
72
Signaling question がついた
ドメインごとに Signaling question が付いており、ドメインごとの評価の再現性、透明性が向上している
73
本講義のまとめ
バイアスの５つのドメインがわかるRoB 2.0 で文献評価ができる
74
参考文献
Cochrane handbook for Systematic Reviews of Interventions [internet] available fromhttp://community.cochrane.org/handbook
RoB 2.0 toolhttps://sites.google.com/site/riskofbiastool/welcome/rob-2-0-tool
Revised Cochrane risk of bias tool for randomized trials (RoB 2.0)
