系統的レビュー研究計画書作成ワークショップ第五回

個々の文献の質の評価

尼崎総合医療センター　Hospital Care Research Unit

辻本康 , 辻本啓 , 片岡裕貴

2

このコースの目標

• 各参加者が興味を持つ臨床疑問を洗練した

上で、実施に足るレベルの系統的レビュー

の研究提案書を完成させる

3

前回の復習

P 、 I 、 C 、 O 、デザインについて定義を決めてもらいました。

→ これを表にしたものを Study Eligibility Table と言います

4

SR ＆ MA の全体像

構造化された疑問

系統的な検索・データベースの選択

・検索式の作成・文献の選択基準

・事前登録

漠然とした疑問

選択文献を対象とした批判的吟味

・事前に規定した評価基準 (Risk of bias)

発表 結果の統合とまとめ(=meta-analysis)

第一回 第二ー四回

第五回第五－七回第八 , 九回

5

第五回質の評価

今回取り扱う”質”とは

1. リサーチクエスチョンに対して、その研究がどれだけバイアスのない正しい答えを導いているか ( 内的妥当性 )

2. 研究結果を他の集団へ適用するために、適切なリサーチクエスチョンを投げかけているか ( 外的妥当性 )

6

Risk of Bias と GRADE

同じ PICO を持つ個々の研究を評価するのが Risk of Bias

同じ PICO を持つ研究をメタ・アナリシスして出てきた結果に対して、精度や外的妥当性 (= 非直接性 ) を加味してエビデンスの総体を評価するのが

7

例えば

8

9

今日の目標

• Risk of Bias table の作り方が分かる• Plagiarism の避け方が分かる

介入研究： 7 つのドメイン

1. ランダム割り付けの手順の評価 (selection bias)2. 割り付け隠蔽の評価 (selection bias)3. 患者と医療者の盲検方法の評価 (performance bias)4. アウトカム評価者の盲検の評価 (detection bias)5. 欠測アウトカムの評価 (attrition bias)6. 報告バイアスの評価 (reporting bias)7. その他のバイアス評価

10

評価は 3 種類

1. High Risk of Bias2. Low Risk of Bias3. Unclear

可能な限り、 High または Low に分けるどうしても判断できない時のみ Unclear

Unclear の方が High risk より良いということではないので注意

11

12

研究名

バイアス

http://onlinelibrary.wiley.com/doi/10.1002/14651858.CD007699.pub2/abstract

介入研究： 7 つのドメイン：フェーズと評価対象ごと

13

Cochrane handbook for Systematic Reviews of Interventions

ランダムの手順の評価

割り付け隠蔽の評価選択バイアスの評価

対象者と医療者のマスク化

評価者の盲検欠測アウトカムの評価報告バイアスの評価

対象患者

割り付け介入群 コントロール群

アウトカム評価 アウトカム評価

アウトカムの報告

割り付けの順序の評価 (selection bias)

ランダム割り付けの作成の評価(Random sequence generation)

Low risk の例 ) コイントス、乱数表、統計ソフトでの乱数発生High risk の例 ) 曜日、誕生日、カルテ番号

14

割り付けの隠蔽の評価 (selection bias) 割り付けが隠蔽されているか= 割り付けが決まった後で介入開始までに割り付けが分かってしまう方法を取っていないか(Random concealment)

High risk の例）• 透ける封筒（割り付けがわかってしまう）

Low risk の例 ) • 中央割付• 表に連続番号が振ってある、透けない、封をした封筒

15

患者と医療者の盲検化方法の評価 (performance bias)介入開始後に、研究参加者や研究に関わる関係者に参加者がどちらに割り付けられているか分からない状態が保たれているか、もしくは分かったとしても、結果に影響されないと判断されるか

High risk の例 )• 手術 vs 保存的加療

Low risk の例 )• プラセボ対照で、被験者と医療者が試験終了まで

どちらの群か判断できない

16

評価者の盲検方法の評価 (detection bias)アウトカムを評価する人は患者がどちらのグループに入ったか分からない状態に保たれているか、もしくは分かったとしても結果に影響がないとされるか

High risk の例 )• カテーテル治療を介入として、治療者がエコーで心機能評価

Low risk の例）• アウトカムが体重や血液データ等の客観的指標• カテーテル治療を介入として、盲検化された技師がエコーで心機能評価

17

欠測アウトカムの評価 (attrition bias)

ドロップアウトに関する群間の系統的誤差

High risk の例 )・データの欠測の理由がアウトカムに関連している・比較する群の間で欠測の割合が偏っている

Low risk の例 )• 全例追跡できている

18

報告バイアスの評価 (reporting bias)

• Protocol が入手可能で、事前に設定されたアウトカムが事前に設定された方法で報告されているか

• Protocol が入手可能でなくとも期待されるアウトカムがすべて報告されているか

19

その他のバイアス

• 上記でカバーできていない Risk of Biasが想定される場合は新たに項目をつくり評価する

• 例については Ch.8.15 に記載• 先行研究を参考に

20

実習： Random sequence generation

Random methods を選んでください1. Computer による乱数リストで割り付け2. 生年月日で割り付け（ e.g.偶数 ,奇数）3. 参加者の希望4. さいころで割り付け（ e.g.偶数 ,奇数）5. 登録順に交互に割り付け6.多くのくじの入った袋のくじ引きで決め

る

21

実習： Random sequence generation

Random methods を選んでください1. Computer による乱数リストで割り付け2. 生年月日で割り付け（ e.g.偶数 ,奇数）3. 参加者の希望4. さいころで割り付け（ e.g.偶数 ,奇数）5. 登録順に交互に割り付け6.多くのくじの入った袋のくじ引きで決め

る

22

例 (蘇生後脳症の低体温療法の効果の review)23

http://onlinelibrary.wiley.com/store/10.1002/14651858.CD009442.pub2/asset/CD009442.pdf?v=1&t=ia51zkoe&s=651cb61f4b3632e9369770bdf12f215dcbbedf85

例 ( 外科手術における真皮縫合の効果の review)24

http://onlinelibrary.wiley.com/doi/10.1002/14651858.CD012124/full

Risk of Bias table の作り方　 Handbook を読んでくださいChapter 8:  Assessing risk of bias in included studies Editors: Julian PT Higgins, Douglas G Altman and Jonathan AC Sterne on behalf of the Cochrane Statistical Methods Group and the Cochrane Bias Methods Group.   Key points Problems with the design and execution of individual studies of healthcare interventions raise questions about the validity of their findings; empirical evidence provides support for this concern. An assessment of the validity of studies included in a Cochrane review should emphasize the risk of bias in their results, i.e. the risk that they will overestimate or underestimate the true intervention effect. Numerous tools are available for assessing methodological quality of clinical trials. We recommend against the use of scales yielding a summary score. The Cochrane Collaboration recommends a specific tool for assessing risk of bias in each included study. This comprises a judgement and a support for the judgement for each entry in a ‘Risk of bias’ table, where each entry addresses a specific feature of the study. The judgement for each entry involves assessing the risk of bias as ‘low risk’, as ‘high risk, or as ‘unclear risk’, with the last category indicating either lack of information or uncertainty over the potential for bias. Plots of ‘Risk of bias’ assessments can be created in RevMan. In clinical trials, biases can be broadly categorized as selection bias, performance bias, detection bias, attrition bias, reporting bias and other biases that do not fit into these categories. For parallel group trials, the features of interest in a standard ‘Risk of bias’ table of a Cochrane review are sequence generation (selection bias), allocation sequence concealment (selection bias), blinding of participants and personnel (performance bias), blinding of outcome assessment (detection bias), incomplete outcome data (attrition bias), selective outcome reporting (reporting bias) and other potential sources of bias. Detailed considerations for the assessment of these features are provided in this chapter.   8.1 Introduction 8.2 What is bias? 8.3 Tools for assessing quality and risk of bias 8.4 Introduction to sources of bias in clinical trials Table 8.4.a: A common classification scheme for bias 8.5 The Cochrane Collaboration’s tool for assessing risk of bias 8.6 Presentation of assessments of risk of bias Figure 8.6.a: Example of a ‘Risk of bias’ table Figure 8.6.b: Example of a ‘Risk of bias graph’ Figure Figure 8.6.c: Example of a ‘Risk of bias summary’ Figure 8.7 Summary assessments of risk of bias Table 8.7.a: Possible approach for summary assessments 8.8 Incorporating assessments into analyses 8.9 Sequence generation 8.10 Allocation sequence concealment 8.11 Blinding of participants and personnel 8.12 Blinding of outcome assessment 8.13 Incomplete outcome data 8.14 Selective outcome reporting 8.15 Other potential threats to validity 8.16 Chapter information 8.17 References

25

ちょっとつらい

巨人アゲイン

私がより遠くまで見渡せたとすれば、それは巨人の肩の上に乗ることによってです。

26

先行研究のルールを参考にする

巨人の肩に立つ

29

より理解を深めるには

Cochrane handbook に判断の例などが書いてあります。実際 review する際には読んでみてくださいhttp://handbook.cochrane.org/chapter_8/table_8_5_d_criteria_for_judging_risk_of_bias_in_the_risk_of.htm

30

先行研究の一部を勝手に使っていいの？

31

Plagiarism とは？

他人の論文・発表のアイデアや一部を許可なし /帰属を明示せず使用する事！特定不正行為 ( データ捏造、データ改ざん、盗用 ) の一つ

例 )• 引用符 (“ ”) なしに一部をそっくりそのままコピペす

ること (citation に示していても )• 二次文献を読んで、その一次文献のみを内容を読まずに引用

• 文献を要約して citation なしに利用

32

Emma Barber, English-language editor Cochrane Japan, NCCHD “Avoiding plagiarism”

特別な例外

• Cochrane Review は methods sectionで他の review とオーバーラップする割合が高い

• 引用を示さなかったり、逐語的であったりしない限り問題とはならない

• the characteristics tables/risk of bias tables の類似は問題とならない

33

http://community.cochrane.org/editorial-and-publishing-policy-resource/plagiarism#special-circumstancesEmma barber, english-language editor　 cochrane japan, ncchd　“ Avoiding plagiarism”のスライド

どのようにして Plagiarism を避けるのか

• 言い換え表現 (paraphrase) して引用• 要約して引用• 引用符を用いて引用• レビューグループのテンプレを使用する

34

http://community.cochrane.org/editorial-and-publishing-policy-resource/plagiarism

本日のまとめ

• Risk of Bias sheet の内容がわかる• Plagiarism の避け方が分かる

35

参考文献

Cochrane handbook for Systematic Reviews of Interventions [internet] available fromhttp://community.cochrane.org/handbookPlagiarismhttp://community.cochrane.org/editorial-and-publishing-policy-resource/plagiarismEmma Barber, English-language editor　Cochrane Japanワークショップ@ncchd 2015.2.5　“Avoiding plagiarism”のスライドHypothermia for neuroprotection in children after cardiopulmonary arrest (Cochrane Review) Warfarin initiation nomograms for venous thromboembolism（Cochrane Review）

H26年度 研究活動における不正行為への対応等に関するカイドラインAvailable from http://www.mext.go.jp/b_menu/houdou/26/08/__icsFiles/afieldfile/2014/08/26/1351568_02_1.pdf