1

日本評価学会第７回大会報告

精神保健福祉領域における

プログラム評価の近年の発展と課題

日本社会事業大学社会福祉学部精神保健福祉学分野 大 島 巌

2006.12.2

プログラム評価とは

１. 社会的介入プログラムの効果性を体系的に検討

２. 科学的な社会調査法の適用

３. 評価を政治的・組織的文脈に適合させる

４. 社会活動に知識を提供して社会状況を改善する

(ロッシら、2004､第１章より)

2

プログラム評価とは（２）

「より具体的には、評価研究者（評価担当者：evaluators)が、社会調査の方法を用いて、プログラムのすべての重要な側面から、社会的介入プログラムを研究し、査定し、改善を援助するもの」

「プログラムの重要な側面とは、プログラムが対象とする社会問題を診断すること、プログラの設計や概念化、その実施や管理、アウトカム、効率性などを含んでいる」

(Rossiら、2004)

社会的介入プログラム(social intervention program)：社会問題や社会状況を改善するために設計された、組織的

で計画された通常は継続的な取り組み。

１. 精神保健福祉領域におけるプログラム評価の位置と近年の発展

1920年前後より公衆衛生分野を中心にプログ

ラム評価が発展

教育学領域とともに、保健・医療領域における

評価研究は、プログラム評価の礎になる

1990年代以降、科学的根拠に基づく医療

(Evidence-Based Medicine; EBM)が注目される

3

１. 精神保健福祉領域におけるプログラム評価の位置と近年の発展 (2)

EBMとともに、

心理・社会的介入プログラムを、科学的に社会システムに位置づけようとする、科学的根拠に基づく実践(Evidence-Based Practices; EBP)

治療法や治療システムに関する、科学的で適切な意思決定を行うことを目指した科学的根拠に基づく保健医療ケア（Evidence-Based Healthcare; EBHC）などに対して、多くの関心が向けられる

プログラム評価方法論の活用とその方法論の発展

本報告の目的

精神保健福祉領域において発展しているEBP研究、

サービス普及研究の新しい動向を整理して提示

(1)アウトカムに貢献するプログラムモデルの構築と

フィデリティ評価法の発展、および、(2)サービス普及研

究の発展とEBPツールキットプロジェクトの意義という

観点から、プログラム評価の方法論的発展と今後の課

題について検討

4

２. 科学的根拠にもとづく実践（EBP）への注目とその背景

ＥＢＭとは直感やあやふやな経験に基づく医療ではなく、科学

的に明確なエビデンス（証拠）に基いて最適な医療や

治療法を選択し実践するための方法論、あるいは行

動指針

各種疾患に対する、さまざまな治療法・介入方法の

効果を、メタ分析を用いたシステマティック・レビュー

(SR)によって明確化することを重視する

ランダム化比較試験(RCT)によって明らかにされた効

能研究efficacy researchの結果が、レベルの高いエ

ビデンスとして尊重される

２. 科学的根拠にもとづく実践（EBP）への注目とその背景

ＥＢＭの歴史

1991年 カナダのマクマスター大学のGuyattが初め

てEBMの用語を使用

同大EBMワーキンググループがEBM概念を発展

1992年 コクラン共同計画(The Cochrane Collaboration;

CC)によるシステマティック・レビュー（SR）

1990年代中頃以降、世界的な医療の新たなパラダイ

ムになる

1990年代中頃以降、EBMに基づく治療ガイドラインが

相次いで、数多く公表される

5

２. 科学的根拠にもとづく実践（EBP）への注目とその背景

EBMの実施プロセス

問題の定式化

科学的なエビデンスの収集【システマティック・レビュー; SR】

エビデンスを批判的に吟味して信憑性を確認【システマティック・レビュー; SR】

エビデンスの使用可能性を判断して患者に適用【治療ガイドライン】

２. 科学的根拠にもとづく実践（EBP）への注目とその背景

プログラム評価の視点からみたEBMEBMで重視される臨床試験自体は、直接的には、プログラム評価

に分類されない

一方、(EBMにも分類される)ケアマネジメントや家族介入プログラ

ムなど心理社会的介入プログラムは、プログラムの有効性を科学

的に明らかにするために、プログラム評価の手法が活用される

精神保健福祉領域では、薬物療法などの身体療法のみならず心

理社会的介入プログラム(⇒EBP)が身体療法と同等の効果を示す

EBPプログラムを臨床・実践現場で実施していくためには、臨床・

実践現場という社会システムの中にそのプログラムを位置づける

こと、最終的には社会政策的な位置づけが不可欠になる

⇒科学的根拠に基づく実践（Evidence-Based Practices; EBP）プログラム

6

２. 科学的根拠にもとづく実践（EBP）への注目とその背景

科学的根拠に基づく実践プログラム(EBP)とは

利用者の援助効果を向上させる一貫した科学的証拠のある援助プログラムのこと

これらのプログラムは、有効性に関する十分な証拠と合意がありながら、実践に移せなかったり、プログラム基準を満たさない不十分な実践しか行えていない

利用者の自立や生活の質の向上を実現するために、利用者はEBPを活用する権利があり、限られた資源の中でEBPを優先的に提供する必要がある(Drakeら、2001を整理・改編）

EBPは、EBMに比較して社会システムの中での実施・普及と、限られた社会資源の中での優先的実施という社会的実施システムにより焦点が当たっている

図１　家族支援プログラム研究による再発率(９ヶ月後予後)

48

29

44

50

29

12

10

6

9

11

0 20 40 60

タリアら(1988)

ハガティら(1986)

ファルーンら(1982)

レフら(1982)

ゴールドスタインら(1978)

％

家族支援

コントロール

7

家族支援プログラムの有効性●メタ分析の結果：

条件に合致した６研究（n=350人)の再発率低減に関するOdds比(信頼区間)：

介入６ヶ月 0.30(0.06-0.71)介入９ヶ月 0.22(0.10-0.37)介入２年 0.17(0.10-0.35)

●再発率以外の効果：家族のExpressed Emotion(ＥＥ)を改善する効果家族の負担を低減する効果障害者本人の社会機能が向上する効果など

ケースマネジメント(ACT､ICM)のRCT研究（n=25)

改善率

研究数① 改善② 不変 悪化 (②/①)

件 件 件 件 ％

入院期間 23 14 8 1 60.9

住居定着期間 12 9 2 1 75.0

刑務所/留置所 10 2 7 1 20.0

コンプライアンス 4 2 2 0 50.0

精神症状 16 8 8 0 50.0

薬物乱用 6 1 5 0 16.7

社会適応度 14 3 11 0 21.4

職業機能 8 3 5 0 37.5

QOL 13 7 6 0 53.8

患者満足度 7 6 1 0 85.7

家族満足度 4 2 2 0 50.0

Mueser et al(1998)

結果(研究数)

8

ＩＰＳ援助付き雇用のRCT研究(n=12)における一般就労率の比較

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

96 NH (IPS)

94 NY (SE)

04 CA(IPS)

04 IL(IPS)

04 CT(IPS)

04 SC (IPS)

99 DC(IPS)

95 IN(SE)

00 NY (SE)

04 QUE(IPS)

97 CA(SE)

02 MD (IPS)

Supported Employment Control Control 2

表　 治療･援助プログラムのガイドライン(勧告)の実施率

　　　　　　　　　　アメリカ統合失調症PORT研究､1998､n=719

ガイドライン(勧告) 入院 通院

％ ％

急性期向精神薬の使用 89.2 -

維持的向精神薬の使用 - 92.3

家族介入､家族心理教育 31.6 9.6

職業リハビリテーション 30.4 22.5

ACＴ､積極的ケースマネジメント 8.6 10.1

9

２. 科学的根拠にもとづく実践（EBP）への注目とその背景

EBPのサービスキャップ

EBPの援助プログラムが、ニーズをもつ人たちに行き届

いていない不適切な状態

サービスギャップを改善するための取り組み

効果的なプログラムモデルの定式化・標準化を行い、そ

の有効な実施体制・サービス提供体制を明らかにし、組

織的な実施・普及体制を整える取り組み

アメリカ連邦政府のEBPツールキットプロジェクトなど

サービス普及研究

EBMとEBPの実施プロセスの違いEBM①問題の定式化

②科学的なエビデンスの収集【Systematic Review; SR】

③エビデンスを批判的に吟味して信憑性を確認【SR】

④エビデンスの使用可能性を判断して患者に適用【治療ガイドライン】

EBP①問題の定式化

②科学的なエビデンスの収集【SR】

③エビデンスを批判的に吟味して信憑性を確認、

個別状況に応じた効果的なプログラムモデルを確認【SR】

④EBPの実施技法、実施体制を整備【援助プログラムのシステム化】

⑤EBPの使用可能性を判断して利用者に適用【援助システム・普及システムを含むガイドライン】

10

３. サービス普及研究と実施・普及ツールキットプロジェクト

サービス普及研究とはプログラムの実施・普及プロセスに関わる研究であり、プログラム評価のプロセス理論に深く関わる

通常の臨床場面・実践場面を想定して、効果的なプログラムを、ニーズをもつ多くの対象者に活用されるためのエビデンスを用意する

効果的プログラムモデル構築に関する実証的研究、行政組織に関する研究、医療経済研究･財政分析、サービス組織のスタッフ･指導者の知識･技能･教育に関する研究、組織過程に関する研究、合意形成に関する関係者の意識に関する研究などが含まれる

EBPに基づくサービス普及研究の方向(1)

４レベルの研究 (Rosenheck, 2001)

efficacy research（効能研究）

effectiveness research（効果研究）

effectiveness studies（有効性研究）

dissemination process research

（普及プロセス研究）

11

EBPに基づくサービス普及研究の方向(2)

サービス普及研究の研究領域効果的プログラムモデル構築に関する実証研究の進展

効果的な援助要素(critical ingredients)の抽出

効果のある援助対象者の明確化

実施可能な援助プロセスの解明

普及のためのプログラムモデルの構築

→フィデリティ尺度の構築

行政組織に関する研究、医療経済研究･財政分析

サービス組織のスタッフ･指導者の知識･技能･教育に関

する研究

組織過程に関する研究

合意形成に関する関係者の意識に関する研究

実施･普及ツールキット研究

３. サービス普及研究と実施・普及ツールキットプロジェクト

プログラムモデルの確立とフィデリティ評価

フィデリティ評価(Fidelity assessment)とは

特定のプログラムが、科学的根拠に基づく実践

（EBP）の基準に従っている程度の評価

プロセス評価の一部であり、効果的なプログラムモデ

ルへの適合度・忠実度(fidelity)を評価する

効果的で、質の高い援助要素を同定して作成される

12

フィデリティ評価とは（２）

EBPモデルに忠実に実施されたプログラムは、より良いアウトカムをもたらすために重要と考えられる

サービスの質のモニタリングや、プログラムモデルを発展・改善させるために使用される

評価尺度としての社会的認知は、1995年前後に包括型ケアマネジメント（ACT)に対するフィデリティ評価で、その有効性を明らかにしてから

今日では、プログラム評価における必須の用具と認識される【ツールキットの最も主要な用具の１つ】

フィデリティ評価の進展を阻害する要因

十分に定義されたプログラムモデルの欠如

もっとも主要な要因は、十分に定義されたプログラムモデル

に欠けること。ACT、SE、FPE、SSTを除いて、適切な援助法マ

ニュアル(treatment manual)さえ存在しない

⇒EBPツールキットプロジェクト(1999-)

精神科リハビリテーションの複雑さ

フィデリティ評価にとって大きなチャレンジ

プログラムの構造的側面(スタッフ配置など)とともに、プ

ログラムの援助機能もモデル化する必要性

13

代表的なフィデリティ尺度：DACTS(Dartmouth Assertive Community Treatment Scale）

ACTモデルfidelity評価する尺度として、Teagueら(1998)によっ

て開発され、国際的に幅広く使用される

3領域「スタッフの配置」「組織」「サービスの特徴」 28項目から

なる、５段階評価尺度

プログラムと関わりを持たない評価者が、以下に挙げる様々な

情報源から情報を入手し、それを総合して評価

情報源：同行訪問面接などで援助場面の観察やミーティングの

観察、チームリーダーやケースマネジャー、利用者への面接、

記録の確認

項目の例

毎日行われるチームミーティング：

ACTチームは少なくとも週4回の

チームミーティングを持つ

14

注：n=18 地域精神保健センター(McGrew et al 1994)

0.59 全接触回数

0.31 訪問サービスの回数

0.33 サービスサブスケール

0.55 24時間対応サービス

0.46 ケースマネジャーが直接サービス提供

0.49 チーム会議を毎日実施

0.65 ケースロードの分担

0.56 組織サブスケール

0.49 看護師がチームにいる

0.28 精神科医がチームにいる

0.35 チームサイズ

0.19 クライエント・スタッフ比

0.54 スタッフサブスケール

0.60 全実践度

r実践度尺度、下位項目

モデル実践度尺度(Fidelity Scales)と入院日数減少の関連

15

最も重要な予測因子

チームに看護師がいること

ケースロードの共有

毎日行われるチームミーティング

チームリーダーが利用者に会うこと

合計コンタクト回数

(McGrew, Bond, Dietzen & Salyers, 1994)

弁別妥当性の結果（ACTチームは他のケースマネジメ

ントと異なる(Teague, Bond, & Drake, 1998)）

5 = 5 = 最高のフィデリティ最高のフィデリティ…….1 = .1 = 最低のフィデリティ最低のフィデリティ

2.3811従来のCM

3.4215ホームレスCM

3.5210VA病院 ICM

4.0114ACT

ACTフィデリティサイトの数

プログラム

の種類

16

予測妥当性の結果

4.692.87入院（回数）

13%58%物質利用の軽減

30%15%支援からのドロップアウト

低フィデリティ

ＡＣＴ

高フィデリティＡＣＴ

(McHugoら、1999)

予測妥当性の結果(McHugoら、1999)

精神疾患と物質関連障害をもち、７つの地域精神保健センターでＡＣＴを利用するクライアエントが対象者

４つの高フィデリティＡＣＴチーム (n = 61)

３つの低フィデリティＡＣＴチーム (n = 26)

厳密な３年間のフォローアップ研究

17

なぜフィデリティ尺度を使うのか？

活動の実施状況を明らかにし、援助の質を

向上させる

新たなプログラム実施を追求する現場へ、

具体的なフィードバックを提供する

行政機関に対して、プロジェクト目標の達成

状況の情報を提供する

情報を公共のために公開する

アメリカ連邦政府EBPプロジェクトの歴史

1989 脳の10年 (国立精神保健研究所)

統合失調症研究国家プラン

1991 国立精神保健研究所・サービス改善のための国家研究計画

1992 統合失調症 PORT (Patient Outcomes Research Team)プロジェクト開始

1995 PORT報告書 No. 1: EBPに関する文献研究のまとめと政策提言

1997 アメリカ精神医学会､統合失調症治療ガイドライン

1998 PORT報告書 No. 2: 治療･介入の勧告と勧告実施状況に関する利用者調査

1999 精神保健に関する公衆衛生長官レポート

連邦 EBPツールキット・プロジェクトのスタート

2002 国立精研、全州精神保健プログラム責任者全国協会(NASMHPD)、専門学会

など各種機関・団体がEBPの全国集会、シンポジウムを開催する

2003 PORT勧告改訂版

精神保健に関する大統領ニューフリーダム委員会報告

2006 EBPツールキットの完成

18

EBPツールキットプロジェクト

• 包括型ケアマネジメント(Assertive Community Treatment: ACT)

• 家族心理教育（Family Psychoeducation: FPE）• 援助付き雇用プログラム（Supported Employment）• 疾病管理とリカバリープログラム（Illness

Management and Recovery: IMR）• 統合的重複障害治療（Integrated Dual Disorders

Treatment: IDDT）• 薬物管理アプローチ（Medication Management

Approaches in Psychiatry: MedMAP）※アメリカ連邦保健省薬物依存精神保健サービス部(SAHMSA) 精神保健サービスセンターとの委託契約とRobert Wood Johnson Foundationの補助金によって実施されている

19

EBP ツールキットの目次構成

利用者ガイド情報提供

利用者に／家族と他の支援者に実践家と臨床指導者に精神保健プログラムのリーダーに

実施方法精神保健プログラムリーダーの工夫精神保健行政担当者の工夫文化的な適用フィデリティ評価法・尺度利用者のアウトカムモニタリング法・尺度

実践家と臨床指導者のためのワークブックビデオ 紹介ビデオ／実践紹介ビデオ

３. サービス普及研究と実施・普及ツールキットプロジェクト

プログラム評価からみた意義と課題

科学的根拠に基づく実践（EBP）は、保健医療（特に

精神保健福祉）の実践領域から発展した、新しいプログ

ラム評価のアプローチ

アウトカムと結びついたプロセス評価（フィデリティ評価）

が実施・普及上、重要な役割を果たす

プログラム理論（プロセス理論）の発展を、実証的に裏付

ける取り組み

「サービス利用計画」レベルのフィデリティ尺度

「組織計画」レベルのフィデリティ尺度

20

プログラム理論とは

社会的介入プログラムが、その期待される社会的便益に影響すると思われる影響の因果関連や、プログラムがその目的や目標を達成するために採用している戦略や戦術に関する一連の仮説群。

○プログラム理論の３要素

・プログラムの結果･効果に関わる因果関係を明らかにする

（インパクト理論）

⇒ブラックボックス型評価の欠点を補う、ロジックモデル構築

・プログラム構造に関する規定（プロセス理論）

①組織計画(Organizational plan)②サービス利用計画(Service utilization plan)

○理論上の失敗（Theory failure）と

実施上の失敗(Implementation failure)

21

４. 課題と展望：

プログラム評価学発展への示唆

アウトカムとの関連で、プログラムの内容や「サービスの質」を見直す視点を改めて提起する

４つのレベルのプログラム評価研究効能研究efficacy research、効果研究effectiveness research

有用性研究effectiveness studies、普及プロセス研究dissemination

process researchの位置づけ、役割分担の明確化。

それぞれのレベルでの「科学的根拠(エビデンス)」の蓄積

フィデリティ評価の有用性、アウトカムと結びつけたプロセス評価の必要性 ⇒プロセス理論発展への貢献

プログラム実施･普及ツールキットの意義と可能性

４. 課題と展望：

プログラム評価論の課題

サービス普及研究の観点から、効果的な援助要素に関するより詳細な分析が必要。

特にサービス機能に関する援助要素の検討は、今後の課題

普及ツールキットをより優れたものにして行くために、その内容をプログラム理論（プロセス理論）の観点からより詳細に検討することが必要

サービス普及研究の位置づけと、その方法論の発展

サービスの質評価・モニタリングに、アウトカムの視点をより十分に導入することが必要。フィデリティ評価の活用