JES社会実験分科会・立教大学大学院 21世紀社会デザイン研究科共催セミナー「評価研究の巨人ロッシ教授が残した影響といくつかの主要な論争」ロッシら「プログラム評価第７版」に見る米国プログラム評価研究の発展と日本における課題

日本社会事業大学社会福祉学部　大 島　 巌2007.12.3 ／於：立教大学太刀川記念館（国際センター）

１ . 背 景 欧米諸国における、プログラム評価・政策評価の急速な発展 プログラム評価は、社会プログラムや社会政策を社会に適切に位置づけるために不可欠の存在となる ロッシら「プログラム評価」は、プログラム評価に関する初の体系的なテキストとして 1979 年に初版が出版 その後も版を改めながら、プログラム評価に関する最も代表的で標準的なテキストとして大学院教育などで使用されて来た 同時に、時代の最先端のプログラム評価方法を体系的にまとめた本として、数年おきに大胆な改訂を繰り返す。　　⇒プログラム評価の発展を跡付けるのに最適なテキスト

本報告の目的 ロッシら「プログラム評価」の改訂の歴史

をたどり、アメリカにおけるプログラム評価の理論と手法の発展の歴史と現状を明らかにする

日本におけるプログラム評価への示唆を、地域精神保健プログラムを事例にしながら検討

２ . 分析方法 まず、この本のインパクトを明らかにするため、 Web of

Science を検索。引用した文献の出版年次、論文の専門領域を分析

テキストの変遷を明らかにするために、初版から第７版までを比較検討

　　⇒①プログラムデザインとプログラム理論の位置づけ　 　　②評価者 - 利害関係者関係の位置づけ　 　　③プログラム効果の評価方法の位置づけ　に焦点を当てて、その変遷を検討 本文の記述とともに、 Key Concepts の用語、 Index 掲載

用語に注目して分析

３ . ロッシらのテキストの特徴･インパクト 評価 (evaluation) の用語法 プログラム評価の定義　　　□「システマティック・アプローチ」　　　□科学的な社会調査法の活用 プログラム評価の主な対象領域

プログラム評価とは「社会的介入プログラムの効果性をシステ

マティックに検討するために、プログラムを取り巻く政治的・組織的環境に適合し、かつ社会状況を改善するための社会活動に有益な知識を提供可能な方法で、社会調査法を利用することである」 ( ロッシら、 2004 ､第１章 )

プログラム評価とは (２ )

１ . 社会的介入プログラムの効果性を体系的に検討

２ . 科学的な社会調査法の適用３ . 評価を政治的・組織的文脈に適合させる４ . 社会活動に知識を提供して、社会状況を

改善する　　　　　　　　　　　　　 ( ロッシ

ら、 2004 ､第１章より )

プログラム評価とは（３）　より具体的には、評価担当者が社会調査の方法を用いて、プ

ログラムのすべての重要な側面から、社会的介入プログラムを研究し、査定し、改善を援助するもの

プログラムの重要な側面とは、 プログラムが対象とする社会問題を診断する（ニーズ評価） プログラムの設計や概念化（プログラム理論評価） その実施や管理（プロセス評価） アウトカム（インパクト評価） 効率性（効率評価）　　　　　　　　　　などを含んでいる (Rossi

ら、 2004 、第１章より )

何のためにプログラム評価を行うのか

有意義なプログラムと効果のないプログラムを区別するとともに、望ましい結果を実現するために新しいプログラムを開始し、既存のプログラムを改訂するため社会的介入プログラム (social intervention program) ： 　社会問題や社会状況を改善するために設計された、組織的で計画された通常は継続的な取り組みプログラムゴールとプログラム単位

プログラムゴール：改善すべき社会問題や社会状況プログラム単位：ゴールを達成するのに有効な、組織的で計画された取り組みの単位（構造･機能･プロセス）

ロッシら (2004)が対象とするプログラム 本文中の全 111件の Exhibits(例示 ) のうち プログラム評価の実例紹介：　 68件 (100%) 　 対人サービスに関する例示 : 63件 (93%) 福祉サービスに関する例示 : 48件 (71%) 保健サービスに関する例示 : 18件 (27%) 精神保健福祉サービスに関する例示 : 26件 (38%)　※分野別の分類に重複あり。　　「保健サービス」は狭義のものに限定。

表 ロッシらテキストの論文引用件数と発表年論文発表年 SSCI SSCI+SCI+A&HCI テキストの版

1979 第１版1980 13 141981 15 151982 14 15 第２版1983 18 181984 16 161985 13 14 第３版1986 18 191987 19 211988 12 121989 21 25 第４版1990 15 151991 21 211992 22 231993 18 20 第５版1994 26 271995 39 411996 53 581997 39 431998 26 271999 26 30 第６版2000 43 502001 41 452002 42 442003 33 382004 44 49 第７版2005 24 25全体 671 725

注：Web of Science、2005.9.24検索

ロッシらテキストのインパクト引用雑誌の領域： 社会科学一般　　 　 146 件 公衆衛生　　　　　 　 119 件 ソーシャルワーク　　 55 件 保健政策・サービス　 55 件 教育　　　　　　　　　　　 44 件注： SSCI 引用件数　 n=671 （ 2005.9.24) 初版から第７版までのいずれかを引用

章構成の変遷

ロッシら「プログラム評価の理論と方法

10～システマティックな対人サービス・政策評価の実践ガイド」（日本評論社 月刊）目次

１章 プログラム評価の概要

２章 プログラム評価をあつらえる

３章 課題を同定し、評価クエスチョンを形成する

４章 プログラムに対するニーズをアセスメントする

５章 プログラム理論の明示とアセスメント

６章 プログラムプロセスをモニターし、アセスメントする

７章 プログラムアウトカムの測定とモニタリング

８章 プログラムインパクトのアセスメント～無作為化フィールド実験法

９章 プログラムインパクトのアセスメント～代替的デザイン

10 章 プログラム効果の検出、解釈、および分析

11 章 効率性の測定

12 章 プログラム評価の社会的文脈

Rossi PH, et al (2004). Evaluation: A systematic approach, 7th edition, SAGE.

⇒ニーズ評価⇒ ﾌﾟﾛｸﾞﾗﾑ理論の評価⇒プロセス評価

　アウトカム評価（インパクト評価）⇒効率性評価

プログラム評価の企画・デザイン

⇒プログラム評価の社会的位置づけ

⇒プログラム評価の社会的位置づけ

⇒企画・デザイン

プログラム評価の種類(1) プログラムの必要性（ニーズ評価 ; needs assessment) ニーズを確定し、あるいは確認するための評価(2) プログラム理論の評価（セオリー評価 ; assessment of

program theory)　プログラムの設計・デザインの評価(3) プログラムの実施とサービス提供 ( プロセス評価 ;process assessment ）　　プログラムを実施し管理する過程の評価　 (4) プログラムの影響と効果 ( 影響評価 ; impact

assessment 、 アウトカム評価 ; outcome assessment)　　 サービス提供によって発生した成果､効果の評価(5) プログラムの効率 ( 効率評価 ; efficiency assessment)

表 ロッシら「プログラム評価～システマティックアプローチ」の改訂プロセス章の内容 1 (1979)版 2 (1982)版 3 (1985)版 4 (1989)版 5 (1993)版 6 (1999)版 7 (2004)版

A5 335p版､ A5 351p版､ A5 423p版､ A5 496p版､ B5 487p版､ B5 499p版､ B5 469p版､総説・概要 38p 36p 46p 54p 51p 34p 30p

(Tailoring)テーラリング 28p 38p 44p 54p 58p 40p 36p

課題同定と評価クエスチョン形成 - - - - - 40p 34p

( )ニーズアセスメント社会診断 40p 34p 36p 46p 48p 36p 32p

プログラム理論評価 - - - - - 36p 33p

プロセス評価モニタリング 38p 42p 46p 58p 52p 44p 30p

プログラムアウトカムの測定／その戦略 30p 30p 44p 46p 46p 44p 30p

プログラムインパクト： 無作為化フィールド実験法 46p 50p 36p 38p 36p 30p 32p

プログラムインパクト： 準実験法 36p 34p 36p

フルカバープログラムのアセスメント 30p 22p -

プログラム効果の検出・解釈・分析 - - - - - - 30p

効率性の測定 42p 32p 36p 42p 40p 32p 38p

プログラム評価の社会的文脈 28p 32p 44p 52p 53p 44p 54p

16p 22p 56p 66p

表 ロッシら「プログラム評価～システマティックアプローチ」の改訂プロセス

章の内容 1 (1979)版 2 (1982)版 3 (1985)版 4 (1989)版 5 (1993)版 6 (1999)版 7 (2004)版

総説・概要 ○ ○ ○ ○ ○ ○ ○

(Tailoring)テーラリング ○ ○ ○ ○ ○ ○ ○

課題同定と評価クエスチョン形成 - - - - - ○ ○

( )ニーズアセスメント社会診断 ○ ○ ○ ○ ○ ○ ○

プログラム理論評価 - - - - - ○ ○

プロセス評価モニタリング ○ ○ ○ ○ ○ ○ ○

プログラムアウトカムの測定／その戦略 ○ ○ ○ ○ ○ ○ ○

プログラムインパクト： 無作為化フィールド実験法 ○ ○ ○ ○ ○ ○ ○

プログラムインパクト： 準実験法 ○ ○ ○

フルカバープログラムのアセスメント ○ ○ -

プログラム効果の検出・解釈・分析 - - - - - - ○

効率性の測定 ○ ○ ○ ○ ○ ○ ○

プログラム評価の社会的文脈 ○ ○ ○ ○ ○ ○ ○

○ ○ ○ ○

ロッシらテキストの改訂プロセスを検討する際の注目点１ ) プログラムのデザイン、プログラム理

論２ ) プログラム評価に関わる社会関係３ ) プログラム効果の評価方法

プログラムデザイン、プログラム理論の位置づけの変遷

(1): 主なキー概念の変遷 プログラムデザイン、プログラム理論に関するもの

1 (1979)版 2 (1982)版 3 (1985)版 4 (1989)版 5 (1993)版 6 (1999)版 7 (2004)版

Evaluability assessment - ○ ○ ○ ○ ○ ○

Conceptualization and design analyses - ○ ○ ○ ○ - -

Impact model ○ ○ ○ ○ ○ - -

Causal/ intervention/action hypothesis △ ( )本文中 △ ( )本文中 △ ( )本文中 △ ( )本文中 △ ( )本文中 - -

Assessment of program theory - - - - △ ( )索引 ○ ○

Implementation/ theory failure - - - - - ○ ○

Articulated/ implicit program theory - - - - - ○ ○

Black box evaluation - - - - - ○ ○

Impact theory - - - - - ○ ○

Process theory - - - - - ○ ○

プログラム理論とは　　社会的介入プログラムが、その期待される社会的便益に影響すると思われる影響の因果関連や、プログラムがその目的や目標を達成するために採用している戦略や戦術に関する一連の仮説群。○プログラム理論の３要素　・プログラムの結果･効果に関わる因果関係を明らかにする　　　　　（インパクト理論）　　⇒ブラックボックス型評価の欠点を補う、ロジックモデル構築　・プログラム構造に関する規定（プロセス理論）　　　　①組織計画 (Organizational plan) ②サービス利用計画 (Service utilization plan)○理論上の失敗（ Theory failure ）と　 実施上の失敗 (Implementation failure)

インパクト理論

【まとめ】プログラムデザイン、プログラム理論の位置づけの変遷 ロッシらのテキストでは 1993 年に発行された第５版の索引でプログラム理論が登場 第５版までプログラム理論に代わる概念として impact model が用いられ、３種類の仮説が示される。しかし、その説明はごくわずか ６版以降１つの章を起こしているのとは対照的 近年のプログラム評価の動向としては、プログラムの企画、デザインを重視し、その中心にプログラム理論の構築を位置づけている

評価者 - 利害関係者関係の　位置づけの変遷

主なキー概念の変遷 (2): プログラム評価の社会関係に関わるもの　 1 版

(1979)2 版

(1982)3 版

(1985)4 版

(1989)5 版

(1993)6 版

(1999)7 版

(2004)

Stakeholders △( 本文中 ) △( 索引 ) △( 索引 ) △( 索引 ) ○ ○ ○

Evaluation sponsor △( 本文中 ) △( 本文中 ) △( 本文中 ) △( 本文中 ) △( 本文中 ) ○ ○

Reputability assessment - - - ○ ○ - -

Independent evaluation - - - - - ○ ○

Participatory or collaborative

evaluation- - - △( 本文中 ) △( 本文中 ) ○ ○

Empowerment evaluation - - - - - ○ ○

プログラム評価に関与する人たち○評価者（ evaluators ）○プログラムスポンサー (program sponsor)○評価スポンサー (evaluation sponsor)○ステークホルダー（ stakeholders；利害関係者たち）　プログラムの成否に特別な関心を持つ個人､集団､組織：スポンサー、政策立案者、政策管理者、　　プログラム実施者、プログラム受益者・家族、　　その他の利害関係者

評価者－利害関係者関係からみたプログラム評価の類型独立評価：　評価者は、評価計画を立て、評価を実施し、結果を伝えることにおいて、主たる責任を負う。参加型・協働型評価：評価者および１つ以上の利害関係者集団の代表者がチームをつくり、チームプロジェクトとして組織される。　　参加する利害関係者は、評価の計画、実行、分析に直接的に関与し、評価者は、チームリーダーやコンサルタントから、必要なときにだけ呼ばれる人という幅広い役割を担い、協働的に作業する。エンパワーメント評価：利害関係者の主導権、権利擁護、自己決定を強調する視点を発展させてきた方法。評価者－利害関係者関係は、参加型かつ協働型である。加えて、評価者の役割にはコンサルタントやファシリテーターの役割も含まれ、評価者は参加する利害関係者が自身で評価を行える力、権利擁護や変革のために評価結果を効果的に使える力、彼らの生活に影響を及ぼすプログラムに対してなんらかのコントロール感を開発する。

【まとめ】評価者 - 利害関係者関係の　位置づけの変遷 第６版以降に、独立評価、参加型・協働型評価、エンパワーメント評価という評価者と利害関係者の関係性に関わる評価分類がキーコンセプトに出現。 「利害関係者」は、初版でも本文中に記述はあるが、索引用語になっていない 第２版以降、「利害関係者」が索引用語となり、第５版以降でキーコンセプトに位置づけられる 評価者 - 利害関係者関係の位置づけを評価活動の重要な側面に位置づけることが近年の動向 対人サービス領域のプログラム評価では特に重要

プログラム効果の評価方法の位置づけの変遷

(3): 主なキー概念の変遷 プログラム効果の評価方法に関わるもの

1 (1979)版 2 (1982)版 3 (1985)版 4 (1989)版 5 (1993)版 6 (1999)版 7 (2004)版

Partial and full coverage - ○ ○ △ ( )タイトル △ ( )タイトル △ ( )タイトル -

statistical controls ○ ○ ○ ○ ○ ○ ○

Regression-discontinuity design - - - ○ ○ ○ ○

Reflexive controls ○ ○ ○ ○ ○ ○ ○

Time-series analyses △ ( )本文中 ○ ○ ○ ○ ○ ○

Generic controls △ ( )本文中 ○ ○ ○ ○ ○ -

Shadow controls △ ( )本文中 ○ ○ ○ ○ ○ -

Meta-analysis - - - ○ ○ △ ( )タイトル ○

Effect size statistic - - - - - - ○

Odds ratio - - - - - - ○

【まとめ】インパクト評価の位置づけの推移「科学的な厳密性」と「実践的な制約」のバランスに配慮するインパクト評価から、まずはランダム化比較試験（ RCT ）の可能性を追求するインパクト評価へランダム化比較試験 (RCT) の蓄積（メタ分析等）が、科学的根拠に基づく実践 (EBP) の基盤になるという認識へ変化RCT が難しい状況でも、準実験デザインを用いたインパクト評価が推奨される単純前後比較デザイン（⊂フルカバーデザイン）は、 ７版ではアウトカムモニタリングの位置づけに後退するフルカバーデザイン、シャドーコントロール法（判断に基づく振り返り評価）、全体統計比較法は７版では記述がなくなる

プログラム評価発展の歴史と現状のまとめ ロッシらテキスト初版の出版後約 25 年のうちに、プログラム評価の用語や視点が整理され、アプローチの枠組みも明確になった最近 20～ 30 年のプログラム評価論の発展の中心に、①プログラムのデザイン・プログラム理論、② 評価に関わる社会関係、中でも評価者 - 利害関係者関係、　 ③プログラム効果の評価方法がある プログラム評価が、より科学的、体系的になり、かつその社会調整機能を向上させて、社会的地位を高めてきたように思われる

　　厚生労働省「精神障害者退院促進支援事業」　　の検証

平成 17年度予算

退院促進支援事業の概要自立促進支援協議会（地域の精神保健・福祉・医療関係　　　　　機関から構成：　　機関長と実務担当者の会）・対象者の決定・自立支援計画の作成・訓練の進捗状況の把握など

Pt

地域生活支援センターなどの地域機関

自立支援員（支援職員 )

精神科病院

対象者・社会的理由の入院・長期入院が予想される・主治医の推薦・本人が希望、同意

Pt

Pt

PtPt

Pt

グループホームなど生活の場

作業所など活動の場

マンツーマンの支援関係づくりの事前面接

外出支援退院後フォロー

調整退院準備支援

退院促進事業の援助経過と成果　　　（大阪府の試行事業　 H12-14 ） (鹿野勉ら )

退院／事業終了時

支援対象者 97 人退院 51 人 (53%)

単身アパート 16 人GH 社復施設 22 人

家族 10 人その他 3 人再入院13 人26%

支援期間：対象者１人当り 8.9ヶ月　 (Max 2 年３ヶ月 /Min 1ヶ月 )うち入院継続 7人

「退院促進支援事業」を評価すると１ . 事業のプラス評価地域の関係機関･行政関係者が長期入院問題に関わることができた直接サービスがともなうケアマネジメントの導入医療関係者と地域関係者のコンセンサス作りをしながら進めることのできるプログラム全国的に、意欲的に取り組まれつつある退院が確かに促進されている（その程度は？）

「退院促進事業」を評価すると（２）課題１：プログラムモデルの構築 プログラムを必要としている人の特定がされておらず、主治医による恣意的な運用がされている プログラムのインパクト理論が明確でなく、退院を実現する援助をすればよいのか、その後の良い地域生活の実現を目指しているのかが関係者の間で共有されてない 既知の、科学的根拠に基づく「効果的援助要素」が取り入れられていない（ケースロード、多職種アプローチなど） プログラムのプロセス理論（組織計画、サービス利用計画）が明確になっておらず、時に現場に混乱が生じる

「退院促進事業」を評価すると（３）課題２：アウトカムの評価・科学的なアウトカム評価が行われていない・退院率は測定されるが、再入院防止、地域定着期間の増加、ＱＯＬの向上、満足度の向上などの効果が明らかでない

・退院は、アウトカム指標になるのか（サービス自体、あるいは直接の output ではないか）

「退院促進事業」を評価すると（４）課題３：プログラム評価に関わる社会関係・プログラムの利害関係者

(stakeholders)のそれぞれの役割が不明確・評価者が位置付いていない・プログラムのミッション、哲学・理念が関係者の間で共有されていない

システマティックなプログラム評価法が導入されると .....効果のあるプログラムモデルの構築が目指され、そ

の対象者（ターゲット）が明確にされる　プログラム理論が明確化され、それに基づいて利

害関係者との調整が可能になる科学的な効果評価の行うことができる環境が整い、

プログラムの普及・定着が可能になる⇒新規プログラムの開発に、システマティックなプログラム評価を活用する意義

対人サービス領域のプログラム評価の課題 対人サービス領域には、介護保険レベルの大規模なプログ

ラムから、個別分野の試行的事業、自治体単独事業など小規模な個別プログラムまで、数多くのプログラムが存在する

そのプログラムの多くが、実証的な根拠が不明確なまま、行政主導で創設されている

プログラム効果の検証は一部で行われているが、それが社会システムとしては位置付かない

既存プログラムの見直しは、科学的実証的なプログラム評価の方法を用いて行われることが少ない

何のためにプログラム（評価）を行うのか

有意義なプログラムと効果のないプログラムを区別するとともに、望ましい結果を実現するために新しいプログラムを開始し、既存のプログラムを改訂するため社会的介入プログラム (social intervention program) ： 　社会問題や社会状況を改善するために設計された、組織的で計画された通常は継続的な取り組み「地域生活支援プログラム」のゴールとプログラム単位

プログラムゴール：改善すべき社会問題や社会状況プログラム単位：ゴールを達成するのに有効な、組織的で計画された取り組みの単位（構造･機能･プロセス）　⇒そのプログラム単位が、どのように定義されるか

「地域生活支援プログラム」評価の課題

プログラム評価では、まずプログラム単位の明確化が必要：ある特定の問題解決のために有効な、組織的で計画された取り組みをどのように構築しているのか、まず「プログラム」の輪郭を明らかにする必要

プログラムゴールの明確化：改善すべき社会問題や社会状況が何なのか、プログラムを提供すべき標的集団がどのような状況にあるのか、を明らかにする必要改善すべき社会問題・社会状況の改善が、アウトカムの指標になる

効果的なプログラムを設計をする上でプログラム理論を活用：より効果的で、問題解決の改善に有効なプログラムモデルを設計・構築するためには、プログラム理論の活用が重要

研究者の関与について

対人サービス領域のプログラム評価の課題対人サービス領域のプログラムは、常に実践の検証を経ながらより良いプログラムに置き換わって行くことが必要であり、またそれが可能な領域

より良い対人サービスプログラムを、科学的に発展させていくために、日本でも、プログラム評価が主要な役割を果たす必要がある

　　大島巌（おおしまいわお） 　　 iwao_oshima@yahoo.co.jp

http://ioshima.com/ 　

Rossi P, et al (2004). Evaluation: A systematic approach. 7th edition. Sage Publications （大島 平岡ら監訳、プログラム評価の理､論と方法～システマティックな対人サービス・政策評価の実践ガイド . 日本評論社、2005 ）

ありがとうございました！