43
国立大学法人運営交付金の 重点支援において設定された 評価指標(KPI)の分析 1 平成3032日(金) 継続的改善のためのIR/IEセミナー IR実務担当者セッション 総合地球環境学研究所 IR特任専門職員 押海圭一

国立大学法人運営交付金の 重点支援において設定さ …iir.ibaraki.ac.jp/jcache/documents/2018/iries2018/files/...年度の評価基準・観点 平成29年度予算案における運営費交付金の重点支援に係る評価においては、評価指標を活用して実施される進捗状況の確

  • Upload
    others

  • View
    0

  • Download
    0

Embed Size (px)

Citation preview

Page 1: 国立大学法人運営交付金の 重点支援において設定さ …iir.ibaraki.ac.jp/jcache/documents/2018/iries2018/files/...年度の評価基準・観点 平成29年度予算案における運営費交付金の重点支援に係る評価においては、評価指標を活用して実施される進捗状況の確

国立大学法人運営交付金の重点支援において設定された

評価指標(KPI)の分析

1

平成30年3月2日(金) 継続的改善のためのIR/IEセミナー

IR実務担当者セッション

総合地球環境学研究所 IR室

特任専門職員 押海圭一

Page 2: 国立大学法人運営交付金の 重点支援において設定さ …iir.ibaraki.ac.jp/jcache/documents/2018/iries2018/files/...年度の評価基準・観点 平成29年度予算案における運営費交付金の重点支援に係る評価においては、評価指標を活用して実施される進捗状況の確

本日の発表内容

1. 目的

2. 国立大学法人運営費交付金の重点支援について

3. データ分析

4. 考察

2

Page 3: 国立大学法人運営交付金の 重点支援において設定さ …iir.ibaraki.ac.jp/jcache/documents/2018/iries2018/files/...年度の評価基準・観点 平成29年度予算案における運営費交付金の重点支援に係る評価においては、評価指標を活用して実施される進捗状況の確

1.目的

3

Page 4: 国立大学法人運営交付金の 重点支援において設定さ …iir.ibaraki.ac.jp/jcache/documents/2018/iries2018/files/...年度の評価基準・観点 平成29年度予算案における運営費交付金の重点支援に係る評価においては、評価指標を活用して実施される進捗状況の確

1.目的

第3期中期目標期間における運営交付金の重点支援スキームの中で、各国立大学がどのような指標を設定し、それに対して文科省がどのように評価しているかについて複数の観点から分析することで、よりよい指標の設定について検討を行う。

4

Page 5: 国立大学法人運営交付金の 重点支援において設定さ …iir.ibaraki.ac.jp/jcache/documents/2018/iries2018/files/...年度の評価基準・観点 平成29年度予算案における運営費交付金の重点支援に係る評価においては、評価指標を活用して実施される進捗状況の確

2.国立大学法人運営費交付金の重点支援について

5

Page 6: 国立大学法人運営交付金の 重点支援において設定さ …iir.ibaraki.ac.jp/jcache/documents/2018/iries2018/files/...年度の評価基準・観点 平成29年度予算案における運営費交付金の重点支援に係る評価においては、評価指標を活用して実施される進捗状況の確

国立大学法人運営費交付金の重点支援について

6「(詳細)平成29年度国立大学法人運営費交付金の重点支援の評価結果について」平成29年1月12日文科省発表資料(http://www.mext.go.jp/b_menu/houdou/29/01/1381033.htm)より抜粋

地域貢献型

全国的な教育研究型

世界で卓越した教育研究型

Page 7: 国立大学法人運営交付金の 重点支援において設定さ …iir.ibaraki.ac.jp/jcache/documents/2018/iries2018/files/...年度の評価基準・観点 平成29年度予算案における運営費交付金の重点支援に係る評価においては、評価指標を活用して実施される進捗状況の確

重点支援類型選択状況

7国立大「交付金」の“3類型”化の顔ぶれ! - 旺文社 教育情報センターより抜粋(http://eic.obunsha.co.jp/resource/pdf/educational_info/2015/0904_k.pdf)

地域貢献型

全国的な教育研究型 世界で卓越した教育研究型

Page 8: 国立大学法人運営交付金の 重点支援において設定さ …iir.ibaraki.ac.jp/jcache/documents/2018/iries2018/files/...年度の評価基準・観点 平成29年度予算案における運営費交付金の重点支援に係る評価においては、評価指標を活用して実施される進捗状況の確

重点支援スキームによる再配分イメージ図

8

「国立大「運営費交付金等」の仕組と狙い!|旺文社教育情報センター」より抜粋(http://eic.obunsha.co.jp/resource/viewpoint-pdf/201705.pdf)

重点支援スキームによって配分される金額自体は、全体予算の中では小さいが、評判・イメージ面でのインパクトは大きい。

Page 9: 国立大学法人運営交付金の 重点支援において設定さ …iir.ibaraki.ac.jp/jcache/documents/2018/iries2018/files/...年度の評価基準・観点 平成29年度予算案における運営費交付金の重点支援に係る評価においては、評価指標を活用して実施される進捗状況の確

関係新聞報道など

9

https://mainichi.jp/articles/20180105/org/00m/100/059000c

https://http://univ-journal.jp/11390/

https://www.titech.ac.jp/news/2016/033823.html

http://www.sankei.com/life/news/160331/lif1603310034-n1.html

Page 10: 国立大学法人運営交付金の 重点支援において設定さ …iir.ibaraki.ac.jp/jcache/documents/2018/iries2018/files/...年度の評価基準・観点 平成29年度予算案における運営費交付金の重点支援に係る評価においては、評価指標を活用して実施される進捗状況の確

国立大学法人評価の中の重点支援の位置づけ

10「(概要)平成29年度国立大学法人運営費交付金の重点支援の評価結果について」平成29年1月12日文科省発表資料(http://www.mext.go.jp/b_menu/houdou/29/01/1381033.htm)より抜粋

H29年度に指

標(KPI)の実質化を各大学に要求

Page 11: 国立大学法人運営交付金の 重点支援において設定さ …iir.ibaraki.ac.jp/jcache/documents/2018/iries2018/files/...年度の評価基準・観点 平成29年度予算案における運営費交付金の重点支援に係る評価においては、評価指標を活用して実施される進捗状況の確

指標実質化のイメージ図

11「(概要)平成29年度国立大学法人運営費交付金の重点支援の評価結果について」平成29年1月12日文科省発表資料(http://www.mext.go.jp/b_menu/houdou/29/01/1381033.htm)より抜粋

Page 12: 国立大学法人運営交付金の 重点支援において設定さ …iir.ibaraki.ac.jp/jcache/documents/2018/iries2018/files/...年度の評価基準・観点 平成29年度予算案における運営費交付金の重点支援に係る評価においては、評価指標を活用して実施される進捗状況の確

平成28年度と29年度の評価基準の変化平成28年度の評価基準・観点

・各大学が有する強み・特色に関する実績や今後の強み・特色の形成を踏まえた機能強化の方向性に沿った内容となっているか。

・ビジョンの実現に向けた具体的な改革の方針となっているか。

・第3期中期目標・中期計画(素案)の記載事項との関係性が明確であるか。

・戦略の達成状況を判断するための測定可能な評価指標(KPI)等が設定されているか。

・選択した枠組みとの関連性が明確であり、戦略の実行に必要となる具体的な取組が提案されているか。

・教育研究活動の個々の取組が、戦略を実行するための手段として体系的に整理されているか。また、その内容が総花的になっていないか。

・3つの枠組みごとの観点として、各大学法人が選択した枠組みの項目を総合的に評価

12

平成28年度における国立大学法人運営費交付金の重点支援の評価結果について(http://www.mext.go.jp/b_menu/houdou/28/03/__icsFiles/afieldfile/2016/03/09/1367853_01.pdf)

平成29年度の評価基準・観点

平成29年度予算案における運営費交付金の重点支援に係る評価においては、評価指標を活用して実施される進捗状況の確認を視野に、昨年度より各国立大学法人が設定している評価指標(KPI)について、目標として掲げる数値や、評価指標の測定方法、目指す水準の妥当性等をより明確にすることを「評価指標(KPI)の実質化」と位置付け、その確認を評価の中核に据える。

平成28年度は第3期の開始年であり、第3期の6年を通じた各国立大学

法人の「ビジョン」及びその実現に向けた具体的な改革方針である「戦略」の構想内容全体の評価が行われ、平成29年度は設定・実質化された「指標(KPI」に関する評価が行われた。

「(概要)平成29年度国立大学法人運営費交付金の重点支援の評価結果について」平成29年1月12日文科省発表資料(http://www.mext.go.jp/b_menu/houdou/29/01/1381033.htm)より抜粋

Page 13: 国立大学法人運営交付金の 重点支援において設定さ …iir.ibaraki.ac.jp/jcache/documents/2018/iries2018/files/...年度の評価基準・観点 平成29年度予算案における運営費交付金の重点支援に係る評価においては、評価指標を活用して実施される進捗状況の確

反映率(平成28~29年度)一覧

13平成29年度の反映率(評価)が高い順に左上から配置。赤色のセルは平成28年度よりも反映率が上がった大学。

大学名財務グループ

重点支援種類

H29反映率 H28反映率 大学名財務グループ

重点支援種類

H29反映率 H28反映率 大学名財務グループ

重点支援種類

H29反映率 H28反映率

福島大学 C 1 113 86.2 琉球大学 G 1 102.7 97 和歌山大学 H 1 95.1 118.6

浜松医科大学 D 1 113 107.8 東京外国語大学 C 2 102.4 92.6 名古屋大学 A 3 94.9 100.2

帯広畜産大学 B 1 111.7 118.6 滋賀大学 C 1 102.3 107.8 政策研究大学院大学 F 2 94.3 102.9

東京医科歯科大学 D 2 110 102.9 東京大学 A 3 102 100.2 兵庫教育大学 E 1 93.6 107.8

愛媛大学 G 1 109.6 97 東京芸術大学 C 2 101.7 113.2 東京学芸大学 E 2 93.1 102.9

奈良先端科学技術大学院大学 F 2 108.5 102.9 弘前大学 G 1 101.4 107.8 茨城大学 H 1 92.8 97

京都大学 A 3 108.5 110.3 筑波技術大学 C 2 101.4 82.3 山口大学 G 1 92.6 97

三重大学 G 1 108.1 118.6 岐阜大学 G 1 101.3 97 室蘭工業大学 B 1 92.4 97

九州大学 A 3 107 110.3 群馬大学 G 1 100.9 86.2 小樽商科大学 C 1 92.4 118.6

東京工業大学 B 3 106.7 90.2 金沢大学 G 3 100.9 80.2 北見工業大学 B 1 92.4 97

信州大学 G 1 106.2 97 長岡技術科学大学 B 1 100.7 118.6 埼玉大学 H 1 92.4 107.8

新潟大学 A 1 105.2 107.8 東京農工大学 B 3 100.2 90.2 上越教育大学 E 1 92.4 97

北海道大学 A 3 103 100.2 岩手大学 H 1 99.9 118.6 島根大学 G 1 92.4 97

総合研究大学院大学 F 2 102.9 102.9 豊橋技術科学大学 B 1 99.7 107.8 鳴門教育大学 E 1 92.4 86.2

北海道教育大学 E 1 102.7 107.8 愛知教育大学 E 1 99.6 97 福岡教育大学 E 1 92.4 97

秋田大学 G 1 102.7 97 大阪大学 A 3 99.6 100.2 筑波大学 A 3 91.7 100.2

山形大学 G 1 102.7 107.8 鹿児島大学 G 1 99.4 86.2 静岡大学 H 1 90.8 97

宇都宮大学 H 1 102.7 118.6 東北大学 A 3 99.3 100.2 岡山大学 A 3 90.8 90.2

横浜国立大学 H 1 102.7 107.8 お茶の水女子大学 H 2 99 92.6 広島大学 A 3 88.1 90.2

名古屋工業大学 B 1 102.7 107.8 鳥取大学 G 1 98.9 97 千葉大学 A 3 87.8 90.2

滋賀医科大学 D 1 102.7 97 香川大学 G 1 98.8 97 一橋大学 C 3 87.6 100.2

京都工芸繊維大学 B 1 102.7 118.6 福井大学 G 1 98.5 97 旭川医科大学 D 1 86.4

大阪教育大学 E 1 102.7 97 山梨大学 G 1 98 97 宮城教育大学 E 1 82.8 97

徳島大学 G 1 102.7 97 神戸大学 A 3 97.7 110.3 京都教育大学 E 1 82.2 75.5

高知大学 G 1 102.7 107.8 九州工業大学 B 2 96.5 92.6 奈良教育大学 E 1 82.1 118.6

長崎大学 G 1 102.7 97 電気通信大学 B 2 96.1 102.9 奈良女子大学 H 2 81.3 92.6

熊本大学 G 1 102.7 107.8 佐賀大学 G 1 95.9 97 富山大学 G 1 80.5 97

大分大学 G 1 102.7 107.8 北陸先端科学技術大学院大学 F 2 95.7 92.6 鹿屋体育大学 B 2 78.3 92.6

宮崎大学 G 1 102.7 107.8 東京海洋大学 B 2 95.4 102.9

Page 14: 国立大学法人運営交付金の 重点支援において設定さ …iir.ibaraki.ac.jp/jcache/documents/2018/iries2018/files/...年度の評価基準・観点 平成29年度予算案における運営費交付金の重点支援に係る評価においては、評価指標を活用して実施される進捗状況の確

4.データ分析

14

Page 15: 国立大学法人運営交付金の 重点支援において設定さ …iir.ibaraki.ac.jp/jcache/documents/2018/iries2018/files/...年度の評価基準・観点 平成29年度予算案における運営費交付金の重点支援に係る評価においては、評価指標を活用して実施される進捗状況の確

使用データおよび分析手法

<使用データ>

文科省報道発表資料(平成29年1月12日) 「平成29年度における国立

大学法人運営費交付金の重点支援の評価結果について」の中の各種データ( http://www.mext.go.jp/b_menu/houdou/29/01/1381033.htm )

<分析手法>

・単純集計

・クロス集計

・テキストマイニング

・ロジックモデル上の位置およびデータ種類の分析に基づくクロス集計

15

Page 16: 国立大学法人運営交付金の 重点支援において設定さ …iir.ibaraki.ac.jp/jcache/documents/2018/iries2018/files/...年度の評価基準・観点 平成29年度予算案における運営費交付金の重点支援に係る評価においては、評価指標を活用して実施される進捗状況の確

実際のPDFファイル(抜粋)

16

ビジョン>戦略名>戦略の概要>評価指標の順に内容が細かくなる

「(別紙2)各大学の評価結果(概要)」平成29年1月12日文科省発表資料(http://www.mext.go.jp/b_menu/houdou/29/01/__icsFiles/afieldfile/2017/01/12/1381033_5.pdf)より抜粋

①~⑦までの評点(S~B)を足して戦略の評価結果(A~E)を出す。さらに戦略の評価を総合して、各大学の最終の反映率を確定。

Page 17: 国立大学法人運営交付金の 重点支援において設定さ …iir.ibaraki.ac.jp/jcache/documents/2018/iries2018/files/...年度の評価基準・観点 平成29年度予算案における運営費交付金の重点支援に係る評価においては、評価指標を活用して実施される進捗状況の確

戦略数および戦略ごとの評価

17

「(概要)平成29年度国立大学法人運営費交付金の重点支援の評価結果について」平成29年1月12日文科省発表資料(http://www.mext.go.jp/b_menu/houdou/29/01/1381033.htm)より抜粋

Page 18: 国立大学法人運営交付金の 重点支援において設定さ …iir.ibaraki.ac.jp/jcache/documents/2018/iries2018/files/...年度の評価基準・観点 平成29年度予算案における運営費交付金の重点支援に係る評価においては、評価指標を活用して実施される進捗状況の確

評価項目ごとの評点

18

「(概要)平成29年度国立大学法人運営費交付金の重点支援の評価結果について」平成29年1月12日文科省発表資料(http://www.mext.go.jp/b_menu/houdou/29/01/1381033.htm)より抜粋

Page 19: 国立大学法人運営交付金の 重点支援において設定さ …iir.ibaraki.ac.jp/jcache/documents/2018/iries2018/files/...年度の評価基準・観点 平成29年度予算案における運営費交付金の重点支援に係る評価においては、評価指標を活用して実施される進捗状況の確

指標数分布

19

4

38

27

8

23

21

0 01

0

5

10

15

20

25

30

35

40

0-9 10-19 20-29 30-39 40-49 50-59 60-69 70-79 80-89 90-99 100-109

大学数

指標数

指標数ヒストグラム

平均値 23.6中央値 20最頻値 11最小値 5最大値104

Page 20: 国立大学法人運営交付金の 重点支援において設定さ …iir.ibaraki.ac.jp/jcache/documents/2018/iries2018/files/...年度の評価基準・観点 平成29年度予算案における運営費交付金の重点支援に係る評価においては、評価指標を活用して実施される進捗状況の確

重点支援分類ごとの指標数

20

16

9

29

12

30

22

9

19

10

2123

11121114

232328

1316

23

5

14

2219

11

20

1313

34

15171611

7

2422

52

1820222228

13

31

17

41

17

70

43

1615

104

28

63

11

1815

1015

59

211816

1311

21

12

2118

2924

302929

19

3027

30

63

36

51

2326

36

15

0

20

40

60

80

100

120

新潟大学

帯広畜産大学

名古屋工業大学

京都工芸繊維大学

長岡技術科学大学

豊橋技術科学大学

室蘭工業大学

北見工業大学

福島大学

滋賀大学

小樽商科大学

浜松医科大学

滋賀医科大学

旭川医科大学

北海道教育大学

大阪教育大学

愛知教育大学

兵庫教育大学

上越教育大学

鳴門教育大学

福岡教育大学

宮城教育大学

京都教育大学

奈良教育大学

愛媛大学

三重大学

信州大学

秋田大学

山形大学

徳島大学

高知大学

長崎大学

熊本大学

大分大学

宮崎大学

琉球大学

弘前大学

岐阜大学

群馬大学

鹿児島大学

鳥取大学

香川大学

福井大学

山梨大学

佐賀大学

山口大学

島根大学

富山大学

宇都宮大学

横浜国立大学

岩手大学

和歌山大学

茨城大学

埼玉大学

静岡大学

九州工業大学

電気通信大学

東京海洋大学

鹿屋体育大学

東京外国語大学

東京芸術大学

筑波技術大学

東京医科歯科大学

東京学芸大学

奈良

先端

科学技術大学院大学

総合研究大学院大学

北陸

先端

科学技術大学院大学

政策研究大学院大学

お茶の水女子大学

奈良女子大学

京都大学

九州大学

北海道大学

東京大学

大阪大学

東北大学

神戸大学

名古屋大学

筑波大学

岡山大学

広島大学

千葉大学

東京工業大学

東京農工大学

一橋大学

金沢大学

重点支援分類指標数

重点支援① 重点支援② 重点支援③

指標数の平均は、重点支援①23個、重点支援②19個、重点支援③31個

Page 21: 国立大学法人運営交付金の 重点支援において設定さ …iir.ibaraki.ac.jp/jcache/documents/2018/iries2018/files/...年度の評価基準・観点 平成29年度予算案における運営費交付金の重点支援に係る評価においては、評価指標を活用して実施される進捗状況の確

指標数と反映率

21

75

80

85

90

95

100

105

110

115

0 20 40 60 80 100 120

H29年反映率(%)

指標数

指標数とH29年度反映率(重点支援分類ごと)

重点支援① 重点支援② 重点支援③

相関係数=-0.112051655

Page 22: 国立大学法人運営交付金の 重点支援において設定さ …iir.ibaraki.ac.jp/jcache/documents/2018/iries2018/files/...年度の評価基準・観点 平成29年度予算案における運営費交付金の重点支援に係る評価においては、評価指標を活用して実施される進捗状況の確

テキストマイニング分析

<使用データ>

文科省報道発表資料(平成29年1月12日) 「平成29年度における国立

大学法人運営費交付金の重点支援の評価結果について」の中の「各大学の評価結果(詳細) 」(http://www.mext.go.jp/b_menu/houdou/29/01/__icsFiles/afieldfile/2017/01/12/1381033_5.pdf)ファイルをダウンロードし、エクセルファイルに変換後データクリーニング。

<手法>

「KH Coder 2」 (http://khc.sourceforge.net/からダウンロード可能)を使用し、特徴語分析、対応分析を実施。

22

Page 23: 国立大学法人運営交付金の 重点支援において設定さ …iir.ibaraki.ac.jp/jcache/documents/2018/iries2018/files/...年度の評価基準・観点 平成29年度予算案における運営費交付金の重点支援に係る評価においては、評価指標を活用して実施される進捗状況の確

特徴語分析

23

• 「戦略名」「戦略概要」「評価指標」に出現する特徴語を各重点支援分類で抽出。

1 2 3 1 2 3

戦略名

地域 .462研究 .167社会 .228

戦略概要

地域 .653研究 .180世界 .344

教育 .338教育 .142世界 .222 教育 .484本学 .175実現 .297

育成 .256形成 .138研究 .174 人材 .393情報 .175社会 .272

人材 .251拠点 .128国際 .165 育成 .365文化 .169国際 .265

強化 .221グローバル .110構築 .136 連携 .362世界 .163研究 .235

推進 .216世界 .103実装 .100 強化 .298拠点 .162大学 .215

拠点 .201改革 .095グローバル .094 拠点 .291科学 .161創出 .214

機能 .159国際 .082創出 .088 課題 .260プログラム .154本学 .209

連携 .147組織 .077イノベーション .081 行う .240国際 .150トップ .206

課題 .140女性 .076改革 .080 貢献 .237構築 .150ビジョン .205

1 2 3

評価指標

状況 .356国際 .124状況 .196

増加 .165年間 .097研究 .174

地域 .148教育 .094国際 .131

教育 .140研究 .094増加 .125

学生 .112実施 .089論文 .112

教員 .111海外 .085共同 .110

件数 .086共同 .079大学 .107

プログラム .079活動 .078外国 .089

連携 .079教員 .071割合 .075

就職 .072機関 .069海外 .072

数値はJaccardの類似性測度(0-1までの値を取り、関連が強いほど1に近づく)

重点支援①では「地域」、「教育」、「人材」

重点支援②では「研究」、「教育」、「グローバル」

重点支援③では「世界」「国際」「研究」などが特徴語としてみられる。

Page 24: 国立大学法人運営交付金の 重点支援において設定さ …iir.ibaraki.ac.jp/jcache/documents/2018/iries2018/files/...年度の評価基準・観点 平成29年度予算案における運営費交付金の重点支援に係る評価においては、評価指標を活用して実施される進捗状況の確

戦略名対応分析

24

差異が顕著な語上位100語

(0,0)の点から離れるほど特

徴的な語であるといえ、1,2,3の方向はその類型に特徴的な語を表す。

バブルの大きさは頻出度を表す。

Page 25: 国立大学法人運営交付金の 重点支援において設定さ …iir.ibaraki.ac.jp/jcache/documents/2018/iries2018/files/...年度の評価基準・観点 平成29年度予算案における運営費交付金の重点支援に係る評価においては、評価指標を活用して実施される進捗状況の確

戦略概要対応分析

25

差異が顕著な語上位100語

Page 26: 国立大学法人運営交付金の 重点支援において設定さ …iir.ibaraki.ac.jp/jcache/documents/2018/iries2018/files/...年度の評価基準・観点 平成29年度予算案における運営費交付金の重点支援に係る評価においては、評価指標を活用して実施される進捗状況の確

指標内容対応分析

26

差異が顕著な語上位50語

Page 27: 国立大学法人運営交付金の 重点支援において設定さ …iir.ibaraki.ac.jp/jcache/documents/2018/iries2018/files/...年度の評価基準・観点 平成29年度予算案における運営費交付金の重点支援に係る評価においては、評価指標を活用して実施される進捗状況の確

ロジックモデルにもとづく分析

<使用データ>

文科省報道発表資料(平成29年1月12日) 「平成29年度における国立

大学法人運営費交付金の重点支援の評価結果について」の中の「各大学の評価結果(詳細) 」(http://www.mext.go.jp/b_menu/houdou/29/01/__icsFiles/afieldfile/2017/01/12/1381033_5.pdf)フ

ァイルをダウンロードし、エクセルファイルに変換後データクリーニング(テキストマイニングと同じデータ)。

<手法>

各指標をロジックモデル上のどの位置(インプット→活動→アウトプット→アウトカム→インパクト)の状況を測る指標であるかを分類し、指標の評価状況とのクロス分析を行った。

27

Page 28: 国立大学法人運営交付金の 重点支援において設定さ …iir.ibaraki.ac.jp/jcache/documents/2018/iries2018/files/...年度の評価基準・観点 平成29年度予算案における運営費交付金の重点支援に係る評価においては、評価指標を活用して実施される進捗状況の確

ロジックモデルとは

28

平成29年度研究開発評価人材育成研修(初級)資料http://www.mext.go.jp/a_menu/kagaku/hyouka/1399793.htm

注意:最終的なゴールをどこに設定するかで、何がアウトプット、アウトカム、インパクトになるかは変わる。また、実際の事業は上のように1本のロジックのみ

で成り立つのではなく、複数のロジックがツリー状になり、最終目標達成へと向かう。

この発表では、投入資源→インプット活動→活動結果→アウトプット直接的成果→アウトカム間接的・最終的成果→インパクトと読み替える

Page 29: 国立大学法人運営交付金の 重点支援において設定さ …iir.ibaraki.ac.jp/jcache/documents/2018/iries2018/files/...年度の評価基準・観点 平成29年度予算案における運営費交付金の重点支援に係る評価においては、評価指標を活用して実施される進捗状況の確

ロジックモデルとKPIの関係

29

「平成29年度研究開発評価人材育成研修(初級) 」(http://www.mext.go.jp/a_menu/kagaku/hyouka/1399793.htm)資料

各段階での実施・達成状況を指標によって測るが、その際に重要(“Key”となる)と考えられる指標をKey performance indicator(KPI)と呼ぶ。

各段階で設定したKPIに基づいて、各段階およびロジックモデル全体でPDCAサイクルに基づきマネージメントを行うことが理想。

※今回のスキームで提出されている指標は最も多い大学で100程度であるが、内部的には数倍~数十倍の指標を設定して活動を管理していると思われる。

Page 30: 国立大学法人運営交付金の 重点支援において設定さ …iir.ibaraki.ac.jp/jcache/documents/2018/iries2018/files/...年度の評価基準・観点 平成29年度予算案における運営費交付金の重点支援に係る評価においては、評価指標を活用して実施される進捗状況の確

各指標の分類方法

30

インプット教育・研究等に必要な資源投入(スタッフ・教職員(年俸制、外国人等、属性含む)、予算、スペース、組織整備など)

活動教育、研究等の具体的な活動状況(入学者数・留学派遣数・留学生受け入れ数、共同研究・受託研究・科研費など)

アウトプット教育・研究等の結果当然生まれる実績(研究業績(論文数、出版数、特許数)、シンポジウム開催数・参加者数、就職者数など)

アウトカムアウトプットに対する評価を必要とするもの(論文の被引用度、業績に基づく受賞、卒業生の満足度、特許収入など)

インパクトアウトカムがさらに波及的な効果を生み出すもの、政策等の最終目標に近い。

※他にも、インプットと活動、アウトプットとアウトカムなど複合的な指標と捉えられるものもあり、それらは複合指標として別でカウントした。

※上記の分類は今回のデータ分析用に設定したものであり、実際は各大学が想定したロジックモデルとともに指標を見ない限り、正確に分類はできない。

Page 31: 国立大学法人運営交付金の 重点支援において設定さ …iir.ibaraki.ac.jp/jcache/documents/2018/iries2018/files/...年度の評価基準・観点 平成29年度予算案における運営費交付金の重点支援に係る評価においては、評価指標を活用して実施される進捗状況の確

ロジックモデル上の位置分布

31

215

1104

486

98

15 4

138

83

42 1

指標のロジックモデル上の位置分布

インプット 活動 アウトプット

アウトカム インプット・活動 インプット・活動・アウトプット

活動・アウトプット 活動・アウトプット・アウトカム アウトプット・アウトカム

アウトプット・アウトカム・インパクト アウトカム・インパクト 不明

Page 32: 国立大学法人運営交付金の 重点支援において設定さ …iir.ibaraki.ac.jp/jcache/documents/2018/iries2018/files/...年度の評価基準・観点 平成29年度予算案における運営費交付金の重点支援に係る評価においては、評価指標を活用して実施される進捗状況の確

ロジックモデル上の位置と評価

評価項目ごとの状況(全体)

32

評価項目ごとの評点 S評点 A評点 B評点 合計

評価項目①「基準値等が明確か」

― 2000 33 20330.0% 98.4% 1.6% 100.0%

評価項目②「目標値等が明確か」

― 1940 93 20330.0% 95.4% 4.6% 100.0%

評価項目③「戦略の達成状況を測る指標として適切か」

41 1832 160 20332.0% 90.1% 7.9% 100.0%

評価項目④「水準の妥当性」

41 964 1028 20332.0% 47.4% 50.6% 100.0%

評価項目⑤「構想全体と中期目標・計画との関係性」

― 273 25 2980.0% 91.6% 8.4% 100.0%

評価項目⑥「構想全体と3つの枠組みとの関連性」

― 276 22 2980.0% 92.6% 7.4% 100.0%

評価項目⑦「進捗状況等」

― 1998 35 20330.0% 98.3% 1.7% 100.0%

Page 33: 国立大学法人運営交付金の 重点支援において設定さ …iir.ibaraki.ac.jp/jcache/documents/2018/iries2018/files/...年度の評価基準・観点 平成29年度予算案における運営費交付金の重点支援に係る評価においては、評価指標を活用して実施される進捗状況の確

ロジックモデル上の位置と評価③戦略達成度指標としての適切さ S A B 総計

インプット5 146 64 2152.3% 67.9% 29.8% 100.0%

活動18 1008 78 11041.6% 91.3% 7.1% 100.0%

アウトプット7 468 11 4861.4% 96.3% 2.3% 100.0%

アウトカム2 93 3 982.0% 94.9% 3.1% 100.0%

インプット・活動1 10 4 156.7% 66.7% 26.7% 100.0%

インプット・活動・アウトプット0 4 0 40.0% 100.0% 0.0% 100.0%

活動・アウトプット0 13 0 130.0% 100.0% 0.0% 100.0%

活動・アウトプット・アウトカム0 8 0 80.0% 100.0% 0.0% 100.0%

アウトプット・アウトカム8 75 0 839.6% 90.4% 0.0% 100.0%

アウトプット・アウトカム・インパクト0 4 0 40.0% 100.0% 0.0% 100.0%

アウトカム・インパクト0 2 0 20.0% 100.0% 0.0% 100.0%

不明0 1 0 10.0% 100.0% 0.0% 100.0%

総計41 1832 160 20332.0% 90.1% 7.9% 100.0%

33その他の評価項目ではそれほど顕著な差はなかったが、「③戦略達成度指標としての適切さ」では、インプット指標の評価が低い。

Page 34: 国立大学法人運営交付金の 重点支援において設定さ …iir.ibaraki.ac.jp/jcache/documents/2018/iries2018/files/...年度の評価基準・観点 平成29年度予算案における運営費交付金の重点支援に係る評価においては、評価指標を活用して実施される進捗状況の確

データ種類に基づく分析

34

定量データ現象を量的に把握したもので、数値に基づく評価を行いたいときに用いるデータ。(論文数、科研費獲得金額、国際シンポ開催回数、など)

定性データ

目標値が定量化されていないデータ。「有効に機能しているとの評価を得る」、「実施状況」、「拡充」など。

※ただし、質問紙調査の結果などを順序尺度や間隔尺度を使って定量化することは可能であり、そのような指標は定量データと判断した。

定量・定性データ質の表現が定量化されていないもの(「世界最高水準の研究拠点数」「競争的な選抜を行うことができる水準を維持」など)

Page 35: 国立大学法人運営交付金の 重点支援において設定さ …iir.ibaraki.ac.jp/jcache/documents/2018/iries2018/files/...年度の評価基準・観点 平成29年度予算案における運営費交付金の重点支援に係る評価においては、評価指標を活用して実施される進捗状況の確

定量データ・定性データ分布

35

49

1971

121

定量データ・定性データ

定性 定量 定量・定性 不明

Page 36: 国立大学法人運営交付金の 重点支援において設定さ …iir.ibaraki.ac.jp/jcache/documents/2018/iries2018/files/...年度の評価基準・観点 平成29年度予算案における運営費交付金の重点支援に係る評価においては、評価指標を活用して実施される進捗状況の確

データ種類と評価

36

定性データの評価は悪い。

データ種類 S A B 総計

評価項目①「基準値等が明確か」

定量- 1953 18 1971- 99.1% 0.9% 100.0%

定性- 36 13 49- 73.5% 26.5% 100.0%

定量・定性- 11 1 12- 91.7% 8.3% 100.0%

不明- 0 1 1- 0.0% 100.0% 100.0%

総計― 2000 33 2033

0.0% 98.4% 1.6% 100.0%

評価項目②「目標値等が明確か」

定量- 1908 63 1971- 96.8% 3.2% 100.0%

定性- 24 25 49- 49.0% 51.0% 100.0%

定量・定性- 8 4 12- 66.7% 33.3% 100.0%

不明- 0 1 1- 0.0% 100.0% 100.0%

総計― 1940 93 2033

0.0% 95.4% 4.6% 100.0%

評価項目③「戦略の達成状況を測る指標として適切か」

定量41 1793 137 1930

2.1% 92.9% 7.1% 100.0%

定性0 26 23 49

0.0% 53.1% 46.9% 100.0%

定量・定性0 12 0 12

0.0% 100.0% 0.0% 100.0%

不明0 1 0 1

0.0% 100.0% 0.0% 100.0%

総計41 1832 160 2033

2.0% 90.1% 7.9% 100.0%

評価項目④「水準の妥当性」

定量41 938 992 1930

2.1% 48.6% 51.4% 100.0%

定性0 23 26 49

0.0% 46.9% 53.1% 100.0%

定量・定性0 3 9 12

0.0% 25.0% 75.0% 100.0%

不明0 0 1 1

0.0% 0.0% 100.0% 100.0%

総計41 964 1028 2033

2.0% 47.4% 50.6% 100.0%

Page 37: 国立大学法人運営交付金の 重点支援において設定さ …iir.ibaraki.ac.jp/jcache/documents/2018/iries2018/files/...年度の評価基準・観点 平成29年度予算案における運営費交付金の重点支援に係る評価においては、評価指標を活用して実施される進捗状況の確

5.結果・考察

37

Page 38: 国立大学法人運営交付金の 重点支援において設定さ …iir.ibaraki.ac.jp/jcache/documents/2018/iries2018/files/...年度の評価基準・観点 平成29年度予算案における運営費交付金の重点支援に係る評価においては、評価指標を活用して実施される進捗状況の確

結果・考察

• テキストマイニングからは、文科省が設定する類型に沿った形で各大学が戦略や指標を立てていることがわかった。

• 提出した指標の数と全体の評価にそれほど相関はない。

• インプット指標の評価は低い。

• 定性的指標の評価は低い。

38

これまでの計画・評価においては、○○の設置、○○の実施など、インプット指標や、定性的な指標が多かった(手段の目的化)。それらの指標は設置、実施すれば目標達成となり、それによって何が実現したのか、という説明がされなかった。しかし、そのような指標は、PDCAサイクルをまわすことによるマネ

ジメントには不適切であり、文科省もそのような指標を否定し始めていることがわかる。

Page 39: 国立大学法人運営交付金の 重点支援において設定さ …iir.ibaraki.ac.jp/jcache/documents/2018/iries2018/files/...年度の評価基準・観点 平成29年度予算案における運営費交付金の重点支援に係る評価においては、評価指標を活用して実施される進捗状況の確

今後必要な対応

• 評価に一喜一憂しない。→平成30年度(29年度実績)からは指標の達成状況も評価の際に考慮される。

• 今回文科省に提出している評価指標は氷山の一角であることを理解したうえで、プログラムセオリー、ロジックモデル、PDCAサイクルなどを理解し、必要な指標を内部的には過不

足なく準備する。そのためには、プログラムセオリーやロジックモデルの知識・活用能力を持つ人材育成および適切な配置が必要。

• 第4期や新たな事業立案などに向けて、文科省が好む指標・好まない指標の理解も必要。

39

Page 40: 国立大学法人運営交付金の 重点支援において設定さ …iir.ibaraki.ac.jp/jcache/documents/2018/iries2018/files/...年度の評価基準・観点 平成29年度予算案における運営費交付金の重点支援に係る評価においては、評価指標を活用して実施される進捗状況の確

さらに検討すべき課題

• 指標の達成可能性

– トップ1%、10%論文などの競争的な指標は全大学が達成することは不可能では?⇔国際共著率は全機関で上昇も可能。

• KPIを活用したマネジメントの効果

– KPIやPDCAなどを大学運営に使う取り組みはまだ始まったばかりであり、その効果の検証も必要。

– 研究など、その種のマネジメント手法がそぐわない(適用が難しい)ものもあると思われる。

40

Page 41: 国立大学法人運営交付金の 重点支援において設定さ …iir.ibaraki.ac.jp/jcache/documents/2018/iries2018/files/...年度の評価基準・観点 平成29年度予算案における運営費交付金の重点支援に係る評価においては、評価指標を活用して実施される進捗状況の確

政策研究大学院大学の指標の紹介

41

「ロジックモデル」、「定量・定性」のいずれも不明と判断した指標。

すべてを量的に評価することへの懸念の指摘は重要であり、今後も行き過ぎた定量化を防ぐためにも、定量化が有効である部分、有効でない部分をデータに基づいて判断していくことが必要

Page 42: 国立大学法人運営交付金の 重点支援において設定さ …iir.ibaraki.ac.jp/jcache/documents/2018/iries2018/files/...年度の評価基準・観点 平成29年度予算案における運営費交付金の重点支援に係る評価においては、評価指標を活用して実施される進捗状況の確

ご清聴ありがとうございました。

42

謝辞:本調査研究はJSPS科研費奨励研究 17H00067の助成を受けたものです

Page 43: 国立大学法人運営交付金の 重点支援において設定さ …iir.ibaraki.ac.jp/jcache/documents/2018/iries2018/files/...年度の評価基準・観点 平成29年度予算案における運営費交付金の重点支援に係る評価においては、評価指標を活用して実施される進捗状況の確

(参考)国立大学財務分類グループ

国立大学法人の財務分析上の分類(平成18年3月7日 国立大学法人評価委員会(第14回) 配付資料)

区分 大学 説明

Aグループ<13大学>北海道大学、東北大学、筑波大学、千葉大学、東京大学、新潟大学、名古屋大学、京都大学、大阪大学、神戸大学、岡山大学、広島大学、九州大学

学生収容定員1万人以上、学部等数概ね10学部以上の国立大学法人(学群、学類制などの場合は、学生収容定員のみ)

Bグループ<13大学>室蘭工業大学、帯広畜産大学、北見工業大学、東京農工大学、東京工業大学、東京海洋大学、電気通信大学、長岡技術科学大学、名古屋工業大学、豊橋技術科学大学、京都工芸繊維大学、九州工業大学、鹿屋体育大学

医科系学部を有さず、学生収容定員に占める理工系学生数が文科系学生数の概ね2倍を上回る国立大学法人

Cグループ<8大学> 小樽商科大学、福島大学、筑波技術大学、東京外国語大学、東京芸術大学、一橋大学、滋賀大学、大阪外国語大学医科系学部を有さず、学生収容定員に占める文科系学生数が理工系学生数の概ね2倍を上回る国立大学法人

Dグループ<4大学> 旭川医科大学、東京医科歯科大学、浜松医科大学、滋賀医科大学 医科系学部のみで構成される国立大学法人

Eグループ<11大学>北海道教育大学、宮城教育大学、東京学芸大学、上越教育大学、愛知教育大学、京都教育大学、大阪教育大学、兵庫教育大学、奈良教育大学、鳴門教育大学、福岡教育大学

教育系学部のみで構成される国立大学法人

Fグループ<4大学> 北陸先端科学技術大学院大学、奈良先端科学技術大学院大学、総合研究大学院大学、政策研究大学院大学 大学院のみで構成される国立大学法人

Gグループ<25大学>弘前大学、秋田大学、山形大学、群馬大学、富山大学、金沢大学、福井大学、山梨大学、信州大学、岐阜大学、三重大学、鳥取大学、島根大学、山口大学、徳島大学、香川大学、愛媛大学、高知大学、佐賀大学、長崎大学、熊本大学、大分大学、宮崎大学、鹿児島大学、琉球大学

医科系学部その他の学部で構成され、A~Fのいずれにも属さない国立大学法人

Hグループ<9大学> 岩手大学、茨城大学、宇都宮大学、埼玉大学、お茶の水女子大学、横浜国立大学、静岡大学、奈良女子大学、和歌山大学 医科系学部を有さず、A~Fのいずれにも属さない国立大学法人

43