平成30年度戦略的基盤技術高度化支援事業 - METIRay Dalio Founder, Bridgewarter idea meritocracy（よいアイデアに重きを置く主義）が一人一票の民主主

平成３０年度戦略的基盤技術高度化支援事業（中小企業イノベーション推進施策に関する審査スキームの高度化に関する調査）

調査報告書

2019年 3月29日

中小企業庁経営支援部技術・経営革新課御中

１. 本事業の目的及び概要 2

１－１. 本事業の背景 3

１－２. 本事業の目的及び方針 13

１－３. 本事業の概要 16

２. アプローチ 24

３. エグゼクティブサマリ 26

４. 詳細 28

４－１. 調査方法 29

４－２. 調査仮説 34

４－３. 調査結果 36

５. 今後の取り組みについて 55

目次

© 2019. For information, contact Deloitte Tohmatsu Consulting LLC.

１. 本事業の目的及び概要

2


１. 本事業の目的及び概要１－１. 本事業の背景①本事業の必要性

3


0

10000

20000

30000

40000

50000

60000

70000

23年度24年度 25年度26年度27年度 28年度29年度30年度

当初予算うち科学技術振興費補正予算

予備費地方公共団体分

0

10000

20000

30000

40000

50000

60000

70000

80000

米国中国日本

4

我が国におけるイノベーション創出における課題

ベンチャー投資額では米中との差は10～50倍、容易には量的な差は埋めがたい我が国の政策としては、限られた資源を最大限有効活用することが求められる

出所：内閣官房日本経済再生総合事務局, ベンチャー・エコシステムの構築に向けて, 平成30年4月

出所：内閣府政策統括官（科学技術・イノベーション担当）,科学技術関係予算平成３１年度当初予算案平成３０年度補正予算案の概要について,平成31年1月

［億円］

ベンチャー投資の国際比較

ベンチャー投資が増えてきているが、米国や中国には大きく水をあけられている

50倍

14倍

我が国の科学技術関係予算の推移

我が国におけるイノベーション政策予算に大きな増減はない（今後、飛躍的な増加の可能性は低い）

［億円］

© 2019. For information, contact Deloitte Tohmatsu Consulting LLC.5

我が国におけるイノベーション政策における課題

従来、政府のイノベーション投資においては有識者による審査が一般的一方、有識者の限界を指摘する論文もあり、新たな手法の探索は意義がある

政府の主なイノベーション関連事業

政府のイノベーション関連事業においては、一般的に外部有識者によって審査を行い採択案件を決定している

有識者の判断の限界を示唆する事例

Clinical Versus Mechanical Prediction: A Meta-Analysis

ヒトの健康及び健康に関する研究結果をメタアナリシスしており、有識者の判断に基づく臨床的予測と比較し、機械的予測のほうが正確であることを示している

出所：William M. Grove他, Clinical Versus Mechanical Prediction: A Meta-Analysis, 2000

Expert Political Judgment: How Good Is It? How Can We Know?

適切に将来予測を判断するために、有識者の意見を評価するための基準を開発することの必要性を述べている

出所：Philip E. Tetlock , Expert Political Judgment: How Good Is It? How Can We Know? , 2006

機関事業名評価者

中小企業庁戦略的基盤技術高度化支援事業（サポイン事業）

外部有識者等

総務省ICT イノベーション創出チャレンジプログラム技術開発課題

外部有識者

全国中小企業団体中央会

ものづくり・商業・サービス生産性向上促進補助金

外部有識者

NEDO 新産業創出新技術先導研究プログラム外部有識者

NEDO未来の産業創造に向けた研究成果実用化促進事業（NexTEP）

外部の専門家

NEDO 研究開発型ベンチャー支援事業外部有識者

NEDO新エネルギー等のシーズ発掘・事業化に向けた技術研究開発事業

外部有識者

JST出資型新事業創出支援プログラム（SUCCESS）

専門家

JST 大学発新産業創出プログラムSTART事業化ノウハウを持った人材


集合知により意思決定を行っている先行事例

ヘッジファンドBridgewater社では、投資意思決定における個人の評価限界を理解し、有識者の“集合知”によるアイデアを評価するプロセスを採用している

他人の意見に1～10段階で評価全体像をマッピングすることでどの意見により重

きを置くべきかを判断

Ray DalioFounder, Bridgewarter

idea meritocracy（よいアイデアに重きを置く主義）が一人一票の民主主義より重要。そのためには発言の信頼性を測る必要がある

Bridgewater社のアイデア評価プロセス

あるテーマについて、参加者が評価をコメントし、その評価コメントについて評価をする

議論は、自分の意見を主張するのではなく、どの意見が的を得ているかにシフトし、より客観的な議論となる

アイデアの評価方法


１. 本事業の目的及び概要１－１. 本事業の背景②本事業に対する問題意識

7


本事業において実証対象とした事業

限られた政策資源の中でイノベーション関連事業の質を高めることを目的とし、サポイン事業を対象に審査プロセスの高度化に向けた実証実験を実施した

中小企業施策

出所：中小企業庁, 平成３０年度版「中小企業施策利用ガイドブック」

経営サポート

金融サポート

財務サポート

商業・地域サポート

分野別サポート

相談・情報提供

技術力の強化、創業・ベンチャー支援、経営革新支援等

融資制度、保証制度

税制、会計、事業承継

商業・物流支援

戦略的基盤技術高度化支援事業（サポイン事業）

ものづくり・商業・サービス経営力向上支援補助金

サービス等生産性向上 IT 導入支援事業

中小ものづくり高度化法に基づく、ものづくり中小企業の支援

・・・

採択案件数が多く、かつ予算規模が大きい適切な案件の採択が事業全体のパフォーマン

ス向上に不可欠


サポイン事業の概要

サポイン事業とは、中小企業の研究開発を支援する施策であり、現在12の技術分野を対象としている

概要対象とする技術分野

支援対象

ものづくり基盤技術に関する研究開発（2社以上の中小企業が連携する取り組み）

補助額

３年間で約１億円の補助（2/3補助）

実績

平成18年度から平成29年度までに約1900社を支援（競争倍率：3.5倍）

年間応募件数：約300件

年間採択件数：約100件

1. デザイン開発

2. 情報処理（組み込みソフトウェア）

3. 精密加工（金型、鍛造、金属プレス加工、切削加工）

4. 製造環境（冷凍空調）

5. 接合・実装（電子部品・デバイス実装、部材の締結、溶接）

6. 立体造形（プラスチック成形加工、粉末冶金、鋳造）

7. 表面処理（溶射・蒸着、塗装）

8. 機械制御（動力伝達、位置決め）

9. 複合・新機能材料（繊維加工、高機能化学合成、熱処理）

10.バイオ（発酵）

11.材料製造プロセス

12.測定計測


サポイン事業の審査方式

サポイン事業では、技術、事業性、及び政策整合性の3つの観点で審査員が評価を行っている

審査方法評価軸

審査員数

技術審査員：300名（大学教員等、専門分野は12分野に分類）

事業評価審査員：300名（コンサルタント等）

審査体制

技術審査：1案件につき３名（技術分野別に担当審査員を配置）

事業性審査：1案件につき3名

政策整合性審査：中小企業庁、経済産業局、担当原課

評価方法

技術審査・事業性審査：5段階評価し3名の平均点を算出

採択条件

合計点の上位者

技術審査

① 技術の新規制、独創性及び革新性

② 研究開発の目標値の妥当性

③ 目標達成のための課題と解決方法及びその具体的実施内容

④ 研究開発の波及効果

事業性審査

① 目標を達成するための経営的基礎力

② 事業化計画の妥当性

③ 事業化による経済効果

政策整合性審査

① 産業政策との整合性

② 中小企業政策との整合性


従来の審査方式に対する問題意識（1）

審査員の評価貢献度（※）を十分に踏まえることができないことで、審査員の最適配置やアイデアの評価が不十分となっている可能性がある

問題意識①

従来の審査方式

技術審査員300名、事業化審査員300名が審査 1件あたり6名（技術3名、事業3名）で審査無作為に割り当てられた審査員6名の単純平均で評価※技術審査委員は該当する技術分野の中から無作為に割り当て

審査員A 審査員B 審査員C

評価貢献度 × △ ○

問題意識②

単純平均方式を用いており評価貢献度に基づかない審査を行っている（アイデアが十分に評価できていない可能性）

審査員が無作為に割り当てられており最適配置がなされていない可能性

※本事業では「評価貢献度」を、審査員の能力だけではなく、審査に対するコミットメントや評価コメントの納得性等を踏まえた総合的な力量と定義する

評価点 23 18 16

現時点では、十分に把握

できていない


従来の審査方式に対する問題意識（2）

従来方式では審査の同一評価点の中に50個程度の案件がひしめくこともあり、採択する案件の判断が困難なケースがある

事業性評価技術性評価

0

5

10

15

20

25

30

35

40

45

50

39 37 35 33 31 29 27 25 23 21 19 17 15 13 11

0

10

20

30

40

50

60

29 28 27 26 25 24 23 22 21 20 19 18 17 16 15 14 13 12 11 10 9 0

案件数案件数

点数点数

問題意識③ 点数に差がつかないことによって意思決定が困難になっている可能性

高低高低


１. 本事業の目的及び概要１－２. 本事業の目的及び方針

13


本事業の目的

本事業を通じ中小企業向け補助金制度の審査スキームの高度化に向けた検証と今後に向けた示唆出しを行う

審査員A 審査員B 審査員C 審査員D 審査員E 審査員F

評価貢献度 × △ ○ ○ ○ ○

評価点 9 20 11 13 15 14

従来方式新方式

評価貢献度の評価可能性の検証目的①

審査全体の質の向上方法の検討目的③

新方式の効果検証目的②


本事業における論点と対応方針

本事業では、「評価貢献度」の評価可能性、新方式の審査方法の効果、及び評価貢献度の向上方法について検証・検討を行う

評価貢献度の評価可能性の検証

目的①

審査全体の質の向上方法の検討

目的③

新方式の効果検証

目的②

論点基本方針

評価貢献度は評価可能か（評価貢献度が高い審査員の評価コメントに納得性はあるか）

評価貢献度評価に基づく評価によってどの程度の効果があったのか

審査全体の質を向上させるためにはどのような方法が考えられるか

評価貢献度の高い審査員の評価内容について、納得性があることを確認する

新方式と従来方式とでどの程度正確に優良案件が評価できていたかを確認する

評価貢献度が高い審査員とそうでなかった審査員との差を考察し、差を埋めるための方法を検討する


１. 本事業の目的及び概要１－３. 本事業の概要

16


本事業で検証した新方式の概要

本事業では、ideagramを活用し、審査員の評価貢献度を集合知に基づきスコアリングした結果を踏まえ審査員の最適配置と評価スコアの重みづけを行う

審査員A 審査員B 審査員C 審査員D 審査員B 審査員E

評価貢献度（スコア）

×（35）

評価点 9 20 11 17 20 14


△（45）

△（40）

○（65）

△（45）

○（54）

13.3

単純平均

16.5*

評価スコアで重みづけ

*本スコアはサンプルであり実際の値とは異なる

“集合知”に基づく評価貢献度のスコアリング

新技術を活用

審査員の最適配置

プロジェクトスコア

問題意識①への対応

問題意識②、③への対応

プロジェクトスコア


本事業で検証した新方式の概要（従来方式との違い）

本事業で検証する新方式は、従来方式と比較し①正確性、②信頼性/公平性、③判断容易性の3点で優れていると考えられる

公正性/信頼性の担保

より正確な点数付け

ランダムに各案件に3名の審査員を割り当てるため、能力が偏った組み合わせになることもある例：事業性評価において、経営基礎力評価のみ強い審査員3名が一組になる

各審査員の能力を踏まえ、各案件について全ての軸で一定以上の審査員が割り当てられる組み合わせを算出可能

1

2

各審査員の評価貢献度如何を問わず、付けられた点数は同じ重みを持ち、審査員の評価貢献度が考慮されていない

各審査員の評価貢献度に従って、採点に重み付けを加える

評価貢献度のある委員に限定して採点させることも可能

多方面の視点からの判断材料を提供

３ 3名の審査員からの簡易な記述し

か得られず、判断する視点が限定的

複数の審査員審査員のコメントを評価することで多数の視点を提供（“集合知”による評価）

評価コメントごとに点数付けされているため、どの視点の参考価値が高いかがわかり、判断に迷わない



本事業で活用したテクノロジー

本事業で活用したideagramとは、VISITS Technologies社が保有する人の創造性、目利き力、アイデアの価値を定量化する特許技術である

新規事業アイデアの種を発掘アイデアの価値を

評価・定量化

個人のアイデア創造力・目利き力を定量化

▪ オンラインセッションにより、ペルソナ・シーンを想定した5W1Hの軸でアイデアを参加者から収集

▪ 後の定量化に必要な教師データを収集

AIでは測定できない従来は定性的にしか測れなかった人の創造性、評価貢献度、アイデアの価値を定量化「教師データのない曖昧な資産」に対する「教師データ」を生成教師データの収集から価値の定量化まで、「何がクリエイティブなアイデアか」を定義せず、合意形成に

よって一気通貫で測定可能

▪ アイデアに対するニーズとソリューションの質の観点から、アイデアを参加者間で相互評価

▪ 独自開発の合意形成アルゴリズムを用いて、数学的に「最も尤もらしい」各アイデアの価値を定量化

▪ 創出されたアイデアに対する他の参加者からの評価データを基に、評価者の目利き力も考慮して、個人のアイデア創造力、目利き力算出

【ideagramの特徴】

19



ideagramは、Googleの検索順位のアルゴリズムと同様の“集合知”に基づいた評価が可能なアルゴリズムを採用している

多くのサイトから引用されている記事Aは、良い記事である可能性が高い

その良い記事Aが引用している記事Bは、良い記事である可能性が高い

：引用

上記考え方を元にウェブサイト全体のサイト間の関係を解き明かし重要な記事をランク付け

Googleはこの技術で世界最大の企業にまで成長し、現時点で世界で最も信頼されているアルゴリズムである

上記考え方を元に受検者全体の関係を解き明かし、創造性をランキング

X F(X)

皆から良い評価を受けているアイデアF(X)を出したXさんは、創造性が高い可能性が高い

Y F(Y)

高評価

そのXさんが高く評価しているアイデアF(Y)を出したYさんは創造性が高い可能性が高い

A

B

【ideagramのアルゴリズムの概要】

20



Ideagramは、採用・研修、社内の人事配置、新規事業企画等のシーンにおける活用実績が多数存在する

新規事業企画人事配置採用・研修

ニーズの存在、新規性、実現可能

性が既に集合知により検証済みの

良質なアイデアが抽出できるため、

ROIの高い新規事業企画が可能

アイデア創造力の高い人材を企

画・マーケティング部門、目利き

力の高い人材を投資部門に配置す

るなど、個人の適性に合った人事

配置が可能

クリエイティブな発想力を持つ

「突き抜け人材」採用、階層別研

修にトレーニングプログラムの一

環として組み込むなど、目的に応

じた活用が可能

21


顧客受験人数用途

大手自動車メーカー 50 次世代モビリティのアイデア創造

大手消費財企業 4,000 新卒採用向け全応募者の創造力測定

大手化学メーカー 50 社内昇進候補者の創造力測定

大手IT企業 2,000 新卒採用での創造力測定

大手商社 100 新規事業推進人材の選抜

大手電気機器メーカー 50 新規事業創造/評価のノウハウ習得

シリコンバレーVC 50 アクセラレータプログラムの学習結果測定

など計 15,000名超

大手百貨店 50 新規事業推進幹部の選抜/新規事業アイデアの構築

これまでに新規事業創出/人材選抜において15,000名超の人材を、Ideagramによって評価した実績がある


22


本事業で活用したテクノロジー（ideagramの開発事業者の概要）

ideagramは、VISITS Technologies社の特許技術である

2001年東京大学大学院工学系研究科修了2001年ゴールドマン・サックス入社

金利オプショントレーディング責任者2010年アルゴリズムヘッジファンド設立（2014年M&A）2014年 VISITS Technologies設立

元NPO法人キャリアクルーズ理事長（キャリア大学）元文部科学省事業委員

本社東京都港区六本木 7−4−4 アートシェル４階

資本金 9億7,000万円（資本準備金を含む）

事業内容特許技術「ideagram」を活用した社会課題解決事業

Masaru Matsumoto

Co-Founder/CEO

ideagramにおける事業パートナー日本政府からユニコーン候補に選出

Google Next’18でG Suiteとのパートナーシップを発表

Google Next’18でG Suiteとのパートナーシップを発表

23


２. アプローチ

24


本事業の全体アプローチ

本事業では、新方式による実証実験を行い、その結果を検証することで示唆出しを行う

Step1

実証実験準備

Step2

実証実験（審査員による評価）

Step3

検証・示唆出し

サンプルPJ企業からの利用許諾、審査員への依頼

サンプルPJの評価完了審査員間評価の完了

新審査スキームの評価及び、今後の課題・示唆の抽出

ゴール

実施内容

1. 過去プロジェクトからのサンプルプロジェクト選定

2. サンプルプロジェクト企業への利用許諾

3. 審査員のグループ分け

4. 審査員への参加依頼

1. 審査員によるサンプルプロジェクト評価（＝創造セッション）

2. 評価に対する審査員間で相互評価（＝評価セッション）

1. 調査結果分析・検証

2. 今後の課題とりまとめ

3. 調査結果を基にした方向性議論

4. 報告書作成

• Ideagramシステム準備、運用、• 問い合わせ対応・督促（コールセンター）

審査員同士で“評価貢献度”をスコアリング


３. エグゼクティブサマリ

26


エグゼクティブサマリ

評価貢献度の評価可能性の検証結果

評価貢献度の高い審査員は、多様な視点から明確な根拠に基づく評価を行っており、評価貢献度が低い審査員と比較して納得性が高いといえる。

新方式の効果検証の結果

採点においては、審査員の評価貢献度を審査プロセスに反映することで一定レベルの改善（7～8%程度）することが示唆された。

審査員の組合せにおいては、従来方式では、たまたま評価貢献度の高い審査員に当たり適切に審査されるケースもあれば、そうでないケースも散見され、いわゆるくじ運の影響が大きいことが判明した。各評価軸に一定以上のスコアを持つ審査員を配置することで的中率が改善（20～50%程度）することが分かった。

従来方式での採点結果と比較して、重みづけ評価による採択案件の順位が大きく変動したのは事業性評価であったため、評価貢献度の分散は、技術審査グループより事業性審査員グループの方が大きかったことが予想される。その理由は、「i）事業性審査の方が審査における目の付け所が多い」、「ii）審査員が中小企業診断士などの多様な資格保有者・有識者で構成されており専門知識に差が大きい」等が考えられる。

審査全体の質の向上方法の検討結果

従来、技術審査員の評価貢献度は当該領域における専門性等の能力が重要と想定されていたが、実際には、審査に対するコミットメント（やる気、姿勢、説明能力等）も大いに影響していることを確認した。

結果として審査員の評価貢献度について、専門分野であると自己宣言した審査員とそうでないない審査員とで大きな差はなかった。その理由は「i）コミットメントに差がある」、「ii）専門分野外（隣接分野等）であっても時間をかけて調べれば十分に審査できる」等が考えられる。

今後、審査全体の質を向上させるためには、当落線上の案件を決定する際に新方式を採用する方法や案件を評価するための審査シートのレイアウトをカスタマイズするといった方法が考えられる。

本事業を通じ、”集合知”に基づくプロジェクト選定スキームを採用することが、イノベーション支援施策において有効であることを確認した


４. 詳細

28


４. 詳細４－１. 調査方法

29


本事業の調査方法（Step1）

実証に向けてサンプルプロジェクトを選定するとともに審査員のグルーピングを行った

Step1

実証実験準備

Step2


Step3


1. サンプルプロジェクト選定 2. 審査員のグループ分け

過去申請プロジェクト

5件

直近の過去の申請プロジェクトの中から、当落選から少し離れた上位2件と下位3件を抽出新しい審査スキームが従来よりも良い結果を出すか、

検証するため、抽出する案件は当落選から少し離れたものを選んだ

プロジェクトＡプロジェクトＢ・・・・・・プロジェクトDプロジェクトEプロジェクトF

合格

不合格

技術審査員は技術分野の質の違いを考慮して、12の技術分野を2分野のグループに編成審査員数が最も多い2分野（精密加工、表面処理）

を選定各グループごとにプロジェクトを評価

プロジェクト選定審査員グループ分け

技術グループA（精密加工）

5件評価

技術グループB（表面処理）

5件評価技術審査員

277名⇒121名

事業性グループC

5件評価

事業性審査員255名⇒142名

59名

62名

142名

※参加依頼数⇒実際の評価者数



審査員の評価結果を、同審査員間で相互評価した

Step1

実証実験準備

Step2


Step3


1. 審査員によるサンプルプロジェクト評価 2. 審査員間の相互評価

プロジェクト(A) 審査員( J)評価コメント(F)

評価点(R)

Jb

Jc

Ja

A1

A2

Fa

Ra

Fa

Ra

審査員（Ja）は、過去のプロジェクトに対して評価点と評価コメントを書く

評価

評価Jb

Jc

Jd

審査員( J)

評価

4名の審査員（Jb～Je）で、審査員（Ja）の評価コメント（評価点に対する評価コメントの質）を評価

A1

A2

A3

A4

A5

評価

・・・

Je

• 技術審査員（121名）• 事業性審査員（142名）



シミュレーションで従来方式よりも新方式の方が適切な評価ができていることを確認した

Step1

実証実験準備

Step2


Step3


1. 調査結果の分析・検証

審査員評価貢献度（JS）

コメントスコア（FS）

プロジェクトスコア（AxS=ΣR×JS）

審査員（Ja）は評価コメントに基づき評価貢献度をスコアリング

各プロジェクトは審査員の評価貢献度・評価点の合算で評価

Fa/A1S(60)

Fa/A2S(63)

JaS(65)

JbS(45)

Fb/A2S(51)

JbS(45)

A1S＝RaA1×JaS＋

RbA1×JbS

A1Ra

評価点(R)

Rb

プロジェクト採点スキーム検証

新方式算出点数の納得性を検証する新方式と従来方式を比較し改善インパクト確認する本検証を踏まえ、審査全体の質を向上させる方法を検討する

従来方式（前回）

従来方式（今回）

新方式（全体）

新方式（Top10）

A1 18 18 15 16

A2 18 19 13 14

A3 19 17 19 20

A4 19 19 24 22

A5 20 20 25 25

比較

評価貢献度


本事業で使用した審査シートの概要

本事業では、案件評価用の審査シートと審査員間の相互評価用のシートを準備した

現在の防音・制振が部材貼り付けが主流であるが、汎用度の高い塗布方式採用による革新性は高い。

評価軸は「新規性」です。

この提案に関する評価コメントを評価してください。

新規性

この提案に関する評価コメントを作成してください。

【評価軸①】

【評価軸②】

【評価軸③】

【評価軸④】

案件評価用の審査シート

審査員間の相互評価用シート


４. 詳細４－２. 調査仮説

34


調査仮説

先に示した3つの目的・論点・方針に紐づけ、調査仮説を設定した

審査員評価貢献度（JS）

コメントスコア（FS）

プロジェクトスコア（AxS=ΣR×JS）

Fa/A1S(60)

Fa/A2S(63)

JaS(65)

JbS(45)

Fb/A2S(51)

JbS(45)

A1S＝RaA1×JaS＋

RbA1×JbS

A1Ra

評価点(R)

Rb

プロジェクト採点スキーム検証


従来方式（今回）

新方式（全体）


A1 18 18 15 16

A2 18 19 13 14

A3 19 17 19 20

A4 19 19 24 22

A5 20 20 25 25

比較

評価スコアが高い（Top10）審査員の審査結果には、何らかの納得性があるのではないか

調査仮説①

Top10の審査員の評価点を評価スコアで重みづけして算出したプロジェクトスコアを正解値とした場合、新方式によるプロジェクトスコアが最も正解値に近いのではないか

調査仮説②

検証結果から、審査全体の質を向上させるための示唆が得られるのではないか

調査仮説③

評価貢献度


４. 詳細４－３. 調査結果（１）新方式算出点数の納得性検証

36


評価貢献度の高い審査員と低い審査員の評価内容の比較

評価貢献度の高い審査員は、多様な視点から明確な根拠に基づく評価を行っており、評価貢献度が低い審査員と比較して納得性が高いといえる

評価貢献度の高い審査員（Top）評価貢献度の低い審査員（Worst）

技術力評価グループ

事業性評価グループ

※技術力評価グループ：新規性を評価事業性評価グループ：経済効果を評価

XXXXXXXXXXによるXXXXXXX機構に新規性と独創性がある。XXXXXXXXXXの作製のためのXXXXXXXXX、加工面粗さの目標値は妥当である。

XXXXXXXXXの「XXXXXXXXXX」の評価は極めて高い。事業規模の拡大のために、コスト削減、量産化技術の確立が急務の過大であり、それを打破するための研究開発である。現在までの実績に裏打ちされた直面する「XXXXXXXXXXXX」技術の確立に向けた研究開発テーマ、Process、研究開発体制・役割分担、課程での目標値の設定、スケジュール等が明確に示されている。当該XXXX関係の無体財産権の世界的戦略についても対応している。これらから、当該研究開発による事業化計画は十分妥当性、実現性があると判断する。

技術的目標値を達成するために機械導入等方策は明確にされている。しかし、機械導入等により新たに発生する技術課題及び解決方法が不明瞭なため、目標値の妥当性が明確でない。

他社に比べて差別優位性があり、かつ川下事業者がアドバイザとして参画しており、事業化計画として妥当である。

XXXXXXXXXXXXXXXXXXXXXXXX機講に分類される内，XXXXXXXXXXXの異なるXXXXXXXXXXXXXに形成しする新たな方式において，XXXXXXXXXを変えてXXXXXXXXの成形性を高め，より実用性を高める点で，革新性はある．なお，この形式のXXXXXXXXX機構が産業界で受け入れられるかについては，強度についての精査や，作業性の容易さなどの技術的な課題とともに，感性として受け入れ可能かといった，多くのハードルがあると思われる．

従来の独自技術を踏まえたうえでの新技術の提案である。

⇒結論とその根拠を明示している

⇒結論とその根拠を明示している

⇒結論のみ

⇒結論のみ


従来方式と比較して、さほどの革新性・優位性があるとは判断できない。

既存技術と比較して、ある程度の新規性、新規性が認められる。技術の背景、現状、トレンドの把握も十分である。

新たなXXXXXXXXXXXXXX技術として新規性、革新性を評価した。

38

評価貢献度の高い審査員と低い審査員の評価内容の比較

評価貢献度の高い審査員は、評価の理由が具体的に記載されているという点で、評価貢献度の評価結果は納得性が高いといえる

現在のXXXXXXXXXXXXXXXXXXXXXが主流であるが、汎用度の高いXXX方式採用による革新性は高い。

ミリ単位のXXXXXXXXXXXXXXXXXXXXXXXXXXXXを分散させたXXXX作成として特に新規性はない。

自動車，産業機械等のXXXXXXXXXXXXXXXXXにXXXXを利用することは独創的である。

評価貢献度の高い審査員評価貢献度の低い審査員

技術力評価グループ

事業性評価グループ

⇒評価の理由が具体的なレベルで書かれている

【＋】XXXX3種ごとに売上根拠を示している（売上の伸びも現実的）のは評価できる。【－】川下側（XXXXXXXXXXXXXXXXX）との協働から生じる直接の波及効果に関する根拠が不足。

本事業が大きな利益をもたらすことは提出資料から読み取ることができる。研究段階から商品化に至る道程、販売戦略等も緻密に計画が練られている。販売の根拠となる数字の積算の妥当性は充分。一方で、本成果が連携企業を超えて社会全体の経済波及効果があるかは未知数。

⇒加点するポイント、減点するポイントを明示したものが多い

⇒評価の理由がなく、ほぼ結論のみ

・事業化が達成された場合において、様々な産業に経済効果を及ぼすことが認められる。・国が補助金を投入して実施する事業として妥当な規模である。

販売戦略の実施内容が、弱いように感じます。コストダウンで低価格実現としても、どの程度か、展示会やネット掲載で、購入先はどの程度増えるかの視点からの必要な販促活動もお考えください。

⇒評価の理由がなく、ほぼ結論のみのものや論点がややずれている回答

技術力評価グループ：新規性を評価事業性評価グループ：経済効果を評価

※文字数が同程度の評価コメントを比較


評価コメントの文字数と評価スコアの関係性

評価コメントが200文字程度（1評価軸で50文字程度）までは文字数が評価スコアに影響を与えているが、それ以上の場合は影響を与えていないと考えられる

文字数

評価

スコ

ア

200文字程度までは評価貢献度と文字数に相関がある

200文字

200文字以上は、評価貢献度と文字数に相関はみられない


４. 詳細４－３. 調査結果（２）新方式による改善インパクト確認

40


新方式によるプロジェクトスコアの算出方法

新方式では、①評価貢献度（評価スコア）に基づく審査員の最適配置と②評価貢献度に基づく評価点の重みづけによってプロジェクトスコアを算出している

審査員C1

審査員C2

14 15 23

審査員C3

各評価軸ごとに評価スコアが50以上の審査員を1名以上配置

技術/事業性審査員

評価軸①

評価軸②

評価軸③

評価軸④

52

42

48

65

45

32

45

55

49

32

23

68

評価軸①

評価軸②

評価軸③

評価軸④

12

11

18

11

15

14

18

22

21

22

16

19

プロジェクトスコア評価貢献度（評価スコア）評価点

評価軸①

評価軸②

評価軸③

評価軸④

13

12

21

20


各評価軸ごとに審査員が採点各審査員の評価スコアに基づき

評価点を重みづけしプロジェクトスコアを算出

①最適配置

②重みづけ

※本スライドの数値は実際の値とは異なる


新方式による改善インパクトの確認方法（正解値からの乖離率の算出方法）

評価貢献度を示す評価スコアがTop10の審査員のプロジェクトスコアを正解値とした場合の新方式と従来方式の正解値からの乖離率を算出した

審査員B1 審査員B2 審査員B3 審査員C1 審査員C2 審査員C3

評価貢献度（評価スコア）

×（35）

評価点 9 20 11 14 15 23


△（45）

△（40）

○（65）

○（51）

○（54）

13.3

単純平均

15.5


審査員A1

・・・

審査員A10

17 ・・・ 14


○（70）

・・・ ○（65）

16.5


プロジェクトスコア案件①

案件②

案件⑤

12.3プロジェクト

スコア

14.6プロジェクト

スコア

各案件ごとに評価スコアがTop10の審査員を選定

各案件ごとに審査員を無作為抽出


10.7

13.1

11.8

14.2

3.2

スコア差

1.01.6

0.5

1.50.4

・・・・・・・・・

14.1% 10.2%プロジェクトスコア

の乖離率 ※乖離率：「スコア差÷正解値」の平均値

正解値（ベースライン）



新方式による改善インパクトの確認方法（採択的中率の算出方法）

評価スコアがTop10の審査員が採択と判断した案件の的中率を採択的中率として算出した

審査員B1 審査員B2 審査員B3 審査員C1 審査員C2 審査員C3

1回目


審査員A1

・・・

審査員A10


各案件ごとに評価スコアがTop10の審査員を選定

各案件ごとに審査員を無作為抽出


正解値（固定）

案件A2 案件A3採択案件 ⇒誤案件A2 案件A5

採択案件 ⇒正

2回目案件A2 案件A5採択案件 ⇒正案件A2 案件A5

採択案件 ⇒正

3回目

案件A2 案件A5採択案件

案件A3 案件A4採択案件 ⇒誤案件A1 案件A5

採択案件 ⇒誤

・・・・・・

100回目案件A2 案件A4採択案件 ⇒誤案件A2 案件A5

採択案件 ⇒正

正：32回誤：68回⇒32%採択

的中率正：83回誤：17回⇒83%

・・・

比較値（シミュレーションを100回実施）



新方式による改善インパクト（結果サマリ）

新方式を採用することで、7～8%程度の審査精度の向上し、採択的中率が約20~50%向上する可能性が示唆された

事業性評価

技術力評価


14.6% 6.2%

8.4%

15.0% 7.6%

7.4%

事業性評価

技術力評価


30~40% 62~78%

22~48%

40% 89%

49%

評価スコアの乖離率採択的中率

乖離率の差＝改善インパクト


新方式による改善インパクト（技術力グループA：精密加工）

技術力グループAにおいて、従来方式での採点結果に対して重みづけ評価した場合の順位は大きく変動しなかった

31

25

25

26

32

27.7

24.4

26.1

25.1

28.0

28.7

25.6

26.6

25.0

30.1

29.9

27.6

27.5

24.8

31.9

案件A1

案件A2

案件A3

案件A4

案件A5


単純平均重みづけ

評価新方式

(Top10)

1

5

4

3

2

1

2

3

4

4

1

2

3

4

5

1

2

3

4

5

X 順位大きな順位変動はない

（10名）（3名）（59名）（59名）


新方式による改善インパクト（技術力グループB：表面処理）

技術力グループBにおいて、従来方式での採点結果に対して重みづけ評価した場合の順位は大きく変動しなかった

31

26

28

27

33

26.1

24.3

21.8

22.9

27.2

27.2

25.2

19.6

22.0

27.8

27.3

25.0

18.8

20.2

27.9

案件B1

案件B2

案件B3

案件B4

案件B5



評価新方式(Top10)

1

2

3

4

5

1

2

3

4

5

1

2

3

4

5

1

2

3

4

5

大きな順位変動はない X 順位

（10名）（3名）（62名）（62名）


新方式による改善インパクト（事業性グループC）

事業性グループCにおいて、従来方式での採点結果に対して重みづけ評価した場合の順位は大きく変動した

25

20

19

18

25

23.1

22.7

17.8

20.5

20.2

24.0

23.6

16.9

20.6

19.8

26.1

23.9

15.6

21.0

21.1

案件C1

案件C2

案件C3

案件C4

案件C5



評価新方式(Top10)

1

2

3

4

5

1

1

3

4

5

1

2

3

4

5

1

2

3

4

5

順位変動が大きいX 順位

（10名）（3名）（142名）（142名）


４. 詳細４－３. 調査結果（３）本セッションから見えた示唆

48


本セッションから見えた示唆（評価貢献度に影響する要因）

審査員の評価貢献度は、保有する専門知識等に基づく審査能力だけではなく、コミットメントの強さも影響している可能性が示唆された

能力コミットメント評価貢献度

たとえ、本来優秀な能力を持つ委員でも、コミットメントが弱ければ、審査への貢献度は低くなり、それが評価貢献度に反映されている可能性がある

専門知識等根拠の信頼度、評価コメントの丁寧さ等


本セッションから見えた示唆（文字数と評価貢献度の関係性）

審査全体の質を向上するためには、評価コメントに一定以上の文字数を記載する必要があると考えられる

文字数

評価

貢献

度

200文字程度までは評価貢献度と文字数に相関がある

200文字

200文字以上は、評価貢献度と文字数に相関はみられない

再掲


本セッションから見えた示唆（自己宣言の有無による評価スコアの比較）

技術力グループAにおける審査員の評価貢献度（横軸）について、専門分野であると自己宣言した審査員とそうでないない審査員とで大きな差はなかった

評価

貢献

度の

ある

審査

員を

見つ

ける

力

案件を評価する評価貢献度（評価スコア）

評価

貢献

度の

ある

審査

員を

見つ

ける

力


評価

貢献

度の

ある

審査

員を

見つ

ける

力


評価

貢献

度の

ある

審査

員を

見つ

ける

力


精密加工を専門分野であると審査前に自己宣言していた審査員

精密加工を専門分野であると自己宣言していないが当該案件を審査可能と判断した審査員

※当該案件を審査不可と判断した審査員は審査を実施していない


本セッションから見えた示唆（自己宣言の有無による評価スコアの比較）

技術力グループBにおける審査員の評価貢献度（横軸）について、専門分野であると自己宣言した審査員とそうでないない審査員とで大きな差はなかった

評価

貢献

度の

ある

審査

員を

見つ

ける

力


評価

貢献

度の

ある

審査

員を

見つ

ける

力


評価

貢献

度の

ある

審査

員を

見つ

ける

力


評価

貢献

度の

ある

審査

員を

見つ

ける

力


表面処理を専門分野であると審査前に自己宣言していた審査員

表面処理を専門分野であると自己宣言していないが当該案件を審査可能と判断した審査員

※当該案件を審査不可と判断した審査員は審査を実施していない


新方式による改善インパクト（評価軸ごとの評価スコアの相関性）

評価スコアは、評価軸ごとにバラつきがあり、軸ごとに適任者を割り当てる方式は改善をもたらす可能性があると考えられる

評価軸間の相関は概ね0.5前後であり、強い相関があるとまで言えない（評価軸ごとに審査全体の質にバラつきがみられる）

評価軸①：新規性/独自性/革新性

評価軸②：目標の妥当性

評価軸③：解決方法/具体的実施内容

評価軸④：研究開発の波及効果

評価軸①

評価軸②

評価軸③

評価軸④

評価軸①

評価軸②

評価軸③

評価軸④

案件A1

評価軸①

評価軸②

評価軸③

評価軸④

評価軸①

評価軸②

評価軸③

評価軸④

案件B1

評価軸①

評価軸②

評価軸③

評価軸④

評価軸①

評価軸②

評価軸③

評価軸④

案件B4

評価軸①

評価軸②

評価軸③

評価軸④

評価軸①

評価軸②

評価軸③

評価軸④

案件A4


本セッションから見えた示唆（プロジェクトスコアの上下差）

新方式は従来方式よりもプロジェクトスコアの上下差（最大と最小の差）が大きいため、採択する案件を判断しやすくなる可能性が示唆される

3125252632

27.724.426.125.128.0

28.725.626.625.030.1

29.927.627.524.831.9

31

26

28

27

33

26.1

24.3

21.8

22.9

27.2

27.2

25.2

19.6

22.0

27.8

27.3

25.0

18.8

20.2

27.9

2520191825

23.122.717.820.520.2

24.023.616.920.619.8

26.123.915.621.021.1

案件A1案件A2案件A3案件A4案件A5

案件B1

案件B2

案件B3

案件B4

案件B5

案件C1案件C2案件C3案件C4案件C5

上下差 3.6上下差 7.1




従来方式(今回)

新方式新方式(Top10)

上下差 5.1上下差 7




５. 今後の取り組みについて

55


審査シートの改善案

多様な視点から明確な根拠に基づく評価がなされるよう、審査シートの改善を提案する（本改善は他の事業への展開も容易と考えられる）

この提案に関する評価コメントを作成してください。

【評価軸①】

【評価軸②】

【評価軸③】

【評価軸④】

改善案①最低文字数の指定

改善案②加点・減点・根拠欄の設置

改善案③見本を提示する


審査スキームの改善案

①案件の精度を高め、②コストをできる限り抑える方法として、当落線上の案件に対して新方式で評価する審査スキームを提案する

応募300件

１次審査技術審査

100件

200件

足切り

2次審査へ

２次審査事業性審査

80件

80件

40件

3次審査事業性審査

20件

20件

技術点・事業性点の合計点の上位

N-1年度の事業性評価の評価貢献度を用いて、重みづけしてスコアリング

N-1年度の結果を用いて3人（又は2人）の審査員の最適配置を行う

新方式によって評価次年度の評価貢献度

スコアの更新材料とする

採択

不採択

採択

評価貢献度の影響を受ける当落選上の案件の抽出

不採択

3次審査へ

従来どおりの技術審査員による採点

技術審査員は人数も少なく、専門による分類が支配的

ただし、甘辛調整を導入

事業性審査員300人による新方式による評価

N+1年度の評価貢献度をアップデート

一定点以下


今後の課題

新方式の導入に向けた論点

審査業務・フローの一層の効率化・負担軽減

審査員の評価軸ごとの評価貢献度

審査員候補から審査員を選定する方法（最適な組合せ）

審査の客観性と公平性の担保

新方式の導入可能性（適用可能な施策・取り組み）

提案公募型の政府補助金の審査（ex.ものづくり・商業・サービス生産性向上促進補助金）

民間企業等で行われるビジネスコンテスト

ベンチャーキャピタルによる案件の審査

その他芸能・スポーツなどを含むオーディション

新方式の導入拡大に向けた課題

人の評価貢献度等を定量化するテクノロジーの認知・理解促進

審査員の負担を軽減し、審査を効率化するためのツールの構築


今後の検討の方向性

今後は限られた審査員に限らず、すそ野の広い人々の集合知に基づく審査によって、より精度の高い審査が可能になるのではないか

重みづけ評価

単純平均

審査員3名を無作為抽出

評価方法

評価者審査員3名を最適配置

審査員全員多数の非専門家

グループ

従来方式

新方式審査精度

ideagramを用いることで、評価貢献度を算出するだけでなく、評価コメントをスコアリングできるため、多数のコメントが集まっても効率的に集計可能となる

デロイトトーマツグループは日本におけるデロイトトウシュトーマツリミテッド（英国の法令に基づく保証有限責任会社）のメンバーファームである

デロイトトーマツ合同会社およびそのグループ法人（有限責任監査法人トーマツ、デロイトトーマツコンサルティング合同会社、デロイトトーマツ

ファイナンシャルアドバイザリー合同会社、デロイトトーマツ税理士法人、DT弁護士法人およびデロイトトーマツコーポレートソリューション合同会

社を含む）の総称です。デロイトトーマツグループは日本で最大級のビジネスプロフェッショナルグループのひとつであり、各法人がそれぞれの適用法

令に従い、監査・保証業務、リスクアドバイザリー、コンサルティング、ファイナンシャルアドバイザリー、税務、法務等を提供しています。また、国内

約40都市に約11,000名の専門家を擁し、多国籍企業や主要な日本企業をクライアントとしています。詳細はデロイトトーマツグループWebサイト

（ www.deloitte.com/jp ）をご覧ください。

Deloitte（デロイト）は、監査・保証業務、コンサルティング、ファイナンシャルアドバイザリーサービス、リスクアドバイザリー、税務およびこれらに

関連するサービスを、さまざまな業種にわたる上場・非上場のクライアントに提供しています。全世界150を超える国・地域のメンバーファームのネット

ワークを通じ、デロイトは、高度に複合化されたビジネスに取り組むクライアントに向けて、深い洞察に基づき、世界最高水準の陣容をもって高品質な

サービスをFortune Global 500® の8割の企業に提供しています。“Making an impact that matters”を自らの使命とするデロイトの約245,000名の専門

家については、Facebook、LinkedIn、Twitterもご覧ください。

Deloitte（デロイト）とは、英国の法令に基づく保証有限責任会社であるデロイトトウシュトーマツリミテッド（“DTTL”）ならびにそのネットワーク組

織を構成するメンバーファームおよびその関係会社のひとつまたは複数を指します。DTTLおよび各メンバーファームはそれぞれ法的に独立した別個の組

織体です。DTTL（または“Deloitte Global”）はクライアントへのサービス提供を行いません。Deloitteのメンバーファームによるグローバルネットワーク

の詳細は www.deloitte.com/jp/about をご覧ください。

本資料は皆様への情報提供として一般的な情報を掲載するのみであり、その性質上、特定の個人や事業体に具体的に適用される個別の事情に対応するもの

ではありません。また、本資料の作成または発行後に、関連する制度その他の適用の前提となる状況について、変動を生じる可能性もあります。個別の事

案に適用するためには、当該時点で有効とされる内容により結論等を異にする可能性があることをご留意いただき、本資料の記載のみに依拠して意思決

定・行動をされることなく、適用に関する具体的事案をもとに適切な専門家にご相談ください。


Member of

Deloitte Touche Tohmatsu Limited60
https://www.deloitte.com/jphttps://www.facebook.com/deloitte?_rdr=phttps://www.linkedin.com/company/deloittehttps://twitter.com/deloittehttps://www.deloitte.com/jp/about

Documents

平成30年度戦略的基盤技術高度化支援事業 - METIRay Dalio Founder, Bridgewarter idea meritocracy（よいアイデアに重 きを置く主義）が一人一票の民主主

平成30年度戦略的基盤技術高度化支援事業 - METIRay Dalio Founder, Bridgewarter idea meritocracy（よいアイデアに重きを置く主義）が一人一票の民主主