Embed Size (px)
Citation preview
社会的合意形成を支援する Social-MRCとその意見分類手法
東京電機大学情報セキュリティ研究室
安藤駿
2013.5.18 第 4 回 Twitter 研究会
目次
1. 背景2. Social-MRC について
Social-MRC とは
3. 問題点 プロトタイプを用いた実験 研究目的
4. 意見分類フロー 概要 Twitter インタフェース 有益意見自動分析システムについて 意見分類ツールについて 提示意見選定ツールについて
5. 今後の展開
2
目次
1. 背景2. Social-MRC について
Social-MRC とは
3. 問題点 プロトタイプを用いた実験 研究目的
4. 意見分類フロー 概要 Twitter インタフェース 有益意見自動分析システムについて 意見分類ツールについて 提示意見選定ツールについて
5. 今後の展開
3
はじめに (1/2) 4
１つのリスクへの対策が別のリスクを生み出す多重
リスクの問題が存在従業員が顧客情報を漏洩させてしまうかもしれない従業員のメールを監視しよう！
メールを監視するなんてプライバシーの侵害だ！
経営者
従業員
顧客
個人情報を絶対に漏洩させるな！
はじめに (1/2) 5
１つのリスクへの対策が別のリスクを生み出す多重
リスクの問題が存在従業員が顧客情報を漏洩させてしまうかもしれない従業員のメールを監視しよう！
メールを監視するなんてプライバシーの侵害だ！
経営者
従業員
顧客
個人情報を絶対に漏洩させるな！
多様な価値基準を持つ利害関係者との間で ,
合意を形成するためのリスクコミュニケーションが重要
6はじめに (2/2)
社会的合意形成が必要な問題の存在近年
関与者の数が数千人を超える社会的合意形成の問
題に適用する必要
7
これらの要求を満たすシステム
Social-MRC(Social Multiple Risk Communicator)
Social-MRC の要件
要求１ 対立する多様なリスクを考慮しつつ対策を考える必要がある
要求２ 対策の最適な組み合わせを求める必要がある
要求３ 関与者の数が数千人を超える社会的合意形成の問題に適用可能
要求４多くの関与者間で合意が得られるコミュニケーション手段が必要である
IT リスク対策に関する社会的合意形成支援システム Social-MRC の開発構想佐々木良一 , 杉本尚子 , 矢島敬士 , 増田英孝 , 吉浦裕 , 鮫島正樹 , 舩橋誠壽 情報処理学会論文誌 Vol.52, No.9(20110915) pp. 2562-2574
目次
1. 背景2. Social-MRC について
Social-MRC とは
3. 問題点 プロトタイプを用いた実験 研究目的
4. 意見分類フロー 概要 Twitter インタフェース 有益意見自動分析システムについて 意見分類ツールについて 提示意見選定ツールについて
5. 今後の展開
8
9Social-MRC[ 概要 ]
一般関与者
入力閲覧
MRC-Plaza
入力
MRC-Studio
意見
議論中継
MRC 専門家
最適解映像配信
ファシリテータ
オピニオンリーダ
意見
第 1 階層 (MRC-Studio)
第 2 階層 (MRC-Plaza)
10Social-MRC[ 概要 ]
一般関与者
入力閲覧
MRC-Plaza
入力
MRC-Studio
意見
議論中継
MRC 専門家
最適解映像配信
ファシリテータ
オピニオンリーダ
意見
11Social-MRC[ オピニオンリーダ ]
一般関与者
入力閲覧
MRC-Plaza
入力
MRC-Studio
意見
議論中継
MRC 専門家
最適解映像配信
ファシリテータ
オピニオンリーダ
意見
実際に議論を行う , 議論に関する問題の専門家達
12Social-MRC[ ファシリテータ ]
一般関与者
入力閲覧
MRC-Plaza
入力
MRC-Studio
意見
議論中継
MRC 専門家
最適解映像配信
ファシリテータ
オピニオンリーダ
意見
議論を進行しつつ , 一般関与者の意見をオピニオンリーダに伝える人
13Social-MRC[MRC 専門家 ]
一般関与者
入力閲覧
MRC-Plaza
入力
MRC-Studio
意見
議論中継
MRC 専門家
最適解映像配信
ファシリテータ
オピニオンリーダ
意見
オピニオンリーダやファシリテータの議論を受けて ,MRC を用いて
最適解を演算する人
14Social-MRC[ 一般関与者 ]
一般関与者
入力閲覧
MRC-Plaza
入力
MRC-Studio
意見
議論中継
MRC 専門家
最適解映像配信
ファシリテータ
オピニオンリーダ
意見
意見を投稿することで議論に参加している一般の人達
15Social-MRC[ 議論の流れ ]
一般関与者
入力閲覧
MRC-Plaza
入力
MRC-Studio
意見
議論中継
MRC 専門家
最適解映像配信
ファシリテータ
オピニオンリーダ
意見第 2 階層 (MRC-Plaza)
意見最適解
配信動画
16Social-MRC[ 議論の流れ ]
一般関与者
入力閲覧
MRC-Plaza
入力
MRC-Studio
意見
議論中継
MRC 専門家
最適解映像配信
ファシリテータ
オピニオンリーダ
意見
第 1 階層 (MRC-Studio)配信動画
17Social-MRC[ 議論の流れ ]
一般関与者
入力閲覧
MRC-Plaza
入力
MRC-Studio
意見
議論中継
MRC 専門家
最適解映像配信
ファシリテータ
オピニオンリーダ
意見
第 1 階層 (MRC-Studio)最適解
配信動画
18Social-MRC[ 議論の流れ ]
一般関与者
入力閲覧
MRC-Plaza
入力
MRC-Studio
意見
議論中継
MRC 専門家
最適解映像配信
ファシリテータ
オピニオンリーダ
意見
第 1 階層 (MRC-Studio)
最適解
配信動画
意見Twitterインタフェース
19Social-MRC[ 議論の流れ ]
一般関与者
入力閲覧
MRC-Plaza
入力
MRC-Studio
意見
議論中継
MRC 専門家
最適解映像配信
ファシリテータ
オピニオンリーダ
意見
第 1 階層 (MRC-Studio)
最適解
配信動画
意見
意見
意見
20Social-MRC[ 議論の流れ ]
一般関与者
入力閲覧
MRC-Plaza
入力
MRC-Studio
意見
議論中継
MRC 専門家
最適解映像配信
ファシリテータ
オピニオンリーダ
意見
意見
意見
意見
Social-MRC の目的
多数のリスクや数千人の関与者の意見を考慮し ,
数ある対策から最適な組み合わせを選出
21
多くの関与者の合意を得られる対策案の組み合わせの決定
目次
1. 背景2. Social-MRC について
Social-MRC とは
3. 問題点 プロトタイプを用いた実験 研究目的
4. 意見分類フロー 概要 Twitter インタフェース 有益意見自動分析システムについて 意見分類ツールについて 提示意見選定ツールについて
5. 今後の展開
22
プロトタイプによる実験
Social-MRC を用いて20 人程度の規模の合意形成の実験を行った
23
実際に合意が形成でき，運用手順やシステムが有効
である見通しがついた
24問題点
一般関与者
入力閲覧
MRC-Plaza
入力
MRC-Studio
意見
議論中継
MRC 専門家
最適解映像配信
ファシリテータ
オピニオンリーダ
意見
意見
議論
25問題点
一般関与者
入力閲覧
MRC-Plaza
入力
MRC-Studio
意見
議論中継
MRC 専門家
最適解映像配信
ファシリテータ
オピニオンリーダ
意見
意見
意見
意見
! !
意見が膨大になるとすべての意見の中から
必要な意見を分類することが困難
26問題点
一般関与者
入力閲覧
MRC-Plaza
入力
MRC-Studio
意見
議論中継
MRC 専門家
最適解映像配信
ファシリテータ
オピニオンリーダ
意見
意見が膨大であっても議論に必要な意見を抽出できる
意見分類フローが必要
目次
1. 背景2. Social-MRC について
Social-MRC とは
3. 研究目的 プロトタイプを用いた実験 研究目的
4. 意見分類フロー 概要 Twitter インタフェース 有益意見自動分析システムについて 意見分類ツールについて 提示意見選定ツールについて
5. 今後の展開
27
28研究目的
膨大な意見の中から議論に必要な意見を抽出できる意見分類フローが必要
有益な意見を抽出する意見分類フローの提案と開発
29意見分類フロー [ 概要 ](1/2)
一般関与者
入力閲覧
MRC-Plaza
入力
MRC-Studio
意見
議論中継
MRC 専門家
最適解映像配信
ファシリテータ
オピニオンリーダ
サブファシリテー
タ
意見分析者
意見
分類結果
分類結果
有益意見分析システム
分類結果
30意見分類フロー [ 概要 ](1/2)
一般関与者
入力閲覧
MRC-Plaza
入力
MRC-Studio
意見
議論中継
MRC 専門家
最適解映像配信
ファシリテータ
オピニオンリーダ
サブファシリテー
タ
意見分析者
意見
分類結果
分類結果
有益意見分析システム
分類結果
一般関与者の意見の意見を収集する
セレクトメニューによる分類機能ツイート評価機能
31意見分類フロー [ 概要 ](1/2)
一般関与者
入力閲覧
MRC-Plaza
入力
MRC-Studio
意見
議論中継
MRC 専門家
最適解映像配信
ファシリテータ
オピニオンリーダ
サブファシリテー
タ
意見分析者
意見
分類結果
分類結果
有益意見分析システム
分類結果
一般関与者の膨大な意見の中から有益な意見に絞り込む
特徴語と手がかり表現による分類機能
機械学習による分類機能
32意見分類フロー [ 概要 ](1/2)
一般関与者
入力閲覧
MRC-Plaza
入力
MRC-Studio
意見
議論中継
MRC 専門家
最適解映像配信
ファシリテータ
オピニオンリーダ
サブファシリテー
タ
意見分析者
意見
分類結果
分類結果
有益意見分析システム
分類結果
システムが有益と分類した意見の中から，人手によって
有益な意見に絞り込む
検索機能複数タイムラインインタフェース
有益な意見を送る機能
33意見分類フロー [ 概要 ](1/2)
一般関与者
入力閲覧
MRC-Plaza
入力
MRC-Studio
意見
議論中継
MRC 専門家
最適解映像配信
ファシリテータ
オピニオンリーダ
サブファシリテー
タ
意見分析者
意見
分類結果
分類結果
有益意見分析システム
分類結果
意見分析者が有益と分類した意見の中から，現在行われている議論
に最も必要な意見を抽出
ファシリテータに意見を提示する機能
意見分類フロー [ 概要 ](2/2)
有益意見分析システムや意見分析者，サブファシリテータなどを通して意見を分
類
34
ファシリテータが議論において必要だと考えられる意見を分類できる
35意見分類フロー
一般関与者
入力閲覧
MRC-Plaza
入力
MRC-Studio
意見
議論中継
MRC 専門家
最適解映像配信
ファシリテータ
オピニオンリーダ
サブファシリテー
タ
意見分析者
意見
分類結果
分類結果
有益意見分析システム
分類結果
36問題点 (1/2)
一般関与者の意見が膨大なときに意見分析者がすべての意見を分類するのは困難
投稿された意見のラベルから議論に必要そうな意見に絞り込む機能が必要
分類する際の問題点
37問題点 (2/2)
参加者が数千人となると ,積極的に議論へ参加ができない人がいる可能性
誰でも議論に意思表示ができるような機能が必要
合意形成の問題点
38提案方式
投稿された意見のラベルから議論に必要な意見そうな意見に絞り込む機能が必要
セレクトメニューによる分類機能
誰でも議論に意思表示ができるような機能が必要
ツイート評価機能
39セレクトメニューによる分類 [デザイン ]
投稿する意見の対象や意見の種類を選択
40分類項目 [ 意見の対象 ]
選択項目 ハッシュタグオピニオンリーダ #OL_(名前 )
対策案 n番目 #plan_n番目最適解 n番目 #opt_n番目
41分類項目 [ 意見の種類 ]
選択項目 ハッシュタグ
議論点提示
-現状の問題点提示 - #c_pro
- 提案の問題点提示 - #p_pro- 議論の方向性提示 - #d_deb-新たな視点の提示 - #d_new
-改善案の提示 - #d_im- その他 - #d_etc
提案の導入後-影響 - #im_ef
- 利活用法 - #im_me
質問-質問 - #que_q
-質問の応答 - #que_r意見の要約 #o_dig事実提示 #o_factその他 #e_etc
42セレクトメニューによる分類 [ メリット ]
各意見にラベルを付与 意見の種類の項目は実際に行われた議論か
ら , 議論において分類が必要な項目を解析し作成
意見分析者が必要なラベルの意見に絞り込むことでき，分類を容易にすることが可能
ツイート評価機能 43
意見を入力せずにボタンひとつで自分の意見を反映
させる機能の実装
誰でも議論に意思表示ができるような機能が必要
44ツイート評価機能
各ツイートへの評価ボタン
45ツイート評価機能
各ツイートの評価結果を意見分析者が有益な意見を分類することに用いる
一般関与者から多くの賛同や反対されている注目されている意見を抽出
46意見分類フロー
一般関与者
入力閲覧
MRC-Plaza
入力
MRC-Studio
意見
議論中継
MRC 専門家
最適解映像配信
ファシリテータ
オピニオンリーダ
サブファシリテー
タ
意見分析者
意見
分類結果
分類結果
有益意見分析システム
分類結果
47有益意見分析システム [ 目的 ]
セレクトメニューによる分類機能によって付与されたラベルを用いて絞り込んでも，まだ意見が膨大である
絞り込んだ中から更に有益な意見に絞り込む必要
48意見の例
皆さん、よろしくお願いします
未成年者のネトゲーマーはネカフェに入れないと発狂しそう
この最適解は支持できませんね。もう少し煮詰めてもらってもいいですかね？
罰則がないと強制力がないのですが、その危険性についてどう考えていますか？罰則があるないだけはなくて、どの程度の罰則が適当なのか議論すべきではないでしょうか。
確かに、有害かどうかなんて難しいよね。人間でも難しいんだ。自動的にだなんて難しい
有益な意見 有益ではない意見
49有益意見分析システム [ 概要 ](1/4)
機械学習による分類機能▶人手による教師データを用いて有益な意見を分
類するための機能
特徴語と手がかり表現による分類機能▶有益な意見によく出てくる特徴語や手がかり表現を持つ有益な意見を分類するための機能
2 つの機能を組み合わせたハイブリット分類システム
50有益意見分析システム [ 概要 ](2/4)
機械学習だけでは，有益な意見を誤って有益ではないと分類する傾向があった
誤分類を防ぐために特徴語と手がかり表現による分類機能も実装
51有益意見分析システム [ 概要 ](3/4)
機械学習による分類機能
意見
有益ではない 有益ではない
特徴語と手がかり表現による
分類機能
52有益意見分析システム [ 概要 ](4/3)
機械学習による分類機能
意見
有益 有益ではない
特徴語と手がかり表現による
分類機能
53有益意見分析システム
機械学習による分類機能▶人手による教師データを用いて有益な意見を分
類するための機能
特徴語と手がかり表現による分類機能▶有益な意見によく出てくる特徴語や手がかり表現を持つ有益な意見を分類するための機能
2 つの機能を組み合わせたハイブリット分類システム
54機械学習による分類機能
サポートベクターマシン (LibSVM) 学習データ
▶以前に行った実験の際の投稿文▶ 5 人の多数決によって「有益（ 36 件）」「有益
ではない（ 263 件）」の分類
55素性
素性 次元数
1 重要な名詞セットの出現頻度 100
2 助動詞の基本形の出現頻度 37
3 ツイート中の句点の出現頻度 1
4 ツイート全体の文字数 1
5ツイートに付与された意見の対象の項目 4
6ツイートに付与された意見の種類の項目 13
56機械学習による分類機能 [例 ]
反対派の携帯のフィルタリングは親が選択できるとあったが、昨今は親のリテラシが低い場合もある。フィルタリングを選択制にするならば、親への教育が必要ではないのか。
フィルタリング 2 回，教育1 回
オピニオンリーダへ提案の問題点提示
文字数 79 文字
57重要な名詞セットの出現頻度
議論に関する資料に記述されている重要な名詞▶賛成派意見書，反対派意見書，対策案一覧
tfidf を用いて演算上位 100 件の名詞の出現頻度を素性とした
58重要な名詞セットの出現頻度
名詞一覧名詞
1 フィルタリング
2 有害
3 有害情報
4 情報
5 罰則
6 青少年
7 フィルタリングソフト
8 教育
：：
：：
59助動詞の基本形の出現頻度
助動詞は体言や用言に意味を補ったり，気持ちや判断を表す役割▶例 :「保護者の教育が重要らしい」▶例 :「保護者の教育を実施すべきだ」
助動詞の基本形の出現頻度を素性とする
60ツイート中の句点・ツイートの文字数
有益な意見には，文字数が長いことや，文章が多い傾向
投稿文の文字数と句点の総数を素性とする
61ツイートに付与された意見の対象・意見の種類
選択項目 ハッシュタグオピニオンリーダ #OL_(名前 )
対策案 n番目 #plan_n番目最適解 n番目 #opt_n番目
選択項目 ハッシュタグ
議論点提示
-現状の問題点提示 - #c_pro
- 提案の問題点提示 - #p_pro- 議論の方向性提示 - #d_deb-新たな視点の提示 - #d_new
-改善案の提示 - #d_im- その他 - #d_etc
：：
：：
：：
62有益意見分析システム
機械学習による分類機能▶人手による教師データを用いて有益な意見を分
類するための機能
特徴語と手がかり表現による分類機能▶有益な意見によく出てくる特徴語や手がかり表現を持つ有益な意見を分類するための機能
2 つの機能を組み合わせたハイブリット分類システム
63特徴語と手がかり表現による分類機能
機械学習による分類機能で誤分類された意見を分析
64特徴語と手がかり表現による分類機能
機械学習による分類機能で誤分類された意見を分析
罰則付きかー。実際にどういう罰則が考えられるんでしょうか。
65特徴語と手がかり表現による分類機能
機械学習による分類機能で誤分類された意見を分析
罰則付きかー。実際にどういう罰則が考えられるんでしょうか。
議論すべき重要な名詞
有益な意見に出てくる手がかり表現
66特徴語と手がかり表現による分類機能
議論すべき重要な名詞 有益な意見に出てくる手がかり表現
2 つの特徴を持つ意見を有益な意見と分類
67議論すべき重要な名詞
議論に関する資料に記述されている名詞▶賛成派意見書，反対派意見書，対策案一覧
tfidf を用いて重要度を演算し，上位 50 件を議論すべき重要な名詞とした
68有益な意見によく出てくる手がかり表現
*全 11 件のうち一部を抜粋今後さらに追加予定
表現「問題がある」「どう考えて」「どういう」「どのような」「どうでしょう」
「基準」具体的な数値や割合
：：
69有益意見分析システム
機械学習による分類機能
ハイブリットによって精度が向上したか検証しました
特徴語と手がかり表現による
分類機能
70精度 [ 機械学習による分類機能 ]
実際の分類
有益 有益ではない
機械学習有益 17 2
有益ではない 19 261
精度 0.930
機械学習だけでは，有益な意見を有益ではないと分類してしまう傾向がある
71精度 [ 有益意見分析システム ]
実際の分類
有益 有益ではない
システム全体
有益 17→25 2→5
有益ではない 19→11 261→258
精度 0.930→0.946
特徴語と手がかり表現による分類機能によって
誤分類された意見をより正しく分類できる
72有益意見分析システム
機械学習による分類機能
意見の対象や意見の種類などで絞りこんだ中から有益な意見を抽出することができる
特徴語と手がかり表現による
分類機能
73意見分類フロー
一般関与者
入力
閲覧
MRC-Plaza
入力
MRC-Studio
意見
議論中継
MRC 専門家
最適解映像配信
ファシリテータ
オピニオンリーダ
サブファシリテー
タ
意見分析者
意見
分類結果
分類結果
有益意見分析システム
分類結果
74意見分類ツール
意見分析者がリアルタイムに多くの意見を分類することを支援するツール
75意見分類ツール
76意見分類ツール
検索機能によって意見の対象や種類などから
意見を絞り込むことができる
77意見分類ツール
複数のタイムラインによって検索を切り替える時間を減ら
し効率的に分類が可能
78意見分類ツール
容易にサブファシリテータに有益な意見を送ることができ
る有益リストに追加ボタン
79意見分類ツール
有益リスト
80意見分類フロー
一般関与者
入力
閲覧
MRC-Plaza
入力
MRC-Studio
意見
議論中継
MRC 専門家
最適解映像配信
ファシリテータ
オピニオンリーダ
サブファシリテー
タ
意見分析者
意見
分類結果
分類結果
有益意見分析システム
分類結果
81提示意見選定ツール
サブファシリテータが意見分析者が有益だと分類した意見を更に絞り込むことを支援するツール
82意見分類フロー
一般関与者
入力閲覧
MRC-Plaza
入力
MRC-Studio
意見
議論中継
MRC 専門家
最適解映像配信
ファシリテータ
オピニオンリーダ
サブファシリテー
タ
意見分析者
意見
分類結果
分類結果
有益意見分析システム
分類結果
83意見分類フロー [ まとめ ]
MRC-Plaza，有益意見分析システム，意見分析者，サブファシリテータといった多段階で意見を分類
数千人の一般関与者の膨大な意見の中から議論に必要な意見を抽出できる
目次
1. 背景2. Social-MRC について
Social-MRC とは
3. 研究目的 プロトタイプを用いた実験 研究目的
4. 意見分類フロー 概要 Twitter インタフェース 有益意見自動分析システムについて 意見分類ツールについて 提示意見選定ツールについて
5. 今後の展開
84
85今後の展開
一般関与者が 100 人程度の実験を行い，意見分類フローの評価を行う▶日程 ： 7月 29日 (月 )15:00 開始予定▶対象問題：情報フィルタリング問題
興味のある方は「 [email protected]」
