Embed Size (px)
Citation preview
社会的合意形成を支援するSocial-MRCとその意見分類手法
東京電機大学
情報セキュリティ研究室
安藤駿
2013.5.18 第4回Twitter研究会
目次
1. 背景
2. Social-MRCについて Social-MRCとは
3. 問題点 プロトタイプを用いた実験
研究目的
4. 意見分類フロー 概要
Twitterインタフェース
有益意見自動分析システムについて
意見分類ツールについて
提示意見選定ツールについて
5. 今後の展開
2
目次
1. 背景
2. Social-MRCについて Social-MRCとは
3. 問題点 プロトタイプを用いた実験
研究目的
4. 意見分類フロー 概要
Twitterインタフェース
有益意見自動分析システムについて
意見分類ツールについて
提示意見選定ツールについて
5. 今後の展開
3
はじめに(1/2) 4
１つのリスクへの対策が別のリスクを生み出す多重
リスクの問題が存在
従業員が顧客情報を漏洩させてしまうかもしれない
従業員のメールを監視しよう！
メールを監視するなんて
プライバシーの侵害だ！
経営者
従業員
顧客
個人情報を絶対に漏洩させるな！
はじめに(1/2) 5
１つのリスクへの対策が別のリスクを生み出す多重
リスクの問題が存在
従業員が顧客情報を漏洩させてしまうかもしれない
従業員のメールを監視しよう！
メールを監視するなんて
プライバシーの侵害だ！
経営者
従業員
顧客
個人情報を絶対に漏洩させるな！
多様な価値基準を持つ利害関係者との間で,
合意を形成するための
リスクコミュニケーションが重要
はじめに(2/2)
社会的合意形成が必要な問題の存在
6
近年
関与者の数が
数千人を超える社会的合意形成の問題 に適用する必要
7
これらの要求を満たすシステム
Social-MRC
(Social Multiple Risk Communicator)
Social-MRCの要件
要求１
対立する多様なリスクを考慮しつつ対策を考える必要がある
要求２ 対策の最適な組み合わせを求める必要がある
要求３
関与者の数が数千人を超える社会的合意形成の問題に適用可能
要求４ 多くの関与者間で合意が得られるコミュニケーション手段が必要である
ITリスク対策に関する社会的合意形成支援システムSocial-MRCの開発構想
佐々木良一, 杉本尚子, 矢島敬士, 増田英孝, 吉浦裕, 鮫島正樹, 舩橋誠壽
情報処理学会論文誌 Vol.52, No.9(20110915) pp. 2562-2574
目次
1. 背景
2. Social-MRCについて Social-MRCとは
3. 問題点 プロトタイプを用いた実験
研究目的
4. 意見分類フロー 概要
Twitterインタフェース
有益意見自動分析システムについて
意見分類ツールについて
提示意見選定ツールについて
5. 今後の展開
8
Social-MRC[概要] 9
一般関与者
入力
閲覧
MRC-Plaza
入力
MRC-Studio
意見
議論中継
MRC専門家
最適解
映像配信
ファシリテータ
オピニオンリーダ
意見
第1階層 (MRC-Studio)
第2階層(MRC-Plaza)
Social-MRC[概要] 10
一般関与者
入力
閲覧
MRC-Plaza
入力
MRC-Studio
意見
議論中継
MRC専門家
最適解
映像配信
ファシリテータ
オピニオンリーダ
意見
Social-MRC[オピニオンリーダ] 11
一般関与者
入力
閲覧
MRC-Plaza
入力
MRC-Studio
意見
議論中継
MRC専門家
最適解
映像配信
ファシリテータ
オピニオンリーダ
意見
実際に議論を行う,議論に関する問題の専門家達
Social-MRC[ファシリテータ] 12
一般関与者
入力
閲覧
MRC-Plaza
入力
MRC-Studio
意見
議論中継
MRC専門家
最適解
映像配信
ファシリテータ
オピニオンリーダ
意見
議論を進行しつつ,一般関与者の意見をオピニオンリーダに伝える人
Social-MRC[MRC専門家] 13
一般関与者
入力
閲覧
MRC-Plaza
入力
MRC-Studio
意見
議論中継
MRC専門家
最適解
映像配信
ファシリテータ
オピニオンリーダ
意見
オピニオンリーダやファシリテータの議論を受けて,MRCを用いて
最適解を演算する人
Social-MRC[一般関与者] 14
一般関与者
入力
閲覧
MRC-Plaza
入力
MRC-Studio
意見
議論中継
MRC専門家
最適解
映像配信
ファシリテータ
オピニオンリーダ
意見
意見を投稿することで議論に
参加している一般の人達
Social-MRC[議論の流れ] 15
一般関与者
入力
閲覧
MRC-Plaza
入力
MRC-Studio
意見
議論中継
MRC専門家
最適解
映像配信
ファシリテータ
オピニオンリーダ
意見 第2階層(MRC-Plaza)
意見
最適解
配信動画
Social-MRC[議論の流れ] 16
一般関与者
入力
閲覧
MRC-Plaza
入力
MRC-Studio
意見
議論中継
MRC専門家
最適解
映像配信
ファシリテータ
オピニオンリーダ
意見
第1階層 (MRC-Studio)
配信動画
Social-MRC[議論の流れ] 17
一般関与者
入力
閲覧
MRC-Plaza
入力
MRC-Studio
意見
議論中継
MRC専門家
最適解
映像配信
ファシリテータ
オピニオンリーダ
意見
第1階層 (MRC-Studio) 最適解
配信動画
Social-MRC[議論の流れ] 18
一般関与者
入力
閲覧
MRC-Plaza
入力
MRC-Studio
意見
議論中継
MRC専門家
最適解
映像配信
ファシリテータ
オピニオンリーダ
意見
第1階層 (MRC-Studio)
最適解
配信動画
意見 Twitter
インタフェース
Social-MRC[議論の流れ] 19
一般関与者
入力
閲覧
MRC-Plaza
入力
MRC-Studio
意見
議論中継
MRC専門家
最適解
映像配信
ファシリテータ
オピニオンリーダ
意見
第1階層 (MRC-Studio)
最適解
配信動画
意見
意見
意見
Social-MRC[議論の流れ] 20
一般関与者
入力
閲覧
MRC-Plaza
入力
MRC-Studio
意見
議論中継
MRC専門家
最適解
映像配信
ファシリテータ
オピニオンリーダ
意見
意見
意見
意見
Social-MRCの目的
多数のリスクや数千人の関与者の意見を考慮し,
数ある対策から最適な組み合わせを選出
21
多くの関与者の合意を得られる
対策案の組み合わせの決定
目次
1. 背景
2. Social-MRCについて Social-MRCとは
3. 問題点 プロトタイプを用いた実験
研究目的
4. 意見分類フロー 概要
Twitterインタフェース
有益意見自動分析システムについて
意見分類ツールについて
提示意見選定ツールについて
5. 今後の展開
22
プロトタイプによる実験
Social-MRCを用いて
20人程度の規模の合意形成の実験を行った
23
実際に合意が形成でき，
運用手順やシステムが有効
である見通しがついた
問題点 24
一般関与者
入力
閲覧
MRC-Plaza
入力
MRC-Studio
意見
議論中継
MRC専門家
最適解
映像配信
ファシリテータ
オピニオンリーダ
意見
意見
議論
問題点 25
一般関与者
入力
閲覧
MRC-Plaza
入力
MRC-Studio
意見
議論中継
MRC専門家
最適解
映像配信
ファシリテータ
オピニオンリーダ
意見
意見
意見
意見
意見が膨大になると
すべての意見の中から
必要な意見を分類することが困難
問題点 26
一般関与者
入力
閲覧
MRC-Plaza
入力
MRC-Studio
意見
議論中継
MRC専門家
最適解
映像配信
ファシリテータ
オピニオンリーダ
意見
意見が膨大であっても
議論に必要な意見を抽出できる
意見分類フローが必要
目次
1. 背景
2. Social-MRCについて Social-MRCとは
3. 研究目的 プロトタイプを用いた実験
研究目的
4. 意見分類フロー 概要
Twitterインタフェース
有益意見自動分析システムについて
意見分類ツールについて
提示意見選定ツールについて
5. 今後の展開
27
研究目的
膨大な意見の中から議論に必要な意見を抽出できる意見分類フローが必要
28
有益な意見を抽出する意見分類フローの
提案と開発
意見分類フロー[概要](1/2) 29
一般関与者
入力
閲覧
MRC-Plaza
入力
MRC-Studio
意見
議論中継
MRC専門家
最適解
映像配信
ファシリテータ
オピニオンリーダ
サブ
ファシリテータ
意見分析者
意見
分類結果
分類結果
有益意見分析システム
分類結果
意見分類フロー[概要](1/2) 30
一般関与者
入力
閲覧
MRC-Plaza
入力
MRC-Studio
意見
議論中継
MRC専門家
最適解
映像配信
ファシリテータ
オピニオンリーダ
サブ
ファシリテータ
意見分析者
意見
分類結果
分類結果
有益意見分析システム
分類結果
一般関与者の意見の意見を
収集する
セレクトメニューによる分類機能
ツイート評価機能
意見分類フロー[概要](1/2) 31
一般関与者
入力
閲覧
MRC-Plaza
入力
MRC-Studio
意見
議論中継
MRC専門家
最適解
映像配信
ファシリテータ
オピニオンリーダ
サブ
ファシリテータ
意見分析者
意見
分類結果
分類結果
有益意見分析システム
分類結果
一般関与者の膨大な意見の中から
有益な意見に絞り込む
特徴語と手がかり表現による分類機能
機械学習による分類機能
意見分類フロー[概要](1/2) 32
一般関与者
入力
閲覧
MRC-Plaza
入力
MRC-Studio
意見
議論中継
MRC専門家
最適解
映像配信
ファシリテータ
オピニオンリーダ
サブ
ファシリテータ
意見分析者
意見
分類結果
分類結果
有益意見分析システム
分類結果
システムが有益と分類した
意見の中から，人手によって
有益な意見に絞り込む
検索機能
複数タイムラインインタフェース
有益な意見を送る機能
意見分類フロー[概要](1/2) 33
一般関与者
入力
閲覧
MRC-Plaza
入力
MRC-Studio
意見
議論中継
MRC専門家
最適解
映像配信
ファシリテータ
オピニオンリーダ
サブ
ファシリテータ
意見分析者
意見
分類結果
分類結果
有益意見分析システム
分類結果
意見分析者が有益と分類した
意見の中から，現在行われている議論に
最も必要な意見を抽出
ファシリテータに意見を提示する機能
意見分類フロー[概要](2/2)
有益意見分析システムや意見分析者，
サブファシリテータなどを通して意見を分類
34
ファシリテータが議論において必要だと考えられる意見を分類できる
意見分類フロー 35
一般関与者
入力
閲覧
MRC-Plaza
入力
MRC-Studio
意見
議論中継
MRC専門家
最適解
映像配信
ファシリテータ
オピニオンリーダ
サブ
ファシリテータ
意見分析者
意見
分類結果
分類結果
有益意見分析システム
分類結果
問題点(1/2)
一般関与者の意見が膨大なときに意見分析者がすべての意見を分類するのは困難
36
投稿された意見のラベルから
議論に必要そうな意見に
絞り込む機能が必要
分類する際の問題点
問題点(2/2)
参加者が数千人となると,積極的に議論へ参加ができない人がいる可能性
37
誰でも議論に意思表示ができる
ような機能が必要
合意形成の問題点
提案方式
投稿された意見のラベルから議論に必要な意見そうな意見に絞り込む機能が必要
セレクトメニューによる分類機能
誰でも議論に意思表示ができるような機能が必要
ツイート評価機能
38
セレクトメニューによる分類[デザイン] 39
投稿する意見の対象や
意見の種類を選択
分類項目[意見の対象]
選択項目 ハッシュタグ
オピニオンリーダ #OL_(名前)
対策案n番目 #plan_n番目
最適解n番目 #opt_n番目
40
分類項目[意見の種類] 41
選択項目 ハッシュタグ
議論点提示
-現状の問題点提示- #c_pro
-提案の問題点提示- #p_pro
-議論の方向性提示- #d_deb
-新たな視点の提示- #d_new
-改善案の提示- #d_im
-その他- #d_etc
提案の導入後 -影響- #im_ef
-利活用法- #im_me
質問 -質問- #que_q
-質問の応答- #que_r
意見の要約 #o_dig
事実提示 #o_fact
その他 #e_etc
セレクトメニューによる分類[メリット]
各意見にラベルを付与
意見の種類の項目は実際に行われた議論から,
議論において分類が必要な項目を解析し作成
42
意見分析者が
必要なラベルの意見に絞り込むことでき，分類を容易にすることが可能
ツイート評価機能 43
意見を入力せずに
ボタンひとつで自分の意見を反映 させる機能の実装
誰でも議論に意思表示ができる
ような機能が必要
ツイート評価機能 44
各ツイートへの
評価ボタン
ツイート評価機能
各ツイートの評価結果を意見分析者が有益な意見を分類することに用いる
45
一般関与者から多くの賛同や反対されている
注目されている意見を抽出
意見分類フロー 46
一般関与者
入力
閲覧
MRC-Plaza
入力
MRC-Studio
意見
議論中継
MRC専門家
最適解
映像配信
ファシリテータ
オピニオンリーダ
サブ
ファシリテータ
意見分析者
意見
分類結果
分類結果
有益意見分析システム
分類結果
有益意見分析システム[目的]
セレクトメニューによる分類機能によって付与されたラベルを用いて絞り込んでも，まだ意見が膨大である
47
絞り込んだ中から更に
有益な意見に絞り込む必要
意見の例
48
皆さん、よろしくお願いします
未成年者のネトゲーマーはネカフェに入れないと発狂しそう
この最適解は支持できませんね。もう少し煮詰めてもらってもいいですかね？
罰則がないと強制力がないのですが、その危険性についてどう考えていますか？
罰則があるないだけはなくて、どの程度の罰則が適当なのか議論すべきではないでしょうか。
確かに、有害かどうかなんて難しいよね。人間でも難しいんだ。自動的にだなんて難しい
有益な意見 有益ではない意見
有益意見分析システム[概要](1/4)
機械学習による分類機能
▶ 人手による教師データを用いて有益な意見を分類するための機能
特徴語と手がかり表現による分類機能
▶ 有益な意見によく出てくる特徴語や手がかり表現を持つ有益な意見を分類するための機能
49
2つの機能を組み合わせた
ハイブリット分類システム
有益意見分析システム[概要](2/4)
機械学習だけでは，有益な意見を誤って有益ではないと分類する傾向があった
50
誤分類を防ぐために 特徴語と手がかり表現による分類機能も実装
有益意見分析システム[概要](3/4) 51
機械学習による分類機能
意見
有益ではない 有益ではない
特徴語と手がかり表現による
分類機能
有益意見分析システム[概要](4/3) 52
機械学習による分類機能
意見
有益 有益ではない
特徴語と手がかり表現による
分類機能
有益意見分析システム
機械学習による分類機能
▶ 人手による教師データを用いて有益な意見を分類するための機能
特徴語と手がかり表現による分類機能
▶ 有益な意見によく出てくる特徴語や手がかり表現を持つ有益な意見を分類するための機能
53
2つの機能を組み合わせた
ハイブリット分類システム
機械学習による分類機能
サポートベクターマシン(LibSVM)
学習データ
▶ 以前に行った実験の際の投稿文
▶ 5人の多数決によって「有益（36件）」「有益ではない（263件）」の分類
54
素性 55
素性 次元数
1 重要な名詞セットの出現頻度 100
2 助動詞の基本形の出現頻度 37
3 ツイート中の句点の出現頻度 1
4 ツイート全体の文字数 1
5 ツイートに付与された意見の対象の項目 4
6 ツイートに付与された意見の種類の項目 13
機械学習による分類機能[例]
56
反対派の携帯のフィルタリングは親が選択できるとあったが、昨今は親のリテラシが低い場合もある。フィルタリングを選択制にするならば、親への教育が必要ではないのか。
フィルタリング2回，教育1回
オピニオンリーダへ提案の問題点提示
文字数79文字
重要な名詞セットの出現頻度
議論に関する資料に記述されている重要な名詞
▶ 賛成派意見書，反対派意見書，対策案一覧
57
tfidfを用いて演算
上位100件の名詞の出現頻度を素性とした
重要な名詞セットの出現頻度
名詞一覧
58
名詞
1 フィルタリング
2 有害
3 有害情報
4 情報
5 罰則
6 青少年
7 フィルタリングソフト
8 教育
： ：
： ：
助動詞の基本形の出現頻度
助動詞は体言や用言に意味を補ったり，気持ちや判断を表す役割
▶ 例:「保護者の教育が重要らしい」
▶ 例:「保護者の教育を実施すべきだ」
59
助動詞の基本形の出現頻度を素性とする
ツイート中の句点・ツイートの文字数
有益な意見には，文字数が長いことや，文章が多い傾向
60
投稿文の文字数と句点の総数を素性とする
ツイートに付与された意見の対象・意見の種類
61
選択項目 ハッシュタグ
オピニオンリーダ #OL_(名前)
対策案n番目 #plan_n番目
最適解n番目 #opt_n番目
選択項目 ハッシュタグ
議論点提示
-現状の問題点提示- #c_pro
-提案の問題点提示- #p_pro
-議論の方向性提示- #d_deb
-新たな視点の提示- #d_new
-改善案の提示- #d_im
-その他- #d_etc ： ：
： ：
： ：
有益意見分析システム
機械学習による分類機能
▶ 人手による教師データを用いて有益な意見を分類するための機能
特徴語と手がかり表現による分類機能
▶ 有益な意見によく出てくる特徴語や手がかり表現を持つ有益な意見を分類するための機能
62
2つの機能を組み合わせた
ハイブリット分類システム
特徴語と手がかり表現による分類機能
機械学習による分類機能で誤分類された意見を分析
63
特徴語と手がかり表現による分類機能
機械学習による分類機能で誤分類された意見を分析
64
罰則付きかー。実際にどういう罰則が考えられるんでしょうか。
特徴語と手がかり表現による分類機能
機械学習による分類機能で誤分類された意見を分析
65
罰則付きかー。実際にどういう罰則が考えられるんでしょうか。
議論すべき重要な名詞
有益な意見に出てくる
手がかり表現
特徴語と手がかり表現による分類機能
66
議論すべき重要な名詞 有益な意見に出てくる
手がかり表現
2つの特徴を持つ意見を有益な意見と分類
議論すべき重要な名詞
議論に関する資料に記述されている名詞
▶ 賛成派意見書，反対派意見書，対策案一覧
67
tfidfを用いて重要度を演算し，
上位50件を議論すべき重要な名詞とした
有益な意見によく出てくる手がかり表現
*全11件のうち一部を抜粋
今後さらに追加予定
68
表現
「問題がある」
「どう考えて」
「どういう」
「どのような」
「どうでしょう」
「基準」
具体的な数値や割合
： ：
有益意見分析システム 69
機械学習による分類機能
ハイブリットによって精度が向上したか
検証しました
特徴語と手がかり表現による
分類機能
精度[機械学習による分類機能]
実際の分類
有益 有益ではない
機械学習
有益 17 2
有益
ではない 19 261
精度 0.930
70
機械学習だけでは，有益な意見を有益ではないと分類してしまう傾向がある
精度[有益意見分析システム]
実際の分類
有益 有益ではない
システム
全体
有益 17→25 2→5
有益
ではない 19→11 261→258
精度 0.930→0.946
71
特徴語と手がかり表現による分類機能によって
誤分類された意見をより正しく分類できる
有益意見分析システム 72
機械学習による分類機能
意見の対象や意見の種類などで絞りこんだ中から
有益な意見を抽出することができる
特徴語と手がかり表現による
分類機能
意見分類フロー 73
一般関与者
入力
閲覧
MRC-Plaza
入力
MRC-Studio
意見
議論中継
MRC専門家
最適解
映像配信
ファシリテータ
オピニオンリーダ
サブ
ファシリテータ
意見分析者
意見
分類結果
分類結果
有益意見分析システム
分類結果
意見分類ツール
意見分析者がリアルタイムに多くの意見を分類することを支援するツール
74
意見分類ツール
75
意見分類ツール
76
検索機能によって
意見の対象や種類などから
意見を絞り込むことができる
意見分類ツール
77
複数のタイムラインによって
検索を切り替える時間を減らし
効率的に分類が可能
意見分類ツール
78
容易にサブファシリテータに
有益な意見を送ることができる
有益リストに追加ボタン
意見分類ツール
79
有益リスト
意見分類フロー 80
一般関与者
入力
閲覧
MRC-Plaza
入力
MRC-Studio
意見
議論中継
MRC専門家
最適解
映像配信
ファシリテータ
オピニオンリーダ
サブ
ファシリテータ
意見分析者
意見
分類結果
分類結果
有益意見分析システム
分類結果
提示意見選定ツール
サブファシリテータが意見分析者が有益だと分類した意見を更に絞り込むことを支援するツール
81
意見分類フロー 82
一般関与者
入力
閲覧
MRC-Plaza
入力
MRC-Studio
意見
議論中継
MRC専門家
最適解
映像配信
ファシリテータ
オピニオンリーダ
サブ
ファシリテータ
意見分析者
意見
分類結果
分類結果
有益意見分析システム
分類結果
意見分類フロー[まとめ]
MRC-Plaza，有益意見分析システム，意見分析者，サブファシリテータといった多段階で意見を分類
83
数千人の一般関与者の膨大な意見の中から議論に必要な意見を抽出できる
目次
1. 背景
2. Social-MRCについて Social-MRCとは
3. 研究目的 プロトタイプを用いた実験
研究目的
4. 意見分類フロー 概要
Twitterインタフェース
有益意見自動分析システムについて
意見分類ツールについて
提示意見選定ツールについて
5. 今後の展開
84
今後の展開
一般関与者が100人程度の実験を行い，意見分類フローの評価を行う
▶ 日程 ：7月29日(月)15:00 開始予定
▶ 対象問題：情報フィルタリング問題
85
興味のある方は
