Twitter研究会スライドver.1.2

社会的合意形成を支援するSocial-MRCとその意見分類手法

東京電機大学

情報セキュリティ研究室

安藤駿

2013.5.18 第4回Twitter研究会

目次

1. 背景

2. Social-MRCについて Social-MRCとは

3. 問題点プロトタイプを用いた実験

研究目的

4. 意見分類フロー概要

Twitterインタフェース

有益意見自動分析システムについて

意見分類ツールについて

提示意見選定ツールについて

5. 今後の展開

2

目次

1. 背景



研究目的






5. 今後の展開

3

はじめに(1/2) 4

１つのリスクへの対策が別のリスクを生み出す多重

リスクの問題が存在従業員が顧客情報を漏洩させてしまうかもしれない従業員のメールを監視しよう！

メールを監視するなんてプライバシーの侵害だ！

経営者

従業員

顧客

個人情報を絶対に漏洩させるな！

はじめに(1/2) 5

１つのリスクへの対策が別のリスクを生み出す多重

リスクの問題が存在従業員が顧客情報を漏洩させてしまうかもしれない従業員のメールを監視しよう！

メールを監視するなんてプライバシーの侵害だ！

経営者

従業員

顧客

個人情報を絶対に漏洩させるな！

多様な価値基準を持つ利害関係者との間で,

合意を形成するための

リスクコミュニケーションが重要

はじめに(2/2)

社会的合意形成が必要な問題の存在

6

近年

関与者の数が

数千人を超える社会的合意形成の問題に適用する必要

7

これらの要求を満たすシステム

Social-MRC

(Social Multiple Risk Communicator)

Social-MRCの要件

要求１対立する多様なリスクを考慮しつつ対策を考える必要がある

要求２対策の最適な組み合わせを求める必要がある

要求３関与者の数が数千人を超える社会的合意形成の問題に適用可能

要求４多くの関与者間で合意が得られるコミュニケーション手段が必要である

ITリスク対策に関する社会的合意形成支援システムSocial-MRCの開発構想佐々木良一, 杉本尚子, 矢島敬士, 増田英孝, 吉浦裕, 鮫島正樹, 舩橋誠壽情報処理学会論文誌 Vol.52, No.9(20110915) pp. 2562-2574

目次

1. 背景



研究目的






5. 今後の展開

8

Social-MRC[概要] 9

一般関与者

入力

閲覧

MRC-Plaza

入力

MRC-Studio

意見

議論中継

MRC専門家

最適解映像配信

ファシリテータ

オピニオンリーダ

意見

第1階層 (MRC-Studio)

第2階層(MRC-Plaza)

Social-MRC[概要] 10

一般関与者

入力

閲覧

MRC-Plaza

入力

MRC-Studio

意見

議論中継

MRC専門家




意見

Social-MRC[オピニオンリーダ] 11

一般関与者

入力

閲覧

MRC-Plaza

入力

MRC-Studio

意見

議論中継

MRC専門家




意見

実際に議論を行う,議論に関する問題の専門家達

Social-MRC[ファシリテータ] 12

一般関与者

入力

閲覧

MRC-Plaza

入力

MRC-Studio

意見

議論中継

MRC専門家




意見

議論を進行しつつ,一般関与者の意見をオピニオンリーダに伝える人

Social-MRC[MRC専門家] 13

一般関与者

入力

閲覧

MRC-Plaza

入力

MRC-Studio

意見

議論中継

MRC専門家




意見

オピニオンリーダやファシリテータの議論を受けて,MRCを用いて

最適解を演算する人

Social-MRC[一般関与者] 14

一般関与者

入力

閲覧

MRC-Plaza

入力

MRC-Studio

意見

議論中継

MRC専門家




意見

意見を投稿することで議論に参加している一般の人達

Social-MRC[議論の流れ] 15

一般関与者

入力

閲覧

MRC-Plaza

入力

MRC-Studio

意見

議論中継

MRC専門家




意見第2階層(MRC-Plaza)

意見最適解

配信動画


一般関与者

入力

閲覧

MRC-Plaza

入力

MRC-Studio

意見

議論中継

MRC専門家




意見


配信動画


一般関与者

入力

閲覧

MRC-Plaza

入力

MRC-Studio

意見

議論中継

MRC専門家




意見

第1階層 (MRC-Studio)最適解

配信動画


一般関与者

入力

閲覧

MRC-Plaza

入力

MRC-Studio

意見

議論中継

MRC専門家




意見


最適解

配信動画

意見Twitter

インタフェース


一般関与者

入力

閲覧

MRC-Plaza

入力

MRC-Studio

意見

議論中継

MRC専門家




意見


最適解

配信動画

意見

意見

意見


一般関与者

入力

閲覧

MRC-Plaza

入力

MRC-Studio

意見

議論中継

MRC専門家




意見

意見

意見

意見

Social-MRCの目的

多数のリスクや数千人の関与者の意見を考慮し,

数ある対策から最適な組み合わせを選出

21

多くの関与者の合意を得られる

対策案の組み合わせの決定

目次

1. 背景



研究目的






5. 今後の展開

22

プロトタイプによる実験

Social-MRCを用いて

20人程度の規模の合意形成の実験を行った

23

実際に合意が形成でき，

運用手順やシステムが有効

である見通しがついた

問題点 24

一般関与者

入力

閲覧

MRC-Plaza

入力

MRC-Studio

意見

議論中継

MRC専門家




意見

意見

議論

問題点 25

一般関与者

入力

閲覧

MRC-Plaza

入力

MRC-Studio

意見

議論中継

MRC専門家




意見

意見

意見

意見

意見が膨大になるとすべての意見の中から

必要な意見を分類することが困難

問題点 26

一般関与者

入力

閲覧

MRC-Plaza

入力

MRC-Studio

意見

議論中継

MRC専門家




意見

意見が膨大であっても議論に必要な意見を抽出できる

意見分類フローが必要

目次

1. 背景


3. 研究目的プロトタイプを用いた実験

研究目的






5. 今後の展開

27

研究目的

膨大な意見の中から議論に必要な意見を抽出できる意見分類フローが必要

28

有益な意見を抽出する意見分類フローの提案と開発

意見分類フロー[概要](1/2) 29

一般関与者

入力

閲覧

MRC-Plaza

入力

MRC-Studio

意見

議論中継

MRC専門家




サブ


意見分析者

意見

分類結果

分類結果

有益意見分析システム

分類結果


一般関与者

入力

閲覧

MRC-Plaza

入力

MRC-Studio

意見

議論中継

MRC専門家




サブ


意見分析者

意見

分類結果

分類結果


分類結果

一般関与者の意見の意見を収集する

セレクトメニューによる分類機能ツイート評価機能


一般関与者

入力

閲覧

MRC-Plaza

入力

MRC-Studio

意見

議論中継

MRC専門家




サブ


意見分析者

意見

分類結果

分類結果


分類結果

一般関与者の膨大な意見の中から有益な意見に絞り込む

特徴語と手がかり表現による分類機能

機械学習による分類機能


一般関与者

入力

閲覧

MRC-Plaza

入力

MRC-Studio

意見

議論中継

MRC専門家




サブ


意見分析者

意見

分類結果

分類結果


分類結果

システムが有益と分類した意見の中から，人手によって

有益な意見に絞り込む

検索機能複数タイムラインインタフェース

有益な意見を送る機能


一般関与者

入力

閲覧

MRC-Plaza

入力

MRC-Studio

意見

議論中継

MRC専門家




サブ


意見分析者

意見

分類結果

分類結果


分類結果

意見分析者が有益と分類した

意見の中から，現在行われている議論に

最も必要な意見を抽出

ファシリテータに意見を提示する機能

意見分類フロー[概要](2/2)

有益意見分析システムや意見分析者，

サブファシリテータなどを通して意見を分類

34

ファシリテータが議論において必要だと考えられる意見を分類できる

意見分類フロー 35

一般関与者

入力

閲覧

MRC-Plaza

入力

MRC-Studio

意見

議論中継

MRC専門家




サブ


意見分析者

意見

分類結果

分類結果


分類結果

問題点(1/2)

一般関与者の意見が膨大なときに意見分析者がすべての意見を分類するのは困難

36

投稿された意見のラベルから

議論に必要そうな意見に

絞り込む機能が必要

分類する際の問題点

問題点(2/2)

参加者が数千人となると,積極的に議論へ参加ができない人がいる可能性

37

誰でも議論に意思表示ができる

ような機能が必要

合意形成の問題点

提案方式

投稿された意見のラベルから議論に必要な意見そうな意見に絞り込む機能が必要

セレクトメニューによる分類機能

誰でも議論に意思表示ができるような機能が必要

ツイート評価機能

38

セレクトメニューによる分類[デザイン] 39

投稿する意見の対象や意見の種類を選択

分類項目[意見の対象]

選択項目ハッシュタグ

オピニオンリーダ #OL_(名前)

対策案n番目 #plan_n番目

最適解n番目 #opt_n番目

40

分類項目[意見の種類] 41


議論点提示

-現状の問題点提示- #c_pro

-提案の問題点提示- #p_pro

-議論の方向性提示- #d_deb

-新たな視点の提示- #d_new

-改善案の提示- #d_im

-その他- #d_etc

提案の導入後-影響- #im_ef

-利活用法- #im_me

質問-質問- #que_q

-質問の応答- #que_r

意見の要約 #o_dig

事実提示 #o_fact

その他 #e_etc

セレクトメニューによる分類[メリット]

各意見にラベルを付与

意見の種類の項目は実際に行われた議論から,議論において分類が必要な項目を解析し作成

42

意見分析者が必要なラベルの意見に絞り込むことで

き，分類を容易にすることが可能

ツイート評価機能 43

意見を入力せずに

ボタンひとつで自分の意見を反映させる機能の実装

誰でも議論に意思表示ができる

ような機能が必要

ツイート評価機能 44

各ツイートへの評価ボタン

ツイート評価機能

各ツイートの評価結果を意見分析者が有益な意見を分類することに用いる

45

一般関与者から多くの賛同や反対されている

注目されている意見を抽出


一般関与者

入力

閲覧

MRC-Plaza

入力

MRC-Studio

意見

議論中継

MRC専門家




サブ


意見分析者

意見

分類結果

分類結果


分類結果

有益意見分析システム[目的]

セレクトメニューによる分類機能によって付与されたラベルを用いて絞り込んでも，まだ意見が膨大である

47

絞り込んだ中から更に

有益な意見に絞り込む必要

意見の例 48

皆さん、よろしくお願いします

未成年者のネトゲーマーはネカフェに入れないと発狂しそう

この最適解は支持できませんね。もう少し煮詰めてもらってもいいですかね？

罰則がないと強制力がないのですが、その危険性についてどう考えていますか？

罰則があるないだけはなくて、どの程度の罰則が適当なのか議論すべきではないでしょうか。

確かに、有害かどうかなんて難しいよね。人間でも難しいんだ。自動的にだなんて難しい

有益な意見有益ではない意見

有益意見分析システム[概要](1/4)


▶ 人手による教師データを用いて有益な意見を分類するための機能


▶ 有益な意見によく出てくる特徴語や手がかり表現を持つ有益な意見を分類するための機能

49

2つの機能を組み合わせたハイブリット分類システム

有益意見分析システム[概要](2/4)

機械学習だけでは，有益な意見を誤って有益ではないと分類する傾向があった

50

誤分類を防ぐために特徴語と手がかり表現による分類機能も実装

有益意見分析システム[概要](3/4) 51


意見

有益ではない有益ではない

特徴語と手がかり表現による

分類機能

有益意見分析システム[概要](4/3) 52


意見

有益有益ではない


分類機能






53



サポートベクターマシン(LibSVM)

学習データ

▶ 以前に行った実験の際の投稿文

▶ 5人の多数決によって「有益（36件）」「有益ではない（263件）」の分類

54

素性 55

素性次元数

1 重要な名詞セットの出現頻度 100

2 助動詞の基本形の出現頻度 37

3 ツイート中の句点の出現頻度 1

4 ツイート全体の文字数 1

5 ツイートに付与された意見の対象の項目 4

6 ツイートに付与された意見の種類の項目 13

機械学習による分類機能[例] 56

反対派の携帯のフィルタリングは親が選択できるとあったが、昨今は親のリテラシが低い場合もある。フィルタリングを選択制にするならば、親への教育が必要ではないのか。

フィルタリング2回，教育1

回

オピニオンリーダへ提案の問題点提示

文字数79文字

重要な名詞セットの出現頻度

議論に関する資料に記述されている重要な名詞

▶ 賛成派意見書，反対派意見書，対策案一覧

57

tfidfを用いて演算上位100件の名詞の出現頻度を素性とした

重要な名詞セットの出現頻度

名詞一覧

58

名詞

1 フィルタリング

2 有害

3 有害情報

4 情報

5 罰則

6 青少年

7 フィルタリングソフト

8 教育

：：

：：

助動詞の基本形の出現頻度

助動詞は体言や用言に意味を補ったり，気持ちや判断を表す役割

▶ 例:「保護者の教育が重要らしい」

▶ 例:「保護者の教育を実施すべきだ」

59

助動詞の基本形の出現頻度を素性とする

ツイート中の句点・ツイートの文字数

有益な意見には，文字数が長いことや，文章が多い傾向

60

投稿文の文字数と句点の総数を素性とする

ツイートに付与された意見の対象・意見の種類 61


オピニオンリーダ #OL_(名前)

対策案n番目 #plan_n番目

最適解n番目 #opt_n番目


議論点提示

-現状の問題点提示- #c_pro

-提案の問題点提示- #p_pro

-議論の方向性提示- #d_deb

-新たな視点の提示- #d_new

-改善案の提示- #d_im

-その他- #d_etc：：

：：

：：






62



機械学習による分類機能で誤分類された意見を分析

63



64

罰則付きかー。実際にどういう罰則が考えられるんでしょうか。



65

罰則付きかー。実際にどういう罰則が考えられるんでしょうか。

議論すべき重要な名詞

有益な意見に出てくる手がかり表現

特徴語と手がかり表現による分類機能 66

議論すべき重要な名詞有益な意見に出てくる

手がかり表現

2つの特徴を持つ意見を有益な意見と分類

議論すべき重要な名詞

議論に関する資料に記述されている名詞

▶ 賛成派意見書，反対派意見書，対策案一覧

67

tfidfを用いて重要度を演算し，上位50件を議論すべき重要な名詞とした

有益な意見によく出てくる手がかり表現

*全11件のうち一部を抜粋

今後さらに追加予定

68

表現

「問題がある」

「どう考えて」

「どういう」

「どのような」

「どうでしょう」

「基準」

具体的な数値や割合

：：

有益意見分析システム 69


ハイブリットによって精度が向上したか検証しました


分類機能

精度[機械学習による分類機能]

実際の分類


機械学習

有益 17 2

有益ではない

19 261

精度 0.930

70

機械学習だけでは，有益な意見を有益ではないと分類してしまう傾向がある

精度[有益意見分析システム]

実際の分類


システム全体

有益 17→25 2→5

有益ではない

19→11 261→258

精度 0.930→0.946

71

特徴語と手がかり表現による分類機能によって誤分類された意見をより正しく分類できる

有益意見分析システム 72


意見の対象や意見の種類などで絞りこんだ中か

ら有益な意見を抽出することができる


分類機能


一般関与者

入力

閲覧

MRC-Plaza

入力

MRC-Studio

意見

議論中継

MRC専門家




サブ


意見分析者

意見

分類結果

分類結果


分類結果

意見分類ツール

意見分析者がリアルタイムに多くの意見を分類することを支援するツール

74

意見分類ツール 75


検索機能によって意見の対象や種類などから

意見を絞り込むことができる


複数のタイムラインによって検索を切り替える時間を減らし

効率的に分類が可能


容易にサブファシリテータに有益な意見を送ることができる

有益リストに追加ボタン


有益リスト


一般関与者

入力

閲覧

MRC-Plaza

入力

MRC-Studio

意見

議論中継

MRC専門家




サブ


意見分析者

意見

分類結果

分類結果


分類結果

提示意見選定ツール

サブファシリテータが意見分析者が有益だと分類した意見を更に絞り込むことを支援するツール

81


一般関与者

入力

閲覧

MRC-Plaza

入力

MRC-Studio

意見

議論中継

MRC専門家




サブ


意見分析者

意見

分類結果

分類結果


分類結果

意見分類フロー[まとめ]

MRC-Plaza，有益意見分析システム，意見分析者，サブファシリテータといった多段階で意見を分類

83

数千人の一般関与者の膨大な意見の中から議論に必要な意見を抽出できる

目次

1. 背景


3. 研究目的プロトタイプを用いた実験

研究目的






5. 今後の展開

84

今後の展開

一般関与者が100人程度の実験を行い，意見分類フローの評価を行う

▶ 日程：7月29日(月)15:00 開始予定

▶ 対象問題：情報フィルタリング問題

85

興味のある方は「[email protected]」

Documents

Twitter研究会スライドver.1.2