Information Credibility on Twitter

Twitter: @Kshi_KshiHatena_id: Kshi_Kshi_Research

1

序論- 論文 Information- 論文 Overview- 選定理由

2

論文 information

Title: Information Credibility on Twitter

( Twitter 上での情報の信用性 )

Author: Barbara Poblete

@bpobletehttp://research.yahoo.com/Barbara_Poblete

Marcelo 　Mendoza

???http://research.yahoo.com/Marcelo_Mendoza

Carlos Castill@chatox

http://research.yahoo.com/Carlos_Castillo

World Wide Web (WWW), ACM Press, 2011

research by 3

論文 Overview目的

ツイートに信用性があるかどうかを、ソーシャルメディア上の情報のみから、自動的に判断できるかどうか？の試みによって、仮説：「ソーシャルメディアの中にはツイートの信用性を評価できる特徴があること」を示す。

手法- “Twitter Monitor” を用いて、盛り上がっている話題（ツイートの集合）を取得- NEWS( 報道価値のある情報）と CHAT( 友達間の会話 ) を分類する分類器を作成- 情報の信用性を判断するために、分類器を作成- 分類器の最適な特徴 (Feature) について考察する

結果- F 値 92.4% の精度で NEWS クラスに分類できた。- F 値 86 % の精度で信用できるか否かに分類することができた。- 情報の信用性と相関が高い or 低い特徴 (Feature) などが明らかになった。

論文のポイント分類器を作成する時に、ソーシャルメディアのどのような情報を利用するのか？

4

選定理由Twitter の可能性

・ Twitter の情報伝達スピードの速さは既存のメディアでは考えられないほど早い

・利用者の今の声を即時に反映させるサービスは工学的にも利用できるはず（参考に）

研究の参考に・信頼性という不確かなもの、どのようにして計算機で扱うのか？

・ユーザの感情をテキスト情報から察する技術5

論文紹介 はじめ- Twitter( 研究背景 )- 着目している問題点- 目的- 提案手法 概要図

< 附録 >- Twitter 基本用語①- Twitter 基本用語②

6

http://twitter.com

140 文字以内の短い投稿 ( ツイート ) を投稿し て、

みんなで共有するサービスです。

地方自治体もアカウントを開設し、情報を提供している ・首相官邸（災害情報） @Kantei_Saigai　　・ 総務省消防庁 @FDMA_JAPAN ・岩手県広聴広報課 @pref_iwate

etc…

今回の災害時には、大活躍！電話がつながらない中、安定してサービスを供給し、 Twitter の特徴の即時性・手軽さの甲斐もあり、多くの人の情報源として貢献。

しかし、 7

嘘情報も同時に拡散してしまうデマの拡散 ex) “ 放射能対策：うがい薬、効果あり”

“ うがい薬” and “ 放射能”を含むTweet 数、時系列 (2011/03/12)

http://getnews.jp/archives/107722 8

目的・以下の仮説を明らかにする。ソーシャルメディアの中には、ユーザが情報の信頼性の評価に利用できるシグナル（要素）がある

ex) ツイートの傾向 ( リプライ・リツイート・被リツイート頻度… ), ユーザ情報 ( フォロワーの数 ,…),Other Info( 付加した URL 先の情報 ,…), etc…

・ソーシャルメディアの情報のみから、ツイートの信用性について、自動的に評価できるかどうか？の試み。

9

提案手法　概要図学習フェーズ

分類器 A※ を作成(NEWS or CHAT )

Tweet 集合

UNSURENEWS

分類器A の適

用

CHAT

2TRUE FALSE

学習フェーズ分類器 B ※ を作成( 情報の信頼性の有無 )

※ Mechanical Turk にてラベル付けを行った後3

Trend Topic を取得1

情報の信用性を評価Tweet の分類 (NEWS or CHAT)

or

分類器B の適

用

10

① Trend Topic の取得- Twitter Monitor の利用- データセット概要

< 付録 >- What is “Twitter Monitor” ?

11

Twitter Monitor の利用

http://mydailymonitor.net/

[18] M. Mathioudakis and N. Koudas. TwitterMonitor: trend detection over the twitter stream. In Proceedings of the 2010 international conference on Management of data,pages 1155–1158. ACM, 2010.

12

・ Twitter 上のツイートを解析（一定期間でのキーワードの頻出確率や、ツイートに付加された URLなど… )

・流行のトピックとしてツイートをまとめてくれるもの

Trend Topicデータセット 概要

ピーク

図 ： Google リアルタイム検索 Query: ” もう帰るんですか”

2日間

・期間 : 2カ月

・ 1 トピックの取得期間 : 書き込まれた頻度がピークだった時間を中心に２日間のツイートを取得

・取得数 : 2500 トピック以上

・データセット対象 :1 トピックが 10,000 ツイート以下のトピック（取得した全体の 99% に相当する）

図 ： 1 トピックに含まれるツイート数 13

② Tweet の分類( 学習データの作成方法は発表時間の都合上 ,割愛させていただきます )

- ”NEWS” or “CHAT” の定義- 分類器作成に使う特徴 (Feature)- 具体的な特徴 (Feature) リスト- 分類器 A の作成・結果

< 付録 >- Mechanical Turk とは ?- 学習データ ( 評価者の作業 )- 学習データ 方法・結果 14

“NEWS” or “CHAT” の定義“NEWS” クラス :

投稿者の友達だけではなく、世間の関心を引くような実際の出来事・事実についての声明

“CHAT” クラス :

友達間での個人的な意見・会話・やり取りを基本とした単なるメッセージ。

15

分類器作成に使う特徴 (Feature)

Message-based(メッセージの特徴 )ツイートの長さ。 RT, @reply 以下の文字を含んでいるかどうか？” ?”,”!”,”^^”,”(*- -)”Positive or Negative, etc…

User-based（ユーザの特徴 )年齢 , ツイート数 , フォロー数 , フォロワー数 , プロフィールの有無 ,URLの有無。

Propagation-based (拡散 (RT)の特徴 )拡散の深さ (RT),平均深さと最大深さ , etc…

Topic-based(トピックの特徴 )含まれている URL のドメインは有名 (popular) な URL なのか？リツイートの頻度 ,ポストしたユーザの平均年齢 , etc…

先行研究を手掛かりに属性をリストアップ。 [1,2,12,26]

16

具体的な特徴 (Feature) リスト

17

分類器 A の作成アルゴリズム・結果

・ Algorithm: “J48 tree” (C4.5決定木を拡張した )

採択理由 : (SVM, ベイジアンネットワーク , decision trees, decision rules などの様々なアルゴリズムで試した結果、精度が一番良かったため。 )

結果

適合率・再現率 (F 値 92.4%) 共にいい精度が得られた。18

③ 情報の信用性の評価( 学習データの作成方法は発表時間の都合上 ,割愛させていただきます )

- 分類器作成時の特徴の選択- 分類器 B の作成- 分類器 B の結果- 特徴と信用性との関係

< 付録 >- 学習データ ( 評価者の作業 )- 学習データ作成 方法・結果

19

分類器作成時の特徴 (Feature) をどうするのか？

最良優先探索 (best-first) アルゴリズムにて15 の特徴 (Feature) を選択

標準偏差中央値

20

ユーザ平均年齢平均ツイート数平均フォロワー数平均フォローされている数

URL を含む頻度平均感情スコアPOSITIVE 感情頻度NEGATIVE 感情頻度短縮 URL 数著者が書いた発言の割合リプライ頻度? マーク頻度スマイルマーク頻度一人称を用いる頻度

RT 最大深さ

トピック

拡散

分類器 B の作成

21

A: TRUEB: FALSE

・ Mechanical Turk で作成した学習データ・前述の 15 の特徴

を用いて、

J48 tree アルゴリズムで決定木を作成した。

分類器 B の結果

22

学習データ計 747 topicsテストデータ計 608 topics

判定結果TRUE 306 topicsFALSE 302 topics

結果

適合率・再現率 (F 値 : 86.0%) ともに高精度な結果が得られた

特徴 (Feature) と信用性との関係

23

Non-CredibilityCredibility・多くリツイート (RT) されているツイート・フォローされている数の多さ・ Negativeニュアンスをもつトピック etc…

・ URL 無ツイート・ツイート数が未熟なユーザ・ Positiveニュアンスの頻度が低い etc…

フォローされている数が多いユーザは、信用できるとされるツイートが多かった。彼らはとても影響力のあるユーザなので、自然と Twitter のソーシャルフィルターになっている。

最後に- まとめ- 今後の研究- 私見

24

まとめツイッター上の流行のトピックに関して・”報道価値のあるもの” (NEWS) と”友達間の会話” (CHAT) クラスに高

精度で分類することができた。 (F 値 :92.4%)・情報の信用性の有無をソーシャルメディアに有る情報のみを利用

して、高精度で判断することができた。 (F 値 :86.0%)

この高精度の結果から” ソーシャルメディア上の情報のみから、信頼性を評価できる要素

がある”という仮説を明らかにできたといえる。

また、その評価を可能とした特徴 (Feature ）と情報の信用性との関係について様々なことがわかった。

25

今後の研究データセット :

・大きなもの・局所的なデータ（トピックの一番最初のツイートなど )

属性 :・情報の信用性に深く関連する特徴 (Feature)探し。・表示させているアバターなどはどのような影響をもたらすのか？

26

私見Positive・精度の高さ、素晴らしい。・特徴 (Feature) のための分析が豊富だった。

・結局、影響力のあるユーザ (例 : 孫正義 ) がリツイートしたら、このシステムでは、そのツイートの情報は正しと判断されてしまうと思う。

・このシステムは影響力のあるユーザの判断に依存してしまうのではないか？

人間でさえ判断ができない情報に対して、計算機が分類するのには無理があるのかもしれない。

27

ご清聴ありがとうございましたThank you for listening.

Let’s move on a question and answer session.

28

付録- Twitter 基本用語集①- Twitter 基本用語集②- What is “Twitter Monitor” ?- What is “Mechanical Turk” ?- 学習データの作成方法

( 分類器 A,B)

29

Twitter 基本用語集①（本論文の理解に必要と思われる）

Tweet(ツイート ):各ユーザが行う 140 文字以内の投稿

Timeline/TL (タイムライン ):Twitter のページで他のユーザーや自分の投稿が表示される部分のこ

とを 示す言葉。 Follow(フォロー ):

あるユーザをフォローすると , 自分のタイムラインに表示されるようになる。

Ex)@A_san は @C_san のみをフォローしているので、@A_san のタイムラインには @A_san と @C_san の Tweet が表示さ

れる。Followers(フォロワー ):

フォローしているユーザをさす。 Ex)@A_san のフォロワーは @B_san, @C_san, @D_san の 3 人。@C_san のフォロワーは @A_san の 1 人。

@A_san @B_san

@C_san

@D_san

Example Community

: follow

30

Twitter 基本用語集②（本論文の理解に必要と思われる）

Mention/reply(リプライ ): ツイートの先頭に , ”@ ユーザ名” をつけて ,発言を行う行為。そのユーザに対して発言することを意味する。両者をフォローしていないと他のユーザの TL には表示されない。Ex) @A_san が @C_san に Mention を行った場合、 @B_san の TL には、その発言が表示されないが、両者をフォローしている @D_san には表示される。

Retweet / RT(リツイート ): 返信 (Reply) の場合その相手もフォローしていないとタイムラインに流れない仕様だが、多くの人に報知したい時など、他のユーザの発言を自分のフォロワーに共有したい場合に用いる。(公式 RT,非公式 RT がある )Ex)@A_san がリツイートすると、 @A_san をフォローしている @B_san,@C_san,@D_san のタイムラインに表示される。

@A_san @B_san

@C_san

@D_san

Example Community

: follow

Hash tag(ハッシュタグ ):　　ツイートに記号 # から始まる識別子をつけると一つのテーマに沿った投稿を横断的に見ることができるようになる。ユーザ達のツイートを一つのテーマにまとめて観覧することができる。Ex)

http://twitter.comまだまだ、ありますが、実際にアカウントを作って、体験するのが近道かと。 -> 31

What is “Twitter Monitor”※? ※ 現在は myDailyMonitor という名前で公開されてます

AboutmyDailyMonitor is an online monitoring system that performs trend detection over the Twitter stream. The system identifies emerging topics (i.e. 'trends') on Twitter and provides meaningful analytics that synthesize an accurate description of each topic.myDailyMonitor is currently under development as a research project at the University of Toronto.SystemmyDailyMonitor is written in Java and it runs on two Sun server machines. Its main components include (i) the Twitter streamlistener, a multi-threaded crawler that collects in real time over 15 million tweets per day, (ii) the trend detection module, which distills the collected data to identify trends and (iii) the trend analysis module, which employs text analysis algorithms to extract additional information about trends.

http://mydailymonitor.net/32

Mechanical Turk とは ?

33

https://www.mturk.com/mturk/welcome

Amazon Mechanical Turk とは、今まではソフトウェアに実行させていた処理の中でも、人間の方が得意であると思われる作業を、開発者がウェブ上に掲示することによって行ってもらうという市場形式のことである。http://www.sophia-it.com/content/Amazon+Mechanical+Turk

詳しくはコチラ↓

学習データ作成 ( 評価者の作業 )

評価者には以下のような作業が求められる。

① それぞれに属する topic の 10 ツイートと Twitter Monitor で表示される各々の topic を代表するキーワードを見せる。

② そのトピックに属しているツイートが、・現在 ,広がっている特定の出来事についての情報なのか ?(NEWS)・コメントや会話なのか？ (CHAT)尋ねる？

③ 各々のトピックで、そのトピックについて評価者は短い説明を求められる。※ 情報が曖昧で、回答不可能と判断した場合、回答を無視できる。

NEWS or CHAT ?

Asking the reason

Understanding a topic

34

学習データ作成 方法・結果- 無作為に選択した 383 topics-３つに分ける (3 HITs)-10日間の評価 (公開 )期間-必ず 7 人に評価してもらう (each HIT)-7 人中 5 人以上が同じクラスとした場合、クラスが決まる、それ以外は” UNSURE クラス”に属するものとする。

NEWS クラス 29.5% (113 topics)

CHAT クラス 34.9% (134 topics)

UNSURE クラス 35.6% (136 topics)

Result

35

分類器 B の作成まで概略図

分類器 A

2524 topics

747 topics

CHAT

UNSURE

NEWS

Mechanical Turkにて

学習データ作成

36

学習データ（評価者の作業）・各々のトピックに対して、 10tweets を見せ、

・そのトピックの信用性について、いずれかに属すか？評価者に判断してもらう。(i) almost certainly true ( ほぼ確実に正しい )(ii) likely to be false ( 嘘っぽい )(iii) almost certainly false ( ほぼ確実に嘘 )(iv) I can’t decide. (決められない )

・また、判断した根拠を短い文章で求める。37

学習データ作成　方法・結果対象 : NEWS クラスに分類された 747topics評価者 : 各々のトピックに対して 7 人に評価

してもらう判定基準： 7 つの評価のうち少なくとも 5 つ

以上の一致があれば、その評価値に定まる。それ以外は” Ambiguous” とした。

“almost certainly true” 41.0% (306 topics)“likely to be false” 31.8% (237 topics)“almost certainly false” 8.6% (65 topics)“Ambiguous” 18.6% (139 topics)

Result

38