社群感測器：社群媒體分析工具之設計

SOCIAL SENSOR：AN ANALYSIS TOOL FOR SOCIAL MEDIA

報告人：吳君孝

1

中華民國103年12月2日

作者：

鄭宇君

私立玄奘大學

大眾傳播系助理教授

COLISA@GMAIL.COM

作者：

陳百齡

國立政治大學

新聞系副教授BLCHEN@NCCU.EDU.TW

作者：

吳君孝

國立政治大學

資訊科學系碩士

SHALDREM@GMAIL.COM

作者：

李蔡彥

國立政治大學

資訊科學系特聘教授

LI@NCCU.EDU.TW

2 0 1 4 D A D H

AGENDA

研究動機

發展現況

實例問題定義

系統概念與設計

社群感測器概念實現

實驗評估結果

總結2

2 0 1 4 D A D H

研究動機

社群媒體的興起，架構起龐大且複雜的新形態網路結構，及其資料開放政策，帶動了全球社群媒體的資料分析熱潮。

社群媒體資料的快速成長與收集資源的大量投入，資料分析速度趕不上收集速度，且社群媒體鉅量資料分析流程經常是獨立且破碎的情況下，分析速度曠日費時。

我們需要有一個更好的工具來進行社群媒體資料分析。

3

2 0 1 4 D A D H

發展現況-社群媒體（SOCIAL MEDIA）資料分析

社群媒體是人們彼此之間用來分享意見、見解、經驗和觀點的工具和平台。它能夠以多種不同的形式來呈現，包括文本、圖像、音樂和視頻。常見的包括Twitter、Facebook、YouTube、Blog、Plurk、Flickr等等。

社群網絡分析（Social Network Analysis）是對社會網絡的關係結構及其屬性加以分析的一套規範和方法。如Elaine J. Yuan(2013)等人採用語義網路分析法，來計算詞彙出現的頻率、共現情況及詞與詞之間的距離，並繪製語義網絡圖來實現研究方法。社群媒體分析工具種類繁多，且各有各的用途，依據分析需求選擇使用。

4

2 0 1 4 D A D H

發展現況-社群媒體（SOCIAL MEDIA）資料分析

社群網絡分析的應用廣泛且多元，常見的應用包括資料融合與資料探勘、網路傳播模式建模、用戶屬性和使用者行為分析、基於位置的互動分析、社會共享和過濾、推薦系統的應用等等。

應用領域上也相當多元，如 Jean Burgess、Axel Bruns.（2012）將社群媒體資料分析應用在「政治選舉」上面，也有像施旭峰(2013)將社群媒體資料分析應用在「災難事件」上面

5

2 0 1 4 D A D H

發展現況-過去的社群感測器（SOCIAL SENSOR）

VenuVasudevan(2013)等人將社群感測器（Social Sensor）設計應用於電視節目導航上的推薦。

Takeshi Sakaki等人(2013)將社群感測器應用於汽車導航系統上。

過去研究所提及的社群感測器雖皆具有從社群媒體來源中獲取信息的特點，也具有轉化信息提供分析結果給特定領域應用的特點，但停留在如何抓取社群媒體資料來做分析，在應用面上限制了應用領域範圍，定義上也不盡相同。

6

2 0 1 4 D A D H

實例問題定義-資料科學分析發展煩惱的問題(以國立政治大學水火計畫團隊分析經歷為例)

分析的個案眾多，但缺乏管理

分析流程獨立且破碎，手動化居多，自動化少

分析速度趕不上資料收集速度

分析方法零散

專家經驗較無法保留，與易於重現

重啟分析時，花費成本較高

7

2 0 1 4 D A D H

8

有沒有甚麼好的設計(GOOD IDEA)

來幫助我們解決這些困擾？2 0 1 4 D A D H

系統概念與設計-社群感測器工具設計靈感

實體的感測器通常被應用在現實的環境中，進行環境數據的偵測與收集，並將收集來的數據或信息做進一步的運用。

社群感測器將實體感測器的概念進一步的引入到虛擬社群媒體世界中，並以此創新思維來進行社群感測器的設計。

9

2 0 1 4 D A D H

系統概念與設計-實體感測器V.S. 社群感測器

實體感測器 社群感測器

現實世界的環境 虛擬社群媒體環境

物理或化學數據資料(光感、熱度、溫度、濕度等)

社群網絡數據資料(推文、使用者、地理位置等)

光度感測器、溫度感測器 語系感測器、文本感測器

10

2 0 1 4 D A D H

系統概念與設計-社群感測器(SOCIAL SENSOR)概念

社群媒體環境

資料來源選擇器

觀測個案

感測器

感測器

感測器

社群媒體數據

社群媒體數據

社群媒體數據

社群感測器平台

視覺化分析結果輸出

視覺化分析結果輸出

視覺化分析結果輸出

11

2 0 1 4 D A D H

系統概念與設計-社群感測器(SOCIAL SENSOR)特色

可模組化 將各類研究方法、處理流程進行歸納，並搭配了視覺化分析顯示來進行感測器設計

每一種感測器皆具有各自的任務與功能

模組化後，可將各模組自由掛載於各種類型的個案上面

可重用性 可快速複製前案經驗並能重複使用

將先前個案經驗所設之參數建立為參數預設樣板

觀測個案參數預設樣板

感測器參數預設樣板

可管理性 提供一可保存個案與管理個案的平台

保存個案分析結果

可重新調整個案與感測器設定參數，並可快速重啟分析

12

觀測

個案

感測器

資料

來源

參數樣板

資料集

2 0 1 4 D A D H

系統概念與設計-社群感測器(SOCIAL SENSOR)設計架構

社群感測器平台(Social Sensor Platform)

資料集池(Data Set Pool)

觀測個案管理(Project Manager)

參數預設樣板(Parameter Default Templet)

感測器池(Sensor Pool)

感測器(Sensor)

資料來源(Data Source)

資料預處理(Data Preprocess)

資料分析(Data Analysis)

資料視覺化(DataVisualization)

觀測個案預設樣板

感測器預設樣板

外部資料

D1

D2

D3 S1 S2 S3

13

2 0 1 4 D A D H

系統概念與設計-觀測個案管理與觀測個案

研究人員為𝑅、觀測個案為𝑝，𝑃𝑅代表研究人員下的觀測個案，

則𝑃𝑅 = 𝑝1, 𝑝2, ⋯ 𝑝𝑛−1, 𝑝𝑛

觀測個案p包含了𝑑𝑠(資料來源)、𝑑(資料集)、𝑠(感測器)、

𝑇𝑆(分析開始時間)、𝑇𝑒(分析結束時間)、𝑥(觀測個案相關資訊)

14

2 0 1 4 D A D H

系統概念與設計-資料來源

資料來源是社群媒體的來源種類，如Twitter或是Facebook等等

資料來源類型與資料集為一對多之關係，不同的資料來源也會擁有屬於自己的資料集。如𝑑𝑠1 𝑑1, 𝑑2, 𝑑3 、𝑑𝑠2 𝑑4, 𝑑5 ，𝑑𝑠1與𝑑𝑠2為不同之資料來源，各自獨立，且擁有不同的資料集

15

2 0 1 4 D A D H

系統概念與設計-資料集池與資料集

𝑑𝑝（資料集池），是一共同存放資料集的地方

𝑑（資料集），是一在以標籤式、主題式、使用者或是時間區段為收集標的進行社群媒體資料收集後，以上傳建立的方式儲存至社群感測器平台中

𝒅𝒑 （資料集池）可稱之為是原始資料的集成，而𝒅 （資料集）則為原始資料，𝒔 （感測器）啟動分析時會對原始資料進行特徵萃取，再進行資料預處理及後續的資料分析等動作

16

2 0 1 4 D A D H

系統概念與設計-感測器池與感測器

感測器（𝑠）是一種運用實體感測器概念來做設計的模型

感測器池（𝑠𝑝）則為一將感測器共同存放的地方，𝑠𝑝 𝑠1, 𝑠2, ⋯ , 𝑠𝑛−1, 𝑠𝑛

感測器皆是獨立且不互相影響的，並具備有各自不同的任務與功能

設計上，必須包含：資料預處理（Data Preprocess）、資料分析（Data Analysis）、資料視覺化（Data Visualization）三個步驟，且必須以自動化處理的方式來進行分析運算，以及自動化步驟與步驟間資料交換接口的處理

17

2 0 1 4 D A D H

系統概念與設計-參數預設樣板

保留參數設定，快速複製前案的專家經驗，並且能夠重複的來使用

觀測個案的參數預設樣板

感測器的參數預設樣板

降低重啟分析時的門檻

加速分析的過程

18

感測器參數預設樣板

觀測個案參數預設樣板

2 0 1 4 D A D H

19

社群感測器概念實現2 0 1 4 D A D H

社群感測器平台實作功能

建立觀測個案 觀測個案管理 感測器隨選 圖表分析 調整參數

重啟分析感測器設定與

人工訓練

參數預設樣板

管理

快速套用參數

預設樣板20

2 0 1 4 D A D H

語系感測器與文本感測器

語系感測器

以模組化的方式提供了，對社群媒體推文內容進行語系檢測分析的感測器

現可支持之分析語系包括了：繁體中文（zh-TW）、簡體中文（zh）、廣東話（gh）、英文（en）、日文（ja）、韓文（kr）、其他語系（other）等項目

現提供之功能：各語系類型分析、時間序列分析、各語系社群人數比例分析

該檢測方法為本研究所提出，且經準確率檢定後，其平均相互同意度為0.94，複合信度則達到了0.98。王石番（1991）表示信度檢定達到0.80 以上之信度係數即為可信，故本分析方法應是相當準確

文本感測器

以模組化的方式封裝了數種文本探勘方法，來對社群媒體的推文內容進行文本內容分析

文本內容分析上，使用了斷詞分析、詞頻統計、共現矩陣三種文本探勘分析方法

斷詞分析採用蔡志浩(2000)發表的中文斷詞演算法：MMSeg，其斷詞準確率可達98.41%

現提供之功能：文本詞頻分析、時間序列分析、文字網絡字詞關係21

2 0 1 4 D A D H

展示

22

2 0 1 4 D A D H

實驗結果與評估

23

實驗評估結果2 0 1 4 D A D H

實驗評估結果

採質化分析的日誌法與抽象五階論，並以質化、量化交互分析方式進行評估

實作感測器評估：

語系感測器過去沒有現成工具，在模組化後相當好用

文本感測器的時間序列分析功能美觀實用以及可支援繁體中文

系統有用性評估，正面評價為60.32%，持平評價為31.75%，負面評價則為7.94%，顯示其系統有用性評價相當正面。

可模組化的效果可帶來省時、快速分析、適性化選擇、以及未來在包裝分析方法和進行分析上帶來更大的彈性

可重用性的設計可以保留過往經驗、減少嘗試探索時間，帶領他人快速入門

可管理性則大幅減少資料分析作業中嘗試與處理的時間，除能保存個案分析結果外，自動化處理也能有效地帶給分析者更方便的使用環境

本研究設計在有助於「縮短資料分析時程」上被認為是很重要的貢獻！

2 0 1 4 D A D H

總結

本研究係以嶄新的概念提出一套社群媒體資料分析工具：社群感測器（Social Sensor）

概念上則以感測器的概念，以及可模組化、可重用性、可管理性的三大目標來進行設計本工具

感測器模組化設計上，係將資料預處理、資料分析、資料視覺化這三個步驟串連，進行自動化處理的設計，另外也實作了語系感測器與文本感測器

實驗評估結果正面且確實有用！

未來有機會成為應用在社會科學、決策判斷、行銷策略制定、情蒐分析等應用上創新概念之分析工具 25

2 0 1 4 D A D H

Q&A報告完畢，謝謝大家

THANK YOU FOR YOUR LISTENING

26

2 0 1 4 D A D H