85
#DDJ – 資資資資資 101 OPENCAMPUS / 張張張 – 2013/11/04

2013.11.04 Data Journalism Introduction

Embed Size (px)

DESCRIPTION

Presentation of Data journalism at NCCU / Taiwan

Citation preview

Page 1: 2013.11.04 Data Journalism Introduction

#DDJ – 資料新聞學 101

OPENCAMPUS / 張維志 – 2013/11/04

Page 2: 2013.11.04 Data Journalism Introduction

重點摘要• 資料新聞學?

• 是什麼,與為什麼• #DDJ vs 其他形式的新聞報導

• vs 傳統新聞報導 (+ 調查報導 )• vs 電腦輔助報導 (Computer assisted Reporting)

• #DDJ 工作流程 WorkFlow

• 一切都是從資料開始 – 資料搜尋與處理• 一切也以資料為終點 – 用資料說故事

• #DDJ – 跨出第一步• 找出議題,找到資料• 簡單的說出一個故事

Page 3: 2013.11.04 Data Journalism Introduction

資料新聞學 101

是什麼?與,為什麼?

3

Page 4: 2013.11.04 Data Journalism Introduction

資料新聞學 101

4http://www.cw.com.tw/PicChannelPage/pic_article_cw52701.jsp

互動圖表/全台「臨時工老師」人數大揭密

Page 5: 2013.11.04 Data Journalism Introduction

資料新聞學 101

5http://www.cw.com.tw/PicChannelPage/pic_article_cw52502.jsp

全球圖表/台灣人「又愛又怕」創業

Page 6: 2013.11.04 Data Journalism Introduction

資料新聞學 101

6

http://www.coolloud.org.tw/node/73858

風機叢林 運動和政治 苑裡到底發生了什麼事?

Page 7: 2013.11.04 Data Journalism Introduction

資料新聞學 101

7

http://blog.xuite.net/yehjo01/blog/66492530-%E9%8C%A2%E5%BE%9E%E5%93%AA%E8%A3%A1%E4%BE%86%3E

錢從哪裡來

Page 8: 2013.11.04 Data Journalism Introduction

資料新聞學 101

上面的範例,似乎要告訴我們一些事情(故事)?

但是,是什麼故事 ( 新聞)?

8

Page 9: 2013.11.04 Data Journalism Introduction

資料新聞學 101

http://www.economist.com/blogs/graphicdetail/2013/11/daily-chart

Page 10: 2013.11.04 Data Journalism Introduction

資料新聞學 101

C02 排放量

10

Page 11: 2013.11.04 Data Journalism Introduction

資料新聞學 101

11

Page 12: 2013.11.04 Data Journalism Introduction

資料新聞學 101

12

Page 13: 2013.11.04 Data Journalism Introduction

資料新聞學 101

13

Page 14: 2013.11.04 Data Journalism Introduction

資料新聞學 101

14http://opendata.zeit.de/atomreaktoren/#/en/

Page 15: 2013.11.04 Data Journalism Introduction

資料新聞學 101

Page 16: 2013.11.04 Data Journalism Introduction

資料新聞學 101

Data + Journalism

資料 + 新聞(學)

Page 17: 2013.11.04 Data Journalism Introduction

資料新聞學 101

故事 / 新聞才是重點

17

Page 18: 2013.11.04 Data Journalism Introduction

資料新聞學 101

Data Driven Journalism

從資料中找出故事,用資料來說故事 #DDJ

Page 19: 2013.11.04 Data Journalism Introduction

資料新聞學 101

為什麼忽然 (2010)

大家都在談「資料新聞學」?

19

Page 20: 2013.11.04 Data Journalism Introduction

資料新聞學 101

20

The first Guardian data journalism: May 5, 1821

http://www.theguardian.com/news/datablog/2011/sep/26/data-journalism-guardian#_

Page 21: 2013.11.04 Data Journalism Introduction

資料新聞學 101

21

極座標圖餅圖1854

Page 22: 2013.11.04 Data Journalism Introduction

資料新聞學 101

2010.07

Wikileaks

91,731 份文件2001.04 – 2009.12

三大新聞媒體

22

Page 23: 2013.11.04 Data Journalism Introduction

資料新聞學 101

23

Page 24: 2013.11.04 Data Journalism Introduction

資料新聞學 101

24

http://www.theguardian.com/news/datablog/2010/jul/27/wikileaks-afghanistan-data-datajournalism#_

Page 25: 2013.11.04 Data Journalism Introduction

資料新聞學 101

25

http://mirror.wikileaks.info/wiki/Afghan_War_Diary,_2004-2010/

Page 26: 2013.11.04 Data Journalism Introduction

資料新聞學 101

26

Page 27: 2013.11.04 Data Journalism Introduction

資料新聞學 101

從此,資料新聞學成為新聞界新寵

And WHY?

27

Page 28: 2013.11.04 Data Journalism Introduction

資料新聞學 101

28

Page 29: 2013.11.04 Data Journalism Introduction

資料新聞學 101

生活越來越仰賴資訊的流通與

資料的解讀

29

Page 30: 2013.11.04 Data Journalism Introduction

資料新聞學 101

30

Page 31: 2013.11.04 Data Journalism Introduction

資料新聞學 101

31

Page 32: 2013.11.04 Data Journalism Introduction

資料新聞學 101

誰來將資料轉為資訊將資訊轉為故事

32

Page 33: 2013.11.04 Data Journalism Introduction

資料新聞學 101

但是,如果只是這樣,那和傳統新聞有什麼差異?

33

Page 34: 2013.11.04 Data Journalism Introduction

資料新聞學 101

vs 傳統媒體

資料與人主與客的關係

34

Page 35: 2013.11.04 Data Journalism Introduction

資料新聞學 101

vs 電腦輔助報導

資料來源更多資料產量更大

工具與技術能力更強

35

Page 36: 2013.11.04 Data Journalism Introduction

資料新聞學 101

或許,最大的差異是

我們有更多方法用資料的「呈現」

來說我們的故事

36

Page 37: 2013.11.04 Data Journalism Introduction

資料新聞學 101

資料的呈現:• 簡單的試算表格• 統計圖表• 其他關係圖表(地圖,時間軸 ..

• 動態呈現• 資訊圖表• 互動設計…

37

Page 38: 2013.11.04 Data Journalism Introduction

資料新聞學 101

但是 ..

資料新聞並不就是一些圖表與視覺化的呈現,而是關乎如何以最佳方式來說故事。有的時候那確實會是一種視覺呈現或地圖,但有時則是新聞故事,而有的時候,光是數字即已足夠 (Simons ROGERS - Facts are sacred : The power of data)

38

Page 39: 2013.11.04 Data Journalism Introduction

資料新聞學 101

關於巨量資料Big Data

39

Page 40: 2013.11.04 Data Journalism Introduction

資料新聞學 101

三個層面:巨量 – 就是很多很多非常多!

即時性 – 沒完沒了馬上要

多樣性 – 影音文字全都來

40

Page 41: 2013.11.04 Data Journalism Introduction

資料新聞學 101

迷思:只有碰觸巨量資料才是

資料新聞學

41

Page 42: 2013.11.04 Data Journalism Introduction

資料新聞學 101

#DDJ 工作流程 Workflow

42

Page 43: 2013.11.04 Data Journalism Introduction

資料新聞學 101

做出一篇報導前…

Page 44: 2013.11.04 Data Journalism Introduction

資料新聞學 101

我們拿到的可能是:Html / CSV /

SQL / KML…

• 2010.07.25• 91,731 份文件

• Afghan war diary

• 2010.07.25• 91,731 份文件• 2004.01 – 2009.12 http://mirror.wikileaks.info/wiki/Afghan_War

_Diary,_2004-2010/

Page 45: 2013.11.04 Data Journalism Introduction

資料新聞學 101

45

Page 46: 2013.11.04 Data Journalism Introduction

資料新聞學 101

一切都從這開始:

• 我有個問題,想找答案• 我有組資料集 (dataset) 我

想看看能「挖掘」出什麼

46

Page 47: 2013.11.04 Data Journalism Introduction

資料新聞學 101

47http://onlinejournalismblog.wordpress.com/2011/07/07/the-inverted-pyramid-of-data-journalism/

Page 48: 2013.11.04 Data Journalism Introduction

資料新聞學 101

Simon ROGERS“Before a dataset results in a data journalism story, there’s a whole process of sifting and finessing and generally sorting the data out. The split is roughly 70% tidying up the data, 30% doing the fun stuff of visualising and presenting it.”

Page 49: 2013.11.04 Data Journalism Introduction

資料新聞學 101

• 資料匯整• 資料清理• 資料解讀• 資料整合

• 說出故事

Page 50: 2013.11.04 Data Journalism Introduction

資料新聞學 101

資料匯整 – 把資料找出來

• 網路搜尋• 政府部門與政府資訊公開法• 開放資料與網路資料庫• NPO / NGO 與倡議組織• 鄉民 (SNS) 與駭客

Page 51: 2013.11.04 Data Journalism Introduction

資料新聞學 101

資料清理 – 資料集的格式與內容• 將資料轉為程式(電腦)可讀可運算格式• 將資料中遺漏,缺失,重複,錯誤格式等找

出並修復

Page 52: 2013.11.04 Data Journalism Introduction

資料新聞學 101

資料解讀 – 定義出資料的含意與可信度• 資料存在的原因 – 資料來源• 資料內容與單位

Page 53: 2013.11.04 Data Journalism Introduction

資料新聞學 101

資料整合 – 整理出一個回答問題的資料集• 原始資料集的重新排序,切割,合併,簡化• 與其他資料集的混搭 – Mashup

• 從空間,時間,連結關係上開始

Page 54: 2013.11.04 Data Journalism Introduction

資料新聞學 101

接下來?

問題有得到答案嗎?需要更多資料?

那就重新再跑一次吧

Page 55: 2013.11.04 Data Journalism Introduction

資料新聞學 101

怎麼好像是在寫論文?!

這是新聞報導…不是論文寫作…

55

Page 56: 2013.11.04 Data Journalism Introduction

資料新聞學 101

說出你的故事

56

視覺化敘述社群網路人性化個人化實用化

Page 57: 2013.11.04 Data Journalism Introduction

資料新聞學 101

從資料中找出故事

用資料說故事

57http://ansnuclearcafe.org/2011/11/20/79th-carnival-of-nuclear-bloggers/storyteller/

Page 58: 2013.11.04 Data Journalism Introduction

資料新聞學 101

58

http://www.ted.com/talks/hans_rosling_shows_the_best_stats_you_ve_ever_seen.html

Hans Rosling: The best stats you've ever seen

Page 59: 2013.11.04 Data Journalism Introduction

資料新聞學 101

有時,簡單的圖表和表格就夠了…

59

Page 60: 2013.11.04 Data Journalism Introduction

資料新聞學 101

重點是,資料是一切的核心!而我們要說的是,資料與其他事物 ( 人事時地物 ) 比較下的「關係」

60

Page 61: 2013.11.04 Data Journalism Introduction

資料新聞學 101

• Data visualization – 資料視覺化• 統計圖表 ( 量化比較 )• 地圖 ( 空間關係 )• 時間軸 ( 時間關係 )• 文字雲• 樹狀圖,層級表示• …

61

Page 62: 2013.11.04 Data Journalism Introduction

資料新聞學 101

統計圖表 :

• Many Eyes

• Google Charts

• Tableau Public

• Google Fusion Tables

• High Charts

62

Page 63: 2013.11.04 Data Journalism Introduction

資料新聞學 101

統計圖表 - 變形 :

Bubble Cloud

• Many Eyes

• d3 / Protovis

63

Page 64: 2013.11.04 Data Journalism Introduction

資料新聞學 101

統計圖表 - 變形 :

Tree Map

• Many Eyes

• Google Charts

• d3 / Protovis

64

Page 65: 2013.11.04 Data Journalism Introduction

資料新聞學 101

地圖 dot distribution map :• GeoCommons

• Google Fusion Table

• Polymaps

• TileMill

• Google Maps API

• d3 / Protovis

65

Page 66: 2013.11.04 Data Journalism Introduction

資料新聞學 101

時間軸 :

• Excel

• Timeline JS

• TimeFlow

66

Page 67: 2013.11.04 Data Journalism Introduction

資料新聞學 101

文字雲 / 標籤雲 :• Wordle

• Many Eyes

• d3

67

Page 68: 2013.11.04 Data Journalism Introduction

資料新聞學 101

還有很多很多工具和呈現方法

68

Page 69: 2013.11.04 Data Journalism Introduction

資料新聞學 101

靜態之外還有動態 (News Apps)

69http://projects.propublica.org/schools/states/ny

The Opportunity Gap

Page 70: 2013.11.04 Data Journalism Introduction

資料新聞學 101

70

http://www.nytimes.com/interactive/2010/11/13/weekinreview/deficits-graphic.html?_r=0

Page 71: 2013.11.04 Data Journalism Introduction

資料新聞學 101

看起來好像很有趣那我該如何開始

71

Page 72: 2013.11.04 Data Journalism Introduction

資料新聞學 101

72

Page 73: 2013.11.04 Data Journalism Introduction

資料新聞學 101

73http://schoolofdata.org/data-expeditions/guide-for-guides/

Page 74: 2013.11.04 Data Journalism Introduction

資料新聞學 101

74

你該學會的新把戲

1. 基礎技能( Fundamentals )

2. 統計( Statistics )3. 程式設計

( Programming )4. 機器學習( Machine

Learning )5. 文字探勘 / 自然語言處理

( Text Mining / Natural Language Processing )

6. 資料視覺化( Data Visualization )

你該學會的新把戲 2

7. 大量資料( Big Data )8. Data Ingestion9. Data Wrangling10. 工具( Toolbox)11. 其他?

Page 75: 2013.11.04 Data Journalism Introduction

資料新聞學 101

重點其實是要有一顆好奇的心

75

Page 76: 2013.11.04 Data Journalism Introduction

資料新聞學 101

76

Page 77: 2013.11.04 Data Journalism Introduction

資料新聞學 101

對拿到的資料都保持質疑的態度

77

Page 78: 2013.11.04 Data Journalism Introduction

資料新聞學 101

78

Page 79: 2013.11.04 Data Journalism Introduction

資料新聞學 101

如科學家一般的嚴謹correlation

vs

causation

79

Page 80: 2013.11.04 Data Journalism Introduction

資料新聞學 101

最後,決定一切的是你的創意

80

Page 81: 2013.11.04 Data Journalism Introduction

資料新聞學 101

剩下的… 技術是練出來的基本工是一定要會的:

Excel / 試算表

81

Page 82: 2013.11.04 Data Journalism Introduction

資料新聞學 101

對資料,統計,程式語言和網路工具… 想辦法多學一點是有幫助的 ..

82

Page 83: 2013.11.04 Data Journalism Introduction

資料新聞學 101

對資料的感覺,對新聞的敏感度,也是培養出來的

資料素養 +

新聞鼻

83

Page 84: 2013.11.04 Data Journalism Introduction

資料新聞學 101

資料新聞學,是新聞的一種形式

也是我們學習如何「發現」,「閱讀」,「述說」世界的一種方法

84

Page 85: 2013.11.04 Data Journalism Introduction

OPENCAMPUS / 張維志

Contact me :

• http://www.opendata.tw

• http://fb.me/opendata.tw

• http://fb.me/groups/Open.Campus/

[email protected]

• Twitter : @silmaris