用 Python 打造你自己的 summly

⽤用 Python 打造你⾃自⼰己的 Summly

Andy Dai @ PyConAPAC 2014

1

About me

• Andy (andy@dorm7.com)

• PyCon staff、Taipei.py co-Organizer、PyCon Tutorial 講師

• 在 PyCon APAC 2014 主席的公司⼯工作

2

Summly 是什麼？

3

4

5

從跟朋友⼀一起做了⼀一個 APP 開始

6

• 截取各⼤大報（不包含中X時報）本⽂文，去掉廣告、圖⽚片等等讓慢 3G 變更慢的東⻄西

!

• 每天也是有些⼈人⽤用...

7

“我們也來做個中⽂文版的 Summly 吧”

8

⾃自然語⾔言處理⽤用 Python 的 NLTK 應該很簡單吧！

9

思路

•分詞 •找關鍵詞 •分句 •找關鍵句，組合起來就收⼯工

10

分詞

11

我們/也/來/做/個/中⽂文版/的/Summly/吧

我們也來做個中⽂文版的Summly 吧

12

讓我們⽤用 NLTK 解決..

13

§

14

Google 是我們的好朋友

15

“结巴" 中⽂文分词：做最好的 Python 中⽂文分词组件

16

簡單搞定

17

找關鍵詞

18

什麼叫做關鍵詞

• ⽂文章當中出現頻率最⾼高的詞 (Term Frequence)

• 如果 ”程式”、”台灣”、”進⼊入” 的出現頻率都⼀一樣呢？

• 加權調整 - Inverse Document Frequency

• TF - IDF

19

結巴也幫你做好了...

20

再度簡單搞定

21

“结巴" 中⽂文分词：做最好的 Python 中⽂文分词组件

22

分句

23

感謝中⽂文標點符號 !

。！？；

24

找關鍵句，組合起來就收⼯工

25

Example

• 除了考公職你還有其他選擇：程式設計 (http://yowureport.com/?p=11468)

• 關鍵字：程式, 設計, 產業, 公務⼈人員, 考試, 錄取, ⼈人才, 領域

26

似乎到處都需要會寫程式的⼈人來做個 App 或是架設網站。Hour of Code 的⺫⽬目標是向超過⼀一千萬的美國學⽣生，宣傳程式設計的重要性 !另⼀一⽅方⾯面，資訊產業近年來蓬勃發展。就算之前「18%」 的公務⼈人員退休優惠存款被調降，在⼤大環境不景氣之下，考公職的⼈人數仍是居⾼高不下，絲毫不⾒見衰退。 !想成為公務員，多半得參加⾼高普初考，或者是特種考試。近幾年初考約七萬⼈人報考，錄取率卻只有 1.1%。 !先不看台灣如何培育⼈人才，台灣就業市場是否需要這麼多程式設計⼈人才？從經濟部⼯工業局的「重點產業專業⼈人才需求調查」報告中，可以看到程式設計相關領域未來三年內的⼈人才需求量： 從上表可看出，列出的重點產業對於⼈人才的需求是逐年成⻑⾧長的。 !試想若是考公職的⼈人有⼀一半能轉換想法，不選擇穩定的公職，轉⽽而投⼊入學寫程式會變得如何？很多其他產業的程式設計⼯工作，必需同時具備兩個領域的知識。

27

2293 字 -> 346 字

28

乍看之下很成功，好像可以上線了！

29

READY FOR LAUNCH

事情不會那麼簡單

30

這是某報的報導針對越南明⽇日反中⽰示威抗議，外交部上午召開緊急會議，研商應變⽅方案，全體備戰，除決議將越南全境旅遊警⽰示提升為⿈黃⾊色，暴亂源起的平陽省、同奈省同列橙⾊色外，也進⼀一步將明⽇日⽰示威重點區域的胡志明市第⼀一郡，加⼊入橙⾊色警⽰示⾏行列，籲台商國⼈人明⽇日切莫涉⾜足第⼀一郡的統⼀一⼯工、市政廳、中國駐越南總領市館等重點抗議區。 !⽽而除了我駐越南代表處河內辦公室、駐胡志明市辦事處辦公室，今起24⼩小時開設避難所，開放台商投奔提供保護外，也將在越南三個省份包括和平旅館等地，同時開10個台商避難點，由外交官進駐，備妥疏散⼤大巴⼠士，協調越南公安保護，領務局⻑⾧長龔中誠上午也率3位曾駐胡志明市的資深官員，清晨出發到越南，親⾃自協調台商便利領務通關事宜。 !!!

31

這是某報的報導針對越南明⽇日反中⽰示威抗議，外交部上午召開緊急會議，研商應變⽅方案，

全體備戰，除決議將越南全境旅遊警⽰示提升為⿈黃⾊色，暴亂源起的平陽省、

同奈省同列橙⾊色外，也進⼀一步將明⽇日⽰示威重點區域的胡志明市第⼀一郡，加

⼊入橙⾊色警⽰示⾏行列，籲台商國⼈人明⽇日切莫涉⾜足第⼀一郡的統⼀一⼯工、市政廳、中國駐越南總領市館等重點抗議區。 !

⽽而除了我駐越南代表處河內辦公室、駐胡志明市辦事處辦公室，今起24⼩小時

開設避難所，開放台商投奔提供保護外，也將在越南三個省份包括和平旅

館等地，同時開10個台商避難點，由外交官進駐，備妥疏散⼤大巴⼠士，協調越南公安保護，領務局⻑⾧長龔中誠上午也率3位曾駐胡志明市的資深官

員，清晨出發到越南，親⾃自協調台商便利領務通關事宜。 !

32

每⼀一段只有⼀一句話，從頭逗號⽤用到尾

33

標點符號很重要，孩⼦子的學習不能等！

34

結論

• ⺫⽬目前暫時沒招，希望有⼈人指教

• Garbage in, garbage out

35

⼯工商服務

36

⼯工商服務

37

Q&A

38