52
Αναζήτηση μηνυμάτων κοινωνικών μέσων σχετικών με γεγονότα με χρήση τεχνικών ανάκτησης πληροφορίας Εκπόνηση Εργασίας : Γεώργιος Ζησόπουλος 6647 Επιβλέπων Καθηγητής : Περικλής Α. Μήτκας ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜ ΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΠΟΛΥΤΕΧΝΙΚΗ ΣΧΟΛΗ Τμήμα Ηλεκτρολόγω νΜ ηχανικώ νκαι Μ ηχανικώ ν Υπολογιστώ ν ΤομέαςΗλεκτρονικήςκαι Υπολογιστώ ν Εργαστήριο ΕπεξεργασίαςΠληροφορίαςκαι Υπολογισμώ ν

Ζησόπουλος Γεώργιος 6647

  • Upload
    issel

  • View
    21

  • Download
    0

Embed Size (px)

Citation preview

Page 1: Ζησόπουλος Γεώργιος 6647

Αναζήτηση μηνυμάτων κοινωνικών μέσων σχετικών με γεγονότα με χρήση τεχνικών ανάκτησης πληροφορίας

Εκπόνηση Εργασίας : Γεώργιος Ζησόπουλος 6647

Επιβλέπων Καθηγητής : Περικλής Α. Μήτκας

ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΠΟΛΥΤΕΧΝΙΚΗ ΣΧΟΛΗ

Τμήμα Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών Τομέας Ηλεκτρονικής και Υπολογιστών

Εργαστήριο Επεξεργασίας Πληροφορίας και Υπολογισμών

Page 2: Ζησόπουλος Γεώργιος 6647

2

Social media – Ενημέρωση

Twitter• Μηνύματα 140 χαρακτήρων• 310 εκατομμύρια χρήστες καθημερινά• 500 εκατομμύρια tweets την μέρα• Μέσα στα Top10 sites παγκοσμίως

Στόχος : Συγκέντρωση σχετικής και μη επαναλαμβανόμενης πληροφορίας για μια λίστα ειδήσεων

Εισαγωγή – Στόχος της εργασίας

Page 3: Ζησόπουλος Γεώργιος 6647

3

Μεθοδολογία

Page 4: Ζησόπουλος Γεώργιος 6647

4

Page 5: Ζησόπουλος Γεώργιος 6647

Web Scraping

5

Page 6: Ζησόπουλος Γεώργιος 6647

6

Web Scraping

Δενδροειδής αναπαράσταση HTML κώδικα

Page 7: Ζησόπουλος Γεώργιος 6647

Web Scraping

7

Παράδειγμα HTML κώδικα μιας είδησης

Page 8: Ζησόπουλος Γεώργιος 6647

8

Web ScrapingΠαράδειγμα Document μιας είδησης στην ΒΔ

Page 9: Ζησόπουλος Γεώργιος 6647

9

Page 10: Ζησόπουλος Γεώργιος 6647

Named Entities

Stanford NER

Εξαγωγή χρήσιμων όρων

10

Page 11: Ζησόπουλος Γεώργιος 6647

Proper Nouns

arktweetnlp

Εξαγωγή χρήσιμων όρων

11

Page 12: Ζησόπουλος Γεώργιος 6647

Adjective - Noun

Stanford POS Tagger

Εξαγωγή χρήσιμων όρων

12

Page 13: Ζησόπουλος Γεώργιος 6647

Noun Sequences

Stanford POS Tagger

13

Εξαγωγή χρήσιμων όρων

Page 14: Ζησόπουλος Γεώργιος 6647

Nouns

Stanford POS Tagger

14

Εξαγωγή χρήσιμων όρων

Page 15: Ζησόπουλος Γεώργιος 6647

Noun Phrases

OenNLPTagger

15

Εξαγωγή χρήσιμων όρων

Page 16: Ζησόπουλος Γεώργιος 6647

Keywords

Jsoup

16

Εξαγωγή χρήσιμων όρων

Page 17: Ζησόπουλος Γεώργιος 6647

17

Παράδειγμα Document είδησης με τους εξαχθέντες όρους

Εξαγωγή χρήσιμων όρων

Page 18: Ζησόπουλος Γεώργιος 6647

18

Page 19: Ζησόπουλος Γεώργιος 6647

19

Σχηματισμός queries

Three Spanish journalists were released after being abducted around Aleppo, Syria, and held hostage by the Al-Nusra Front since 13 July 2015.

……………

"july" AND "abducted" "spanish journalists" AND "aleppo"

"july" AND "al-nusra" "spanish journalists" AND "abducted"

"july" AND "front" "spanish journalists" AND "al-nusra"

"journalists" AND "aleppo" "aleppo" AND "13 july"

"journalists" AND "13 july" "aleppo" AND "abducted"

"journalists" AND "al-nusra" "abducted" AND "al-nusra"

"aleppo syria" AND "spanish journalists" "abducted" AND "front"

"aleppo syria" AND "abducted" "abducted" AND "13 july"……………

Ενδεικτικά Queries μιας είδησης

“term1” AND “term1” “term1 term2 term3” AND “term1”

Page 20: Ζησόπουλος Γεώργιος 6647

20

Page 21: Ζησόπουλος Γεώργιος 6647

21

• Twitter REST API – Java Library Twitter4j

• Tweets έως 7 ημερών

• Όριο 450 requests / 15min

• Paging

• No Retweets

• Language : English

Συλλογή Tweets

News Date # News Average Queries/News

Average Tweets/News

DB Size

06/05/2016 12 464,7 60328 444.98 MB

08/05/2016 11 101,5 7368 55.92 MB

Page 22: Ζησόπουλος Γεώργιος 6647

22

Page 23: Ζησόπουλος Γεώργιος 6647

23

• Apache Lucene 5.5.0

• Inverted index

Indexing

Page 24: Ζησόπουλος Γεώργιος 6647

24

Page 25: Ζησόπουλος Γεώργιος 6647

25

Information Retrieval

Page 26: Ζησόπουλος Γεώργιος 6647

26

• Αναπαράσταση κειμένου ως διάνυσμα

• Κάθε διάσταση είναι το tf-idf μιας λέξης

• Tf – Term Frequency

• Idf – Inverse Document Frequency

• Έστω 2 έγγραφα d1 = “w1 w2 w3” και d2 = “w2 w5 w6”

• και τα διανύσματά τους

• Cosine Similarity

Vector Space Model

Page 27: Ζησόπουλος Γεώργιος 6647

27

• Default Scoring Formula

• Κλάσεις βαθμολόγησης

TFIDFSimiliarity

tf(t in d) = frequency½

idf(t) = 1 + log()

BM25Similarity

= frequency½

Lucene Scoring

Page 28: Ζησόπουλος Γεώργιος 6647

28

Λογική Γλωσσικών μοντέλων

• Έστω ένα έγγραφο D και ένα Λεξικό Σ

• Υπολογισμός πιθανότητας εμφάνισης κάθε λέξης του Λεξικού Σ με βάση το έγγραφο D

• Δεν υπάρχουν όλες οι λέξεις στο έγγραφο D => Smoothing

Μοντέλα

• Query likelihood model

• Document likelihood model

Language models

Page 29: Ζησόπουλος Γεώργιος 6647

29

Ποιος είναι ο σκοπός του PRF;

• Επέκταση ερωτήματος με νέους όρους

Διαδικασία:

• 1ο Στάδιο IR – συλλογής εγγράφων

• Επιλέγονται τα Ν πρώτα

• Αυτά αποτελούν το (Pseudo) Relevance Set

• Αξιοποίηση του (Pseudo) Relevance Set και εξαγωγή νέων όρων

• Η διαδικασία αυτή ονομάζεται (Pseudo) Relevance Feedback

Pseudo-Relevance Feedback

Page 30: Ζησόπουλος Γεώργιος 6647

30

Λογική Σχεσιακών μοντέλων

• Πιθανότητα εμφάνισης της λέξης w βάσει του συνόλου σχετικότητας R

• Η P(d) θεωρείται ομοιόμορφη

• Το γινόμενο υπολογίζει την πιθανότητα ερωτήματος

• Αρκεί η εκτίμηση της πιθανότητας να εμφανιστεί η λέξη w με βάση τους όρους του εγγράφου d

RM3:

Για την επιλογή των νέων όρων του expanded query, γίνεται γραμμική παρεμβολή με τους όρους του original query

Relevance Models

Page 31: Ζησόπουλος Γεώργιος 6647

31

• Αναζήτηση στο index με τα ίδια queries

• Το ίδιο tweet επιστρέφει με πολλά queries

• Ταξινόμηση tweets με βάση 3 μεθόδους

- Average

- Maxscore

- Sum

Επιλογή σχετικότερων tweets

Page 32: Ζησόπουλος Γεώργιος 6647

32

******* TFIDF BM25

Είδηση Average

Maxscore Sum Average Maxscore Sum

1 0.95 0.95 1 1 1 1

2 0.75 0.90 1 0.90 0.95 1

3 1 1 1 1 1 1

4 0.95 0.90 1 1 1 1

5 0.85 1 1 0.90 1 1

6 1 1 1 1 1 1

7 0.60 1 1 0.95 1 1

8 0.20 0.20 0.45 0.25 0.30 0.60

9 1 1 1 1 1 1

10 1 1 1 1 1 1

11 0.10 0.10 0.10 0.10 0.10 0.10

Average Precision

0.764 0.824 0.868 0.827 0.850 0.882

Επιλογή σχετικότερων tweets

Page 33: Ζησόπουλος Γεώργιος 6647

# Tweet Relevant

1 travelling to Taif, Saudi Arabia No

2 Trophee Hassan Policeman Killed in Shootout With Militants Yes

3 Saudi policeman killed in shootout with militants: Saudi Arabia says a policeman was killed in a shootout with… https://t.co/p2cY4KWocm

Yes

4 Saudi Policeman Killed in Shootout With Militants: Saudi Arabia says a policeman was killed in a shootout wit... https://t.co/BxP885EDBQ

Yes

5 Saudi Policeman Killed in Shootout With Militants: Saudi Arabia says a policeman was killed in a shootout with… https://t.co/lB1ePd2lcv

Yes

6 Saudi policeman killed in shootout with militants - Saudi Arabia says a policeman was killed in a shootout with... https://t.co/iORDNawewq

Yes

7 Saudi Policeman Killed in Shootout With Militants - Saudi Arabia says a policeman was killed in a shootout with... https://t.co/iM6gzcyTGS

Yes

8 Saudi Policeman Killed in Shootout With Militants: Saudi Arabia says a policeman was killed in a shootout with militants in the weste...

Yes

9 #Rainbow over #Taif, #Saudi, the weather! No

10 Saudi Arabia says a policeman was killed in a shootout with militants in the western city of Taif

Yes

Επιλογή σχετικότερων tweetsΕίδηση A policeman is killed in a shootout with militants in Taif, Saudi Arabia.

TFIDF,MAXSCORE

33

Page 34: Ζησόπουλος Γεώργιος 6647

Επιλογή σχετικότερων tweets Δεδομένα :

- AllTweets: Πίνακας όλων των tweets σε φθίνουσα κατάταξη- Ν: Πλήθος Φιλτραρισμένων tweets- K: Δείκτης θέσης στον πίνακα AllTweets- Similar: Ομοιότητα με φιλτραρισμένα tweets

Έξοδος :

- FilTweets: Top 100 tweets χωρίς duplicates

Αρχή:

Ν = 1

Κ = 1

FilTweets[N] = AllTweets[K]

Κάνε

Κ = Κ+1

Similar = Ψευδές

Για i από 1 μέχρι Ν

Αν CosSim( AllTweets[K] , FilTweets[i] ) > 0,5 τότε

Similar = Αληθές

Έξοδος

Τέλος_Αν

Τέλος_Επανάληψης

Αν Similar == Ψευδές τότε

FilTweets[N]=AllTweets[K]

Τέλος_Αν

Όσο{Ν<100}

Τέλος

 

 

 

 

MMR Filtering

34

Page 35: Ζησόπουλος Γεώργιος 6647

# Tweet Relevant

1 travelling to Taif, Saudi Arabia No

2 Trophee Hassan Policeman Killed in Shootout With Militants Yes

3 Saudi policeman killed in shootout with militants - Saudi Arabia says a policeman was killed in a shootout with... https://t.co/iORDNawewq

Yes

4 #Rainbow over #Taif, #Saudi, the weather! No

5 RealTimeHack: Saudi policeman killed in shootout with militants https://t.co/14Oxnj0iOL #NLU

Yes

6 Saudi policeman dies in shootout as ‘terror’ plot foiled: https://t.co/mNxJl68AG0 Yes

7 Saudi Policeman Killed in Shootout With Militants - New York Times: Saudi GazetteSaudi Policeman Killed in Sh... https://t.co/gJ9bfLJAod

Yes

8 Just posted a photo @ Taif, Saudi Arabia https://t.co/rgIf4LpzSS No

9 Just posted a video @ Taif, Saudi Arabia https://t.co/MzHwHw997Q No

10 More of downtown Taif, Saudi Arabia. #globaledambassador #diversity… No

Επιλογή σχετικότερων tweetsΕίδηση A policeman is killed in a shootout with militants in Taif, Saudi Arabia.

TFIDF,MAXSCORE,MMR

35

Page 36: Ζησόπουλος Γεώργιος 6647

36

******** TFIDF BM25

Είδηση Average Maxscore Sum Average Maxscore Sum

1 0.95 0.95 1 1 1 0.95

2 0.65 0.70 0.95 0.65 0.70 1

3 1 0.85 0.95 1 1 0.95

4 1 0.90 0.95 0.90 0.95 0.90

5 0.55 0.95 0.95 0.85 1 0.95

6 1 1 1 1 1 1

7 1 1 1 1 0.95 1

8 0.15 0.25 0.40 0.20 0.25 0.50

9 1 1 1 1 1 1

10 0.95 1 1 1 1 1

11 0.10 0.10 0.10 0.10 0.10 0.10

Average Precision

0.759 0.791 0.845 0.791 0.814 0.850

Επιλογή σχετικότερων tweets

Page 37: Ζησόπουλος Γεώργιος 6647

37

Επιλογή σχετικότερων tweetsΕίδηση A policeman is killed in a shootout with militants in Taif, Saudi Arabia.

TFIDF, MAXSCORE, MMR, new index (απαλοιφή URL)

# Tweet Relevant

1 travelling to Taif, Saudi Arabia No

2 Saudi Policeman Killed in Shootout With Militants Yes

3 Saudi policeman dies in shootout as ‘terror’ plot foiled Yes

4 Just posted a photo @ Taif, Saudi Arabia No

5 My design The beautiful ?? @ Taif, Saudi Arabia No

6 More of downtown Taif, Saudi Arabia. #globaledambassador #diversity… No

7 #Rainbow over #Taif, #Saudi, the weather! No

8 Militants clash with Suadi police in Taif #SuadiArabia Yes

9 Saudi soldier killed in gun battle with militants in Taif Yes

10 Militants kill eight Egyptian policeman in Cairo suburb No

Page 38: Ζησόπουλος Γεώργιος 6647

Επιλογή σχετικότερων tweets

******* TFIDF BM25

Είδηση Average Maxscore Sum Average Maxscore Sum

1 0.85 1 1 0.80 1 1

2 0.35 0.40 0.65 0.55 0.45 0.65

3 0.25 0.90 0.95 0.35 0.85 0.95

4 0.55 0.85 0.85 0.70 0.80 0.85

5 0.40 0.90 1 0.45 0.90 1

6 0.75 1 1 0.90 1 1

7 0.70 0.90 1 0.75 0.90 1

8 0.10 0.15 0.55 0.10 0.30 0.55

9 0.90 1 1 0.95 1 1

10 0.65 1 1 1 1 1

11 0.05 0.05 0.05 0.05 0.05 0.05

Average Precision

0.505 0.741 0.823 0.600 0.750 0.823

38

Page 39: Ζησόπουλος Γεώργιος 6647

39

• Original query : concatenated query

• 1ο Στάδιο IR

• 20 πιο σχετικά tweets για το original query (Default LMD, Sum)

• Pseudo Relevance set – P(w|R)

• RM3 παρεμβολή

• 2ο Στάδιο IR με το expanded query (Πρώτα 20 , MMR)

Εφαρμογή LMD + PRF

Page 40: Ζησόπουλος Γεώργιος 6647

40

Concatenated Query Expanded Query

Term Weight Term Weight

saudi 0.9 says 0.009090912

arabia 0.9 shootout 0.14675325

shootout 0.9 saudi 0.14675325

militants 0.9 taif 0.12857144

taif 0.9 militants 0.13766235

policeman 0.9 policeman 0.14675325

in 0.9 in 0.12857144

********* ********* arabia 0.13766235

********* ********* killed 0.018181823

Επιλογή σχετικότερων tweets (LMD & PRF)

Page 41: Ζησόπουλος Γεώργιος 6647

41

Επιλογή σχετικότερων tweets (LMD & PRF)Tag cloud των όρων του expanded query

Page 42: Ζησόπουλος Γεώργιος 6647

42

# Tweet Relevant1 Saudi Policeman Killed in Shootout With Militants: Saudi Arabia says a

policeman was killed in a shootout with militants in the weste...

Yes2 Saudi policeman killed in shootout with militants: They surrendered to the

police after a combing operation w...Yes

3 Saudi policeman dies in shootout as ‘terror’ plot foiled: Yes4 BACKGROUND At least 6 people died, including policeman, consequence

of shootout between police and alleged drug traffickers in #Provid?nciaNo

5 KSA : 1 Saudi policeman was killed near police station in Taif, 2 suspect are wanted.

Yes

6 A Saudi corporal policeman has been killed in Taif. 2 suspects are currently searched.

Yes

7 Saudi Arabia - Travel News - Soldier killed in gun battle with militants following foiled attack in Taif #SaudiArabia #Taif #travelawarenes

Yes

8 #Saudi soldier killed in #shootout with militants - state news agency SPA #IslamicState #oil #OPEC #Yemen #Iran

Yes

9 #KSA security forces involved in another shootout with suspected #IS militants inside kingdom.

Yes

10 Saudi Arabia shootout leaves militant, officer dead, @Reuters said May 9. Yes

Επιλογή σχετικότερων tweets (LMD & PRF)

Page 43: Ζησόπουλος Γεώργιος 6647

43

******** 06/05/2016 08/05/2016

Είδηση LMD LMD + PRF LMD LMD + PRF

1 0.8 0.6 0.85 1

2 0.1 0.1 0.4 0.7

3 0.45 0.8 0.35 0.05

4 0.5 0.6 0.6 0.05

5 0.3 0.35 0.8 1

6 0.60 0.25 0.85 0.85

7 0.65 0.85 0.8 0.95

8 0.6 0.70 0.3 0.6

9 0.15 0.45 1 1

10 0.8 1 0.95 0.95

11 0.85 1 0.05 0.05

12 0.8 1 ************ ************

Average Precision

0.559 0.645 0.635 0.655

Επιλογή σχετικότερων tweets (LMD & PRF)

Page 44: Ζησόπουλος Γεώργιος 6647

44

Page 45: Ζησόπουλος Γεώργιος 6647

45

Query quality metrics

Υπολογισμός μιας σειράς μετρικών πρόβλεψης ποιότητας ερωτημάτων

Κίνητρο:Εκτίμηση ποιότητας των αποτελεσμάτων και

επιλογή των καλύτερων ερωτημάτων για την αναζήτηση πληροφορίας

Page 46: Ζησόπουλος Γεώργιος 6647

46

Query quality metrics

• Query Length

• IDF – based features

• Άθροισμα, τυπική απόκλιση, μέγιστο/ελάχιστο , το μέγιστο, αριθμητικός μέσος, γεωμετρικός μέσος, αρμονικός μέσος και συντελεστής διακύμανσης (coefficient of variation) για όλες τις λέξεις που το αποτελούν.

Page 47: Ζησόπουλος Γεώργιος 6647

47

Query quality metrics

• Query Scope (QS)

• Similarity Collection/Query-based features (SCQ)

• Inverse Collection Term Frequency-based features (ICTF)

Page 48: Ζησόπουλος Γεώργιος 6647

48

Query Precision (p@10)

«cairo» AND «state» 0.8

«attack» AND «state» 0.2

«gunmen» AND «attack» 0.4

«arabia» AND «saudi» 0

«aleppo» AND «front» 0

«july» AND «front» 0

«syria» AND «front» 0

«officials» AND «taliban» 0.3

«afghan» AND «taliban» 0.3

«afghan» AND «officials» 0.2

«kilis» AND «turkish» 0.7

«town» AND «turkish border» 1

«55 islamic state» AND «turkish» 1

«collision» AND «buses» 1

«at least 73 people» AND «tanker» 1

«people» AND «buses» 0

Query quality metricsΕπιλογή τυχαίων queries

Page 49: Ζησόπουλος Γεώργιος 6647

49

• Συντελεστής συσχέτισης Kendall τ

• Έστω (x1,y1), (x2,y2),…, (xn,yn) ένα σύνολο παρατηρήσεων των τυχαίων μεταβλητών X και Y αντίστοιχα

• Ένα ζεύγος παρατηρήσεων (xi,yi) και (xj,yj), όπου i ≠ j, θεωρείται σύμφωνο αν η κατάταξη και των 2 στοιχείων είναι όμοια: δηλαδή, όταν xi > xj και yi > yj ή xi < xj και yi < yj

• Ασύμφωνο ονομάζεται όταν xi > xj και yi < yj ή xi < xj και yi > yj

• Ο Kendall τB που χρησιμοποιείται στην εργασία, λαμβάνει μέριμνα και για τα ζεύγη που δεν είναι ούτε σύμφωνα ούτε ασύμφωνα

Query quality metrics

Page 50: Ζησόπουλος Γεώργιος 6647

50

SCQarmean - Precision 0.17457525051569356SCQgeomean - Precision 0.14595635698853068SCQharmean - Precision 0.15168013569396327

SCQcovar - Precision 0.26615570980261477ICTFsum - Precision 0.4035263987329966ICTFstd - Precision 0.25470815239174965

ICTFmaxmin - Precision 0.30049838203521023ICTFmax - Precision 0.36637935170417507

ICTFarmean - Precision 0.18602280792655873ICTFgeomean - Precision 0.15740391439939583ICTFharmean - Precision 0.16312769310482841

ICTFcovar - Precision 0.22608925886458675QS - Precision 0.008585668058148864

Query quality metrics

Μεταβλητές Kendall τΒ

Size - Precision 0.37429560943820916

IDFsum - Precision 0.39780262002756406

IDFstd - Precision 0.24898437368631707

IDFmaxmin - Precision 0.28905082462434506

IDFmax - Precision 0.38945836598475303

IDFarmean - Precision 0.20891792274828902

IDFgeomean - Precision 0.17457525051569356

IDFharmean - Precision 0.15168013569396327

IDFcovar - Precision 0.23181303757001934

SCQsum - Precision 0.3806312839112663

SCQstd - Precision 0.28905082462434506

SCQmaxmin - Precision 0.28905082462434506

SCQmax - Precision 0.3860549463918908

Συσχετίσεις query quality metrics με Precision

Page 51: Ζησόπουλος Γεώργιος 6647

51

Query quality metrics

0.0 0.2 0.4 0.6 0.8 1.0 1.26.006.507.007.508.008.509.009.50

10.0010.5011.00

Διασπορά Precision - ICTFmax

Precision@10

ICTF

max

0.0 0.2 0.4 0.6 0.8 1.0 1.20.20

0.25

0.30

0.35

0.40

0.45

Διασπορά Precision - IDFmax

Precision@10

IDFm

ax

Page 52: Ζησόπουλος Γεώργιος 6647

52

Ευχαριστώ για την προσοχή σας!