Download pdf - 3080027FinalReport

Πρακτική Άσκηση Καλοκαίρι 2013

Τελική Αναφορά

Ονοματεπώνυμο: Γεωργίου Μαρία Βαρβάρα

Α.Μ Φοιτητή: 3080027

Φορέας Υλοποίησης: Qualia Τεχνολογίες Κατανόησης Α.Ε.

Εργασιακός Επιβλέποντας: Ιάσων Δεμοίρος

Επιβλέπων Καθηγητής: Ίων Ανδρουτσόπουλος


2

1.Εισαγωγή

Main Project

Τίτλος

Αναζήτηση πληροφορίας σε γράφους δεδομένων που δημιουργούνται με βάση την

ελληνική έκδοση του Wikipedia

Σκοπός

Η εργασία αυτή εντάσσεται στα πλαίσια ενός γενικότερου έργου που αφορά στην

κατασκευή προφίλ αναζήτησης πληροφορίας στα διαδικτυακά δεδομένα. Τα

στοιχεία της αναζήτησης ονομάζονται οντότητες (entities) και μπορεί να είναι

λέξεις-κλειδιά, φράσεις ή ονόματα ή οποιοσδήποτε συνδυασμός αυτών.

Ως προφίλ αναζήτησης ορίζεται ένα σύνολο από τέτοιες οντότητες.

Βασικός στόχος είναι το προφίλ να δημιουργείται ημιαυτόματα μέσω τεχνικών

ανάκτησης πληροφορίας (information retrieval) που θα δώσουν τη δυνατότητα στο

χρήστη να δημιουργεί κανόνες που φιλτράρουν λέξεις και φράσεις οι οποίες

ανακτούν μη σχετική πληροφορία. Έτσι εξασφαλίζουμε μεγαλύτερη ακρίβεια στην

ανάκτηση και παρουσιάζουμε στον τελικό χρήστη πληροφορία σχετική με τις

ανάγκες του (relevant).

Το πρώτο βήμα στην παραπάνω διαδικασία είναι να δημιουργηθούν κάποιες βάσεις

γνώσης, στις οποίες θα μπορεί να γίνεται αναζήτηση των παραπάνω οντοτήτων και

σύγκρισή τους με άλλες οντότητες.

Στην εργασία αυτή εστιάζουμε στην πρώτη τέτοια βάση, η οποία είναι το ελληνικό

Wikipedia. Τη μοντελοποιούμε με τη χρήση Νeo4j που αποτελεί ένα από τα πιο

διαδεδομένα εργαλεία στην αγορά για τη δημιουργία βάσεων δεδομένων σε

μορφή γράφου.


3

2. Εξαγωγή οντοτήτων από την wikipedia

2.1 Εξαγωγή οντοτήτων

Αρχικά έγινε μελέτη του Wikipedia dump [2] (πρόκειται για ένα XML αρχείο με όλα

τα άρθρα της ελληνικής Wikipedia) με στόχο να βρεθεί ποιες πληροφορίες της

σελίδας είναι αξιοποιήσιμες για τη δημιουργία οντοτήτων έτσι ώστε να είναι

δυνατή αργότερα η μεταξύ τους σύγκριση, μέσω μετρικών αξιολόγησης

σημασιολογικής συνάφειας.

Ως οντότητες στο πεδίο της Wikipedia ορίστηκαν:

1. Τα άρθρα

2. Οι μοναδικές κατηγορίες στις οποίες ανήκαν τα άρθρα.

Ως ιδιότητες της οντότητας "-Άρθρο-" ορίστηκαν τα εξής: (Παρατήρηση: οι οντότητες της Wikipedia δεν είναι ίδιες με τις οντότητες αναζήτησης που είδαμε

στην εισαγωγή. Στο εξής ως οντότητες θα αναφέρονται αυτές της Wikipedia, ενώ όταν θα

αναφερόμαστε στην αναζήτηση θα προσδιορίζουμε τις οντότητες ως οντότητες αναζήτησης.)

1 . Τίτλος του άρθρου.

2. Συνολικό κείμενο

3. Επικεφαλίδες επιμέρους ενοτήτων (headers)

4. Τίτλοι συνδέσμων προς άλλα άρθρα της Wikipedia

5. Σύνδεσμοι προς σελίδες εκτός της Wikipedia

6. Κατηγορίες στις οποίες ανήκει το άρθρο

7. Τίτλοι συνδέσμων κάτω από την επικεφαλίδα "-Δείτε επίσης-"

(πρόκειται για συνδέσμους προς άρθρα της Wikipedia)

8. Πηγές


4

9. Redirect (πρόκειται για τους εναλλακτικούς τίτλους του

άρθρου μέσω των οποίων μπορεί να γίνεται αναφορά σε αυτό από άλλες

σελίδες.)

Ως ιδιότητες της οντότητας " -Kατηγορία-" ορίστηκαν τα εξής:

1 . Τίτλος κατηγορίας.

2.2 Υλοποίηση Με τη χρήση του Java wiki API [2] έγινε το parsing του Wikipedia dump XML . Από

αυτό πάρθηκε ο τίτλος και το πλήρες κείμενο (full text) του κάθε άρθρου. Το πλήρες

κείμενο έχει τέτοια δομή ώστε να είναι εύκολα δυνατή η εξαγωγή βασικών

στοιχείων του άρθρου όπως οι τίτλοι των links προς άλλα άρθρα της Wikipedia, τα

headers, οι κατηγορίες στις οποίες ανήκει ένα άρθρο κ.τ.λ.

Προκειμένου όμως να εξαχθούν οι επιπλέον πληροφορίες, όπως για παράδειγμα

συγκεκριμένες κατηγορίες links (See Also), οι πηγές και οι σύνδεσμοι προς

εξωτερικές πηγές, χρειάστηκε περαιτέρω μελέτη και επεξεργασία.

Τα παραπάνω στοιχεία βρίσκονται κάτω από ένα σύνολο επικεφαλίδων (headers),

επομένως εξήχθησαν όλες (headers extract) σε μία λίστα και κατατάχθηκαν σε

φθίνουσα σειρά ανάλογα με τη συχνότητα εμφάνισης τους στο σύνολο των άρθρων.

Φάνηκε πως ένα πολύ μεγάλο ποσοστό εμφανίζεται από μία έως τρεις φορές.

Υπάρχουν πολλά headers τα οποία είναι ίδια αλλά φαίνονται ως μοναδικά λόγω

ορθογραφικών λαθών ή διαφορετικού τρόπου διατύπωσης (π.χ. εξωτερικοί

σύνδεσμοι, εξωτερικές συνδέσεις κ.τ.λ.)

Για τις ανάγκες εξαγωγής των άνω πληροφοριών κρατήθηκαν από ένα έως έξι

διαφορετικές διατυπώσεις των σχετικών headers με τις προς εξαγωγή πληροφορίες.

Τα headers έχουν κρατηθεί και για κάθε article ξεχωριστά για πιθανή τους χρήση

ως μεταδεδομένα (metadata).

Η εξαγωγή όλων των στοιχείων έγινε με τη χρήση regular expressions και

αποθηκεύτηκε σε ένα binary αρχείο σε κατάλληλη μορφή.


5

Τέλος δημιουργήθηκε άλλο ένα αρχείο με τις μοναδικές κατηγορίες που βρέθηκαν

κατά την ανάλυση (parsing) άρθρων.

3. Δημιουργία βάσης δεδομένων

3.1 Neo4j Το neo4j [3], [4] είναι ένα εργαλείο, το οποίο χρησιμοποιείται για την δημιουργία

και τον χειρισμό βάσεων δεδομένων σε μορφή γράφου. Προσφέρει ότι και μία

βάση SQL αλλά και πολλές άλλες δυνατότητες λόγο της συγκεκριμένης μορφής.

Πρόκειται για ένα από τα πιο διαδεδομένα εργαλεία για αυτό τον σκοπό, τόσο στην

ακαδημαϊκή κοινότητα, όσο και στην αγορά.

Μπορεί κάποιος να ορίσει οντότητες (κόμβους) αντί για τα instances μίας κλασικής

βάσης. Μέσα σε κάθε οντότητα μπορούν να οριστούν ιδιότητες (δεν είναι

υποχρεωτικό να έχουν όλοι οι κόμβοι τις ίδιες ιδιότητες ή μπορεί ένας κόμβος να

μην έχει καθόλου) καθώς και να ορίσει σχέσεις μεταξύ αυτών (κατευθυνόμενες

ακμές) οι οποίες επίσης μπορούν να περιέχουν ιδιότητες.

Για παράδειγμα, έστω 100 κόμβοι οι οποίοι αντιπροσωπεύουν πρόσωπα. Κάθε

κόμβος θα έχει ως ιδιότητες το όνομα, την ηλικία και τον τόπο διαμονής του κάθε

προσώπου. Ως σχέση θα οριστεί η Α-"γνωρίζει"->Β η οποία θα είναι μία

κατευθυνόμενη ακμή μεταξύ δύο κόμβων που ορίζεται αν και μόνο αν αυτά τα

πρόσωπα γνωρίζονται μεταξύ τους.


6

3.2 Graph Creation

3.2.1 Κόμβοι και Σχέσεις

Ως κόμβοι της βάσης ορίστηκαν οι οντότητες που εξήχθησαν από το Wikipedia,

όπως περιγράφηκαν παραπάνω. Προστέθηκαν ακόμα δύο ιδιότητες, ο τίτλος σε

normalized και stemmed μορφή με τη χρήση της βιβλιοθήκης της Qualia για

επεξεργασία γλώσσας (QualiaLangTool.jar)

Ως σχέσεις (κατευθυνόμενες ακμές) ορίστηκαν οι εξής:

1.relates_to: ορίζεται από ένα κόμβο Α σε ένα κόμβο Β αν υπάρχει

αναφορά στο property που περιέχει τους τίτλους σελίδων της wikipedia,

στις οποίες αναφέρεται η Α (ιδιότητα 7 παραπάνω) - του Α στον Β.

2.belongs_to: ορίζεται από ένα κόμβο Α προς ένα κόμβο κατηγορίας, αν ο τίτλος του δεύτερου περιέχεται στο property με τις κατηγορίες (ιδιότητα 6) του Α. 3.links_to: ορίζεται από ένα κόμβο Α προς κάθε ένα από τους κόμβους που υποδεικνύει η ιδιότητα 4 (τίτλοι συνδέσμων προς άλλα άρθρα της wikipedia).

3.3 Υλοποίηση

3.3.1 Εισαγωγή Δεδομένων στη Βάση

Για την εισαγωγή των δεδομένων, χρησιμοποιήθηκαν τα πακέτα που παρέχονται

από το Νeo4j για τη δημιουργία μιας νέας βάσης. Διαβάζοντας τα άρθρα από το

binary αρχείο που δημιουργήθηκε από τον parser, έγινε η εισαγωγή των κόμβων

ορίζοντας σε αυτούς τις ιδιότητες όπως περιγράφηκαν στην παράγραφο 3.2.1.

Στη συνέχεια και με βάση τη δεύτερη λίστα, που επίσης δημιουργήθηκε από τον

parser, γίνεται η δημιουργία και εισαγωγή των κόμβων κατηγοριών με τις

αντίστοιχες ιδιότητες (title, normalized title και stemmed title ).

Η εισαγωγή έγινε σε δύο βρόγχους(έναν για τα άρθρα και έναν για τις σελίδες


7

κατηγορίας). Σε κάθε επανάληψη ανοίγει ένα transaction με τη βάση, γίνεται η

δημιουργία και η εισαγωγή πολλαπλών κόμβων και ύστερα κλείνει το transaction

αυτό. Oι επαναλήψεις συνεχίζονται μέχρι να εισαχθούν όλοι οι κόμβοι στη βάση.

Μετά την ολοκλήρωση της εισαγωγής των κόμβων έγινε ένα iteration πάνω σε

αυτούς με σκοπό να βρεθούν, όπου υπάρχουν, οι σχέσεις της παραγράφου 3.2.1 και

να εισαχθούν και αυτές στη βάση. Ο τρόπος εισαγωγής τους είναι ίδιος με αυτών

των κόμβων.

Γενική επισκόπηση της βάσης του Wikipedia.

3.3.2 Indexing

To Neo4j παρέχει λειτουργικότητα full text indexing μέσω της βιβλιοθήκης Apache

Lucene. Δημιουργήθηκαν τρία indexes. Ένα με βάση τον τίτλο και ακόμα δύο με

βάση τις δύο παραλλαγές του τίτλου: normalized και stemmed.

Χρησιμοποιήθηκαν τα full text indexes τα οποία κάνουν white space tokenization

και μετατρέπουν όλους τους χαρακτήρες σε μικρά (lower case) και κάνουν την

αναζήτηση στον γράφο, με βάση τα περιεχόμενα του τίτλου να μην εξαρτάται από

μικρά ή κεφαλαία (case insensitive).


8

Μέρος της βάσης από το visualization tool που παρέχει το Νeo4j


9

4. Σημασιολογική Σύγκριση σελίδων

4.1 Σημασιολογική ομοιότητα μεταξύ σελίδων της Wikipedia. Με βάση τη βιβλιογραφία που μελετήθηκε, η σημασιολογική ομοιότητα μεταξύ δύο

άρθρων της Wikipedia μετριέται με βάση τα links που σχετίζονται με τα άρθρα

αυτά.

Η μετρική η οποία χρησιμοποιήθηκε εδώ είναι το weighted Dice metric των Denis

Turdakov και Pavel Velikhov [1]:

Όπου n(A) είναι τα άρθρα που συνδέονται με το άρθρο Α (αυτά που δείχνουν σε

αυτό και αυτά στα οποία δείχνει το Α) και ομοίως n(B) είναι τα άρθρα τα οποία

συνδέονται με το άρθρο Β.

Τα links ενός άρθρου, όπως εξήχθησαν από αυτό, χωρίζονται σε δύο κατηγορίες:

1. Regular links: πρόκειται για την ιδιότητα 4 (παράγραφος 2.1) που αφορά

links προς άλλα άρθρα και σελίδες κατηγοριών.

2. See Also links: πρόκειται για την ιδιότητα 7 (παράγραφος 2.1) η οποία

αφορά τα links κάτω από την επικεφαλίδα "Δείτε επίσης".

Στον υπολογισμό του συντελεστή Dice κάθε είδος link έχει ένα συγκεκριμένο βάρος.

Εμπειρικά και με βάση τον προτεινόμενο πίνακα βαρών [1] δόθηκε βάρος w1=1 στα

Regular links και βάρος w2=5 στα See Also links.

Links προς ημερομηνίες και αριθμούς αγνοήθηκαν τελείως καθώς με βάση τα

πειράματα που έχουν γίνει πάνω στην αγγλική wikipedia [1], δεν προσφέρουν

σχεδόν καθόλου πληροφορία για τη σημασιολογική σύγκριση των σελίδων.

Όσον αφορά αυτή την εργασία, ο υπολογισμός αυτής της μετρικής έχει ως σκοπό

την ανάκτηση των k πιο σχετικών άρθρων της Wikipedia σε σχέση με ένα

συγκεκριμένο άρθρο το οποίο έχει επιλέξει ο χρήστης. Για το λόγο αυτόν

δημιουργήθηκε ένα πρόγραμμα μέσω του οποίου γίνεται αναζήτηση στη βάση με

λέξεις-κλειδιά. Ύστερα επιστρέφονται τα σχετικά άρθρα με βάση τον τίτλο και από

αυτά επιλέγει ο χρήστης ένα. Υπολογίζεται η μετρική Dice αυτού του άρθρου με όλα


10

τα υπόλοιπα και τέλος επιστρέφονται τα k άρθρα με τα μεγαλύτερο score.

4.2 Αξιολόγηση

Η εργασία ολοκληρώθηκε στο σημείο αυτό και το επόμενο βήμα είναι η αξιολόγηση

της μεθόδου που υλοποιήθηκε. Δεν έχει γίνει ολοκληρωμένη αξιολόγηση, για την

οποία θα πρέπει να επιλεγούν τα κατάλληλα ερωτήματα, να αντιστοιχηθούν στους

κόμβους της Wikipedia και μετά να γίνει ανάκτηση συναφών κόμβων με βάση τη

σημασιολογική απόσταση που περιγράφηκε παραπάνω, σε σχολιασμένο υλικό.

Εμείς σταματήσαμε την εργασία μας στο σημείο που δίνουμε ερωτήματα στη βάση

και ανακτούμε το σύνολο των συναφών κόμβων, όπως στο παράδειγμα που δείχνει

τις σχέσεις του κόμβου με τίτλο "Ελληνική κρίση χρέους 2010-2013" με σχετικούς

κόμβους της Wikipedia (παρατίθεται στο Παράρτημα).

Τα επόμενα βήματα, στα πλαίσια της εργασίας αυτής, είναι μια ενδελεχής

αξιολόγηση, εκ νέου επίσκεψη στο σκορ ομοιότητας και κανονικοποίηση σε μια

κλίμακα 0-1, υλοποίηση και αξιολόγηση άλλων μετρικών ομοιότητας και

φιλτράρισμα θορύβου για συγκεκριμένα προβλήματα που έχουμε εντοπιστεί.


11

ΑΝΑΦΟΡΕΣ

[1] Denis Turdakov, Pavel Velikhov, "Semantic Relatedness Metric for Wikipedia Concepts

Based on Link Analysis and its Application to Word Sense Disambiguation", SYRCoDIS, St.-

Petersburg, Russia, 2008 ,pages 2-3.

[2] Wikipedia Dump Parser, https://code.google.com/p/gwtwiki/.

[3] Neo4j, http://www.neo4j.org/.

[4] Neo4j manual, http://docs.neo4j.org/.

http://www.neo4j.org/

http://docs.neo4j.org/


12

ΠΑΡΑΡΤΗΜΑ

Στο παράδειγμα που ακολουθεί παρουσιάζουμε τα αποτελέσματα της αναζήτησης

για το άρθρο "Ελληνική κρίση χρέους 2010-2013". Κάθε σχετικός κόμβος

εμφανίζεται με τον τίτλο του, τα κοινά links με τον αρχικό κόμβο, το συνολικό

αριθμό των links και ένα σκορ ομοιότητας με τον αρχικό κόμβο. Η κατάταξη έχει

γίνει με βάση το σκορ ομοιότητας.

Εμφανίζονται τα 50 κείμενα με το μεγαλύτερο score.

ΕΛΛΗΝΙΚΗ ΚΡΙΣΗ ΧΡΕΟΥΣ 2010-2013

Title:Απεργιακές κινητοποιήσεις στην Ελλάδα την άνοιξη του 2010

Common links:Διεθνές Νομισματικό Ταμείο;Διεθνούς Νομισματικού Ταμείου;Ευρωπαϊκή

Ένωση;Ευρωπαϊκής Ένωσης;Καστελόριζο;Μάιος;Μαΐου;

total links:442.0 score: : 0.03167420814479638

Title:Βιβλιοθήκη της Τράπεζας της Ελλάδος


Ένωση;Ευρωπαϊκής Ένωσης;Ευρωπαϊκή Κεντρική Τράπεζα;Ευρωπαϊκής Κεντρικής Τράπεζας;


Title:Άννα Μπενάκη - Ψαρούδα


Ένωση;Ευρωπαϊκής Ένωσης;Ευρωπαϊκή Κεντρική Τράπεζα;Ευρωπαϊκής Κεντρικής Τράπεζας;


Title:Eurogroup

Common links:Ευρωπαϊκή Ένωση;Ευρωπαϊκής Ένωσης;Ευρωπαϊκή Κεντρική Τράπεζα;Ευρωπαϊκής

Κεντρικής Τράπεζας;



13

Title:Ευρωπαϊκό Ταμείο Χρηματοπιστωτικής Σταθερότητας

Common links:Διεθνές Νομισματικό Ταμείο;Ευρωπαϊκής Ένωσης;Ευρωπαϊκή Κεντρική

Τράπεζα;Ευρωπαϊκής Κεντρικής Τράπεζας;


Title:Γενς Βάιντμαν

Common links:Διεθνές Νομισματικό Ταμείο;Διεθνούς Νομισματικού Ταμείου;Ευρωπαϊκή Κεντρική



Title:Δανειακή σύμβαση της Ελλάδας τον Μάιο του 2010

Common links:Πτώχευση κράτους;Διεθνές Νομισματικό Ταμείο;Ευρωπαϊκή Κεντρική



Title:Πραξούλα Αντωνιάδου

Common links:Διεθνούς Νομισματικού Ταμείου;Ευρωπαϊκή Ένωση;Ευρωπαϊκή Κεντρική



Title:Κριστίν Λαγκάρντ


Ένωση;Ευρωπαϊκής Ένωσης;


Title:Φιάνα Φάιλ




14


Title:Τομάσο Πάντοα - Σκιόππα


Τράπεζα;


Title:Ευρωπαϊκή Κεντρική Τράπεζα

Common links:Ευρωπαϊκή Ένωση;Ευρωπαϊκής Ένωσης;Ευρωπαϊκή Κεντρική Τράπεζα;


Title:Ιούνιος 2005

Common links:Ευρωπαϊκή Ένωση;Ευρωπαϊκής Ένωσης;Μάιος;


Title:Ευρώ



Title:Ευρωζώνη



Title:Σλοβακία

Common links:Διεθνές Νομισματικό Ταμείο;Ευρωπαϊκή Ένωση;Ευρωπαϊκής Ένωσης;



15

Title:Λεττονία



Title:Κυβέρνηση Λουκά Παπαδήμου 2011




Title:Ελληνικές ευρωεκλογές 2004



Title:Ράντοβαν Κάρατζιτς



Title:Τράπεζα της Ελλάδος



Title:Διεθνές Νομισματικό Ταμείο




16

Title:Εσθονία



Title:Τσεχία



Title:Βουλγαρία



Title:Συνθήκη της Λισαβόνας



Title:Λουξεμβούργο



Title:Αριάδνη (πρόγραμμα ΕΕ)

Common links:Ευρωπαϊκή Ένωση;Ευρωπαϊκής Ένωσης;



17

Title:Europeana



Title:Συνθήκη της Λισαβόνας (αποσαφήνιση)



Title:ETwinning



Title:Εισαγωγή αγαθών



Title:Αμοιβαιότητα



Title:Οικογενειακή επανένωση




18

Title:Αλλοδαπός



Title:Κεντρική Τράπεζα της Κύπρου

Common links:Ευρωπαϊκή Κεντρική Τράπεζα;Ευρωπαϊκής Κεντρικής Τράπεζας;


Title:Μηχανισμός Προενταξιακής Βοήθειας



Title:Ευρωπαϊκή Οικονομική και Κοινωνική Επιτροπή



Title:Νέα Δημοκρατία

Common links:Διεθνές Νομισματικό Ταμείο;Ευρωπαϊκή Ένωση;Ευρωπαϊκής Ένωσης;Ευρωπαϊκή

Κεντρική Τράπεζα;


Title:Ευρωπαϊκές Κοινότητες




19

Title:Μπενιάμινα Τίνγκα

Common links:Διεθνές Νομισματικό Ταμείο;Διεθνούς Νομισματικού Ταμείου;


Title:Τελωνειακός Κώδικας



Title:Λιθουανία



Title:Κοινή αγροτική πολιτική



Title:Eurodicautom



Title:Καλειδοσκόπιο (πρόγραμμα ΕΕ)




20

Title:Ανδρέας Γεωργίου (οικονομολόγος)

Common links:Διεθνές Νομισματικό Ταμείο;Διεθνούς Νομισματικού Ταμείου;


Title:Ευρωβουλευτής



Title:Ξενοδοχειακό Επιμελητήριο Ελλάδος



Title:Δικτυακή πύλη της ΕΕ για την υγεία



Title:Σύμβαση-Πλαίσιο των Ηνωμένων Εθνών για τις Κλιματικές Μεταβολές

