Επεξεργασία εγκεφαλογραφήματος για τη μελέτη της μουσικής προτίμησης

Επεξεργασία εγκεφαλογραφήματος για τη

μελέτη της μουσικής προτίμησης

Επεξεργασία ΣήματοςΠΡΟΜΕΣΙΠ 2011

Γκόντρα Πολυξένη Τσιλιγκύρη Αλεξάνδρα

Χειμαριώτης Άρης

Στόχος

Η μελέτη των μουσικών προτιμήσεων μέσω της στατιστικής ανάλυσης χαρακτηριστικών στοιχείων των εγκεφαλογραφημάτων (EEG) 9 συμμετεχόντων σε πείραματα που διεξήχθηκαν:Εύρεση ομοιοτήτων και διαφορών ανάλογα με

διαφορετικές συνθήκες των πειραμάτων: αρεστά, μη αρεστά, θόρυβος δεδομένου του επιπέδου της εξοικείωσης

Πειραματικό πρωτόκολλο (1)

Ακρόαση 75 ηχητικών αποσπασμάτων (επαναλήψεις)60 από μουσικά κομμάτια από 4 είδη μουσικής15 λευκός θόρυβος

Ερωτηματολόγιο μετά το πέρας του πειράματος σχετικά μεπόσο άρεσε στους συμμετέχοντες κάθε απόσπασμα [(5) Πολύ, (4)

Αρκετά, (3) Μέτρια, (2) Λίγο, (1) Καθόλου] πόσο εξοικειωμένοι ήταν με το κάθε απόσπασμα [(5) Πολύ, (4)

Αρκετά, (3) Μέτρια, (2) Λίγο, (1) Καθόλου]

14 μονοπολικά κανάλια καταγραφής τοποθετημένα συμμετρικά στο αριστερό και δεξί ημισφαίριο του εγκεφάλου

Πειραματικό πρωτόκολλο (2)

Κάθε επανάληψη του πειράματος διήρκησε 25,5 sec και συνίσταται από:0 – 3 sec: χαλάρωση3 sec: εμφανίζεται ένας σταυρός στο κέντρο της οθόνης

και παραμένει εκεί μέχρι το 19,5 sec.3,5 – 4 sec: τόνος που δηλώνει την έναρξη του μουσικού

κομματιού4 – 19 sec: ηχητικό απόσπασμα 19 – 19,5 sec: τόνος που δηλώνει το τέλος του ηχητικού

αποσπάσματος19,5 – 25,5 sec : ερωτηματολόγιο

Δεδομένα

Τα διαθέσιμα EEG σήματα προέρχονταιαπό 9 συμμετέχοντες στο πείραμααπό 4 από τα 14 διαθέσιμα κανάλια

καταγραφής: 1 – AF3, 2 – F3 (αριστερό εγκεφαλικό ημισφαίριο) και 3 – F4, 4 – AF4 (δεξί εγκεφαλικό ημισφαίριο)

από 5 διαφορετικές συνθήκες πειραμάτων

και είναι διάρκειας: 15 sec -> 15 sec × 128 δείγματα/sec =

1920 δείγματα όπου 128 είναι η συχνότητα

δειγματοληψίας του εγκεφαλογραφήματος

Συνθήκες πειραμάτων

5 κατηγορίες: Ακρόαση μουσικών κομματιών για τα οποία οι συμμετέχοντες απάντησαν ό,τι

Τους άρεσαν [(5) Πολύ, (4) Αρκετά] και τα γνώριζαν [(5) Πολύ, (4) Αρκετά] (dLF )

Τους άρεσαν [(5) Πολύ, (4) Αρκετά] και δεν τα γνώριζαν [(3) Μέτρια, (2) Λίγο, (1) Καθόλου] (dLUF )

Δεν τους άρεσαν [(3) Μέτρια, (2) Λίγο, (1) Καθόλου] και τα γνώριζαν [(5) Πολύ, (4) Αρκετά] (dDF )

Δεν τους άρεσαν [(3) Μέτρια, (2) Λίγο, (1) Καθόλου] και δεν τα γνώριζαν [(3) Μέτρια, (2) Λίγο, (1) Καθόλου] (dDUF )

Διαστήματα ακρόασης λευκού θορύβου (dN )

Επιμέρους βήματα

Φιλτράρισμα των σημάτων σε 4 ζώνες με χρήση ζωνοπερατών φίλτρων

Υπολογισμός spectrogram ανά σήμα και ανά κανάλιΥπολογισμός μέσου όρου spectogram για τις 5 διαφορετικές

κατηγορίες EEG (dLF, dLUF, dDF, dDUF και dN )Έυρεση τιμών της μέγιστης κορυφής, οι αντίστοιχες θέσεις

τους στο επίπεδο της συχνότητας και οι τιμές της φάσης για κάθε μέσο spectrogram

Οι χρονικές διάρκειες κατά τις οποίες το πλάτος του μέσου spectrogram ξεπερνά το 30% του εκάστοτε μεγίστου

Στατιστική ανάλυση

***Η υλοποίηση όλων των βημάτων έγινε με ανάπτυξηαντίστοιχων συναρτήσεων στο MATLAB

Φιλτράρισμα με φίλτρο Butterworth

Φιλτράρισμα σε 4 ζώνες:Alpha (8-12.5 Hz)

Beta1 (13-18 Hz)

Beta2 (18.5-24 Hz)

Beta3 (24.5-31.5 Hz)

Χρησιμοποιήθηκε Butterworth 3ης τάξης Όσο αυξάνεται η τάξη τόσο η καμπύλη απόκρισης γίνεται

επίπεδη και πλησιάζει του ιδανικού κατωδιαβατού/ανωδιανατού

Αφαίρεση μη ωφέλιμων μετρήσεων

Mετρήσεις με παρουσία κρουστικού θορύβου :Ο κρουστικός θόρυβος προκαλεί μεγάλες διαταραχές στο

πλάτος του σήματος, σύντομης χρονικής διάρκειας αλλά μεγάλου πλάτους με τη μορφή οξείας αιχμής

Στην περίπτωσή μας μετρήσεις με πλάτος >400 mV θεωρήθηκαν ως μη ωφέλιμες και το αντίστοιχο σήμα αφαιρέθηκε από τα δεδομένα προς ανάλυση.

Αφαίρεση με χρήση EEGLAB (eegthresh)

Spectrogram

Υπολογίστηκε ως εξής:

Short- time Fourier transform.

Χωρισμός σήματος σε 8 χρονικά διαστήματα.

Παράθυρο Hamming

50% επικάλυψη γειτονικών χρονικών διαστημάτων.

257 συχνότητες.

Μέσος όρος Spectograms

Ο υπολογισμός του φασματογραφήματος έγινε για όλες τις κατηγορίες, όλες τις ζώνες συχνοτήτων και όλα τα διαθέσιμα κανάλια καταγραφής. Στη συνέχεια, για κάθε μία από τις 5 κατηγορίες (DUF, DF, LUF, LF, N) υπολογίστηκε το μέσο φασματογράφημα για δεδομένη ζώνη συχνοτήτων και κανάλι καταγραφής. Έτσι λοιπόν προέκυψαν 5 πίνακες διάστασης 257 x 8 x 4 x 4

Mean Spectograms – Ζώνη Alpha

Mean Spectograms – Ζώνη Βeta1



Κορυφές spectograms

DUF

1ο κανάλι 2ο κανάλι 3ο κανάλι 4ο κανάλι

ΠλάτοςΣυχνότ.(Hz)

Φάση ΠλάτοςΣυχνότ.(Hz)

Φάση ΠλάτοςΣυχνότ. (Hz)


Φάση

Alpha (8-12.5 Hz)

15.59 9.25 1.23 12.74 11 1.76 12.47 10.5 1.85 14.38 11.75 -0.56

Beta1 (13-18 Hz)

14.91 13.5 2.33 10.45 16.5 0.47 16.66 15 -1.24 14.04 16.5 -1.27

Beta2(18.5-24 Hz)

26.11 22.75 2.56 19.87 23 -0.63 24.27 21.5 -2.97 23.03 22 -2.87

Beta3(24.5-31.5 Hz)

21.87 27.75 -2.02 14.51 27.75 3.07 21.81 29.5 3.04 20.23 28.5 -2.37


DF






Φάση

Alpha (8-12.5 Hz)

15.13 11.25 3.02 11.63 11 -0.8 18.62 11 -0.47 19.39 10.5 -0.09

Beta1 (13-18 Hz)

18.84 15.25 3.04 17.63 15.25 3.06 21.41 14.25 -2.33 23.97 14.25 -2.26

Beta2(18.5-24 Hz)

24.8 21.25 -3 17.48 21 1.33 29.28 21 1.09 27.58 21 -1.23

Beta3(24.5-31.5 Hz)

23.67 27 -1.7 18.33 25.75 2.77 24.95 30.25 -0.45 24.32 27.25 1.38


LUF






Φάση

Alpha (8-12.5 Hz)

32.75 11.25 -3.07 24.75 11.25 -3.02 32.2 11.25 2.99 32.92 11.25 -3.06

Beta1 (13-18 Hz)

50.58 15.25 -1.04 37.49 15.25 -1.02 35.33 16.25 2.64 54.1 16 0.41

Beta2(18.5-24 Hz)

52.79 20.75 -2.38 40.1 20.75 -2.46 51.03 19.75 -3.08 47.42 20 0.57

Beta3(24.5-31.5 Hz)

42.28 27.5 -1.94 47 27.75 0.78 54.34 27.5 -1.9 49.7 27.25 0.34


LF






Φάση

Alpha (8-12.5 Hz)

22.92 10.75 -0.6 20.9 10.75 -0.6 27.5 10.75 -0.26 26.17 11.25 -1.34

Beta1 (13-18 Hz)

26.9 16 -1.25 23.7 14.25 -2.03 35.01 16.75 -0.62 32.43 15.75 0.88

Beta2(18.5-24 Hz)

31.7 23.25 0.97 30.87 21.25 -0.23 41 21.25 -0.55 42.21 22 2.82

Beta3(24.5-31.5 Hz)

32.77 25.75 -1.42 25.24 25.75 0.13 35.04 28.25 -0.44 28.58 25.75 -1.87


N






Φάση

Alpha (8-12.5 Hz)

15.49 10.25 -2.37 11.11 9.5 -1.77 17.37 11.75 -2.58 18.45 10 -0.75

Beta1 (13-18 Hz)

24.62 14.25 -1.27 18.52 16.5 2.77 25.71 15.5 -0.65 28.58 16.5 2.9

Beta2(18.5-24 Hz)

31.49 21.5 2.31 21.48 22.25 1.19 27.43 21.5 2.33 26.87 21.75 -0.94

Beta3(24.5-31.5 Hz)

31.7 29.75 2.51 29.06 28 2.34 29.85 29.5 -1.81 34.89 28 2.23

30% Spectrogram

Εκτός από την κορυφή του κάθε spectrogram υπολογίστηκαν και οι χρονικές και συχνοτικές περιοχές όπου το πλάτος του spectrogram ήταν πάνω από το 30% του μέγιστου πλάτους.

Στατιστική ανάλυση

Χρήση μη-παραμετρικών τεστ για εύρεση ανεξαρτησίας (διαφορών) - Wilcoxon και μη ανεξαρτησίας (ομοιότητες) – Spearman.

Χρήση ταξινομητών naive Bayes, SVM, k-Nearest Neighbor για εκτίμηση ομοιοτήτων.

Μη παραμετρικά τεστ

Με τους ελέγχους στατιστικής σημαντικότητας ελέγχεται αν μπορεί να απορριφθεί μια μηδενική υπόθεση (null hypothesis) ή όχι.

Η μηδενική υπόθεση απορρίπτεται ανάλογα με το παρατηρούμενο στατιστικό επίπεδο σημαντικότηταςρ<=0.05 η μηδενική υπόθεση απορρίπτεταιρ>0.05 δεν μπορούμε να εξάγουμε κάποιο στατιστικώς σημαντικό

συμπέρασμα

Όταν κάνουμε έναν έλεγχο υπόθεσης χωρίς να υποθέτουμε ότι τα δεδομένα ακολουθούν κάποια γνωστή κατανομή (π.χ. κανονική), χρησιμοποιούμε μη παραμετρική στατιστική.

Wilcoxon Test (1/2)

Mη παραμετρική μέθοδος για την εύρεση διαφορών που εμφανίζονται στις διαφορετικές συνθήκες των πειραμάτων (αρεστά, μη αρεστά, θόρυβος δεδομένου του επιπέδου της εξοικείωσης).Wilcoxon rank sum test

Μηδενική υπόθεση υπό έλεγχο: τα δεδομένα υπό σύγκριση (Χ,Υ) είναι ανεξάρτητα δείγματα από όμοιες συνεχείς κατανομές με ίσες διαμέσους, έναντι της εναλλακτικής ότι δεν έχουν ίσες διαμέσους

X και Y μπορούν να έχουν διαφορετικά μήκη

Signed rank test Τα δεδομένα Χ, Υ προέρχομαι από μια συνεχή, συμμετρική κατανομή με

μηδενική διάμεσο, έναντι της εναλλακτικής ότι η κατανομή δεν έχει μηδενική διαμέσο

X και Y δεν μπορούν να έχουν διαφορετικά μήκη

Wilcoxon Test (2/2)

Ζεύγη συγκρίσεων:

LF-LUF LF-DF LF-DUF LF-N DF-DUFDF-LUF DF-N LUF-DUF LUF-NDUF-N

Σύγκριση για κάθε ζεύγοςSigned Rank test: Τιμών, συχνοτήτων και φάσεων στο μέγιστο του

spectogram ανά ζώνη συχνοτήτων & ανεξαρτήτως αυτών (150 συγκρίσεις) .

Wilcoxon Rank Sum test: Τιμών άνω του 30% της μέγιστης κορυφής και των αντίστοιχων χρονικών διαστημάτων ανά ζώνη συχνοτήτων ανεξαρτήτως καναλιού & ανά ζώνη συχνοτήτων και ανά κανάλι (400 συγκρίσεις).

Αποτελέσματα (1/2)

Η μηδενική υπόθεση απορρίφθηκε (p<=0.05) στην περίπτωση αναμενόμενων διαφορών είτε έδωσε συμπεράσματα που δεν μπορούσαν να ερμηνευτούν.

Είτε τα χαρακτηριστικά που επιλέχθηκαν να μελετηθούν δεν ήταν κατάλληλα για τα δεδομένα μας είτε το Wilcoxon test δεν είναι η κατάλληλη στατιστική μέθοδος για το πρόβλημα μας


Περιπτώσεις απόρριψης της μηδενικής υπόθεσης

Όταν δεν λαμβάνουμε υπόψηνΤη ζώνη συχνοτήτων για τις μέγιστεςΤιμές βλέπουμε διαφορές για όλα τα ζεύγη!!!!

Spearman (1/2)

Μη παραμετρική μέθοδος για την εύρεση ομοιοτήτων που εμφανίζονται στις διαφορετικές συνθήκες των πειραμάτων (αρεστά, μη αρεστά, θόρυβος δεδομένου του επιπέδου της εξοικείωσης)Μηδενική υπόθεση: Τα δεδομένα Χ, Υ δεν παρουσιάζουν

συσχέτιση.Ευρέως γνωστός ως δείκτης συνάφειας και

χρησιμοποιείται για την μελέτη του είδους και του μεγέθους της γραμμικής σχέσης δεδομένων Χ, Υ.

Τιμές από -1 έως +1.

Spearman (1/2)

Ζεύγη συγκρίσεων:

LF-LUF LF-DF LF-DUF LF-N DF-DUFDF-LUF DF-N LUF-DUF LUF-N DUF-N

Σύγκριση για κάθε ζεύγος Τιμών της μέγιστης κορυφής στα μέσα spectrogram, των

αντίστοιχων συχνοτήτων και φάσεων ανά ζώνη συχνοτήτων (120 περιπτώσεις)


Παντού το επίπεδο σημαντικότητας >0.05Η μέθοδος δεν είναι κατάλληλη για την μελέτη

συσχετίσεων στα δεδομένα μας είτε η επιλογή των χαρακτηριστικών δεν ήταν κατάλληλη

Spearman Correlation Coefficients Ζώνη Beta1 (13-18 Hz)

Spearman Correlation Coefficients Ζώνη Alpha (8-12.5 Hz)


Spearman Correlation Coefficients Ζώνη Beta2 (18.5-24 Hz)

Spearman Correlation Coefficients Beta3 (24.5 – 31.5 Hz)

Ταξινομητές (1/2)

Με χρήση naive Bayesian classifiers και nearest neighbor classifiers, μελετήθηκε η δυνατότητα ταξινόμησης μεταξύτων 5 γνωστών κατηγοριών: DUF, DF, LUF, LF, N.των 3 κατηγοριών: Μη αρεστό, Αρεστό, Λευκός

Θόρυβος.Στην κατηγορία «Μη αρεστό» συγχωνεύτηκαν οι κατηγορίες

DUF και DF ενώ στην κατηγορία «Αρεστό» συγχωνεύτηκαν οι κατηγορίες LUF και LF.

Ταξινομητές (2/2)

Δημιουργήθηκαν 672 διανύσματα χαρακτηριστικών (feature vectors)

Με cross validation το σύνολο των 672 διανυσμάτων χαρακτηριστικών χωρίζονται σε 10 κατηγορίες

9 κατηγορίες χρησιμοποιούνται για την εκπαίδευση του ταξινομητή και η 10η κατηγορία για τη δοκιμή του

H διαδικασία επαναλαμβάνεται 10x10 φορές ώστε να συμπεριληφθηθούν όλες οι κατηγορίες για training & testing

Οι ταξινομητές εκτιμήθηκαν με βάση τους συντελεστές σωστής και λάθος ταξινόμησης (correct Rate και error Rate).

Naive Bayesian Ταξινόμηση

Το διάνυσμα χαρακτηριστικών λαμβάνεται ως ανεξάρτητη, των υπολοίπων χαρακτηριστικών, μεταβλητή-> διακρίνουσα ανάλυση (discriminant analysis)

Διακρίνουσας συνάρτηση που χρησιμοποιήθηκεdiagquadratic

•

Αποτελέσματα

Ταξινόμηση σε 5 ομάδες

Συντελεστής λάθους > από τον συντελεστή τυχαιότητας (>50%)οι 5 κατηγορίες δεν μπορούν να διακριθούν μεταξύ τους με τα διαθέσιμα δεδομένα και με χρήση του naive Bayesian μοντέλου.

Ταξινόμηση σε 3 ομάδες Καλύτερος συντελεστής λάθους σε σχέση με εκείνον για 5 ομάδες αλλά κα πάλι υψηλός (>50%)

Μη αποτελεσματικός ταξινομητής

Ταξινόμηση k-Κοντινότερων Γειτόνων

Το αντικείμενο ταξινομείται σε μία από τις υποψήφιες κλάσεις με βάση την πλειοψηφία των γνωστών αντικειμένων που βρίσκονται στην k- γειτονία του Για τα δεδομένα μας k=300 μετά από δοκιμές test and

error

Αποτελέσματα

Ταξινόμηση σε 5 ομάδες

Συντελεστής λάθους υψηλήοι 5 κατηγορίες δεν μπορούν να διακριθούν μεταξύ τους με τα διαθέσιμα δεδομένα και με χρήση του k-κοντινότερων γειτόνων

Ταξινόμηση σε 3 ομάδες Καλύτερος συντελεστής λάθους σε σχέση με εκείνον για 5 ομάδες αλλά κα πάλι υψηλός

Μη αποτελεσματικός ταξινομητής

Ταξινόμηση με Support Vector Machine

Χρησιμοποιείται για να διαπιστωθούν διαφορές και ομοιότητες στα εγκεφαλογραφήματα δύο ομάδων πειραμάτων (DUF-DF, DUF-LUF, DUF-LF, DUF-N, DF-LF, DF-LUF, LF-LUF, DF-N, LF-N)


Αρεστό – Γνωστό (LF) : Μέτρια ταξινόμηση (~30% μέσο σφάλμα) με τις ομάδες LUF και DUF

Χειρότερη(~40% σφάλμα) με τις ομάδες DF-N.

Αρεστό – Άγνωστο (LUF): Kατά σειρά, γίνεται καλύτερη ταξινόμηση με τις ομάδες DUF, DF, N , LF .

Μεγαλύτερη διαφορά στα χαρακτηριστικά παρατηρείται με την ομάδα DUF και μικρότερη με την ομάδα LF.

Μη αρεστό – Γνωστό (DF): Καλύτερη ταξινόμηση με την ομάδα LUF , μέτρια με την ομάδα LF

χειρότερη με τις ομάδες DUF,NΜεγαλύτερες διαφορές με τις ομάδες LUF,LF και μικρότερες με τις DUF,N.


Μη αρεστό – Άγνωστο (DUF):Καλύτερη ταξινόμηση με την ομάδα LUF, μέτρια με την

ομάδα LF και χειρότερη με τις ομάδες DF,NΜεγαλύτερες διαφορές με τις ομάδες LUF,LF και μικρότερες

με τις DF,N.

Λευκός Θόρυβος (Ν): Καλύτερη ταξινόμηση με την ομάδα LUF και έπειτα με

την DUF. Πολύ κακή(~45%) με τις LF , DF.

Συμπεράσματα (1/2)

Η χρήση μη παραμετρικών τεστ δεν μπορεί να οδηγήσει σε συμπεράσματα σε σχέση με ομοιότητες και διαφορές μεταξύ διαφορετικών συνθηκών του πειράματος Χαμηλό επίπεδο σημαντικότητας p>0.05

Η χρήση naive Bayesian classifiers και nearest neighbor classifiers για ταξινόμηση δεν είναι αποτελεσματική Υψηλοί συντελεστές σφάλματος

Συμπεράσματα (2/2)

Με χρήση SVM, υπάρχει η δυνατότητα αν δοθεί ένα EEG ατόμου που ακροάστηκε ένα μουσικό κομμάτι να διαπιστωθεί με μεγάλη αξιοπιστία: Ότι ήταν άγνωστο το κομμάτι και είτε του άρεσε είτε δεν

του άρεσε.Ότι ήταν άγνωστο το κομμάτι και του άρεσε ή ότι ήταν

γνωστό και δεν του άρεσε.Ότι του άρεσε ένα άγνωστο μουσικό κομμάτι ή ότι

άκουσε ένα απόσπασμα λευκού θορύβου.

Μελλοντικές Επεκτάσεις

Χρήση διαφορετικών χαρακτηριστικών από τα EEGs.

Χρήση στατιστικής ανώτερης τάξης, όπως κυρτότητα ή σωρείτες του φασματογραφήματος

Ευχαριστούμε !

Documents

Επεξεργασία εγκεφαλογραφήματος για τη μελέτη της μουσικής προτίμησης