Müzik Türlerinin Co-MRMR ile S�n�fland�r�lmas� Audio Genre Classification with Co-MRMR

Yusuf Yaslan, Zehra Çataltepe

Bilgisayar Mühendisli�i Bölümü �stanbul Teknik Üniversitesi, Maslak �stanbul

{yyaslan, cataltepe}@itu.edu.tr

Özetçe Çok say�da öznitelik vektörü ve etiketsiz verinin bulundu�u s�n�fland�rma problemlerinde, Birlikte Ö�renme algoritmas� (Co-training) kullan�larak iki s�n�fland�r�c� e�itilip, etiketsiz veriler özyineli olarak etiketlendirilebilir ve sonuç s�n�fland�r�c�lar birle�tirilebilir. Birlikte Ö�renme algoritmas� özellikle veri etiketlemenin pahal�, zor oldu�u ve az etiketli verilerin bulundu�u durumlarda s�n�fland�rma ba�ar�m�n� artt�rabilir. Bu çal��mada, bütün özniteliklerden seçilen de�i�ik altkümeleri kullanan s�n�fland�r�c�lar�n e�itilmesi ve daha sonra birlikte ö�renmesine dayanan Co-MRMR algoritmas� müzik türlerinin s�n�fland�r�lmas� için kullan�lm��t�r. Öznitelik vektörleri, MRMR (Minimum Redundancy Maximum Relevance, En Küçük Art�kl�k En Büyük �lgililik) öznitelik seçme algoritmas� kullan�larak seçilmektedir. Marsyas ve Music Miner yaz�l�mlar� ile elde edilmi� iki öznitelik kümesi Birlikte Ö�renme algoritmas� için kullan�lm��t�r. Co-MRMR algoritmas� daha önce Wang v.d. taraf�ndan 2008’de önerilmi� olan rasgele altküme algoritmas� RASCO’dan ve geleneksel Birlikte Ö�renme algoritmas�ndan daha iyi sonuç vermi�tir.

Abstract

In a classification problem, when there are multiple feature views and unlabeled examples, Co-training can be used to train two separate classifiers, label the unlabeled data points iteratively and then combine the resulting classifiers. Especially when the number of labeled examples is small due to expense or difficulty of obtaining labels, Co-training can improve classifier performance. In this paper, Co-MRMR algorithm which uses classifiers trained on different feature subsets for Co-training is used for audio music genre classification. The features are selected with MRMR (minimum redundancy maximum relevance)feature selection algorithm. Two different feature sets, obtained from Marsyas and Music Miner software are evaluated for Co-training. Experimental results show that Co-MRMR gives better results than the random subspace method for Co-training (RASCO) which was suggested by Wang et al. in 2008 and traditional Co-training algorithm.

1. Giri� Günümüzde birçok örüntü tan�ma probleminde, etiketli veri ile birlikte çok say�da etiketsiz veri de bulunmaktad�r. Etiketsiz veriler özellikle, veriye eri�imin kolay fakat bunlar� etiketlemenin zor oldu�u gerçek problemlerde kar��m�za ç�kmaktad�r [1]. Örne�in web sayfalar�n� içeren birçok sunucudan web dokümanlar� ya da resimleri elde edilebilmektedir. Fakat bunlar�n s�n�fland�r�lmas� zaman gerektiren güç bir i�tir. Benzer olarak biyoinformatikte protein bilgilerini içeren birçok veri taban� bulunmakta fakat bunlar�n fonksiyonlar�n�n belirlenmesinde problem ya�anmaktad�r. Di�er bir problem ise müzik türlerinin s�n�fland�r�lmas�d�r. �nternet ve ço�ul ortam sistemlerinin artmas� müzik verisine eri�imi kolayla�t�rm�� olmas�na ra�men türlerin s�n�fland�r�lmas� i�lemi zor, uzun zaman gerektiren i�lemlerdir. Geleneksel müzik s�n�fland�rma sistemleri e�iticili sistemler olup çok say�da etiketli veriye ihtiyaç duymaktad�rlar. Bazen verinin %90’� e�itim için kullan�labilmektedir [2]. Bu tür durumlarda yar� e�iticili algoritmalardan yararlan�labilmektedir. Literatürde müzik türlerinin s�n�fland�r�lmas� için verilmi� birçok algoritma bulunmaktad�r [3, 4, 5]. Benzer olarak bu algoritmalar�n kulland��� s�f�r geçi�leri, i�aret bant geni�li�i, Mel Frekans kepstrum katsay�lar�, bant enerji oranlar�, izgesel merkez, gibi birçok öznitelik vektörleri tan�mlanm��t�r [5]. Genel olarak birden fazla farkl� �ekilde elde edilmi� öznitelik uzaylar�n�n oldu�u durumlarda tek bir öznitelik uzay� olu�turmak üzere tüm öznitelik vektörleri birle�tirilebilir. Fakat bu, bazen s�n�fland�rma ba�ar�m� aç�s�ndan problemler do�urabilmektedir [2]. Örne�in birle�tirilen öznitelik vektör uzaylar� fiziksel anlamlar�n� kaybedebilmekte veya öznitelik fazlal��� olu�abilmektedir. Birlikte ö�renme algoritmas� [6] farkl� iki öznitelik uzay�n�n bulundu�u durumlarda, iki s�n�fland�r�c� e�iterek etiketsiz verileri özyineli olarak etiketlendirmektedir. [2]’de Xu ve arkada�lar� Birlikte Ö�renme algoritmas�n� kullanarak klasik, pop ve metal türlerinin s�n�fland�rmas�n� gerçekle�tirmi�lerdir. Bu çal��mada Co-MRMR algoritmas� klasik, jaz, pop, hiphop ve rege müzik türlerinin s�n�fland�r�lmas� için kullan�lm�� ve di�er algoritmalarla k�yaslanm��t�r. Co-MRMR algoritmas� farkl� s�n�fland�r�c�lar� MRMR öznitelik seçme yöntemi ile elde edilen öznitelik vektörleriyle birlikte e�itmektedir. Test sonuçlar� Co-MRMR algoritmas�n�n RASCO ve Birlikte

978-1-4244-4436-6/09/$25.00 ©2009 IEEE 408

Ö�renme algoritmas�ndan daha iyi ba�ar�m verdi�ini göstermektedir.

2. Birlikte Ö�renme ve RASCO Birlikte Ö�renme algoritmas� farkl� öznitelik uzay�nda iki s�n�fland�r�c� e�iterek etiketsiz verileri özyineli olarak etiketlendirmeyi ve her bir s�n�fland�r�c�n�n ba�ar�m�n� artt�rmay� hedefleyen bir algoritmad�r. Birlikte Ö�renme algoritmas� Algoritma 1’de verilmi�tir. Algoritma 1’de FB1 Bve FB2B farkl� iki öznitelik uzay�n�, U etiketsiz verileri, L etiketli verileri, CB1 B(CB2B) etiketli veri kümesinin FB1 B(FB2B) öznitelik uzay� üzerinde e�itilmi� s�n�fland�r�c�y� göstermektedir. u etiketsiz veriden seçilecek örnek say�s�n�, n yineleme say�s�n� göstermektedir. UP

|P olarak,

U’nun tamam� da seçilebilir. Birlikte ö�renme s�ras�nda her bir s�n�fland�r�c� her bir s�n�f için en emin oldu�u bir etiketsiz örne�i etiketlemekte ve bunu etiketli veri kümesi içerisine atmaktad�r. [6]’da iki s�n�fl� s�n�fland�rma problemi için, p pozitif s�n�flar� n negatif s�n�flar� göstermek üzere, her bir s�n�fland�r�c� p+ n adet etiketsiz veriyi etiketlemektedir. Çal��mam�zda daha her bir s�n�fland�r�c� her s�n�f için s�n�f ba��na en emin oldu�u bir adet etiketsiz veriyi etiketli veri kümesine katmaktad�r. UAlgoritma 1: Birlikte Ö�renme Algoritmas� U’= Select u random examples from U for i = 1 to n do for j = 1 to 2 do

Train CBjB on FBjB

Classify UP

| Pby CBjB

Select most surely classified example on UP

|P

Remove this example from UP

| P and add to L

end for end for Genel olarak öznitelik vektörleri birbirleri aras�nda uyumlu (compatible) ve ko�ullu ba��ms�z (conditionally independent) ise Birlikte Ö�renme algoritmas� s�n�fland�rma ba�ar�m�n� artt�rmaktad�r [6]. Fakat bu iki özelli�i sa�lamak genellikle zordur. Bu problemi ortadan kald�rmak üzere, rasgele altküme yönteminin Birlikte Ö�renme algoritmas� ile birle�imi (RASCO) önerilmi�tir [7]. RASCO farkl� iki öznitelik vektörü uzay� üzerinde s�n�fland�r�c� e�itmek yerine, önce bütün öznitelikleri bir araya getirip F=FB1BUFB2B kümesini olu�turur. Daha sonra farkl� K adet, CBk B(k =1,…,K) s�n�fland�r�c�s�n�, F’den seçilmi� LBkB öznitelik alt uzay�nda e�itmektedir. RASCO algoritmas�, FB1B ve FB2B uzaylar�n bulunmad���, F uzay�n�n yeteri kadar büyük oldu�u tek bir uzay üzerinde de çal��abilmektedir. RASCO algoritmas� Algoritma 2’de verilmi�tir. Algoritmada VP pozitif s�n�flar için, VN ise negatif s�n�flar için seçilmi� etiketsiz verilerin kümesini temsil etmektedir. UAlgoritma 2: RASCO Randomly choose m dimensional subspaces for K times for j = 0 to J do Project L to each of the subspace to get LBkB (1 � k � K) Use each LBkB to train CBkB

Use each CBkB to predict the labels of unlabeled data Let C(q) = (1/K)�C(q)BkB , and q be an example to be Co-MRMR algoritmas� her bir öznitelik vektörü için MRMR

öznitelik seçme algoritmas�n� kullanarak öznitelik classified

if C(q)� 0 then put q into VP else put q into VN end if for VP and VN select qP

|P, qP

|P = argmax(|C(q)|)

put qP

|P into LBjB

Update L LULj , Lj Ø ; end for RASCO algoritmas� Birlikte Ö�renme ve Üçlü Ö�renme (Tri-training) [8] algoritmalar� ile kar��la�t�r�lm�� ve RASCO algoritmas�n�n daha iyi sonuç verdi�i gösterilmi�tir [7]. Öte yandan birçok gerçek veri kümesinde öznitelik vektörleri aras�nda ilinti bulunabilmektedir. RASCO öznitelik vektörlerini rasgele seçti�inden, birbiri ile ilintili öznitelikler ayn� alt kümede bulunabilmekte ve dolay�s�yla her bir s�n�fland�r�c�n�n ba�ar�m� azalabilmektedir. Öznitelik vektörleri aras�nda ili�kinin bulundu�u durumlarda, birçok çal��mada öznitelik seçme algoritmalar� kullan�labilmektedir. Genellikle öznitelik seçme algoritmalar� [9] daha küçük uzayda ve daha fazla ay�rt edici özelliklere sahip öznitelikleri bulmay� amaçlamaktad�r. Bu çal��mada, birçok veri taban�nda ba�ar�l� ve h�zl� sonuçlar verdi�i gözlemlenen MRMR öznitelik seçme algoritmas� RASCO algoritmas� ile tümle�tirilmi� ve yeni algoritma, Co-MRMR, kullan�larak müzik türleri s�n�fland�r�lm��t�r.

3. Co-MRMR Algoritmas� Bu bölümde öncelikli olarak MRMR öznitelik seçme algoritmas� aç�klanacak daha sonra Co-MRMR algoritmas� tan�t�lacakt�r.

3.1. MRMR Öznitelik Seçme Algoritmas�

Birçok s�n�fland�rma probleminde, birbirleriyle ilintili öznitelik uzay�ndan iyi öznitelik altkümesi seçmek önemli bir i�lemdir. Öznitelik seçme i�leminin öznitelik uzay�n� azaltma ve bu sayede i�lem zaman�n� dü�ürme, gürültüyü azaltma ve daha iyi ve ay�rt edici öznitelikleri belirleme gibi faydalar� vard�r. Genel olarak öznitelikler filtreleme (filtering methods) veya s�n�fland�r�c� ba�ar�mlar� (wrapper methods) dikkate al�narak seçilmektedir [9]. S�n�fland�r�c� ba�ar�m�na göre gerçekle�tirilen öznitelik seçme algoritmalar� iyi sonuç vermekle birlikte e�itim kümesi için çok say�da örnek ve zamana ihtiyaç duymaktad�rlar. MRMR öznitelik seçme algoritmas� önce öznitelikleri s�n�f etiketlerine olan ilgilerine (relevance) göre s�ralar. MRMR ayn� zamanda seçilmi� öznitelik kümesi ile en az ilintili olan öznitelik vektörünü seçmeyi amaçlar. MRMR öznitelik-öznitelik ve öznitelik-etiketler aras� benzerlik miktar�n� hesaplamak için kar��l�kl� bilgi miktar�n� (mutual information) kullanmaktad�r. Daha detayl� bilgiye [10]’dan ula��labilir.

3.2. Co-MRMR

978-1-4244-4436-6/09/$25.00 ©2009 IEEE 409

altkümelerini elde etmektedir [11]. Co-MRMR algoritmas� öncelikli olarak etiketli e�itim kümesi içerisindeki öznitelik vektörlerini ayr�kla�t�r�r. Sonraki a�amada d adet öznitelik vektörü için ilgililik (relevance) de�erlerinden elde edilen Q de�erleri, toplamlar� 1 olacak �ekilde normalize edilir ve öznitelik vektörleri için olas�l�k da��l�m fonksiyonu olu�turulur. Her bir alt küme için öncelikli olarak turnuva seçme yöntemi kullan�larak mP

| Padet öznitelik vektörü seçilir ve

DBiB kümesi olu�turulur. SBiB öznitelik altkümesi MRMR algoritmas�n�n DBi Bkümesi üzerinde buldu�u en iyi m adet öznitelik vektörünün seçilmesi ile olu�turulur. RASCO algoritmas�nda oldu�u gibi s�n�fland�r�c�lar SB1B,…,SBKB altkümeleri üzerinde e�itilir. Sonuç s�n�fland�r�c� olu�turulmu� s�n�fland�r�c�lar�n ço�unluk de�erine (majority vote) göre belirlenir. Algoritma belirli bir yineleme süresince etiketsiz veri kümesindeki verileri etiketleyerek, etiketli veri kümesini geni�letir. Co-MRMR algoritmas� Algoritma 3’te verilmi�tir. UAlgoritma 3: Co-MRMR Discretize(L) Q = Relevance(L) Q = Normalize(Q) for j = 1 to K do DBiBTournamentSelection(Q, mP

|P )

SBj B MRMR(DBiB,m) end for for i = 1 to I do for j = 1 to K do Train classifier CBjB using SBjB

end for Label examples on U by using C = (1/K)�CBk Select one most surely classified example from U for each class and add them to L. end for �ekil 1’de l etiket bilgisini göstermek üzere Co-MRMR, RASCO ve Birlikte Ö�renme algoritmalar�, kulland�klar� öznitelik uzaylar� ile birlikte gösterilmi�tir.

4. Veri Kümesi ve Test Sonuçlar� Veri kümesi olarak [5]’de verilmi� birbirleri ile en az kar��an klasik, jaz, pop, hiphop ve rege müzik türleri kullan�lm��t�r. Veri taban�nda her müzik türü için toplam 100 adet müzik dosyas� bulunmaktad�r. Benzer bir çal��ma daha önce Birlikte Ö�renme algoritmas� kullan�larak klasik, pop ve metal s�n�flar� için gerçekle�tirilmi�tir [2]. Xu ve arkada�lar� s�n�fland�r�c� olarak K En yak�n Kom�uluk (KNN) algoritmas�n� kullanm��lard�r. Bu çal��mada test sonuçlar� PRTools’ daki KNN(optimum) algoritmas� kullan�larak elde edilmi�tir[11].

4.1. Öznitelik Vektörleri

Bu çal��mada s�n�fland�r�c�lar�n kullanmas� için farkl� 2 tür öznitelik vektörü elde edilmi�tir. Öncelikli olarak [5]’te belirtilen 30 boyutlu öznitelik vektörleri MARSYAS yaz�l�m� kullan�larak ç�kar�lm��t�r. Bu öznitelikler 6 boyutlu Beat, 9 boyutlu STFT, 10 boyutlu MFCC ve 5 boyutlu MPITCH öznitelikleridir. Bu öznitelik vektörleri ile ilgili detayl� bilgi [5]‘te bulunabilir. MARSYAS öznitelik vektörlerinin tamam� Birlikte Ö�renme algoritmas� için FB1B öznitelik uzay� olarak seçilmi�tir. Benzer olarak [12]’da verilmi� Databionic Music Miner yaz�l�m� kullan�larak 20 adet en iyi ba�ar�m gösteren

öznitelik vektörü elde edilmi�tir. Bu öznitelik vektörleri dü�ük ve yüksek seviyeli (low and high level) birçok öznitelik vektöründen ç�kar�lm��t�r. Daha detayl� bilgi [12]’den elde edilebilir. Music Miner ile elde edilmi� öznitelik vektörlerinin tamam� Birlikte Ö�renme algoritmas� için FB2B öznitelik uzay� olarak seçilmi�tir. RASCO ve Co-MRMR her iki öznitelik uzay�n�n birle�imi ile elde edilen F üzerinde çal��t�r�lm��t�r.

Co-training

FB Bl LB1B LB2B … LBKB l

FB1 BFB2 Bl

Co-MRMR

FB Bl LB1B LB2B … LBKB l

Random Subspace Method

…

RASCO

MRMR + Random Subspace Method

…

ekil 1: Birlikte Ö�renme, RASCO ve co-MRMR algoritmalar�n�n kulland�klar� öznitelik uzaylar�.

4.2. Test Sonuçlar�

Test sonuçlar� için öncelikli olarak tüm veri kümesi test ve e�itim kümeleri olmak üzere e�it iki bölüme ayr�lm��t�r. E�itim kümesi de etiketli ve etiketsiz e�itim kümesi olmak üzere iki parçaya bölünmü�tür. Öncelikli olarak her bir s�n�f için 10 adet etiketli veri ile s�n�fland�r�c�lar e�itilmi� ve yinelemeli olarak etiketsiz veriler etiketlenerek etiketli e�itim kümesine eklenmi�tir. 20 yineleme için elde edilmi� sonuçlar �ekil 1’de gösterilmi�tir. Sonuçlar 10 adet rasgele yürütme ile elde edilmi� ve her bir yöntem için ortalaman�n standart ba�ar�mlar� verilmi�tir. Co-MRMR ve RASCO algoritmas� için seçilen öznitelik vektörü boyutu m = 25 ve s�n�fland�r�c� say�s� K = 5 olarak al�nm��t�r. Co-MRMR’da mP

| P25 olarak

al�nm��t�r. Birlikte Ö�renme algoritmas� yinelemelerde farkl� say�da etiketsiz veriyi etiketli veri kümesine ekledi�i için 10 yineleme ile sonuçland�r�lm��t�r. Birlikte Ö�renme algoritmas�n�n ba�lang�ç ba�ar�m� 67.60±1.51 ve 10 yineleme sonucundaki ba�ar�m� 74±1.08 olarak elde edilmi�tir. Co-MRMR ve RASCO algoritmalar� ilk birkaç yinelemede birbirlerine yak�n sonuçlar vermekle birlikte Co-MRMR algoritmas� RASCO’dan daha iyi ba�ar�m göstermektedir. Eklenen veri say�s� artt�kça her iki algoritman�n ba�ar�m� da

978-1-4244-4436-6/09/$25.00 ©2009 IEEE 410

artmaktad�r ve CoMRMR algoritmas� yinelemeler sonunda %80’e yak�n ba�ar�ma ula�m��lard�r. �ki algoritma da Birlikte Ö�renme algoritmas�ndan çok daha yüksek ba�ar�m göstermektedir.

0 5 10 15 2070

72

74

76

78

80

82

84

Yineleme

Sini

fland

irma

Bas

arim

i

CoMRMRRASCO

ekil 2: Co-MRMR ve RASCO algoritmalar�n�n yineleme say�s�na ba�l� s�n�fland�rma ba�ar�m�. Her bir s�n�f için ba�lang�çtaki etiketli veri say�s� = 5. E�itim kümesindeki etiketli veri say�s� her bir s�n�f için 10’a ç�kar�lm�� ve benzer sonuçlar ayn� parametreler için �ekil 3’de gösterilmi�tir. Birlikte Ö�renme algoritmas�n�n ba�lang�ç ba�ar�m� 71.28±1.43 ve 10 yineleme sonucundaki ba�ar�m� 76.16±1.64. Co-MRMR algoritmas� yinelemelerin tamam�nda RASCO’dan daha iyi ba�ar�m göstermekte ve 20 yineleme sonunda %83.08 s�n�fland�rma ba�ar�m�na ula�maktad�r. Etiketli verinin artmas� her üç algoritmada da ba�ar�m art�m�na neden olmaktad�r. Co-MRMR algoritmas�, özellikle s�n�fland�rma için de�erli öznitelikleri seçti�i için, eklenen etiketli verilerin s�n�fland�rma ba�ar�m�ndaki faydas�n� RASCO’dan daha fazla görmektedir.

0 5 10 15 2074

76

78

80

82

84

Yineleme

Sini

fland

irma

Bas

arim

i

CoMRMRRASCO

ekil 3: Co-MRMR ve RASCO algoritmalar�n�n yineleme say�s�na ba�l� s�n�fland�rma ba�ar�m�. Her bir s�n�f için ba�lang�çtaki etiketli veri say�s� = 10.

5. Sonuçlar Bu bildiride Co-MRMR algoritmas� müzik türlerinin s�n�fland�r�lmas� için kullan�lm�� ve ba�ar�m� RASCO ve

Birlikte Ö�renme algoritmalar� ile k�yaslanm��t�r. Co-MRMR algoritmas� iki algoritmadan da çok daha iyi ba�ar�m göstermektedir. �leriki çal��malarda s�n�f say�s�n�n artt�r�lmas� ve s�n�fland�r�c� olarak Karar Destek Makinelerinin kullan�lmas� planlanmaktad�r. Benzer olarak yüksek boyutlu öznitelik uzaylar�nda önerilen algoritman�n ba�ar�m� incelenecektir.

6. Kaynakça [1] Yaslan Y. and Cataltepe Z. “Co-training with adaptive

bayesian classifier combination” In International Symposium on Computer and Information Sciences (ISCIS2008), Istanbul Turkey, 27-29 October 2008.

[2] Y. Xu, C. Zhang and J. Yang, ”Semi-Supervised Classification of Musical Genre Using Multi-View Features”, International Computer Music Conference (ICMC 2005), 5-9 September 2005.

[3] Cataltepe Z., Yaslan Y., and Sonmez, A. “Music Genre Classification Using MIDI and Audio Features”, EURASIP Journal on Advances in Signal Processing, 2007.

[4] Yaslan Y. and Cataltepe Z. “Audio Music Genre Classification Using Different Classifiers and Feature Selection”, 18th International Conference on Pattern Recognition (ICPR 2006), Hong Kong, 2008.

[5] Tzanetakis, G. and Cook, P., "Musical Genre Classification of Audio Signals", IEEE Transactions on Speech and Audio Processing, vol.10 no.5, pp. 293-302, 2002.

[6] Blum A. and Mitchell T. “Combining Labeled and Unlabeled Data with Co-training” Proc. of the 11th Annual Conference on Computational Learning Theory (COLT ’98) (pp. 92-100),1998.

[7] Wang J. Luo S.W. and Zeng X.H “A random subspace method for co-training” In International Joint Conference on Neural Networks(IJCNN 2008), pp 195–200, 2008.

[8] Zhou Z. H. and Li M., “Tri-Training: Exploiting Unlabeled Data Using Three Classifiers”, IEEE Transactions on Knowledge and Data Engineering, vol.17, no.11, pp. 1529-1541, 2005.

[9] Guyon I. and Elisseeff, “An Introduction to Variable and Feature Selection”, Journal of Machine Learning Research,vol.3, pp. 1157-1182, 2003.

[10] Ding C. and Peng H. “Minimum redundancy feature selection from microarray gene expression data” In Computational Systems Bioinformatics(CSB 2003), pp 523–528, 2003.

[11] R.P.W. Duin. PRTOOLS A Matlab Toolbox for Pattern Recognition. 2004

[12] Mierswa I. and Morik K. “Automatic Feature Extraction for Classifying Audio Data”, Machine Learning, vol. 58, pp. 127-149,2005.

978-1-4244-4436-6/09/$25.00 ©2009 IEEE 411