Yazarlar : İ.Yücel Özbek , Prof. Dr. M übeccel Demirekler, Doç. Dr. Tolga Çiloğlu

ODTU SIU 2003 1

YALITILMIŞ KELİMELERİN KYDPALGORİTMASI İLE BÖLÜTLENMESİNDE

SES SÜRE BİLGİSİNİN VE FARKLI ÖZNİTELİK VEKTÖRLERİNİN

KULLANILMASI

Yazarlar:İ.Yücel Özbek, Prof. Dr. Mübeccel Demirekler, Doç. Dr. Tolga Çiloğlu

ODTU SIU 2003 2

İçerik: Kat yapılandırmalı dinamik programlamaya (KYDP) dayalı konuşma bölütlendirme KYDP tabanlı konuşma bölütlendirmede karşılaşılan sorunlar Önerilen çözümler ve elde edilen sonuçlar

Arama uzayının budanması Ses süre bilgilerine ait olabilirliliklerin kullanılması Farklı öznitelik vektörlerinin kullanılması

Sonuç

ODTU SIU 2003 3

KYDP tabanlı konuşma bölütlendirme KYDP-tabanlı konuşma bölütlendirme yöntemi dinamik programlamaya dayalı bir yöntemdir. Bölüt sınırlarını, bölüt içlerindeki toplam bozunumu en aza indirecek şekilde belirler

L b

bt

tOd1 11

,

Bölüt içi bozunum

Toplam bozunum

},...,,...,,{ 10 Lbbbb

Bölüt sınırları

ODTU SIU 2003 4

Bölüt içerindeki bozunum nedir?

Bölüt içerisinde kalan öznitelik vektörlerinin, bölütünortalama öznitelik vektörüne olan uzaklıklarınıntoplamına bölüt içerisindeki bozunum denir

ODTU SIU 2003 5

Örnek:‘siu’ kelimesinin yedi tane öznitelik vektöründen oluştuğunu ve bunların aşağıdaki şekilde gösterildiğini kabul edelim

[O1, O2, O3 , O4, O5, O6, O7]

b1 b2 b3b1 içerisindeki bozunum=d(1, 3) =?Toplam bozunum= ?

3321 OOO

O1

*

O3

*

*O2

µd1 d2

d3 d(1, 3)=d1+d2+d3

O1

*O3

**

O2

Toplam bozunum= d(1, 3)+d(4, 6)+d(7, 9)

ODTU SIU 2003 6

Toplam bozunumun en küçük olduğu bölüt sınırları nasıl bulunur?

?},...,,...,,{ 10 Lbbbb Bölüt sınırları

L b

btbbb

tOdL 1 1,...,, 110

),(min

Toplam bozunumu en küçük yapacak bölüt sınırları kat yapılandırmalı dinamik programlama algoritması ile bulunur

ODTU SIU 2003 7

Kat yapılandırmalı dinamik programlamaKYDP algoritması toplam bozunumu en küçük yapacak bölüt sınırlarını aşağıdaki tablo yardımıyla bulur

Kat-2

Kat-N

Kat-1

O(1) O(2) O(M)

ÖznitelikVektörleriKatlar bölüt

sayısını gösterir

****

* * * *

***

ODTU SIU 2003 8

Örnek:Yedi öznitelik vektöründen oluşan ‘siu’ kelimesini KYDP algoritmasıyla bölütlenmesi

d (1,5)

D1(2) D1(6)D1(4)

D2(3) D2(4) D2(5) Kat-2

i

Kat-3

u

Kat-1

sd (1,1)

d (1,3)

D2(7)D2(6)

Öz. Vektörleri O(1) O(2) O(3) O(4) O(5) O(6) O(7)

Bölütler s i u

En iyi yol

ODTU SIU 2003 9

KYDP yöntemiyle elde edilen deneysel sonuç

77%84%82%61%81%89%85%71%78%%

5248./6810176./209791./964507./829451./557141./158568./666694./9721920./2455TOP

95%%NaN94%96%100%%NaN97%85%96%%

202./2120./048./5122./2317./170./034./3511./1370./73SES

72%25%52%45%88%92%100%71%58%%

882./12221./411./215./1114./16120./1309./9657./91965./112BÖP

66%100%78%52%82%100%86%100%63%%

551./8318./887./11132./6123./281./130./352./2368./585YD

64%89%46%30%0%88%82%56%70%%

326./51031./3546./1007./230./87./818./225./9212./305GE

92%100%100%78%100%100%50%%NaN94%%

133./1443./39./97./91./11./12./40./0110./117PS

85%86%83%75%85%40%50%33%92%%

582./68431./36104./12530./4011./132./522./442./6380./415SR

85%73%45%69%100%50%69%0%90%%

762./89311./1522./4933./4811./111./220./290./2664./737PA

78%84%93%60%81%82%89%81%46%%

1810./231491./108464./498371./614374./4639./11433./48817./2151./111ÜN

TOPLAMSESBÖPYDGEPSSRPAÜN

% 46%

51./111ÜN

ÜN

% 77 %

5248/6810Toplam

Toplam

ODTU SIU 2003 10

İçerik: Kat yapılandırmalı dinamik programlamaya (KYDP) dayalı

konuşma bölütlendirme KYDP tabanlı konuşma bölütlendirmede karşılaşılan sorunlar Önerilen çözümler ve elde edilen sonuçlar

Arama uzayının budanması Ses süre bilgilerine ait benzerliklerin kullanılması Farklı öznitelik vektörlerinin kullanılması

Sonuç

ODTU SIU 2003 11

KYDP algoritması ile karşılaşılan sorunlar

İşlem yükünün fazla olmasından dolayı bölütlemeyi uzun sürede gerçekleştirmektedir Kısa (Ötümlü patlamalılar) ve uzun(Ünlüler,vb) sürede geçekleşen fonetik birimlere ait sınırları bulmada düşük başarı göstermektedir

ODTU SIU 2003 12




Sonuç

ODTU SIU 2003 13

Arama uzayının budanması Elimizde bulunan ses veritabanı yardımıyla ses birimlerine ait maksimum ve minimum süre bigileri çıkarıldı Ses süre bilgilerinden faydalanarak KYDP algoritmasının arama uzayı budandı Normal

arama uzayı

Budanmış arama uzayı

Katlar

Öz. Vektörler

ODTU SIU 2003 14

Arama uzayının budanmasının algoritmanın performansına etkisi

Budanma sonucu algorıtmanın işlem yükü azaltıldığından KYDP algorıtmasının hızı % 60-70 artırıldı. Doğruluk oranı ise %4 artırıldı.

% 77 %

5248/6810Toplam

Toplam % 81%

5494/6810Toplam

Toplam Performans

% 4 artırıldı

ODTU SIU 2003 15




Sonuç

ODTU SIU 2003 16

Ses birimlerine ait süre bilgilerinin gamma fonksiyonu ile modellenmesi

Bütün ses birimlerinin süre bilgileri gamma fonksiyonu yardımıyla modellendi Modeller kullanılarak bölüt içlerindeki bozunumlar ağırlıklandırıldı

,|1,,, xfnidnidnid yeni

i çerçevesin den n’ekadar olan bölüte ait

bozunum

x (= n-i) süresine aitolabilirlilik değeriα ve β model parametreleri

Ağırlıklaştırılmışyeni bozunum

ODTU SIU 2003 17

Ağırlıklı bozunumların kullanılmasının algoritmanın performansına etkisi

% 81%

5494/6810Toplam

Toplam % 83%

5666/6810Toplam

ToplamPerformans

% 2 artırıldı

ODTU SIU 2003 18




Sonuç

ODTU SIU 2003 19

Farklı öznitelik vektörlerinin kullanılmasıFourier

Dönüşüm

FourierDönüşüm

Kelime

Mel-Cepstral Ve Enerji

analiz

Mel-Cepstral Ve Enerji

analiz

ZamanaGöreTürev

ZamanaGöreTürev

ZamanGöreTürev

ZamanGöreTürev

Delta log enerji+

Delta 0. kepstral+

Delta kepstrum

F

Delta-Delta log enerji+

Delta-Delta 0. kepstral+

Delta-Delta kepstrum

F

Log enerji+

0. kepstral katsayı +

Mel-ölçekli kepstrum

F

142xF

F

F

F

42 Boyutluöznitelikvektörü

ODTU SIU 2003 20

Farklı öznitelik vektörlerinin kullanılmasının algoritmanın performansına etkisi

% 83%

5666/6810Toplam

Toplam % 85%

5792/6810Toplam

ToplamPerformans

% 2 artırıldı

ODTU SIU 2003 21

Uyarlanmış KYDP tabanlı konuşma bölütlendirme algoritması ile elde edilen detaylı deney sonucu

85%90%92%72%83%88%84%92%84%%

5792./6810189./209888./964595./829465./557139./158558./666899./9722059./2455TOP

97%%NaN96%96%100%%NaN97%92%99%%

206./2120./049./5122./2317./170./034./3512./1372./73SES

92%75%71%82%88%92%100%93%87%%

1121./12223./415./219./1114./16119./1309./9855./91997./112PÖB

76%88%89%67%79%100%91%100%73%%

630./8317./899./11141./6122./281./132./352./2426./585YD

81%91%81%48%0%88%77%78%84%%

411./51032./3581./10011./230./87./817./227./9256./305GE

92%100%100%100%100%0%75%%NaN91%%

132./1443./39./99./91./10./13./40./0107./117SR

89%92%94%88%100%0%39%50%94%%

609./68433./36117./12535./4013./130./517./443./6391./415SR

87%100%73%77%55%50%66%50%89%%

773./89315./1536./4937./486./111./219./291./2658./737PT

83%89%97%70%85%100%88%90%47%%

1910./231496./108482./498431./614392./46311./11427./48819./2152./111ÜN

ToplamSESPÖBYDGEPSSRPTÜN

ODTU SIU 2003 22

Sonuç;KYDP tabanlı konuşma bölütlendirme algoritması arama uzayının budanması, ses birimlerinin gamma fonksiyonları ile modellenerek bölütler ait sürelerin alabilirlilik değerlerini kullanılması ve farklı öznitelik vektörlerinin kullanılması ile doğruluk oranı 6810 bölüt sayısı için % 77 den %85’e yükseltilmiştir

ODTU SIU 2003 23

TEŞEKKÜRLER..,

ODTU SIU 2003 24

Bölüt içerindeki bozunum nedir?

Bölüt içerisinde kalan öznitelik vektörlerinin, bölütünortalama öznitelik vektörüne olan uzaklıklarınıntoplamına bölüt İçerisindeki bazunum denir

ODTU SIU 2003 25

fff% 77 %

5248/6810Toplam

Toplam

b, r ve e selerine ait süre modelleri

ODTU SIU 2003 26

ODTU SIU 2003 27

Documents

Yazarlar : İ.Yücel Özbek , Prof. Dr. M übeccel Demirekler, Doç. Dr. Tolga Çiloğlu