22
Sintesi Vocale SMS Giacomo Sommavilla Introduzione Sintesi Concatenativa Sintesi SMS Dettagli implementativi Conclusioni Sintesi Vocale Concatenativa tramite Modello Sinusoidale Giacomo Sommavilla, Carlo Drioli, Piero Cosi, Giulio Paci Istituto di Scienze e Tecnologie della Cognizione - Sede di Padova "Fonetica e Dialettologia" Consiglio Nazionale delle Ricerche, Padova, Italia Workshop "Toni Mian" - 26 Ottobre 2007, Padova

Sintesi Vocale Concatenativa tramite Modello Sinusoidale

  • Upload
    others

  • View
    8

  • Download
    0

Embed Size (px)

Citation preview

Page 1: Sintesi Vocale Concatenativa tramite Modello Sinusoidale

Sintesi VocaleSMS

GiacomoSommavilla

Introduzione

SintesiConcatenativa

Sintesi SMS

Dettagliimplementativi

Conclusioni

Sintesi Vocale Concatenativa tramiteModello Sinusoidale

Giacomo Sommavilla, Carlo Drioli, Piero Cosi, GiulioPaci

Istituto di Scienze e Tecnologie della Cognizione - Sede diPadova "Fonetica e Dialettologia" Consiglio Nazionale delle

Ricerche, Padova, Italia

Workshop "Toni Mian" - 26 Ottobre 2007, Padova

Page 2: Sintesi Vocale Concatenativa tramite Modello Sinusoidale

Sintesi VocaleSMS

GiacomoSommavilla

Introduzione

SintesiConcatenativa

Sintesi SMS

Dettagliimplementativi

Conclusioni

Sommario

1 Introduzione

2 Sintesi Concatenativa

3 Sintesi SMS

4 Dettagli implementativi

5 Conclusioni

Page 3: Sintesi Vocale Concatenativa tramite Modello Sinusoidale

Sintesi VocaleSMS

GiacomoSommavilla

Introduzione

SintesiConcatenativa

Sintesi SMS

Dettagliimplementativi

Conclusioni

Sommario

1 Introduzione

2 Sintesi Concatenativa

3 Sintesi SMS

4 Dettagli implementativi

5 Conclusioni

Page 4: Sintesi Vocale Concatenativa tramite Modello Sinusoidale

Sintesi VocaleSMS

GiacomoSommavilla

Introduzione

SintesiConcatenativa

Sintesi SMS

Dettagliimplementativi

Conclusioni

Text-To-Speech

Definizione

Applicazione software capace di riprodurre la voce,attraverso una trascrizione da grafemi a fonemi delle frasida pronunciare

Esempi di Implementazione

loquendofestival

LPCOGIresLPCMBROLASMS...

Page 5: Sintesi Vocale Concatenativa tramite Modello Sinusoidale

Sintesi VocaleSMS

GiacomoSommavilla

Introduzione

SintesiConcatenativa

Sintesi SMS

Dettagliimplementativi

Conclusioni

Text-To-Speech

Definizione

Applicazione software capace di riprodurre la voce,attraverso una trascrizione da grafemi a fonemi delle frasida pronunciare

Esempi di Implementazione

loquendofestival

LPCOGIresLPCMBROLASMS...

Page 6: Sintesi Vocale Concatenativa tramite Modello Sinusoidale

Sintesi VocaleSMS

GiacomoSommavilla

Introduzione

SintesiConcatenativa

Sintesi SMS

Dettagliimplementativi

Conclusioni

Sommario

1 Introduzione

2 Sintesi Concatenativa

3 Sintesi SMS

4 Dettagli implementativi

5 Conclusioni

Page 7: Sintesi Vocale Concatenativa tramite Modello Sinusoidale

Sintesi VocaleSMS

GiacomoSommavilla

Introduzione

SintesiConcatenativa

Sintesi SMS

Dettagliimplementativi

Conclusioni

TTS Concatenativi

loquendo

Sintesi Concatenativa a Selezionedi Unitá Variabili

sequenze di molti fonemi,parole o addirittura frasiintere

SMS, MBROLA, ...

Sintesi Concatenativa di Difoni segmenti acustici cheincludono la transizionetra due fonemiconsecutivi

Page 8: Sintesi Vocale Concatenativa tramite Modello Sinusoidale

Sintesi VocaleSMS

GiacomoSommavilla

Introduzione

SintesiConcatenativa

Sintesi SMS

Dettagliimplementativi

Conclusioni

TTS Concatenativi

loquendo

Sintesi Concatenativa a Selezionedi Unitá Variabili

sequenze di molti fonemi,parole o addirittura frasiintere

SMS, MBROLA, ...

Sintesi Concatenativa di Difoni segmenti acustici cheincludono la transizionetra due fonemiconsecutivi

Page 9: Sintesi Vocale Concatenativa tramite Modello Sinusoidale

Sintesi VocaleSMS

GiacomoSommavilla

Introduzione

SintesiConcatenativa

Sintesi SMS

Dettagliimplementativi

Conclusioni

Schema Generale TTS

Page 10: Sintesi Vocale Concatenativa tramite Modello Sinusoidale

Sintesi VocaleSMS

GiacomoSommavilla

Introduzione

SintesiConcatenativa

Sintesi SMS

Dettagliimplementativi

Conclusioni

Schema Generale TTS

Page 11: Sintesi Vocale Concatenativa tramite Modello Sinusoidale

Sintesi VocaleSMS

GiacomoSommavilla

Introduzione

SintesiConcatenativa

Sintesi SMS

Dettagliimplementativi

Conclusioni

Schema TTS Concatenativo

Page 12: Sintesi Vocale Concatenativa tramite Modello Sinusoidale

Sintesi VocaleSMS

GiacomoSommavilla

Introduzione

SintesiConcatenativa

Sintesi SMS

Dettagliimplementativi

Conclusioni

Sommario

1 Introduzione

2 Sintesi Concatenativa

3 Sintesi SMS

4 Dettagli implementativi

5 Conclusioni

Page 13: Sintesi Vocale Concatenativa tramite Modello Sinusoidale

Sintesi VocaleSMS

GiacomoSommavilla

Introduzione

SintesiConcatenativa

Sintesi SMS

Dettagliimplementativi

Conclusioni

Modello del Segnale

Sinusoidi + Residuo

s(t) =R∑

r=1

Ar cos[2πfr t + θr ] + e(t)

Page 14: Sintesi Vocale Concatenativa tramite Modello Sinusoidale

Sintesi VocaleSMS

GiacomoSommavilla

Introduzione

SintesiConcatenativa

Sintesi SMS

Dettagliimplementativi

Conclusioni

Modello del Segnale

Sinusoidi + Residuo

s(t) =R∑

r=1

Ar cos[2πfr t + θr ] + e(t)

Page 15: Sintesi Vocale Concatenativa tramite Modello Sinusoidale

Sintesi VocaleSMS

GiacomoSommavilla

Introduzione

SintesiConcatenativa

Sintesi SMS

Dettagliimplementativi

Conclusioni

Schema TTS Concatenativo

Page 16: Sintesi Vocale Concatenativa tramite Modello Sinusoidale

Sintesi VocaleSMS

GiacomoSommavilla

Introduzione

SintesiConcatenativa

Sintesi SMS

Dettagliimplementativi

Conclusioni

Schema TTS Concatenativo

Page 17: Sintesi Vocale Concatenativa tramite Modello Sinusoidale

Sintesi VocaleSMS

GiacomoSommavilla

Introduzione

SintesiConcatenativa

Sintesi SMS

Dettagliimplementativi

Conclusioni

Sommario

1 Introduzione

2 Sintesi Concatenativa

3 Sintesi SMS

4 Dettagli implementativi

5 Conclusioni

Page 18: Sintesi Vocale Concatenativa tramite Modello Sinusoidale

Sintesi VocaleSMS

GiacomoSommavilla

Introduzione

SintesiConcatenativa

Sintesi SMS

Dettagliimplementativi

Conclusioni

Dettagli implementativi

Linguaggio di Programmazione C++Utilizzo del Framework CLAM(http://clam.iua.upf.edu/)OpenSource (GPL)

Page 19: Sintesi Vocale Concatenativa tramite Modello Sinusoidale

Sintesi VocaleSMS

GiacomoSommavilla

Introduzione

SintesiConcatenativa

Sintesi SMS

Dettagliimplementativi

Conclusioni

Sommario

1 Introduzione

2 Sintesi Concatenativa

3 Sintesi SMS

4 Dettagli implementativi

5 Conclusioni

Page 20: Sintesi Vocale Concatenativa tramite Modello Sinusoidale

Sintesi VocaleSMS

GiacomoSommavilla

Introduzione

SintesiConcatenativa

Sintesi SMS

Dettagliimplementativi

Conclusioni

Conclusioni

Stato Attuale

FunzionaQualitativamente comparabile ad MBROLAElevato consumo di risorse

Sviluppi Futuri

Analisi SMS a pitch sincronoProcesso di verifica dell’analisi SMSImplementazioni alternative di pitch shifting e timestretchingSintesi emotiva

Page 21: Sintesi Vocale Concatenativa tramite Modello Sinusoidale

Sintesi VocaleSMS

GiacomoSommavilla

Introduzione

SintesiConcatenativa

Sintesi SMS

Dettagliimplementativi

Conclusioni

Conclusioni

Stato Attuale

FunzionaQualitativamente comparabile ad MBROLAElevato consumo di risorse

Sviluppi Futuri

Analisi SMS a pitch sincronoProcesso di verifica dell’analisi SMSImplementazioni alternative di pitch shifting e timestretchingSintesi emotiva

Page 22: Sintesi Vocale Concatenativa tramite Modello Sinusoidale

Sintesi VocaleSMS

GiacomoSommavilla

Introduzione

SintesiConcatenativa

Sintesi SMS

Dettagliimplementativi

Conclusioni

Esempi

Sintesi MBROLASintesi SMSSintesi SMS con trasformazione (1)Sintesi SMS con trasformazione (2)Sintesi MBROLA (T=1.5, F=2)Sintesi SMS (T=1.5, F=2)