JJCAM 2000 1

Synthèse de parole par modèle physique

Coriandre VilainInstitut de la Communication Parlée46 av. Felix Viallet38031 Grenoble cedex 01email: cvilain@icp.inpg.fr

JJCAM 2000 2

Qu ’est ce que c ’est?

• Modélisation de l’appareil de production de parole humain.

• Simulation du processus de parole:• mécanique: tête parlante de von Kempelen,• électronique • informatique: tête parlante virtuelle (ICP, KTH,

Haskins…)

JJCAM 2000 3

A quoi ça sert?

• Compréhension du vivant• Modélisation des pathologies du conduit vocal• Réalisation de prothèse de cordes vocales

• Aide à l’apprentissage des langues• Réalité augmentée

• Dans le futur :Télécom ?• Compression des données de parole• Synthèse réaliste

JJCAM 2000 4

Comment ça marche?Données de départ :

JJCAM 2000 5

Comment ça marche?

• Articulatoire (EPG, Microbeam …)

Mesures in vivo

• Aéro-Acoustique (Masque deRothenberg, mesures de pression ...)

• Imagerie IRM

JJCAM 2000 6

Mesures masque de Rothenberg

• Séquences vCv (voyelle-consonne-voyelle)

• Mesure:– Pression intra-orale

– débit

– signal acoustique (pour contrôle)

1 1.2 1.4 1.6 1.8 2 2.2−500

0

500

1000Intra−oral pressure

Pre

ssu

re, in

Pa

1 1.2 1.4 1.6 1.8 2 2.2−500

0

500

Volume Flow

Vo

lue

flo

w, in

cm

3.s

−1

1 1.2 1.4 1.6 1.8 2 2.2

−5000

0

5000

Time, in s

acoustical signal

a ap a t a

JJCAM 2000 7

Imagerie IRM

Avantages– Bonne résolution spatiale

(1mm2/pixel)– Possibilité de reconstitution

d’une image 3D

Inconvénients– Mesure statique (Mauvaise

résolution temporelle) – Mesure en position allongée

Configuration [Ka]

JJCAM 2000 8

Comment ça marche? suite

• Maquette de cordes vocales (cordes fixes):– mesure de pression

– mesure de débit

Mesures in vitro

Données de départ:

Maquette cordes vocales fixes

Capteur de pression

Fil chaud (mesure de débit)

Modèle de corde vocale

JJCAM 2000 9

• Maquettes de cordes vocales de type « Bouche artificielle »– mesure de pression

– mesure de débit

– mesure de déplacement

(en construction)

Modèle de corde vocale

JJCAM 2000 10

Comment ça marche? FinA l ’arrivée

Construction d ’un modèle physique décrivant l ’ensemble du conduit vocal:

• Les poumons (rôle acoustique et source de pression)

• Les cordes vocales (source de sons voisés)

• Le conduit vocal supérieur (à géométrie variable)

JJCAM 2000 11

Résultats: synthèse articulatoire de la parole

JJCAM 2000 12

Plan de la discussion

• Modèles de cordes vocales• Algorithme simplifié du modèle à 2 masses• Schéma général de synthèse

JJCAM 2000 13

Modèle de cordes vocales: modèle à 2 masses

JJCAM 2000 14

Modèle à deux masses Cordes ouvertes Cordes fermées

Modèlemécanique(symétrique)

Masses : m1, m2Coefficients de raideur : k1, k2, kc.Coefficients d’amortissement : r1, r2,

Modèle de collision : k1_coll = C*k1, k2_coll = C*k2 kc_coll = C*kc

Convergent Divergent

Modèled’écoulementHypothèse debase:Fluide localementincompressible

( Lg <<λ)

Séparation del’écoulement à lafin du canal.

Séparation del’écoulement dans lapartie divergente.

Pas d’écoulement

Lg

JJCAM 2000 15

Prédiction du point de séparation• Théorie des couches

limites:– Plus précis– Longs temps de calculs

• Critère géométrique simplifié (Liljencrants) :

hsephg 2.1≈sep

g

hh

JJCAM 2000 16

Algorithme simplifié : Modèle à 2 masses

Initialisation: Constantes,Géométrie

Modèle d ’écoulement• Calcul du point de séparation étant donnée la géométrie.• Calcul du débit et des pressions (Bernoulli, Couche limite)

Calcul de la force externe exercée sur chaque masse

Modèle mécanique• Bilan des forces (externes+internes) exercées sur chaque masse.

Calcul de la nouvelle géométrie

JJCAM 2000 17

Algorithme simplifié : Modèle à 2 massesInitialisation:

Pression, débit, géométrie

Modèle d ’écoulement• Géométrie(i) point de séparation (i)

• Point de séparation (i) Débit glottique Ug(i)Pressions (i) Forces externe

Modèle mécaniqueBilan des forces (externes + internes) exercées sur chaque masse.

Calcul de la nouvelle géométrie

Acoustique

JJCAM 2000 18

Algorithme simplifié : Schéma général de synthèse

Poumons

(acoustique)

Cordes vocales

Conduit vocal supérieur

Pavillon exponentiel

Impédance acoustique mesurée

(Ishizaka)

Nez Bouche

Modèle de Weibel

UgRaccord ?

JJCAM 2000 19

Raccord entre modèle de cordes, poumons et conduit vocal.

Ug

Conduit vocalsupérieur

Poumons

Zp

Zcv

• On néglige l’influence de l ’écoulement sur la propagation acoustique

• On décompose: Ug = <Ug> + Ug .

• On décompose: Ug = <Ug> + Ug .