Sonidos Sonoros

Herramientas de análisis de sonidossonoros

seminario de audio 2009

iie, eme

Sonidos Sonoros

Sonidos Sonoros

Casi estacionarios.Casi periódicos.Ej: Vocales, m, n, l, instrumentos de viento, cuerdas, etc.

Sonidos Sonoros

Representación de Sonidos Sonoros

Localmente periódicos y casi representables con una serie deFourier (pocos coeficientes representan la señal)

f

t

Sonidos Sonoros

¿Cómo representar un sonido sonoro?

Lenguaje que permita representar bien a los sonidos sonoros...Entonces hay que construir un diccionario para el lenguaje queconcentre la energía en pocos elementos.

A es el diccionariob es el audio (PCM es como usualmente se tiene)x es una frase que describe a b usando el diccionario A.

Ax = b

Sonidos Sonoros

¿Cómo representar un sonido?

Ax = b

Si A es ortogonal, sol única.Si A no es ortogonal, criterios:

norma 2 - min cuadrados,norma 1norma 0 (sol esparsa, conceptual).

Sonidos Sonoros

Sonidos Sonoros

Buena representación:Sonidos sonoros con una descripción corta.Y que el lenguaje sea simple (definido con pocosparámetros).

¿Qué tiene que permitir describir el lenguaje?Suena razonable empezar por: tiempo, frecuencia.

Sonidos Sonoros

Tiempo

Tiempo - Audio PCM

Base: deltas en tiempo discreto

Sonidos Sonoros

Tiempo

Tiempo - Audio PCM

Perfecto para representar señales de banda limitadaIneficiente para sonidos sonoros.Excelente localización temporal, malísima localizaciónfrecuencial¡nada esparso! el diccionario no sirve para describirsonidos sonoros conceptualmente.

Sonidos Sonoros

Frecuencia

Frecuencias Fourier

Más concentradas pero ¡pero no concentra la energía en pocostérminos!

A x = b

=

F-1{I}x=b

tiempo

frecuencia

...

Sonidos Sonoros

Ppio Incertidumbre

Principio de Incertidumbre

No es posible conocer posición y cantidad de movimiento deuna partícula con precisión arbitraria.

∆x∆p ≥ h2

No se puede tener bien definido tiempo y frecuencia de una“partícula sonora”...

Sonidos Sonoros

Tiempo-Frecuencia

Short Time Fourier

Bases: sin, cos enventanadosBuena localización frecuencial y/o espacial

A x = b

=

F-1x=b

tiempo

tiempo

...

tiempo

tiempofrecuencia

x dim de un espectrograma

Sonidos Sonoros

Tiempo-Frecuencia

Transformada de Fourier de Tiempo Discreto.

Dimensiones del espacio 2: t,fDiseño: elección de la ventana.

Sonidos Sonoros

Tiempo-Frecuencia

Y se puede mejorar la representación usando una resoluciónrelativa constante...

Sonidos Sonoros

Tiempo-Frecuencia

STFT Multi Resolución

Base: sin, cos, ventana variable.Muy buena localización espacial y temporal.

A x = b

=

tiempo

tiempo

...

tiempo

tiempofrecuencia

Sonidos Sonoros

Tiempo-Frecuencia

STFT Multi Resolución: Transformada Q (CQT,MRFFT,IIR-CQT)

Dimensión del espacio 2: t, f.Diseño: ventana y el factor de calidad Q.Mejor compromiso resolución tiempo-frecuencia.

Sonidos Sonoros

Chirplets

Principio de Incertidumbre.

Pero los sonidos sonoros no son partículas.

Se puede sacrificar resolución en una dimensión y ganarla enla otra.

Sonidos Sonoros

Chirplets

Chirps , chirplets Curvelets

Base: sin, cos de frecuencia variable enventanados¡Excelente localización temporal y/o frecuencial!

A x = b

=

F-1x=b

tiempo

tiempo

...

tiempo

tiempofrecuencia

Sonidos Sonoros

Chirplets

Transformada Fan chirp lineal

Fase: φα(t) = (1 + 12αt)t .

Frecuencia instantánea: fi(t) = (1 + αt)f .Dimensión 3: t, f, α. El diseño: elección de la ventana.

Sonidos Sonoros

Chirplets

Chirplets, dimensión

tiempo

frecuencia

pendiente

Sonidos Sonoros

Chirplets

Chirplets, implementación

Implementación:

Generando cada chirplet y proyectando (muy costoso)Time Warping + FFT

Sonidos Sonoros

Chirplets

Chirplets, time warping

Fan chirp transform: Time warping + FFT:

Sonidos Sonoros

Chirplets

Chirplets, time warping

Fan chirp transform: Time warping + FFT:

f

t

f

t

f

t

Sonidos Sonoros

Chirplets

Vecindad en Frecuencia/Pendiente

Campo generado por una sinusoide, sinuoides y chirpsarmónicos.

sinusiode sinusoidesarmónicas

chirpsarmónicos

frecuencia

pendiente

Sonidos Sonoros

Chirplets

Geometría

En módulo muy similar al Núcleo de Tensor Voting.

Nucleo de tensor voting

tangente normal

Sonidos Sonoros

Chirplets

Geometría - Propiedades

Las tres dimensiones del espacio son dependientes entre sí...

frecuencia

pendiente0

tiempo

Espacio 3D pero la dimensión en que viven los parciales desonidos sonoros es 2D.

Sonidos Sonoros

Chirplets

Fan chirp lineal + Q

Para cada parcial:

φα(t) = kf0(1 +12αt +

13βt2)t

Entonces: fi(t) = kf0(1 + αt) es una aproximación localSi β no es nulo, el error de aproximación es: kf0βt2

El rango de tiempo de validez de la aproximación disminuyecon k .

Sonidos Sonoros

Chirplets

Combinando la Fan-Chirp lineal con la transformada Q

Lo problemas se atenúan combinando la Transformada Q conla Transformada Fan Chirp.Tiempos de análisis más chicos para frecuencias altas hacenun análisis más local sólo donde la aproximación lineal esbuena.

Sonidos Sonoros

Chirplets

Combinando la Fan-Chirp lineal con la transformada Q

Sonidos Sonoros

Chirplets

Chirplets Q, implementación

Implementación:

Generando cada chirplet enventado y proyectando (muycostoso)Time Warping + FFT + IIR-CQTOrden: N log N = O(FFT)

Sonidos Sonoros

Chirplets

Generalizando un poco más la Fan Chirp Lineal

Fan-Chirp: LinealChirps armónicos donde la fase varía cuadráticamente:

φα(t) = f (1 +12αt)t

fi(t) = (1 + αt)f

Posibles mejoras:Aproximación de orden 3 o 4.

φα(t) = f (1 +12αt +

13βt2 +

14γt3)t

Aprendido a partir datos reales.

Sonidos Sonoros

Chirplets

Aprendido a partir datos reales

Haciendo estadísticas de la base Ground truth Mirex 2004tomando segmentos de frecuencia fundamental de 100ms ynormalizando respecto a la frecuencia central

fi(t) =f0GT (t + kT )

f0GT (kT )cont ∈ [−Tw/2,Tw/2]

Haciendo PCA de todos los fi se obtiene una aproximación conlos vectores propios con mayores valores propios:

φα(t) = (1 +

j=l∑j=1

αjvj(t))t

Sonidos Sonoros

Chirplets

Aprendido a partir datos reales

Con 3 vectores propios se captura casi toda las variaciones

Distribución de las componentes principales 2 y 3

2da componente principal

3ra

com

pone

nte

prin

cipal

−1 −0.8 −0.6 −0.4 −0.2 0 0.2 0.4 0.6 0.8 1

−0.25

−0.2

−0.15

−0.1

−0.05

0

0.05

0.1

0.15

0.2

0.25

Distribución en las componentes principales 2 y 4

2da componente principal

4ta

com

pone

nte

prin

cipal

−1 −0.8 −0.6 −0.4 −0.2 0 0.2 0.4 0.6 0.8 1

−0.25

−0.2

−0.15

−0.1

−0.05

0

0.05

0.1

0.15

0.2

0.25

Sonidos Sonoros

Chirplets

Aprendido a partir datos reales

Con 3 vectores propios se captura casi toda las variaciones

−1.5 −1 −0.5 0 0.5 1 1.5−0.2

−0.15

−0.1

−0.05

0

0.05

0.1

0.15

0.2Muestreo en las dimensiones de las componentes principales

Muestreo 2da componente principal

Muest

reo 3ra

comp

onente

princi

pal

Sonidos Sonoros

Chirplets

Aprendido a partir datos reales

Con 3 vectores propios se captura casi toda las variaciones

2 2.2 2.4 2.6 2.8 3 3.2 3.4 3.6 3.8 40

5

10

15

20

25Valores propios 2,3 y 4

Sonidos Sonoros

Chirplets

Aprendido a partir datos reales

Con 3 vectores propios se captura casi toda las variaciones

2 4 6 8 10 12 14 16

−0.3

−0.2

−0.1

0

0.1

0.2

0.3

0.4

Vectores propios

f/f c

Tiempo

Sonidos Sonoros

Chirplets

Comparación chirplet lineal: ventana constante y Q.

Espectrograma usando Chirplet lineal, ventana constante

Frame

Frec

uenc

ia

20 40 60 80 100 120 140 160 180 200

100

200

300

400

500

600

700

800

900

1000

Espectrograma usando Chirplet lineal, Q constante

Frame

Frec

uenc

ia

20 40 60 80 100 120 140 160 180 200

100

200

300

400

500

600

700

800

900

1000

Sonidos Sonoros

Chirplets

Preguntas y ¿ejemplos?

Preguntas