2014-05-22 – UMESP – Modelos cognitivos e biológicos da audição com a AudioLazy
Danilo J. S. Bellini – @danilobellini – São Bernardo do Campo – SP
Modelos cognitivos e Modelos cognitivos e biológicos da audição com biológicos da audição com
a AudioLazya AudioLazy
https://github.com/danilobellini/audiolazyhttps://github.com/danilobellini/audiolazy
2014-05-22 – UMESP – Modelos cognitivos e biológicos da audição com a AudioLazy
Danilo J. S. Bellini – @danilobellini – São Bernardo do Campo – SP
IntroduçãoIntrodução
● PsicologiaPsicologia● BiologiaBiologia● Física (acústica)Física (acústica)● MúsicaMúsica● Processamento de sinais Processamento de sinais
(engenharia)(engenharia)● Reconhecimento de Reconhecimento de
padrões (computação)padrões (computação)● ......
● Percepção auditivaPercepção auditiva– IntensidadeIntensidade
– AlturaAltura
– TimbreTimbre
– Ritmo/contextoRitmo/contexto
– HarmoniaHarmonia
2014-05-22 – UMESP – Modelos cognitivos e biológicos da audição com a AudioLazy
Danilo J. S. Bellini – @danilobellini – São Bernardo do Campo – SP
LoudnessLoudnessFletcher-Munson (1933)Fletcher-Munson (1933)
Imagem extraída de
Moore, Elements of Computer
Music, 1990
2014-05-22 – UMESP – Modelos cognitivos e biológicos da audição com a AudioLazy
Danilo J. S. Bellini – @danilobellini – São Bernardo do Campo – SP
LoudnessLoudnessISO/FDIS 226:2003ISO/FDIS 226:2003
● Diferente do modelo de Fletcher-MunsonDiferente do modelo de Fletcher-Munson● Fletcher-Munson foi utilizado no modelo de Fletcher-Munson foi utilizado no modelo de
compansão “A”, usado em telefoniacompansão “A”, usado em telefonia– A faixa dos 40 phons (usada no padrão A) é bastante A faixa dos 40 phons (usada no padrão A) é bastante
similar nos dois modelossimilar nos dois modelos
● Não são os únicos dois modelosNão são os únicos dois modelos● Maneiras diferentes de coletar a informaçãoManeiras diferentes de coletar a informação
– Fones de ouvidoFones de ouvido
– Altofalantes em uma câmara anecóicaAltofalantes em uma câmara anecóica
Exemplo iso226_plot.pyExemplo iso226_plot.py
2014-05-22 – UMESP – Modelos cognitivos e biológicos da audição com a AudioLazy
Danilo J. S. Bellini – @danilobellini – São Bernardo do Campo – SP
Tabela extraída de, Precise and Full-range
Determination of Two-
dimensional Equal
Loudness Contours,
2000-2003, relatório do grupo de pesquisa
coordenado por Suzuki
2014-05-22 – UMESP – Modelos cognitivos e biológicos da audição com a AudioLazy
Danilo J. S. Bellini – @danilobellini – São Bernardo do Campo – SP
Altura (pitch)!Altura (pitch)!ShepardShepard
● 2 dimensões:2 dimensões:– Altura (Altura (pitch heightpitch height))
● Dimensão “linear”Dimensão “linear”
– Croma (Croma (pitch chromapitch chroma))● Dimensão “circular”Dimensão “circular”● Lembra Escher →Lembra Escher →
Exemplo shepard.pyExemplo shepard.py
““Hélice”Hélice”
2014-05-22 – UMESP – Modelos cognitivos e biológicos da audição com a AudioLazy
Danilo J. S. Bellini – @danilobellini – São Bernardo do Campo – SP
Escala melEscala mel
Frequência (Hz)
Altura (mel)
Frequência (Hz)
In [1]: import pylabIn [2]: f = pylab.linspace(20, 20000, 2048)In [3]: pylab.plot(f, 2595 * pylab.log10(1 + f / 700))
2014-05-22 – UMESP – Modelos cognitivos e biológicos da audição com a AudioLazy
Danilo J. S. Bellini – @danilobellini – São Bernardo do Campo – SP
Série harmônicaSérie harmônica
Exemplos animated_plot.py, dft_pitch.py, play_bach_choral.pyExemplos animated_plot.py, dft_pitch.py, play_bach_choral.py
Filtro combFiltro comb comb(25, .95).plot().show()
2014-05-22 – UMESP – Modelos cognitivos e biológicos da audição com a AudioLazy
Danilo J. S. Bellini – @danilobellini – São Bernardo do Campo – SP
Envoltória espectralEnvoltória espectral
FormantesFormantes
Modelo fonte-filtro Modelo fonte-filtro para a vozpara a voz
LPC (Linear LPC (Linear Predictive Coding)Predictive Coding)
Classificação de Classificação de vogaisvogais
(análise e síntese)(análise e síntese)
Exemplos lpc_plot.py e formants.pyExemplos lpc_plot.py e formants.py
2014-05-22 – UMESP – Modelos cognitivos e biológicos da audição com a AudioLazy
Danilo J. S. Bellini – @danilobellini – São Bernardo do Campo – SP
Auditory Scene AnalysisAuditory Scene AnalysisA. BregmanA. Bregman
● GestaltGestalt● Alocação Alocação
exclusivaexclusiva– SegregaçãoSegregação
– IntegraçãoIntegração
““O trabalho da percepção é o O trabalho da percepção é o de obter uma representação de obter uma representação
da realidade que seja da realidade que seja significativa, a partir de significativa, a partir de entradas sensoriais.”entradas sensoriais.”
2014-05-22 – UMESP – Modelos cognitivos e biológicos da audição com a AudioLazy
Danilo J. S. Bellini – @danilobellini – São Bernardo do Campo – SP
Demonstrations to ASA (Bregman)Demonstrations to ASA (Bregman)Ruído (experimento 33)Ruído (experimento 33)
2014-05-22 – UMESP – Modelos cognitivos e biológicos da audição com a AudioLazy
Danilo J. S. Bellini – @danilobellini – São Bernardo do Campo – SP
Demonstrations to ASA (Bregman)Demonstrations to ASA (Bregman)Ruído (experimento 34)Ruído (experimento 34)
Exemplo butterworth_with_noise.pyExemplo butterworth_with_noise.py
2014-05-22 – UMESP – Modelos cognitivos e biológicos da audição com a AudioLazy
Danilo J. S. Bellini – @danilobellini – São Bernardo do Campo – SPAnatomia
2014-05-22 – UMESP – Modelos cognitivos e biológicos da audição com a AudioLazy
Danilo J. S. Bellini – @danilobellini – São Bernardo do Campo – SP
Anatomia e fisiologia da audiçãoAnatomia e fisiologia da audição
2014-05-22 – UMESP – Modelos cognitivos e biológicos da audição com a AudioLazy
Danilo J. S. Bellini – @danilobellini – São Bernardo do Campo – SP
2014-05-22 – UMESP – Modelos cognitivos e biológicos da audição com a AudioLazy
Danilo J. S. Bellini – @danilobellini – São Bernardo do Campo – SP
Banco de filtros de Patterson-Banco de filtros de Patterson-HoldsworthHoldsworth
Exemplo gammatone_plots.pyExemplo gammatone_plots.py
““Prompted by de Boer and Kuyper (1968), the Prompted by de Boer and Kuyper (1968), the GammaTone filter was introduced by Johannsma GammaTone filter was introduced by Johannsma (1972) to (1972) to describe the shape of the impulse describe the shape of the impulse response function of the auditory systemresponse function of the auditory system as as estimated by the reverse correlation function of estimated by the reverse correlation function of neural firing times.”neural firing times.”
J. Holdsworth, R. Patterson, I. Nimmo-Smith, P. Rice.Implementing a GammaTone Filter Bank, 1988
Annex C of the SVOS Final Report (Part A: The Auditory Filter Bank)
2014-05-22 – UMESP – Modelos cognitivos e biológicos da audição com a AudioLazy
Danilo J. S. Bellini – @danilobellini – São Bernardo do Campo – SP
Decomposição cromáticaDecomposição cromática
from audiolazy import *
rate = 44100s, Hz = sHz(rate)note = "A4"
freqs = octaves(str2freq(note))bw = lambda f: erb(f) * gammatone_erb_constants(4)[0]filt = ParallelFilter(gammatone(f*Hz, bw(f)*Hz) for f in freqs)filt.plot(samples=8192, rate=rate, freq_scale="log").show()
Filtros gammatone
+ “equivalência
de oitava”
Equivalente?
2014-05-22 – UMESP – Modelos cognitivos e biológicos da audição com a AudioLazy
Danilo J. S. Bellini – @danilobellini – São Bernardo do Campo – SP
Harmonia, croma, ritmo harmônicoHarmonia, croma, ritmo harmônico
2014-05-22 – UMESP – Modelos cognitivos e biológicos da audição com a AudioLazy
Danilo J. S. Bellini – @danilobellini – São Bernardo do Campo – SP
ObrigadoObrigado
Perguntas?Perguntas?
https://github.com/danilobellini/audiolazyhttps://github.com/danilobellini/audiolazy
Imagens sem referência nos slides foram retiradas da Wikipedia
Recommended