Udito (2): percezione acustica ambientaleboccignone.di.unimi.it/.../LezPMPAcusticaReale.pdf · •Analisi di una scena acustica •Effetti di continuità e reintegrazione. Il sistema

Corso di Principi e Modelli della Percezione

Prof. Giuseppe Boccignone

Dipartimento di Scienze dell’Informazione

Università di Milano

[email protected]://homes.dsi.unimi.it/~boccignone/GiuseppeBoccignone_webpage/Modelli_Percezione.html

Udito (2):

percezione acustica ambientale

Percezione acustica ambientale

• Localizzazione dei suoni

• Suoni complessi

• Analisi di una scena acustica

• Effetti di continuità e reintegrazione

Il sistema uditivo

//Dal nervo acustico al cervello

Cochlear nucleus: The first brain stem nucleus at

which afferent auditory nerve fibers synapse

Superior olive: An early brain stem region in the

auditory pathway where inputs from both ears

converge

Inferior colliculus: A midbrain nucleus in the

auditory pathway

Medial geniculate nucleus: The part of the

thalamus that relays auditory signals to the

temporal cortex and receives input from the

auditory cortex

Primary auditory cortex (A1): The first area

within the temporal lobes of the brain responsible

for processing acoustic organization

Brain stem

nuclei

Temporal

lobes

• Organizzazione tonotopica: Un

dispiegamento per cui neuroni che

rispondono a frequenze diverse

sono organizzati anatomicamente

ordinati per frequenza

• Questa organizzazione è

mantenuta nella corteccia

Acustica primaria (A1)

• I neuroni di A1 sono connessi e

passano l’informazione all’aria belt

e questa poi all’area parabelt

Il sistema uditivo


Belt area: neuroni rispondono a

caratteristiche complesse del suono

Parabelt area: neuroni rispondono

a caratteristiche complesse del

suono + integrazione

multimodale

• Un confronto fra il sistema visivo e

quello acustico

• Sistema acustico : gran parte delle

elaborazioni è fatta prima di A1

(tranne linguaggio)

• Sistema visivo: gran parte delle

elaborazioni è fatta dopo V1

• Queste differenze potrebbero essere

dovute a ragioni evoluzionistiche

Il sistema uditivo



//Psico-acustica

• Lo studio dei correlati psicologici alla dimensione fisica degli stimoli acustici

• un ramo della psicofisica

Livello

psicologico

Livello fisico

Pitch Loudness

Frequenza Ampiezza / Intensità


//Psico-acustica

• Lo studio dei correlati psicologici alla dimensione fisica degli stimoli acustici

• un ramo della psicofisica

• Percezione del pitch: dipende da un insieme di proprietà spettrali (armoniche,

ecc)

• Percezione della loudness: dipende da frequenza, rumore, ambiente acustico


//Psico-acustica

• Percezione della loudness: dipende da frequenza, rumore, ambiente acustico

• Soglie acustiche: Una mappa dei suoni appena percepibili per varie frequenze

• Equal-loudness curve:

sound pressure level (dB SPL)vs.frequenza a cui un ascoltatore percepisce uguale loudness

each line corresponds to tones rated by observers as having the same loudness


//Psico-acustica

• Psicoacustica: studia come le persone percepiscono i suoni

• Ricerche condotte su toni puri suggeriscono come gli umani siano bravi a

discriminare anche piccole differenze di frequenze

• Masking: Usare un secondo suono, un rumore in frequenza, per rendere la

percezione di un suono target più difficile. Questa metodologia è usata per

investigare la selettività sulla banda delle frequenze

• Rumore bianco: Un suono in cui tutte le frequenze sono presenti nella stessa

quantità. Il rumore bianco è molto usato nel masking


//Psico-acustica


//Psico-acustica

• Psicoacustica: studia come le persone percepiscono i suoni

• Ricerche condotte su toni puri suggeriscono come gli umani siano bravi a

discriminare anche piccole differenze di frequenze

• Masking: Usare un secondo suono, un rumore in frequenza, per rendere la

percezione di un suono target più difficile. Questa metodologia è usata per

investigare la selettività sulla banda delle frequenze

• Rumore bianco: un suono in cui tutte le frequenze sono presenti nella stessa

quantità. Il rumore bianco è molto usato nel masking

• Banda critica (Critical bandwidth): Gamma di frequenze che sono convogliate

dentro un canale del sistema acustico


//Psico-acustica


//Localizzazione dei suoni

• Come localizziamo i suoni?

• Un esempio: la localizzazione di un

grillo

• Un dilemma simile si ha anche quando

si deve valutare la distanza di una fonte

sonora

• Due orecchi: Fattore critico per la

localizzazione dei suoni

• Differenze temporali

• Differenze di volume (loudness)


//Localizzazione dei suoni: ITD


• Interaural time difference (ITD): La

differenza in ordine di tempo (ritardo/

anticipo) con cui un suono arriva ad un

orecchio rispetto a quando arriva

all’altro orecchio




• Interaural time difference (ITD):

La differenza in ordine di

tempo (ritardo/anticipo) con cui

un suono arriva ad un orecchio

rispetto a quando arriva




• Azimuth: Usato per descrivere

le posizioni dei suoni su un

cerchio immaginario che si

estende intorno a noi sul piano

orizzontale

• L’ analisi dell’ ITD: Dove

dovrebbe essere posizionata

una fonte sonora per produrre

il massimo ITD?

• Quale è invece la dislocazione

che provoca il più piccolo ITD?

• Che cosa accade per

dislocazioni intermedie?



azimuth =

angle in the horizontal

plane (relative to head)



• Interaural time difference (ITD):

La differenza in ordine di

tempo (ritardo/anticipo) con cui

un suono arriva ad un orecchio

rispetto a quando arriva


• Come rilevare l’ITD ?

• si pensi al detettore di

Reichardt

• linee di ritardo




• detettore di Jeffress


neurons neurons

t = 0






neurons neurons

t =1






neurons neurons

t = 2




//Localizzazione dei suoni: fisiologia dell’ ITD


• L’oliva mediale superiore

(MSOs): E’ il primo luogo

dove gli inputs dei due

orecchi convergono

• Detettori dell’ITD formano

connessioni con gli inputs

provenienti dai due

orecchi già nei primi mesi

di vita

Oliva superiore: convergenza degli input

dai due orecchi


//Localizzazione dei suoni: fisiologia dell’ ITD


//Localizzazione dei suoni


• Un esempio: la localizzazione di un

grillo

• Un dilemma simile si ha anche quando

si deve valutare la distanza di una fonte

sonora

• Due orecchi: Fattore critico per la


• Differenze temporali

• Differenze di volume (loudness)


//Localizzazione dei suoni: ILD


• Interaural level difference(ILD):

• Differenza in intensità percepita da un

orecchio rispetto a quella percepita

dall’altro orecchio in relazione alla

stessa stimolazione acustica




• Differenza in intensità percepita da un




• I suoni sono più intensi per l’orecchio

più vicino alla fonte sonora

• ILD è massimo per 90 gradi, mentre è

nullo per 0 gradi e 180 gradi

• ILD correla generalmente con l’angolo

della fonte sonora, ma la correlazione

non è così robusta come per l’ITDs

• E’ piu’ importante per le frequenze alte.




Differenza in intensità percepita da un




• I suoni sono più intensi per l’orecchio

più vicino alla fonte sonora

• ILD è massimo per 90 gradi, mentre è

nullo per 0 gradi e 180 gradi

• ILD correla generalmente con l’angolo

della fonte sonora, ma la correlazione

non è così robusta come per l’ITDs

• E’ piu’ importante per le frequenze alte.

Interaural level differences for tones of different frequenciespresented at different positions


//Localizzazione dei suoni: fisiologia dell’ILD

• Oliva superiore laterale

(LSOs): Qui ci sono

neuroni che sono

sensibili alla differenza di

intensità fra i due orecchi

• Connessioni eccitatorie

con LSO provengono

dall’orecchio ipsilaterale

• Connessioni inibitorie

con LSO provengono

dall’orecchio

contralaterale


//Localizzazione dei suoni: ITD vs. ILD

ITD piu’ importante

per le frequenze

basse

ILD piu’ importante

per le frequenze

alte


//Localizzazione dei suoni: cono di confusione

• Potenziali problemi legati

all’utilizzo degli indizi di ITDs e

ILDs per la localizzazione dei

suoni

• Cono di confusione: insieme

di posizioni spaziali in cui tutti

i suoni producono gli stessi

esatti valori di ITDs e ILDs

• Sono stati gli esperimenti di

Wallach (1940) ha dimostrare

per primi questi problemi

subjects feel themselves to be moving

• incorrectly attribute sound source to

above or below them,

(due to cone of confusion)


//Localizzazione dei suoni: Percezione attiva

• Potenziali problemi legati all’utilizzo degli indizi di ITDs e ILDs per la


• Si possono superare utilizzando la percezione attiva:

• girare il capo


//Localizzazione dei suoni: il ruolo del padiglione

• La sagoma e la forma del padiglione danno un contributo per la

localizzazione spaziale dei suoni


//Localizzazione dei suoni: HRTF

• Head-related transfer function: Descrive come il padiglione e il canale uditivo

modificano l’intensità dei suoni di diversa frequenza che arrivano ad ogni

orecchio da posizioni spaziali diverse (azimuth e elevazione)



• Head-related transfer function: Descrive come il padiglione e il canale uditivo

modificano l’intensità dei suoni di diversa frequenza che arrivano ad ogni

orecchio da posizioni spaziali diverse (azimuth e elevazione)



• Head-related transfer function:

Descrive come il padiglione e il canale

uditivo modificano l’intensità dei suoni

di diversa frequenza che arrivano ad

ogni orecchio da posizioni spaziali

diverse (azimuth e elevazione)

• Ogni persona sviluppa la propria HRTF

• Se ne può imparare una nuova in 6

settimane (dopo un impianto artificiale,

Hofman et al 1998)

• La vecchia HRTF viene memorizzata

• riutilizzabile istantaneamente


//Percezione della distanza del suono

• Come si stima la distanza di una fonte sonora?

• L’intensità relativa del suono (volume, loudness)

• Legge dell’inverso del quadrato: al crescere della distanza della sorgente sonora

l’intensità sonora descresce con il quadrato della distanza

• Componenti spettrali dei suoni:

• Le frequenze più alte dei suoni perdono energia più rapidamente rispetto alle

basse frequenze via via che i suoni si propagano nello spazio (d > 1000m)

• Esempio il tuono

• Energia riverberante

• Quantità relativa di energia diretta (fonti vicine) vs quella di ritorno (fonti lontane)


//Percezione della distanza del suono


//Suoni complessi e armoniche

• La più bassa frequenza nello spettro delle armoniche = Frequenza

fondamentale

• Esempio: 220 (F1), 440 (F2), 660 (F3), 880 (F4), 1100 (F5)...

• Il sistema acustico è molto sensibile alle rapporti naturali fra le armoniche

• Oggetti naturali tendono a vibrare a frequenze di risonanza

• molte vibrazioni si attenuano altre persistono perchè la loro lunghezza d’onda è

rinforzata dalle proprietà fisiche dell’oggetto





• Anche la voce ha una decomposizione armonica



• Armoniche

• La più bassa frequenza nello spettro delle armoniche = Frequenza

fondamentale

• Esempio: 220 (F1), 440 (F2), 660 (F3), 880 (F4), 1100 (F5)...

• Il sistema acustico è molto sensibile ai rapporti naturali fra le armoniche

• Cosa accade quando la prima armonica viene a mancare?

• Effetto dell’ assenza della fondamentale




• Effetto della assenza della fondamentale

• L’altezza del suono (pitch) è percepito identico




• Effetto della assenza della fondamentale

• L’altezza del suono (pitch) è percepito identico: sufficienti 3 armoniche



• Cosa accade quando la

prima armonica viene a

mancare?

• Effetto della assenza della

fondamentale

• L’altezza del suono (pitch)

è percepito identico:

sufficienti 3 armoniche

• Poichè sono allineate sulla

fondamentale, il phase

locking potrebbe

mantenere la percezione

della fondamentale

2

3

4

2+3+4



• Cosa accade quando la

prima armonica viene a

mancare?

• Effetto della assenza della

fondamentale

• L’altezza del suono (pitch)

è percepito identico:

sufficienti 3 armoniche

• ma potrebbe anche essere

un meccanismo di pattern

matching sul place code

della coclea

2

3

4

2+3+4

• Timbro: Sensazione psicologica

tramite la quale un osservatore riesce

a distinguere come diversi due suoni

che hanno la stessa altezza e lo

stesso volume. Il timbro è estrapolato

dalle armoniche e da altre alte

frequenze

• La percezione del timbro dipende dal

contesto in cui il suono viene udito

• Esperimenti di Summerfield et al.

(1984)

• “Il contrasto del timbro” o “Post

illusione del timbro”


//Suoni complessi e timbro

Tre strumenti diversi suonano “mi”

• Attacco: La parte di un suono

durante la quale l’ampiezza

cresce (onset)

• Caduta: Parte di un suono

durante il quale l’ampiezza

descresce (offset)

• Importanti per distinguere suoni

e fonemi


//Attacco e caduta di un suono

• Che cosa accade in situazioni ecologiche (naturali)?


//Analisi della scena acustica

• Che cosa accade in situazioni ecologiche (naturali)?

• Un ambiente acustico può essere un luogo molto complesso

• Fonti acustiche multiple

• Come fa il sistema acustico a distinguere fra queste diverse fonti?

• Segregazione della fonte o analisi della scena acustica



• L’effetto “cocktail party”:

• riusciamo a prestare attenzione a una conversazione fra tante (Colin Cherry,

1953)



• L’effetto “cocktail party”:

• riusciamo a prestare attenzione a una conversazione fra tante (Colin Cherry,

1953)

• possiamo utilizzare indizi spaziali, temporali, e spettrali per separare gli stream,

ma non possiamo prestare attenzione a più stream contemporaneamente



• Segregazione della fonte o analisi della scena acustica

• Strategie possibili:

• Separazione spaziale fra i suoni

• Separazione sulla base dello spettro dei suoni o sulle qualità temporali (temporal

qualities)

• Segregazione del flusso audio: Organizzazione percettiva di un segnale

acustico complesso in diversi eventi acustici che vengono percepiti come

flussi acustici distinti





Fre

quency

(Hz)

• Segregazione del flusso audio: Organizzazione percettiva di un segnale

acustico complesso in diversi eventi acustici che vengono percepiti come

flussi acustici distinti



“Toccata e Fuga” di Bach

• Raggruppamento per timbro

• Toni che hanno frequenze che salgono e decrescono o toni che si differenziano

da questo andamento di salita/discesa risaltano immediatamente (pop out) nella

scena acustica



• Raggruppamento per timbro

• Toni che hanno frequenze che salgono e decrescono o toni che si differenziano

da questo andamento di salita/discesa risaltano immediatamente (pop out) nella

scena acustica



• Raggruppamento per inizio (on

set)

• Armoniche dei suoni del

linguaggio o della musica

• Raggruppare armoniche diverse

in un singolo tono complesso

• Rasch (1987) mostrò che è

molto più semplice distinguere

fra due toni quando l’inizio di

uno precede quello dell’altro di

un tempo molto piccolo

• Legge della Gestalt del destino

comune



• Come facciamo a sapere che

chi ascolta i suoni li sente come

patterns continui?

• Principio della buona continuità:

In particolari condizioni,

nonostante la presenza di

interruzioni, si è sempre in grado

di sentire i suoni

• Esperimenti che usano un

compito di detezione del

segnale (e.g., Kluender and

Jenison) suggeriscono che in un

qualche momento i suoni

fisicamente mancanti nella

sequenze vengono reintegrati

da sistema percettivo ed

analizzati come se fossero stati

presentati davvero


//Continuità e ripristino

• Reintegrazione di suoni

complessi (e.g., musica, parlato)

• Fonti di informazione di alto

livello “Higher-order” non solo

informazioni acustiche

• Il rumore al posto di un “buco”

può aiutare a migliorare la

percezione di continuità



• Reintegrazione di suoni

complessi (e.g., music,

speech)

• Fonti di informazione di

alto livello “Higher-

order” non solo

informazioni acustiche

• Il rumore al posto di un

“buco” può aiutare a

migliorare la percezione

di continuità

• vale anche per il

parlato



Documents

Udito (2): percezione acustica ambientaleboccignone.di.unimi.it/.../LezPMPAcusticaReale.pdf · •Analisi di una scena acustica •Effetti di continuità e reintegrazione. Il sistema