La percezione visiva transaccadica Emanuela Bricolo Università di Milano Bicocca

La percezione visiva La percezione visiva transaccadica transaccadica

Emanuela BricoloEmanuela Bricolo

Università di Milano BicoccaUniversità di Milano Bicocca

Percezione della scenaPercezione della scena

• Una scena visiva complessa viene Una scena visiva complessa viene sempre esplorata con una sequenza di sempre esplorata con una sequenza di fissazioni su diverse parti informative fissazioni su diverse parti informative della scena. della scena.

• La percezione è un processo dinamico e La percezione è un processo dinamico e distribuito nel tempodistribuito nel tempo

• Ma noi percepiamo una scena unicaMa noi percepiamo una scena unica• Integrazione delle informazioni in una Integrazione delle informazioni in una

rappresentazione interna coerenterappresentazione interna coerente

Descrizione del Descrizione del problemaproblema

• Rappresentazione unitaria e stabile Rappresentazione unitaria e stabile del mondo intorno a noi, anche se tra del mondo intorno a noi, anche se tra una fissazione e l’altra l’immagine una fissazione e l’altra l’immagine che cade sulla retina viene traslata.che cade sulla retina viene traslata.

• Una percezione stabile richiede che i Una percezione stabile richiede che i punti nella nuova immagine siano punti nella nuova immagine siano associati con i punti corrispondenti associati con i punti corrispondenti dell’immagine precedente.dell’immagine precedente.

SommarioSommario

• Descrizione del problemaDescrizione del problema• Costanza dello spazioCostanza dello spazio• Movimenti saccadici e Movimenti saccadici e

soppressione saccadicasoppressione saccadica• Memoria visiva / Integrazione Memoria visiva / Integrazione

transaccadicatransaccadica

Teorie di cancellazioneTeorie di cancellazione

• L’effetto sensoriale di un movimento L’effetto sensoriale di un movimento oculare è compensato da un segnale oculare è compensato da un segnale extraretinico (copia efferente del segnale extraretinico (copia efferente del segnale oculomotore) uguale e contrario relativo oculomotore) uguale e contrario relativo alla posizione dell’occhio nell’orbita alla posizione dell’occhio nell’orbita

• I due segnali si cancellano da qualche I due segnali si cancellano da qualche parte nel cervello per ottenere una parte nel cervello per ottenere una rappresentazione spaziale costante dello rappresentazione spaziale costante dello spazio visivo spazio visivo

Teorie di cancellazioneTeorie di cancellazione

• Però i segnali efferenti non sono copie Però i segnali efferenti non sono copie esatte del segnale oculare.esatte del segnale oculare.– Il loro guadagno è inferiore: sottostimano il Il loro guadagno è inferiore: sottostimano il

movimento attuale degli occhimovimento attuale degli occhi– Non sono dinamicamente precisi: errori di Non sono dinamicamente precisi: errori di

localizzazione di oggetti localizzazione di oggetti • la posizione apparente di oggetti che vengono la posizione apparente di oggetti che vengono

mostrati per un istante circa al momento della mostrati per un istante circa al momento della saccade vengono percettivamente spostata saccade vengono percettivamente spostata rispetto alla loro posizione attuale. rispetto alla loro posizione attuale.

Saccadic mislocalizationSaccadic mislocalization

• Gli spostamenti di flash prima e dopo Gli spostamenti di flash prima e dopo le saccadi non sono omogenei in varie le saccadi non sono omogenei in varie posizioni spazialiposizioni spaziali

• Non è un semplice spostamento nella Non è un semplice spostamento nella direzione della saccade ma è una direzione della saccade ma è una tendenza a convergere verso il target tendenza a convergere verso il target della saccade causando una della saccade causando una compressione del mondo visivo compressione del mondo visivo attorno al target saccadicoattorno al target saccadico

Compressione dello Compressione dello spaziospazio

• La compressione dello spazio non è uniforme in La compressione dello spazio non è uniforme in varie posizioni del campo visivo specialmente se varie posizioni del campo visivo specialmente se l’illuminazione non è ottimale: mancanza di l’illuminazione non è ottimale: mancanza di sistema di riferimento visivo?sistema di riferimento visivo?

• Lappe e colleghi (2000) hanno dimostrato che la Lappe e colleghi (2000) hanno dimostrato che la compressione presaccadica avviene solo se i compressione presaccadica avviene solo se i riferimenti visivi sono disponibili immediatamente riferimenti visivi sono disponibili immediatamente dopo non prima o durante la saccadedopo non prima o durante la saccade

• Quindi il processo della localizzazione spaziale Quindi il processo della localizzazione spaziale transsaccadica dipende principalmente transsaccadica dipende principalmente dall’informazione visiva postsaccadicadall’informazione visiva postsaccadica

(Lappe, Awater & Krekelberg, 2000)



• Soggetti in una stanza buiaSoggetti in una stanza buia• punto di fissazione a -6.4deg, punto di fissazione a -6.4deg, • dopo 1,7 sec target a 6.4degdopo 1,7 sec target a 6.4deg• spariscono entrambi dopo 50 msecspariscono entrambi dopo 50 msec• soggetti eseguono la saccade (110-190 ms soggetti eseguono la saccade (110-190 ms

dopo apparizione del target)dopo apparizione del target)• entro 250ms dal target appare una barra entro 250ms dal target appare una barra

verticale a -2.6, 2.6, 10, 13.6verticale a -2.6, 2.6, 10, 13.6• compito indicare posizione della barra con il compito indicare posizione della barra con il

mousemouse



• In una stanza buia punto di fissazione a -6.4deg, In una stanza buia punto di fissazione a -6.4deg, • dopo 1,7 sec target a 6.4degdopo 1,7 sec target a 6.4deg• spariscono entrambi dopo 50 msecspariscono entrambi dopo 50 msec• soggetti eseguono la saccade (110-190 ms dopo soggetti eseguono la saccade (110-190 ms dopo

apparizione del target)apparizione del target)• entro 250ms dal target appare per 8msec una entro 250ms dal target appare per 8msec una

barra verticale a -2.6, 2.6, 10, 13.6barra verticale a -2.6, 2.6, 10, 13.6• compito indicare posizione della barra con il mouse compito indicare posizione della barra con il mouse

500msec dopo la saccade500msec dopo la saccade• presenza variabile di un righello come riferimento a presenza variabile di un righello come riferimento a

seconda dell’esperimentoseconda dell’esperimento







• La presenza La presenza di un di un riferimento riferimento visivo dopo visivo dopo la saccade la saccade induce la induce la compressioncompressionee

Costanza spazialeCostanza spaziale

• Quindi l’informazione extra retinica circa la Quindi l’informazione extra retinica circa la posizione degli occhi è imprecisa. Se fosse posizione degli occhi è imprecisa. Se fosse l’unico metodo usato anche un piccolo l’unico metodo usato anche un piccolo errore dovrebbe causare un’alterazione errore dovrebbe causare un’alterazione della costanza. della costanza.

• Possibile soluzione: il sistema visivo si basa Possibile soluzione: il sistema visivo si basa sull’ipotesi che il mondo non cambi durante sull’ipotesi che il mondo non cambi durante un movimento oculareun movimento oculare

• La soppressione saccadica potrebbe La soppressione saccadica potrebbe correggere l’errore rimasto.correggere l’errore rimasto.

SaccadiSaccadi

• Movimenti oculari molto veloci la cui funzione è Movimenti oculari molto veloci la cui funzione è focalizzare su oggetti di interessefocalizzare su oggetti di interesse– 150-200ms per la pianificazione e l’esecuzione150-200ms per la pianificazione e l’esecuzione– 30 ms per l’esecuzione con velocità fino a 900deg/sec30 ms per l’esecuzione con velocità fino a 900deg/sec

• movementi ballistici: una volta che sono movementi ballistici: una volta che sono cominciati la loro traiettoria non può essere cominciati la loro traiettoria non può essere modificatamodificata

• tra una saccade e l’altra gli occhi mantengono la tra una saccade e l’altra gli occhi mantengono la fissazione in media per 300ms permettendo al fissazione in media per 300ms permettendo al sistema visivo di processare l’informazione sistema visivo di processare l’informazione disponibiledisponibile

SaccadiSaccadi

• Nessuna percezione a livello conscio Nessuna percezione a livello conscio del movimento dell’immagine che è del movimento dell’immagine che è causato dal movimento saccadicocausato dal movimento saccadico

• Nessun temporaneo sfuocamento Nessun temporaneo sfuocamento dell’immagine dell’immagine

• La percezione sembra essere La percezione sembra essere attenuata tra le saccadi: attenuata tra le saccadi: saccadic saccadic suppressionsuppression

Soppressione saccadicaSoppressione saccadica

• Prima ipotesi: così veloce da non Prima ipotesi: così veloce da non essere notataessere notata

• soggetti facilmente percepiscono il soggetti facilmente percepiscono il movimento di oggetti grandi ad movimento di oggetti grandi ad alto contrasto che si muovono alla alto contrasto che si muovono alla stessa velocità delle immagini stessa velocità delle immagini durante una saccade (Burr & Ross, durante una saccade (Burr & Ross, 1982)1982)


• Seconda ipotesi: visual maskingSeconda ipotesi: visual masking• le immagini chiare e limpide dovute le immagini chiare e limpide dovute

alle fissazioni prima e dopo la alle fissazioni prima e dopo la saccade dominano sulle immagini saccade dominano sulle immagini sfuocate presenti durante la saccadesfuocate presenti durante la saccade– esperimento con schermo esperimento con schermo

completamente nero e una luce completamente nero e una luce stroboscopica solo durante la saccade: stroboscopica solo durante la saccade: percezione del movimento retinicopercezione del movimento retinico


• Riduzione della sensitività visiva a Riduzione della sensitività visiva a eventi che accadono poco prima, eventi che accadono poco prima, durante o poco dopo una saccadedurante o poco dopo una saccade– elevazione della soglia nella elevazione della soglia nella

detezione di flashdetezione di flash– soppressione in particolare per soppressione in particolare per

oggetti a basse frequenze spaziali -> oggetti a basse frequenze spaziali -> via magnocellulare/movimentovia magnocellulare/movimento


• Identificazione di spostamenti Identificazione di spostamenti dell’immagine che avvengono durante il dell’immagine che avvengono durante il movimento ocularemovimento oculare

• Durante la fissazione il sistema visivo è Durante la fissazione il sistema visivo è altamente sensibile al movimento anche altamente sensibile al movimento anche piccolo di oggettipiccolo di oggetti

• A causa dell’alta velocità retinica durante A causa dell’alta velocità retinica durante una saccade questi segnali sono una saccade questi segnali sono praticamente cancellati durante un praticamente cancellati durante un movimento oculare movimento oculare

Cecità globale al Cecità globale al cambiamentocambiamento

• Cambio del display durante la saccade: scene Cambio del display durante la saccade: scene reali complesse modificate globalmente in tempo reali complesse modificate globalmente in tempo reale durante le saccadireale durante le saccadi– I cambiamenti globali venivano effettuati presentando I cambiamenti globali venivano effettuati presentando

ciascuna scena come un gruppo alternate di strisce di ciascuna scena come un gruppo alternate di strisce di immagine alternate a barre grigie invertendo strisce e immagine alternate a barre grigie invertendo strisce e barre durante specifiche saccadi.barre durante specifiche saccadi.

• I risultati hanno dimostrato un effetto di cecità I risultati hanno dimostrato un effetto di cecità globale transaccadica al cambiamento globale transaccadica al cambiamento suggerendo che le rappresentazioni visive punto a suggerendo che le rappresentazioni visive punto a punto non sono funzionali tra saccadi durante la punto non sono funzionali tra saccadi durante la percezione di scene complesse.percezione di scene complesse.

(Henderson & Hollingworth, Psych Sci, 2003)

Memoria visiva Memoria visiva transsaccadicatranssaccadica

• Senza un’evidenza diretta da parte Senza un’evidenza diretta da parte dei recettori del movimento è dei recettori del movimento è necessario un paragone tra la necessario un paragone tra la posizione del target prima e dopo la posizione del target prima e dopo la saccade: è necessaria una memoria saccade: è necessaria una memoria visiva transaccadicavisiva transaccadica

• Dati i cattivi risultati o la memoria Dati i cattivi risultati o la memoria non è disponibile o è molto poco non è disponibile o è molto poco precisaprecisa

Memoria visiva Memoria visiva transaccadicatransaccadica

• Il senso comune ci porta a dire che la Il senso comune ci porta a dire che la nostra memoria di un’immagine non è nostra memoria di un’immagine non è come una fotocopia neurale molto come una fotocopia neurale molto dettagliatadettagliata

• E’ stato dimostrato che siamo molto E’ stato dimostrato che siamo molto poco efficienti nel distinguere tra due poco efficienti nel distinguere tra due scene simili o nel distinguere scene simili o nel distinguere modifiche tra due versioni della stessa modifiche tra due versioni della stessa scenascena

Integrazione Integrazione transaccadicatransaccadica

• E’ necessaria un tipo di memoria a E’ necessaria un tipo di memoria a breve terminebreve termine

• Ci sono diversi modi per integrare Ci sono diversi modi per integrare le informazione ottenute da le informazione ottenute da saccadi successivesaccadi successive– spatiotopic fusion spatiotopic fusion – integrazione a livello più astrattointegrazione a livello più astratto

Spatiotopic fusionSpatiotopic fusion

• Le immagini ottenute nelle singole Le immagini ottenute nelle singole fissazioni sono mappate a seconda fissazioni sono mappate a seconda delle loro posizioni su una memoria più delle loro posizioni su una memoria più grande spazialmente organizzata, ad grande spazialmente organizzata, ad alta capacità e molto dettagliata.alta capacità e molto dettagliata.

• Non verificato dal punto di vista Non verificato dal punto di vista sperimentalesperimentale

F1

F2


• I soggetti dovrebbero essere in I soggetti dovrebbero essere in grado di percepire l’insieme di due grado di percepire l’insieme di due stimoli diversi presentati nella stimoli diversi presentati nella stessa posizione ambientale ma in stessa posizione ambientale ma in due fissazioni diversedue fissazioni diverse

(Irwin, Yantis & Yonides,1983)

NO!


• Il cambiamento di caratteristiche Il cambiamento di caratteristiche visive (dimensione dell’oggetto o visive (dimensione dell’oggetto o capitalizzazione delle lettere) non capitalizzazione delle lettere) non altera la denominazione di oggetti altera la denominazione di oggetti o lettere o lettere

• Non influenza i movimenti oculari Non influenza i movimenti oculari nella letturanella lettura


• C’è un ruolo particolare per la C’è un ruolo particolare per la posizione di arrivo della saccade?posizione di arrivo della saccade?– Rappresentazione del target può Rappresentazione del target può

servire a collegare informazioni pre e servire a collegare informazioni pre e post saccadichepost saccadiche


(Irwin, 1992)

+

X

R

F

W

M

T

|

+


• I soggetti ricordano solo 3-4 lettereI soggetti ricordano solo 3-4 lettere• le lettere più vicine al target le lettere più vicine al target

saccadico sono riconosciute molto più saccadico sono riconosciute molto più accuratamente di quelle lontaneaccuratamente di quelle lontane

• Le informazioni sulla zona intorno alla Le informazioni sulla zona intorno alla posizione di atterraggio della saccade posizione di atterraggio della saccade sono memorizzate più facilmentesono memorizzate più facilmente


• Supporto per questa idea è stato Supporto per questa idea è stato dato dai dati di McConkie e Currie dato dai dati di McConkie e Currie (1996)(1996)– fotografie di scene naturali a colorifotografie di scene naturali a colori– espansione o contrazione della scena espansione o contrazione della scena

tra saccaditra saccadi– Le variazioni venivano identificare in Le variazioni venivano identificare in

relazione alle modifiche di dimensione relazione alle modifiche di dimensione intorno alla zona del target saccadicointorno alla zona del target saccadico

Paradigma del contornoParadigma del contorno

• In ogni scena viene definita una regione critica creando In ogni scena viene definita una regione critica creando un contorno invisibile attorno ad un oggetto. un contorno invisibile attorno ad un oggetto.

• Appena gli occhi attraversano questo contorno viene Appena gli occhi attraversano questo contorno viene effettuata una modifica o all’oggetto all’interno del effettuata una modifica o all’oggetto all’interno del contorno o ad un altro oggetto nella scena.contorno o ad un altro oggetto nella scena.

• Il cambio è effettuato prima della terminazione della Il cambio è effettuato prima della terminazione della saccade usando uno schermo con un refresh rate molto saccade usando uno schermo con un refresh rate molto veloce rate ( > 140 Hz). veloce rate ( > 140 Hz).

• Il comportamento al riconoscimento della variazione per Il comportamento al riconoscimento della variazione per diversi tipi di cambi fornisce i mezzi per investigare la diversi tipi di cambi fornisce i mezzi per investigare la rappresentazione dell’informazione sulla scena tra una rappresentazione dell’informazione sulla scena tra una fissazione e l’altrafissazione e l’altra




Oggetto targetOggetto target

• Cambiamento dello stimolo Cambiamento dello stimolo durante la saccade tra un punto di durante la saccade tra un punto di fissazione e un particolare oggettofissazione e un particolare oggetto

• I soggetti si rendono conto solo se I soggetti si rendono conto solo se l’oggetto target viene spostato ma l’oggetto target viene spostato ma non se tutto il resto è stato non se tutto il resto è stato spostato!! spostato!!

(Currie et al., 2000)


• Senza fusione come si ottiene una Senza fusione come si ottiene una rappresentazione stabile e continua rappresentazione stabile e continua della scena?della scena?

• Integrazione di rappresentazioni Integrazione di rappresentazioni astratte dell’informazione presente a astratte dell’informazione presente a ciascuna fissazioneciascuna fissazione– similarità visiva e concettuale facilitano similarità visiva e concettuale facilitano

l’identificazione di oggetti tra saccadi l’identificazione di oggetti tra saccadi nonostante variazioni di dimensionenonostante variazioni di dimensione


• Memoria non dettagliata a Memoria non dettagliata a capacità limitatacapacità limitata

• Limitata a 4 elementi, non 4 Limitata a 4 elementi, non 4 proprietà, in un singolo displayproprietà, in un singolo display

• decade poco in quasi un secondodecade poco in quasi un secondo• è meglio per l’identità che per la è meglio per l’identità che per la

localizzazione dell’informazionelocalizzazione dell’informazione

(Irwin & Gordon, 1998)


(Irwin & Zelinsky, 2002)






• Subjects inspected a simple scene with Subjects inspected a simple scene with seven objects for 1,3,5,9, or 15 fixations;seven objects for 1,3,5,9, or 15 fixations;

• Shortly after scene offset, a marker cued Shortly after scene offset, a marker cued one scene location for report. one scene location for report.

• scene representations are relatively scene representations are relatively sparse; subjects remembered the sparse; subjects remembered the position/identity pairings for only about position/identity pairings for only about 78% of the objects in the scene, or the 78% of the objects in the scene, or the equivalent of about five objects-worth of equivalent of about five objects-worth of information. information.



• Report of the last three objects that were Report of the last three objects that were foveated and of the object about to be foveated and of the object about to be foveated was very accurate, however, foveated was very accurate, however, suggesting that recently attended information suggesting that recently attended information in a scene is represented quite well. in a scene is represented quite well.

• Information about the scene appeared to Information about the scene appeared to accumulate over multiple fixations, but the accumulate over multiple fixations, but the capacity of the on-line scene representation capacity of the on-line scene representation appeared to be limited to about five items. appeared to be limited to about five items.



• C’è un ruolo particolare per la C’è un ruolo particolare per la posizione di arrivo della saccade?posizione di arrivo della saccade?– Rappresentazione del target può servire Rappresentazione del target può servire

a collegare informazioni pre e post a collegare informazioni pre e post saccadichesaccadiche

– Dati neurofisiologici indicano Dati neurofisiologici indicano un’aumento della risposta delle cellule un’aumento della risposta delle cellule in V4 prima di una saccade nella in V4 prima di una saccade nella posizione del target (Moore et al., 1998)posizione del target (Moore et al., 1998)


• La memoria transaccadica è poco La memoria transaccadica è poco efficiente, perché percepiamo un efficiente, perché percepiamo un ambiente stabile?ambiente stabile?

• Perché l’ambiente che ci circonda Perché l’ambiente che ci circonda è stabile, coerente, integrato e è stabile, coerente, integrato e unitariounitario

(O’Regan, 1992)


• Ma davvero non viene memorizzato Ma davvero non viene memorizzato nessun dettaglio?nessun dettaglio?– Eliminando il target per 50-300ms a partire Eliminando il target per 50-300ms a partire

dall’inizio della saccade si ottiene dall’inizio della saccade si ottiene un’accuratissima giudizio sugli spostamenti un’accuratissima giudizio sugli spostamenti transaccadicitransaccadici

– La posizione presaccadica è memorizzata La posizione presaccadica è memorizzata correttamente ma non sono usate in correttamente ma non sono usate in percezione per l’assunzione di stabilità percezione per l’assunzione di stabilità

– solo grosse modifiche eliminano questa ipotesisolo grosse modifiche eliminano questa ipotesi

Oggetti bersaglio e nonOggetti bersaglio e non

• Come sono rappresentati in Come sono rappresentati in memoria oggetti nella scena che memoria oggetti nella scena che non sono bersagli della saccade?non sono bersagli della saccade?

Memoria visiva: Memoria visiva: oggetti bystandersoggetti bystanders

• Esperimento 1Esperimento 1– punto di fissazione centrale rossopunto di fissazione centrale rosso– da 1 a 6 punti neri più un target rosso da 1 a 6 punti neri più un target rosso – Durante la saccade al target rosso la Durante la saccade al target rosso la

posizione di uno dei bystanders poteva posizione di uno dei bystanders poteva cambiare di poco o rimanere ugualecambiare di poco o rimanere uguale

– I soggetti dovevano dire se c’era stata una I soggetti dovevano dire se c’era stata una modificamodifica

– Chiaro limite di capacità nell’indicizzare le Chiaro limite di capacità nell’indicizzare le posizioni tra una saccade e l’altraposizioni tra una saccade e l’altra

(Germeys et al., J. Vis., 2001)

Documents

La percezione visiva transaccadica Emanuela Bricolo Università di Milano Bicocca