Sledovanie pohybu očí

http://vret.ces.clemson.edu/sigcourse/

SIGGRAPH 2000 Course 05: Eye-Based Interaction in

Graphical Systems: Theory & Practice

www.cs.uta.fi/hci/ieye/html/docs/intro.ppt

Introduction to Eye Tracking

Videnie Zorné pole:

Centrálne videnie – najostrejšie (1-2 stupne)

Mimocentrálne videnie – zaisťuje priestorové videnie (30 stupňov) Periférne videnie – reaguje na blikajúce objekty a náhly pohyb (15-50% ostrosti centrálneho videnia, nerozpoznáva farby)

1 15 25

S – veľkosť objektu

D – vzdialenosť

Zorný uhol

D

SV

2arctan2

http://en.wikipedia.org/wiki/Visual_angle

Pohyby očí

Oči sa hýbu stále (aj počas spánku)

Rôzne typy pohybov

Sledovanie

Chvenie

Otáčanie

Drift

Najzaujímavejšie sú

Fixácie

Kmity

Fixácie Obdobie relatívnej stability, počas ktorého vnímame objekty

Relatívna stabilita: oko nie je nehybné, ale mierne driftuje (v rámci 1 stupňa), vracia sa skokmi – mikrosakádami

Informáciu o scéne dostávame len počas počas fixácií

Trvanie 120-1000 ms, väčšinou okolo 200-600 ms

Nasledované kmitmi – sakádami

Kmity - sakády

Skoky spájajúce fixácie

Veľmi krátke – trvajú 40-120 ms

Veľmi rýchle (až do 600o/s), vizuálny systém je nefunkčný počas pohybu

V priebehu kmitu sa nedá meniť jeho smer alebo koncový bod, tieto sú určené pred začatím kmitu

Pri kmitoch väčších ako 30 stupňov sa hýbe aj hlava

Metódy sledovania pohybov oka

Elektronické

Mechanické

Videometódy

Jednobodové

Dvojbodové

Elektronické metódy

Elektródy na koži okolo oka

merajú potenciálové zmeny v

oku

Slabá presnosť

Zachytáva lepšie relatívne

pohyby

Použitie pri neurologickej

diagnostike -

elektrookulografia

Mechanické metódy

Kontaktné šošovky Cievka v magnetickom poli

Veľmi presné

Veľmi nepríjemné

Rozdiel medzi MM a VM 0.56°, 0.78° and 0.18°

v troch smeroch

Jednobodové videometódy

Sledovanie jednoho objektu vo videu:

Zrenička

Dúhovka

SW analyzuje videosignál a sleduje vybraný objekt

Kalibračná procedúra

Prenosný, neprenosný

zrenička

dúhovka

Dvojbodové videometódy

Sledujú dva objekty Zrenička + odraz na rohovke

IR svetlo Odraz na rohovke

Zvýraznenie zreničky

Výrazná zrenička

Odraz na rohovke

Odraz na rohovke

Purkiňove obrázky

Odraz na

1. Prednej strane rohovky

2. Zadnej strane rohovky

3. Prednej strane šošovky

4. Zadnej strane šošovky

Väčšina systémov sleduje 1.

Odraz na rohovke Poloha odrazu voči zreničke určuje smer pohľadu

kalibrácia

http://sunburst.usd.edu/~schieber/eyetracking/ets/ets-calibration.html

Termíny

Presnosť Očakávaný rozdiel medzi skutočnou pozíciou oka a vypočítanou

Väčšinou do 1°

Priestorové rozlíšenie Najmešia zachytiteľná zmena pozície oka (0.03-0.2°)

Časové rozlíšenie Počet zachytených pozícií oka za sekundu (30-500Hz)

Spracovanie dát

Dáta priamo z eye-trackera nepoužiteľné

Treba ich analyzovať, vizualizovať

Analýza Nájsť oblasti náhlej zmeny

Fixácia/kmit

Kmit/fixácia

Príklad pohybu oka v x-ovom smere

dispersion threshold – 1/2° až 1° zorného uhla (ak poznáme vzdialenosť k obrazovke)

duration threshold – 100 až 200 ms

Vizualizácia Teplotné mapy

3 fixacie

17 fixacii

Fixation Maps: Quantifying Eye-

movement Traces

David S. Wooding

Prahovanie

Teplotné mapy

Paul Cairns, York University

Paul Cairns, York University

Teplotné mapy

http://www.grokdotcom.com/2009/04/08/doesnt-graphic-designlayout-affect-scanning-patterns/

Miera rozdielnosti teplotných máp

Kullback-Leiblerova divergencia

Teplotná mapa = hustota pravdepodobnosti

Kruhy označujú fixácie

Polomer určuje dobu strávenú pri danej fixácii

Čiarou spojené kruhy – trajektória, časová postupnosť fixácií, určuje sakadický pohyb

Trajektória pohľadu s fixáciami

http://gurneyjourney.blogspot.sk/2009/11/do-artists-see-differently.html

Trajektória pohľadu - použitie

Fixácie určujú, kam sa človek pozerá,

ale nie, či daný obraz vníma

http://web.kennesaw.edu/news/stories/eyes-have-it

HDR

Dynamický rozsah Pomer maximálnej a minimálnej hodnoty merania

Scéna: pomer najjasnejšieho a najtmavšieho miesta v scéne

Fotoaparát: pomer nasýtenia (pretečenia senzoru) a šumu

Displej: pomer maximálnej a minimálnej vyžarovanej

intenzity

Správna expozícia scény záleží na obsahu

scény a dynamickom rozsahu

Scéna s vysokým dynamickým rozsahom

Histogram log-intenzít scény

Na fotku dokážeme preniesť 1.8 log-jednotiek

Digitálna úprava “dodge-and-burn”

1850 Gustave Le Gray

Kombinácia dvoch negatívov

Ansel Adams

Clearing Winter Storm, Yosemite National Park

pred 1942

Burning In

stmavenie časti fotografie

Dodging

zjasnenie časti fotografie

prekrytie miest, na ktoré

nemá dopadať toľko svetla

pri vyvolaní

Dynamický rozsah fotoaparátu

CCD chip 1:1000

čas 1:100

clona ~1:100

citlivosť (ISO) ~1:10

Celkový operačný rozsah 1:100,000,000

Jediný obrázok 1:1000

http://www.ephoto.sk/fotoskola/clanky/zaciname-s-fotografovanim/m---manualny-expozicny-rezim/

EV =

EV+1 … s/2 alebo a/√2

EV-1 … 2*s alebo a*√2

Fixná clona a => rovnaká hĺbka ostrosti

Expozičný čas:

¼, 1/8, 1/15, 1/30, 1/60, 1/125, 1/250, 1/500, 1/1000 sec

V skutočnosti:

¼, 1/8, 1/16, 1/32, 1/64, 1/128, 1/256, 1/512, 1/1024 sec F3.2 F9.0

Clonové číslo je pomer ohniskovej vzdialenosti optickej

sústavy k priemeru vstupnej šošovky.

• jj

Mapovanie osvetlenia scény na hodnoty intenzity – krivka

reakcie na svetlo

Nie je známa, líši sa podľa výrobcu, modelu, fotoaparátu...

Zvýšenie DR

Technika viacerých expozícií

– využíva operačný rozsah

– kombinuje viacero fotiek do jednej

Problémy:

– neznáma reakcia fotoaparátu

na svetlo

– neznáma šumová charakeristika

vstup: fotky scény z rovnakého miesta s rôznymi časmi

expozície Δtj

predpoklad: scéna je statická, proces snímania je rýchly =>

osvetlenie scény v bode i: Ei je konštantné

Zij – hodnota intenzity v bode i pri čase Δtj

Recovering High Dynamic Range Radiance

Maps from Photographs

Paul E. Debevec, Jitendra Malik, 1997

minimalizujeme

g(z) – v blízkosti Zmin a Zmax bude strmá

Dôraz na hladkosť v strede krivky

kvôli hladkosti krivky g(z)

stredná intenzita zodpovedá

jednotkovej expozícii

Neznáme:

Ei

g(zij)

len N bodov

v P fotografiách

Správne určený systém rovníc

N(P - 1) > (Zmax – Zmin)

ak (Zmax - Zmin) = 255, P = 11

N ≥ 50

Výber bodov: vhodné rozloženie intenzít z intervalu Zmin to Zmax

zároveň vhodne priestorovo rozložené v obraze v oblastiach

relatívne konštantnej intenzity

Výber bodov pomocou kumulatívneho histogramu -

percentily

Bez podmienky

Robustnejší odhad: použijeme váhovú funkciu a viac fotiek

Určenie osvetlenia ľubovoľnej scény pomocou získanej funkcie g

Z 1 obrazu

RGB

K

k

k

k ZcZf0

)(

2

1

1

1 1 1

1,1,,

N

i

P

j

K

k

K

k

k

jikjj

k

jik ZcRZc

)(

)(

1,

,

1,

ji

ji

jjZf

ZfR Podiel expozícií

N

iK

k

k

ji

m

k

K

k

k

ji

m

km

jj

Zc

ZcR

10 1,

)(

0 ,

)(

)(

1,

)()( 1,

)(

,

)(

ji

m

ji

m ZfZf

Vypočítame pre K ≤ 10, vyberieme najlepší

HDR formáty

RADIANCE

RGBE Format

http://radsite.lbl.gov/radiance/

SGI

LogLuv Format

Sam Leffler's TIFF library

http://www.anyhere.com/gward/pixformat/tiffluv.html

Industrial Light and Magic's

OpenEXR

http://www.openexr.net/

Pixar

Log Format

Sam Leffler's TIFF library

ftp://ftp.sgi.com/graphics/tiff/

http://www.pixar.com/

RGBE

3×8 bitov pre mantisy hodnôt jednotlivých

farevných kanálov

8 bitov pre spoločný exponent

LogLuv 24

lookup tabuľka: 0=najmenšie v vo viditeľnom

gamute, potom zľava doprava zdola

nahor. Krok pre u aj v 0.0035, pokryje

gamut v 214 hodnotách

LogLuv32

8 bitov na u a v zabezpečí dostatočne

malý krok kvantizácie

OpenEXR

16-bit Half floating-point type

Pixar log

33-bit/pixel, 11 bitov pre R,G,B, logaritmické

mapovanie, pokryje gamut filmu

8 rádov

0.2

0.3

0.06

(Source: http://www.anyhere.com/gward/hdrenc/)

24-bit LogLuv 32-bit LogLuv EXR RGBE

XYZE scRGB scRGB-nl scYCC-nl

(Source: http://www.anyhere.com/gward/hdrenc/)

# sférické HDR

obrázky

(360° x 180°)

# 26 EV rozsah

jedného skenu

# 50 megapixlov

Radiance (.hdr) a

OpenEXR (.exr)

http://www.spheron.com

hardware

• jj

Sony Pictures Imageworks use

Spheron Cameras in latest VFX

Productions

http://www.youtube.com/watch?v=

Luprwm9JOi4

# sférické HDR

obrázky

(360° x 180°)

# 28 EV rozsah

jedného skenu

# 100 megapixlov

96 Bit TIFF RGB

http://www.weiss-ag.org/

Civetta

HDR

Čo s tým

ďalej?

•Over 3,000 cd/m2 brightness

•0.015 cd/m2 black level

•Contrast ratio > 200,000:1

•High-definition 1,920 x 1,080

•37-inch screen

•16 bits per color

Brightside DR37-P

teraz Dolby

prototyp

príkon ~ 1600W,

hmotnosť ~ 70kg

cena ~ 49000 USD

SIM2 HDR47E S 4K

Technology HDR LCD Display with individually

controlled LED backlight modulation

Resolution 1920 x 1080 pixels

Display size 47”

Panel aspect ratio 16:9

Number of real

colours 16 bit per channel

Number of LED 2202

Brightness 4000 cd/m2

ANSI Contrast >20.000:1

FULL ON/OFF

Contrast

virtually infinite

(>1.000.000:1)

White point 6500K (totally adjustable

5000k–9000k)

LED B.L.U. life time 50.000 hours

Tone Mapping

10-6 106

10-6 106

High dynamic range

0 to 255

Tone Mapping

Typy operátorov

Globálne

Rovnaká nelineárna krivka aplikovaná na všetky body obrazu

Lokálne

Adaptačná krivka je rôzna pre každý bod podľa jeho okolia

Frekvenčné

DR je menený podľa frekvencií obsiahnutých v obraze

Gradientné

Mení sa derivácia obrazu

A review of tone reproduction techniques

Kate Devlin DCS, University of Bristol, 2002

Globálny Operátor

Adaptive Logaritmic Mapping For

Displaying High Contrast Scenes.

Drago, Myszkowski, Annen, Chiba, 2003

A Contrast-based Scalefactor for

Luminance Display

Ward, 1994

Reinhard, 2002

Zonálny systém Ansela Adamsa

Photographic Tone Reproduction

for Digital Images

Reinhard et al. 2002

Kľúč: subjektívna miera svetlosti obrazu

Log priemer:

Osvetlenie preškálované vzhľadom na kľúč:

Dodging and Burning

center-surround funkcia

Gradient Domain HDR Compression

Fattal et al., 2002

Jednoduchá myšlienka

Identifikácia veľkého gradientu v rôznych škálach

Progresívne zoslabenie veľkosti gradientu

Rekonštrukcia obrazu z nového gradientu

From: High Dynamic Range Capture and Tone Mapping, Grzegorz Krawczyk

Mapa potlačenia

http://www.cs.huji.ac.il/~danix/hdr

Gaussovská pyramída

Škálové funkcie potlačenia

Konštrukcia výslednej funkcie

),( yxHk

Perception Motivated Hybrid Approach

to Tone Mapping

Martin Čadík, 2007

Enhancement map

Fast Bilateral Filtering for the Display of HDR Images

Frédo Durand & Julie Dorsey

Fast Bilateral Filtering

[Tomasi a Manduchi 1998]

Detail

Farba

Intenzita Báza

Rýchly

bilaterálny

filter

Redukcia

kontrastu

Detail

Báza

Farba

zachováme

Vstupné HDR výsledok

Detail = Intenzita – báza

Time-dependent visual adaptation for realistic

image display

Pattanaik, Tumblin, Yee, Greenberg, 2000

multi-scale observer

operator

attempts to model all

steps within the human

visual system currently

known well enough to

be modelled

http://www.mpi-inf.mpg.de/resources/tmo

Adaptive Logarithmic Mapping for Displaying High Contrast Scenes

F. Drago, K. Myszkowski, T. Annen, and N. Chiba, 2003

Time-Dependent Visual Adaptation for Realistic Image Display S.N. Pattanaik, J. Tumblin, H. Yee, and D.P. Greenberg, 2000

Dynamic Range Reduction Inspired by Photoreceptor Physiology E. Reinhard and K. Devlin, 2004

Photographic Tone Reproduction for Digital Images E. Reinhard, M. Stark, P. Shirley, and J. Ferwerda, 2002

Fast Bilateral Filtering for the Display of High-Dynamic-Range Images F. Durand and J. Dorsey, 2002

A Tone Mapping Algorithm for High Contrast Images M. Ashikhmin, 2002

Gradient Domain High Dynamic Range Compression R. Fattal, D. Lischinski, and M. Werman, 2002

A Perceptual Framework for Contrast Processing of HDR Images R. Mantiuk, K. Myszkowski, and H.-P. Seidel, 2006

Porovnanie operátorov

http://www.cgg.cvut.cz/~cadikm/tmo

tone mapping:

upravenie intenzity

gamut mapping:

upravenie farieb

Gamut = rozsah farieb, ktoré dokáže

zariadenie zobraziť, alebo rozsah farieb v

obraze

Mapovanie gamutu:

Napr. Prevod farieb

obrazu do farieb

zobraziteľných

tlačiarňou

Gamut CRT monitora (drôtený model)

Gamut rôznych tlačiarní (pevné teleso)

CIELAB space

Deskriptor hranice gamutu

Gamut mapping algoritmy

globálne GMA

– Kompresia gamutu

– Orezanie gamutu

lokálne GMA

– Závisí od okolitých bodov

– Zachováva detaily

Typy mapovania

Orezanie gamutu

Mení body len mimo gamutu

Kompresia gamutu

Mení body aj vnútri

Orezanie

Ortogonálne

Radiálne

Horizontálne (C)

Vertikálne (L)

L+C

Kompresia Lineárna kompresia L

Lineárna kompresia C

Nelinárna kompresia C

Radiálna kompresia

L+C