Upload
others
View
0
Download
0
Embed Size (px)
Citation preview
Politechnika Łódzka, ul. Żeromskiego 116, 90-924 Łódź, tel. (042) 631 28 83
www.kapitalludzki.p.lodz.pl
„Innowacyjna dydaktyka bez ograniczeń - zintegrowany
rozwój Politechniki Łódzkiej - zarządzanie Uczelnią,
nowoczesna oferta edukacyjna i wzmacniania zdolności
do zatrudniania osób niepełnosprawnych”
Prezentacja multimedialna współfinansowana przez
Unię Europejską w ramach
Europejskiego Funduszu Społecznego w projekcie pt.
„Medical Electronics - Oculography”
Projekt współfinansowany przez Unię Europejską
w ramach Europejskiego Funduszu Społecznego
2
Why is eye-tracking important?
• We focus our gaze on the object or region of
interest
Tracking eye movements
=
Follow along the path of attention
• Get information about:
– What draws person’s attention
– How does the person
percieve the scene
Medical Electronics 2
Projekt współfinansowany przez Unię Europejską
w ramach Europejskiego Funduszu Społecznego
3
Eye Movements
• Eyes move all the time (even during sleep)
• 6 degrees of freedom
• movement controlled by 3 pairs of extrinsic muscles
Muscle Action
Superior rectus Eye looks up
Inferior rectus Eye looks down
Lateral rectus Eye rotates laterally
Medial rectus Eye rotates medially
Superior oblique Eye rolls, looks down and to
the side
Inferior oblique Eye rolls, looks up and to
the side
Medical Electronics
Projekt współfinansowany przez Unię Europejską
w ramach Europejskiego Funduszu Społecznego
Eye movements
Medical Electronics 4
Projekt współfinansowany przez Unię Europejską
w ramach Europejskiego Funduszu Społecznego
Eye movements
Medical Electronics 5
Projekt współfinansowany przez Unię Europejską
w ramach Europejskiego Funduszu Społecznego
Eye movements
• Several different movement types, such as – Smooth pursuit
– Vestibular ocular reflex
– Optokinesis
– Vergence
• But the most interesting types are – Fixation
– Saccade
Medical Electronics 6
Projekt współfinansowany przez Unię Europejską
w ramach Europejskiego Funduszu Społecznego
7
Fixations
• Eye is a (relatively) still and “fixated” to the certain
point. e.g. reading a single word.
• All the information from the scene is (mainly)
acquired during fixation.
• Duration varies from 120-1000 ms, typically
200-600 ms.
• Typical fixation frequency is < 3 Hz
• Interspersed with saccades
Medical Electronics
Projekt współfinansowany przez Unię Europejską
w ramach Europejskiego Funduszu Społecznego
Fixations
• Even when fixed, eyes exhibit involuntary movements:
– Tremos
• small tremors (tremblings) of eyes at 30-80Hz
– Slow drifts
• drifting movements of the eyes = even if an object is stationary, the image drifts
across the fovea.
– Flicking
• as the image drifts to the edge of the fovea, the involuntary mechanism causes
a reflex flicking of the eyeball so that the image is once again projected onto the
fovea.
• The drifting movements and flicking movements are in opposite
directions.
Medical Electronics 8
Projekt współfinansowany przez Unię Europejską
w ramach Europejskiego Funduszu Społecznego
9
Saccades
• “Jumps” which connect fixations
• Very rapid - duration is typically only 40-120 ms
• Very fast (up to 600 o/s) and therefore the vision
system is suppressed during the movement
• Saccades are used to move the fixation point
– If larger than 30 degree movement is required, head
moves along with eyes
Medical Electronics
Projekt współfinansowany przez Unię Europejską
w ramach Europejskiego Funduszu Społecznego
10
Fixations and saccades
Medical Electronics 10
http://en.wikipedia.org/
Projekt współfinansowany przez Unię Europejską
w ramach Europejskiego Funduszu Społecznego
11 Medical Electronics 11
Visual attention
• We must attend to something when acting on the
basis of visual input
• Defines:
– „where”
– „what”
• The perception of a complex scene involves a
complicated pattern of fixations and saccades
• Gaze path depends mainly on „what”
Projekt współfinansowany przez Unię Europejską
w ramach Europejskiego Funduszu Społecznego
12
Gaze path - example
Medical Electronics 12
http://www.diku.dk/
Projekt współfinansowany przez Unię Europejską
w ramach Europejskiego Funduszu Społecznego
13
Free examination
Medical Electronics 13
http://www.diku.dk/
Projekt współfinansowany przez Unię Europejską
w ramach Europejskiego Funduszu Społecznego
14
Material circumstances
Medical Electronics 14
http://www.diku.dk/
Medical Electronics
Projekt współfinansowany przez Unię Europejską
w ramach Europejskiego Funduszu Społecznego
15
How old are they?
Medical Electronics 15
http://www.diku.dk/
Medical Electronics
Projekt współfinansowany przez Unię Europejską
w ramach Europejskiego Funduszu Społecznego
16
What were they doing?
Medical Electronics 16
http://www.diku.dk/
Medical Electronics
Projekt współfinansowany przez Unię Europejską
w ramach Europejskiego Funduszu Społecznego
17
Clothes
Medical Electronics 17
http://www.diku.dk/
Medical Electronics
Projekt współfinansowany przez Unię Europejską
w ramach Europejskiego Funduszu Społecznego
18
Positions
Medical Electronics 18
http://www.diku.dk/
Medical Electronics
Projekt współfinansowany przez Unię Europejską
w ramach Europejskiego Funduszu Społecznego
19
When did they meet before?
Medical Electronics 19
http://www.diku.dk/
Medical Electronics
Projekt współfinansowany przez Unię Europejską
w ramach Europejskiego Funduszu Społecznego
Eyetracking - history
• Research since 1850s
• First attempts – direct observation
• XXc – use of oculographs:
– mechanical
– electrical
– photoelectrical
– magnetoelectrical
– video
Medical Electronics 20
Projekt współfinansowany przez Unię Europejską
w ramach Europejskiego Funduszu Społecznego
21
First video-based eye tracking
Medical Electronics 21
Hunziker (1970):
8 mm film
+
glass plate
http://en.wikipedia.org/
Projekt współfinansowany przez Unię Europejską
w ramach Europejskiego Funduszu Społecznego
22 Photo-Oculography (POG)
and Video-Oculography (VOG)
• Tracking eye movements by the digital processing
of video images of the eyes
• Different features used:
– Pupil shape
– Iris-sclera boundary
– Corneal reflection
of the light source
• Often employs IR illumination
• Requires fixed head position
Medical Electronics 22
http://www.archimuse.com
Medical Electronics
Projekt współfinansowany przez Unię Europejską
w ramach Europejskiego Funduszu Społecznego
Video-based eyetracking
– Head-mounted devices
– Non-contact devices
– Wereable devices
Medical Electronics 23
Projekt współfinansowany przez Unię Europejską
w ramach Europejskiego Funduszu Społecznego
24
Video-based eyetracking
Medical Electronics 24
www.jneuroengrehab.com
http://work.thaslwanter.at
Medical Electronics
Projekt współfinansowany przez Unię Europejską
w ramach Europejskiego Funduszu Społecznego
Tobii eye-trackers
Medical Electronics 25
Projekt współfinansowany przez Unię Europejską
w ramach Europejskiego Funduszu Społecznego
26
Video-Based Pupil/Corneal Reflection
• Measuring corneal reflections relative to the
locationof the pupil center
• Corneal reflections = Purkinje reflections =
Purkinje images
– 1st – from front surface of the cornea
– 2nd – from rear surface of the cornea
– 3rd – from front surface of the lens
– 4th – from rear surface of the lens
• Point of Regard estimation requires 1st and 4th
Purkinje images
Medical Electronics 26 Medical Electronics
Projekt współfinansowany przez Unię Europejską
w ramach Europejskiego Funduszu Społecznego
Purkinje reflections
Medical Electronics 27
Ray of light
Projekt współfinansowany przez Unię Europejską
w ramach Europejskiego Funduszu Społecznego
28
Video-Based Pupil/Corneal Reflection
Medical Electronics 28
http://people.usd.edu
Medical Electronics
Projekt współfinansowany przez Unię Europejską
w ramach Europejskiego Funduszu Społecznego
29
Dual Purkinje eye-tracker
http://www.fourward.com
Medical Electronics
Projekt współfinansowany przez Unię Europejską
w ramach Europejskiego Funduszu Społecznego
30
Ober Consulting
http://www.ober-consulting.com/
Medical Electronics
Projekt współfinansowany przez Unię Europejską
w ramach Europejskiego Funduszu Społecznego
31
Scleral Contact Lens/Search Coil
• Most precise method
• Contact lens of relatively large diameter with a
mounted stalk:
– Reflecting phosphors
– Line diagrams
– Wire coils
• Typically search coil embedded in contact lens +
electromagnetic field frame
Medical Electronics 31 Medical Electronics
Projekt współfinansowany przez Unię Europejską
w ramach Europejskiego Funduszu Społecznego
32
Scleral Contact Lens/Search Coil
Medical Electronics 32
http://www.skalar.nl
Medical Electronics
Projekt współfinansowany przez Unię Europejską
w ramach Europejskiego Funduszu Społecznego
33
Scleral Contact Lens/Search Coil
Medical Electronics 33
http://www.skalar.nl
http://mvl.mit.edu
Medical Electronics
Projekt współfinansowany przez Unię Europejską
w ramach Europejskiego Funduszu Społecznego
34
Electro-Oculography (EOG)
• ~50 years old
• Measurement of skin’s electric potential
differences from electrodes placed around the
eyes
• Range of potentials:15-2000μV, in practice 0.4 – 1mV
• Eye movements relative to head position
– ±70°, where 0° is in front and ± 90° directly
vertical/lateral to the eyes
• Not suitable for Point of Regard measurements
Medical Electronics 34 Medical Electronics
Projekt współfinansowany przez Unię Europejską
w ramach Europejskiego Funduszu Społecznego
35
Electro-Oculography (EOG)
Medical Electronics 35
http://www.human-factors-consult.de
Projekt współfinansowany przez Unię Europejską
w ramach Europejskiego Funduszu Społecznego
EOG – electrode placement
Medical Electronics 36
Vertical
Movements
(CH1)
Horizontal
Movements
(CH2)
Ground
Projekt współfinansowany przez Unię Europejską
w ramach Europejskiego Funduszu Społecznego
Example electrooculogram
Medical Electronics 37
http://www.hindawi.com
Projekt współfinansowany przez Unię Europejską
w ramach Europejskiego Funduszu Społecznego
Example electrooculogram
Medical Electronics 38
http://www.hindawi.com
Projekt współfinansowany przez Unię Europejską
w ramach Europejskiego Funduszu Społecznego
Example electrooculogram
Medical Electronics 39
http://www.hindawi.com
Projekt współfinansowany przez Unię Europejską
w ramach Europejskiego Funduszu Społecznego
EOG
• Application
– Diagnosis of organic changes in retina
– Toxic damage of retina
– Degenerative and vascular diseases of retina
– Addition to electroretinography
• Procedure
– Carried out in the dark
– Time - few to tens of minutes
– Measure „swinging” movements of the eyes in the range of ~40 degrees,
i.e. look at two sides of the illuminated table
– Recording has sinusoidal shape
– Results presented n terms of Arden ratio
• ISCEV Standard for Clinical Electro-oculography (first issued 1993 –
reapproved 1998)
Medical Electronics 40
Projekt współfinansowany przez Unię Europejską
w ramach Europejskiego Funduszu Społecznego
Medical Electronics 41
ISCEV Standard for Clinical Electro-oculography (EOG)
2006
Projekt współfinansowany przez Unię Europejską
w ramach Europejskiego Funduszu Społecznego
Electrooculographs
Medical Electronics 42
Digital electroretinograph
and electrooculograph
(with evoked potential)
EP-1000 PRO
Messbrille
ETH Zurich
Wearable Eye Tracker
Projekt współfinansowany przez Unię Europejską
w ramach Europejskiego Funduszu Społecznego
Make EOG by yourself
• http://community.curuxa.org/en/Electrooculograph
• http://makeprojects.com/Project/Eyeboard+Electrooculography+(EOG)
+System/1686/1#.UIByusVLNLE
Medical Electronics 43
Projekt współfinansowany przez Unię Europejską
w ramach Europejskiego Funduszu Społecznego
44
Eye tracking - what is it for?
• Medical research
• In-vehicle research
• Web usability
• Advertising
• Marketing
• Communication systems for disabled
• …
Medical Electronics 44
Projekt współfinansowany przez Unię Europejską
w ramach Europejskiego Funduszu Społecznego
45
In-vehicle research
Medical Electronics 45
http://en.wikipedia.org/
Projekt współfinansowany przez Unię Europejską
w ramach Europejskiego Funduszu Społecznego
46
Web usability
http://www.seomoz.org/
Medical Electronics
Projekt współfinansowany przez Unię Europejską
w ramach Europejskiego Funduszu Społecznego
47
Web usability
http://www.seotops.com/
Medical Electronics
Projekt współfinansowany przez Unię Europejską
w ramach Europejskiego Funduszu Społecznego
48
Advertising
http://www.visiontrackresearch.com/
Medical Electronics
Politechnika Łódzka, ul. Żeromskiego 116, 90-924 Łódź, tel. (042) 631 28 83
www.kapitalludzki.p.lodz.pl
„Innowacyjna dydaktyka bez ograniczeń - zintegrowany
rozwój Politechniki Łódzkiej - zarządzanie Uczelnią,
nowoczesna oferta edukacyjna i wzmacniania zdolności
do zatrudniania osób niepełnosprawnych”
Prezentacja multimedialna współfinansowana przez
Unię Europejską w ramach
Europejskiego Funduszu Społecznego w projekcie pt.
„ Medical Electronics - EOG”