иван василевич Eye tracking и нейрокомпьютерный интерфейс

Eye-Tracking и нейро-компьютерные интерфейсы

Владимир КонышевИван Василевичwww.neurobotics.ruwww.idirection.ru

План выступления1. Как современная наука может помочь в разработке интерфейсов и

оценке их эффективности? О важности использования технологий нейрофизиологии и психофизиологии в разработке современных интерфейсов.

2. Представление технологий бесконтактного трекинга глаз (eye-tracking), инструментальной психофизиологии (физиометрики), исследовании биопотенциалов мозга (нейрометрики, нейромаркетинга и нейро-компьютерного интерфейса)

3. Примеры использования2

www.iDirection.ru

Важные моменты использования этих технологий

1. Они позволяют проводить регистрацию значимых параметров в момент предъявления респонденту новой информации, рекламы и т.д. в повседневных, а не только лабораторных, условиях.

2. Регистрирующая аппаратура - небольшая по размеру и весу.

3. Может работать бесконтактно либо по беспроводному протоколу.

Совместное использование этих технологий обеспечивает инструменталь-ную объективную оценку психологического и ментального состояния человека.

3

www.iDirection.ru

Основные задачи при разработке/оценке интерфейса:

1. Определить куда человек смотрит, сколько времени и в какой последовательности.

2. Испытывает ли он при этом эмоции, насколько сильно они выражены.

3. Оценить изменение биопотенциалов мозга при поступлении новой информации, например, при просмотре рекламы. Какие моменты телевизионной рекламы привели к наиболее выраженным изменениям? Можно ли это практически использовать?

4

www.iDirection.ru

Два ключевых подхода

Нейрофизиология – наука о функционировании мозга, включая процессы внимания, запоминания, усталости. Основная технология – электроэнцефалография (ЭЭГ) – регистрация и анализ биопотенциалов с поверхности головы.

Психофизиология – наука о физиологических основах психики, включая процесс восприятия и эмоции. Основная технология – регистрация и анализ изменений сердцебиения, дыхания, кожно-гальванической реакции (КГР), микротремора мышц и других показателей в ответ на предъявление семантически значимых стимулов (этот подход используется, например, в «детекторе лжи»). 5

www.iDirection.ru

Шаги (подходы) решения этих задач:

1. Системы бесконтактного трекинга глаз:• Системы удаленного трекинга• Системы, носимые на голове

2. Инструментальная физиометрика:• Используются «детекторы лжи» (но в другом контексте)

3. Нейрометрика:• Нейромаркетинг (воздействие на мозг внешней информации)• Нейро-компьютерный интерфейс (управление мозгом внешними

устройствами)6

www.iDirection.ru

Типичные задачи, решаемые системами трекинга глаз:

1. Вы хотите анализировать распределение внимания или паттерны поведения при подаче информации через компьютер, при маркетинговых исследованиях, в эргономике, учёбе, искусстве и любых других визуальных задачах.

2. Вы хотите знать, куда смотрят люди, когда работают с новыми приборами, идут по аэропорту, ищут продукты в супермаркете, учатся играть в теннис или другой вид спорта, требующий сложной координации.

3. Вы хотите получать численные результаты быстро, в любой обстановке и для любых испытуемых.

7

www.iDirection.ru

Система бесконтактного трекинга глаз RED

• Небольшое устройство под монитором• Дистанционная регистрация, не

требующая фиксации головы• Рабочий объем – 40х40 см на

расстоянии 80 см• Частота регистрации 60, 120 и 250 Гц• Визуализация результатов в реальном

времени• Типичная точность определения взора

– менее 0.5 градуса8

www.iDirection.ru

Система трекинга глаз HED, носимая на голове

9

www.iDirection.ru

• Полностью мобильная и легкая система (< 80 грамм)

• Разработана для использования внутри и вне помещений

• Частота регистрации 50 или 200 Гц

• Визуализация результатов в реальном времени

• Точность определения взора – 0.5-1.0°

• Регистрация изображения сцены с оверлеем точки взора

Качественные виды анализа

• Тепловые и фокусные карты информационного поля• Пути навигации по нему• Режим «рой пчел» для группового анализа

10

www.iDirection.ru

Качественные виды анализа

• Тепловые и фокусные карты информационного поля• Пути навигации по нему• Режим «рой пчел» для группового анализа

11

www.iDirection.ru

Количественные виды анализа• Анализ зрительных паттернов

поиска на основе задания зон интереса (AOI) произвольной формы

• Расчет ключевых индикаторов (KPI) с одновременным показом суммарной статистики для всех зон

• Анализ саккад, фиксаций, морганий и времени реакции на внешние события

• Групповые статистические данные по времени и порядку осмотра, уделяемому различным участкам интерфейса или рекламы

12

www.iDirection.ru

Примеры оборудования для регистрации полиграммы

13

1. Стационарный 12-и канальный полиграф2. Беспроводной 9-и канальный полиграф3. Беспроводной 4-х канальный регистратор (40 грамм) с

передачей сигналов по ZigBee

1 2 3

www.iDirection.ru

Изменения полиграммы на семантически значимые стимулы

• Изменение (сбой) регулярного паттерна дыхания

• Потение ладоней на выброс адреналина

• Сужение периферических сосудов пальцев

14

www.iDirection.ru

Система исследования биопотенциалов мозга NVX-52

• Количество каналов – от 52 до 160• Частота опроса – до 2000 Гц/канал• Регистрация ответов первичных

сенсорных (слуховой и зрительной) зон• Регистрация ответов зон,

ответственных за эмоциональную оценку

• Регистрация ответов зон, ответственных за принятие решений

15

www.iDirection.ru

Использование биопотенциалов мозга в интерфейсах

Нейрометрика – извлечение количественных показателей из ЭЭГ человека с целью определения силы и характера внешнего воздействия на мозговую активность.

Нейромеркетинг – прикладное использование нейрометрики для оценки и усиления воздействия внешней информации (коммерческой или политической рекламы). Передача информации человеку.

Нейро-компьютерный интерфейс – прямое управление мозгом внешними приборами или виртуальными объектами. Передача информации от человека.

16

www.iDirection.ru

Типичный пример электроэнцефалограммы человека

• Исходные сигналы ЭЭГ• Спектры мощности с

индикацией основных ритмов

• Карты распределения мощности для основных частот (дельта, тета, альфа, бета и гамма ритмы)

17

www.iDirection.ru

Индексы нейромаркетинга

Первичные индексы:1. Уровень внимания к рекламе2. Эмоциональное вовлечение3. Её запоминание

Вторичные индексы:4. Желание купить или желание подробнее ознакомиться с продукцией5. Новизна рекламы6. Общий уровень знания о продукции

18

www.iDirection.ru

Преимущества метода нейромаркетинга

19

1. Более точная оценка по времени2. Более объективная3. Меньший объем фокус-группы.

www.iDirection.ru

Преимущества метода нейромаркетинга

1. При предъявлении динамической телерекламы, содержащей видео и аудио контент, возможна оценка отклика мозга на каждый кадр рекламы, что позволяет создавать рекламу с более сильным воздействием на аудиторию.

20

www.iDirection.ru

Преимущества метода нейромаркетинга

1. При предъявлении динамической телерекламы, содержащей видео и аудио контент, возможна оценка отклика мозга на каждый кадр рекламы, что позволяет создавать рекламу с более сильным воздействием на аудиторию.

21

2. При использовании метода определяются объективные показатели воздействия рекламы, а не опосредованные отклики (вегетативные или словестные) респондента.

www.iDirection.ru

Преимущества метода нейромаркетинга

22

3. Классические способы оценки рекламы на основе заполнения опросников обеспечивают только субъективную интегральную оценку всего рекламного ролика. Зачастую, такая оценка ограничена социальными, культурными и личностными установками конкретного респондента. Поэтому для получения объективной оценки воздействия рекламы требуются большие объемы фокус группы.

www.iDirection.ru

2. При использовании метода определяются объективные показатели воздействия рекламы, а не опосредованные отклики (вегетативные или словесные) респондента.

http://www.youtube.com/watch?v=EuWaJOyFZVM 23

www.iDirection.ru

Посмотрим кино…

Пример использования нейромаркетинга

24

www.iDirection.ru

1. Уровень внимания к рекламе

2. Эмоциональное вовлечение (лицо женщины)

3. Запоминание информации (показ новой BMW)

25

Спасибо за внимание. Вопросы?Иван Василевич, E-mail: sales@idirection.ru

www.iDirection.ru