Software Convergence Symposium 2014.01kiise.or.kr/swcs/2014/data/6-2.pdf · Software Convergence Symposium 2014.01.23 Re-active BCI 정상상태시각관련 유발전위 (SSVEP) 20

Software Convergence Symposium 2014.01.23

뇌-컴퓨터 인터페이스 기술 - 현황 및 전망

전 성 찬 [email protected]


Contents

▶ 뇌-컴퓨터 인터페이스 시스템 개요

▶ BCI의 원리

▶ 연구 현황

▶ 현 BCI의 한계

▶ 새로운 인터페이스로써 나아갈 방향

2


BCI

뇌-컴퓨터 인터페이스

시스템 개요


뇌파의 측정

▶ 1929년 Hans Berger에 의하여 기록됨

4


5


뇌파의 종류

6


뇌파의 측정

7

뇌전도

피질전도

스파이크


8

뇌자도 (MEG: Magnetoencephalography)


9

자기공명영상(MRI) 기능적 자기공명영상(fMRI)

Sitaram, Comput Intell Neurosci. 2007


근적외선 분광분석법 (fNIRS:Near Infra Red Spectroscopy)

10


11

Future BNCI Roadmap 2012


12

BCI research beginnings in 1973


13

Jerry J. Shih et. al 2012 Mayo Clinic Proceedings


14 Jerry J. Shih et. al 2012 Mayo Clinic Proceedings


15

영화 ‘소스코드’ 2011


명령패러다임 카테고리

16

방식 시스템과의

상호작용 뇌파의 발생 사용용도 사용 예

능동적

(active) 의도함

사용자의

의도로 조작

• 신체의 움직임을 상상

• 자발적 학습에 의하여

반응적

(re-active) 의도함

자극에

반응으로 조작

• 정상상태시각관련유발전위(SSVEP)

• 사건유발전위(P300)

수동적

(passive)

의도하지

않음 자발적 발생 부가 정보

• 감성 혹은 집중력 정량화

• 오류신호 (error potential) 를

이용한 오류정정

H. Gürkök, A. Nijholt, Intl. J. HCI. 2012.


Active BCI 신체의 움직임 상상

▶ 왼손과 오른손은 뇌에서 담당하는 영역이 다르다 (contralaterality) 왼손: 우뇌, 오른손: 좌뇌

17

C3 C4

왼손 오른손


18


Re-active BCI 시각관련 유발전위

19


Re-active BCI 정상상태시각관련 유발전위 (SSVEP)

20

Q를 봐야지

0초 1초

7번진동신호

화면을 보고 있을 때 화면의 정보가 뇌 시각영역(후두엽)에서 나타남을 활용한 뇌-컴퓨터 인터페이스 시스템


21

P를 봐야지

P가 깜빡일 때

U가 깜빡일 때

P

U

300 ms

Re-active BCI 사건유발전위 (P300)

집중하는 문자가 깜빡일 때 뇌파의 변화가 크게 나타나는 현상을 이용

0 ms


Re-active BCI 시각관련 사건유발전위(P300)

22


BCI

연구현황 및

게임에서의 응용


• 루게릭병 (근위축성측상경화증: ALS)

근육이 점차 굳어져 가며, 신체를 자유자재로 움직일 수 없는 병

루게릭 (야구선수, 1903~41)

스티븐 호킹 (천문학자, 1946~)

24


25

1년 3개월

20만 번의

눈 깜빡임

Locked in syndrom으로 몸을 움직일 수 없던

프랑스 언론인이 눈썹의 깜박거림으로 의사소

통을 해 완성한 회고집


26

16시간 (0.5문자/분)

대화수단 (타자기)


27

5~10문자 / 분


28

자동차 브레이크 시스템

the parts of the brain that are most active when braking


신체기능의 대체

▶ 계속적인 뇌파의 피드백과 연

습을 통해 컨트롤 대상을 실제

몸의 일부처럼 이용 할 수 있

음

29

Meel Velliste et al., nature, 2007


30

Nature, “Turning thoughts into actions”, 2006

Brain Gate Project (Brown Univ.)


Andrew B Schwartz, The Lancet, 2012

31


32

게임?


33

Active BCI 기반 게임

신체움직임 상상(왼손/오른손 등)을 이

용하여 2~3가지 명령을 통해 제어하

는 탁구게임이나, 핀볼등이 있음


34 Pablo Martinez et. al, Computational Intelligence and Neuroscience, 2007

Re-active BCI 기반 게임

정상상태시각관련유발전위(SSVEP)를 이용하여 자동차의

방향을 조절하는 게임


Passive BCI 기반게임 - Alpha WoW

35

relaxed stressed

World of Warcraft의 게임에 BCI를 연결시킨 것으로

Gamer의 감성/각성도에 따라 캐릭터를 변화


Passive BCI 기반게임

주로 Passive 기반 게임들이

시장에는 출시되어 있음

36


Active vs. Passive BCI

▶ 레이싱 게임

집중력을 정량화하여 속도제어

▶ Lego 탱크게임

왼쪽/오른쪽 치아를 깨물어 대포의 방향제어

37

게임1: 레이싱 게임

게임2: Lego 탱크게임

안민규 등, 정보과학회 2012


38


39

설문결과

BCI 게임에 대한 일반인들의 관심이 높음

조작에 대한 어려움이 레고(Active-BCI) 게임에서 많다고 답변

상대적으로 레이싱(Passive-BCI) 게임은 조작이 잘 된다고 답변


40


BCI

현 BCI의 한계


1. Reliability (day, time, locations, fatigue, noise)

2. Proficiency (aka illiteracy)

3. Convenience (aka transparency)

4. Bandwidth

5. Support

6. Training

7. Utility

8. Image

9. Standards

10. Infrastructure

Top 10 problems

42


사용하기 어렵고 불편하다.

▶ 타인(전문가)의 도움이 필요 장비가 복잡하여 혼자서, 실행시키기가 쉽지 않다.

▶ 사용을 위해 학습시간(적응시간)이 존재 사람마다 다른 뇌파의 특성으로 인해 일정시간의 훈련이 필요함

▶ 착용이 불편 착용이 쉽지 않고, BCI 시스템 사용 중에 불편을 느낀다.

43


신뢰성이 낮다.

▶ 시간/사람에 따라

성능(정확도)가 달라진다

▶ 정보전달량(bit/min)이 낮다

44

Theta

상상움직임을 잘하는 집단

Alpha

상상움직임을 잘 못하는 집단

RPL 0 0.9

00.511.520

0.5

1

1.5

2

-0.2-0.100.10.2

RPL 0 0.7

00.511.520

0.5

1

1.5

2

-0.2-0.100.10.2

Ahn et. al, 2013 PLoS One

방식 ITR (bit/min) 응답시간 (sec)

뇌파

LRP 20 -0.120

P300 28.2 1.58

ERD/ERS 28.8 1.5

SSVEP 26.4 2.10

Sensorimotor cortex rhythms 16.8 2.20

SCP 3.6 65.75

근전도 EMG 99.6 0.96

Desney S. Tan and Anton Nijholt, Brain-Computer Interfaces, Springer 2010


너무 볼품없다.

45


과연 유용한가?

46

Eye tracker SSVEP 타자기

속도, 사용방법, 착용, 피로도 등에 대해서 Eye tracker가 더 우수함


BCI

새로운 인터페이스로써

나아갈 방향


질 좋고, 미적인 센서/장비 개발

48


Coming devices

49

Muse Melon

Insight


쉽게 작동하고, 뇌파만의 장점을 살려야 함

50


다른 시스템과의 통합이 필요

51

Hayrettin Gurkok and Anton Nijholt, Intl. J HCI 2012


기술성 전망

개념화 연구개발 실험단계 제품화 상용화이전

국내 O

국외 O

52

하 중 상

하하 하중 하상 중하 중중 중상 상하 상중 상상

O

1-2년후 3-4년후 5-6년후 7-8년후 9-10년후 10년이상

O

KISTI 미리안 뇌 기계 인터페이스 기술조사

http://mirian.kisti.re.kr/futureknow/tech_define.jsp?tech_no=420

현재위치

난이도

예상

실현시기


Top 5 응용분야

53 Future BNCI Roadmap 2012


시장성 조사

54

F. Nijboer et. al, 5th Int. BCI Conference 2011


55

Luis Fernado Dicolas-Alonso 2012 - Brain Computer Interfaces, a Review


BCI

56

BCI for Healthy people


On-line Survey on BCI and BCI Games

57

일반인, 168

게임개발자,

36

BCI 연구자 ,

90

총 응답자 : 294명

Question Answer

The number of respondents

Count Percentage (%)

How old are you? Under 10 years old

10-19 years old 20-29 years old 30-39 years old 40-49 years old

Over 50 years old

0 16 183 71 16 8

0 5.5 62 24 5.5 3

Where do you live primarily?

Asia South America North America

Europe Africa

Australia (Oceania)

161 10 64 53 2 4

55 3 22 18 1 1


8%

53% 14%

25%

Developer

Yes

33%

No

67%

Experience on BCI game development

58%

31%

0% 11%

Developer

58% 23%

11%

8%

Researcher

0 to 2 years

3 to 5 years

6 to 8 years

Over 8 years

A B

13%

46% 8%

33%

User

Experiment or games

News or Internet

Movies or Novels

Others

C D

I know

78%

I don’t

know

22%

User

I know

83%

I don’t know

17%

Developer

58

Do you know BCI? How do you know about BCI?


BCI와 BCI game의 기대효과?

59

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%

User Developer Researcher

BCI

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%


BCI games

Very high

High

No strong

Low

Very low

A B

• 세 집단 모두 60%이상의 참가자들이 매우 높다 혹은 높다라고 답하였다.

• BCI와 BCI games에 대한 기대효과에 대한 긍정적 인식이 형성되어 있다.


Application awareness

60

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%


Very high High No strong Low Very low


Price and years

61

10 17 17

29 11

27

19 28

32

27 25

19 15 19

5

0%

20%

40%

60%

80%

100%


~$100 $100~200 $200~300

$300~400 $400~

14 14 22

16 11

16

31

14

33

27

31

18

11

30

11 1 0 0

0%

20%

40%

60%

80%

100%


Now 0~2 years 3~5 years

6~10 years After 10 years Never

A B Price Years

가격 생각보다 가격에 대한 허용도가 높고, 성능 면에서 살만하다 생각함. 일반인들도 30~40만원을 주고 살 용의가 있어 보임.

시간 연구자는 3-5년후를 가장 많이 의견을 냄. 개발자는 6-10년후 혹은 10년후를 가장 많이 의견을 냄. 일반인은 3-5년후 및 6-10년후를 이야기 하는 것으로 보임. 아직 연구자를 제외한 개발자/일반인 그룹들은 BCI 게임의 근시일내(5년) 실현가능성에 대하여 상대적으로 동의하지는 않는 것으로 여겨짐.


BCI 게임 개발 활성화를 위해 필요한 요소

62

67 61 58 67 50 61 30 42 17 22

22 28 19

25

33 22

28 39

31 42

8 11 19 8 8 14

28 5

30

22

3 0 0

0 6

3 11 6 14 6

0 0 2 0 3 0 3 8 8 8

0%

20%

40%

60%

80%

100%

58 39 19 50 19 23 16 27 19 26

39

36

32

39

32 41 27

27 38

39

3 19

31

7

17

19

35 27 23

23

0 4 12

4

20

12 18 13 13 8

0 2 6 0 12 5 4 6 7 4

0%

20%

40%

60%

80%

100%

Developer

Researcher One of the most important

Very important

Fairly important

Somewhat important

Not important

• 개발자들이 연구자들에 비

하여 각 요소에 대한 필요성을 더 크게 이야기함.

• 연구자는 다른 요소에 비하여 신호/신호처리에 더 큰 비중을 둠


BCI 게임 시장 활성화를 위해 필요한 요소

63

One of the most important

Very important

Fairly important

Somewhat important

Not important

47 42 56 33 33 50

44 39

25

22 42

33

6 11

19

36

14 6

3 8 0 6 6 8

0 0 0 3 5 3

0%

20%

40%

60%

80%

100%

Emergence of

simple and

precise device

Stimulate the

market for BCI

entertainment

Public's positive

awareness about

BCI

Invigorating the

BCI community

Lowering the

barrier for

developers to

enter BCI field

Appearance of

BCI game

platform

Developer

Researcher

38 14 26 10 23 20

41

37

44

43

30 34

17

23

15

31 32 26

3

18 9 9 10 16

1 8 6 7 5 4

0%

20%

40%

60%

80%

100%

Emergence of

simple and

precise device

Stimulate the

market for BCI

entertainment

Public's positive

awareness about

BCI

Invigorating the

BCI community

Lowering the

barrier for

developers to

enter BCI field

Appearance of

BCI game

platform

• 개발자들이 연구자들에 비하여 각 요소에 대한 필요성을 크게 이야기함.

• Platform 및 간단한 device에 대한 중요도를 개발자들은 높게 평가함


단기/장기적 전망

64

▶ 단기적으로

비 침습방식의 게임/치료(바이오피드백) 목적의

어플리케이션이 많이 나타날 것으로 예상됨

▶ 장기적으로

침습방식까지도 확장 할 것으로 판단되며, 환자 및 신체장애자를 위

한 의료/임상/보철 목적까지 확대 될 것임


Thank you

Q&A

65

광주과학기술원

정보통신공학부

BioComputing Lab.

전성찬

[email protected]

https://biocomput.gist.ac.kr

Documents

Software Convergence Symposium 2014.01kiise.or.kr/swcs/2014/data/6-2.pdf · Software Convergence Symposium 2014.01.23 Re-active BCI 정상상태시각관련 유발전위 (SSVEP) 20