8
660 정보과학회논문지 : 컴퓨팅의 실제 및 레터 제 18 권 제 9 (2012.9) 본 연구는 한국연구재단 기초연구사업(NRF-2010-0006135) 및 한국표준과학연구 원의 the Korea Research Council of Fundamental Science and Technology (KRCF) 지원으로 수행하였습니다. 논문접수 심사완료 : : 20124252012619Copyright2012 한국정보과학회ː개인 목적이나 교육 목적인 경우, 이 저작 물의 전체 또는 일부에 대한 복사본 혹은 디지털 사본의 제작을 허가합니다. 이 때, 사본은 상업적 수단으로 사용할 수 없으며 첫 페이지에 본 문구와 출처 를 반드시 명시해야 합니다. 이 외의 목적으로 복제, 배포, 출판, 전송 등 모든 유형의 사용행위를 하는 경우에 대하여는 사전에 허가를 얻고 비용을 지불해야 합니다. 정보과학회논문지: 컴퓨팅의 실제 및 레터 제18권 제9(2012.9) †† 학생회원 정 회 원 : : 광주과학기술원 정보통신공학과 [email protected] [email protected] [email protected] 광주과학기술원 정보통신공학과 교수 [email protected] (Corresponding author) 2012년도 학생논문 경진대회 수상작 뇌-컴퓨터 인터페이스를 이용한 게임: 데모를 통한 유용성 평가 (Brain Game - Application of Brain Computer Interface : Usability Test Through the Demonstration) 안민규 전성찬 †† 조호현 안상태 (Minkyu Ahn) (Sung Chan Jun) (Hohyun Cho) (Sangtae Ahn) -컴퓨터 인터페이스는 인간 행위/사고/감성 등에 대한 원초적인 정보를 통해 기기를 조작하 거나 보다 능동적으로 인간-기계 상호작용을 도울 수 있기에 많은 관심을 받고 있다. -컴퓨터 인터페이 스를 통한 어플리케이션에는 크게 사용자의 의도를 그대로 반영하는 제어관점과 상태/감성 등을 파악하여 적용하는 모니터링 방식이 있는데, 본 논문에서는 집중력으로 자동차의 속도를 조절하는 레이싱 게임과 인 PC 게임인 스타크래프트의 캐릭터들을 소재로 한 탱크 게임을 소개한다. 또한 일반인들을 대상으로 시연을 함으로써, -컴퓨터 인터페이스 게임의 대중적 관심과 개발된 게임자체의 평가를 통해 실생활 어 플리케이션으로 뇌-컴퓨터 인터페이스 시스템이 나아가야 할 방향과 적용 가능성을 전망한다. 키워드 : -컴퓨터 인터페이스, 뇌파 게임, 바이오피드백 Abstract With the popularity of brain engineering, brain-computer interface (BCI) has been a hot issue since it may uses the information about human’s behavior, thought and emotion to control a device or facilitate the interaction between human and machine. The application of BCI can be divided into two types, one is in the context of control and another is monitoring a human’s mental or physical state. We developed two different applications according to these types. A ‘racing game’ uses the concentration of a user to change the car’s velocity, and as a second application, a lego tank unit motivated by the PC game ‘starcraft’ is controlled by users intention. These games were demonstrated in HCI Korea 2012 conference and conference attendees participated to play them. From the demonstration and the feedback from participants, we prospect the usability of BCI application and its future direction. Key words : brain-computer interface, BCI, brain game, biofeedback

뇌-컴퓨터 인터페이스를 이용한 게임: 데모를 통한 유용성 평가 · ‘스타크래프트’로 정하고, ‘저그’와 ‘테란’ 종족의 주요 캐 릭터들을

  • Upload
    others

  • View
    3

  • Download
    0

Embed Size (px)

Citation preview

  • 660 정보과학회논문지 : 컴퓨팅의 실제 및 레터 제 18 권 제 9 호(2012.9)

    ․본 연구는 한국연구재단 기초연구사업(NRF-2010-0006135) 및 한국표준과학연구

    원의 the Korea Research Council of Fundamental Science and Technology

    (KRCF) 지원으로 수행하였습니다.

    논문접수

    심사완료

    :

    :

    2012년 4월 25일

    2012년 6월 19일

    CopyrightⒸ2012 한국정보과학회ː개인 목적이나 교육 목적인 경우, 이 저작

    물의 전체 또는 일부에 대한 복사본 혹은 디지털 사본의 제작을 허가합니다.

    이 때, 사본은 상업적 수단으로 사용할 수 없으며 첫 페이지에 본 문구와 출처

    를 반드시 명시해야 합니다. 이 외의 목적으로 복제, 배포, 출판, 전송 등 모든

    유형의 사용행위를 하는 경우에 대하여는 사전에 허가를 얻고 비용을 지불해야

    합니다.

    정보과학회논문지: 컴퓨팅의 실제 및 레터 제18권 제9호(2012.9)

    ††

    학생회원

    정 회 원

    :

    :

    광주과학기술원 정보통신공학과

    [email protected]

    [email protected]

    [email protected]

    광주과학기술원 정보통신공학과 교수

    [email protected]

    (Corresponding author임)

    ■ 2012년도 학생논문 경진대회 수상작

    뇌-컴퓨터 인터페이스를 이용한 게임: 데모를 통한 유용성 평가

    (Brain Game - Application of Brain Computer Interface :

    Usability Test Through the Demonstration)

    안 민 규 † 전 성 찬 †† 조 호 현 † 안 상 태 †

    (Minkyu Ahn) (Sung Chan Jun) (Hohyun Cho) (Sangtae Ahn)

    요 약 뇌-컴퓨터 인터페이스는 인간 행위/사고/감성 등에 대한 원초적인 정보를 통해 기기를 조작하

    거나 보다 능동적으로 인간-기계 상호작용을 도울 수 있기에 많은 관심을 받고 있다. 뇌-컴퓨터 인터페이

    스를 통한 어플리케이션에는 크게 사용자의 의도를 그대로 반영하는 제어관점과 상태/감성 등을 파악하여

    적용하는 모니터링 방식이 있는데, 본 논문에서는 집중력으로 자동차의 속도를 조절하는 레이싱 게임과 인

    기 PC 게임인 ‘스타크래프트’의 캐릭터들을 소재로 한 탱크 게임을 소개한다. 또한 일반인들을 대상으로

    시연을 함으로써, 뇌-컴퓨터 인터페이스 게임의 대중적 관심과 개발된 게임자체의 평가를 통해 실생활 어

    플리케이션으로 뇌-컴퓨터 인터페이스 시스템이 나아가야 할 방향과 적용 가능성을 전망한다.

    키워드 : 뇌-컴퓨터 인터페이스, 뇌파 게임, 바이오피드백

    Abstract With the popularity of brain engineering, brain-computer interface (BCI) has been a hot

    issue since it may uses the information about human’s behavior, thought and emotion to control a

    device or facilitate the interaction between human and machine. The application of BCI can be divided

    into two types, one is in the context of control and another is monitoring a human’s mental or physical

    state. We developed two different applications according to these types. A ‘racing game’ uses the

    concentration of a user to change the car’s velocity, and as a second application, a lego tank unit

    motivated by the PC game ‘starcraft’ is controlled by users intention. These games were demonstrated

    in HCI Korea 2012 conference and conference attendees participated to play them. From the

    demonstration and the feedback from participants, we prospect the usability of BCI application and its

    future direction.

    Key words : brain-computer interface, BCI, brain game, biofeedback

  • 뇌-컴퓨터 인터페이스를 이용한 게임: 데모를 통한 유용성 평가 661

    1. 서 론

    20세기 들어 컴퓨터의 발전과 더불어 게임도 새로운

    방식으로 변모하게 되었다. 컴퓨터 스크린 상에서 각종

    캐릭터들을 키보드 및 마우스 등으로 조작하며 미션을

    수행 하던 게임은 인터넷의 발달과 함께 찾아온 온라인

    게임을 통해 공간의 제약이 무너지게 되었다. 게임의 발

    전은 여기에 그치지 않고, 마우스와 키보드에 수동적으

    로 끼워 맞춰 조작하던 방식을 닌텐도 Wii를 통하여 보

    다 자연스러운 인간친화형 인터페이스를 제공하면서 다

    양한 행위적 정보를 입력받아 사용한다. 마이크로소프트

    는 한 단계 더 나아가, X-Box Kinect로[1] 아예 하드웨

    어적인 인터페이스에 구애 받지 않고 게임을 할 수 있도

    록 게임 인터페이스 역사에 새로운 장을 열었다. 이렇게

    점점 인간의 자연스러운 생활 및 행동 정보를 적용하여

    반영시키는 게임의 다음 단계는 바로 물리적 움직임으로

    부터 벗어난 원초적 정보를 그대로 사용하는 것이다. 이

    미 각종 영화에서 이러한 기술이 소개가 되고 있으며, 미

    국 공학한림원[2], MIT Technology Review, New

    York Times, Business 2.0 및 국내 한국과학기술기획평

    가원(KISTEP)에서 뇌-컴퓨터 인터페이스를 미래유망기

    술로 손꼽았다. 또한, 국내 인기 프로그램인 ‘스타킹’에서

    는 뇌파에 관한 주제로 ‘뉴로스카이’의 스타워즈 포스 트

    레이너[3]나 뇌파선풍기를 최근 방영 하는 등. 사회적으

    로도 호기심을 불러일으키고 있는 것을 알 수 있다.

    UCLA에서 1970년대[4] 처음으로 언급된 뇌-컴퓨터

    인터페이스(BCI) 연구는 초기에는 몸을 움직일 수 없는

    환자들을 대상으로 그 미래적 가능성을 제기하면서 활

    발하게 연구되기 시작하였다. 환자를 위한 대화수단, 재

    활 등으로[5] 그 영역을 넓혀나간 뇌-컴퓨터 인터페이스

    연구는 이제 일반인에게까지 확대되며, 쉽게 접할 수 있

    는 형태인 게임으로까지 발전되었다[6]. 그러나 아직 상

    업화된 사례는 거의 없으며, 실용화하기에는 연구가 미

    진한 상황이다. 특히 국내에서는 관련 연구를 찾아보기

    가 힘들고, 게임으로 발전시킨 예는 많지 않은 것으로

    보인다. 뇌파를 모니터링 하면서 뉴로피드백의 효과를

    보기 위한 예들이나, 간단한 소프트웨어 게임들이 전부

    다[7-9].

    본 논문에서는 이러한 사회/과학적 이슈가 되고, 새로

    운 게임 인터페이스로써 가능성을 가진 뇌파에 대하여

    간략히 소개를 하고, 뇌-컴퓨터 인터페이스 시스템에 관

    하여 살펴본 후, 기존의 소프트웨어 기반 게임범위를 벗

    어나, 하드웨어로 그 폭을 넓혀 개발된 뇌파게임 2종류

    를 선보인다. 또한 실제 일반인을 대상으로 시연한 결과

    를 토대로 뇌-컴퓨터 인터페이스 기반 어플리케이션의

    가능성을 타진해본다.

    1.1 뇌파의 이해

    뇌파는 크게 5가지로 나눌 수 있으며, 경우에 따라 μ

    파를 추가하여 6가지로 설명하기도 한다. 각각의 뇌파는

    보통 주파수를 기준으로 표 1과 같이 나뉘며, 인간의 정

    신/인지/감성적 상태 및 물리적인 움직임에 대한 정보들

    도 나타낸다.

    표 1 뇌파의 분류

    종류 주파수(Hz) 출 현 시 기

    δ 0.5~3 깊은 숙면 중

    θ 4~7 수면 중

    α 8~13 각성, 안정, 폐안 상태

    β 14~30 긴장, 집중

    γ 30~50 고도의 인지 기능 시

    μ 6~12 주로 체성감각과 관련

    이러한 뇌파들을 토대로, 인지적 감성적 정보들이 다

    양하게 연구 되고 있으며, 특히 μ와 β는 θ파와 함께 집

    중력 지표를 위하여 많이 사용되고 있다[10].

    집중력

    (1)

    또한, 뇌파의 출현은 두부 부위마다 서로 다른 양상을

    나타낼 수 있는데, 이는 두뇌의 해부학적 기능이 서로

    다름을 투영하는 것이며, 최근 공간적 정보를 이용한 뇌

    연결성(Brain connectivity)도 많이 연구되고 있다.

    1.2 뇌-컴퓨터 인터페이스 시스템[11]

    뇌-컴퓨터 인터페이스는 앞서 살펴본 뇌파의 시간, 주

    파수 혹은 공간적 측면에서 인간의 인지, 의도, 감정 및

    정신 상태에 대한 정보를 알아내고 이를 컴퓨터 및 기

    기를 제어하거나, 시스템에 반영하는 기술이다. 경우에

    따라 뇌에서 직접 뇌파신호를 얻는 침습방식을 사용하

    거나, 두부절개를 하지 않고 보다 안전하고, 편하게 할

    수 있는 비 침습 방식을 사용한다. 또는 비 침습 방식이

    라도 뇌에서 나타나는 신호정보를 영상화 하여, 원천적

    인 정보를 보려는 시도도 있다[12]. 뇌-컴퓨터 인터페이

    스가 실시간으로 운영가능하게 하는 것이 이 분야의 목

    표이나, 반드시 극복해야할 장애요인들이 아직 산재하

    다. 신체를 움직일 수 없는 사람이 보조기구를 제어할

    수 있도록 돕는데 사용할 수 있다는 것이 큰 관심을 끌

    고 있으며, 일반인에게는 감성이나 집중력을 반영하는

    게임 및 스마트 IT 기기에 적용할 수가 있다. 그러나

    아직 제어관점에서 사용자의 정확한 의도를 파악하기에

    는 두부 내/외부적인 잡음이나, 사용자 정신 상태에 따

    라 뇌파정보가 달라지는 뇌파의 변화성(variability) 등

    이 해결해야 하는 과제로 남아 높은 정확도 및 빠른 응

    답속도를 갖는 시스템을 갖추기가 쉽지 않다. 반면 모니

    터링 관점에서 사용자의 정보를 반영하기만 하는 시스

  • 662 정보과학회논문지 : 컴퓨팅의 실제 및 레터 제 18 권 제 9 호(2012.9)

    그림 2 BCI2000 기반 ‘레이싱 게임’과 ‘Lego 탱크게임’

    그림 1 뇌-컴퓨터 인터페이스의 기본 흐름

    템은 제어에 비해 높은 정확도를 필요로 하지 않기 때

    문에 사용자에게 직접적인 분류실패를 느끼게 하지 않

    고, 보다 안정적인 시스템으로 간주되어 사용될 수 있다.

    다음 섹션에서는 제어와 모니터링 관점에서 사용자

    정보를 사용하는 게임 2가지에 대하여 설명하고자 한다.

    보통 뇌-컴퓨터 인터페이스 시스템은 그림 1과 같은 흐

    름을 따르는데, 훈련단계에서 사용자의 뇌파 특성을 분

    석하여 유용한 정보를 토대로 분류기를 생성하고, 이를

    피드백 단계에서 적용하여 사용하고자 하는 어플리케이

    션을 작동시키는 방식이다. 경우에 따라 훈련단계가 없

    기도 하지만, 모든 피험자가 동일한 뇌파정보를 내지 않

    고, 일반화시키기가 쉽지 않기 때문에 사용자에 특화된

    정보를 위해 훈련단계를 거치는 것이 기본이다. 그러나

    실제 시스템의 사용이전에 준비과정이 길어진다는 단점

    이 있다.

    2. 뇌파게임

    2.1 BCI2000[13] 및 개발환경

    BCI2000은 뇌-컴퓨터 인터페이스 연구에서 널리 사

    용되는 소프트웨어로써, 다양한 뇌파측정 시스템들과 각

    종 신호처리 함수 및 언어 그리고 개발된 어플리케이션

    표 2 시스템 개발 환경

    플렛폼 BCI2000

    신호처리 Matlab

    GUI 어플리케이션 Windows MFC

    뇌전도 측정장치 이모티브 무선 헤드셋

    들을 쉽게 연결시켜 준다. 개발된 게임은 BCI2000 기반

    에서 제작되어 다양한 뇌파측정 장비를 통하여 구동 할

    수 있으며, 언제든지 신호처리 코드를 더욱 최적화된 알

    고리즘으로 교체할 수도 있는 등 확장성을 가진다. 그림

    2는 개발된 뇌파게임 2종류와 BCI2000 간의 구조를 보여

    주고 있다. 뇌전도 장비는 이모티브 사의 14채널 EPOC

    헤드셋을 사용하였으며[14], 128Hz의 샘플링 주파수로 측

    정된 뇌파는 무선으로 PC로 전송하였다. 전송된 뇌파 정

    보는 BCI2000 소프트웨어를 통해 매트랩 신호처리 모듈

    을 거쳐 확인하고자 하는 특징정보를 추출한 후 이를

    MFC로 제작된 어플리케이션에 전달하는 구조를 가진다.

    전체적인 시스템 개발 환경은 표 2를 참조하기 바란다.

    2.2 집중력을 이용한 ‘레이싱 게임’

    2.2.1 게임 설명

    본 게임은 정량화된 사용자의 집중도 값을 4단계의

    자동차 속도로 대응시켜 집중력이 높을수록 자동차가

    빨리 달리도록 만든 게임이다. Carrera 슬롯카 제품을

    자체 제작한 하드웨어와 연결하고, 하드웨어의 MPU를

    다시 PC와 통신하도록 하여 사용자의 정량화된 집중력

    을 통하여 자동차의 속도를 제어할 수 있도록 하였다.

    온라인 게임 ‘카트라이더’의 주 음악을 배경음악으로 삽

    입하였고, 주행시작을 알리는 소리와 각 집중력 레벨에

    대하여 자동차의 엔진가속 소리를 덧붙임으로써 보다

    높은 몰입감을 제공하기 위한 환경을 구성하였다. 게임

    은 10초 동안 사용자의 배경뇌파를 토대로 4단계 레벨

  • 뇌-컴퓨터 인터페이스를 이용한 게임: 데모를 통한 유용성 평가 663

    을 결정하며, 이후 1분 동안 자유주행을 시행하고, 게임

    종료 시에는 게임종료 소리와 함께 최종 주행 거리가

    미터(m)로 화면에 표시되게 된다.

    2.2.2 사용자에 특화된 집중력 정량화

    집중력 정량화를 위하여 14개 뇌파전극으로부터 얻은

    시간 축에서의 파워 값을 주파수 영역의 파워 값으로

    변환하고 이를 식 (1)에서 나타낸 집중력 지표 값에 넣

    어 집중력을 스칼라 변수로 표시 하였다. 그리고 사용자

    의 집중력을 4단계로 구분하기 위해서, 게임 시작 10초

    동안 사용자의 뇌파를 지속적으로 정량화 하고, 이에 대

    한 평균(m)과 표준편차(σ)를 구하여, m+2σ 를 최대 집

    중력 수치로 가정한 후 4단계를 나누었다.

    2.3 사용자 제어 ‘Lego 탱크 게임’

    2.3.1 게임 설명

    Lego의 마인드스톰을 탱크모양으로 제작하여 120cm

    × 90cm 게임판 위에 세워진 적들을 포격해 쓰러뜨리는

    미션을 수행하도록 하였다. 테스트 모드에서는 사용자가

    왼쪽/오른쪽 턱 물기를 통하여, 탱크의 대포를 왼쪽/오

    른쪽으로 각도를 조절하는 연습을 하고, 이후 1차 시행

    에서는 탱크는 움직이지 않은 채, 사용자가 대포만을 움

    직여 적들을 쓰러뜨리도록 하였다. 2차 시행에서는 난이

    도를 높여, 탱크가 자동으로 왼쪽/오른쪽으로 측면왕복

    움직임을 하는 동안 사용자가 대포의 각도를 조정하여

    미션을 수행 하도록 하였다. 앞선 게임과 마찬가지로 흥

    미와 게임 몰입도를 높이기 위하여, 게임 시나리오를

    ‘스타크래프트’로 정하고, ‘저그’와 ‘테란’ 종족의 주요 캐

    릭터들을 배치하였다. 또한, 게임의 박진감을 위해 배경

    음악으로 ‘스타크래프트’의 음악을 사용하고, 게임 속 모

    델인 ‘시즈탱크’의 효과음들을 중간 중간 삽입하였다. 1

    차 시행과 2차 시행 후, 쓰러진 캐릭터들에 미리 배정되

    어 있는 점수들을 합산하여 최종점수를 기록하였으며,

    특히 적군(‘저그’)에는 +점수를 아군(‘테란’)에는 -점수를

    할당함으로써 무작위가 아닌 선별적으로 캐릭터를 쓰러

    뜨리도록 유도하였다.

    2.3.2 대포각도 제어

    대포의 제어는 사용자로 하여금 왼쪽/오른쪽으로 포를

    돌리고자 할 시에 왼쪽이나 오른쪽 치아를 깨물도록 요

    청하였다. 그림 3은 참가자 s2의 왼쪽 치아를 깨물었을

    때 뇌파를 각 채널에 대하여 나타낸 것으로, 왼쪽 뇌전도

    채널들에 더 많은 파워가 나타남을 알 수 있다. 이와 마

    찬가지로 오른쪽을 깨물었을 때는 그 반대의 영향이 있

    으므로 별도의 복잡한 분류기를 사용하지 않고, 단지 왼

    쪽 채널들의 파워의 평균과 오른쪽 채널들 파워의 평균

    을 비교하여 더 큰 쪽으로 대포가 회전하도록 하였다. 따

    라서 대포는 반대방향으로 회전하라는 명령이 들어 올 때

    까지, 움직이던 방향으로 연속적으로 회전하도록 하였다.

    그림 3 왼쪽치아를 깨물 때 참가자 s2의 뇌파: 상단이

    얼굴 전면이며 두피에서 왼쪽 채널들이 주로 파

    워가 증가. 특히 관자놀이 쪽 채널의 파워가 급

    격하게 증가함이 관찰됨

    3. 게임전시 및 사용자 평가

    3.1 뇌파게임 전시[15]

    개발된 2종류의 뇌-컴퓨터 인터페이스 게임은 강원

    도 평창 알펜시아리조트에서 개최된 HCI Korea 2012

    학회의 대학부 전시부스를 통해 2일간 시연하였다(그림

    4 참고). 대부분 뇌-컴퓨터 인터페이스 관련 경험이 없

    는 사람들이 참가 하였으며, 참가자의 정보는 표 3과

    같다. 게임 참가자에게는 모두 동의서를 서약 받았고,

    게임에 집중하는 동기부여를 위해 게임 후 점수에 순위

    를 매겨 3등까지 각 게임에 대하여 5천원~2만원 상당

    의 상품을 수여하겠다고 사전에 설명하였다. 또한, 참가

    자의 주관적 감정 및 정신상태 그리고 게임에 대한 흥

    미도 등을 평가하기 위해 게임전과 게임 후에 설문지를

    작성 하였다(게임전시 영상은 [15]의 링크를 통해 시청

    할 수 있다).

    3.2 참가자의 설문평가

    참가자들의 설문 결과는 그림 5와 같으며, 게임에 대

    한 참가자들의 기분을 주관적으로 평가한 결과 게임 전

    과 게임 후 간에 차분함 정도는 큰 차이를 보이지 않았

    으나, 게임에 대한 흥미는 게임을 하고 나서 더 크게 나

    타난다고 답변을 하였다. 또한 얼마나 게임에 집중할 수

    있는지에 대한 평가도 긍정적으로 대답을 하여 게임이

    사용자로 하여금 흥미롭고, 몰입하게 하는 요소가 있음

    을 알 수 있었다. 게임 자체에 대한 평가에서는 레이싱

  • 664 정보과학회논문지 : 컴퓨팅의 실제 및 레터 제 18 권 제 9 호(2012.9)

    그림 4 전시장에서의 레이싱 게임(위)과 Lego 탱크 게임

    (아래)의 참가자 시연 모습

    게임은 조작/시간/프로그램/주변 환경에 관해 긍정적으

    로 답변한 반면, Lego 탱크 게임은 조작에 관하여 ‘어렵

    다’라는 답변이 대부분을 이루었다. 그리고 완성도에 대

    한 평가는 어느 정도 있다고 하였으나, 제어관점에서 개

    발된 Lego 탱크는 참가자들이 대포의 조절이 쉽지 않았

    다고 느껴서, 레이싱 게임보다 완성도가 낮다고 평가하

    였다. 게임 후 ‘다시 한 번 게임을 하고 싶은가?’라는 질

    문에 2명(Lego 탱크 게임 참가자)을 제외하고 모든 참

    가자들이 한 번 더 해보고 싶다고 답변함으로써, 게임에

    대한 참가자들의 관심을 다시 한 번 확인할 수 있었다.

    4. 결론 및 토의

    본 논문에서는 뇌-컴퓨터 인터페이스 기반 게임 2종

    류를 선보였다. 첫 번째는 정확도가 높게 요구 되지 않

    고, 사용자의 집중력을 모니터링 하면서 게임에 반영하

    는 시스템이고, 다른 하나는 사용자의 의도와 직접적으

    로 게임의 효과가 연결되어 비교적 높은 정확도가 요구

    되는 Lego 탱크 게임이다. 개발된 게임은 전시를 통해

    일반인들을 대상으로 게임을 평가 하였으며, 총 22명의

    일반인들이 게임에 참여하였다. 뇌파에 대하여 생소한

    참가자가 대부분이었으나, 게임을 하면서 재미있었고,

    집중했다는 의사를 표현하였다. 또한 게임 자체에 대하

    여 긍정적인 평가를 하면서, 기회가 되면 게임을 더 하

    고 싶다고 답변을 하여 뇌파 게임이 일반인들에게 흥미

    로운 콘텐츠로 다가 갈 수 있는 가능성을 볼 수 있었다.

    4.1 HCI의 중요성

    Lego 탱크 게임은 엄밀히 말해 양쪽 치아를 깨물 때

    나타나는 근전도를 이용하여 왼쪽/오른쪽을 판단하는 방

    식을 사용한다. 초기 제작된 게임은 14개 뇌전도 채널의

    파워값을 통하여 선형분류기를 학습시키고, 선형분류기

    출력의 절대값이 사용자에게 특화된 임계치를 넘길 때에

    만 분류를 하여 3가지 상태, 즉 왼쪽/제자리/오른쪽으로

    대포의 각도를 이산적으로 조절하는 방식이었다. 이러한

    구조는 기존의 기본적인 뇌-컴퓨터 인터페이스 시스템의

    원리를 따라가는 것이며, 보다 정교한 정확도를 통하여

    시스템의 신뢰도를 올리고자 하는 전형적인 방법이다.

    그러나 사용자의 실제 게임시작 이전에 별도의 분류기

    학습을 위한 뇌파신호를 측정해야 하므로, 게임자체를

    하기 전까지 오랜 준비과정이 필요하게 된다. 또한, 정확

    도가 높지 못하거나, 사용자의 뇌파속성이 안정적이지

    않고, 게임과 같이 각종 돌발 상황으로 배경뇌파와 뇌의

    상태가 달라지는 환경이라면 정확도를 보장 할 수 없기

    에 원래의 목적대로 게임에서 효과를 내기가 쉽지 않다.

    최근의 뇌-컴퓨터 인터페이스 연구는 이러한 뇌파속

    성의 변화 속에서 안정적이고 불변하는 정보를 추출하

    거나[16], 분류기가 적응적으로 사용자에게 학습하여 진

    화해 가는 방식에 초점이 맞춰져 가고 있다. 따라서 현

    재의 성능 한계 내에서 사용가능한 뇌-컴퓨터 인터페이

    스 어플리케이션을 제작하려면, 사용자와 시스템이 상호

    작용하는 HCI 디자인에 대해 고려해야 할 것이다.

    HCI의 변형이 좋은 성과를 거둔 예로 독일의 Hex-

    O-Spell이 있다[17]. 기존의 타자기 시스템에서 글자 집

    합의 배치를 6각형으로 재배치를 함으로써, 같은 정확도

    를 가지고도 더 높은 정보전달력(4~7char/min, 숙련된

    피험자로부터 최대 7.5char/min)을 가진 시스템이 되었

    다. 이는 기존의 연구결과들이나 시각적 자극에 기반을

    둔 빠른 명령패러다임을 사용하는 g.tek사의 P300기반

  • 뇌-컴퓨터 인터페이스를 이용한 게임: 데모를 통한 유용성 평가 665

    그림 5 개인적 기분과 게임평가에 대한 설문 결과. 각

    게임에 대한 설문점수를 평균과 표준편차를 이

    용하여 나타냄

    Intendix 타자기[18](5~10char/min)에 비하면 놀라운

    성과라 할 수 있다. 정보전달력의 향상과 더불어 뇌-컴

    퓨터 인터페이스 시스템에서 중요한 사항은 바로 안정

    성, 응답성, 사용편의성이다. 시스템은 보다 안정적으로

    작동하고, 사용자가 견딜 수 있는 시간 내에 응답을 보

    여야 하는 것이다. 본 연구에서 사용된 Lego 탱크 게임

    의 초기 버전은 비교적 높은 정확도의 가정 하에 작성

    된 구조였기 때문에, 사용자 관점에서는 매순간마다 본

    인의 의도대로 움직이지 않을 수도 있는 대포의 피드백

    을 지속적으로 접해야 했다. 또한 3가지 상태로 분류를

    하기 때문에 시스템의 복잡성은 더 늘어나서 결과적으

    로 낮은 정확도와 맞지 않는 HCI 구조로 인해 신뢰성

    과 게임의 재미마저 떨어지게 되었다.

    따라서 시각적으로 대포가 방향전환에 대한 명령을

    받기까지 현재 방향으로 계속 회전하도록 하는 연속움

    직임 특성을 가지게 하고, 3가지 상태로 학습된 선형분

    류기를 제거시킴으로써 Lego 탱크 게임의 HCI를 변경

    시켰다. 대신, 섹션 2.3.2절에서 설명한 것과 같이 왼쪽

    채널과 오른쪽 채널들의 크기의 비교를 통해 단지 현재

    상태에서 방향전환을 할지만 판단하게 하였다. 변경된

    시스템을 통한 시연에서는 사용자들이 비교적 조작이

    된다고 느꼈으며, 초기 버전에 비하여 게임에서의 답답

    함이 없다고 답변하였다. 또한, 사용자가 대포조절에 적

    응하도록 본 게임 전에 대포의 회전조절만을 하게 하였

    는데, 평균 1분정도 테스트를 하였을 때, 사용자들은 시

    스템을 조작하는 ‘느낌’을 파악하였다. 변경된 시스템을

    사용한 참가자 ‘s12’와 ‘s15’는 조작관련 설문에 조작이

    아주 쉬웠다고 답변 하였다. 이는 기존의 기계학습과는

    반대로 오히려 사람이 기계에 적응한 것을 보여주며, 인

    간과 기계가 서로 상호작용하며 쌍방향 학습/적응하는

    방식이 앞으로 나아갈 시스템의 방향임을 나타낸다.

    4.2 뇌-컴퓨터 인터페이스 시스템의 전망

    뇌-컴퓨터 인터페이스 시스템들이 실생활에 나와 있

    는 예는 극히 드물다. 제어관점에서 나오기에는 높은 정

    확도가 요구되므로, 어떠한 상황이 발생할지 모르는 실

    생활에서는 뇌파의 속성 또한 예측할 수 없게 변하기

    때문에 감정 및 인지적인 요소에 영향을 받는 뇌파정보

    나 직접적으로 의도를 적용하는 사례는 찾기가 힘들다.

    따라서 외부 자극을 사용하여 뇌의 응답 전위를 통해

    빠르고 정확한 결과 볼 수 있는 명령패러다임을 사용하

    는 P300기반의 IntendiX 뇌파 타자기나, 모니터링 관점

    에서 정확한 정답을 애초에 모르는 집중력, 감정 수치들

    을 정량화하여 적용하는 ‘이모티브’, ‘뉴로스카이’ 회사들

    의 어플리케이션이 시장에서 주류를 이루고 있다. 당분

    간은 하드웨어 및 새로운 명령패러다임의 획기적인 발

    전이 없는 한 위의 예에서와 같은 제한된 기능들이 어

    플리케이션의 중심을 차지할 것이며, 보다 안전하고 정

    확도를 요구하지 않는 엔터테인먼트 콘텐츠가 유망할

    것으로 판단된다.

    특히, 대부분의 뇌-컴퓨터 인터페이스 시스템에서 필

    요로 했던 분류기 학습에 대한 이슈를 해결하는 것이 중

    요한데, 본 논문에서 보여준 레이싱 게임처럼 게임자체

    에 학습하는 구간을 삽입함으로써, 사용자가 학습시간이

    라는 것보다는 게임을 하고 있다는 느낌을 받게 하는 것

    이 이러한 어려움을 극복할 수 있는 한 가지 방안이 될

    것이며, Lego 탱크 게임처럼 단순하고, 안정적일 수 있

    는 HCI의 변형을 통해 엔터테인먼트 콘텐츠에서 편의성

    을 보장하는 것 또한 학습시간 해결에 도움을 줄 것이다.

    일반인이 참여하는 전시를 통해 개발된 뇌파 게임들은

    사용자들의 긍정적인 평가를 받으며, 뇌파 콘텐츠의 대

    중적 관심과 흥미를 파악할 수 있었다. 뇌-컴퓨터 인터

    페이스 기반 시스템이 실생활에 나오려면 해결해야할 다

    양한 문제들이 존재하지만, 가장 근접하게 게임으로써

    우리 실생활에 먼저 나올 수가 있다. 이러한 맥락에서 실

    생활에 사용가능한 뇌-컴퓨터 인터페이스 콘텐츠를 위해

    고려해야 할 HCI, 사용자 편의성 등의 문제를 해결하면

    현재 제한된 기술, 정확도 내에서도 얼마든지 뇌파기반

    콘텐츠의 시장형성을 할 수 있을 것으로 기대된다.

  • 666 정보과학회논문지 : 컴퓨팅의 실제 및 레터 제 18 권 제 9 호(2012.9)

    참 고 문 헌

    [ 1 ] 이종수, “마이크로소프트의 역습”, KT경제경영연구소

    동향자료, 2011.

    [ 2 ] http://www.nationalacademies.org

    [ 3 ] http://www.neurosky.com/

    [ 4 ] J.J. Vidal, "Towards direct brain-computer com-

    munication," Annu. Rev. Biophys. Bioeng., vol.2,

    pp.157-180, 1973.

    [ 5 ] J. d. R. Millan et al., "Combining brain-computer

    interfaces and assistive technologies: state-of-the-

    art and challenges," Front. Neurosci. 4:161. doi:

    10.3389/fnins.2010.00161

    [ 6 ] A. Nijholt, B. Reuderink, and D. O. Bos, "Turning

    Shortcomings into Challenges: Brain-Computer

    Interfaces for Games," D. Reidsma and A. Nijholt

    (Eds.): INTETAIN 2009, LNICST 9, pp.153-168,

    2009.

    [ 7 ] N. Lee, "A Studies on A Serious Game to Increase

    Concentration using Brain Waves," M.S. Thesis,

    2011.

    [ 8 ] C. J. Lee, "Development of the Game for Increa-

    sing Intensive Power using EEG Signal," Journal

    of Korea Game Society, vol.9, no.2, pp.23-28, 2009.

    [ 9 ] M. Ahn, H. Cho, W. Kim, H. Kim, T. G. Pak, S.

    C. Jun, "Brain Computer Interface using EEG :

    Brain Game," HCI Korea 2011, pp.31-33, 2011.

    [10] J. F. Lubar and M. N. Shouse, "EEG and beha-

    vioral changes in a hyperkinetic child concurrent

    with training of the sensorimotor rhythm (SMR)

    A preliminary report," Biofeedback and Self-

    Regulation, vol.1, no.3, pp.293-306, 1976.

    [11] Minkyu Ahn and Sung Chan Jun, "Current Trends

    on Brain Computer Interface Research," Communi-

    cations of KIISE, vol.29, no.4, pp.42-53, Apr. 2011.

    (in Korean)

    [12] M. Ahn, J. H. Hong and S. C. Jun, "Feasibility of

    approaches combining sensor and source features

    in brain-computer interface," J. Neurosci. Methods,

    vol.204, no.1, pp.168-178, Feb. 2012.

    [13] G. Schalk, D.J. McFarland, T. Hinterberger, N.

    Birbaumer, J.R. Wolpaw, "BCI2000: a general-

    purpose brain-computer interface (BCI) system,"

    IEEE Trans. Biomed. Eng., vol.51, no.6, pp.1034-

    1043, Jun. 2004.

    [14] http://www.emotiv.com

    [15] http://youtu.be/wfZyli3SJp4

    [16] Hohyun Cho, Minkyu Ahn, Sangtae Ahn and Sung

    Chan Jun, "Comparative Study on Motor Imagery

    Feature Extraction Algorithms for EEG (Electro-

    encephalograph) based Brain-Computer Interface,"

    Journal of KIISE : Software and Applications,

    vol.38, no.11, pp.599-605, Nov. 2011. (in Korean)

    [17] J. Williamson et al., "Designing for uncertain,

    asymmetric control: interaction design for brain-

    computer interfaces," Int. J. Hum. Comput. Stud.,

    vol.67, pp.827-841, 2009.

    [18] http://www.intendix.com/

    안 민 규

    2008년 충북대학교 컴퓨터공학과 학사

    2010년 광주과학기술원 정보통신공학과

    공학석사. 2010년~현재 광주과학기술원

    정보통신공학과 박사과정. 관심분야는 뇌

    -컴퓨터 인터페이스(BCI), 인간-컴퓨터

    상호작용(HCI)

    전 성 찬

    1991년 한국과학기술원 수학(전공) 컴퓨

    터과학(부전공) 학사. 1993년 한국과학기

    술원 응용수학과 이학석사. 1998년 한국

    과학기술원 응용수학과 이학박사. 1998

    년~1999년 한국과학기술원 플라즈마 융합

    연구센터 박사후 연구원. 1999년~2000년

    한국표준과학연구원 초전도그룹 박사후 연구원. 2000년~

    2002년 University of New Mexico (USA) Post-doc

    Researcher. 2002년~2004년 Los Alamos National Labo-

    ratory (USA) Post-doc Associate. 2004년~2007년 Los

    Alamos National Laboratory (USA) Technical Staff

    Member. 2007년~현재 광주과학기술원 정보통신공학과 조

    교수. 관심분야는 뇌-컴퓨터 인터페이스, 생체신호처리 및

    분석(실시간/대용량), 의료영상, 과학계산

    조 호 현

    2010년 부경대학교 컴퓨터멀티미디어공

    학과 공학학사. 2012년 광주과학기술원

    정보통신공학과 공학석사. 2012년~현재

    광주과학기술원 정보통신공학과 박사과

    정. 관심분야는 뇌-컴퓨터 인터페이스

    (BCI), 기계학습, 수치 최적화

    안 상 태

    2010년 충남대학교 정보통신공학과 학사

    2010년~현재 광주과학기술원 정보통신

    공학과 석사과정. 관심분야는 뇌-컴퓨터

    인터페이스 (BCI), 정보이론, 패턴인식

  • 뇌-컴퓨터 인터페이스를 이용한 게임: 데모를 통한 유용성 평가 667표

    3 게

    임 참

    가자

    보 및

    설문

    작성

    레이

    싱 게

    임Leg

    o 탱

    크 게

    참가

    자 ID

    평균

    표준

    편차

    r1r2

    r3r4

    r5r6

     참

    가자

    ID

    평균

    표준

    편차

    s1s2

    s3s4

    s5s6

    s7s8

    s9s10

    s11

    s12

    s13

    s14

    s15

    s16

    손잡

    (R:오

    른손, L:왼

    손)

      

    RL

    RR

    RR

    손잡

    (R:오

    른손, L:왼

    손)

      

    RR

    RR

    LR

    RL

    LR

     R

    LL

    RR

    질병

      

    --

    --

    --

    질병

      

    --

    --

    --

    --

    --

     -

    --

    --

    나이

    25.80 3.27

     26

    22

    25

    2531

    나이

    26.69 6.30

    30

    27

    12 

    26

     39

    24

    2530

     25

    28

    21

    2733

    성별

    (M:남

    자, F:여

    자)

      

    MM

    MM

    MM

    성별

    (M:남

    자, F:여

    자)

      

    MM

    FM

    MF

    FF

    MM

     M

    MM

    MF

    HCI게

    임경

    험 

     -

    --

    --

    -HCI게

    임경

    험 

     3

    --

    --

    --

    -1

    - 

    3-

    -10

    -

    Biofeedback

    경험

      

    --

    --

    --

    Biofeed

    back

    경험

      

    --

    --

    --

    --

    --

     -

    --

    10-

    게 임 전

    차분

    함3.00

    0.63

    33

    43

    32

    게 임 전

    차분

    함2.25

    0.93

    32

    23

    31

    11

    43

    22

    33

    12

    흥미

    흥미

    2.33

    1.03

    23

    12

    42

    1.88

    0.89

    22

    12

    31

    11

    23

    42

    21

    12

    게 임 후

    차분

    함2.83

    1.17

    32

    53

    22

    게 임 후

    차분

    함2.31

    1.01

    32

    23

    21

    11

    43

    32

    32

    14

    흥미

    1.50

    0.55

    21

    12

    21

    흥미

    1.56

    0.63

    22

    22

    21

    11

    13

    22

    11

    11

    집중

    1.83

    0.75

    31

    12

    22

    집중

    1.88

    0.81

    32

    13

    22

    12

    33

    22

    11

    11

    게 임 평 가

    조작

    2.00

    0.89

    33

    12

    12

    게 임 평 가

    조작

    3.25

    1.13

    44

    33

    33

    44

    45

    41

    42

    13

    시간

    2.00

    0.89

    33

    12

    12

    시간

    2.81

    0.83

    33

    43

    33

    33

    32

    43

    13

    13

    프로

    그램

    1.83

    0.75

    22

    12

    13

    프로

    그램

    1.94

    0.85

    33

    12

    31

    11

    22

    32

    31

    12

    주변

    환경

    2.17

    1.33

    14

    13

    13

    주변

    환경

    1.75

    0.86

    32

    11

    41

    11

    22

    22

    21

    12

    완성

    도3.50

    1.05

    43

    54

    23

    완성

    도3.19

    0.66

    32

    44

    33

    34

    43

    33

    34

    32

    더 할

    의향?

    (Y:

    있음, N:

    없음)

    YY

    YY

    YY

    더 할

    의향?

    (Y:

    있음, N:

    없음)

    YY

    YY

    YY

    YY

    YY

    NY

    YY

    NY

    점수

    113.25 10.26

    96121.5

    122

    112.26107.46120.26

    점수

    34.56 16.29

    18

    33

    4430

    21

    3333

    460

    52

    48

    4751

    47

    1022

    ○ 설

    문지

    목내

    게임

    전과

    후의

    비교

    게임

    에 대

    한 평

    게임

    전차

    분한

    12

    3(보

    통)

    45

    불안

    한게

    임 조

    작이

    쉬웠

    나요?

    쉬움

    12

    3(보

    통)

    45

    어려

    흥미

    진진

    12

    3(보

    통)

    45

    지루

    한게

    임시

    간짧

    았다

    12

    3(보

    통)

    45

    길었

    게임

    차분

    한1

    23(보

    통)

    45

    불안

    한게

    임하

    기 위

    한 프

    로그

    램좋

    았다

    12

    3(보

    통)

    45

    별로

    흥미

    진진

    12

    3(보

    통)

    45

    지루

    한게

    임하

    기 위

    한 주

    변환

    경편

    했다

    12

    3(보

    통)

    45

    불편

    했다

    집중

    잘됨

    12

    3(보

    통)

    45

    집중

    잘안

    됨게

    임의

    완성

    도는

    어떠

    한가

    요?

    미흡

    하다

    12

    3(보

    통)

    45

    완벽

    하다