ProposalofEmotionRecognitionServiceinMobileHealthApplication · 2016-10-11 · 235 1.서론 1-1.연구의배경 최근, 모바일 헬스 산업은 기존의 의료 및 건강 관련

논문�투고일:2016.02.03,� 논문�심사일:2016.02.03-2016.02.15,� 게재�확정일:2016.02.15

모바일�헬스�애플리케이션의�감정인식�서비스�제안

Proposal� of� Emotion� Recognition� Service� in� Mobile� Health� Application

주저자

하민아� (Ha,� Mina)

이화여자대학교� 디지털미디어학부

공동저자

이유진� (Lee,� Yoo� Jin)


교신저자

박승호� (Park,� Seung� Ho)


� [email protected]

이 논문은 2015년도 한국연구재단의 BK21plus사업 미래기반창의인재양성의 지원을 받아 수행된 연구임.

234 Design Convergence Study 56 Vol.15. no.1 (2016.2)

목차

1.�서론

1-1.� 연구의� 배경

1-2.� 연구의� 범위� 및� 방법

2.� 사례�연구

2-1.� 모바일� 헬스� 애플리케이션의�

서비스� 동향

2-2.� 감정� 인식� 기술� 동향

3.� 감정�인식�서비스�설계

3-1.� 감정� 인식� 프로세스� 설계

3-2.� 감정� 인식� 실험� 및� 분석

3-3.� 감정� 인식에� 따른� 서비스� 제안

4.� 결론

참고문헌

.

(요약)

모바일 헬스 산업은 IT 기술과 융합하여 주목받고 있으며, 헬스 애플리케이

션은 사용자의 건강한 라이프 스타일을 제공하는 방향으로 발전하고 있다.

본 연구는 4개의 모바일 헬스 애플리케이션을 선정하여 서비스의 동향을

살펴 보았고 그 결과 모두 신체 데이터 이외의 감정에 관한 데이터를 포함

하고 있지 않고 있음을 알 수 있었다. 추가적으로 사용자의 감정을 추출을

위한 기술을 분류 및 분석하였고, 이를 통해 텍스트 기반 감정인식 기술이

모바일 헬스 서비스와 가장 적합하다고 판단하였다. 감정인식 서비스를 구

현하고자 소셜 네트워크 서비스와 1차원 감정 모델을 시스템의 소스로 설

정한 감정인식 시스템의 프로세스 설계를 하여 개발하였다. 뿐만 아니라,

본 시스템이 모바일 헬스 애플리케이션에서 어떻게 사용 가능할지 제안하

고자 설득형 기술과 결합하였다. 결과적으로 사용자의 5가지 감정과 감정이

지속되는 시간에 따른 15가지의 제안을 포함하는 가이드라인과 구체적 서

비스 방안 제안하였다. 이에 본 연구는 기존의 헬스 애플리케이션이 정신적

건강, 감정적 건강과 같은 개인의 심리적 컨텍스트까지 고려하는 제안형 서

비스로 나아가기 위한 지침이 될 것으로 기대하는 바이다.

(Abstract)

Mobile health industry has been combined with IT technology and is

attracting attention. The health application has been developed to

provide users a healthy life style. First of all, 5 mobile health

applications were selected and reviewed in terms of their service trend.

It turned out that none of those applications had any emotional data

but physical one. Secondly, to extract users’ emotion, technological

researches were sorted into different categories. And the result implied

that text-based emotion recognition technology is the most suitable for

the mobile health service. To implement the service, the application was

designed and developed the process of emotion recognition system

based on the contents of the research. One-dimension emotion model,

which is the standard of classifying emotional data and social network

service, was set up as a source. In last, to suggest the usage of health

application has been combined with persuasive technology. As a result,

this paper prospered a overall service process, concrete service scheme

and a guidelines containing 15 services in accordance with the five

emotions and time. It is expected to become a direction for indicators

considering a psychological individual context.

(Keyword)

Contextual Suggestion, Emotion Analysis, Health Application Service

235

1.� 서론

1-1.� 연구의�배경

최근, 모바일 헬스 산업은 기존의 의료 및 건강 관련 산업에 스마트 모바일 기기와 애플리케이션,

클라우드 컴퓨팅, 빅데이터 등의 IT 기술과 융합하여 주목받고 있다. 이 중, 의료 산업과 IT 기술의

결합은 각 개인이 속한 장소에서 실시간으로 건강 관련 정보를 측정, 진단, 관리하도록 돕고 있다.

이러한 흐름에 관하여 전 세계 헬스 애플리케이션 시장의 광범위한 분석 자료를 제공하는

research2guidance 그룹의 2014년 보고서는 ‘헬스 애플리케이션이 iOS와 안드로이드 플랫폼에서

100,000 여 개를 기록하며 2년 6개월 간 2배 가량 증가하였다’ 라고 밝힌 바 있다.1) 이러한 흐름에

맞추어 애플은 iOS의 핵심 기능 중 하나로 ‘헬스키트(Health Kit)’를 발표하였고, 구글 또한 ‘구글핏

(Google fit)’을 공개하였다. 이는 의료 산업과 IT 기술과의 결합에 따른 헬스 서비스의 성장에 대하

여 플랫폼 회사 또한 주목하고 있다는 점을 시사한다.

플랫폼을 지니고 있는 기업을 포함하여 IT 산업에서 모바일 헬스 서비스는 성장세를 보여주며 주

목받고 있음에도 불구하고, 현재의 헬스 서비스에는 한계점이 존재한다. 서비스에서 기록하는 데이

터는 사용자의 행동 양식 상의 데이터에 한하여 기록되고 있다는 점이다. 현재 정밀한 신체적 로깅

을 통하여 사용자의 건강과 라이프 스타일을 측정하고 더 나아가 제안이 이루어지만 사용자의 정신

적 건강은 고려되지 않고 있다. 이에 본 연구는 로깅 데이터에 사용자의 감정을 포함하여 정신 건강

을 돕는 헬스 서비스를 설계 및 제안하고자 하였다.

1-2.� 연구와�범위�및�방법�

본 연구의 수행 방법은 <그림 1>의 네 단계를 거쳐 진행되었다. 첫째, 2천 만명의 사용자의 의견을

반영하여 제품을 평가하는 웹사이트 Fixya에서 발표한 2013년도 피트니스 밴드 보고서2)를 참고하

여 상위 4개의 애플리케이션을 주요 연구 대상으로 선정하여 동향을 파악하고 한계점을 분석하였다.

둘째, 모바일 헬스 애플리케이션의 감정 인식 서비스를 제안하기 위한 시스템을 설계하기 위하여

감정 인식 기술을 살펴보고 감정 인식을 위한 가장 적합한 적정 기술을 선정하였다. 셋째, 이를 바

탕으로 구체적 감정 인식 서비스 프로세스를 설계하고 개념 모델의 구체적 실험을 진행하였다. 마지

막으로 감정 인식 시스템이 모바일 헬스 애플리케이션에 포함 될 경우에 이루어 질 수 있는 사용자

경험(UX, User experience) 서비스를 설득형 그리드와 결합하여 제시하였다.

<그림 1> 연구의 절차

1) Research2guidance, mHealth App Developer Economics, 2014

2) Fixya, Fitness Bands Report, 2013


2.� 선행연구

2-1.� 모바일�헬스�애플리케이션의�서비스�동향

본 절에서는 <표 1>의 세가지 관점 중 개인별 라이프스타일 관점의 관리용 헬스 애플리케이션의 데

이터 종류와 분석 방법을 알고자 하였다. 세계보건기구인 WHO(World Health Organization)에 따

르면, “건강(Health)”은 ‘단순히 질병이 없거나 허약하지 않다는 것에 그치지 않고 신체적, 정신적

및 사회적으로 온전한 상태’로 정의된다.3) 또한, 건강(Health)을 이루기 위한 최적의 상태를 추구하

는 것을 건강(Wellness)이라고 하며, 쾌적하고 안전한 공간과 활기찬 활동을 위한 인간의 상태, 행

위, 노력을 포괄하는 개념이다. 건강(Wellness)은 지향하는 가치의 특성에 따라 구성요소가 다음과

같이 분류 가능하였다.4)

관점 구성요소

건강과�라이프스타일 건강한�육체,�건강한�정신,�감정적�만족

삶과�환경 물질적�풍요와�편리,�안정적인�직장환경,�안전한�환경

활동과�안정 문화적�풍요와�참여,�건전한�사회관계,�지적만족

<표 1> 관점에 따른 건강(Wellness)의 분류

이 중 건강(Wellness)에 대하여 건강과 라이프스타일에 관점을 맞춘 서비스는 최근 웨어러블 디바이

스와 스마트폰과 결합으로 인하여 주목받고 있다.5) 그리고 웨어러블 디바이스와 스마트폰의 결합

서비스인 라이프 로그 서비스는 인간의 행동에 관한 연구를 도울 뿐만 아니라 건강에 대한 통찰력

있는 정보를 제공 할 수 있다는 장점을 지니고 있다.6) 이에 따라 본 연구는 건강(Wellness) 중 건강

과 라이프스타일의 관점의 서비스인 라이프 로그 서비스를 연구 대상으로 한정하였다. 이를 위하여

구글 스토어와 애플 스토어를 기준으로 하여 존재하는 헬스 모바일 애플리케이션 중, 2천 만명의 사

용자의 의견을 반영하여 제품을 평가하는 웹사이트 Fixya에서 발표한 2013년도 피트니스 밴드 보고

서7)를 참고하여 상위 4개인 Fitbit8), Nike+9), Jawbone UP10), Basis B111) 애플리케이션을 주요 연

구 대상으로 선정하였다. 상위 4개의 서비스에서 사용자의 입력없이 자동으로 기록 가능한 데이터와

기록된 데이터를 활용한 서비스를 분석한 결과는 다음과 같다.

3) World Health Organization, The British Medical Journal, 1948

4) 지식경제 R&D 전략기획단, 미래형 웰니스산업 동향분석 및 발전방향, KITECH, 2013

5) 한태화, 민경필, 손재기, 웰니스 서비스를 위한 디바이스 활용 사례, 정보통신산업진흥원, 2014

6) Javier Hernandez, Daniel McDuff, Rich Fletcher, Rosalind W. Picard, Inside-Out: Reflecting on your Inner State, IEEE Computer Society, 2013

7) Fixya, Fitness Bands Report, 2013

8) 핏빗(Fitbit) http://www.fitbit.com/

9) 나이키플러스(Nike+) http://www.nikeplus.com.br/

10) 죠본업(Jawbone UP) https://jawbone.com/up

11) 베이시스(Basis) http://www.mybasis.com/

237

서비스 자동�로깅�데이터 로깅�데이터의�활용방안

Fitbit걸음�수,�이동거리,�칼로리�소모량,�오른�층�수,�활동�시간,�수면�모니터링,�심박수�모니터링

목표�설정달성까지�남은정도�제공

Nike+ 이동거리,�활동시간,�속도,�시간,�칼로리,�심박수목표�설정달성까지�남은정도�제공

Jawbone�UP

걸음�수,�이동�거리,�칼로리�소모량,�활동�강도,�수면�모니터링,�심박수�모니터링,�활동시간

개인의�라이프�패턴�추출로그에�따른�정보�제공

Basis� B1걸음�수,�이동거리,�칼로리�소모량,�오른�층�수,�활동�시간,�수면�모니터링,�심박수�모니터링,�흘린땀량,�신체�온도

12개의�행동양식�설정목표�설정달성까지�남은정도�제공

<표 2> 헬스 애플리케이션의 자동 로깅 데이터와 활용방안

각 4개의 애플리케이션은 웨어러블 디바이스를 활용하여 모바일 디바이스내에서 가능한 기본적인

행동 추적 이 외에도 심박, 신체온도, 땀량 등이 추적 가능하였다. 이 중, Fitbit, Nike+, Basis B1의

공통적인 특징은 추적한 데이터를 바탕으로 사용자가 직접적으로 신체적 건강을 위한 목표를 설정

하고 달성하도록 요구하였다. 반면에 Jawbone UP의 경우는 수동적으로 목표를 설정하지 않고도 자

동으로 로그된 데이터를 분석하여 사용자의 행동 패턴을 알아내고자 하였으며, 이를 통해 사용자의

신체적 로그 데이터를 반영한 조언을 제공하였다. 분석 결과, 공통적으로 4개의 헬스 애플리케이션

이 모두 사용자의 신체적 로그를 정밀하게 측정하고 측정 결과를 정량화하여 나타내고자 함을 알

수 있었다. 또한, 한 개의 애플리케이션의 서비스는 목표를 직접 설정하지 않고도 기록된 사용자의

신체적 로그 데이터를 통하여 상황을 이해하고 신체적 건강에 도움이 될 수 있는 목표를 제안함으

로서 사용자에게 건강한 라이프 스타일을 제공하고자 하였다.

<그림 2> Fitbit과 Jawbone의 데이터 활용방안의 비교

그러나 4개의 애플리케이션 모두 신체 데이터를 집중적으로 측정 및 진단하고 있어 WHO가 말하는

라이프스타일 측면의 건강에 포함된 요소인 정신적, 감정적 건강에 대한 부분은 고려되지 않았다는

점이 한계점으로 나타났다. Jawbone의 경우, 사용자가 수동적으로 감정을 로깅하는 기능을 제공하

고 있었으나, 이는 사용자의 하루의 감정 상태나, 활동에 대한 감정을 수동적으로 기록하고 보관하

기 위함만의 기능일 뿐 사용자의 감정 데이터를 활용하여 서비스를 제공하고 있지는 않았다.


<그림 3> Jawbone의 감정 기록 기능

이에 본 연구에서는 라이프 스타일의 관점에서의 건강의 신체적, 정신적, 감정적 건강이라는 세 가

지 요소를 충족하는 헬스 서비스를 제공하기 위하여, 사용자의 직접 입력 없이 사용자의 로그 데이

터 내에 사용자의 ‘감정 데이터’를 자동적으로 추출하고 기록하는 것이 우선되어야 한다고 판단하였

다.

따라서 다음 절에서는 사용자의 감정을 추출하기 위한 기술의 동향을 알아보았고 이를 통해 감정

인식 가능 모바일 헬스 서비스 설계를 위한 적정 기술을 선정한 결과를 포함하였다.

2-2.� 감정�인식�기술�동향

다양한 감정 인식 기술 중 현재 상용화 되고 있는 기술을 분석한 결과, 주요 기술로 텍스트 기반 감

정 인식, 음성 기반 감정 인식12), 영상 기반 감정 인식13), 생체신호 센서 기반 감정 인식14)이 있었

으며, 이를 정리한 표는 다음과 같다.

12) Chung-Hsien Wu, Ze-Jing Chuang, Yu-Chung Lin, Emotion recognition from text using semantic labels and separable mixture models, ACM Transactions on Asian Language Information Processing (TALIP), Vol 5(2), June 2006, pp.165-183.

13) 김상희, 스마트 폰에서의 개인화 서비스를 위한 상황 인지 모델, 세명대학교, 2013

14) Andreas Haag, Silke Goronzy, Peter Schaich, Jason Williams, Emotion Recognition Using Bio-Sensors: First Steps Towards anAutomatic System, Affective Dialogue Systems Vol. 3068, 2004, pp.36-48.

239

분류 설명 기술적�한계

텍스트�기반감정�인식

사용자들�간의�대화에서�감정을�자연어�처리를�통해�인식

감정을�규정하는�규칙�생성�시,�심리학적인�분석이�수반�됨언어마다�다른�방법이�적용되어야�함�대량의�데이터를�수집하고�분석,�분류�작업이�선행되어야�함

영상�기반감정�인식

영상의�사용자의�얼굴(facial)표정,�동작(gesture)을�감지하여�감정�상태를�파악

실제�사용자가�직접�데이터를�수집해야�하는�불편함이�존재대량의�데이터를�수집하고�분석,�분류�작업이�선행되어야�함

음성�기반감정�인식

입력받은�음성에서�pitch,� energy,�duration,� speech� rate�등의�prosodic�feature와�같은�다양한�음성�특징(acoustic� feature)을�추출하여�감정을�인식

다양한�잡음�등의�영향에�따라�크게�달라질�수�있음실제�사용자가�직접�데이터를�수집해야�하는�불편함이�존재대량의�데이터를�수집하고�분석,�분류�작업이�선행되어야�함

생체신호�기반감정�인식

근전도�측정�센서,�혈류량�측정,�피부에�부착된�photo�센서,�심전도(ECG)�측정�센서,�호흡�센서�등을�통해�스트레스,�흥분도를�인식

실제�사용자가�직접�데이터를�수집해야�하는�불편함이�존재신체에�센서를�부착해야�하며�비용이�많이�듬의학,�심리학�연구가�수반�됨

<표 3> 감정 인식 기술

4가지 기술 중, 본 연구에서 주목한 기술은 텍스트 기반 감정 인식이다. 텍스트 기반 감정 인식은

감정 키워드를 추출하고 데이터를 바탕으로 감정을 판단하는 기술로써, 텍스트에서 사용되는 언어적

표현은 개인에 따라 차이가 있지만, 다양하고 섬세하게 내적 감정상태를 표현할 수 있는 발달된 감

정표현 방식이다.15) 기존의 텍스트 기반 기술은 실제 사용자를 통해 직접 데이터를 수집해야 하는

불편함이 존재하고 대량의 실험군 데이터를 수집하고 분석한 후 분류하는 작업이 선행되어야 한다

는 어려움이 있었다.16) 또한, 다양한 구문 정보나 의미 정보 없이 특정 키워드에 관련된 감정을 정

의하여 판단하였기 때문에 복잡한 인간의 생각을 인식하는데에 다른 감정 인식 기술에 비하여 한계

를 지니고 있었다. 그러나 최근에는 자연어 처리 기술 발달로 단순히 감정을 나타내는 키워드만으로

감정을 판단하는 것이 아니라 키워드와 구문간의 연간 관계도 포함하여 감정을 분석하고 있다. 때문

에 본 기술은 입력 데이터에 대하여 감정 분류를 해주는 수준을 넘어 과거 기억, 감정 주체의 성향,

성격 등의 인식이 가능하다.

그러므로 모바일 헬스 서비스에 텍스트 기반 감정 인식이 도입 되었을 때, 신체적 건강 데이터와 결

합되어 사용자의 정밀한 로그 분석의 정확도를 높일 것이라고 기대하는 바이다. 이에 따라, 본 연구

는 텍스트 기반 감정 인식 기술을 사용하여 사용자의 정신 건강을 위한 상황에 따른 제안 서비스를

제공하는 프로세스를 설계하였다.

3.� 감정�인식�서비스

3-1.� 감정�인식�프로세스�설계

모바일 헬스 애플리케이션에서 감정 인식 서비스를 하기 위하여 설계한 프로세스에는 두가지 소스

데이터가 필요하였다. 프로세스 설계의 첫 번째 필요 데이터는 사용자의 감정 언어이다. 심리학적으

로 감정은 생리적 지표, 얼굴표정, 언어적 표현 등을 통해 표현된다. 생리적 지표는 객관적인 측정이

가능하나 의식하지 않은 정서도 포함이 되고 얼굴 표정은 복잡한 감정을 구분하는데 제한적이다. 반

면에 언어적 표현은 개인에 따라 차이가 생길 수 있지만, 가장 다양하고 섬세하게 내적 감정상태를

표현할 수 있는 발달된 감정표현 방식이다. 이러한 언어적 표현은 디지털 디바이스 내 소셜 네트워

크 서비스에서 잘 나타난다. 대표적으로, 페이스북(Facebook), 트위터(Twitter), 인스타그램

15) 구자숙, 민경환, 의사결정 과정과 통합적 복잡성, 한국심리학회지 : 사회 및 성격 Vol. 15(2), 2001, pp.1-17

16) 이성호, 스마트폰에서 퍼지추론을 활용한 컨텍스트 기반 개인화 감정인식, 경희대학교, 2012


(Instagram)의 경우, 사용자들이 개인의 생활, 사건, 영화, 제품 등의 생각, 의견, 느낌을 글로 표현

하고 있다. 따라서 본 연구에서는 사용자의 감정을 기록하고 분석하기 위하여, 소셜 네트워크 서비

스에서 게시된 자연어 기반의 텍스트를 본 연구의 첫 번째 소스로 프로세스에 포함하였다.

두 번째 소스는 데이터의 분류를 가능하게 하는 감정 모델이다. 컴퓨터는 사용자의 자연어 감정을

바로 인식할 수 없어 감정 분류를 위한 우선적 기준이 필요하였고 본 연구에서는 분류의 기존을 위

하여, 언어가 갖는 포괄성과 다양성에 따라 이루어진 어휘 분석 연구 중 본 서비스에 활용 가능한

모델을 분석하였다.

<그림 4> JamesA.Russel의 2차원 정서 모델(1980)[좌], Watson, Telegen의 2차원 정서모델(1985)[우]

James A. Russel17)의 2차원 정서모델은 1980년에 발표되었으며, 긴장과 이완 / 쾌와 불쾌 정도에

따라 분류된 모델이다. 가로축의 오른쪽에 가까워 질수록 쾌의 감정에 가까우며 왼쪽에 가까워 질수

록 불쾌에 감정에 가깝다. 그리고 세로축으로 보았을 때 위에 가까울수록 긴장된 감정이며 아래쪽에

가까울수록 지루한 감정으로 표현된다. 1985년에 발표된 Watson, Telegen18)의 정서모델은 긍정적

인 영향과 부정적인 영향을 축으로 두어 교차시킨 모형이다. 모형의 세로축은 긍정적 영향을 나타내

며 활동적인 정서와 지루한 정서를 양극에 배치하였다. 또한 가로축은 부정적 영향의 감정으로 괴로

움과 평온함을 의미하는 정서를 양극에 배치하였다. 본 두가지 모델을 주요 참고 모델로 하여 제작

한 감정 분석 틀은 다음과 같다.

<그림 5> 감정에 따른 1차원 모델 제안

<그림 5>의 모델은 기존 모델과는 다르게 긍정의 감정과 부정의 감정의 1차원의 척도에 따라 매우

17) Russel, James A., A circumplex model of affect, Journal of Personality and Social Psychology, Vol. 39(6), Dec 1980, pp.1161-1178.

18) Watson, David; Tellegen, Auke, Toward a Consensual Structure of Mood, Psychological Bulletin, Vol. 98(2), Sep 1985, pp.219-235.

241

부정적(High negative). 부정적(Negative), 긍정적(Positive), 매우 긍정적(High positive) 4가지로 나

누었으며, 다음과 같은 특징을 갖는다. 첫 번째, 다양한 기준의 2차원, 3차원 감정 모델을 바탕으로

1차원 모델을 구현하였기 때문에, 기존의 풍부한 감정은 모두 담고 있으며, 이러한 풍부함에 비하여

간단하고 명료한 데이터 처리가 가능하다. 두 번째, 사용자의 자연어 내에 긍정과 부정의 단어의 분

포도를 통해 명확한 정량화가 가능하며, 정량화 된 결과는 연산자를 통해 연산 가능하다. 예를 들어,

사용자가 기쁨(happy)의 감정과 놀람(alarmed)의 감정을 가지고 있을 때, 이를 매우 긍정적과 부정

적을 1:1의 비율로 연산되어 사용자가 긍정적인 감정을 가지고 있다라고 산출 가능하다. 뿐만 아니

라 연산이 가능하다는 점은 감정의 연산 과정을 통해 4가지 척도만이 아닌 중립적(neutral)인 감정

과 같은 척도의 중간에 위치한 애매한 감정도 산출 가능하게 한다. 두 소스를 포함하는 모델을 바탕

으로 수립한 소셜 미디어의 감정을 인식하는 서비스의 프로세스 <그림 6>이다.

<그림 6> 감정 인식 프로세스

소셜 네트워킹 서비스를 통해 사용자의 글이 입력이 되면, 기존의 입력 되어있는 감정 데이터에서

추출된 결과와 입력된 자연어를 비교하여 사용자의 감정을 알아낸다. 문장의 단어에 감정어가 많이

담겨있을 경우, 정량화 된 감정들을 연산하여 하나의 감정으로 산출 가능하다. 이렇게 추출된 사용

자의 감정은 사용자가 직접 적합성 여부를 판단하는 과정을 거친다. 추출 된 감정이 자신의 감정과

맞을 경우, 결과 데이터가 사용자의 감정 모델 분류에 재정의된다.

3-2.� 감정�인식�실험�및�분석

본 실험은 소셜 네트워크 서비스에 자신의 행동, 의견 등을 표현하는 글을 입력하였을 때, 자동적으

로 사용자의 글을 받아와서 사용자의 감정 상태를 알려주는 애플리케이션 내 시스템을 구현한 것이

다. 본 실험을 위해, 명사구 추출, 문장의 의미적 분석 등의 자연어 처리과정(NLP)을 제공하는

Textblob19)의 API을 활용하였으며, phython으로 개발하였다.

19) TextBlob https://textblob.readthedocs.org/en/dev/


<그림 7> 감정 처리 과정

<그림 7>은 사용자의 자연어를 입력하여 이에 따른 컴퓨터의 감정 훈련 과정이다. 감정 인식의 기

본이 되는 데이터는 <그림 5>의 감정에 따른 1차원 모델을 기본으로 하여, 모델 내의 감정 키워드

를 포함하는 트위터 사용자의 글을 임의적으로 검색하여 감정 훈련의 소스로 입력하였다. 사용자가

만든 문장으로 형성된 감정 키워드를 훈련하면, 본 키워드 뿐만 아니라 문장 내에 있는 단어들 또한

판단의 기준으로 영향을 받을 수 있어, 애플리케이션을 지속적으로 사용하는 사용자의 감정을 추출

하는데 정확도가 상승한다.

<그림 8> 실험 결과

<그림 7>의 훈련 결과, 사용자가 자연어를 입력하였을 때 사용자의 감정을 분석하여 알려주는 <그

림 8>과 같은 프로그램을 구현할 수 있었다. 본 프로그램은 사용자가 메시지를 입력 하였을 때, 시

스템이 사용자의 감정 상태를 판단하여 감정의 결과를 즉각적으로 연산하여 반환한다. <그림 8>에

서 >>>>는 문장의 판단 처리 부분이며, 작은따옴표 내 문장은 판단 결과를 뜻한다. 첫 번째 경우는

시스템이 “Their burgers are amazing(그들의 햄버거는 굉장했습니다)”라는 문장을 쓴 사용자의 감

정을 매우 긍정적(high positive)이라고 판단하였으며, 두 번째 경우에서는 “But the hangover was

scared(그러나 숙취는 두렵습니다)”의 문장을 입력하였을 때, 본 사용자의 감정은 매우 부정적(high

negative)인 상태라고 판단하였다. 두 개의 케이스 테스트를 바탕으로 세 번째 경우에서는 허핑턴포

스트(Huffington post)20)의 메인 페이지의 내용을 파싱해서 허핑턴포스트의 글쓴이의 감정을 추출해

보았으며 그 결과 매우 긍정적(high positive)인 감정으로 작성한 글임을 알 수 있었다.

3-3.� 감정�인식에�따른�서비스�제안

소비자 행동변화의 동기 유발은 단순히 데이터의 표현이나 전달로 가능한 것이 아니다. 스탠포드 대

20) 허핑턴포스트(Huffington post) http://www.huffingtonpost.com/

243

학교의 설득형 기술 연구실(Persuasive Technology Lab.)을 이끄는 B.J. Fogg는 “자발적인 설득과 사

회적 영향을 통해서 사용자의 행동이나 태도의 변화를 설계하는 기술”로서 설득적 컴퓨팅을 주장하

며 행동 변화를 설명하기 위한 행동 모델(Fogg Behavior Model)21)과 행동 그리드(Fogg Behavior

Grid)22)를 제시하였다. 본 모델은 행동변화의 계기가 되는 자극이 주어졌을 때 동기가 높거나 과업

수행능력 높을 때(혹은 과업 난이도가 낮을 때)에만 행동변화가 일어나게 된다는 점을 설명하고 있

는 모델이다. 이에 본 연구는 사용자의 감정에 불필요한 영향을 끼치지 않고 변화를 이끌어내는 가

장 적합한 목표 행동을 제공하기 위하여 사용자의 정서에 적절한 설득형 기술(Persuasive

Technologies)을 포함한 서비스의 적용이 필요하다고 보았다. 사용자의 감정과 지속시간 따른 서비

스를 설계 시 B.J. Fogg의 행동 모델과 그리드를 참고하였고 따라서 본 연구는 사용자의 감정상태에

따라 어떠한 제안이 행동변화를 이끌 수 있을지를 디자인하였다. 결과적으로 사용자의 감정에 따른

헬스 애플리케이션의 제안 서비스에 대한 가이드라인를 도출할 수 있었다.

<그림 9> 헬스 애플리케이션 내 감정 데이터 활용방안에 대한 가이드라인

<그림 9>가 제시하는 헬스 애플리케이션 내 감성 시스템 내 제안 가이드라인의 가로축은 감정 분석

결과를 뜻하며, 기존 1차원 감정 모델과 같이 매우 긍정적(high positive), 긍정적(positive), 중립

(neutral), 부정적(negative), 매우 부정적(high negative) 5가지로 사용자의 상태의 척도를 나누었다.

사용자의 감정이 매우 긍정적일 경우, 시스템은 사용자에게 익숙하지 않은 도전이 될 수 있는 행동

을 제안형으로 표현하며, 긍정적일 경우, 익숙한 행동이나 혹은 성격이 비슷한 행동을 명령형 혹은

제안형으로 표현한다. 하지만 사용자의 감정이 매우 부정적일 경우, 도전이 되는 행동을 제안하기

보다는 심리적으로 평온함, 안정감을 주는 행동을 조언형으로 표현하며, 부정적일 경우, 사용자에게

불안감을 줄 수 있는 행동을 줄일 것을 요청형으로 표현한다. B.J. Fogg에 따르면, 사용자는 일정

기간 동안의 행동 패턴을 중요시하며, 일정 기간 개입하는 것은 트리거의 전략적 사용이라고 하였

다. 이에 따라 사용자의 감정이 지속되는 시간을 세로축으로 두었다. y축의 척도는 일회적 제안

(DOT), 기간적 제안(SPAN), 미래적 제안(PATH)이다. 일회적 제안은 사용자의 감정이 기존 감정과

는 다른 순간적인 감정일 때 제안할 수 있는 정신적 건강을 위한 제안이다. 기간적 제안은 사용자의

감정이 일정 기간 지속 될 때 나타나는 제안이다. 미래적 제안의 경우는 시스템이 설정해 논 기간을

21) Fogg, B.J., The Behavior Grid: 35 ways behavior can change, Persuasive '09 Proceedings of the 4th International Conference on Persuasive Technology, Article No. 42, 2009

22) Fogg, B.J., Hreha, J., Behavior Wizard: A Method for Matching Target Behaviors with Solutions, Lecture Notes in Computer Science, Vol 6137, 2010, pp.117-131.


초과하게 될 경우, 사용자의 미래를 위하여 하는 제안을 말한다.

모바일 헬스 애플리케이션 사용자의 감정 로그 데이터에 따른 제안 가이드라인의 구체적 제안을 포

함하고 있는 서비스 UI화면이 <표 4>다.

일시적�감정 일정기간의�감정 지속적�감정

[조언형]

“오늘은�아이스크림을�먹거나� TV를�보며�쉬는�것이�좋을�것�같습니다.”

[조언형]

“한�달간�요가학원에�등록해서�다녀보는�것이�좋을�것�같습니다.”

[조언형]

“앞으로�클라이밍을�취미로�시작해�보는�것이�좋을�것�같습니다.”

<표 4> 가이드라인의 High negative에 해당하는 서비스

사용자의 감정이 순간적인 우울함일 경우, 이는 일회적 제안에 포함되어 사용자의 마음을 편안하게

하는 행동인 교회 가기, 아이스크림 먹기, TV 보기 등의 하나의 순간을 위한 유희적인 행동을 제안

할 수 있다. 하지만 사용자의 감정이 일정 기간 우울할 경우, 기간적 제안으로 분류되어 일주일간

밥과 같은 탄수화물을 섭취하기 혹은 한 달 요가학원 등록하기 등의 실험적이며, 달성의 요구하는

조언을 할 수 있다. 일정한 기간을 넘겨 지속적으로 감정이 동일하다면, 이는 미래적 제안으로 분류

되어 사용자의 총체적인 행동 패턴이자 감정으로 인식된다. 이럴 경우에는 사용자의 행동 패턴의 성

질을 변화 할 수 있는 장기적 관점의 취미 등을 조언이 가능하다.

본 연구의 내용인 감정 인식 프로세스와 사용자의 감정 유지 시간에 따른 제안 가이드라인을 포함

하는 모바일 헬스 애플리케이션의 감정 인식 서비스의 전 과정은 다음과 같다. 우선, 사용자가 소셜

네트워크 서비스에서 글을 입력하면 헬스 애플리케이션은 사용자의 텍스트를 불러온다. 다음으로 불

러온 텍스트를 <그림 6>의 연구의 프로세스에 따라 자연어 처리하여 글을 작성할 때의 사용자의 순

간적인 감정을 추출하여 정의한다. 그 후, 기존에 기록되어 있는 사용자의 감정 로그 데이터와 비교

하여 본 감정의 지속 시간을 파악한다. 지속된 기간은 <그림 9>의 가이드라인의 세로축의 기준이

되며, 사용자의 감정은 가로축의 기준이 되며, 헬스 애플리케이션은 사용자의 상태와 일치하는 서비

스를 선택한다. 그 결과 사용자는 자신의 감정을 수동적으로 입력하지 않고, 자신에게 적합한 제안

을 제공받게 된다.

245

1단계 2단계 3단계 4단계

헬스�애플리케이션의�사용자가�소셜�네트워크�서비스를�통해�글을�작성한다.

헬스�애플리케이션은�감정�인식�프로세스를�통해�사용자의�글에서�감정을�추출한다.

현재의�감정과�기록된�감정을�비교하여�행동�그리드의�영역을�선택한다.

선택된�행동�그리드를�통하여�정신적�건강을�위한�제안을�제시한다.

<표 5> 모바일 헬스 애플리케이션의 감정인식 서비스의 전과정

4.� 결론

본 연구는 라이프 스타일과 건강 관리의 방향성을 지니고 발전하고 있는 모바일 헬스 애플리케이션

시장의 흐름에 맞추어, 사용자의 로그 데이터에 따른 제안형 서비스의 모델을 제안하고자 하였다.

특히, 기존의 건강한 육체를 지향하는 서비스를 넘어, 건강한 정신, 감정적 만족과 같은 개인의 심리

인지적 요소까지 고려하는 서비스를 제공하는 방안을 고려하였다. 이를 위하여, 연구의 소스 데이터

로 가장 다양하고 섬세하게 내적 감정상태를 표현할 수 있는 발달된 감정표현 방식인 언어적 표현

인 소셜 네트워크 서비스의 텍스트를 가지고 왔다. 또한, 자연어의 감정 분류를 위하여 연산 가능한

1차원 분석 모델을 제시했다. 이에 따라, Textblob의 API를 활용하여 직접 트위터에서 사용자의 텍

스트를 받아왔을 때, 단어를 분석하여 5가지의 감정으로 분류하는 시스템을 개발하였다. 최종적으로,

본 시스템의 결과를 헬스 애플리케이션에 적용하였을 때, 감정에 따라 15가지의 설득형 제안을 가능

하게 하는 가이드라인과 활용방안을 제안하였다. 본 가이드라인은 사용자의 감정을 추적하여 이에

따른 명확한 다양한 피드백을 제공할 수 있을 것이며 사용자의 감정이 부정적일 시점에 보다 긍정

적인 감정으로 변화 가능하도록 하는 헬스 서비스가 될 것으로 기대한다.

향후 연구 방향을 정리하면 다음과 같다. 첫째, 본 연구에서 제시한 1차원 감정 모델과 감정 인식

프로세스의 검증 과정이 필요하다. 실제 사용자의 언어적 표현에 따른 감정 판단과 지속적 사용에

따른 감정 판단의 변화의 정확도를 측정함으로써 본 시스템의 정확도를 판단해야 한다. 둘째, 사용

자의 감정과 기간에 따른 분류 모델이 적용된 헬스 애플리케이션의 직접적인 개발이 필요하다. 감정

과 기간에 따라 제안과 제안이 주는 변화가 사용자에게 얼마나 만족도를 주는지를 프로토타입 테스

트를 통해 검증해야 한다.


참고문헌

보고서

∙ 지식경제 R&D 전략기획단, 미래형 웰니스산업 동향분석 및 발전방향, KITECH, 2013

∙ Fixya, Fitness Bands Report, 2013

∙ Research2guidance, mHealth App Developer Economics, 2014

논문

∙ 구자숙, 민경환, 의사결정 과정과 통합적 복잡성, 한국심리학회지 : 사회 및 성격 Vol. 15(2), 2001, pp.1-17

∙ 김상희, 스마트 폰에서의 개인화 서비스를 위한 상황 인지 모델, 세명대학교, 2013

∙ 이성호, 스마트폰에서 퍼지추론을 활용한 컨텍스트 기반 개인화 감정인식, 경희대학교, 2012

∙ 한태화, 민경필, 손재기, 웰니스 서비스를 위한 디바이스 활용 사례, 정보통신산업진흥원, 2014

∙ Andreas Haag, Silke Goronzy, Peter Schaich, Jason Williams, Emotion Recognition Using Bio-Sensors: First Steps Towards anAutomatic System, Affective Dialogue Systems Vol. 3068, 2004, pp.36-48.

∙ Fogg, B.J., Hreha, J., Behavior Wizard: A Method for Matching Target Behaviors with Solutions, Lecture Notes in Computer Science, Vol 6137, 2010, pp.117-131.

∙ Chung-Hsien Wu, Ze-Jing Chuang, Yu-Chung Lin, Emotion recognition from text using semantic labels and separable mixture models, ACM Transactions on Asian Language Information Processing (TALIP), Vol 5(2), June 2006, pp.165-183.

∙ Russel, James A., A circumplex model of affect, Journal of Personality and Social Psychology, Vol. 39(6), Dec 1980, pp.1161-1178.

∙ Watson, David; Tellegen, Auke, Toward a Consensual Structure of Mood, Psychological Bulletin, Vol. 98(2), Sep 1985, pp.219-235.

∙ World Health Organization, The British Medical Journal, 1948

학술대회�및�세미나

∙ Fogg, B.J., The Behavior Grid: 35 ways behavior can change, Persuasive '09 Proceedings of the 4th International Conference on Persuasive Technology, Article No. 42, 2009

∙ Javier Hernandez, Daniel McDuff, Rich Fletcher, Rosalind W. Picard, Inside-Out: Reflecting on your Inner State, IEEE Computer Society, 2013

인터넷�사이트

∙ 나이키플러스(Nike+) http://www.nikeplus.com.br/

∙ 베이시스(Basis) http://www.mybasis.com/

∙ 죠본업(Jawbone UP) https://jawbone.com/up

∙ 핏빗(Fitbit) http://www.fitbit.com/

∙ 텍스트블럽(TextBlob) https://textblob.readthedocs.org/en/dev/

∙ 허핑턴포스트(Huffington post) http://www.huffingtonpost.com/

Documents

ProposalofEmotionRecognitionServiceinMobileHealthApplication · 2016-10-11 · 235 1.서론 1-1.연구의배경 최근, 모바일 헬스 산업은 기존의 의료 및 건강 관련