Embed Size (px)
Citation preview
Data Prescription:웨어러블을 이용한 생활습관 처방
서울대학교융합대학원유우엑스랩이중식교수
PC > Post PC > IoE환경에물건에몸에{ 1 to man
n to mann to n{
컴퓨팅 환경은 , PC 에서 스마트폰을 , 이제는 IoT 로 너머가고 있음IoT 운영을 위해 예전에는 개별 디바이스에 사람이 로직을 넣어주었으나 ,지금은 기계가 시행착오를 통해 관계를 재설정해야한다는게 차아 .따라서 , n2n 환경에선 A.I 가 필요그리고… n2n 환경에선 사람도 ‘충실한 thing’ 이 되어야 한다 .
Paradigm Shift: Thing 으로의 Turn
< IBM IoT and Coginitive Computing >
Data Prescription: 라이프스타일 개선을 돕는 건강스스로 지키미 : 사용자 경험 기반의 건강상태 정보상태 기술개발과 행동 변화 디자인 및 실증연구보건복지부 + 서울대학교 융합대학원 + 분당서울대병원
Case
Background: Plethora of 1st Gen. Wearables2014 년 , 각종 웨어러블 , IoT 기기들이 출시되고 Apple Health 플랫폼도 출시이를 통해 주요 생활습관 추적이 가능하다고 판단 ,병원 데이터 (lab data) 와 생활습관 데이터 (lifestyle data) 의 통합 시도
make IoT Service
Acquire Aggregate Analysis Assign Action
timeseries
eventseries
visualization
shape-let patternutterance
word mining
서비스화를 위해선 , 데이터의 추출에서 재적용까지의 순환이 필요함5A 단계가 필요하고 , 기술적 난점 못지 않게 사용경험 난점이 존재함
dataprescription
behaviorchange
Background
+food logs, steps,
sleeping time, etc… clinincal context
IoT Hospital1. IoT Service 의 full cycle 을 돌릴 수 있는가 ?
2. 의료적 활용이 가능한가 ?
Acquire -> Aggregation -> Analysis -> Assign -> Action
데이터 스트림과 사용자 인터액션은 ?
데이터를 모으고분석하는데 기술적 제약은 ?
웨어러블을 지속 사용하는데 장애 또는 트리거는 ?
의료진 프레젠스를 만드는 방법은 ? 의료적 피드백 방식은 ?
생활 데이터에 대한 적절한 의료진의멘탈 모델은 ?
UX questions
Clinic engaged Wearble Service: jkme( 지키미 )
1. Acquire
2. Aggregation
3. Analysis
4. Assign
5. Action
Acquire: 이종의 5 가지 데이터를 수집
Unobtrusive tracking?
MedicallyImportant?
식이 (Diet) ✕ ◎ develop an app
활동 (Activity) ◎ ○ Misfit/Fitbit
수면 (Sleep) ◎ △ Misfit/Fitbit
음주 (Alcohol) ✕ ○ develop an app
흡연(Smoking) △ ◎ develop an
H/W
체중 (Weight) ○ ◎ Withings
의료진으로부터 만성환자 치료와 관련된 생활데이터를 선정 받음 . 활동 , 수면은 기존의 디바이스로 data acquisition 가능식이 , 음주 , 흡연 데이터 수집에 있어서는 새로운 고민이 필요했음
Acquire: 식이 데이터 (diet tracking)
Noom Diet tracker
식이기록은 현재 자가기록이 보편적임 .시간 , 양 , 성분 등을 기록하며 자유 입력 , 사진 입력 , 메뉴 입력 방식이 존재함
Acquire: 식이 데이터 (diet tracking)
Healbe GoBe: Glucose Tracker
자동기록
토스트바나나
메밀국수
한식 + 막걸리 야식
총 열량의 삼각형
클루코스 : 섭취 열량
축센서소비 열량
비침투 ( 피부 ) 혈류 임피던스 변화 측정을 통해 클루코스로 추정하는자동기록의 디바이스가 출시되었으나 사용성이 떨어짐
Acquire: 식이 데이터 (diet tracking)
ease toaccess
completenessof data
button typing
time what amount
menu
자가기록이 딜레마
식이는 여느 라이프데이터 중 기본이 되며 , 자동화가 어렵기에 UX 가 도전해 볼만한 챌린지 . 일반인들은 다이어트 등 캐주얼한 목적으로 식이기록을 하지만 , 병이 짙은 사람 ( 의료적 목적이 강한 ) 이 편리하게 사용할 수 있는 식이 기록 장치의 개발은 아주 중요함
Acquire: 식이 데이터 (diet tracking)
버튼앱 제작
접근성을 위한 버튼 중심 기록 앱 제작 ( 위젯 지원 )기록된 데이터를 요약하여 간략한 정보만을 제공
Acquire: 흡연 데이터 (smoking tracker)
LED
SW
Battery
SmartBluetoothModule
HeatSensor
흡연 기록을 자동화 하기 위해 ‘강제통과지점’인 라이터 점화를 측정하기로 함 . 센서 회사와 협업하여 프로토타입 제작
Acquire: 운동 데이터 (Elastic Band Stretching Counter)
Battery
Magnet
Sensor
Smart Module
유산소 운동 카운터와 달리 , 근력운동 카운터가 부재하여 ,홀센서 ( 자력 ) 을 이용하여 카운터 제작
Acquire: 운동 데이터 (Elastic Band Stretching Counter)
실증용 제품은 , 6 축센서 사용 Shape-let 패턴 러닝으로 ,운동 횟수와 운동 종류의 구분이 가능함
1. Acquire
2. Aggregation
3. Analysis
4. Assign
5. Action
Aggregation
실험은 2015 년 4 월 ,3 번의 의료진 면담 ( 초기 , 중간 , 종료 ) 로 구성했으며 ,환자들은 웨어러블 / 스마트폰으로 7 종의 데이터를 축적함중간 면담 후 , 행동 변화를 추적함
Aggregation
input 수집 데이터 entry
활동 misfit/fitbit [d/w] 걸음수 , 활동시간 1,025 일 . 인수면 misfit/fitbit [d/w] 취침시간 , 깊은 수면시간 , 기상시간 954 일 . 인
식사 jkme app [d/w] 언제 , 얼마나 ( 조금 / 정량 / 많이 ) 5,500 개 (button 2326, free-text 2877)
흡연 jkme app [d/w] 흡연시간 / 횟수 ( 개피 ) var.
음주 jkme app [d/w] 음주시간 / 횟수 ( 량 ) var.
contextMoves [d/w] 거리 , POI, 이동패턴 6weeks
App usage tracker [d/w] 앱 사용 로그 6weeks
약 1,000 일 . 인 데이터 수집 ( 피실험자 22 명 , 총 8 주 )
Aggregation
평균 53.3 일 전체 수집률 : 86.8%
활동 수집률 : 90.0%
수면 수집률 : 82.2%
식이 수집률 : 88.0%
Aggregation
높은 이행도에서도 특징적인 점은 ,자가기록의 이행도도 높다는 점이고 , 수면 기록이 쉽게 하락한다는 점이다 .
1. Acquire
2. Aggregation
3. Analysis
4. Assign
5. Action
Analysis의료진의 멘탙모델 조사를 통해 ,생활데이터를 보고 싶은 방식을 구성함의사들은 현재 ‘ raw data’ 보기를 원함 . 하지만 shape-let 패턴 매칭에 의한 ‘판단 지원 decision support’ 에도 호의적임
Analysis수면 분석에선 ,수면 전 최종 식사 시간을 중첩해서 보기 원함뷰의 능동적 조작성이 멘탈모델임
Analysis근력 운동 기록에선 ,‘ 총량’과 ‘세부’ ,운동 시간 등을 보는 다이나믹한 뷰가 멘탈 모델임
Analysis유방암 환자 재활의 경우 ,‘ 부종 이벤트’ 중심으로 모든 데이터를 보기 바람 .데이터의 ‘일람성’과 ‘세부성’을 모두 조망하기 바람
1. Acquire
2. Aggregation
3. Analysis
4. Assign
5. Action
Analysis : Clinician Checkup
활동 수면 식이 음주 흡연show
explainplan
데이터 진료 특징 및 성향평균진료시간
진료환자 ‣ 비만클리닉 환자‣ 1 차 : 7 분 59 초‣ 2 차 : 7 분 39 초
생활습관 데이터 활용
* 진료시 데이터 활용 정도100%0%
• 5 가지 데이터 항목을 전반적으로 언급 • 환자의 생각을 물어보며 적극적으로 커뮤니케이션 시도• 데이터를 복합적으로 활용 (eg. 수면 x 식이 )
• 활동량 최고 / 최저인 날의 일정을 물어보고 라이프스타일 파악• 구체적으로 운동을 처방 (eg. 레그레이즈 + 크런치 )
• 환자의 BMI, 식사 시간에 따라 섭취해야 할 영양군 설명M
A
A
• 활동 관련A
• 식이 관련M
• 수면 관련S
Analysis : Clinician Checkup ( 가정의학과 전문의 )
활동 수면 식이 흡연 / 음주 기타
Show
" 큰 변화는 별로 없고요 . 운동량이 조금… . 1km까지는 안 되시구요 ."
" 이게 이 제 수면인 데요 , 평 균 적 인 수 면 시 간 을 보 여 주 는 데 여 기 서 크 게 어긋나지 않으세요 ."
" 그다음에 드시는 종류도 뭐 , 토 스 트 위 주 로 드 실 때 가 많 으 시 네 요 아 침 은 , 저 녁 때 는 주 로 밥을 드시는 편이시고 "
" 흡 연 은 안 하 시 고 , 음주는 1 회정도 되시고 ."
Explain
" 일단은 전보다는 걸음수가 많아지셨네요 . 보 수가 ." (P13)
" 근 데 잠 이 조 금 그 주 무 시 는 시 간 이 불 규 칙 하 세 요 . ... 이 게 조금 영향을 줄 수 있는데 , 식 사 하 시 는 시 간 대 에 좀 영향을 미쳐요 ."(P13)
" 지 금 시 간 대 가 ...전반적으로 저녁은 좀 뒤에 밀려있고요 ."
" 예 아 무 래 도 좀 , 음 주 량 이 느 신 것 같 기 는 해 요 . 음 … 피 곤 하 거 나 그러진 않으세요 ?”
Plan
" 레 그 레 이 즈 라 고 해 서 , 상복부랑 좀 같이 하시는게 좋 거 든 요 ? 크 런 치 하 고 레 그 레 이 즈 같 이 하 시 면 좋을 것 같아요 ."
X
" 근 육 을 유 지 하 려 면 탄 수 화 물 도 좀 같 이 섭 취 해 야 하 니 까 . 너 무 많 이 제 한 하 진 마 시 고 . 저녁때만 ."
" 절 주 하 셔 야 되 요 사 실 . 음 주 량 을 줄 여 나 가 셔 야 됩니다 ."
Patient'sReaction
" 노 력 은 하 는 데 뭘 그 런 인제 선생님 말씀하시는게 바람직한거 그런거잖아요 . 그 래 서 그 렇 게 하 려 고 하 는 데 아 무 래 도 좀 힘드네 ."
X
" 선 생 님 이 그 런 말 씀 하셔가지고 지키려고 하고 있 어 요 . 다 른 건 잘 안지키는데 . 일주일에 반 정 도 는 샐러 드 먹는 것 같은데 요즘 ."
X
“ 교수님을 제가 몇 년 간 보 고 있 거 든 요 . 건강 검진 을 하 면 , 결과 를 봐주시고 . 그래서 좀 더 잘 해 주셨는지도 모르겠는데…”
P29
P13
P29
P29
P13
P13
P13
P29
P13P13 P29
P29
P29
P29
Findings
Findings
Presence of ClinicianFeedback Craving
Journaling! 정규화 , 정교화Quantified Self, Awareness
Dialog Changed
생활데이터 처방은… 비의료적 효과의 가능성
웨어러블 사용에 5 타입이 있다건강 염려증이컴플라이언스를 높인다
멀티 레이어 ,읽고 , 해석하고 주문한다 .
프레젠스가컴플라이언스를 높인다전반적인만족도는 증가했다
식이가 중요한데 , 모으기 어렵다 . 킬러 디바이스가 없다
jkme revised
• 이종의 데이터에 대한 병렬적 관리• 의료진 프레젠스• 접근성 좋은 버튼 앱• 머신러닝에 의한 피드백 제공
jkme 2nd year
EMR 2nd year
전체를 조망한다 .타임시리즈가 네비게이션 역할을 한다 .요약 - 항목 요약 - 항목 상세 - 처방 의 순으로 eye movement
Data Prescription: 헬순이
검진장비우기 결과상담
검진장비우기 결과상담바짝운동신념설문
검진당일 D+10 D+50D -1D -14
생활미션 변화상담
검진1.0
검진wired
Survey Guide Mission
스스로 의료진인터액션App-aid
건강 검진은 ‘ one day’ ‘off-line’ 이벤트이다 .하지만 , 검진일 전후로 엄청난 정보가 모아지고 뿌려진다는 점에서검진 경험은 재구성되어야 한다 .
건강 검진 경험 re-structured
검진장비우기 결과상담바짝운동신념설문 생활미션 변화상담
Survey Guide Mission
신념 2 미션 매치관심 건강 영역건강 신념 설문중개념 소개념 구체 미션 강도
운동근력 상 . 중 .
하유산소 상 . 중 .
하식이
양 상 . 중 .하
내용 상 . 중 .하
신념 지식 뉴스 제시행동
특이사항abcdef
질문abcdef
신념 type
pqrs
-7 -6 -5 -4 -3 -2 -1
week 2 근력 유산소 식이 .양
식이 .내용 근력 2 유산소 2 쉬기
week 1 식이 . 양2
식이 .내용 2
근력 3 유산소 3 식이 3 식이 3 쉬기
바짝 운동 스케줄수가 ed추가 검사와 상담
인터액션 / 데이터를 만드는 로직 엔진 개발헬순이 로직 엔진
안녕하세요 . :-)
저는 분당 서울대학교 병원 건강도우미 “헬순이”입니다 !
앞으로 저는 000 님의 건강한 매일을 위해서 노력할거에요 .
저를 믿고 따라와 주실거죠 ?
당연하지 ! 잘 부탁해 .이게 뭐야 ?
헬순이
오전 10:00
오전 10:02
오전 10:01
기계수다
헬순이 인터페이스데이터 속서이 시간 지배적 event stream메신저 앱 형태로 제작
미션 입력오늘 먹은 가공 식품의 당 함유량을 찍은 사진을 보내주세요 .
미션에 대해 코치에게 하고 싶은 말이 있나요 ?
오늘은 젤리만 두 종류를 먹었습니다 .하리보 작은 것 한 봉지와 코스트코 젤리 2알을 먹었습니다 . 내일부터는 더 줄여보겠습니다 .
취소 보내기
미션 입력
감사합니다 .
