(발제) Mobile taskflow in context a screenshot study of smartphone usage+CHI 2010-Amy K.Karlson /최유진 x 2012 witner

최유진

Mobile Task!ow in Context:A Screenshot Study of Smartphone Usage

2012.1.25최유진 발제

Wednesday, January 25, 12

My Research Interests

Ubiquitous(Cloud) Computing⦿ Personal / Group Information Management⦿ Workplace Study / CSCW⦿ Multiple Devices Usage

sub-interests: information retrieval , information visualization

Method⦿ Ethnographic Research / Diary Study

2011.%봄��&�� "�

2011.%여름-�$��&!,�� #(� �.*�� 2�)0�

2011.%겨울�1��&!��#(%�'��+/!0��3�� "�


0. What does ‘being ubiquitous’ mean?

⦿ Ubiquitous Computing is “a post-desktop model of HCI in which information processing has been thoroughly integrated into everyday objects and activities.”

⦿ Also referred to as Pervasive or Distributed Computing.

“Ubiquitous computers, in contrast, reside in the human world and pose no barrier to personal interactions. If anything, the transparent connections that they o!er between di!erent locations and times may tend to bring communities closer together."

Mark Weiser [The Computer for the 21st Century, 1988]

Four Computing Era [BEING HUMAN 2020]


Connected to the World Anytime, Anywhere,

Seamlessly!

on the hill

at the o"ce

at Starbucks

on the move

on the street

Environment

ComputerHuman


Natural User Interface

Tabletop

Multi devices integration

Smart work & home

Physical Computing


Mark Weiser [The Computer for the 21st Century, 1988]

“Machines that #t the human environment, instead of forcing humans to enter theirs, will make using a computer as refreshing as taking a walk in the woods.”


W. O. R. K.


Mobile Task!ow in Context:A Screenshot Study of Smartphone Usage

(CHI 2010)

Amy Karlson , Microsoft Researcher in the Computational User Experiences(CUE) and Visualization and Interaction(VIBE) Group.

Project Area :Cross-devices user experienceMobilephone Interaction TechniquesMobile productivity

Brian Meyers , Microsoft Researcher Currently working on ‘DrawBridge’(Library Cloud OS)

Project Area :“Ecosystem” of devices between smartphone and laptops for seamless user experience.


1. Introduction : Mobile Productivity

Q. 얼마나 많은 사람들이 모바일로 ‘일’을 할까? 왜 사람들은 모바일로 일하는 것을 어려워할까?

A. 데스크탑 taskflow ≠ 모바일(스마트폰) taskflow

✓ 모바일은 심리적인 방해요인interruption 뿐 아니라 하드웨어와 사용 맥락에서 의 제한이 있다는 점이 데스크탑과 다르다.

✓ 데스크탑과 달리 모바일 디스플레이에서는 시각적인 신호visual cue가 절대적 으로 부족하다 : e.g. file/folder hierarchy

Hypothesis모바일에서 하던 도중 중단되거나 미처 완성되지 못한 작업들 중 대부분은 기존에 데스크탑에서 발생하는 문제가 아닐 것이다.

Research Questions “We investigated...”

✓ 스마트폰 사용에서 사용자가 부딪치는 장벽barriers✓ 문제 상황에서 사용자가 선택하는 대응 전략follow-up strategies✓ 개별 태스크와 상황에 따른 사용자의 좌절감user frustration

⦿

⦿

⦿

Introduction


2. Related Work :

Workplace Study : Workplace study on information workers and how they deal with multiple devices in the office environment.

⦿

✓ Perry et al (2001) : 오피스 근무자의 데이터 관리방식을 관찰. 데스크탑이 없는 업무환경에서 사용자들에게 모바일을 통한 예기치 못한 상황에서 발생하는 information needs가 충족됨을 확인

✓ Oulasvirta et al (2007) : “Mobile Kits and Laptop Trays” 오피스 근무자의 실제 환경에서 어떻게 사용자들이 이동하는 업무환경에서 멀티디바이스 사용을 하는지 관찰.

Mobile devices blurred the lines between work and personal life.모바일 기기로 인하여 일과 여가의 구분이 모호해짐.이는 곧, 모바일 기기가 근로자들의 협업 방식과 업무 조율 방식에도 영향을 끼친 것이라고 볼 수 있음.

✓ Mazmanian (2005) : 회사 조직에서 블랙베리 핸드폰의 보급으로 사용자들의 이메일 사용방식과 관계맺기 행동에 변화가 생김을 연구

Related Work


2. Related Work :

Desktop ProductivityManaging workflow on the desktop presents many challenges with interruptions and increasing practices of multitasking.

⦿

✓ Mark et al : information workers들의 업무환경에서 방해interruption과 자기 자신의

시간 제약 때문에 하던 일이 fragmented됨을 연구

✓ Iqbal and Horvitz : 데스크탑에서 작업의 방해가 발생하는 과정 4단계: Preparation- Diversion - Recovery - Resumption: 데스크탑에서 하던 일이 중단되었다가 다시 시작하는데 평균 15분의 시간이 걸림.

✓ Oulasvirta et al : 실제 사용자의 이동성과 모바일기기 사용을 직접 관찰하여 모바일 업무에서의 fragmentation을 시각과 인지에서의 주의attention를 통해 측정, 다시 주의를 집중하는데 평균 몇 초의 시간이 걸림을 확인. 모바일에서의 방해 요인은 데스크탑과 달리 주변 환경과 맥락의 영향이 절대적.

Related Work


3-1. Online Survey1) Method

⦿ to randomly selected sample of smartphone owners across a large software company.⦿ E-mail mgmt as a representative task both for mobile and desktop

⦿ Questions 1) typical email tasks (reading/replying/deleting/#ling) on phones 2) their task completion strategies when using multi-devices and pain points.3) additional information on other tasks from desktop to mobile s.a calendar, web, and document activities.

2) Result⦿Demographic information: ✓ 총 234명 스마트폰 사용자 근로자 ✓ Male (175) , Female (56) , Others (3) ✓ iPhone (24) , Window Mobile Smartphone(109), Window Mobile Pocket PC(91), Blackberries(3),Palms(3),Others(4)

✓ 스마트폰을 한시간에 몇 번씩 사용(128), 하루에 몇 번 씩 사용(106)

Online Survey


Result (cont.d)

⦿ Email activities general✓ 이메일 읽기(91%)와 이메일 삭제(63%)가 가장 일반적인 행위✓ 가장 자신에게 중요한 이메일 활동 : 읽기(87%), 짧은 길이의 이메일 작성(61%) ( 긴 이메일을 모바일로 작성하는 것은 중립 또는 부정적 61%)

✓ Other activities: 캘린더 확인(81%) , Call(53%), 웹 브라우징(71%), IM(56%), 캘린더 추가(52%)

⦿ Migration from mobile to PC✓ 64%의 응답자가 모바일에서 데스크탑으로 넘어갈 때 자신이 하려던 일을 주로 기억에 의존하여 한다고 응답

✓ 대응 전략40%가 Memory aid없이 하려던 일을 종종 까먹는다고 응답!

1) 모바일에서 이메일을 아예 읽지 않은 채로 남겨둔다. (22%)2) flag기능을 사용하여 unread를 체크(11%)3) 따로 폴더에 저장하거나, 자기 자신에게 포워딩한다는 사용자도 있음.

그럼에도 대부분의 사용자가 자신의 관리 전략에 대해 전반적으로 만족스러움(76%)주로 하려던 일을 잊어버렸을 때 breakdown이 발생했다고 응답(47%)

Online Survey


⦿ Then, is reminder tool or resumption aid necessary for users? Somewhat important(70%)

Fg.1. 모바일 폰에서 중단된 작업 중 ㄷ다시 이어서 할 필요가 있다고 느끼는 중요

폰에서 하다가 중단된 작업을 다시 시작이동중에 떠오른 갑작스러운 생각폰에서 커뮤니케이션 하느라 중단 된 작업 이어하기폰에서 처음 본 웹 정보폰에서 처음 본 이메일에 취해야 하는 액션폰에서 처음 읽은 이메일을 다시 읽기

결론:

✓ 이메일은 다른 활동에 비해 상대적으로 동기화가 잘 되는 데도 불구작업 중단이 자주 발생한다는 사실.

✓ 이메일 이외의 다른 활동에서도 많은 방해가 일어남.

Result (cont.d)

Online Survey


3-2. Screenshot study1) Method

⦿ Follow-up study✓ 현재 스마트폰 사용의 taskflow, 사용 맥락, 좌절감, follow-up plan, task urgency등을 구체적으로 파악하기 위한 in-situ diary study

✓ 12 iPhone users (consumer) / 12 Window Mobilephone users(business) in the same company. Male (7) Female (5) for each group / Median age of 35

총 2주간 Screenshot study

1st visitannotating위한소프트웨어 설치

가이드라인 트레이닝

2nd visit1시간 남짓 인터뷰소프트웨어 제거

Main task :방해가 일어난 순간 스크린샷을 찍은 후하루에 한 번, 웹페이지 방문하여해당 스크린샷에 대한 추가설명을 기록.(매일 오후 4~7시 사이 리마인더 메일 발송)

제공된 가이드라인(스마트폰 사용도중)

1. 시간이 너무 많이 걸리거나 불가능해서 작업을 절반정도만 하고 그만둔 경우2. 데스크탑에서 그 작업을 이어하기 위해 의식하여 기다리는 경우3. 외부환경에 의해 작업이 중단되는 경우4. 그밖에 데스크탑에서 완성하기 위해 기억하고 싶은 작업이 있을 때

트레이닝

Screenshot study


3-2. Screenshot study1) Method (cont.d)

Fg.2. An example of screenshot of network problem.

⦿ The balance between ease of use and quality of user feedback 모바일에서 스크린샷을 찍고 추가노트까지 적는 것은 사용자에게 부담스러운일이기 때문에 스크린샷을 메모리 트리거로 사용하여 나중에 상황을 기록하는 방식을 선택

⦿ Incentive-based reward첫번째 방문 후 25$ 지불 후 추가적으로 세 번에 걸쳐 25$ 지불함(최소한의 스크린샷 개수 지정)

트레이닝

Screenshot study


2) Result

⦿ General✓ 24명 참여자의 총 467개의 스크린샷 제출(223 iPhone / 224 PPC) ✓ 한 명 당 4일 동안 평균 17.5개의 스크린샷을 제출✓ 실험 종료 후 메뉴얼 코딩을 통해 수집된 스크린샷과 그에 대한 추가 기록을 1)장벽의 종류 2) 태스크 종류 3) Follow-up 전략 4) 사용 맥락으로 나눔.

1. Characterizing Sources of Frustration (총 358개)✓ to clarify user’s perception of frustration when encountering barriers on mobile tasks.✓ h. 모바일에서 데스크탑으로 태스크가 옮겨질 떄 단일 디바이스보다 어려움이 더 클 것이다. --- x. 데스크탑에서 옮겨할 때가 스마트폰에서 완성하는 것보다 어려움이 덜 하다.

Implication :

✓ 어느 디바이스에서 하느냐 보다 태스크의 완성여부에 더 신경쓰기 때문

✓ 모바일 태스크의 완성에 대한 낮은 기대

✓ 모바일 작업이 주로 killing time에서 이뤄지기 때문에 중단되더라도 크게 개의치 않을 것

Screenshot study


2) Result (cont.d)

2. User’s frustration between di$erent tasks✓ 업무에 방해받았을 때 태스크에 따른 차이가 있는 지 확인하기 위해 최소 20개 이상/ follow-up/ rating이 있 는 스크린 샷을 모아 태스크 별 분류함.✓ email << web << file mgmt << scheduling << SNS << media, transit 순으로 어려움 측정✓ 데스크탑에서 이메일이 가장 낮고, 모바일에서는 SNS가 가장 높은데, 전반적으로 웹, 미디어를 제외하고 모바일에서 Frustration rating이 높게 나타나는 경향.

Implication✓ 각 태스크의 어플리케이션 ux 디자인에 따라 체감하는 어려움이 크게 다르다.

이메일은 상대적으로 어느 기기에서나 안정적으로 동기화되는 반면,

웹, 미디어는 그에 비해 기기 간 seamless한 경험을 제공해주지 못해 (예. 북마크 동기화, 마지막으로 음악,영상을 듣던 지점 동기화)

Screenshot study


2) Result (cont.d)

3. Characterizing Mobile Task Barriers

⦿ Email (33%)1) Unfinished actions(17%) : ✓ 작업에 필요한 자료의 부족(회사 내부 데이터 access) 작업 자체의 복잡함✓ 데스크탑에서도 어려울 정도의 일이며 모바일에 대한 기대치가 낮음(lowest f.rate=1)

2) Unfinished read(12%)✓ 첨부파일이나 접근권한 때문에 다 읽지 못함✓ Completion rate이 높지만 f.rate이 높은편: 특히 이동중, 이메일을 읽지 못한다는 것에 unacceptable.

3) Unfinished reply(4%)✓ 주관적으로 느끼기에 너무 많거나, 긴 시간이 소요된다고 생각하여 포기함.✓ 이메일 과업 중 가장 높은 f.rate(3) : 적당한 시기를 놓친것에 대해 민감하게 반응

Screenshot study


2) Result (cont.d)

3. Characterizing Mobile Task Barriers

⦿ Missing functionality(23%)✓모바일 앱의 제한된 기능, 대부분이 복잡한 태스크✓역시 모바일 작업에 대한 기대치가 낮기 떄문에 f.rate 높지 않음(‘모바일은 데스크탑의 보조역할’)

⦿ Output prob.(13%)✓ 작은 화면 스크린때문에 화면이 깨지거나 정보를 다 볼 수 없는 문제✓ 모바일 웹 브라우저의 제공, single-app/window로 구성된 모바일에 멀티태스킹,view의 필요성

⦿ Network (11%)✓ 정보에 대한 접근성 + 생산성에 모두 가장 높은 f.rate(4) : 가장 많이 재시도한 항목(재부팅,앱 다시켜 기,네트워크 변경...)✓ 높은 좌절감인 동시에 완성한 비율도 높아 사용자들은 네트워크에서 발생한 작업 중단을 다시 완성하는 경우가 높음.✓ 네트워크 시그널의 필요성

⦿Di$erences by devices types : no signi#cant di$erence bw iPhone and PPC✓ 아이폰과 윈도우폰의 사용경험이 크게 다른 데도 사용자들의 barrier에는 큰 차이가 없음. 디바이스보다 모바일 컴퓨팅 전반으로 이해될 수 있음.

Screenshot study


2) Result (cont.d)

3. Re-grouping

⦿ Technology related/ Network problem / Missing functionality/ Other UI problem

⦿ Inherent aspect of mobile / Complex tasks/ Cost/Bene#t Choices/ Environmental factor

⦿ E-mail related relatively low f.rate in nine categories.

Screenshot study


4. Conclusion & Discussions

Discussion

⦿ A large number of in situ experiences o!ers evidence of the regularity with which people breaks in task!ow in mobile phone.

⦿ Many of barriers people face are inherent to mobil computing. But the frequency with which mobile disruptions caused task partitioning across more than one device is almost 70% of total. design guidelines not only for mobile devices, but also for multiple devices ecosystem.

Other Suggestions

✓ reminding : 데스크탑에서는 열려있는 윈도우 창 자체가 작업을 잊지않게 remind해주는 역할을 함.(모바일에서 제공되지 않는 visual cue / remind) ,

✓ rehydrating task context : 디바이스와 관계없이 모든 태스크가 동일하게 일어나는 rehydrated 경험 제공(이메일 vs. 웹 검색) 하지만 동기화가 되더라도 어떤 기기에서 되었는지에 대한 표시가 필요.

✓ decomposing tasks into meaningful subtasks : 이메일에서의 낮은 좌절감은 상대적으로 다른 어플리케이션에 비해 뚜렷한 subtaks들이 나눠져있기 때문(read,compose,reply,delete)


and I think....

⦿ 구조화된 다이어리 스터디 : 크롬북 다이어리 실험/논문작업에서 미처 생각하지 못했던 정교한 연구방법 설계, : 인터뷰나 인사이트의 단순 나열이 아닌 구조화된 데이터 분석. : iterative coding/card sorting을 통해 자체적인 분류기준 제시 okay. ⦿ 모바일 환경에서의 사용자 조사 : 통제된 실험실 세팅보다 실제 사용환경에서 사용맥락과 함께 관찰해야 할 필요성 : 정성적 방법 (exploratory study /observation/in situ log/interviews/diary study/ experience sampling method...)이 더 적합하지 않을까?

⦿ 이 연구에서는 email 을 대표적인 work-related 과업으로 잡았는데 근거가 불명확. 모바일/데스크탑에서의 work task와 멀티디바이스에서의 work task의 종류?

⦿ 모바일과 데스크탑의 경험을 synchronized하는 것은 완전한 동일화가 아닌, 모바일에 적용되는 하드웨어/시스템의 제약과 사용맥락/환경이 모두 고려되어야 함. (사용자는 현재 제공되는 모바일에 큰 작업의 효과나 효율을 기대하지 않음)

⦿ 현재 관심 토픽과 방법론


Documents

(발제) Mobile taskflow in context a screenshot study of smartphone usage+CHI 2010-Amy K.Karlson /최유진 x 2012 witner