Beyond QWERTY: Augmenting Touch-Screen Keyboards with Multi-Touch Gestures for Non-Alphanumeric Input + CHI 2012 -Leah Findlater et al. /유현진 x 2014 Fall

1. Abstract 2. Introduction 3. Related Work 4. Experiment -process -result 5. Design 6. Evaluation 7. Findings 8. Conclusion 9. Discussion

Index

모드 체인지형 키보드

“ Google의 최신 Android OS 그리고 Apple’s iOS 6 + ” 아래의 문장과 기호를 입력하기 위해 우리는 키보드의 모드를 몇 번 전환해야할까요?

한글, 영어, 숫자, 기호, 문장 부호…계속 반복하는 실수

Beyond QWERTY: Augmenting Touch-Screen Keyboards with Multi-Touch Gestures for Non-Alphanumeric Input

모드체인지형 키보드의 단점을 보완할 수 있는 제스쳐 기반 문자 입력 키보드에 대한 연구

Background 널리 사용되는 터치 스크린 인터페이스는 대부분의 문장 부호 및 기호에 대해 키보드 레이아웃에 대한 모드 스위치를 필요로 해서 불편함

터치 스크린의 입력 플로우를 최소화하기 위한 많은 기술이 개발중이나, 기존 연구는 글자와 숫자 외의 구두점, 기호 및 문장 부호에 대한 연구는 활발히 진행되고 있지 않은 실정

Existing Research

Approach 그래서 우리는 현존하는 10손가락으로 사용하는 QWERTY 키보드를 멀티터치 제스쳐 인풋 방식을 기반으로, 모드 체인지 키보드의 단점을 보완하려고 함.

Experiment 20명의 참가자를 모집하여 사용자가 구두점, 기호, 수정 부호에 맞는 제스쳐를 정의하고, 멀티 터치 제스쳐 방식, 싱글 터치 제스쳐 방식으로 입력할 수 있게끔 함

Result 실험 결과, 글자로 표현될 수 문자들의 입력 속도는 모드 체인지 키보드와 거의 비슷했고, 사용자들은 제스쳐 기반 입력을 모드 체인지 키보드 입력보다 선호함

Abstract

- 모드 체인지 키보드에서 문장 부호, 기호 등을 적기 불편함 - ‘.(마침표)’같은 경우에는 ‘v,k,j’같은 글자보다 더 많이 씀 - 트위터 등의 SNS 사용이 증가하면서 문자 부호 및 #, @ 등의 기호가 중요해짐

Introduction

iphone mode change keyboard

쉽게 기호를 입력할 수 있도록 모드 체인지 키보드를 보완할 수 있는 방법은? 사용자가 문장부호, 기호 등을 제스쳐로 입력할 수 있도록 해보자!

Introduction

이것의 장점은? 키보드 영역의 타이핑 위치에서 손을 많이 움직일 필요가 없음 문장 기호의 키 위치를 확인하기 위해 키보드 영역에 주의를 많이 기울이지 않아도 됨

Palm OS’s Graffiti 같은 stylus-based text input 방식에서 영향을 받음

Related work

그러나 우리 연구는 싱글 터치 방식과 멀티 터치(2개의 손가락을 사용해서 입력을 하는 등) 방식 두 가지 버전 모두 입력하는 방향을 지향한다는 점에서 차별성을 가짐 !!

Experiment

모드 체인지 키보드에서 문장 부호, 기호, 명령 키들을 제스쳐로 입력하는 것이 정확성(agreement 계산), 효율성(시간 단위 계산) 면에서 과연 타당한지 사용자를 대상으로 사용성을 검증하기 위함

20명의 참가자 (남자 11명, 여자 9명) Age :19-48세 (평균 24,7세, 표준편차 9.0) Background: 기술 분야(6명), 사회 과학, 음악, 행정 업부 등 !참가자 모두 적어도 6개월 이상 터치 스크린 디바이스 사용 경험 있음 1명은 QWERTY 자판 말고 Swype*라는 키보드 이용

Swype

Trial 1: only 기호 이름만 주어짐 Trial 2: 기호 이름과 기호 모양 둘 다 주어짐 Trial 3: 기호를 그리는 제스쳐를 달리하기 -> 이전에 single touch로 그렸으면 multi touch로 그리고, 반대로 multi touch 방식으로 그렸으면 single touch로 그리도록 함 -> (ex) ‘=‘의 경우 손가락 두개로 한번에 or 한 손가락으로 두 획에 걸쳐서.. (그러나 “.” 의 경우에는 멀티 터치가 없으므로 건너뛸 수 있음)

Experiment

기호와 명령키 (26 in all) were presented in random order. Instructions were presented at the top of the screen, along with the buttons: “Done”, “Clear” and “Skip”, 나머지 for drawing.

Instructions

DONE CLEAR SKIP

Trial1: sharp Trial2: sharp , # Trial3: different gesture

Random order

S:기호

N:S를 그리기 위한 제스쳐 수

G: 기호 혹은 명령키의 그룹의 획

(Agreement값은 0부터 1까지 도출됨)

Trial 1(Name only)와 Trial 2(Name & Symbol)의 실험 결과를 수치화하여 비교

Result of Trial 1&2

- 숫자가 높을수록 예측가능함(Question mark(1.0)예측성 높음 <-> Shift (0.12)예측성 낮음

- Trial 1(name only)과 Trial 2(name&symbol)의 문자의 평균 예측성은 각각 0.63, 0.71

- Trial 1에서 이름만 제공될 때, 피실험자가 기호 이름을 잘못 해석해서 backslash 대신에 foward slash를 그리는 경우가 있었음

Result of Trial 1&2

- 그러나, 4개의 명령 키(Shift, Enter, Space, Backspace) 는 기호들(“,;”=)에 비해 예측도가 현저히 떨어짐 - 예를 들어, Shift 키의 경우 예측도가 0.12 밖에 안됨 - 아래 그림은 피실험자들이 화면에 Shift라는 이름만 주어졌을 때 제스쳐로 나타낸 그림들

Result of Trial 1&2

사람들이 single-touch 를 선호하는지 multi-touch gestures 를 선호하는지 알아보기 위해서, 제스쳐를 입력하는 동안 동시에 사용한 손가락의 수 데이터도 입력받음

shift # ” : =

위의 5가지 기호 및 명령키를 입력하기 위해서 참여자의 절반 가량이 멀티 터치 제스쳐를 사용하는 것으로 나타남

Result of Trial 3

특히, 아래의 4개 기호들에 대해서는, 참가자의 65%-70%가 멀티 터치 제스쳐를 선호한다는 의견

# ” : =

Result of Trial 3

주관적 측정 (1부터 7까지 - 1:예측하기 어려움, 7:예측하기 쉬움)) !기호: (M=6.5, SD=0.2) V 문장부호: (M = 6.2, SD = 0.5) V 명령키: (M = 6.0, SD = 0.4). !-> 기호, 문장부호에 비해 명령키(Shift, Enter, Space, Backspace)는 제스쳐로 입력하기 어려움

Subjective Measures

Trial 1,2 에서 참가자들이 제스쳐 입력으로 기호를 그리는 데 걸리는 시간은 평균 1.2 초(SD = 5.6) . Trial 2에서는 0.23초 for ‘.’ / 2.2초 for ‘@’. 그러나, Space를 제스쳐로 입력할 때 상대적으로 느린 반응을 보임(평균 0.95초) !!

Time Measures

Design Implication

명령키가 일반적으로 정합성과 주관적 측정 점수 면에서 문장 부호, 기호보다 점수가 낮기 때문에 명령키가 키보드의 ‘keys’로서 남아있을 것을 제안함 !parenthesis() and apostrophe(‘’)의 경우, ( ‘ 이 두 문자를 어떻게 구별할 수 있는 방법을 고안할 필요가 있음

Design: An Augmented QWERTY Keyboard

사용방법 기호 및 문장부호: 4손가락 이상 키보드에 올려두고, 나머지 한손으로 제스쳐 입력(Figure 1a) 명령키 입력: 0.4초 이상 화면 탭한 후, 파이메뉴 탐색. 스와이프하여 Shift, Back, Control, Alt 입력(Figure 1b) !!

We built a gesture-augmented QWERTY keyboard.

Preliminary Evaluation

Goal (1)제스쳐 기반 키보드와 모드 체인지형 키보드에 대한 피드백을 받음 (2)새로운 기술에 대한 실현 가능성 평가—제스쳐에 대한 학습이 이루어지지 않은 사용자에게도

제스쳐 기반 키보드가 모드 체인지형 키보드만큼 중요성을 가지는지 알아보기 위함

Method 6명의 참가자 (남4, 여2), 평균나이 29.3세. 다섯명 오른손잡이 한명 왼손잡이. 터치 스크린을 적어도 1년 이상 사용. 그 중 한명은 Swype라는 제스쳐 기반 키보드 사용. 지난 실험과 같이 기호&문장부호가 랜덤하게 주어지면 이를 제스쳐로 그리는 형식. mode change keyboard와 gestural keyboard의 비교.

Findings

타자속도 평균적으로 제스쳐 기반 키보드로 분당 19.7자(기호), 모드체인지형 키보드로는 분당 19.9자(기호). !오타율 제스쳐 기반 키보드 6.3%, 모드체인지형 키보드 6.3%로 비슷. !선호도 제스쳐 기반 키보드의 선호도가 더 높음(5/6) !-> 이러한 결과의 의의: 비록 예비 평가이긴 하나 제스쳐에 대한 특별한 학습이 없었던 사람에게도 제스쳐기반 인터페이스의 의 정확성 및 실현가능성을 입증함

Future Work+ Conclusion

Future work 태블릿 PC에서의 제스쳐 기반 키보드의 철저한 평가와 태블릿 PC 스크린보다 작은 모바일 디바이스에서의 제스쳐 인풋 방식에 대한 연구

Conclusion 기호, 문장부호 중심의 제스쳐 인풋 방식 키보드는 모드 체인지형 키보드의 불편함을 보완할 수는 있지만 솔루션 자체가 될수는 없다고 생각한다. 모드 체인지형 키보드를 보완하는 기호 중심 제스쳐 입력 키보드는, 시각적으로 깊게 주의를 기울이지 않고도 쉽게 타이핑을 할 수 있고, 타이핑을 하는 손의 위치가 키보드에서 크게 벗어나지 않는다는 점에서 유용하다. 때문에 모드 체인지형 키보드의 단점을 보완하고, 제스쳐에 대한 학습이 없는 사람도 쉽게 사용할 수 있다는 점에서 연구 가치 및 의의가 있다.

Discussion

1. 모드 체인지형 키보드 인터페이스의 불편한 점에 대해서 이야기해 봅시다. 2. 위의 불편한 점을 어떻게 개선할 수 있을까요? 3. 모바일/태블릿 PC의 터치 키보드 인터페이스에 대해서 이야기해 봅시다. 4. 제스쳐 기반 키보드 앱을 써본 경험이 있으면 장단점을 말해 봅시다.

Thank you!