장애인사용 음성워드프로세서를 위한 사용성 평가 방법론 개발에 관한 …risers.daegu.ac.kr/common/fileDown.aspx?f=24-%C0%D... · 음성인식 워드프로세스에

특수교육재활과학연구

Journal of Special Education & Rehabilitation Science

Vol. 50, No. 4, pp. 457~484, 2011.

장애인사용 음성워드프로세서를 위한

사용성 평가 방법론 개발에 관한 연구*

임 철 일** ㆍ 박 태 정*** ㆍ 최 소 영**** ㆍ 홍 원 준*****

< 요 약 >

사용성은 사용자가 어떤 제품을 사용하여 사용 목적을 쉽고 빠르고 편리하게 달성하는 정

도를 의미한다. 사용성 평가는 이를 확인하는 절차로 사용자의 사용성을 평가하고 이의 결과

를 제품의 개선에 적용하는 것을 목적으로 한다. 사용성 평가는 특정 제품과 사용 대상자의

특성에 따라 평가 요소와 기준, 절차, 방법이 최적화될 필요가 있다. 본 연구는 장애인용 음

성인식 워드프로세서의 사용성 평가 방법론을 개발하는 것을 목적으로 한다. 이를 위하여 사

용성 평가에 대한 선행 연구와 음성인식 소프트웨어의 특징에 대한 분석을 기초로 사용성

평가 초기 방법론을 개발하였다. 개발한 방법론은 사용성 평가 방법 전문가 5인에게 평가

요소와 기준, 평가 방법과 절차에 대한 타당도를 받아 수정되었다. 수정된 방법론은 소프트

웨어 개발자들 5인에게 타당성과 현장 사용 적합성을 검토 받아 이를 바탕으로 최종 방법론을

* 이 논문은 2010년도 지식경제부 및 한국산업기술평가관리원의 기술혁신사업의 일환으로 수행하였음

(10036459, QoLT 산업기술기반 지원센터 구축사업).

** 서울대학교 사범대학 교육학과 교수(제1저자 : [email protected])

Professor of Dept. of Education, Seoul National University

*** 서울대학교 사범대학 교육학과 박사과정(교신저자 : [email protected])

Doctoral Student of Dept. of Education, Seoul National University

**** 서울대학교 사범대학 교육학과 박사과정(제3저자 : [email protected])

Doctoral Student of Dept. of Education, Seoul National University

***** 서울대학교 사범대학 교육학과 석사과정(제4저자 : [email protected])

Master Student of Dept. of Education, Seoul National University

특수교육재활과학연구(제50권 제4호)458

제시하였다. 최종 방법론의 평가 요소는 효과성, 만족도, 접근성으로 구성되며 평가 절차인

‘계획, 준비, 실행, 분석 및 종합’은 단선적인 형태가 아닌 순환적이고 반복적으로 이루어진

다. 향후 개발될 장애인용 음성인식 워드프로세서의 사용성 평가 과정에 적용하여 개선점을

확인할 필요가 있으며 현장 적용을 높여줄 평가 방법을 안내하는 구체적인 매뉴얼과 샘플의

개발이 요구된다.

핵심어 : 사용성 평가, 사용자 중심 설계, 장애인용 소프트웨어, 음성인식 워드프로세서

Ⅰ. 서 론

사용성은 사용자가 제품을 활용하여 목적하는 일을 쉽고 빠르고 편리하게 하는 것으로,

제품의 기능을 주요 고려 대상으로 한다(임도헌, 2002; Badre, 2002; Garrett, 2002;

Nielsen, 1993). 소프트웨어 품질 측면에서 사용성은 HCI(Human-Computer Interaction)

를 구성하고 있는 주요 원칙으로(김진우, 2005), 더 이상 소프트웨어 경쟁력의 선택 사항

이 아닌 필수 사항으로 인식되고 있다. 또한 소프트웨어 개발에 있어 사용자 중심 설계와

직접 조작 방식의 중요성이 높아지면서 사용성이 핵심적인 요소로 주목받고 있다(박광식,

김형렬, 2000).

이러한 소프트웨어의 사용성을 확보하기 위해서는 적절한 사용성 평가 항목과 효과적이

며 효율적인 절차로 구성된 사용성 평가 방법론의 적용이 요구된다. 특히, 소프트웨어의

특성과 유형에 따라 사용성을 평가하고 분석할 수 있는 도구의 필요성이 강조되고 있다

(진영택, 하수정, 2001). 소프트웨어 전반의 일반적인 특성이 아닌 특정 소프트웨어의 고

유한 특성을 고려한 평가 영역에 따른 사용성 평가 요소와 기준이 요구된다. 또한 실사용

자를 고려하여 최적화된 사용성 평가 방법 및 절차가 필요하다. 예컨대, 지체 장애인이 사

용자일 경우 사용성 평가자는 그들의 인지적, 감성적 영역 뿐 만 아니라 신체적 영역에

대한 이해와 더불어 어떤 사용성 평가 방법이 적합한지, 사용성 평가를 진행함에 있어 절

차상의 불편한 점이 없는지 등을 사전에 검토해야 한다.

본 연구는 특정의 소프트웨어 사용성 평가를 위한 사용성 평가 방법론이 어떻게 구성될

수 있는가를 탐색한다. 사용자 맞춤형 특정 소프트웨어의 사용성 평가를 실시하기 위한

사용성 평가 요소, 영역, 방법, 절차 등을 포괄하는 사용성 평가 방법론을 개발하고 그 타

장애인사용 음성워드프로세서를 위한 사용성 평가 방법론 개발에 관한 연구 459

당성을 분석하고자 한다. 손이 완전히 마비되거나 근육이 약화되어 키보드를 사용하는 데

어려움이 있는 지체 장애인을 위한 음성인식 워드프로세서의 사용성 평가를 위한 방법론

을 개발하여 검토하고자 하였다. 장애인의 음성인식 워드프로세스에 대한 급증하는 요구

에 비하여 음성인식 소프트웨어가 사용자의 요구를 제대로 반영하고 있는가에 대한 검토는

미흡하였다. 음성인식 워드프로세스에 대한 체계적인 사용성 평가가 제대로 이루어지지 못

하였기 때문이다. 본 연구를 통하여 제안된 사용성 평가 방법론을 활용하여 음성인식 소

프트웨어의 사용성 평가를 실시함으로써, 향후 사용성 높은 음성인식 소프트웨어의 개발

을 기대할 수 있을 것이다.

Ⅱ. 이론적 배경

1. 장애인용 음성인식 소프트웨어

음성인식 연구는 1952년 미국 통신업체 AT&T 벨연구소의 숫자 인식기 개발을 시작으

로 2000년대 초 휴대폰과 홈오토메이션 등에 적용되며 각광받았으나, 낮은 음성인식률로

인해 대중적인 성공에는 한계가 있었다. 그러나 최근 네트워크와 컴퓨팅 기술의 발달로

음성인식률이 획기적으로 개선되었다. 발전된 음성인식 기술은 정보통신기술 뿐만 아니라

자동차, 의료, 방송, 교육, 재활 등의 분야로 점차 확대되고 있다(삼성경제연구소, 2011).

특히 재활분야에서는 음성인식 기술을 통합한 가정 혹은 사무자동화 시스템이 장애인에게

상당한 도움을 주고 있다. 음성인식 기술을 적용한 환경통제 시스템을 활용하여 장애인들

이 휠체어나 커피포트ㆍTV 등 가전제품을 음성으로 통제할 수 있기 때문이다. 송병섭과

황준길(2008)은 장애인을 위한 휠체어 사용의 피로감과 통증을 감소시키기 위해 지체장

애인의 전동휠체어에 음성인식 기능을 적용하였다. 음성 입력을 통해 사용자가 자료를 입

력하거나 컴퓨터를 제어할 수 있게 해주는 음성인식 소프트웨어의 음성인식 인식률은 약

74%였으며, 사용자의 만족도, 편리성 그리고 기능의 용이성이 향상되었음을 보고하였다.

특히 근디스트로피, 뇌성마비 또는 척수 손상과 같은 이유로 손을 사용한 컴퓨터 조작은

어렵지만 말을 할 수 있는 장애인은 컴퓨터 접근을 위해 음성인식 기술을 찾게 된다(Dell,

Newton, & Petroff, 2008). 그러나 주변 소음으로 인한 낮은 음성인식률 문제는 해결해

야 할 과제로 나타났다.

한편, 마우스나 키보드를 통해 손으로 입력하는 것 대신에 음성 언어를 마이크로폰과

컴퓨터를 통해 워드 프로세싱 문서로 문자화하여 컴퓨터 모니터에 변환해 주는 음성인식


워드프로세서(Higgins & Raskind, 1995)는 키보드를 사용하는데 어려움이 있는 지체 장

애인들의 문장작성에 도움을 줄 수 있다. 이중 음성 워드프로세서는 타이핑에 어려움이

있거나 손을 사용하지 못하는 사용자들에게 매우 유용한 소프트웨어로서 음성으로 문서

작성 및 편집이 가능하다(김종무 외, 2009). 디지털 시대에 문서 작업의 의미는 정보 접

근과 커뮤니케이션 그 이상의 의미를 지닌다. 음성으로 입력하면 문자로 출력되는 음성워

드프로세서는 문서작업이 불가능한 지체 장애인에게 사회와의 소통 도구로서 자활의지를

심어줄 수 있다. 음성인식 소프트웨어는 신체적 장애를 갖고 있어 일반 키보드와 마우스

의 사용이 어려운 사람들에게 컴퓨터 사용의 접근성을 높여 줄 수 있다(이근민, 김인서,

2003). 일반 키보드와 마우스를 변형한 보조 공학 기기들이 개발되어 사용되고 있지만

기기의 대여 문제로 인한 접근성, 위생상의 문제 등을 갖고 있어 음성인식 소프트웨어의

개발은 이러한 문제점들을 개선하는데 도움이 될 수 있다. 국내ㆍ외에서 개발된 대표적인

음성인식 소프트웨어의 주요 특성은 다음 <표 2-1>과 같다.

<표 2-1> 국내ㆍ외 대표 음성인식 워드프로세서의 특성

소프트웨어 명칭 주요 특성

바이보이스

(ByVoice)

• 국내 보이스테크(Voicetech)가 개발한 제품으로 세계 최초 한국어 음성인식 소프트

웨어임

• 조사, 어미, 복합어 등의 띄어쓰기를 자동으로 해주는 자동 띄어쓰기 기능 있음

• 컴퓨터가 작성된 문서나 전자메일을 읽어 줌

• 음성으로 하는 채팅 프로그램 지원함

바이어 보이스

(ViaVoice)

• 아이비엠(IBM)이 인텔(Intel) 등과 공동 개발한 영어 음성인식 소프트웨어로 미국식

영어를 최대 95%까지 정확하게 인식, 컴퓨터에 문장입력 뿐 아니라 컴퓨터에 표시

된 문자를 음성으로 들려주는 기능도 있어 시각장애인들에게 유용함

• 분당 140개 단어를 인식할 수 있어 키보드를 이용하는 것보다 3배 정도 빠르게 문

서를 입력할 수 있으며, 음성카드가 장착된 펜티엄급 PC를 설치하여 사용할 수 있음

드래곤 내추럴리

스피킹

(Dragon

Naturally

Speaking)

• 미국 뉘앙스 커뮤니케이션즈(Nuance Communications)의 제품으로 의료, 법률 등

일부 전문 분야용 버전이 있음

• 문서작성과 이메일 송신, 웹서핑, 소셜미디어 이용 등을 간소화 할 수 있는 기능을

추가함

• 애플 아이폰(iPhone)과 아이패드(iPad) 등에서 사용할 수 있는 앱 ‘드래곤 리모트

마이크앱’도 개발함

이중 드래곤 내추럴리 스피킹 소프트웨어의 사용 방법 및 절차를 살펴보면 다음 <그림

2-1>과 같다.


• 사용자 프로필 작성 • 마이크 및 주변 소음

수준 체크

• 예문 읽기를 통해

사용자 발음 및 억양

체크

• 드래곤 패드(Dragon

Pad)를 활용한 받아

쓰기

• 다른 응용프로그램을

활용한 받아쓰기

<그림 2-1> 드래곤 내추럴리 스피킹 사용 방법 및 절차

드래곤 내추럴리 스피킹과 같은 음성인식 워드프로세서는 마이크로폰이 설치된 컴퓨터

에서 음성으로 단어를 불러주어 받아쓰는 것이 가능하다. 이러한 기술은 키보드를 전혀

사용하지 않아도 되므로 손을 사용한 필기가 어려운 사람이나 키보드를 치기 어려운 사람

들의 희망으로 자리 잡았다(Dell, Newton, & Petroff, 2008). 그러나 음성인식 워드프로

세서를 통한 쓰기는 극소수 장애인에게만 유용한 쓰기도구라는 제한점이 있다(Dell,

Newton, & Petroff, 2008). 이상의 음성인식 워드프로세서 소프트웨어는 키보드를 이용

하지 않고, 편리하게 글을 작성하기 위한 목적으로 기본적으로 장애인이 아닌 일반인들을

위하여 개발되었다. 키보드 사용에 어려움이 있는 장애인의 경우 이러한 음성인식 소프트

웨어를 활용할 수 있는 가능성이 확인되면서 이와 관련된 소프트웨어의 개발에 대한 수요

가 증가하고 있다(유은영 외, 2007). 대체접근으로써 음성인식 소프트웨어를 고려하는 것

이다. 대체접근이란 장애인들이 기존의 표준화된 방법으로 컴퓨터 또는 시스템에 접근하

는 것이 아니라 그들이 사용 가능한 대체된 방법을 통해 접근하는 방법을 말한다(이근민,

김인서, 2003). 음성인식 워드프로세서는 거동이 불편한 지체 장애인, 그 중에서도 팔다

리 기능 약화 등으로 키보드를 사용하는 데 어려움이 있는 장애인을 위한 가장 대표적인

대체접근의 예이다. 따라서 향후 지체 장애인들이 음성인식 소프트웨어를 편리하게 사용

하고 있는가에 대한 사용성 검토 차원의 연구를 실시하여 장애인을 위한 대체접근의 발전

을 도모할 필요가 있다.


2. 소프트웨어 사용성 평가의 개념 요소 및 기준

ISO 9241-11(1998)은 사용성을 ‘특정한 사용 상황 내에서 효과적이고 효율적으로 만

족도를 가지고 특정 사용자에 의해 특정 목표를 획득할 수 있도록 사용되는 제품의 정도’라고 정의한다. Dumas와 Redish(1999)에 의하면 사용성은 ‘보통 사용과 학습의 쉬움과

관련된 소프트웨어의 속성’으로 정의된다. Krug(2005)은 ‘평균적인 사람들, 심지어는 평

균 이하에 속하는 사람들의 능력과 경험으로도 잘 쓸 수 있어야 좋은 사용성을 지닌 제품

이라고 말할 수 있으며 사람들을 혼란에 빠뜨리지 않고 제품이 의도했던 본래의 목적대로

작동할 수 있어야 한다’고 설명하였다. 사용성에 대한 정의는 학자마다, 기관마다 다르지

만 공통적으로 사용자가 목적을 달성하는데 제품이 효과적인 환경을 제공하는 정도라고

할 수 있다(임철일, 송해덕, 이예경, 이영태, 2009).

사용성 평가는 어떤 제품이 사용자의 인식과 태도, 사용 목적 등에 적절하고 유용한지를

확인하는 절차이다(Barnum & Dragga, 2001). 사용성 평가는 사용자가 제품을 사용하는

데 있어 육체적, 인지적, 감성적 측면의 편의성 정도를 평가함(김성희, 김문정, 2007)과 동

시에 제품의 문제점을 발견하고 개선하는 것을 목적으로 한다(Rubin & Chisnell, 2008).

소프트웨어 사용성 평가 요소는 사용성을 평가할 때 소프트웨어의 어느 측면을 기준으

로 평가를 할 것인가의 문제와 관련된다. 사용성 평가 요소에 따라 평가 결과가 달라진다

는 점에서 평가 요소 선택의 중요성이 있다. 사용성 평가 요소는 전문가들마다 나름대로

상이하게 정의하고 있다(김한샘, 김효영, 한혁수, 2003).

사용성 평가를 구성하는 요소에 관한 선행 연구들은 평가 요소나 기준으로 효율성, 효

과성, 만족도, 그리고 학습 용이성의 내용을 공통적으로 포함하고 있다(<표 2-2> 참고).

각각의 요소별 다양한 하위 평가 기준은 일반 소프트웨어나 산출물에 준하는 것으로 특정

소프트웨어의 속성을 반영함과 동시에 측정 가능성을 고려할 필요성을 보여준다.

장애인용 소프트웨어의 사용성 평가 요소는 소프트웨어의 특징과 사용자의 신체적 차이

에 따라 상이하게 나타났다. 경수손상 장애인을 위한 입력보조도구를 개발한 양성환과 조

문선(2011)은 입력도구의 입력 속도와 정확성을 측정하였으며 김상철 외(2007)는 장애

인과 고령자를 위한 전동의자의 소프트웨어를 개발하여 사용 용이성, 유용성, 디자인, 기

능 전반, 자동 메뉴, 추천의향으로 구분하여 사용성 평가를 실시하였다. 육주혜(2006)는

학습용 소프트웨어들이 지적 장애인이 사용하기에 적합한지를 ‘일반적 사항, 소프트웨어

개요, 학습 설계, 콘텐츠, 사용성’으로 구분하여 평가하였으며 소프트웨어 자체에 내장된

접근성의 기능을 강조하였다. Garay-Vitoria와 Gonz’alez-Abascal(1997)는 사용자가

말하는 것을 예측하여 제시하는 소프트웨어를 개발하여 예측 양, 사용자 인터페이스, 사용

자 적응을 측정하였다.


선행 연구들은 이처럼 개발한 소프트웨어의 특징이 장애인이 사용하기에 편리한가에 초

점을 두고 사용성 평가를 실시하였다. 따라서 장애인용 음성인식 워드프로세서의 사용성

평가를 위한 요소와 기준 역시 소프트웨어의 기능이 팔다리 기능 약화 등으로 키보드를

사용하는 데 어려움이 있는 지체 장애인들이 사용하기에 적합한지를 확인할 수 있도록 최

적화될 필요가 있다.

<표 2-2> 소프트웨어 사용성 평가 요소 및 기준

홍기형(2008) Hornbæk(2006)Seffah, Donyaee, Kline,

& Padda(2006)

평가

대상

음성기반 멀티모달 사용자

인터페이스

일반적인 사용자

인터페이스일반적인 소프트웨어

평가

요소

효율성, 학습 용이성,

기억용이성, 오류대처,

만족도

효과성, 효율성, 만족도 효과성, 효율성, 생산성,

만족도, 학습 용이성, 안전성,

신용성, 접근성, 전체성,

유용성

평가

기준

입력 인식률, 경과시간, 과제

성공률, 과제 완료 시간, 과제

성공을 위한 인터랙션 횟수 평

균, 도움말, 피드백 적절성, 프

롬프트 인지 용이성, 경과 시

간, 동일 과제의 학습성, 유사

과제의 학습성, 입력 오류 횟

수, 입력 오류 회복 비율, 입

력 오류 회복에 필요한 인터랙

션 횟수 평균, 유도하지 않은

입력 횟수, 무응답에 대한 대

처 만족도, 입력자연성, 출력

자연성, 대화자연성, 사용자별

대처능력, 환경 대처능력

과제완성도, 정확성, 회상, 완

성도, 결과의 질, 전문가 평가,

만족도, 선호도, 인터페이스,

시간, 입력률, 정신적 노력, 사

용 패턴, 커뮤니케이션 노력,

사용자의 태도와 인식, 학습

시간 수행, 자원 이용, 매력성,

호감성, 유연성, 접근성, 최소

동작, 최소 기억 부담, 운영성,

사용자 안내, 일관성, 자가 설

명, 피드백, 정확도, 완성도,

허용 오차, 자원 안전, 가독성,

제어성, 가항성, 단순성, 프라

이버시, 보안, 보장, 익숙 정

도, 부하 시간, 적절성

3. 소프트웨어 사용성 평가 절차

사용성 평가의 목적을 효과적, 효율적으로 달성하기 위해서는 체계적인 평가 절차가 필

요하다. <표 2-3>과 같이, 일반적인 사용성 평가 절차는 크게 네 단계, 계획, 준비, 실행,

분석 및 보고 단계로 구분되며 각각의 단계는 세부 사항을 포함하고 있다.


<표 2-3> 사용성 평가 절차

진영택, 하수정(2001) Barnum(2002) Dumas & Redish(1999) Rubin & Chisnell (2008)

평가

계획

• 사용성 특성 기준의 정의

• 업무 및 환경 특성의 명시

• 팀 구성

• 참가자와 목적 정의

• 목표와 측정방법 설정

• 사용자 프로파일 구축

• 사용성 과제 선택

• 결과 분류 방법 결정

• 평가 계획 작성

• 설계 전 사용성 요구사항

파악

• 설계와 개발과정에 사용성

평가하기

• 조직에 맞도록 사용성

프로그램을 만들기

• 사용성 테스트 계획하기

• 사용성 목표 및 관심사항

설정하기

• 테스트 참가자 결정하기

• 평가의 목적과 목표 검토

• 연구 질문 진술

• 참가자 특성 요약

• 방법 기술

• 과제 열거

• 평가 환경, 장비,

위치 기술

• 평가자 할 일 설명

• 수집할 데이터 열거

• 결과 보고 방법 기술

평가

준비

• 사용성 명세서 작성

• 시나리오 작성

• 검토 질문지 작성

• 참가자 모집

• 시나리오 개발

• 사전, 사후 질문지 개발

• 평가자 역할 규정

• 리허설 및 파일럿 실시

• 참가자 모집하기

• 테스트 과제 선택 및 조직

• 과제 시나리오의 제작

• 사용성 측정방법 결정하기

• 자료 준비

• 테스트 환경 준비

• 테스트 팀 구성

• 파일럿 테스트

• 평가 환경 구축

• 참가자 확인과 선택

• 평가 자료 준비

평가

실행

• 사용성 평가 • 참가자 인사

• 참가자에게 브리핑

• 정보 수집

• 테스트 참가자 다루기

• 테스트 실시

• 참가자 안내

• 테스트 실시

• 관찰

• 디브리핑

결과

분석

및

보고

• 사용성 평가 보고서

• 개선사항

• 분석

• 결과 보고

• 데이터 도표화 및 분석

• 변경 사항을 제시

• 테스트 결과 통보

• 하이라이트 테이프 제작

• 제품 및 공정의 개선

• 수집한 데이터 요약

• 데이터 분석

• 발견 사실 기술

• 권고 사항 개발

• 하이라이트 비디오 또는

프리젠테이션 개발

이상의 사용성 평가 절차는 일반적으로 사용성 평가를 실시할 때 고려할 사항을 나타낸

것이다. 실제 특정 소프트웨어의 사용성 평가 시에는 소프트웨어와 사용자의 특성을 반영

하여 평가 절차를 재구성해야 한다. 이를 통해 체계적이고 신뢰도 높은 평가를 할 수 있다.

효과적이고 체계적인 사용성 평가를 위해서는 사용성 평가 절차 뿐만 아니라 적절한 사

용성 평가 방법이 필요하다. 사용성 평가 방법과 그에 따르는 평가 도구에 대하여 다양한

의견들이 있는데(김동일, 손지영, 2008; Conyer, 1995; Nielsen, 1993; Polson & Lewis,

1990), 대체로 <표 2-4>와 같이 분류할 수 있다. 평가 주체에 따른 사용성 평가 방법

및 도구는 사용성 평가 목적에 따라 선택할 수 있다.


<표 2-4> 평가 주체에 따른 사용성 평가 방법 및 도구

평가 방법 평가 도구 특징

사용자

(실증적 평가

방법)

수행도 및

수행 패턴 분석법

직접 관찰 사용자가 사용하는 동안 평가자가 사용자 수행을 관찰하여 분석

비디오 촬영 사용자가 사용하는 과정을 비디오로 촬영한 후 분석

think aloud사용자가 수행 도중 무엇을 하고 왜 그렇게 하는지에 대한 독백을 기록하여

분석

로그파일 사용자가 사용하는 과정에서 나타난 수행들을 시스템에 자동으로 기록하여

자료 수집

평가 지원

프로그램 전문적인 평가 지원 프로그램을 활용하여 사용자의 응답을 통하여 자료 수집

사용 경험 및

태도 수집법

질문지 사용자가 사용한 후, 질문지를 통해 자료 수집

면담 사용자가 사용한 후, 면담을 통해 자료 수집

전문가

(분석적 평가

방법)

발견적 평가법

체크리스트 전문가가 인터페이스 설계원칙에 어긋나는 문제에 대한 체크리스트 자료 수집

질문지 전문가가 인터페이스 설계원칙에 어긋나는 문제에 대한 질의응답 내용 수집

발화보고서 전문가가 인터페이스 설계원칙에 어긋나는 문제에 대해 구두로 보고하는 내용

수집

인지적 점검법

비디오분석전문가가 사용자라고 생각하고 한 단계씩 절차를 밟아가며 수행하는 과정을

비디오로 촬영한 후 분석

발화보고서전문가가 사용자라고 생각하고 한 단계씩 절차를 밟아가며 사용한 다음 구두

로 보고하는 내용 수집

이외에도 사용성 평가 측정 도구로 널리 활용되는 시나리오는 목적을 달성하기 위해 수

행되는 사용자 활동의 흐름 또는 순서를 나타내며 각 시나리오는 하나 이상의 사용성 요

소를 평가한다(진영택, 하수정, 2001; Nielsen, 1993).

이와 같이 사용성 평가 방법과 도구는 매우 다양하다. 이들 방법과 도구를 사용성 평가

시 보통 한 가지를 선택하여 사용하기 보다는 여러 방법과 도구를 선정하여 상호보완적으

로 활용한다(Conyer, 1995; Corry, Frick, & Hensen, 1997; Jeffries & Desuvire,

1992). 예컨대 Garay-Vitoria와 Gonz’alez-Abascal(1997)는 사용자가 말하는 단어를

예측하여 제시하는 소프트웨어의 사용성을 평가하기 위해 사용성 평가를 일회에 그치지

않고 여러 차례 반복하였다. 이는 음성인식 프로그램이 사용자의 음성에 적응할 때 사용의

편리성과 유용성을 측정할 수 있기 때문이다. 또한 동일한 유형의 소프트웨어 평가도 다른

방법으로 실시될 수 있다. 김래현 외(2009)는 시각 장애인용 지팡이의 유용성, 편리성, 디자

인을 평가하기 위하여 설문한 반면 D’Atri, Medaglia, Serbanati와 Ceipidor(2007)는 시

나리오에 기반한 과제 완성도와 오류 횟수를 측정하고 전문가 평가 방법을 사용하였다.

그러므로 장애인용 음성인식 소프트웨어의 평가에 적합한 사용성 평가 방법과 도구를 다

양하게 고려할 필요가 있다.


Ⅲ. 연구 방법

본 연구는 장애인용 음성인식 소프트웨어 사용성 평가 방법론을 개발하기 위하여, 개발

연구(developmental research) 방법론을 활용하였다. 개발연구는 내적인 일관성과 효과

성에 부합하는 프로그램, 과정, 산출물, 도구, 모형 등을 설계 및 개발하고 평가하는 체계

적인 연구이다(Richey, 1997; Seels & Rickey, 1994). Richey와 Klein(2007)이 제안

한 연구방법 중 ‘도구 개발 연구 유형’으로 전문가 검토, 심층면담, 평가 등의 연구방법을

취하였다.

본 연구의 절차는 다음과 같다. 먼저 관련 문헌과 기존 소프트웨어 분석의 기초 조사를

바탕으로 초기 사용성 평가 방법론을 도출하고 5인의 전문가 검토를 통해 내적 타당도를

검증받았다. 전문가 5인 중 3인은 사용성 평가 관련 논문을 발표한 교육공학 전공 교수이

며 1인은 교육공학 박사학위 소지 교육관련 공공기관 연구위원이었고 1인은 경력 10년

이상의 음성인식 소프트웨어 설계 및 개발 전문가이다. 전문가들의 의견은 이메일을 통해

수집되었다. 개발한 방법론의 내용을 설명한 자료와 중점적으로 검토해야 할 사항을 질문

지로 작성하여 이메일로 전송하였다. 전문가들은 방법론을 검토하고 평가 요소와 기준, 절

차와 방법이 타당한지에 대한 의견을 문서로 작성하여 이메일로 전송하였다. 검토 의견은

평가 요소와 평가 기준, 절차, 방법에 따라 분류되었으며 이를 반영하여 초기 방법론을 수정

하였다.

전문가의 검토의견을 반영하여 수정된 사용성 평가 방법론의 외적 타당도를 검증하기

위해 5인의 소프트웨어 개발자의 검토를 받았다. 이들은 소프트웨어 개발 경력 5년 이상

으로 소프트웨어 사용성 평가를 실시한 경험을 갖고 있다. 사용성 방법론의 검토는 연구

자들이 개발한 사용성 평가 매뉴얼에 따라 드래곤 내추럴리 스피킹 프로그램의 사용성을

평가하는 방식을 실시하였다. 연구자가 소프트웨어를 사용하는 사용자 역할을 하고 개발

자들이 매뉴얼의 평가 절차와 평가 방법에 따라 평가를 하였다. 5명의 개발자가 같이 참

여하였으며 평가 요소, 기준, 방법의 적합성과 절차의 현실적 가능성에 초점을 맞춘 질문

에 답하였다. 제시한 의견 중 정확히 의미를 파악하기 어려운 내용은 이메일을 통해 추가

질문을 하여 검토 의견을 정리하였다. 검토 의견은 연구자 간의 논의를 통해 2차 방법론

수정에 반영되었다.


Ⅳ. 연구 결과

1. 장애인용 음성인식 워드프로세서 사용성 평가 초기 방법론 개발

사용성 평가 관련 선행 연구와 기존의 음성인식 소프트웨어인 ‘드래곤 내추럴리 스피킹’의 분석을 통하여 사용성 평가 초기 방법론을 개발하였다. 평가요소와 평가기준은 제품의

특성에 기초하였으며 사용자의 특성은 평가 절차에 반영되었다.

1) 장애인용 음성인식 소프트웨어 사용성 평가 요소 및 기준

선행연구 분석 결과를 반영하여 평가 요소는 소프트웨어의 공통적인 요소인 효과성, 효

율성, 만족도, 학습 용이성으로 구성하였으며 평가 기준은 음성인식 워드프로세서의 특징

을 고려하여 도출하였다(<표 4-1> 참고). 각 요소별 평가기준은 선행연구에서 제시한 평

가기준을 기반으로 일반 소프트웨어에서 공통적으로 중요하게 제시하는 기준 - 유연성, 가

항성, 최소 기억부하, 선호도, 사용자 안내, 도움말, 일관성, 접근성, 간소성 - 과 더불어

음성인식 워드프로세서의 고유한 속성을 반영할 수 있는 기준 - 정확성, 오류, 피드백, 결

과의 질, 최소동작 -을 함께 선정하였다. 이 중 피드백, 최소동작, 최소기억부하, 사용자

안내, 유연성은 여러 평가요소에 걸쳐 척도로서 작용할 수 있는 기준들이다. 특히 피드백

의 경우는 음성입력을 통한 문서작업 도중 오류 등에 대해 피드백을 적절하게 지속적으로

제공하여 사용자와 활발한 상호작용을 유도하는 음성인식 워드프로세서의 주요 평가 기준

으로 모든 평가 요소의 하위 기준으로 제시하였다.

음성인식 워드프로세서의 고유한 특성을 반영하는 것은 음성 입력에 대해 오류 없이 정

확하게 텍스트로 출력을 하는 것이나, 이는 기술적인 것에 치우친 것으로 기술의 발달이

나 데이터베이스의 축적으로 그러한 수행을 극복할 수 있으므로 효율성 평가 요소의 하위

기준으로 한정시켰다. 이에 반해 피드백의 경우는 사용자인터페이스에서 사용자의 경험과

태도에 따라 상이해 질 수 있는 기준으로서 사용자가 팔다리 기능 약화 등으로 키보드를

사용하는 데 어려움이 있는 지체 장애인임을 감안할 때 중요하게 고려되어야 한다는 점에

서 평가 요소 전반에 걸쳐 포함시켰다.


<표 4-1> 초기 사용성 평가 요소 및 기준

평가요소 평가기준

효과성 과제 완성도 정확성 오류 결과의 질 유연성 피드백

효율성 시간 수행 입력률 최소 동작 최소 기억부하 피드백 가항성

만족도 피드백 유연성 최소 동작 최소 기억부하 사용자 안내 선호도

학습용이성 사용자 안내 도움말 피드백 일관성 친근성 간소성

2) 장애인용 음성인식 소프트웨어 사용성 평가 절차

사용성 평가 절차와 관련된 기존 연구에서 공통적으로 제안하고 있는 계획, 준비, 실행,

분석 및 종합의 네 단계를 기반으로 본 연구는 장애인용 음성인식 워드프로세서의 사용성

평가의 절차를 위해 단계별 상세 지침을 포함한 활동과 산출물을 제시함으로써 효과적으

로 평가 목적을 구현할 수 있도록 하였다. 각각의 단계별 세부 활동 및 산출물을 진영택

과 하수정(2001), Dumas와 Redish(1999), Rubin과 Chisnell(2008) 등이 제시한 사용

성 평가 절차를 기반으로 음성인식 소프트웨어 사용성 평가를 위한 절차를 다음과 같이

개발하였다.

‘계획단계’는 사용성 평가의 목적과 목표를 설정하고 이를 구현할 수 있는 평가 과제와

사용자에 대한 분석을 실시한다. 어떠한 요구사항이 있는지, 누가 사용자가 될지, 어떤 과

제를 수행하게 될지, 어떤 도구와 데이터를 준비해야 하는지 등에 대한 사항들이 특정 목

표 아래 고려된다. 장애인용 음성인식 워드프로세서의 사용성과 관련된 요구사항이 확인

되면 과제 파악이 가능하다. 과제 분석은 과제를 완수하기 위해 사용자가 소프트웨어와

상호작용하는지에 대한 정보를 포함된다.

사용자 특성은 모든 사용자가 공통으로 가지고 있는 요소와 사용자 사이에 개인차가 나

는 요소로 분석하거나 초보자와 숙련자 차이를 비교하여 분석할 수 있다. 본 사용성 평가

의 사용자는 특히 팔의 사용이 원활하지 못한 지체 장애인으로 이 경우에는 이들 가운데

워드프로세서의 사용을 필요로 하는 학생, 직장인으로 한정할 수 있다. 사용자와 사용 환

경 분석은 사용성 평가를 위한 장비와 설치 문제 등을 고려하는데 적용된다. 이와 같은

내용을 포함하여 평가 실행 계획서를 정리한다.

‘준비 단계’는 참가자 선택과 방법 및 도구, 시나리오를 개발하여 평가를 준비하는 단계

이다. 사용성 평가에 참여하는 참가자는 10명 내외로 선정하며 평가 방법과 이에 적합한

평가 도구는 기존의 것을 선택하여 사용하거나 개발하여 활용한다. 다음 <표 4-2>는 음

성인식 소프트웨어 사용성 평가에서 활용될 수 있는 평가 방법 및 도구를 나타낸 것이다.

사용자의 음성을 인식하여 텍스트로 변환시키는 음성인식 워드프로세서의 특성상 타 소프


트웨어의 사용성 평가에서 활용되는 ‘생각 소리내어 말하기(think-aloud) 프로토콜’은 부

적합하다. 반면 전문가의 발화보고서는 소프트웨어의 사용 중과 후에 활용될 수 있다.

<표 4-2> 음성인식 워드프로세서 사용성 평가 방법 및 도구

평가 방법 평가 도구

사용자

(실증적 평가 방법)

수행도 및

수행 패턴 분석법

직접 관찰

비디오 촬영

로그파일

평가 지원 프로그램

사용 경험 및

태도 수집법

질문지

면담

전문가

(분석적 평가 방법)

발견적 평가법

체크리스트

질문지

발화보고서

인지적 점검법 비디오분석

발화보고서

이와 같은 참가자 선정, 사용성 평가 방법 및 도구 개발 등과 관련된 결과를 토대로 사

용성 평가를 체계적으로 관리하기 위한 체크리스트를 포함하여 실행매뉴얼을 작성한다.

‘실행 단계’에서는 사용성 평가 환경 세팅, 평가팀 구성, 파일럿테스트를 한 다음 사용성

평가를 순차적, 단계적, 그리고 반복적으로 실행한다. 사용성 평가 중의 모습을 관찰하며

기록하고 사용이 끝난 후에는 사용자 디브리핑을 통해 수행에 대한 구체적인 정보를 수집

한다. 사용성 평가를 실시하기 전 사용성 평가 환경을 구축하고 파일럿 테스트를 함으로

써 기계나 사람의 오류나 실수를 사전에 방지할 수 있다. 평가 리허설은 평가에 참여하는

모든 사람이 함께 참여함으로써 진행 과정에 대한 연습도 동시에 이루어지도록 한다.

파일럿 테스트 후, 실제 사용성 평가의 체계적인 진행을 위해서 평가자는 준비 단계에

서 작성한 실행 매뉴얼의 체크리스트를 활용한다. 또한 사용자가 사용성 평가 방법과 과

정을 이해하고 참여할 수 있도록 안내한다. 사용성 평가 실시 중에는 사용자의 사용 과정

을 관찰하며 발생하는 문제를 확인한다. 사용성 테스트가 끝난 후에는 관찰한 내용을 바

탕으로 사용자 인터페이스가 요구사항과 일치하는지, 프로그램 사용 중 문제가 생겼을 경

우 메시지를 제공받았는지, 사용 과정에서 에러가 난 것이 있는지 등에 대해 질문하여 구

체적인 정보를 수집하는 디브리핑 방법을 사용할 수 있다.

‘종합 및 분석 단계’에서는 실행 단계에서 수집한 자료를 분석하여 사용성 평가 결과와

개선 사항, 권고안을 포함한 최종 보고서를 작성한다. 이와 더불어 사용성 평가 과정과 결


과에 대해 평가자들 간의 디브리핑 과정을 거쳐 수행 전반에 대한 성찰을 한다. 성찰의

기회를 통해 다른 목적 또는 사용자를 대상으로 사용성 평가를 실시할 때 좀 더 성공적인

사용성 평가를 할 수 있기 때문이다.

2. 사용성 평가 초기 방법론의 전문가 검토 및 2차 방법론 개발

문헌 및 소프트웨어 분석을 통해 도출된 장애인용 음성 워드프로세서의 사용성 평가 요

소, 절차, 그리고 방법을 포함하는 사용성 평가 방법론에 대해 온라인으로 전문가 검토를

거쳤다. 5인의 전문가 자문 의견은 다음 <표 4-3>과 같다.

<표 4-3> 초기 방법론에 대한 전문가 검토 의견

항목 전문가 검토 의견(인원수)

평가

기준

전체

일반적인 사용성 평가로 보임(1)

동일 기준으로 두 가지 요소에서 측정하는 것은 부적절(3)

효과성, 효율성, 만족도를 선택한 것에 대한 타당한 이유 필요(1)

음성인식 자체에 대한 평가기준이 사용성과 직접적인 관련성이 없음(1)

음성인식기반 측면과 소프트웨어 일반적 기준으로 구분하는 것도 고려할 수 있음(1)

연구대상으로 소프트웨어 접근성 또는 사용성에 초점을 두고 있음을 명시적으로 언

급할 필요 있음(1)

음성인식 기반이라는 측면이 평가 기준의 용어에서 구체적으로 드러나면 좋겠음(1)

정의가 모호함(3)

평가 기준에 재사용성과 관련된 내용 추가(1)

접근성

선행연구의 접근성 개념과 다르고 명료하지 않음(1)

접근성 정의를 구체적으로 수정할 필요 있음(1)

음성인식기반 특징을 제외한 모든 기준은 접근성 적용 대상임(1)

정확성 엔진 자체에 대한 기준점을 좀 더 설정하는 것이 좋겠음(1)

평가 절차

및 도구

사용성 평가 목적에 맞게 평가방법과 평가도구 선정이나 개발해야 하지 평가대상인

장애를 가진 참가자를 고려하여 방법, 도구 선정은 맞지 않음(1)

평가 환경 구축, 테스트팀 구성, 모의 실행 등은 준비단계에 행해져야 하는 활동들이

라고 보여짐(1)

4단계로 구분한 것은 적절하나 단계별 활동은 수정 필요함(1)

음성인식 기반 소프트웨어를 사용할 때의 차별성은 무엇인지 기술 필요함(1)

사용성 평가의 경우 5-6명에게 테스트하는 것이 일반적임(1)

음성인식엔진 구동환경 측면이 추가되면 좋겠음(1)

용어 모호함(1)

하드웨어적 다양성과 구동환경 다양성, 소음수준에 대한 다양성 강화 필요함(1)

래포 기반의 참가자 안내는 외적 타당도 왜곡할 수 있음(1)


사용성 평가 요소에 대한 전문가의 의견과 반영 사항은 다음과 같다. 첫째, 일반적인 소

프트웨어가 아닌 장애인용 음성인식 워드프로세서만의 사용성 평가 요소 및 평가 기준을

더욱 부각하여야 한다. 음성인식 워드프로세서의 사용성을 평가하는 것임이 평가 요소와

기준에서 나타나야 하며 사용자인 장애인을 고려한 특성을 반영해야 함이 드러났다. 이에

따라 장애인 사용자의 사용 편의성을 측정하는 ‘접근성’을 평가 요소에 추가하였다. 또한

각각의 사용성 평가 요소가 장애인용 음성인식 워드프로세서를 대상으로 하는 것임을 명

확히 드러낼 수 있도록 평가 요소의 정의를 수정하여 표에 추가하였다.

둘째, 평가 요소별 평가 기준이 중복되지 않고 좀 더 명확해야 한다. 평가 요소에 대한

정의가 동일한 기준이 여러 평가 요소에 포함되는 것이 부적절하다는 의견에 따라 중복되

는 평가 기준을 수정하였다. 평가 요소의 정의를 구현하는데 적합한 기준으로 6개의 평가

기준을 2개로 축소하였다. 효과성은 ‘정확하게 문서를 작성하는 정도’를 측정하는 것으로

‘과제 완성도’와 음성 인식이 문서 작성의 질을 결정한다는 점에서 ‘음성인식률’을 추가하

였다. 효율성의 ‘시간 수행’은 정확한 의미 전달을 위해 ‘과제 완성 시간’으로 수정되었으

며 음성 인식 제품임을 강조하여 ‘입력률’을 ‘음성 입력률’로 하였다. 만족도는 효과성과

효율성의 요소와 중복되는 측면이 많아 문서 작성 과정과 결과에 대한 만족의 두 가지로

측정 기준을 제시하였다. 워드프로세서를 사용하기 위해 학습해야 하는 정도를 평가하는

학습 용이성은 소프트웨어를 사용하기 위해 학습해야 하는 정도로 사용 방법을 안내하는

‘튜토리얼’과 사용 중 발생하는 문제를 해결하는 데 활용할 수 있는 ‘도움말’로 구분하였다.

장애인이 실사용자인 경우 특별히 고려해야 할 평가 기준으로 접근성을 들 수 있다. 접

근성(accessibility)은 기기, 서비스, 환경 등이 얼마나 더 많은 사람들이 접근할 수 있는

가의 정도로 장애인들을 위해 소프트웨어가 가져야 하는 필수적인 요구사항이다(김종무

외, 2009). 장애가 선천적, 영구적이기보다는 후천적이거나 일시적으로 찾아오는 경우도

있고, 노화에 따른 신체 기능의 저하도 장애의 일종으로 볼 수 있으므로 나이, 능력, 환경에

상관없이 모든 사용자들이 편리하게 사용할 수 있도록 설계하는 보편적 설계(Universal

Design)의 원리(Center for Universal Design, 2010)에 따라 접근성을 단지 장애인을

위한 부가기능이 아닌 모든 사람들에게 유익한 기능으로 간주해야 한다.

국내외 장애인들에게도 비장애인들에 근접하는 수준의 정보기술 관련 접근성을 제공하

기 위한 국내외 표준 규정들이 개발되고 있다. 우리나라의 경우 월드와이드웹 컨소시엄

(W3C)의 웹 접근성 표준(WCAG)을 국제적인 공통 표준으로 수용하여 2006년에 한국정

보통신기술협회가 소프트웨어 접근성 지침(TTAS.KO-100213)을 제정하였다. 본 지침은

장애인 등이 정보통신 제품이나 시스템을 이용하는 과정에서 사용하는 응용 프로그램이나

운영체제 등이 장애인의 접근을 위해 어떻게 설계되어야 하는가를 제시하고 있다(김석일,

2011). 이 표준은 키보드 제어, 애플리케이션의 오동작, 초점 표시, 사용자 인터페이스,


비트맵 이미지 용도, 텍스트 제공, 시스템의 오동작, 동영상 제어, 색의 배제, 화면 대비,

깜빡거림 억제, 논리적 구성 등 소프트웨어 개발자가 필수적으로 준수해야 할 총 12개의

지침으로 구성되어 있다. 소프트웨어 접근성 지침 항목들을 일반적으로 지각 가능성, 조작

가능성, 이해 가능성, 기술적 호환성 등 네 가지 분류 기준으로 묶을 수 있다. 그러나 이

중 지각 가능성은 제외하였는데 그 이유인즉 지체 장애는 그 자체로 컴퓨터 화면상의 정

보들을 지각하는 데 영향을 미치지 않기 때문이다. 본 사용성 평가 방법론의 평가 요소인

‘접근성’의 하위 평가 기준으로 다음의 조작 가능성, 이해가능성, 기술적 호환성을 제시하

였다.

조작 가능성 (Operability): 사용자 인터페이스 구성요소 및 네비게이션은 학습자가 자신

의 장애 정도나 장애 부위에 관계없이 조작 가능해야 한다.

이해 가능성 (Understandability): 사용자 인터페이스는 자신의 장애 정도와 장애 부위에

관계없이 이해할 수 있어야 한다.

기술적 호환성 (Robust Technologies): 다양한 운용체제나 소프트웨어에서도 사용될 수

있도록 충분한 호환성을 지녀야 한다.

셋째, 평가 요소와 사용자에 맞는 평가 방법과 절차가 제시되어야 한다. 전문가의 의견

을 반영하여 평가 주체에 따라 평가 방법을 제시했던 것을 평가 요소, 평가 기준과 함께

이를 측정할 수 있는 방법을 추가하여 요소와 기준, 방법이 평가 목적을 달성하는데 효과

적이도록 수정하였다. 장애인용 음성 워드프로세서의 사용성 평가는 음성만으로 문서를

작성하는데 불편함 없이 편리하고 만족스럽게 사용할 수 있어야 하는 목적으로 사용자의

사용 경험 및 태도 수집법이 적합하다. 또한 음성 인식과 음성 입력의 정확도가 사용의

효과성과 효율성에 영향을 미친다는 점에서 수행도 및 수행 패턴 분석법을 평가 방법으로

하였다. 평가 절차에서는 ‘실행’ 단계의 사용성 평가 환경 구축과 테스트 팀 구성, 모의 실

행은 ‘준비’단계에 적합한 활동이라는 의견을 반영하여 수정하였다. 이와 함께 장애인이

워드프로세서를 사용할 환경을 고려하여 실제 사용자의 생활공간에서 사용성 평가를 실시

할 수 있음을 제시하였다. 이러한 내용은 모두 사용성 평가 실행 매뉴얼에 추가되었다.

이외의 전문가 의견 중 시스템 호환성, 음성인식 엔진과 같은 기술적 측면의 요소를 강

조하는 내용의 의견은 본 사용성 평가의 목적에 부합하지 않는다는 점에서 반영하지 않았

다. 전문가의 검토 의견을 반영하여 수정한 2차 방법론은 <표 4-4> 및 <그림 4-1>과

같다.


<표 4-4> 2차 사용성 평가 요소, 기준 및 방법

평가요소 정의 평가기준 평가방법

효과성정확하게 문서를

작성하는 정도

과제

완성도

음성

인식률수행도 및 수행 패턴 분석법

효율성 문서를 작성하는데 걸리는

시간과 입력의 수

과제

완성 시간

음성

입력률

사용 경험 및 태도 수집법

수행도 및 수행 패턴 분석법


만족도문석작성의 과정과

결과에 대한 만족

사용과정에

대한 만족도

결과물에 대한

만족도사용 경험 및 태도 수집법

학습

용이성

문서작성을 위해 필요한

학습의 쉬운 정도튜토리얼 도움말 사용 경험 및 태도 수집법

접근성혼자 사용하는데

불편함이 없는 정도

조작

가능성

이해

가능성

기술적

호환성사용 경험 및 태도 수집법

초기의 평가 요소, 평가 기준과 평가 절차와 방법을 구분했던 것을 사용성 평가의 목적

에 적합하도록 평가 요소에 따라 기준, 방법을 하나의 표로 구성하였으며 절차만 분리하

여 나타냈다.

사용성 평가 절차의 경우, 전문가 검토의견에 따라 단계별 활동 중 사용성 평가 환경

구축, 테스트 팀 구성, 모의 실행 등을 준비 단계에서 실행 단계로 이동하였다(<그림

4-1> 참고).

<그림 4-1> 2차 사용성 평가 절차


3. 사용성 평가 2차 방법론 개발 전문가 평가 및 최종 방법론 개발

1) 사용자 평가에 따른 타당화 및 수정

2차 방법론에 따라 소프트웨어 개발자 5인이 손 근육이 거의 마비되어 키보드 사용에

불가능한 지체 장애인 2인 대상 ‘드래곤 내추럴리 스피킹’ 음성인식 워드프로세서의 사용

성 평가를 진행한 다음, 사용성 평가 과정 및 결과 그리고 소프트웨어 개발자와의 인터뷰

및 검토회의 결과에 근거하여 방법론이 재수정되었다. 첫째, 중복되는 평가 요소를 통합할

필요가 있다. 소프트웨어 개발 전문가들은 평가 요소의 내용이 독립적이지 않음을 제시하

였다. 효율성은 효과성의 측면에 포함될 수 있으며 학습 용이성 역시 접근성 측면에서 다루

는 것이 적합하다는 의견이었다. 중첩되는 내용을 보다 상위 요소로 포함시킴으로써 음성

인식 워드프로세서의 중점 평가 요소를 명확히 드러낼 수 있다는 점에서 이를 반영하여

평가 요소를 통합하여 효과성, 만족도, 접근성의 세 요소로 정리하였다.

둘째, 이해하기 쉽고 평가자가 어려움 없이 사용 가능한 평가 방법이 필요하다. 개발 전

문가들은 평가 방법 중 음성인식률과 음성입력률의 평가 방법을 정확히 이해하고 실행하

는데 어려움을 나타냈다. 이해를 돕기 위해 실행 매뉴얼의 내용을 구체적으로 기술하였다.

셋째, 효율성 측정 방법의 보완이 필요하다. 개발한 평가 방법은 제시한 문장을 작성하

기 위해 사용자가 입력한 횟수와 완성 시간을 통해 효율성을 측정하는 것이었다. 그러나

음성 워드프로세서는 모든 과정이 명령어를 사용하기 때문에 워드프로세서 사용 경험에

따라 입력 횟수와 그에 따른 문서 작성 시간이 달라진다. 이러한 점을 반영하여 사용자가

필요한 명령어를 바로 확인하여 사용할 수 있도록 명령어 내용을 모니터 화면 상단에 제

시하여 필요할 때 마다 확인하는 방법으로 수정하였다.

한편, 개발 전문가들은 평가 절차의 네 단계에 대해서는 긍정적인 반응을 나타냈다. 각

단계별 활동에 추가하거나 수정할 사항은 각각의 용어가 명확하지 않음에서 비롯된 것으

로 확인되어 사용자의 이해를 돕기 위한 방향으로 검토되었다. 각각의 활동이 무엇을 의

미하는지 알 수 있도록 실행 매뉴얼에 구체적으로 기술하여 사용자의 실행 가능성을 높이

도록 하였다. 대부분의 개발 전문가들이 언급한 절차의 선형성을 극복하고자 사용성 평가

의 순환적인 단계와 활동을 보여줄 수 있는 형태로 수정하였다. 이를 통해 사용성 평가

설계 전 과정에 걸쳐 사용자가 중심이 됨으로써 효과적이고 유용한 사용성 평가 산출물을

개발할 수 있도록 하였다.

2) 사용성 평가 최종 방법론 개발

소프트웨어 개발자들의 검토의견을 반영하여 장애인용 음성 워드프로세서의 사용성 평가


2차 방법론을 수정한 평가 요소, 기준 및 방법은 <표 4-5>와 같다. 평가 요소인 효율성

과 학습 용이성을 각각 효과성과 접근성에 포함시켜 효과성, 만족도, 접근성으로 평가 요

소를 수정하였다. 통합된 요소의 의미는 정의에 포함시켰으며 평가 기준도 동일하게 하였

다. 이는 효율성과 학습 용이성이 불필요하거나 부적절한 평가 요소이기 때문이 아닌 평

가 요소와 평가 기준의 위계 문제로 평가 요소를 명확히 하기 위함이다.

<표 4-5> 음성인식 워드프로세서 사용성 평가 최종 요소, 기준 및 방법

평가요소 정의 평가기준 평가방법

효과성 문서를 빠르고 정확하게

작성하는 정도

과제 완성도 인식률수행도 및 수행 패턴 분석법


과제 완성

시간입력률

수행도 및 수행 패턴 분석법


만족도문석작성의 과정과 결과에

대한 만족의 정도

사용과정에

대한 만족도

결과물에 대한

만족도사용 경험 및 태도 수집법

접근성

혼자 사용하는데 신체적

불편함이나 정신적 어려움

이 없는 정도

튜토리얼

및 도움말피드백 사용 경험 및 태도 수집법

지각 가능성 조작

가능성사용 경험 및 태도 수집법

평가 절차는 선형적인 단계와 활동을 제시하는 것에 그치지 않고 사용성 평가 과정을

좀 더 유연하고, 동시적이며, 순환적, 반복적으로 제안함으로써 사용자중심 설계가 이루어

지도록 하였다(<그림 4-2> 참고). 사용성 평가 자체가 소프트웨어 기능의 검증이나 성능

보다는 사용자의 사용성에 초점을 맞추어야 하므로 사용자 중심 설계를 따르고 있다. 사

용성 평가 설계 전 과정에 걸쳐 사용자가 중심이 됨으로써 초기 사용자, 사용환경 및 과

제 분석, 이후 경험적인 측정을 거쳐 반복적이고 통합적인 사용성 평가를 실시할 수 있다.

사용자 중심 설계에 따른 이러한 역동적인 사용성 평가 절차는 실사용자들의 구체적인 피

드백이 증가하고 참여 기회가 확대되어 산출물에 대한 만족도와 효과성이 향상될 수 있다.


<그림 4-2> 음성인식 워드프로세서 최종 사용성 평가 절차

V. 논의 및 결론

본 연구는 특정 사용자 및 특정 소프트웨어의 사용성 평가를 체계적이고 효과적으로 계

획, 준비, 실행, 분석 및 보고를 진행할 수 있도록 평가 방법론을 개발하는 것을 목적으로

하였다. 이를 위하여 팔다리 기능 약화 등으로 키보드를 사용하는 데 어려움이 있는 지체

장애인용 음성인식 워드프로세서라는 특정 사용자와 특정 소프트웨어를 대상으로 하여 그

에 최적화된 사용성 평가 방법론을 개발하였다. 구체적이고 실제적인 필요에 의한 사용성

평가의 목적 달성을 위해서는 사용자와 소프트웨어의 특성에 기반하여 사용성 평가를 실

시해야 함을 제안한 선행 연구(진영택, 하수정, 2001)의 실천적 연구로서 의의를 지닌다.

장애인용 음성인식 워드프로세서 사용성 평가 초기 방법론을 위해 일반적인 소프트웨어

의 사용성 평가에 대한 선행 연구들에 기초함과 동시에 사용자인 장애인의 신체적 특성과

음성 인식 소프트웨어의 특징을 반영하여 평가 요소, 기준, 방법 및 절차를 개발하였다.

그러나 사용성 평가 전문가와 사용성 평가를 실시하는 소프트웨어 개발자의 검토 과정에

서 장애인을 위한 음성인식 워드프로세서의 평가 방법론으로 특성화 되어있지 않음이 지

적되었다. 검토 의견의 적용을 통해 장애인용 음성 인식 워드프로세서의 사용성 평가에


보다 최적화된 형태로 수정되었다. 본 연구에서 나타난 다양한 주체의 검토를 통한 평가

요소와 기준, 방법, 절차의 변화는 사용성 평가 방법론의 체계적 개발의 필요성을 반증한

다. 또한 개발자의 경험에 의존하여 실시되는 평가와 비교할 때 효과적이며 체계적인 사

용성 평가를 실시할 수 있음을 기대할 수 있다.

1. 지체 장애인을 위한 최적화된 사용성 평가 방법론 개발

기존의 사용성 평가 방법론은 대부분 일반인 사용자를 대상으로 하였기에 장애인과 같

은 사용자의 특성과 고유한 사용 맥락을 고려하지 않은 채 일반적인 사용성 평가 요소,

기준, 방법, 도구 및 절차를 제시하는 데 그쳤다. 또한 키보드, 마우스와 같은 입력 보조도

구를 장애인들이 사용하기에 적합하게 개발하고 사용성을 평가한 연구(양성환, 조문선,

2011; 이근민, 권상남, 강정호, 2007; 정동훈, 2011)들은 하드웨어가 주 대상이며 타 기

기와 비교, 분석하는 것으로 사용성을 평가하고 있다. 이에 반해 본 연구는 키보드를 사용

하는 데 어려움이 있는 지체 장애인들의 정보접근성 향상에 도움이 될 수 있는 음성인식

소프트웨어의 사용성 평가의 체계적인 방법론을 개발하였다.

본 사용성 평가 방법론에서는 효과성, 만족도와 같은 일반적인 사용성 평가 요소와 기

준과 함께 장애인이 사용자임을 고려하여 접근성 요소와 하위 기준인 이해 가능성, 조작

가능성, 기술적 호환성을 제시하였다. 이는 신체적인 불편함 없이 해당 소프트웨어인 음성

인식 워드프로세서에 비장애인과 근접한 수준으로 접근할 수 있어야 한다는 점을 적극 반

영한 것이다.

사용자의 신체적 특성을 고려하여 사용성 평가 요소 및 기준을 개발한 것과 마찬가지로

사용성 평가 데이터 수집 도구에 있어서도 사용자가 수행할 수 없는 필기 방식이 아닌 구

두 방식으로 바꾸어야 한다. 예를 들면 사전사후 설문지를 체크하거나 필기하는 것이 아

닌 구두로 평가자가 질문하고 사용자가 답변하는 내용을 평가자가 기록하거나 녹음하는

것이어야 한다. 사용성 평가 절차에서는 실사용자인 손이 완전히 마비되거나 근육이 약화

되어 키보드를 사용하는 데 어려움이 있는 지체 장애인이 음성인식 워드프로세서를 사용

하는 실제 환경을 면밀하게 고려하여 준비 단계의 사용성 평가 환경을 구축할 수 있다.

따라서 가정, 학교, 회사 등의 어느 정도의 생활 소음이 있는 실사용자의 실제생활 환경에

서 사용성 평가를 실시할 것을 제안하였다. 또한, 사용성 평가 절차의 실행 단계에서 평가

자는 사용자가 신체적으로 피곤함을 느끼지 않는지 관찰하여 대처할 필요가 있다.


2. 음성인식 워드프로세서를 위한 최적화된 사용성 평가 방법론 개발

기존의 사용성 평가 방법론은 대부분 평가의 대상이 되고 있는 소프트웨어의 고유한 사

용 맥락을 고려하기 보다는 일반적인 평가 요소와 기준을 제시하는데 그쳤다(황선명, 방

영환, 2002). 본 연구를 통하여 개발된 사용성 평가 방법론은 사용자 특성과 함께 특정

소프트웨어인 음성인식 워드프로세서가 지니는 고유한 기술적 특성을 최대한 반영하고자

하였다.

음성인식 워드프로세서라는 특정 소프트웨어의 고유한 속성을 반영하여 효과성 요소의

하위 기준으로 음성인식률과 음성입력률을 제시하였다. 이는 음성인식 워드프로세서의 효

과성을 측정할 때 척도로서 작용할 수 있다.

사용성 평가 절차의 실행 단계에서 이루어지는 세부 활동으로 일반적인 소프트웨어의

경우는 실행 중 디브리핑이라는 활동이 포함되어 사용자의 수행에 대한 이유나 반응을 구

두로서 표현할 수 있다. 이에 비해 음성인식 워드프로세서의 경우 실행 중 모든 음성은

입력 기능을 하기 때문에 소프트웨어의 고유한 특성으로 말미암아 실행 중 디브리핑 활동

은 제외되었다.

3. 연구의 제한점 및 제언

본 연구를 통하여 장애인용 음성인식 워드프로세서 사용성 평가를 위한 최적화된 방법

론을 제안하였지만, 다음과 같은 제한점을 고려한 후속 연구를 기대할 수 있다.

첫째, 본 사용성 평가 방법론은 장애인용 음성인식 워드프로세서를 개발하는 데 적용할

것을 염두에 두고 개발되었다. 그러므로 장애인용 음성인식 워드프로세서 프로토타입을

설계 및 개발하는 과정에 본 사용성 평가 방법론이 적용될 예정임에도 불구하고 현실적인

제약으로 프로토타입 설계 이전 단계에서 기 개발된 일반인용 음성인식 워드프로세서를

대상으로 사용성 평가를 실시하였다. 향후 초기 프로토타입이 개발될 때 순환적ㆍ반복적

인 사용성 평가를 실시한다면 실사용자의 추가적인 다양한 요구나 개선 아이디어를 발견

하여 즉각적으로 반영할 수 있을 것이다.

둘째, 본 사용성 평가 방법론은 사용성 평가 진행 과정에서 각 단계별 개발해야 할 산

출물들을 제안했을 뿐 그것들의 형태를 제시하지는 않았다. 계획 단계에서는 사용성 평가

실행 계획서, 준비 단계에서는 사용성 평가 실행 매뉴얼, 실행 단계에서는 사용성 평가 결

과 데이터, 분석 및 종합 단계는 사용성 평가 결과 보고서 등으로 제시함에 그친 이유는

정해진 형태보다는 의뢰인, 해당 소프트웨어, 실사용자에 따라 유연하고 다양한 형태로 개

발될 수 있기 때문이다. 그러나 평가자가 초보자이어서 각 단계별 산출물에 익숙하지 않


거나 사용성 평가를 방법론에 기초하여 실시하기에 어려운 경우 산출물의 예는 실행 방법

의 이해와 적용을 도울 수 있다. 그러므로 추후 연구에서는 사용성 평가 진행자의 편의성

을 높여줄 수 있는 사용성 평가 실행 계획서, 사용성 평가 결과 데이터, 사용성 평가 결과

보고서의 양식, 가이드라인 등의 샘플을 개발할 필요가 있다.

참 고 문 헌

김동일, 손지영, 윤순경 (2008). E-러닝에서 보편적 설계의 적용에 대한 사용성 평가. 특수교육저널:

이론과 실천, 9(2), 97-127.

김래현, 박세형, 이수용, 조현철, 하성도 (2009). 초음파 및 가속도 센서를 이용한 시각장애인용 보행

보조 장치의 성능 개선. 정보과학회논문지: 소프트웨어 및 응용, 36(4), 291-297.

김상철, 전문진, 이상완, 박광현, 변증남 (2007). 사용자 특성을 고려한 장애인 및 노령 인구를 위한

보조 소프트웨어의 개발-작업용 특수 전동의자를 위한 통합 사용자 인터페이스. 전자공학회

논문지, 44,(4), 243-249.

김석일 (2011). 웹 콘텐츠 발전과 웹 접근성 표준화 전망. 한국정보통신기술협회 TTA JOURNAL,

137, 42-46.

김성희, 김문정 (2007). 웹 검색 결과 시각화 기법의 사용성 평가에 관한 연구. 한국문헌정보학회지,

41(3), 181-199.

김종무, 금미숙, 김명호, 김성남, 김정호, 우이구 등 (2009). 특수교육용 디지털교과서 접근성 설계

ㆍ평가 지침 개발 연구 (연구보고 KR 2009-1). 서울: 한국교육학술정보원.

김진우 (2005). Human Computer Interaction 개론: 사람과 컴퓨터의 어울림. 서울: 안그라픽스.

김한샘, 김효영, 한혁수 (2003). 정신모형과 감성 요소를 이용한 소프트웨어 사용성 평가 모델 개발.

정보과학회논문지: 소프트웨어 및 응용, 30(1ㆍ2), 117-128.

박광식, 김형렬 (2000). 웹시대의 인터페이스 디자인. 서울: 길벗출판사.

삼성경제연구소 (2011월 9월 1일). 음성인식 기술의 재발견 (SERI 경영노트 제117호). 서울: 동

연구소.

송병섭, 황준길 (2008). 지체장애인의 효과적인 보조공학 서비스 제공을 위한 음성인식 진동휠체어

개조 및 적용. 재활복지, 12(3), 111-128.

양성환, 조문선 (2011). 경수손상 장애인을 위한 입력 보조도구가 입력의 속도와 정확도에 미치는

영향. 특수교육재활과학연구, 50(1), 75-87.

육주혜 (2006). 지적장애인의 학습특성에 따른 학습용 소프트웨어 분석. 대한인간공학회 학술대회

논문집, 180-186.

유은영, 정민예, 박홍석, 김수정, 김정란, 임윤정 (2007). 직업재활을 위한 장애 유형별 보조공학기기 수

요도 조사. 대한작업치료학회지, 15(3), 25-36.


이근민, 김인서 (2003). 장애인 컴퓨터 대체접근의 현황, 전망, 그리고 활성화 방안에 대한 연구. 중복ㆍ지체부자유연구, 41, 221-252.

이근민, 권상남, 강정호 (2007). 지체 장애인을 위한 헤드마우스 연구 및 개발. 재활복지, 11(2),

44-62.

임도헌 (2002). 보이지 않는 디자인 웹 유저빌리티 실천가이드. 서울: 영진닷컴.

임철일, 송해덕, 이예경, 이영태 (2009). 디지털 교과서 플랫폼 사용성 평가 도구 개발 및 적용에

관한 연구. 교육공학연구, 25(4), 125-155,

임치환 (1996). 사용성 평가 방법들의 비교 및 선택. 공업경영학회지, 19(37), 87-94.

정동훈 (2011). 천지인 방식 대체 키보드를 사용한 뇌성마비 아동의 문자입력 속도 및 정확도 비교.

특수교육재활과학연구, 50(2), 63-82.

진영택, 하수정 (2001). 소프트웨어 사용성 평가를 위한 체크리스트의 개발과 적용. The Journal

of Korean Institute of CALS/EC, 6(2), 73-85.

한국정보통신기술협회 (2006). Software Accessibility Guidelines 1.0. Retrieved December

03, 2011, from http://www.tta.or.kr/data/ttas_view.jsp?rn=1&pk_num=TTAS.KO-10.0213

홍경순, 최성은, 김석일 (2011). 공인인증서 가입자 소프트웨어의 접근성 평가. 한국콘텐츠학회

논문지, 11(2), 40-53.

홍기형 (2008). 음성기반 멀티모달 사용자 인터페이스의 사용성 평가 방법론. 말소리와 음성과학,

(67), 103-120.

황선명, 방영환 (2002). 소프트웨어 사용성 평가도구 설계 및 구현. 한국인터넷 정보학회, 3(2),

109-120.

Badre, A. (2002). 웹의 가치는 사용성이 결정한다. 정황에 따른 성공적인 웹 설계 전략 (김성우,

역). 서울: 피어슨에듀케이션코리아 (원서출판 2002 출판).

Barnum, C. M., & Dragga, S. (2001). Usability Testing and Research. New York: Longman

Publishers.

Barnum, C. M. (2002). Usability testing and research. New York: Longman.

Center for Universal Design. (2010). About universal design. Retrieved December, 3,

2011, from http://www.ncsu.edu/project/design-projects/udi/center-for-universal-design/

Constantie, L. L., & Lockwood, L. A. D. (1999). Software for Use: A Practical Guide to

the Models and Methods of Usage-Centered Design. New York: Addison-Wesley

Professional.

Conyer, M. (1995). User and usability test-how it should be undertaken?. Australian

Journal of Educational Technology, 11(2), 38-51.

Corry, M. D., Frick, T. W., & Hansen, L. (1997). User-centered design and usability

testing of a web site: An illustrative case study. Educational Technology Research and

Development, 45(4), 67-76.

D’Atri, E., Medaglia, C. M., Serbanati, A., & Ceipidor, U. B. (2007). A system to aid blind


people in the mobility: A usability test and its results. Systems, ICONS ‘07. Second

International Conference on, 35, 22-28 April 2007. doi: 10.1109/ICONS.2007.7

Dell, A., Newton, D., & Petroff, J. (2008). Assistive technology in the classroom. Upper

Saddle River, NJ: Pearson Education. 정동훈(역). (2011). 특수교육 보조공학. 서울: 시그

마프레스.

Dumas, J. S., & Redish, J. C. (1999). A Practical Guide to Usability Testing (2nd ed.).

Portland, Oregon: Intellect Books.

Garay-Vitoria, N., & Gonz’alez-Abascal, J. (1997). Intelligent word-prediction to enhance

text input rate. In Proceedings of the second international conference on Intelligent

User Interfaces, 241-244. doi: 10.1145/238218.238333

Garrett, J. J. (2002). The Elements of User Experience: User-Centered Design for the

Web. Berkeley, CA: Peachpit Press.

Higgins, E. L., & Raskind, M. H. (1995). Compensatory Effectiveness of Speech Recognition

on the Written Composition Performance of Postsecondary Students with Learning

Disabilities. Learning Disability Quarterly, 18(2), 159-174.

Hornbæk, K. (2006). Current practice in measuring usability: challenges to usability studies

and research, International Journal of Human-Computer studies, 64(2), 79-102.

ISO 9241-11. (1998). Ergonomic Requirements for office work with Visual Display

Terminals (VDTs) - Part 11; guidance on usability. Geneva: International Organization

for Standardization.

Jeffries, R., & Desurvire, H. (1992). Usability testing vs. heuristic evaluation: Was there

a contest?. ACM SIGCHI Bulletin, 24(4), 39-41.

Krug, S. (2005). Don’t make me think: A common sense approach to web usability (2nd

ed.). Indianapolis, IN: New Riders Publishing.

Nielsen, J. (1993). Usability engineering. Boston, MA: AP Professional.

Polson, P. G., & Lewis, C. (1990). Theory-based design for easily learned interfaces. Human

-Computer Interaction, 5(2-3), 191-220.

Richey, R. C. (1997). Research on instructional development. Educational Technology Research

and Development, 45(3), 91-100.

Richey, R. C., & Klein, J. D. (2007). Design and development research. New York: Routledge.

Rubin, J., Chisnell, D., & Spool, J. (2008). Handbook of Usability Testing: How to Plan,

Design, and Conduct Effective Tests (2nd ed.). Hoboken, NJ: Wiley.

Shneiderman, B. (1992). Designing the User Interface: Strategies for Effective Human

-Computer Interaction (2nd ed.). Boston, MA: Addison-Wesley.

Seels, B. B., & Richey, R. C. (1994). Instructional technology: The definition and domains

of the field. Washington, DC: Association for Educational Communications and Technology.


Seffah, A., Donyaee, M., Kline, R. B., & Padda, H. K. (2006). Usability measurement and

metrics: A consolidated model. Software Quality Journal, 14(2), 159-178.

Tullis, T., & Albert, B. (2008). Measuring the user experience: Collecting, analyzing and

presenting usability metrics. Burlington, MA: Morgan Kauffman Publishers.

W3C. (2008). Web Content Accessibility Guidelines (WCAG) 2.0. Retrieved December 03,

2011, from http://www.w3.org/TR/2008/REC-WCAG20-20081211/


<Abstract>

A Developmental Study on a Usability Testing Methodology

for the Speech Recognition Word Processing Software

for the Physically Disabled

Lim, Cheol Il ㆍ Park, Tae Jung ㆍ Choi, So Young ㆍ Hong, Won Jun

Usability means ‘the extent to which specified users can use a certain product to

accomplish their usage goals easily, quickly and conveniently’. As a dynamic process

of affirming the usability, usability testing aims to evaluate the user’s usability and

improve the quality of the product based upon the evaluation results. In accordance

with a particular product and specific users, usability testing should be optimized in

terms of its evaluation factors, criteria, methods, and procedures. This study intended

to develop a usability testing methodology for a speech recognition word processor

for the physically disabled, especially those who cannot move arms and legs. To

achieve this objective, the first methodology for usability testing was developed by

reviewing the previous literature on usability testing and analyzing speech recognition

softwares. The first usability testing methodology was revised by five experts’validation

reviews on its evaluation factors, criteria, methods, and procedures. The revised

second methodology was examined by five software developers on its validation and

field application. On the basis of their review results, the final methodology was

suggested. The evaluation factors included in the final usability testing methodology

are effectiveness, satisfaction and accessibility. As a key concept of Universal

Design, the accessibility which is divided into operability, understandability, and robust

technologies means free access for everyone including physically handicapped people.

Additionally, the evaluation procedure which is not linear but recursive and repetitive


consists of four stages, namely planning, planning, preparing, implementing and

analyzing & synthesizing. Future works can be made to apply this methodology to a

prototype for the speech recognition word processor and find out its improvements.

Furthermore, it is required to develop specific manuals with authentic samples which

can increase the possibility of its field application.

Key Wards : usability testing, user-centered design, software for the disabled, speech recognition

word processor

논문접수 : 2011. 10. 25 / 심사일 : 2011. 11. 17 / 게재승인 : 2011. 12. 30

Documents

장애인사용 음성워드프로세서를 위한 사용성 평가 방법론 개발에 관한 …risers.daegu.ac.kr/common/fileDown.aspx?f=24-%C0%D... · 음성인식 워드프로세스에