34
1 모바일 앱 테스트/진단/ 모니터링 자동화 솔루션 ATAM 소개서 2016. APP Test Automation & Monitoring Solution

모바일 앱(App) 개발 테스트 솔루션 - 인터링크시스템

Embed Size (px)

Citation preview

Page 1: 모바일 앱(App) 개발 테스트 솔루션 - 인터링크시스템

1

모바일 앱 테스트진단모니터링 자동화 솔루션

ATAM 소개서2016

APP Test Automation amp Monitoring Solution

목 차

I 테스트자동화의 필요성

II ATAM 기능 소개

III경쟁서비스 비교

IV기대 효과

[별첨] 시연 환경

Ⅰ 테스트자동화의 필요성

bull 앱의 출시 Cycle은 점점 짧아지고 있으며 업데이트가 빈번

bull 속도전에 대한 대응으로 경쟁력 확보 요구bull 앱 품질의 미흡 -gt 고객 이탈bull 새로운 단말의 지속적인 출시 안드로이드 기기 2만4천93 종 브랜드는 1천300개

지금은 앱의 시대 모바일앱 시장의 성장과 함께hellip

Ⅰ 테스트자동화의 필요성

앱 유형별 삭제율은 게임이 623로 가장 높으며 금융 보험이 120로 가장 낮음

bull유형별 모바일 앱 다운로드 현황

Ⅰ 테스트자동화의 필요성

앱 만족도는 만화 gt 커뮤니케이션 gt 사진 순 반면 날씨 음악 미디어 금융보험 쇼핑 뉴스정보 등은만족도가 50이하로서 만족도 개선을 위한 노력이 필요함

bull유형별 모바일 앱 만족도

1 모바일 테스트Ⅰ 테스트자동화의 필요성

bull 다양한 분야에서 모바일 사용량의 급격한 팽창

bull PC에서 모바일로 소프트웨어 개발 환경의 빠른 전환

bull 모바일 테스트 환경은 여전히 수작업에 의존

App 개발 process

테스트시간 부족으로 기능 성능등 앱의 전체 시나리오에 대한 테스트 진행은 사실상 불가

2 Manual vs Automation(12)Ⅰ 테스트자동화의 필요성

수작업 테스트

bull 짧은 개발 일정과 빈번한 업데이트로 앱 테스트 절대 시간 부족bull 최소 20대 이상의 단말에서 테스트 필요 (Android 10~15종 iPhone 5~7종)bull 테스트 비용과 시간 소모가 큼 (새로운 단말 및 OS 버전 지속 출시)

앱 테스트의 어려움

좁은 test 커버리지

많은 비용 소요

소모적인 시간

Human 에러

2 Manual vs Automation(22)Ⅰ 테스트자동화의 필요성

자동 테스트

Test Lab

넓은 test커버리지

고정 비용 절감

테스트 시간 단축

실제 디바이스 사용

급변하는 경쟁 상황에 대응 하기 위한 속도 전 사용자 경험을 반영한 APP의 지속 변경 필요성 Time to market-품질 과 속도

반복 테스트

정확한 결과

3 모바일 테스트 자동화 추세

앱테스트는 초기 수작업 테스트에서 스크립트 개발을 통한 자동테스트를 거쳐 최근에는

최소의 스크립트 개발 또는 No-Script 테스트로 전환하는 단계임

수작업 테스트(~2012)

스크립트개발 테스트(반자동)(~2014)

No-Script 테스트(자동)(2015~)

bull 스크립트 개발자 필요bull 모든 단말 기능수작업 테스트

bull 개발자 불필요(no-script)

bull 테스트 품질에 집중

bull App 테스트 및 PLAY

bull 앱 변경 시 장면 교체만으로쉽게 재 테스트

bull 장면 기반의 테스트시나리오

bull 테스트 단말기 미러링(동시6대)

2012 2013 2014 2015 2016

테스트

커버리지

bull Record and play with script

bull 앱 변경시 스크립트 수정 개발 및디버깅 필요

bull 테스트품질은 개발자 역량에 좌우

Ⅰ 테스트자동화의 필요성

4 자동화 테스트 기준

bull 반복 테스트 및 모니터링이 필요한 케이스 (서버 변동이 잦은 경우)

bull 주요 핵심 프로세스로서 주기적으로 테스트가 필요한 테스트 케이스

bull 프로그램 변경 시 타 모듈에 영향을 주는 테스트 케이스

bull 다양한 데이터를 테스트 해야 하는 케이스

bull 한 개의 시나리오로 여러 종류의 단말기를 테스트하는 케이스

bull 같은 시나리오에서 선택할 데이터가 여러 종류인 경우(리스트박스)

응답시간 메모리사용량 CPU사용률 등 정량적인 테스트결과 필요 시

gt

gt

gt

gt

gt

gt

모바일 테스트 자동화란 ① 사람 개입을 최소화하고 ② 테스트 환경 설정 및 데이터 구축

③ 테스트 실행과 제어 ④ 테스트 과정 모니터링 및 보고서 등을 자동 생성

Ⅰ 테스트자동화의 필요성

gt

5 Development amp Deployment Ⅰ 테스트자동화의 필요성

ADev ampTest

Ops ampInfra

TheCustomer

TheBusiness

DevOps = Development + Operation 개발과 운영 간의 상호작용을원활하게 하는 모든 것

Cloud

AgileDevelopment

DevOpsamp Cloud

6 As-is Test AutomationⅠ 테스트자동화의 필요성

One way flow

요구사항 설 계 개 발 테스팅 운영릴리즈GoNo-Go

지속적으로축적되는 WIP

빌드 및 통합프로세스의 분산

수작업 테스트로 인한 지연 및테스트 커버리지 축소

부족한 테스트로 인한외부 결함 증가

고객 상황에 대한 통찰력 부족 및요구사항 수집의 지연

빌드 및 테스트 환경구성을 위한 시간 낭비

부족한 테스트로인한 배포 연기

수작업 APP 배포로 인한 에러 발생

업무 현황에 대한 가시성 부족으로 인한 Hand-off 지연

Lack of end-to-end visibility and trust

전통적 개발 프로세스 환경

7 To-be Test AutomationⅠ 테스트자동화의 필요성

High velocity frequent quality software release

요구사항 설 계 개 발 테스팅 운영릴리즈

Devops 개발 프로세스 환경

High velocity Frequent feedback loops

자동화 극대화 일상작업 가속화 반복성 실수와 장애 감소 지연 감소 지속적 testing delivery deployment 가시성 확보 모니터링 과 측정을 통한 피드백을 제공

ContinuousEverything

Why ATAM

15

Dev ampTest

Ops ampInfra

TheCustomer

TheBusiness

모바일 앱 테스트 서비스는 테스트 계획수립 탐색적 테스트 시나리오 설계 및 자동화 테스트 수행을

통하여 결함 검출을 극대화시키고 시나리오 및 데이터를 DEVOPS 전 과정에서 재활용합니다

1 Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 1 ATAM SERIES POSITION

① 계획분석② 탐색적테스트

④ 테스트평가③ 테스트설계구현

테스트 리스트 작성

테스트 수행

테스트 수행결과

테스트전략수립

모바일 앱 기능검토

환경파악 및 구축

테스트시나리오작성

매뉴얼 테스트

자동화대상 수행

테스트결과

테스트결과보고서

모니터링 대상 수행

풀 기능 정검 수행

ATAM-I ATAM-M ATAM-A ATAM-F

⑤ 운영

ATAM-D

ATAM-I INSTALLFETCH TEST ATAM-M MIRROR TEST ATAM-A AUTOMTION TEST

ATAM-F FULL FUNCTION TEST ATAM-D HELTHY CHECK DASH BOARD ATAM-R REPORT

ATAM-R

1 Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 2 ATAM 구조 및 특징

앱 분석기(App Crawler)와 시나리오 GUI navigator를 활용한 룰 기반 시나리오 자동생성

기능을 통해 스크립트 작성 과정 없이 자동 테스트가 가능(특허 출원)

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 3 ATAM 개요

장면 기반의 테스트 자동화 도구

Generating scenario without script

1 전체 테스트 시나리오 생성

bull 앱 분석을 통한 서비스 blue-print및 시나리오 생성

bull 실제 앱 화면 기반 시나리오(스크립트) 생성

bull 개발자의 스크립트 작성 불필요

2 자동 테스트 및 결과 저장 3 실시간 모니터링 amp분석 결과 리포팅

bull 실 환경과 동일한 단말에서기능 및 성능 측정

bull 구간성능 오류유형 반복작업등 비즈니스 룰 기반 DB화

bull 명령에 따른 안정적인 테스트

bull 서비스 출시 후 지속적인health check 및 관리

bull 다양한 차트 및 분석 결과리포트 제공

bull 실시간 앱 서비스 모니터링

ATAM App Test Automation amp Monitoring

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 4 테스트시나리오 생성

앱 분석기를 통한 앱 정보 수집 및 전체 서비스 블루프린트 생성

가능한 테스트시나리오 모두 생성

솔루션 기능 사항 설명

ATAM-A 시나리오 생성방식 시나리오 식별을 위한 스크립팅 자동화

bull 스크립트 없이 장면 크롤링 만으로 시나리오 생성

bull 화면 및 이벤트 저장만으로 시나리오 생성

bull 시나리오는 장면 흐름으로 표시되어 쉽게 식별가능

bull 앱의 전체 구성도 및 시나리오를 한눈에 확인

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 5 테스트 시나리오 생성

시나리오가 실제 장면으로 구성되어쉽게 시나리오 선택 후 테스트

스크립트 개발 없이 사용자의 간단한조작만으로 시나리오 완성 및 테스트

생성된 시나리오를 선택하면 스크립트작성 없이 즉시 테스트

OS 해상도에 상관없이 동시단말 테스트

웹 방식으로 언제 어디서나 접속하여테스트 가능

다수 단말 동시테스트 및 원격 테스트

생성된 전체 서비스 블루프린트와 시나리오 리스트에서 원하는 테스트 시나리오선택

복수 단말에서 즉시 동시테스트

장면기반 서비스 블루프린트 및 테스트 시나리오 생성

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 6 테스트 시나리오 실행

솔루션 기능 사항 설명

ATAM-A 진행 상황 모니터링 진척율 상태 등 실시간 확인

bull 프로젝트 별 시나리오 진행현황을 실시간으로 모니터링bull 단말 별 시나리오 진행현황을 실시간 확인 및 오류발생 시 e-mailSMS 알림

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 7 테스트 시나리오 변경(단일 장면)

부분 시나리오 수정 시 전체 재 작성이 아닌 부분 장면 만 교체하여 시나리오 변경

bull 변경 대상 장면 또는 장면 셋을 삭제 후 새로운장면으로 교체

bull 스크립트 없이 장면 교체만으로 시나리오 변경

bull 단일장면 교체 확인

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 8 테스트 시나리오 변경(시나리오셋 변경)

시나리오 중 공통으로 활용 가능한 장면 및 장면 셋을 모듈로 저장하여 시나리오 신규생성 또는 변경 시 모듈 삽입으로 간편하게 시나리오 생성 및 변경 기능 제공

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 9 테스트 시나리오 재 사용

시나리오 중 공통으로 활용 가능한 장면 및 장면 셋을 모듈로 저장하여 시나리오 재 사용 가능

솔루션 기능사항 설명

ATAM-A One scenario Multi device 단말기 OS 등 변경에 따른 시나리오 재사용

No

단말기종수행속도(분초)

평균응답시간(초)

1LG G3 cat6

227 147

2 LG Gflex2 155 121

3 LG G2 205 191

4 갤 노트4 208 235

5갤 S6 edge

219 243

6 갤 노트3 207 125

7 갤 S5 214 176

8 베가노트 218 258

9 갤 S3 220 191

평균 속도 212 187

bull 하나의 시나리오로Multi device 테스트 지원

bull OS종류별 단말 기종 별 9대의단말에서 동시테스트 완료

bull 하나의 PC에서 최대 9대까지수행 확인

평균응답시간 클릭후 장면간 이동완료 시간

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 10 장면 검출 기능

정상 장면 대비 오류 장면에 대한 자동 검출 및 확인 기능

오류는 아니나 정상장면과 상이한 장면도 쉽게 확인 가능

예외 장면 중 공지 이벤트 등은 확인 후 테스트 진행 오류 장면은 자동 분류 (예외 장면 패턴 사전 등록)

결함 발생 리스트 및

정상 대비 오류화면

비교 결과 제공

결함 발생 당시 시간

오류 내역 메모리

CPU 사용량 등 오류

확인 기초 정보 제공

결함 발생시 해당 내

역을 e-mail 로 실시

간 전송 제공

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 11 리포트 amp 실시간 모니터링

테스트 결과 로그를 빅 데이타 형태로 DB에 저장 및 분석을 통해 다양한 결과 리포트를 웹

Dashboard에 제공하고 앱 서비스의 상태를 실시간으로 모니터링 할 수 있도록 제공

테스트 결과 리포트 다양한 형태의 차트 및 서비스 실시간 모니터링

- 시나리오 별 장면이벤트 별 성공률 응답시간 메모리CPU 사용률 등 회차 별 비교 분석 제공(반복실행에 따른 메모리 Leak 등 오류 확인)

- 웹 방식으로 제공되기 때문에 언제 어디서나 쉽게 테스트 결과 확인 및 모니터링 가능

I 은행

스크립트 작성 없이 간편하게 GUI형태의 테스트시나리오 생성

모든 시나리오를 실제 장면으로 제공하여 일반 사용자도 쉽게 테스트 가능

일부 시나리오 녹화 방식이 아닌 전체 서비스 시나리오 생성 후 테스트 시나리오 선택 실행

앱 업데이트 시 간단한 시나리오 편집만으로 즉시 테스트 가능

앱 업데이트 시 마다 스크립트 작성 불 필요 (장면 교체 등을 통한 쉬운 업데이트)

공인인증서 등 자주 사용하는 시나리오를 공통 모듈화하여 시나리오 생성시간 최소화

실시간 모니터링 및 Health Check

결과 로그 빅 데이타 DB 저장분석으로 실시간 리포트 확인

서비스 상황 실시간 체크 가능(구간별)

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 12 ATAM 특징 요약

1

3

4

해상도OS별 다수 단말 동시테스트 및 어디서나 원격 테스트 가능

하나의 시나리오로 해상도와 OS가 다른 다수의 단말을 동시 반복테스트

하나의 시나리오로 여러 단말 동시테스트

2

Web 방식으로 단말의 위치와 관계없이 테스트 가능

원격지의 단말도 테스트 가능

테스터의 테스트 상황을 관리자가 원격에서도 실시간 모니터링 가능

5

Ⅲ Competitive Advantage 1 기능 비교

ATAM은 경쟁솔루션 대비 전체 서비스블루프린트(구성도) 제공 스크립트 개발

자 불필요 최단시간 시나리오 자동 생성 등 차별화 서비스 제공으로 최고 수준

의 경쟁력 확보

구 분 ATAM G사(국내) H사(미국) S사(미국) 비고

전체 서비스구성도 제공(장면 기반 전개도)

X X X 뱅킹앱의 경우 약 700장면

테스트시나리오 생성시간(500장면 기준)

1일 1개월 15개월 1개월

장면당 평균 생성시간 (추정)- 스크립트 작성 및 디버깅 완료- 복수단말 테스트 가능상태 기준(1인 작성시간 기준)

테스트방식장면 크롤링

(시나리오 선택 실행)Record amp Play(스크립트 편집)

Record amp Play(스크립트 편집)

Record amp Play(스크립트 편집)

실시간 모니터링 X X ATAM 다양한 차트 그래프 제공

스크립트 개발자 불필요 필요 필요 필요 경쟁사는 스크립트 개발역량에 좌우

사용 방식 웹 방식 CS 방식(Client 설치) CS 방식(Client 설치) CS 방식(Client 설치) ATAM 원격테스트 가능

사용자수 제한 없음(웹접속) PC Client 설치 수 PC Client 설치 수 PC Client 설치 수

앱 업데이트 적용 방식 장면 교체(장면당 30초) 스크립트 수정 스크립트 수정 스크립트 수정 ATAM유지보수 용이

보안 키패드 반복 테스트 자동 추가 개발 필요 추가 개발 필요 추가 개발 필요 키패드 위치 변경시 테스트 자동화

시나리오 버전 별 비교 X X X 경쟁솔루션 구성도 비교 가능

ATAM 사용시 기대효과는 단순한 비용 절감보다는 품질을 향상시켜 고품질의 앱을 유지

할 수 있으며 처리시간 메모리 사용량 등 의 성능개선 Point를 제시 합니다

테스트 비용 및 시간 절감1 신뢰성 있는 고품질 앱 유지2

수작업 대비 비용은 약 67 시간 08 소요(단말 10대 시나리오 20개 20회 반복테스트 기준)

유지보수 비용 절감3

시나리오이벤트 별 오류 응답시간 메모리 사용량 등OS별 단말 별 다양한 테스트로 높은 품질의 시험결과제공

앱 업데이트 시마다 스크립트 수정 없이 재 테스트 가능

개발자의 스크립트 개발 및 수정 관리 불필요

쉽고 정확한 테스트4

프로그램을 모르는 사용자도 쉽게 테스트 진행 가능

Human error가 없어 정확한 테스트 가능

Ⅳ 기대 효과

Full Test Coverage5

앱 테스트가 가능한 시나리오를 전체의 블루 프린트로

확인하여 누락된 시나리오 등 확인 가능

앱 변경 시 임팩트가 있는 시나리오를 전체 테스트 가능

성능 개선 Point 제시6

모니터링을 통해 CPUMemoryResponse Time 의 적정성

여부 및 개선 point 파악 가능

새로운 App 개발로 인해 기존의 App 대비 성능 향상 비교

기 사용중인 App의 테스트 가능한 시나리오와 신규 개발된 App의 시나리오를 테스트한 결과를CPUResponse TimeMemory 사용률 등을 비교 분석하여 개선점 도출 및 보완에 활용

bull 기존 앱 의 성능문제로 고객불만 발생하여 신규 클라이언트 앱 개발bull 신규 앱 을 테스트 수행하였으나 신뢰할만한 데이터의 부재

bull 1차 테스트시 응답시간 30 이상 개선되었으나 메모리 사용량 증가 확인

bull ATAM의 메모리 상세분석에서 이미지 가속기 사용확인

bull 고 사양의 폰은 큰 문제가 되지 않으나 저사양 폰에서 다운되는 현상 확인

bull ATAM의 결과 자료를 바탕으로 프로그램 개선 후 오픈(lsquo1512월 현재)

POC를 통해ATAM 선정

ATAM으로테스트 및 분석

[별첨1] ATAM 적용사례1_K은행

예금신탁계좌조회

안드로이드

응답시간 메모리사용량 nativeHeap dalvikHeap 기타 cpu_use

AS-IS TO-BE 비율 AS-IS TO-BE 비율 AS-IS TO-BE 비율 AS-IS TO-BE 비율 AS-IS TO-BE 비율 AS-IS TO-BE 비율

Galaxy 6

최소 579 217 37 252039 406504 161 42635 20169 47 66881 78620 118 142523 307715 216 14 18 129

최대 674 492 73 261462 417621 160 42887 20589 48 70636 84433 120 147939 312599 211 20 22 110

평균 635 350 55 254623 412127 162 42756 20371 48 68562 80622 118 143304 311133 217 17 20 118

Galaxy 3

최소 558 238 43 109629 86029 78 - - 21 37 176

최대 3020 331 11 118228 90526 77 - - 39 40 103

평균 1111 288 26 114439 88591 77 - - 34 388 114

베가노트

최소 471 241 51 121530 98593 81 52 56 108

최대 1049 274 26 127300 112120 88 60 61 102

평균 560 250 45 123596 103539 84 562 587 104

G flex2

최소 463 227 49 169669 257117 152 63000 36560 58 51830 57387 111 54839 163170 298 17 17 100

최대 950 275 29 177872 266769 150 65248 37388 57 54691 59346 109 57933 170035 294 26 27 104

평균 589 259 44 174249 263124 151 64015 37111 58 52914 58494 111 57320 167520 292 235 221 94

bull As-Is 대비 To-Be 앱의 응답시간은 빨라졌으나 메모리 사용량은 증가- 개발팀은 메모리사용량이 최소 20~30 개선된 것으로 알고 있었으나 ATAM 테스트결과 이슈 발생- 개발관련 메모리 사용량은 감소하였으나 신규로 적용한 이미지가속기 사용시 기타영역 메모리 사용량 급증- 고사양 단말에서는 이슈가 없으나 갤럭시S2 등 저사양폰에서는 앱이 죽는 현상 발생- 저사양폰의 총메모리 사용량에는 기타영역(이미지 등)은 미포함되어 있음

전체 메모리 사용량은 증가개발 관련 메모리사용은 감소

이미지가속기 관련 기타메모리영역 사용량 급증

[별첨1] ATAM 적용사례1_K은행

6개 단말기에서 18개 신용카드로 3개의 혜택 종류별 테스터 엔지니어가 수작업으로

3회씩 반복테스트를 한다면 324개 시나리오를 테스트 엔지니어 3명이 7일 소요

6 times 18= 108개 시나리오

108 times 3= 324 개 시나리오

324 times 10분(테스트소요시간)=

3240분 (약54시간)

54 8시간 times 3회= 7 일 times 3명

현재 수작업으로 5명이 64개의 시

나리오만 테스트 중

18 times 3= 54 개 시나리오

54 times 10분(테스트소요시간)=

540분 (9시간)

9 24시간 times 3회 = 12 일 (6

대 동시 실행)

현재 테스트아웃소싱을 통해 수작업 테스트 진행중이나 불필요한 반복테스트 수작업테스트커버리지부족 주요 서비스에 대한 실시간 모니터링 및 결함 자동 알람 필요성 등으로 자동테스트 솔루션 검토

솔루션 4개사 검토후ATAM 선정

[별첨2] ATAM 적용사례2_L홈쇼핑

[별첨3] 시연 환경 및 시나리오

ATAM 서버(PC1)

bull Windows OSbull 웹서버(NodeExpress)bull DB서버(Maria)bull ATAM Controllerbull 시나리오 생성bull 테스트 실행bull 결과 확인

결과 모니터

앱 실행 환경(무선)bull LTEbull 블루투스 테더링bull WiFi

아이폰 테스트 PC(Mac)

USB

테스트 단말(Test Lab)

클라이언트 PC2

bull Windows OSbull ATAM Controllerbull 시나리오 생성bull 테스트 실행bull 결과 확인

USB

bull Mac OSbull ATAM Controllerbull 시나리오 생성bull 테스트 실행bull 결과 확인

기종 제조사 OS 해상도

1 갤노트4 삼성 512 1440x2560

2 갤럭시S3 삼성 444 720x1280

3 G3 LG 444 1080x1920

∙∙∙

[단말 사양]

[별첨3] 시연 환경 및 시나리오

테스트 시나리오(LPOINT)

G3 S3노트4

테스트 단말 선택- 시나리오별 단말 선택 (1~3대)- 다양한 해상도(저중고 해상도)

자동테스트 실행 및 결과 확인

- 시나리오별 상세조회 장면별 응답시간 메모리CPU 사용률 등

- 오류장면 검출 확인 정상 장면 대비 예외 장면 오류 장면 등

- 모니터링 결과 결함 발생시 담당자 e-mail 전송

ATAM 서버(PC1)

테스트 결과 확인모니터링

No 시나리오 인증 방식 테스트단말 비고

1 혜택쿠폰로그인하이마트쿠폰다운로드쿠폰자세히보기 IDPW 갤노트4

2 LTEM롯데호텔뷔페이용권이용권선택상품상세정보 없음 갤 노트4 S3 G3

3 LPOINT카드카드안내카드신청휴대폰인증 없음 갤 노트4 S3 G3 동시단말 테스트

4 MY LBOX로그인MY포인트포인트이용내역조회(90일) IDPW 갤 노트4 동시단말 테스트

34

주식회사인터링크시스템

상담 및 문의처

TEL 02-538-5940 FAX 02-538-5928

상무 우철환 010-8487-9727 wch2137interlinkcokr

차장 양 훈 010-2841-1319 hoonyinterlinkcokr

Page 2: 모바일 앱(App) 개발 테스트 솔루션 - 인터링크시스템

목 차

I 테스트자동화의 필요성

II ATAM 기능 소개

III경쟁서비스 비교

IV기대 효과

[별첨] 시연 환경

Ⅰ 테스트자동화의 필요성

bull 앱의 출시 Cycle은 점점 짧아지고 있으며 업데이트가 빈번

bull 속도전에 대한 대응으로 경쟁력 확보 요구bull 앱 품질의 미흡 -gt 고객 이탈bull 새로운 단말의 지속적인 출시 안드로이드 기기 2만4천93 종 브랜드는 1천300개

지금은 앱의 시대 모바일앱 시장의 성장과 함께hellip

Ⅰ 테스트자동화의 필요성

앱 유형별 삭제율은 게임이 623로 가장 높으며 금융 보험이 120로 가장 낮음

bull유형별 모바일 앱 다운로드 현황

Ⅰ 테스트자동화의 필요성

앱 만족도는 만화 gt 커뮤니케이션 gt 사진 순 반면 날씨 음악 미디어 금융보험 쇼핑 뉴스정보 등은만족도가 50이하로서 만족도 개선을 위한 노력이 필요함

bull유형별 모바일 앱 만족도

1 모바일 테스트Ⅰ 테스트자동화의 필요성

bull 다양한 분야에서 모바일 사용량의 급격한 팽창

bull PC에서 모바일로 소프트웨어 개발 환경의 빠른 전환

bull 모바일 테스트 환경은 여전히 수작업에 의존

App 개발 process

테스트시간 부족으로 기능 성능등 앱의 전체 시나리오에 대한 테스트 진행은 사실상 불가

2 Manual vs Automation(12)Ⅰ 테스트자동화의 필요성

수작업 테스트

bull 짧은 개발 일정과 빈번한 업데이트로 앱 테스트 절대 시간 부족bull 최소 20대 이상의 단말에서 테스트 필요 (Android 10~15종 iPhone 5~7종)bull 테스트 비용과 시간 소모가 큼 (새로운 단말 및 OS 버전 지속 출시)

앱 테스트의 어려움

좁은 test 커버리지

많은 비용 소요

소모적인 시간

Human 에러

2 Manual vs Automation(22)Ⅰ 테스트자동화의 필요성

자동 테스트

Test Lab

넓은 test커버리지

고정 비용 절감

테스트 시간 단축

실제 디바이스 사용

급변하는 경쟁 상황에 대응 하기 위한 속도 전 사용자 경험을 반영한 APP의 지속 변경 필요성 Time to market-품질 과 속도

반복 테스트

정확한 결과

3 모바일 테스트 자동화 추세

앱테스트는 초기 수작업 테스트에서 스크립트 개발을 통한 자동테스트를 거쳐 최근에는

최소의 스크립트 개발 또는 No-Script 테스트로 전환하는 단계임

수작업 테스트(~2012)

스크립트개발 테스트(반자동)(~2014)

No-Script 테스트(자동)(2015~)

bull 스크립트 개발자 필요bull 모든 단말 기능수작업 테스트

bull 개발자 불필요(no-script)

bull 테스트 품질에 집중

bull App 테스트 및 PLAY

bull 앱 변경 시 장면 교체만으로쉽게 재 테스트

bull 장면 기반의 테스트시나리오

bull 테스트 단말기 미러링(동시6대)

2012 2013 2014 2015 2016

테스트

커버리지

bull Record and play with script

bull 앱 변경시 스크립트 수정 개발 및디버깅 필요

bull 테스트품질은 개발자 역량에 좌우

Ⅰ 테스트자동화의 필요성

4 자동화 테스트 기준

bull 반복 테스트 및 모니터링이 필요한 케이스 (서버 변동이 잦은 경우)

bull 주요 핵심 프로세스로서 주기적으로 테스트가 필요한 테스트 케이스

bull 프로그램 변경 시 타 모듈에 영향을 주는 테스트 케이스

bull 다양한 데이터를 테스트 해야 하는 케이스

bull 한 개의 시나리오로 여러 종류의 단말기를 테스트하는 케이스

bull 같은 시나리오에서 선택할 데이터가 여러 종류인 경우(리스트박스)

응답시간 메모리사용량 CPU사용률 등 정량적인 테스트결과 필요 시

gt

gt

gt

gt

gt

gt

모바일 테스트 자동화란 ① 사람 개입을 최소화하고 ② 테스트 환경 설정 및 데이터 구축

③ 테스트 실행과 제어 ④ 테스트 과정 모니터링 및 보고서 등을 자동 생성

Ⅰ 테스트자동화의 필요성

gt

5 Development amp Deployment Ⅰ 테스트자동화의 필요성

ADev ampTest

Ops ampInfra

TheCustomer

TheBusiness

DevOps = Development + Operation 개발과 운영 간의 상호작용을원활하게 하는 모든 것

Cloud

AgileDevelopment

DevOpsamp Cloud

6 As-is Test AutomationⅠ 테스트자동화의 필요성

One way flow

요구사항 설 계 개 발 테스팅 운영릴리즈GoNo-Go

지속적으로축적되는 WIP

빌드 및 통합프로세스의 분산

수작업 테스트로 인한 지연 및테스트 커버리지 축소

부족한 테스트로 인한외부 결함 증가

고객 상황에 대한 통찰력 부족 및요구사항 수집의 지연

빌드 및 테스트 환경구성을 위한 시간 낭비

부족한 테스트로인한 배포 연기

수작업 APP 배포로 인한 에러 발생

업무 현황에 대한 가시성 부족으로 인한 Hand-off 지연

Lack of end-to-end visibility and trust

전통적 개발 프로세스 환경

7 To-be Test AutomationⅠ 테스트자동화의 필요성

High velocity frequent quality software release

요구사항 설 계 개 발 테스팅 운영릴리즈

Devops 개발 프로세스 환경

High velocity Frequent feedback loops

자동화 극대화 일상작업 가속화 반복성 실수와 장애 감소 지연 감소 지속적 testing delivery deployment 가시성 확보 모니터링 과 측정을 통한 피드백을 제공

ContinuousEverything

Why ATAM

15

Dev ampTest

Ops ampInfra

TheCustomer

TheBusiness

모바일 앱 테스트 서비스는 테스트 계획수립 탐색적 테스트 시나리오 설계 및 자동화 테스트 수행을

통하여 결함 검출을 극대화시키고 시나리오 및 데이터를 DEVOPS 전 과정에서 재활용합니다

1 Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 1 ATAM SERIES POSITION

① 계획분석② 탐색적테스트

④ 테스트평가③ 테스트설계구현

테스트 리스트 작성

테스트 수행

테스트 수행결과

테스트전략수립

모바일 앱 기능검토

환경파악 및 구축

테스트시나리오작성

매뉴얼 테스트

자동화대상 수행

테스트결과

테스트결과보고서

모니터링 대상 수행

풀 기능 정검 수행

ATAM-I ATAM-M ATAM-A ATAM-F

⑤ 운영

ATAM-D

ATAM-I INSTALLFETCH TEST ATAM-M MIRROR TEST ATAM-A AUTOMTION TEST

ATAM-F FULL FUNCTION TEST ATAM-D HELTHY CHECK DASH BOARD ATAM-R REPORT

ATAM-R

1 Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 2 ATAM 구조 및 특징

앱 분석기(App Crawler)와 시나리오 GUI navigator를 활용한 룰 기반 시나리오 자동생성

기능을 통해 스크립트 작성 과정 없이 자동 테스트가 가능(특허 출원)

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 3 ATAM 개요

장면 기반의 테스트 자동화 도구

Generating scenario without script

1 전체 테스트 시나리오 생성

bull 앱 분석을 통한 서비스 blue-print및 시나리오 생성

bull 실제 앱 화면 기반 시나리오(스크립트) 생성

bull 개발자의 스크립트 작성 불필요

2 자동 테스트 및 결과 저장 3 실시간 모니터링 amp분석 결과 리포팅

bull 실 환경과 동일한 단말에서기능 및 성능 측정

bull 구간성능 오류유형 반복작업등 비즈니스 룰 기반 DB화

bull 명령에 따른 안정적인 테스트

bull 서비스 출시 후 지속적인health check 및 관리

bull 다양한 차트 및 분석 결과리포트 제공

bull 실시간 앱 서비스 모니터링

ATAM App Test Automation amp Monitoring

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 4 테스트시나리오 생성

앱 분석기를 통한 앱 정보 수집 및 전체 서비스 블루프린트 생성

가능한 테스트시나리오 모두 생성

솔루션 기능 사항 설명

ATAM-A 시나리오 생성방식 시나리오 식별을 위한 스크립팅 자동화

bull 스크립트 없이 장면 크롤링 만으로 시나리오 생성

bull 화면 및 이벤트 저장만으로 시나리오 생성

bull 시나리오는 장면 흐름으로 표시되어 쉽게 식별가능

bull 앱의 전체 구성도 및 시나리오를 한눈에 확인

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 5 테스트 시나리오 생성

시나리오가 실제 장면으로 구성되어쉽게 시나리오 선택 후 테스트

스크립트 개발 없이 사용자의 간단한조작만으로 시나리오 완성 및 테스트

생성된 시나리오를 선택하면 스크립트작성 없이 즉시 테스트

OS 해상도에 상관없이 동시단말 테스트

웹 방식으로 언제 어디서나 접속하여테스트 가능

다수 단말 동시테스트 및 원격 테스트

생성된 전체 서비스 블루프린트와 시나리오 리스트에서 원하는 테스트 시나리오선택

복수 단말에서 즉시 동시테스트

장면기반 서비스 블루프린트 및 테스트 시나리오 생성

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 6 테스트 시나리오 실행

솔루션 기능 사항 설명

ATAM-A 진행 상황 모니터링 진척율 상태 등 실시간 확인

bull 프로젝트 별 시나리오 진행현황을 실시간으로 모니터링bull 단말 별 시나리오 진행현황을 실시간 확인 및 오류발생 시 e-mailSMS 알림

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 7 테스트 시나리오 변경(단일 장면)

부분 시나리오 수정 시 전체 재 작성이 아닌 부분 장면 만 교체하여 시나리오 변경

bull 변경 대상 장면 또는 장면 셋을 삭제 후 새로운장면으로 교체

bull 스크립트 없이 장면 교체만으로 시나리오 변경

bull 단일장면 교체 확인

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 8 테스트 시나리오 변경(시나리오셋 변경)

시나리오 중 공통으로 활용 가능한 장면 및 장면 셋을 모듈로 저장하여 시나리오 신규생성 또는 변경 시 모듈 삽입으로 간편하게 시나리오 생성 및 변경 기능 제공

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 9 테스트 시나리오 재 사용

시나리오 중 공통으로 활용 가능한 장면 및 장면 셋을 모듈로 저장하여 시나리오 재 사용 가능

솔루션 기능사항 설명

ATAM-A One scenario Multi device 단말기 OS 등 변경에 따른 시나리오 재사용

No

단말기종수행속도(분초)

평균응답시간(초)

1LG G3 cat6

227 147

2 LG Gflex2 155 121

3 LG G2 205 191

4 갤 노트4 208 235

5갤 S6 edge

219 243

6 갤 노트3 207 125

7 갤 S5 214 176

8 베가노트 218 258

9 갤 S3 220 191

평균 속도 212 187

bull 하나의 시나리오로Multi device 테스트 지원

bull OS종류별 단말 기종 별 9대의단말에서 동시테스트 완료

bull 하나의 PC에서 최대 9대까지수행 확인

평균응답시간 클릭후 장면간 이동완료 시간

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 10 장면 검출 기능

정상 장면 대비 오류 장면에 대한 자동 검출 및 확인 기능

오류는 아니나 정상장면과 상이한 장면도 쉽게 확인 가능

예외 장면 중 공지 이벤트 등은 확인 후 테스트 진행 오류 장면은 자동 분류 (예외 장면 패턴 사전 등록)

결함 발생 리스트 및

정상 대비 오류화면

비교 결과 제공

결함 발생 당시 시간

오류 내역 메모리

CPU 사용량 등 오류

확인 기초 정보 제공

결함 발생시 해당 내

역을 e-mail 로 실시

간 전송 제공

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 11 리포트 amp 실시간 모니터링

테스트 결과 로그를 빅 데이타 형태로 DB에 저장 및 분석을 통해 다양한 결과 리포트를 웹

Dashboard에 제공하고 앱 서비스의 상태를 실시간으로 모니터링 할 수 있도록 제공

테스트 결과 리포트 다양한 형태의 차트 및 서비스 실시간 모니터링

- 시나리오 별 장면이벤트 별 성공률 응답시간 메모리CPU 사용률 등 회차 별 비교 분석 제공(반복실행에 따른 메모리 Leak 등 오류 확인)

- 웹 방식으로 제공되기 때문에 언제 어디서나 쉽게 테스트 결과 확인 및 모니터링 가능

I 은행

스크립트 작성 없이 간편하게 GUI형태의 테스트시나리오 생성

모든 시나리오를 실제 장면으로 제공하여 일반 사용자도 쉽게 테스트 가능

일부 시나리오 녹화 방식이 아닌 전체 서비스 시나리오 생성 후 테스트 시나리오 선택 실행

앱 업데이트 시 간단한 시나리오 편집만으로 즉시 테스트 가능

앱 업데이트 시 마다 스크립트 작성 불 필요 (장면 교체 등을 통한 쉬운 업데이트)

공인인증서 등 자주 사용하는 시나리오를 공통 모듈화하여 시나리오 생성시간 최소화

실시간 모니터링 및 Health Check

결과 로그 빅 데이타 DB 저장분석으로 실시간 리포트 확인

서비스 상황 실시간 체크 가능(구간별)

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 12 ATAM 특징 요약

1

3

4

해상도OS별 다수 단말 동시테스트 및 어디서나 원격 테스트 가능

하나의 시나리오로 해상도와 OS가 다른 다수의 단말을 동시 반복테스트

하나의 시나리오로 여러 단말 동시테스트

2

Web 방식으로 단말의 위치와 관계없이 테스트 가능

원격지의 단말도 테스트 가능

테스터의 테스트 상황을 관리자가 원격에서도 실시간 모니터링 가능

5

Ⅲ Competitive Advantage 1 기능 비교

ATAM은 경쟁솔루션 대비 전체 서비스블루프린트(구성도) 제공 스크립트 개발

자 불필요 최단시간 시나리오 자동 생성 등 차별화 서비스 제공으로 최고 수준

의 경쟁력 확보

구 분 ATAM G사(국내) H사(미국) S사(미국) 비고

전체 서비스구성도 제공(장면 기반 전개도)

X X X 뱅킹앱의 경우 약 700장면

테스트시나리오 생성시간(500장면 기준)

1일 1개월 15개월 1개월

장면당 평균 생성시간 (추정)- 스크립트 작성 및 디버깅 완료- 복수단말 테스트 가능상태 기준(1인 작성시간 기준)

테스트방식장면 크롤링

(시나리오 선택 실행)Record amp Play(스크립트 편집)

Record amp Play(스크립트 편집)

Record amp Play(스크립트 편집)

실시간 모니터링 X X ATAM 다양한 차트 그래프 제공

스크립트 개발자 불필요 필요 필요 필요 경쟁사는 스크립트 개발역량에 좌우

사용 방식 웹 방식 CS 방식(Client 설치) CS 방식(Client 설치) CS 방식(Client 설치) ATAM 원격테스트 가능

사용자수 제한 없음(웹접속) PC Client 설치 수 PC Client 설치 수 PC Client 설치 수

앱 업데이트 적용 방식 장면 교체(장면당 30초) 스크립트 수정 스크립트 수정 스크립트 수정 ATAM유지보수 용이

보안 키패드 반복 테스트 자동 추가 개발 필요 추가 개발 필요 추가 개발 필요 키패드 위치 변경시 테스트 자동화

시나리오 버전 별 비교 X X X 경쟁솔루션 구성도 비교 가능

ATAM 사용시 기대효과는 단순한 비용 절감보다는 품질을 향상시켜 고품질의 앱을 유지

할 수 있으며 처리시간 메모리 사용량 등 의 성능개선 Point를 제시 합니다

테스트 비용 및 시간 절감1 신뢰성 있는 고품질 앱 유지2

수작업 대비 비용은 약 67 시간 08 소요(단말 10대 시나리오 20개 20회 반복테스트 기준)

유지보수 비용 절감3

시나리오이벤트 별 오류 응답시간 메모리 사용량 등OS별 단말 별 다양한 테스트로 높은 품질의 시험결과제공

앱 업데이트 시마다 스크립트 수정 없이 재 테스트 가능

개발자의 스크립트 개발 및 수정 관리 불필요

쉽고 정확한 테스트4

프로그램을 모르는 사용자도 쉽게 테스트 진행 가능

Human error가 없어 정확한 테스트 가능

Ⅳ 기대 효과

Full Test Coverage5

앱 테스트가 가능한 시나리오를 전체의 블루 프린트로

확인하여 누락된 시나리오 등 확인 가능

앱 변경 시 임팩트가 있는 시나리오를 전체 테스트 가능

성능 개선 Point 제시6

모니터링을 통해 CPUMemoryResponse Time 의 적정성

여부 및 개선 point 파악 가능

새로운 App 개발로 인해 기존의 App 대비 성능 향상 비교

기 사용중인 App의 테스트 가능한 시나리오와 신규 개발된 App의 시나리오를 테스트한 결과를CPUResponse TimeMemory 사용률 등을 비교 분석하여 개선점 도출 및 보완에 활용

bull 기존 앱 의 성능문제로 고객불만 발생하여 신규 클라이언트 앱 개발bull 신규 앱 을 테스트 수행하였으나 신뢰할만한 데이터의 부재

bull 1차 테스트시 응답시간 30 이상 개선되었으나 메모리 사용량 증가 확인

bull ATAM의 메모리 상세분석에서 이미지 가속기 사용확인

bull 고 사양의 폰은 큰 문제가 되지 않으나 저사양 폰에서 다운되는 현상 확인

bull ATAM의 결과 자료를 바탕으로 프로그램 개선 후 오픈(lsquo1512월 현재)

POC를 통해ATAM 선정

ATAM으로테스트 및 분석

[별첨1] ATAM 적용사례1_K은행

예금신탁계좌조회

안드로이드

응답시간 메모리사용량 nativeHeap dalvikHeap 기타 cpu_use

AS-IS TO-BE 비율 AS-IS TO-BE 비율 AS-IS TO-BE 비율 AS-IS TO-BE 비율 AS-IS TO-BE 비율 AS-IS TO-BE 비율

Galaxy 6

최소 579 217 37 252039 406504 161 42635 20169 47 66881 78620 118 142523 307715 216 14 18 129

최대 674 492 73 261462 417621 160 42887 20589 48 70636 84433 120 147939 312599 211 20 22 110

평균 635 350 55 254623 412127 162 42756 20371 48 68562 80622 118 143304 311133 217 17 20 118

Galaxy 3

최소 558 238 43 109629 86029 78 - - 21 37 176

최대 3020 331 11 118228 90526 77 - - 39 40 103

평균 1111 288 26 114439 88591 77 - - 34 388 114

베가노트

최소 471 241 51 121530 98593 81 52 56 108

최대 1049 274 26 127300 112120 88 60 61 102

평균 560 250 45 123596 103539 84 562 587 104

G flex2

최소 463 227 49 169669 257117 152 63000 36560 58 51830 57387 111 54839 163170 298 17 17 100

최대 950 275 29 177872 266769 150 65248 37388 57 54691 59346 109 57933 170035 294 26 27 104

평균 589 259 44 174249 263124 151 64015 37111 58 52914 58494 111 57320 167520 292 235 221 94

bull As-Is 대비 To-Be 앱의 응답시간은 빨라졌으나 메모리 사용량은 증가- 개발팀은 메모리사용량이 최소 20~30 개선된 것으로 알고 있었으나 ATAM 테스트결과 이슈 발생- 개발관련 메모리 사용량은 감소하였으나 신규로 적용한 이미지가속기 사용시 기타영역 메모리 사용량 급증- 고사양 단말에서는 이슈가 없으나 갤럭시S2 등 저사양폰에서는 앱이 죽는 현상 발생- 저사양폰의 총메모리 사용량에는 기타영역(이미지 등)은 미포함되어 있음

전체 메모리 사용량은 증가개발 관련 메모리사용은 감소

이미지가속기 관련 기타메모리영역 사용량 급증

[별첨1] ATAM 적용사례1_K은행

6개 단말기에서 18개 신용카드로 3개의 혜택 종류별 테스터 엔지니어가 수작업으로

3회씩 반복테스트를 한다면 324개 시나리오를 테스트 엔지니어 3명이 7일 소요

6 times 18= 108개 시나리오

108 times 3= 324 개 시나리오

324 times 10분(테스트소요시간)=

3240분 (약54시간)

54 8시간 times 3회= 7 일 times 3명

현재 수작업으로 5명이 64개의 시

나리오만 테스트 중

18 times 3= 54 개 시나리오

54 times 10분(테스트소요시간)=

540분 (9시간)

9 24시간 times 3회 = 12 일 (6

대 동시 실행)

현재 테스트아웃소싱을 통해 수작업 테스트 진행중이나 불필요한 반복테스트 수작업테스트커버리지부족 주요 서비스에 대한 실시간 모니터링 및 결함 자동 알람 필요성 등으로 자동테스트 솔루션 검토

솔루션 4개사 검토후ATAM 선정

[별첨2] ATAM 적용사례2_L홈쇼핑

[별첨3] 시연 환경 및 시나리오

ATAM 서버(PC1)

bull Windows OSbull 웹서버(NodeExpress)bull DB서버(Maria)bull ATAM Controllerbull 시나리오 생성bull 테스트 실행bull 결과 확인

결과 모니터

앱 실행 환경(무선)bull LTEbull 블루투스 테더링bull WiFi

아이폰 테스트 PC(Mac)

USB

테스트 단말(Test Lab)

클라이언트 PC2

bull Windows OSbull ATAM Controllerbull 시나리오 생성bull 테스트 실행bull 결과 확인

USB

bull Mac OSbull ATAM Controllerbull 시나리오 생성bull 테스트 실행bull 결과 확인

기종 제조사 OS 해상도

1 갤노트4 삼성 512 1440x2560

2 갤럭시S3 삼성 444 720x1280

3 G3 LG 444 1080x1920

∙∙∙

[단말 사양]

[별첨3] 시연 환경 및 시나리오

테스트 시나리오(LPOINT)

G3 S3노트4

테스트 단말 선택- 시나리오별 단말 선택 (1~3대)- 다양한 해상도(저중고 해상도)

자동테스트 실행 및 결과 확인

- 시나리오별 상세조회 장면별 응답시간 메모리CPU 사용률 등

- 오류장면 검출 확인 정상 장면 대비 예외 장면 오류 장면 등

- 모니터링 결과 결함 발생시 담당자 e-mail 전송

ATAM 서버(PC1)

테스트 결과 확인모니터링

No 시나리오 인증 방식 테스트단말 비고

1 혜택쿠폰로그인하이마트쿠폰다운로드쿠폰자세히보기 IDPW 갤노트4

2 LTEM롯데호텔뷔페이용권이용권선택상품상세정보 없음 갤 노트4 S3 G3

3 LPOINT카드카드안내카드신청휴대폰인증 없음 갤 노트4 S3 G3 동시단말 테스트

4 MY LBOX로그인MY포인트포인트이용내역조회(90일) IDPW 갤 노트4 동시단말 테스트

34

주식회사인터링크시스템

상담 및 문의처

TEL 02-538-5940 FAX 02-538-5928

상무 우철환 010-8487-9727 wch2137interlinkcokr

차장 양 훈 010-2841-1319 hoonyinterlinkcokr

Page 3: 모바일 앱(App) 개발 테스트 솔루션 - 인터링크시스템

Ⅰ 테스트자동화의 필요성

bull 앱의 출시 Cycle은 점점 짧아지고 있으며 업데이트가 빈번

bull 속도전에 대한 대응으로 경쟁력 확보 요구bull 앱 품질의 미흡 -gt 고객 이탈bull 새로운 단말의 지속적인 출시 안드로이드 기기 2만4천93 종 브랜드는 1천300개

지금은 앱의 시대 모바일앱 시장의 성장과 함께hellip

Ⅰ 테스트자동화의 필요성

앱 유형별 삭제율은 게임이 623로 가장 높으며 금융 보험이 120로 가장 낮음

bull유형별 모바일 앱 다운로드 현황

Ⅰ 테스트자동화의 필요성

앱 만족도는 만화 gt 커뮤니케이션 gt 사진 순 반면 날씨 음악 미디어 금융보험 쇼핑 뉴스정보 등은만족도가 50이하로서 만족도 개선을 위한 노력이 필요함

bull유형별 모바일 앱 만족도

1 모바일 테스트Ⅰ 테스트자동화의 필요성

bull 다양한 분야에서 모바일 사용량의 급격한 팽창

bull PC에서 모바일로 소프트웨어 개발 환경의 빠른 전환

bull 모바일 테스트 환경은 여전히 수작업에 의존

App 개발 process

테스트시간 부족으로 기능 성능등 앱의 전체 시나리오에 대한 테스트 진행은 사실상 불가

2 Manual vs Automation(12)Ⅰ 테스트자동화의 필요성

수작업 테스트

bull 짧은 개발 일정과 빈번한 업데이트로 앱 테스트 절대 시간 부족bull 최소 20대 이상의 단말에서 테스트 필요 (Android 10~15종 iPhone 5~7종)bull 테스트 비용과 시간 소모가 큼 (새로운 단말 및 OS 버전 지속 출시)

앱 테스트의 어려움

좁은 test 커버리지

많은 비용 소요

소모적인 시간

Human 에러

2 Manual vs Automation(22)Ⅰ 테스트자동화의 필요성

자동 테스트

Test Lab

넓은 test커버리지

고정 비용 절감

테스트 시간 단축

실제 디바이스 사용

급변하는 경쟁 상황에 대응 하기 위한 속도 전 사용자 경험을 반영한 APP의 지속 변경 필요성 Time to market-품질 과 속도

반복 테스트

정확한 결과

3 모바일 테스트 자동화 추세

앱테스트는 초기 수작업 테스트에서 스크립트 개발을 통한 자동테스트를 거쳐 최근에는

최소의 스크립트 개발 또는 No-Script 테스트로 전환하는 단계임

수작업 테스트(~2012)

스크립트개발 테스트(반자동)(~2014)

No-Script 테스트(자동)(2015~)

bull 스크립트 개발자 필요bull 모든 단말 기능수작업 테스트

bull 개발자 불필요(no-script)

bull 테스트 품질에 집중

bull App 테스트 및 PLAY

bull 앱 변경 시 장면 교체만으로쉽게 재 테스트

bull 장면 기반의 테스트시나리오

bull 테스트 단말기 미러링(동시6대)

2012 2013 2014 2015 2016

테스트

커버리지

bull Record and play with script

bull 앱 변경시 스크립트 수정 개발 및디버깅 필요

bull 테스트품질은 개발자 역량에 좌우

Ⅰ 테스트자동화의 필요성

4 자동화 테스트 기준

bull 반복 테스트 및 모니터링이 필요한 케이스 (서버 변동이 잦은 경우)

bull 주요 핵심 프로세스로서 주기적으로 테스트가 필요한 테스트 케이스

bull 프로그램 변경 시 타 모듈에 영향을 주는 테스트 케이스

bull 다양한 데이터를 테스트 해야 하는 케이스

bull 한 개의 시나리오로 여러 종류의 단말기를 테스트하는 케이스

bull 같은 시나리오에서 선택할 데이터가 여러 종류인 경우(리스트박스)

응답시간 메모리사용량 CPU사용률 등 정량적인 테스트결과 필요 시

gt

gt

gt

gt

gt

gt

모바일 테스트 자동화란 ① 사람 개입을 최소화하고 ② 테스트 환경 설정 및 데이터 구축

③ 테스트 실행과 제어 ④ 테스트 과정 모니터링 및 보고서 등을 자동 생성

Ⅰ 테스트자동화의 필요성

gt

5 Development amp Deployment Ⅰ 테스트자동화의 필요성

ADev ampTest

Ops ampInfra

TheCustomer

TheBusiness

DevOps = Development + Operation 개발과 운영 간의 상호작용을원활하게 하는 모든 것

Cloud

AgileDevelopment

DevOpsamp Cloud

6 As-is Test AutomationⅠ 테스트자동화의 필요성

One way flow

요구사항 설 계 개 발 테스팅 운영릴리즈GoNo-Go

지속적으로축적되는 WIP

빌드 및 통합프로세스의 분산

수작업 테스트로 인한 지연 및테스트 커버리지 축소

부족한 테스트로 인한외부 결함 증가

고객 상황에 대한 통찰력 부족 및요구사항 수집의 지연

빌드 및 테스트 환경구성을 위한 시간 낭비

부족한 테스트로인한 배포 연기

수작업 APP 배포로 인한 에러 발생

업무 현황에 대한 가시성 부족으로 인한 Hand-off 지연

Lack of end-to-end visibility and trust

전통적 개발 프로세스 환경

7 To-be Test AutomationⅠ 테스트자동화의 필요성

High velocity frequent quality software release

요구사항 설 계 개 발 테스팅 운영릴리즈

Devops 개발 프로세스 환경

High velocity Frequent feedback loops

자동화 극대화 일상작업 가속화 반복성 실수와 장애 감소 지연 감소 지속적 testing delivery deployment 가시성 확보 모니터링 과 측정을 통한 피드백을 제공

ContinuousEverything

Why ATAM

15

Dev ampTest

Ops ampInfra

TheCustomer

TheBusiness

모바일 앱 테스트 서비스는 테스트 계획수립 탐색적 테스트 시나리오 설계 및 자동화 테스트 수행을

통하여 결함 검출을 극대화시키고 시나리오 및 데이터를 DEVOPS 전 과정에서 재활용합니다

1 Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 1 ATAM SERIES POSITION

① 계획분석② 탐색적테스트

④ 테스트평가③ 테스트설계구현

테스트 리스트 작성

테스트 수행

테스트 수행결과

테스트전략수립

모바일 앱 기능검토

환경파악 및 구축

테스트시나리오작성

매뉴얼 테스트

자동화대상 수행

테스트결과

테스트결과보고서

모니터링 대상 수행

풀 기능 정검 수행

ATAM-I ATAM-M ATAM-A ATAM-F

⑤ 운영

ATAM-D

ATAM-I INSTALLFETCH TEST ATAM-M MIRROR TEST ATAM-A AUTOMTION TEST

ATAM-F FULL FUNCTION TEST ATAM-D HELTHY CHECK DASH BOARD ATAM-R REPORT

ATAM-R

1 Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 2 ATAM 구조 및 특징

앱 분석기(App Crawler)와 시나리오 GUI navigator를 활용한 룰 기반 시나리오 자동생성

기능을 통해 스크립트 작성 과정 없이 자동 테스트가 가능(특허 출원)

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 3 ATAM 개요

장면 기반의 테스트 자동화 도구

Generating scenario without script

1 전체 테스트 시나리오 생성

bull 앱 분석을 통한 서비스 blue-print및 시나리오 생성

bull 실제 앱 화면 기반 시나리오(스크립트) 생성

bull 개발자의 스크립트 작성 불필요

2 자동 테스트 및 결과 저장 3 실시간 모니터링 amp분석 결과 리포팅

bull 실 환경과 동일한 단말에서기능 및 성능 측정

bull 구간성능 오류유형 반복작업등 비즈니스 룰 기반 DB화

bull 명령에 따른 안정적인 테스트

bull 서비스 출시 후 지속적인health check 및 관리

bull 다양한 차트 및 분석 결과리포트 제공

bull 실시간 앱 서비스 모니터링

ATAM App Test Automation amp Monitoring

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 4 테스트시나리오 생성

앱 분석기를 통한 앱 정보 수집 및 전체 서비스 블루프린트 생성

가능한 테스트시나리오 모두 생성

솔루션 기능 사항 설명

ATAM-A 시나리오 생성방식 시나리오 식별을 위한 스크립팅 자동화

bull 스크립트 없이 장면 크롤링 만으로 시나리오 생성

bull 화면 및 이벤트 저장만으로 시나리오 생성

bull 시나리오는 장면 흐름으로 표시되어 쉽게 식별가능

bull 앱의 전체 구성도 및 시나리오를 한눈에 확인

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 5 테스트 시나리오 생성

시나리오가 실제 장면으로 구성되어쉽게 시나리오 선택 후 테스트

스크립트 개발 없이 사용자의 간단한조작만으로 시나리오 완성 및 테스트

생성된 시나리오를 선택하면 스크립트작성 없이 즉시 테스트

OS 해상도에 상관없이 동시단말 테스트

웹 방식으로 언제 어디서나 접속하여테스트 가능

다수 단말 동시테스트 및 원격 테스트

생성된 전체 서비스 블루프린트와 시나리오 리스트에서 원하는 테스트 시나리오선택

복수 단말에서 즉시 동시테스트

장면기반 서비스 블루프린트 및 테스트 시나리오 생성

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 6 테스트 시나리오 실행

솔루션 기능 사항 설명

ATAM-A 진행 상황 모니터링 진척율 상태 등 실시간 확인

bull 프로젝트 별 시나리오 진행현황을 실시간으로 모니터링bull 단말 별 시나리오 진행현황을 실시간 확인 및 오류발생 시 e-mailSMS 알림

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 7 테스트 시나리오 변경(단일 장면)

부분 시나리오 수정 시 전체 재 작성이 아닌 부분 장면 만 교체하여 시나리오 변경

bull 변경 대상 장면 또는 장면 셋을 삭제 후 새로운장면으로 교체

bull 스크립트 없이 장면 교체만으로 시나리오 변경

bull 단일장면 교체 확인

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 8 테스트 시나리오 변경(시나리오셋 변경)

시나리오 중 공통으로 활용 가능한 장면 및 장면 셋을 모듈로 저장하여 시나리오 신규생성 또는 변경 시 모듈 삽입으로 간편하게 시나리오 생성 및 변경 기능 제공

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 9 테스트 시나리오 재 사용

시나리오 중 공통으로 활용 가능한 장면 및 장면 셋을 모듈로 저장하여 시나리오 재 사용 가능

솔루션 기능사항 설명

ATAM-A One scenario Multi device 단말기 OS 등 변경에 따른 시나리오 재사용

No

단말기종수행속도(분초)

평균응답시간(초)

1LG G3 cat6

227 147

2 LG Gflex2 155 121

3 LG G2 205 191

4 갤 노트4 208 235

5갤 S6 edge

219 243

6 갤 노트3 207 125

7 갤 S5 214 176

8 베가노트 218 258

9 갤 S3 220 191

평균 속도 212 187

bull 하나의 시나리오로Multi device 테스트 지원

bull OS종류별 단말 기종 별 9대의단말에서 동시테스트 완료

bull 하나의 PC에서 최대 9대까지수행 확인

평균응답시간 클릭후 장면간 이동완료 시간

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 10 장면 검출 기능

정상 장면 대비 오류 장면에 대한 자동 검출 및 확인 기능

오류는 아니나 정상장면과 상이한 장면도 쉽게 확인 가능

예외 장면 중 공지 이벤트 등은 확인 후 테스트 진행 오류 장면은 자동 분류 (예외 장면 패턴 사전 등록)

결함 발생 리스트 및

정상 대비 오류화면

비교 결과 제공

결함 발생 당시 시간

오류 내역 메모리

CPU 사용량 등 오류

확인 기초 정보 제공

결함 발생시 해당 내

역을 e-mail 로 실시

간 전송 제공

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 11 리포트 amp 실시간 모니터링

테스트 결과 로그를 빅 데이타 형태로 DB에 저장 및 분석을 통해 다양한 결과 리포트를 웹

Dashboard에 제공하고 앱 서비스의 상태를 실시간으로 모니터링 할 수 있도록 제공

테스트 결과 리포트 다양한 형태의 차트 및 서비스 실시간 모니터링

- 시나리오 별 장면이벤트 별 성공률 응답시간 메모리CPU 사용률 등 회차 별 비교 분석 제공(반복실행에 따른 메모리 Leak 등 오류 확인)

- 웹 방식으로 제공되기 때문에 언제 어디서나 쉽게 테스트 결과 확인 및 모니터링 가능

I 은행

스크립트 작성 없이 간편하게 GUI형태의 테스트시나리오 생성

모든 시나리오를 실제 장면으로 제공하여 일반 사용자도 쉽게 테스트 가능

일부 시나리오 녹화 방식이 아닌 전체 서비스 시나리오 생성 후 테스트 시나리오 선택 실행

앱 업데이트 시 간단한 시나리오 편집만으로 즉시 테스트 가능

앱 업데이트 시 마다 스크립트 작성 불 필요 (장면 교체 등을 통한 쉬운 업데이트)

공인인증서 등 자주 사용하는 시나리오를 공통 모듈화하여 시나리오 생성시간 최소화

실시간 모니터링 및 Health Check

결과 로그 빅 데이타 DB 저장분석으로 실시간 리포트 확인

서비스 상황 실시간 체크 가능(구간별)

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 12 ATAM 특징 요약

1

3

4

해상도OS별 다수 단말 동시테스트 및 어디서나 원격 테스트 가능

하나의 시나리오로 해상도와 OS가 다른 다수의 단말을 동시 반복테스트

하나의 시나리오로 여러 단말 동시테스트

2

Web 방식으로 단말의 위치와 관계없이 테스트 가능

원격지의 단말도 테스트 가능

테스터의 테스트 상황을 관리자가 원격에서도 실시간 모니터링 가능

5

Ⅲ Competitive Advantage 1 기능 비교

ATAM은 경쟁솔루션 대비 전체 서비스블루프린트(구성도) 제공 스크립트 개발

자 불필요 최단시간 시나리오 자동 생성 등 차별화 서비스 제공으로 최고 수준

의 경쟁력 확보

구 분 ATAM G사(국내) H사(미국) S사(미국) 비고

전체 서비스구성도 제공(장면 기반 전개도)

X X X 뱅킹앱의 경우 약 700장면

테스트시나리오 생성시간(500장면 기준)

1일 1개월 15개월 1개월

장면당 평균 생성시간 (추정)- 스크립트 작성 및 디버깅 완료- 복수단말 테스트 가능상태 기준(1인 작성시간 기준)

테스트방식장면 크롤링

(시나리오 선택 실행)Record amp Play(스크립트 편집)

Record amp Play(스크립트 편집)

Record amp Play(스크립트 편집)

실시간 모니터링 X X ATAM 다양한 차트 그래프 제공

스크립트 개발자 불필요 필요 필요 필요 경쟁사는 스크립트 개발역량에 좌우

사용 방식 웹 방식 CS 방식(Client 설치) CS 방식(Client 설치) CS 방식(Client 설치) ATAM 원격테스트 가능

사용자수 제한 없음(웹접속) PC Client 설치 수 PC Client 설치 수 PC Client 설치 수

앱 업데이트 적용 방식 장면 교체(장면당 30초) 스크립트 수정 스크립트 수정 스크립트 수정 ATAM유지보수 용이

보안 키패드 반복 테스트 자동 추가 개발 필요 추가 개발 필요 추가 개발 필요 키패드 위치 변경시 테스트 자동화

시나리오 버전 별 비교 X X X 경쟁솔루션 구성도 비교 가능

ATAM 사용시 기대효과는 단순한 비용 절감보다는 품질을 향상시켜 고품질의 앱을 유지

할 수 있으며 처리시간 메모리 사용량 등 의 성능개선 Point를 제시 합니다

테스트 비용 및 시간 절감1 신뢰성 있는 고품질 앱 유지2

수작업 대비 비용은 약 67 시간 08 소요(단말 10대 시나리오 20개 20회 반복테스트 기준)

유지보수 비용 절감3

시나리오이벤트 별 오류 응답시간 메모리 사용량 등OS별 단말 별 다양한 테스트로 높은 품질의 시험결과제공

앱 업데이트 시마다 스크립트 수정 없이 재 테스트 가능

개발자의 스크립트 개발 및 수정 관리 불필요

쉽고 정확한 테스트4

프로그램을 모르는 사용자도 쉽게 테스트 진행 가능

Human error가 없어 정확한 테스트 가능

Ⅳ 기대 효과

Full Test Coverage5

앱 테스트가 가능한 시나리오를 전체의 블루 프린트로

확인하여 누락된 시나리오 등 확인 가능

앱 변경 시 임팩트가 있는 시나리오를 전체 테스트 가능

성능 개선 Point 제시6

모니터링을 통해 CPUMemoryResponse Time 의 적정성

여부 및 개선 point 파악 가능

새로운 App 개발로 인해 기존의 App 대비 성능 향상 비교

기 사용중인 App의 테스트 가능한 시나리오와 신규 개발된 App의 시나리오를 테스트한 결과를CPUResponse TimeMemory 사용률 등을 비교 분석하여 개선점 도출 및 보완에 활용

bull 기존 앱 의 성능문제로 고객불만 발생하여 신규 클라이언트 앱 개발bull 신규 앱 을 테스트 수행하였으나 신뢰할만한 데이터의 부재

bull 1차 테스트시 응답시간 30 이상 개선되었으나 메모리 사용량 증가 확인

bull ATAM의 메모리 상세분석에서 이미지 가속기 사용확인

bull 고 사양의 폰은 큰 문제가 되지 않으나 저사양 폰에서 다운되는 현상 확인

bull ATAM의 결과 자료를 바탕으로 프로그램 개선 후 오픈(lsquo1512월 현재)

POC를 통해ATAM 선정

ATAM으로테스트 및 분석

[별첨1] ATAM 적용사례1_K은행

예금신탁계좌조회

안드로이드

응답시간 메모리사용량 nativeHeap dalvikHeap 기타 cpu_use

AS-IS TO-BE 비율 AS-IS TO-BE 비율 AS-IS TO-BE 비율 AS-IS TO-BE 비율 AS-IS TO-BE 비율 AS-IS TO-BE 비율

Galaxy 6

최소 579 217 37 252039 406504 161 42635 20169 47 66881 78620 118 142523 307715 216 14 18 129

최대 674 492 73 261462 417621 160 42887 20589 48 70636 84433 120 147939 312599 211 20 22 110

평균 635 350 55 254623 412127 162 42756 20371 48 68562 80622 118 143304 311133 217 17 20 118

Galaxy 3

최소 558 238 43 109629 86029 78 - - 21 37 176

최대 3020 331 11 118228 90526 77 - - 39 40 103

평균 1111 288 26 114439 88591 77 - - 34 388 114

베가노트

최소 471 241 51 121530 98593 81 52 56 108

최대 1049 274 26 127300 112120 88 60 61 102

평균 560 250 45 123596 103539 84 562 587 104

G flex2

최소 463 227 49 169669 257117 152 63000 36560 58 51830 57387 111 54839 163170 298 17 17 100

최대 950 275 29 177872 266769 150 65248 37388 57 54691 59346 109 57933 170035 294 26 27 104

평균 589 259 44 174249 263124 151 64015 37111 58 52914 58494 111 57320 167520 292 235 221 94

bull As-Is 대비 To-Be 앱의 응답시간은 빨라졌으나 메모리 사용량은 증가- 개발팀은 메모리사용량이 최소 20~30 개선된 것으로 알고 있었으나 ATAM 테스트결과 이슈 발생- 개발관련 메모리 사용량은 감소하였으나 신규로 적용한 이미지가속기 사용시 기타영역 메모리 사용량 급증- 고사양 단말에서는 이슈가 없으나 갤럭시S2 등 저사양폰에서는 앱이 죽는 현상 발생- 저사양폰의 총메모리 사용량에는 기타영역(이미지 등)은 미포함되어 있음

전체 메모리 사용량은 증가개발 관련 메모리사용은 감소

이미지가속기 관련 기타메모리영역 사용량 급증

[별첨1] ATAM 적용사례1_K은행

6개 단말기에서 18개 신용카드로 3개의 혜택 종류별 테스터 엔지니어가 수작업으로

3회씩 반복테스트를 한다면 324개 시나리오를 테스트 엔지니어 3명이 7일 소요

6 times 18= 108개 시나리오

108 times 3= 324 개 시나리오

324 times 10분(테스트소요시간)=

3240분 (약54시간)

54 8시간 times 3회= 7 일 times 3명

현재 수작업으로 5명이 64개의 시

나리오만 테스트 중

18 times 3= 54 개 시나리오

54 times 10분(테스트소요시간)=

540분 (9시간)

9 24시간 times 3회 = 12 일 (6

대 동시 실행)

현재 테스트아웃소싱을 통해 수작업 테스트 진행중이나 불필요한 반복테스트 수작업테스트커버리지부족 주요 서비스에 대한 실시간 모니터링 및 결함 자동 알람 필요성 등으로 자동테스트 솔루션 검토

솔루션 4개사 검토후ATAM 선정

[별첨2] ATAM 적용사례2_L홈쇼핑

[별첨3] 시연 환경 및 시나리오

ATAM 서버(PC1)

bull Windows OSbull 웹서버(NodeExpress)bull DB서버(Maria)bull ATAM Controllerbull 시나리오 생성bull 테스트 실행bull 결과 확인

결과 모니터

앱 실행 환경(무선)bull LTEbull 블루투스 테더링bull WiFi

아이폰 테스트 PC(Mac)

USB

테스트 단말(Test Lab)

클라이언트 PC2

bull Windows OSbull ATAM Controllerbull 시나리오 생성bull 테스트 실행bull 결과 확인

USB

bull Mac OSbull ATAM Controllerbull 시나리오 생성bull 테스트 실행bull 결과 확인

기종 제조사 OS 해상도

1 갤노트4 삼성 512 1440x2560

2 갤럭시S3 삼성 444 720x1280

3 G3 LG 444 1080x1920

∙∙∙

[단말 사양]

[별첨3] 시연 환경 및 시나리오

테스트 시나리오(LPOINT)

G3 S3노트4

테스트 단말 선택- 시나리오별 단말 선택 (1~3대)- 다양한 해상도(저중고 해상도)

자동테스트 실행 및 결과 확인

- 시나리오별 상세조회 장면별 응답시간 메모리CPU 사용률 등

- 오류장면 검출 확인 정상 장면 대비 예외 장면 오류 장면 등

- 모니터링 결과 결함 발생시 담당자 e-mail 전송

ATAM 서버(PC1)

테스트 결과 확인모니터링

No 시나리오 인증 방식 테스트단말 비고

1 혜택쿠폰로그인하이마트쿠폰다운로드쿠폰자세히보기 IDPW 갤노트4

2 LTEM롯데호텔뷔페이용권이용권선택상품상세정보 없음 갤 노트4 S3 G3

3 LPOINT카드카드안내카드신청휴대폰인증 없음 갤 노트4 S3 G3 동시단말 테스트

4 MY LBOX로그인MY포인트포인트이용내역조회(90일) IDPW 갤 노트4 동시단말 테스트

34

주식회사인터링크시스템

상담 및 문의처

TEL 02-538-5940 FAX 02-538-5928

상무 우철환 010-8487-9727 wch2137interlinkcokr

차장 양 훈 010-2841-1319 hoonyinterlinkcokr

Page 4: 모바일 앱(App) 개발 테스트 솔루션 - 인터링크시스템

Ⅰ 테스트자동화의 필요성

앱 유형별 삭제율은 게임이 623로 가장 높으며 금융 보험이 120로 가장 낮음

bull유형별 모바일 앱 다운로드 현황

Ⅰ 테스트자동화의 필요성

앱 만족도는 만화 gt 커뮤니케이션 gt 사진 순 반면 날씨 음악 미디어 금융보험 쇼핑 뉴스정보 등은만족도가 50이하로서 만족도 개선을 위한 노력이 필요함

bull유형별 모바일 앱 만족도

1 모바일 테스트Ⅰ 테스트자동화의 필요성

bull 다양한 분야에서 모바일 사용량의 급격한 팽창

bull PC에서 모바일로 소프트웨어 개발 환경의 빠른 전환

bull 모바일 테스트 환경은 여전히 수작업에 의존

App 개발 process

테스트시간 부족으로 기능 성능등 앱의 전체 시나리오에 대한 테스트 진행은 사실상 불가

2 Manual vs Automation(12)Ⅰ 테스트자동화의 필요성

수작업 테스트

bull 짧은 개발 일정과 빈번한 업데이트로 앱 테스트 절대 시간 부족bull 최소 20대 이상의 단말에서 테스트 필요 (Android 10~15종 iPhone 5~7종)bull 테스트 비용과 시간 소모가 큼 (새로운 단말 및 OS 버전 지속 출시)

앱 테스트의 어려움

좁은 test 커버리지

많은 비용 소요

소모적인 시간

Human 에러

2 Manual vs Automation(22)Ⅰ 테스트자동화의 필요성

자동 테스트

Test Lab

넓은 test커버리지

고정 비용 절감

테스트 시간 단축

실제 디바이스 사용

급변하는 경쟁 상황에 대응 하기 위한 속도 전 사용자 경험을 반영한 APP의 지속 변경 필요성 Time to market-품질 과 속도

반복 테스트

정확한 결과

3 모바일 테스트 자동화 추세

앱테스트는 초기 수작업 테스트에서 스크립트 개발을 통한 자동테스트를 거쳐 최근에는

최소의 스크립트 개발 또는 No-Script 테스트로 전환하는 단계임

수작업 테스트(~2012)

스크립트개발 테스트(반자동)(~2014)

No-Script 테스트(자동)(2015~)

bull 스크립트 개발자 필요bull 모든 단말 기능수작업 테스트

bull 개발자 불필요(no-script)

bull 테스트 품질에 집중

bull App 테스트 및 PLAY

bull 앱 변경 시 장면 교체만으로쉽게 재 테스트

bull 장면 기반의 테스트시나리오

bull 테스트 단말기 미러링(동시6대)

2012 2013 2014 2015 2016

테스트

커버리지

bull Record and play with script

bull 앱 변경시 스크립트 수정 개발 및디버깅 필요

bull 테스트품질은 개발자 역량에 좌우

Ⅰ 테스트자동화의 필요성

4 자동화 테스트 기준

bull 반복 테스트 및 모니터링이 필요한 케이스 (서버 변동이 잦은 경우)

bull 주요 핵심 프로세스로서 주기적으로 테스트가 필요한 테스트 케이스

bull 프로그램 변경 시 타 모듈에 영향을 주는 테스트 케이스

bull 다양한 데이터를 테스트 해야 하는 케이스

bull 한 개의 시나리오로 여러 종류의 단말기를 테스트하는 케이스

bull 같은 시나리오에서 선택할 데이터가 여러 종류인 경우(리스트박스)

응답시간 메모리사용량 CPU사용률 등 정량적인 테스트결과 필요 시

gt

gt

gt

gt

gt

gt

모바일 테스트 자동화란 ① 사람 개입을 최소화하고 ② 테스트 환경 설정 및 데이터 구축

③ 테스트 실행과 제어 ④ 테스트 과정 모니터링 및 보고서 등을 자동 생성

Ⅰ 테스트자동화의 필요성

gt

5 Development amp Deployment Ⅰ 테스트자동화의 필요성

ADev ampTest

Ops ampInfra

TheCustomer

TheBusiness

DevOps = Development + Operation 개발과 운영 간의 상호작용을원활하게 하는 모든 것

Cloud

AgileDevelopment

DevOpsamp Cloud

6 As-is Test AutomationⅠ 테스트자동화의 필요성

One way flow

요구사항 설 계 개 발 테스팅 운영릴리즈GoNo-Go

지속적으로축적되는 WIP

빌드 및 통합프로세스의 분산

수작업 테스트로 인한 지연 및테스트 커버리지 축소

부족한 테스트로 인한외부 결함 증가

고객 상황에 대한 통찰력 부족 및요구사항 수집의 지연

빌드 및 테스트 환경구성을 위한 시간 낭비

부족한 테스트로인한 배포 연기

수작업 APP 배포로 인한 에러 발생

업무 현황에 대한 가시성 부족으로 인한 Hand-off 지연

Lack of end-to-end visibility and trust

전통적 개발 프로세스 환경

7 To-be Test AutomationⅠ 테스트자동화의 필요성

High velocity frequent quality software release

요구사항 설 계 개 발 테스팅 운영릴리즈

Devops 개발 프로세스 환경

High velocity Frequent feedback loops

자동화 극대화 일상작업 가속화 반복성 실수와 장애 감소 지연 감소 지속적 testing delivery deployment 가시성 확보 모니터링 과 측정을 통한 피드백을 제공

ContinuousEverything

Why ATAM

15

Dev ampTest

Ops ampInfra

TheCustomer

TheBusiness

모바일 앱 테스트 서비스는 테스트 계획수립 탐색적 테스트 시나리오 설계 및 자동화 테스트 수행을

통하여 결함 검출을 극대화시키고 시나리오 및 데이터를 DEVOPS 전 과정에서 재활용합니다

1 Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 1 ATAM SERIES POSITION

① 계획분석② 탐색적테스트

④ 테스트평가③ 테스트설계구현

테스트 리스트 작성

테스트 수행

테스트 수행결과

테스트전략수립

모바일 앱 기능검토

환경파악 및 구축

테스트시나리오작성

매뉴얼 테스트

자동화대상 수행

테스트결과

테스트결과보고서

모니터링 대상 수행

풀 기능 정검 수행

ATAM-I ATAM-M ATAM-A ATAM-F

⑤ 운영

ATAM-D

ATAM-I INSTALLFETCH TEST ATAM-M MIRROR TEST ATAM-A AUTOMTION TEST

ATAM-F FULL FUNCTION TEST ATAM-D HELTHY CHECK DASH BOARD ATAM-R REPORT

ATAM-R

1 Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 2 ATAM 구조 및 특징

앱 분석기(App Crawler)와 시나리오 GUI navigator를 활용한 룰 기반 시나리오 자동생성

기능을 통해 스크립트 작성 과정 없이 자동 테스트가 가능(특허 출원)

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 3 ATAM 개요

장면 기반의 테스트 자동화 도구

Generating scenario without script

1 전체 테스트 시나리오 생성

bull 앱 분석을 통한 서비스 blue-print및 시나리오 생성

bull 실제 앱 화면 기반 시나리오(스크립트) 생성

bull 개발자의 스크립트 작성 불필요

2 자동 테스트 및 결과 저장 3 실시간 모니터링 amp분석 결과 리포팅

bull 실 환경과 동일한 단말에서기능 및 성능 측정

bull 구간성능 오류유형 반복작업등 비즈니스 룰 기반 DB화

bull 명령에 따른 안정적인 테스트

bull 서비스 출시 후 지속적인health check 및 관리

bull 다양한 차트 및 분석 결과리포트 제공

bull 실시간 앱 서비스 모니터링

ATAM App Test Automation amp Monitoring

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 4 테스트시나리오 생성

앱 분석기를 통한 앱 정보 수집 및 전체 서비스 블루프린트 생성

가능한 테스트시나리오 모두 생성

솔루션 기능 사항 설명

ATAM-A 시나리오 생성방식 시나리오 식별을 위한 스크립팅 자동화

bull 스크립트 없이 장면 크롤링 만으로 시나리오 생성

bull 화면 및 이벤트 저장만으로 시나리오 생성

bull 시나리오는 장면 흐름으로 표시되어 쉽게 식별가능

bull 앱의 전체 구성도 및 시나리오를 한눈에 확인

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 5 테스트 시나리오 생성

시나리오가 실제 장면으로 구성되어쉽게 시나리오 선택 후 테스트

스크립트 개발 없이 사용자의 간단한조작만으로 시나리오 완성 및 테스트

생성된 시나리오를 선택하면 스크립트작성 없이 즉시 테스트

OS 해상도에 상관없이 동시단말 테스트

웹 방식으로 언제 어디서나 접속하여테스트 가능

다수 단말 동시테스트 및 원격 테스트

생성된 전체 서비스 블루프린트와 시나리오 리스트에서 원하는 테스트 시나리오선택

복수 단말에서 즉시 동시테스트

장면기반 서비스 블루프린트 및 테스트 시나리오 생성

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 6 테스트 시나리오 실행

솔루션 기능 사항 설명

ATAM-A 진행 상황 모니터링 진척율 상태 등 실시간 확인

bull 프로젝트 별 시나리오 진행현황을 실시간으로 모니터링bull 단말 별 시나리오 진행현황을 실시간 확인 및 오류발생 시 e-mailSMS 알림

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 7 테스트 시나리오 변경(단일 장면)

부분 시나리오 수정 시 전체 재 작성이 아닌 부분 장면 만 교체하여 시나리오 변경

bull 변경 대상 장면 또는 장면 셋을 삭제 후 새로운장면으로 교체

bull 스크립트 없이 장면 교체만으로 시나리오 변경

bull 단일장면 교체 확인

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 8 테스트 시나리오 변경(시나리오셋 변경)

시나리오 중 공통으로 활용 가능한 장면 및 장면 셋을 모듈로 저장하여 시나리오 신규생성 또는 변경 시 모듈 삽입으로 간편하게 시나리오 생성 및 변경 기능 제공

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 9 테스트 시나리오 재 사용

시나리오 중 공통으로 활용 가능한 장면 및 장면 셋을 모듈로 저장하여 시나리오 재 사용 가능

솔루션 기능사항 설명

ATAM-A One scenario Multi device 단말기 OS 등 변경에 따른 시나리오 재사용

No

단말기종수행속도(분초)

평균응답시간(초)

1LG G3 cat6

227 147

2 LG Gflex2 155 121

3 LG G2 205 191

4 갤 노트4 208 235

5갤 S6 edge

219 243

6 갤 노트3 207 125

7 갤 S5 214 176

8 베가노트 218 258

9 갤 S3 220 191

평균 속도 212 187

bull 하나의 시나리오로Multi device 테스트 지원

bull OS종류별 단말 기종 별 9대의단말에서 동시테스트 완료

bull 하나의 PC에서 최대 9대까지수행 확인

평균응답시간 클릭후 장면간 이동완료 시간

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 10 장면 검출 기능

정상 장면 대비 오류 장면에 대한 자동 검출 및 확인 기능

오류는 아니나 정상장면과 상이한 장면도 쉽게 확인 가능

예외 장면 중 공지 이벤트 등은 확인 후 테스트 진행 오류 장면은 자동 분류 (예외 장면 패턴 사전 등록)

결함 발생 리스트 및

정상 대비 오류화면

비교 결과 제공

결함 발생 당시 시간

오류 내역 메모리

CPU 사용량 등 오류

확인 기초 정보 제공

결함 발생시 해당 내

역을 e-mail 로 실시

간 전송 제공

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 11 리포트 amp 실시간 모니터링

테스트 결과 로그를 빅 데이타 형태로 DB에 저장 및 분석을 통해 다양한 결과 리포트를 웹

Dashboard에 제공하고 앱 서비스의 상태를 실시간으로 모니터링 할 수 있도록 제공

테스트 결과 리포트 다양한 형태의 차트 및 서비스 실시간 모니터링

- 시나리오 별 장면이벤트 별 성공률 응답시간 메모리CPU 사용률 등 회차 별 비교 분석 제공(반복실행에 따른 메모리 Leak 등 오류 확인)

- 웹 방식으로 제공되기 때문에 언제 어디서나 쉽게 테스트 결과 확인 및 모니터링 가능

I 은행

스크립트 작성 없이 간편하게 GUI형태의 테스트시나리오 생성

모든 시나리오를 실제 장면으로 제공하여 일반 사용자도 쉽게 테스트 가능

일부 시나리오 녹화 방식이 아닌 전체 서비스 시나리오 생성 후 테스트 시나리오 선택 실행

앱 업데이트 시 간단한 시나리오 편집만으로 즉시 테스트 가능

앱 업데이트 시 마다 스크립트 작성 불 필요 (장면 교체 등을 통한 쉬운 업데이트)

공인인증서 등 자주 사용하는 시나리오를 공통 모듈화하여 시나리오 생성시간 최소화

실시간 모니터링 및 Health Check

결과 로그 빅 데이타 DB 저장분석으로 실시간 리포트 확인

서비스 상황 실시간 체크 가능(구간별)

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 12 ATAM 특징 요약

1

3

4

해상도OS별 다수 단말 동시테스트 및 어디서나 원격 테스트 가능

하나의 시나리오로 해상도와 OS가 다른 다수의 단말을 동시 반복테스트

하나의 시나리오로 여러 단말 동시테스트

2

Web 방식으로 단말의 위치와 관계없이 테스트 가능

원격지의 단말도 테스트 가능

테스터의 테스트 상황을 관리자가 원격에서도 실시간 모니터링 가능

5

Ⅲ Competitive Advantage 1 기능 비교

ATAM은 경쟁솔루션 대비 전체 서비스블루프린트(구성도) 제공 스크립트 개발

자 불필요 최단시간 시나리오 자동 생성 등 차별화 서비스 제공으로 최고 수준

의 경쟁력 확보

구 분 ATAM G사(국내) H사(미국) S사(미국) 비고

전체 서비스구성도 제공(장면 기반 전개도)

X X X 뱅킹앱의 경우 약 700장면

테스트시나리오 생성시간(500장면 기준)

1일 1개월 15개월 1개월

장면당 평균 생성시간 (추정)- 스크립트 작성 및 디버깅 완료- 복수단말 테스트 가능상태 기준(1인 작성시간 기준)

테스트방식장면 크롤링

(시나리오 선택 실행)Record amp Play(스크립트 편집)

Record amp Play(스크립트 편집)

Record amp Play(스크립트 편집)

실시간 모니터링 X X ATAM 다양한 차트 그래프 제공

스크립트 개발자 불필요 필요 필요 필요 경쟁사는 스크립트 개발역량에 좌우

사용 방식 웹 방식 CS 방식(Client 설치) CS 방식(Client 설치) CS 방식(Client 설치) ATAM 원격테스트 가능

사용자수 제한 없음(웹접속) PC Client 설치 수 PC Client 설치 수 PC Client 설치 수

앱 업데이트 적용 방식 장면 교체(장면당 30초) 스크립트 수정 스크립트 수정 스크립트 수정 ATAM유지보수 용이

보안 키패드 반복 테스트 자동 추가 개발 필요 추가 개발 필요 추가 개발 필요 키패드 위치 변경시 테스트 자동화

시나리오 버전 별 비교 X X X 경쟁솔루션 구성도 비교 가능

ATAM 사용시 기대효과는 단순한 비용 절감보다는 품질을 향상시켜 고품질의 앱을 유지

할 수 있으며 처리시간 메모리 사용량 등 의 성능개선 Point를 제시 합니다

테스트 비용 및 시간 절감1 신뢰성 있는 고품질 앱 유지2

수작업 대비 비용은 약 67 시간 08 소요(단말 10대 시나리오 20개 20회 반복테스트 기준)

유지보수 비용 절감3

시나리오이벤트 별 오류 응답시간 메모리 사용량 등OS별 단말 별 다양한 테스트로 높은 품질의 시험결과제공

앱 업데이트 시마다 스크립트 수정 없이 재 테스트 가능

개발자의 스크립트 개발 및 수정 관리 불필요

쉽고 정확한 테스트4

프로그램을 모르는 사용자도 쉽게 테스트 진행 가능

Human error가 없어 정확한 테스트 가능

Ⅳ 기대 효과

Full Test Coverage5

앱 테스트가 가능한 시나리오를 전체의 블루 프린트로

확인하여 누락된 시나리오 등 확인 가능

앱 변경 시 임팩트가 있는 시나리오를 전체 테스트 가능

성능 개선 Point 제시6

모니터링을 통해 CPUMemoryResponse Time 의 적정성

여부 및 개선 point 파악 가능

새로운 App 개발로 인해 기존의 App 대비 성능 향상 비교

기 사용중인 App의 테스트 가능한 시나리오와 신규 개발된 App의 시나리오를 테스트한 결과를CPUResponse TimeMemory 사용률 등을 비교 분석하여 개선점 도출 및 보완에 활용

bull 기존 앱 의 성능문제로 고객불만 발생하여 신규 클라이언트 앱 개발bull 신규 앱 을 테스트 수행하였으나 신뢰할만한 데이터의 부재

bull 1차 테스트시 응답시간 30 이상 개선되었으나 메모리 사용량 증가 확인

bull ATAM의 메모리 상세분석에서 이미지 가속기 사용확인

bull 고 사양의 폰은 큰 문제가 되지 않으나 저사양 폰에서 다운되는 현상 확인

bull ATAM의 결과 자료를 바탕으로 프로그램 개선 후 오픈(lsquo1512월 현재)

POC를 통해ATAM 선정

ATAM으로테스트 및 분석

[별첨1] ATAM 적용사례1_K은행

예금신탁계좌조회

안드로이드

응답시간 메모리사용량 nativeHeap dalvikHeap 기타 cpu_use

AS-IS TO-BE 비율 AS-IS TO-BE 비율 AS-IS TO-BE 비율 AS-IS TO-BE 비율 AS-IS TO-BE 비율 AS-IS TO-BE 비율

Galaxy 6

최소 579 217 37 252039 406504 161 42635 20169 47 66881 78620 118 142523 307715 216 14 18 129

최대 674 492 73 261462 417621 160 42887 20589 48 70636 84433 120 147939 312599 211 20 22 110

평균 635 350 55 254623 412127 162 42756 20371 48 68562 80622 118 143304 311133 217 17 20 118

Galaxy 3

최소 558 238 43 109629 86029 78 - - 21 37 176

최대 3020 331 11 118228 90526 77 - - 39 40 103

평균 1111 288 26 114439 88591 77 - - 34 388 114

베가노트

최소 471 241 51 121530 98593 81 52 56 108

최대 1049 274 26 127300 112120 88 60 61 102

평균 560 250 45 123596 103539 84 562 587 104

G flex2

최소 463 227 49 169669 257117 152 63000 36560 58 51830 57387 111 54839 163170 298 17 17 100

최대 950 275 29 177872 266769 150 65248 37388 57 54691 59346 109 57933 170035 294 26 27 104

평균 589 259 44 174249 263124 151 64015 37111 58 52914 58494 111 57320 167520 292 235 221 94

bull As-Is 대비 To-Be 앱의 응답시간은 빨라졌으나 메모리 사용량은 증가- 개발팀은 메모리사용량이 최소 20~30 개선된 것으로 알고 있었으나 ATAM 테스트결과 이슈 발생- 개발관련 메모리 사용량은 감소하였으나 신규로 적용한 이미지가속기 사용시 기타영역 메모리 사용량 급증- 고사양 단말에서는 이슈가 없으나 갤럭시S2 등 저사양폰에서는 앱이 죽는 현상 발생- 저사양폰의 총메모리 사용량에는 기타영역(이미지 등)은 미포함되어 있음

전체 메모리 사용량은 증가개발 관련 메모리사용은 감소

이미지가속기 관련 기타메모리영역 사용량 급증

[별첨1] ATAM 적용사례1_K은행

6개 단말기에서 18개 신용카드로 3개의 혜택 종류별 테스터 엔지니어가 수작업으로

3회씩 반복테스트를 한다면 324개 시나리오를 테스트 엔지니어 3명이 7일 소요

6 times 18= 108개 시나리오

108 times 3= 324 개 시나리오

324 times 10분(테스트소요시간)=

3240분 (약54시간)

54 8시간 times 3회= 7 일 times 3명

현재 수작업으로 5명이 64개의 시

나리오만 테스트 중

18 times 3= 54 개 시나리오

54 times 10분(테스트소요시간)=

540분 (9시간)

9 24시간 times 3회 = 12 일 (6

대 동시 실행)

현재 테스트아웃소싱을 통해 수작업 테스트 진행중이나 불필요한 반복테스트 수작업테스트커버리지부족 주요 서비스에 대한 실시간 모니터링 및 결함 자동 알람 필요성 등으로 자동테스트 솔루션 검토

솔루션 4개사 검토후ATAM 선정

[별첨2] ATAM 적용사례2_L홈쇼핑

[별첨3] 시연 환경 및 시나리오

ATAM 서버(PC1)

bull Windows OSbull 웹서버(NodeExpress)bull DB서버(Maria)bull ATAM Controllerbull 시나리오 생성bull 테스트 실행bull 결과 확인

결과 모니터

앱 실행 환경(무선)bull LTEbull 블루투스 테더링bull WiFi

아이폰 테스트 PC(Mac)

USB

테스트 단말(Test Lab)

클라이언트 PC2

bull Windows OSbull ATAM Controllerbull 시나리오 생성bull 테스트 실행bull 결과 확인

USB

bull Mac OSbull ATAM Controllerbull 시나리오 생성bull 테스트 실행bull 결과 확인

기종 제조사 OS 해상도

1 갤노트4 삼성 512 1440x2560

2 갤럭시S3 삼성 444 720x1280

3 G3 LG 444 1080x1920

∙∙∙

[단말 사양]

[별첨3] 시연 환경 및 시나리오

테스트 시나리오(LPOINT)

G3 S3노트4

테스트 단말 선택- 시나리오별 단말 선택 (1~3대)- 다양한 해상도(저중고 해상도)

자동테스트 실행 및 결과 확인

- 시나리오별 상세조회 장면별 응답시간 메모리CPU 사용률 등

- 오류장면 검출 확인 정상 장면 대비 예외 장면 오류 장면 등

- 모니터링 결과 결함 발생시 담당자 e-mail 전송

ATAM 서버(PC1)

테스트 결과 확인모니터링

No 시나리오 인증 방식 테스트단말 비고

1 혜택쿠폰로그인하이마트쿠폰다운로드쿠폰자세히보기 IDPW 갤노트4

2 LTEM롯데호텔뷔페이용권이용권선택상품상세정보 없음 갤 노트4 S3 G3

3 LPOINT카드카드안내카드신청휴대폰인증 없음 갤 노트4 S3 G3 동시단말 테스트

4 MY LBOX로그인MY포인트포인트이용내역조회(90일) IDPW 갤 노트4 동시단말 테스트

34

주식회사인터링크시스템

상담 및 문의처

TEL 02-538-5940 FAX 02-538-5928

상무 우철환 010-8487-9727 wch2137interlinkcokr

차장 양 훈 010-2841-1319 hoonyinterlinkcokr

Page 5: 모바일 앱(App) 개발 테스트 솔루션 - 인터링크시스템

Ⅰ 테스트자동화의 필요성

앱 만족도는 만화 gt 커뮤니케이션 gt 사진 순 반면 날씨 음악 미디어 금융보험 쇼핑 뉴스정보 등은만족도가 50이하로서 만족도 개선을 위한 노력이 필요함

bull유형별 모바일 앱 만족도

1 모바일 테스트Ⅰ 테스트자동화의 필요성

bull 다양한 분야에서 모바일 사용량의 급격한 팽창

bull PC에서 모바일로 소프트웨어 개발 환경의 빠른 전환

bull 모바일 테스트 환경은 여전히 수작업에 의존

App 개발 process

테스트시간 부족으로 기능 성능등 앱의 전체 시나리오에 대한 테스트 진행은 사실상 불가

2 Manual vs Automation(12)Ⅰ 테스트자동화의 필요성

수작업 테스트

bull 짧은 개발 일정과 빈번한 업데이트로 앱 테스트 절대 시간 부족bull 최소 20대 이상의 단말에서 테스트 필요 (Android 10~15종 iPhone 5~7종)bull 테스트 비용과 시간 소모가 큼 (새로운 단말 및 OS 버전 지속 출시)

앱 테스트의 어려움

좁은 test 커버리지

많은 비용 소요

소모적인 시간

Human 에러

2 Manual vs Automation(22)Ⅰ 테스트자동화의 필요성

자동 테스트

Test Lab

넓은 test커버리지

고정 비용 절감

테스트 시간 단축

실제 디바이스 사용

급변하는 경쟁 상황에 대응 하기 위한 속도 전 사용자 경험을 반영한 APP의 지속 변경 필요성 Time to market-품질 과 속도

반복 테스트

정확한 결과

3 모바일 테스트 자동화 추세

앱테스트는 초기 수작업 테스트에서 스크립트 개발을 통한 자동테스트를 거쳐 최근에는

최소의 스크립트 개발 또는 No-Script 테스트로 전환하는 단계임

수작업 테스트(~2012)

스크립트개발 테스트(반자동)(~2014)

No-Script 테스트(자동)(2015~)

bull 스크립트 개발자 필요bull 모든 단말 기능수작업 테스트

bull 개발자 불필요(no-script)

bull 테스트 품질에 집중

bull App 테스트 및 PLAY

bull 앱 변경 시 장면 교체만으로쉽게 재 테스트

bull 장면 기반의 테스트시나리오

bull 테스트 단말기 미러링(동시6대)

2012 2013 2014 2015 2016

테스트

커버리지

bull Record and play with script

bull 앱 변경시 스크립트 수정 개발 및디버깅 필요

bull 테스트품질은 개발자 역량에 좌우

Ⅰ 테스트자동화의 필요성

4 자동화 테스트 기준

bull 반복 테스트 및 모니터링이 필요한 케이스 (서버 변동이 잦은 경우)

bull 주요 핵심 프로세스로서 주기적으로 테스트가 필요한 테스트 케이스

bull 프로그램 변경 시 타 모듈에 영향을 주는 테스트 케이스

bull 다양한 데이터를 테스트 해야 하는 케이스

bull 한 개의 시나리오로 여러 종류의 단말기를 테스트하는 케이스

bull 같은 시나리오에서 선택할 데이터가 여러 종류인 경우(리스트박스)

응답시간 메모리사용량 CPU사용률 등 정량적인 테스트결과 필요 시

gt

gt

gt

gt

gt

gt

모바일 테스트 자동화란 ① 사람 개입을 최소화하고 ② 테스트 환경 설정 및 데이터 구축

③ 테스트 실행과 제어 ④ 테스트 과정 모니터링 및 보고서 등을 자동 생성

Ⅰ 테스트자동화의 필요성

gt

5 Development amp Deployment Ⅰ 테스트자동화의 필요성

ADev ampTest

Ops ampInfra

TheCustomer

TheBusiness

DevOps = Development + Operation 개발과 운영 간의 상호작용을원활하게 하는 모든 것

Cloud

AgileDevelopment

DevOpsamp Cloud

6 As-is Test AutomationⅠ 테스트자동화의 필요성

One way flow

요구사항 설 계 개 발 테스팅 운영릴리즈GoNo-Go

지속적으로축적되는 WIP

빌드 및 통합프로세스의 분산

수작업 테스트로 인한 지연 및테스트 커버리지 축소

부족한 테스트로 인한외부 결함 증가

고객 상황에 대한 통찰력 부족 및요구사항 수집의 지연

빌드 및 테스트 환경구성을 위한 시간 낭비

부족한 테스트로인한 배포 연기

수작업 APP 배포로 인한 에러 발생

업무 현황에 대한 가시성 부족으로 인한 Hand-off 지연

Lack of end-to-end visibility and trust

전통적 개발 프로세스 환경

7 To-be Test AutomationⅠ 테스트자동화의 필요성

High velocity frequent quality software release

요구사항 설 계 개 발 테스팅 운영릴리즈

Devops 개발 프로세스 환경

High velocity Frequent feedback loops

자동화 극대화 일상작업 가속화 반복성 실수와 장애 감소 지연 감소 지속적 testing delivery deployment 가시성 확보 모니터링 과 측정을 통한 피드백을 제공

ContinuousEverything

Why ATAM

15

Dev ampTest

Ops ampInfra

TheCustomer

TheBusiness

모바일 앱 테스트 서비스는 테스트 계획수립 탐색적 테스트 시나리오 설계 및 자동화 테스트 수행을

통하여 결함 검출을 극대화시키고 시나리오 및 데이터를 DEVOPS 전 과정에서 재활용합니다

1 Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 1 ATAM SERIES POSITION

① 계획분석② 탐색적테스트

④ 테스트평가③ 테스트설계구현

테스트 리스트 작성

테스트 수행

테스트 수행결과

테스트전략수립

모바일 앱 기능검토

환경파악 및 구축

테스트시나리오작성

매뉴얼 테스트

자동화대상 수행

테스트결과

테스트결과보고서

모니터링 대상 수행

풀 기능 정검 수행

ATAM-I ATAM-M ATAM-A ATAM-F

⑤ 운영

ATAM-D

ATAM-I INSTALLFETCH TEST ATAM-M MIRROR TEST ATAM-A AUTOMTION TEST

ATAM-F FULL FUNCTION TEST ATAM-D HELTHY CHECK DASH BOARD ATAM-R REPORT

ATAM-R

1 Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 2 ATAM 구조 및 특징

앱 분석기(App Crawler)와 시나리오 GUI navigator를 활용한 룰 기반 시나리오 자동생성

기능을 통해 스크립트 작성 과정 없이 자동 테스트가 가능(특허 출원)

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 3 ATAM 개요

장면 기반의 테스트 자동화 도구

Generating scenario without script

1 전체 테스트 시나리오 생성

bull 앱 분석을 통한 서비스 blue-print및 시나리오 생성

bull 실제 앱 화면 기반 시나리오(스크립트) 생성

bull 개발자의 스크립트 작성 불필요

2 자동 테스트 및 결과 저장 3 실시간 모니터링 amp분석 결과 리포팅

bull 실 환경과 동일한 단말에서기능 및 성능 측정

bull 구간성능 오류유형 반복작업등 비즈니스 룰 기반 DB화

bull 명령에 따른 안정적인 테스트

bull 서비스 출시 후 지속적인health check 및 관리

bull 다양한 차트 및 분석 결과리포트 제공

bull 실시간 앱 서비스 모니터링

ATAM App Test Automation amp Monitoring

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 4 테스트시나리오 생성

앱 분석기를 통한 앱 정보 수집 및 전체 서비스 블루프린트 생성

가능한 테스트시나리오 모두 생성

솔루션 기능 사항 설명

ATAM-A 시나리오 생성방식 시나리오 식별을 위한 스크립팅 자동화

bull 스크립트 없이 장면 크롤링 만으로 시나리오 생성

bull 화면 및 이벤트 저장만으로 시나리오 생성

bull 시나리오는 장면 흐름으로 표시되어 쉽게 식별가능

bull 앱의 전체 구성도 및 시나리오를 한눈에 확인

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 5 테스트 시나리오 생성

시나리오가 실제 장면으로 구성되어쉽게 시나리오 선택 후 테스트

스크립트 개발 없이 사용자의 간단한조작만으로 시나리오 완성 및 테스트

생성된 시나리오를 선택하면 스크립트작성 없이 즉시 테스트

OS 해상도에 상관없이 동시단말 테스트

웹 방식으로 언제 어디서나 접속하여테스트 가능

다수 단말 동시테스트 및 원격 테스트

생성된 전체 서비스 블루프린트와 시나리오 리스트에서 원하는 테스트 시나리오선택

복수 단말에서 즉시 동시테스트

장면기반 서비스 블루프린트 및 테스트 시나리오 생성

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 6 테스트 시나리오 실행

솔루션 기능 사항 설명

ATAM-A 진행 상황 모니터링 진척율 상태 등 실시간 확인

bull 프로젝트 별 시나리오 진행현황을 실시간으로 모니터링bull 단말 별 시나리오 진행현황을 실시간 확인 및 오류발생 시 e-mailSMS 알림

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 7 테스트 시나리오 변경(단일 장면)

부분 시나리오 수정 시 전체 재 작성이 아닌 부분 장면 만 교체하여 시나리오 변경

bull 변경 대상 장면 또는 장면 셋을 삭제 후 새로운장면으로 교체

bull 스크립트 없이 장면 교체만으로 시나리오 변경

bull 단일장면 교체 확인

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 8 테스트 시나리오 변경(시나리오셋 변경)

시나리오 중 공통으로 활용 가능한 장면 및 장면 셋을 모듈로 저장하여 시나리오 신규생성 또는 변경 시 모듈 삽입으로 간편하게 시나리오 생성 및 변경 기능 제공

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 9 테스트 시나리오 재 사용

시나리오 중 공통으로 활용 가능한 장면 및 장면 셋을 모듈로 저장하여 시나리오 재 사용 가능

솔루션 기능사항 설명

ATAM-A One scenario Multi device 단말기 OS 등 변경에 따른 시나리오 재사용

No

단말기종수행속도(분초)

평균응답시간(초)

1LG G3 cat6

227 147

2 LG Gflex2 155 121

3 LG G2 205 191

4 갤 노트4 208 235

5갤 S6 edge

219 243

6 갤 노트3 207 125

7 갤 S5 214 176

8 베가노트 218 258

9 갤 S3 220 191

평균 속도 212 187

bull 하나의 시나리오로Multi device 테스트 지원

bull OS종류별 단말 기종 별 9대의단말에서 동시테스트 완료

bull 하나의 PC에서 최대 9대까지수행 확인

평균응답시간 클릭후 장면간 이동완료 시간

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 10 장면 검출 기능

정상 장면 대비 오류 장면에 대한 자동 검출 및 확인 기능

오류는 아니나 정상장면과 상이한 장면도 쉽게 확인 가능

예외 장면 중 공지 이벤트 등은 확인 후 테스트 진행 오류 장면은 자동 분류 (예외 장면 패턴 사전 등록)

결함 발생 리스트 및

정상 대비 오류화면

비교 결과 제공

결함 발생 당시 시간

오류 내역 메모리

CPU 사용량 등 오류

확인 기초 정보 제공

결함 발생시 해당 내

역을 e-mail 로 실시

간 전송 제공

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 11 리포트 amp 실시간 모니터링

테스트 결과 로그를 빅 데이타 형태로 DB에 저장 및 분석을 통해 다양한 결과 리포트를 웹

Dashboard에 제공하고 앱 서비스의 상태를 실시간으로 모니터링 할 수 있도록 제공

테스트 결과 리포트 다양한 형태의 차트 및 서비스 실시간 모니터링

- 시나리오 별 장면이벤트 별 성공률 응답시간 메모리CPU 사용률 등 회차 별 비교 분석 제공(반복실행에 따른 메모리 Leak 등 오류 확인)

- 웹 방식으로 제공되기 때문에 언제 어디서나 쉽게 테스트 결과 확인 및 모니터링 가능

I 은행

스크립트 작성 없이 간편하게 GUI형태의 테스트시나리오 생성

모든 시나리오를 실제 장면으로 제공하여 일반 사용자도 쉽게 테스트 가능

일부 시나리오 녹화 방식이 아닌 전체 서비스 시나리오 생성 후 테스트 시나리오 선택 실행

앱 업데이트 시 간단한 시나리오 편집만으로 즉시 테스트 가능

앱 업데이트 시 마다 스크립트 작성 불 필요 (장면 교체 등을 통한 쉬운 업데이트)

공인인증서 등 자주 사용하는 시나리오를 공통 모듈화하여 시나리오 생성시간 최소화

실시간 모니터링 및 Health Check

결과 로그 빅 데이타 DB 저장분석으로 실시간 리포트 확인

서비스 상황 실시간 체크 가능(구간별)

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 12 ATAM 특징 요약

1

3

4

해상도OS별 다수 단말 동시테스트 및 어디서나 원격 테스트 가능

하나의 시나리오로 해상도와 OS가 다른 다수의 단말을 동시 반복테스트

하나의 시나리오로 여러 단말 동시테스트

2

Web 방식으로 단말의 위치와 관계없이 테스트 가능

원격지의 단말도 테스트 가능

테스터의 테스트 상황을 관리자가 원격에서도 실시간 모니터링 가능

5

Ⅲ Competitive Advantage 1 기능 비교

ATAM은 경쟁솔루션 대비 전체 서비스블루프린트(구성도) 제공 스크립트 개발

자 불필요 최단시간 시나리오 자동 생성 등 차별화 서비스 제공으로 최고 수준

의 경쟁력 확보

구 분 ATAM G사(국내) H사(미국) S사(미국) 비고

전체 서비스구성도 제공(장면 기반 전개도)

X X X 뱅킹앱의 경우 약 700장면

테스트시나리오 생성시간(500장면 기준)

1일 1개월 15개월 1개월

장면당 평균 생성시간 (추정)- 스크립트 작성 및 디버깅 완료- 복수단말 테스트 가능상태 기준(1인 작성시간 기준)

테스트방식장면 크롤링

(시나리오 선택 실행)Record amp Play(스크립트 편집)

Record amp Play(스크립트 편집)

Record amp Play(스크립트 편집)

실시간 모니터링 X X ATAM 다양한 차트 그래프 제공

스크립트 개발자 불필요 필요 필요 필요 경쟁사는 스크립트 개발역량에 좌우

사용 방식 웹 방식 CS 방식(Client 설치) CS 방식(Client 설치) CS 방식(Client 설치) ATAM 원격테스트 가능

사용자수 제한 없음(웹접속) PC Client 설치 수 PC Client 설치 수 PC Client 설치 수

앱 업데이트 적용 방식 장면 교체(장면당 30초) 스크립트 수정 스크립트 수정 스크립트 수정 ATAM유지보수 용이

보안 키패드 반복 테스트 자동 추가 개발 필요 추가 개발 필요 추가 개발 필요 키패드 위치 변경시 테스트 자동화

시나리오 버전 별 비교 X X X 경쟁솔루션 구성도 비교 가능

ATAM 사용시 기대효과는 단순한 비용 절감보다는 품질을 향상시켜 고품질의 앱을 유지

할 수 있으며 처리시간 메모리 사용량 등 의 성능개선 Point를 제시 합니다

테스트 비용 및 시간 절감1 신뢰성 있는 고품질 앱 유지2

수작업 대비 비용은 약 67 시간 08 소요(단말 10대 시나리오 20개 20회 반복테스트 기준)

유지보수 비용 절감3

시나리오이벤트 별 오류 응답시간 메모리 사용량 등OS별 단말 별 다양한 테스트로 높은 품질의 시험결과제공

앱 업데이트 시마다 스크립트 수정 없이 재 테스트 가능

개발자의 스크립트 개발 및 수정 관리 불필요

쉽고 정확한 테스트4

프로그램을 모르는 사용자도 쉽게 테스트 진행 가능

Human error가 없어 정확한 테스트 가능

Ⅳ 기대 효과

Full Test Coverage5

앱 테스트가 가능한 시나리오를 전체의 블루 프린트로

확인하여 누락된 시나리오 등 확인 가능

앱 변경 시 임팩트가 있는 시나리오를 전체 테스트 가능

성능 개선 Point 제시6

모니터링을 통해 CPUMemoryResponse Time 의 적정성

여부 및 개선 point 파악 가능

새로운 App 개발로 인해 기존의 App 대비 성능 향상 비교

기 사용중인 App의 테스트 가능한 시나리오와 신규 개발된 App의 시나리오를 테스트한 결과를CPUResponse TimeMemory 사용률 등을 비교 분석하여 개선점 도출 및 보완에 활용

bull 기존 앱 의 성능문제로 고객불만 발생하여 신규 클라이언트 앱 개발bull 신규 앱 을 테스트 수행하였으나 신뢰할만한 데이터의 부재

bull 1차 테스트시 응답시간 30 이상 개선되었으나 메모리 사용량 증가 확인

bull ATAM의 메모리 상세분석에서 이미지 가속기 사용확인

bull 고 사양의 폰은 큰 문제가 되지 않으나 저사양 폰에서 다운되는 현상 확인

bull ATAM의 결과 자료를 바탕으로 프로그램 개선 후 오픈(lsquo1512월 현재)

POC를 통해ATAM 선정

ATAM으로테스트 및 분석

[별첨1] ATAM 적용사례1_K은행

예금신탁계좌조회

안드로이드

응답시간 메모리사용량 nativeHeap dalvikHeap 기타 cpu_use

AS-IS TO-BE 비율 AS-IS TO-BE 비율 AS-IS TO-BE 비율 AS-IS TO-BE 비율 AS-IS TO-BE 비율 AS-IS TO-BE 비율

Galaxy 6

최소 579 217 37 252039 406504 161 42635 20169 47 66881 78620 118 142523 307715 216 14 18 129

최대 674 492 73 261462 417621 160 42887 20589 48 70636 84433 120 147939 312599 211 20 22 110

평균 635 350 55 254623 412127 162 42756 20371 48 68562 80622 118 143304 311133 217 17 20 118

Galaxy 3

최소 558 238 43 109629 86029 78 - - 21 37 176

최대 3020 331 11 118228 90526 77 - - 39 40 103

평균 1111 288 26 114439 88591 77 - - 34 388 114

베가노트

최소 471 241 51 121530 98593 81 52 56 108

최대 1049 274 26 127300 112120 88 60 61 102

평균 560 250 45 123596 103539 84 562 587 104

G flex2

최소 463 227 49 169669 257117 152 63000 36560 58 51830 57387 111 54839 163170 298 17 17 100

최대 950 275 29 177872 266769 150 65248 37388 57 54691 59346 109 57933 170035 294 26 27 104

평균 589 259 44 174249 263124 151 64015 37111 58 52914 58494 111 57320 167520 292 235 221 94

bull As-Is 대비 To-Be 앱의 응답시간은 빨라졌으나 메모리 사용량은 증가- 개발팀은 메모리사용량이 최소 20~30 개선된 것으로 알고 있었으나 ATAM 테스트결과 이슈 발생- 개발관련 메모리 사용량은 감소하였으나 신규로 적용한 이미지가속기 사용시 기타영역 메모리 사용량 급증- 고사양 단말에서는 이슈가 없으나 갤럭시S2 등 저사양폰에서는 앱이 죽는 현상 발생- 저사양폰의 총메모리 사용량에는 기타영역(이미지 등)은 미포함되어 있음

전체 메모리 사용량은 증가개발 관련 메모리사용은 감소

이미지가속기 관련 기타메모리영역 사용량 급증

[별첨1] ATAM 적용사례1_K은행

6개 단말기에서 18개 신용카드로 3개의 혜택 종류별 테스터 엔지니어가 수작업으로

3회씩 반복테스트를 한다면 324개 시나리오를 테스트 엔지니어 3명이 7일 소요

6 times 18= 108개 시나리오

108 times 3= 324 개 시나리오

324 times 10분(테스트소요시간)=

3240분 (약54시간)

54 8시간 times 3회= 7 일 times 3명

현재 수작업으로 5명이 64개의 시

나리오만 테스트 중

18 times 3= 54 개 시나리오

54 times 10분(테스트소요시간)=

540분 (9시간)

9 24시간 times 3회 = 12 일 (6

대 동시 실행)

현재 테스트아웃소싱을 통해 수작업 테스트 진행중이나 불필요한 반복테스트 수작업테스트커버리지부족 주요 서비스에 대한 실시간 모니터링 및 결함 자동 알람 필요성 등으로 자동테스트 솔루션 검토

솔루션 4개사 검토후ATAM 선정

[별첨2] ATAM 적용사례2_L홈쇼핑

[별첨3] 시연 환경 및 시나리오

ATAM 서버(PC1)

bull Windows OSbull 웹서버(NodeExpress)bull DB서버(Maria)bull ATAM Controllerbull 시나리오 생성bull 테스트 실행bull 결과 확인

결과 모니터

앱 실행 환경(무선)bull LTEbull 블루투스 테더링bull WiFi

아이폰 테스트 PC(Mac)

USB

테스트 단말(Test Lab)

클라이언트 PC2

bull Windows OSbull ATAM Controllerbull 시나리오 생성bull 테스트 실행bull 결과 확인

USB

bull Mac OSbull ATAM Controllerbull 시나리오 생성bull 테스트 실행bull 결과 확인

기종 제조사 OS 해상도

1 갤노트4 삼성 512 1440x2560

2 갤럭시S3 삼성 444 720x1280

3 G3 LG 444 1080x1920

∙∙∙

[단말 사양]

[별첨3] 시연 환경 및 시나리오

테스트 시나리오(LPOINT)

G3 S3노트4

테스트 단말 선택- 시나리오별 단말 선택 (1~3대)- 다양한 해상도(저중고 해상도)

자동테스트 실행 및 결과 확인

- 시나리오별 상세조회 장면별 응답시간 메모리CPU 사용률 등

- 오류장면 검출 확인 정상 장면 대비 예외 장면 오류 장면 등

- 모니터링 결과 결함 발생시 담당자 e-mail 전송

ATAM 서버(PC1)

테스트 결과 확인모니터링

No 시나리오 인증 방식 테스트단말 비고

1 혜택쿠폰로그인하이마트쿠폰다운로드쿠폰자세히보기 IDPW 갤노트4

2 LTEM롯데호텔뷔페이용권이용권선택상품상세정보 없음 갤 노트4 S3 G3

3 LPOINT카드카드안내카드신청휴대폰인증 없음 갤 노트4 S3 G3 동시단말 테스트

4 MY LBOX로그인MY포인트포인트이용내역조회(90일) IDPW 갤 노트4 동시단말 테스트

34

주식회사인터링크시스템

상담 및 문의처

TEL 02-538-5940 FAX 02-538-5928

상무 우철환 010-8487-9727 wch2137interlinkcokr

차장 양 훈 010-2841-1319 hoonyinterlinkcokr

Page 6: 모바일 앱(App) 개발 테스트 솔루션 - 인터링크시스템

1 모바일 테스트Ⅰ 테스트자동화의 필요성

bull 다양한 분야에서 모바일 사용량의 급격한 팽창

bull PC에서 모바일로 소프트웨어 개발 환경의 빠른 전환

bull 모바일 테스트 환경은 여전히 수작업에 의존

App 개발 process

테스트시간 부족으로 기능 성능등 앱의 전체 시나리오에 대한 테스트 진행은 사실상 불가

2 Manual vs Automation(12)Ⅰ 테스트자동화의 필요성

수작업 테스트

bull 짧은 개발 일정과 빈번한 업데이트로 앱 테스트 절대 시간 부족bull 최소 20대 이상의 단말에서 테스트 필요 (Android 10~15종 iPhone 5~7종)bull 테스트 비용과 시간 소모가 큼 (새로운 단말 및 OS 버전 지속 출시)

앱 테스트의 어려움

좁은 test 커버리지

많은 비용 소요

소모적인 시간

Human 에러

2 Manual vs Automation(22)Ⅰ 테스트자동화의 필요성

자동 테스트

Test Lab

넓은 test커버리지

고정 비용 절감

테스트 시간 단축

실제 디바이스 사용

급변하는 경쟁 상황에 대응 하기 위한 속도 전 사용자 경험을 반영한 APP의 지속 변경 필요성 Time to market-품질 과 속도

반복 테스트

정확한 결과

3 모바일 테스트 자동화 추세

앱테스트는 초기 수작업 테스트에서 스크립트 개발을 통한 자동테스트를 거쳐 최근에는

최소의 스크립트 개발 또는 No-Script 테스트로 전환하는 단계임

수작업 테스트(~2012)

스크립트개발 테스트(반자동)(~2014)

No-Script 테스트(자동)(2015~)

bull 스크립트 개발자 필요bull 모든 단말 기능수작업 테스트

bull 개발자 불필요(no-script)

bull 테스트 품질에 집중

bull App 테스트 및 PLAY

bull 앱 변경 시 장면 교체만으로쉽게 재 테스트

bull 장면 기반의 테스트시나리오

bull 테스트 단말기 미러링(동시6대)

2012 2013 2014 2015 2016

테스트

커버리지

bull Record and play with script

bull 앱 변경시 스크립트 수정 개발 및디버깅 필요

bull 테스트품질은 개발자 역량에 좌우

Ⅰ 테스트자동화의 필요성

4 자동화 테스트 기준

bull 반복 테스트 및 모니터링이 필요한 케이스 (서버 변동이 잦은 경우)

bull 주요 핵심 프로세스로서 주기적으로 테스트가 필요한 테스트 케이스

bull 프로그램 변경 시 타 모듈에 영향을 주는 테스트 케이스

bull 다양한 데이터를 테스트 해야 하는 케이스

bull 한 개의 시나리오로 여러 종류의 단말기를 테스트하는 케이스

bull 같은 시나리오에서 선택할 데이터가 여러 종류인 경우(리스트박스)

응답시간 메모리사용량 CPU사용률 등 정량적인 테스트결과 필요 시

gt

gt

gt

gt

gt

gt

모바일 테스트 자동화란 ① 사람 개입을 최소화하고 ② 테스트 환경 설정 및 데이터 구축

③ 테스트 실행과 제어 ④ 테스트 과정 모니터링 및 보고서 등을 자동 생성

Ⅰ 테스트자동화의 필요성

gt

5 Development amp Deployment Ⅰ 테스트자동화의 필요성

ADev ampTest

Ops ampInfra

TheCustomer

TheBusiness

DevOps = Development + Operation 개발과 운영 간의 상호작용을원활하게 하는 모든 것

Cloud

AgileDevelopment

DevOpsamp Cloud

6 As-is Test AutomationⅠ 테스트자동화의 필요성

One way flow

요구사항 설 계 개 발 테스팅 운영릴리즈GoNo-Go

지속적으로축적되는 WIP

빌드 및 통합프로세스의 분산

수작업 테스트로 인한 지연 및테스트 커버리지 축소

부족한 테스트로 인한외부 결함 증가

고객 상황에 대한 통찰력 부족 및요구사항 수집의 지연

빌드 및 테스트 환경구성을 위한 시간 낭비

부족한 테스트로인한 배포 연기

수작업 APP 배포로 인한 에러 발생

업무 현황에 대한 가시성 부족으로 인한 Hand-off 지연

Lack of end-to-end visibility and trust

전통적 개발 프로세스 환경

7 To-be Test AutomationⅠ 테스트자동화의 필요성

High velocity frequent quality software release

요구사항 설 계 개 발 테스팅 운영릴리즈

Devops 개발 프로세스 환경

High velocity Frequent feedback loops

자동화 극대화 일상작업 가속화 반복성 실수와 장애 감소 지연 감소 지속적 testing delivery deployment 가시성 확보 모니터링 과 측정을 통한 피드백을 제공

ContinuousEverything

Why ATAM

15

Dev ampTest

Ops ampInfra

TheCustomer

TheBusiness

모바일 앱 테스트 서비스는 테스트 계획수립 탐색적 테스트 시나리오 설계 및 자동화 테스트 수행을

통하여 결함 검출을 극대화시키고 시나리오 및 데이터를 DEVOPS 전 과정에서 재활용합니다

1 Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 1 ATAM SERIES POSITION

① 계획분석② 탐색적테스트

④ 테스트평가③ 테스트설계구현

테스트 리스트 작성

테스트 수행

테스트 수행결과

테스트전략수립

모바일 앱 기능검토

환경파악 및 구축

테스트시나리오작성

매뉴얼 테스트

자동화대상 수행

테스트결과

테스트결과보고서

모니터링 대상 수행

풀 기능 정검 수행

ATAM-I ATAM-M ATAM-A ATAM-F

⑤ 운영

ATAM-D

ATAM-I INSTALLFETCH TEST ATAM-M MIRROR TEST ATAM-A AUTOMTION TEST

ATAM-F FULL FUNCTION TEST ATAM-D HELTHY CHECK DASH BOARD ATAM-R REPORT

ATAM-R

1 Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 2 ATAM 구조 및 특징

앱 분석기(App Crawler)와 시나리오 GUI navigator를 활용한 룰 기반 시나리오 자동생성

기능을 통해 스크립트 작성 과정 없이 자동 테스트가 가능(특허 출원)

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 3 ATAM 개요

장면 기반의 테스트 자동화 도구

Generating scenario without script

1 전체 테스트 시나리오 생성

bull 앱 분석을 통한 서비스 blue-print및 시나리오 생성

bull 실제 앱 화면 기반 시나리오(스크립트) 생성

bull 개발자의 스크립트 작성 불필요

2 자동 테스트 및 결과 저장 3 실시간 모니터링 amp분석 결과 리포팅

bull 실 환경과 동일한 단말에서기능 및 성능 측정

bull 구간성능 오류유형 반복작업등 비즈니스 룰 기반 DB화

bull 명령에 따른 안정적인 테스트

bull 서비스 출시 후 지속적인health check 및 관리

bull 다양한 차트 및 분석 결과리포트 제공

bull 실시간 앱 서비스 모니터링

ATAM App Test Automation amp Monitoring

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 4 테스트시나리오 생성

앱 분석기를 통한 앱 정보 수집 및 전체 서비스 블루프린트 생성

가능한 테스트시나리오 모두 생성

솔루션 기능 사항 설명

ATAM-A 시나리오 생성방식 시나리오 식별을 위한 스크립팅 자동화

bull 스크립트 없이 장면 크롤링 만으로 시나리오 생성

bull 화면 및 이벤트 저장만으로 시나리오 생성

bull 시나리오는 장면 흐름으로 표시되어 쉽게 식별가능

bull 앱의 전체 구성도 및 시나리오를 한눈에 확인

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 5 테스트 시나리오 생성

시나리오가 실제 장면으로 구성되어쉽게 시나리오 선택 후 테스트

스크립트 개발 없이 사용자의 간단한조작만으로 시나리오 완성 및 테스트

생성된 시나리오를 선택하면 스크립트작성 없이 즉시 테스트

OS 해상도에 상관없이 동시단말 테스트

웹 방식으로 언제 어디서나 접속하여테스트 가능

다수 단말 동시테스트 및 원격 테스트

생성된 전체 서비스 블루프린트와 시나리오 리스트에서 원하는 테스트 시나리오선택

복수 단말에서 즉시 동시테스트

장면기반 서비스 블루프린트 및 테스트 시나리오 생성

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 6 테스트 시나리오 실행

솔루션 기능 사항 설명

ATAM-A 진행 상황 모니터링 진척율 상태 등 실시간 확인

bull 프로젝트 별 시나리오 진행현황을 실시간으로 모니터링bull 단말 별 시나리오 진행현황을 실시간 확인 및 오류발생 시 e-mailSMS 알림

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 7 테스트 시나리오 변경(단일 장면)

부분 시나리오 수정 시 전체 재 작성이 아닌 부분 장면 만 교체하여 시나리오 변경

bull 변경 대상 장면 또는 장면 셋을 삭제 후 새로운장면으로 교체

bull 스크립트 없이 장면 교체만으로 시나리오 변경

bull 단일장면 교체 확인

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 8 테스트 시나리오 변경(시나리오셋 변경)

시나리오 중 공통으로 활용 가능한 장면 및 장면 셋을 모듈로 저장하여 시나리오 신규생성 또는 변경 시 모듈 삽입으로 간편하게 시나리오 생성 및 변경 기능 제공

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 9 테스트 시나리오 재 사용

시나리오 중 공통으로 활용 가능한 장면 및 장면 셋을 모듈로 저장하여 시나리오 재 사용 가능

솔루션 기능사항 설명

ATAM-A One scenario Multi device 단말기 OS 등 변경에 따른 시나리오 재사용

No

단말기종수행속도(분초)

평균응답시간(초)

1LG G3 cat6

227 147

2 LG Gflex2 155 121

3 LG G2 205 191

4 갤 노트4 208 235

5갤 S6 edge

219 243

6 갤 노트3 207 125

7 갤 S5 214 176

8 베가노트 218 258

9 갤 S3 220 191

평균 속도 212 187

bull 하나의 시나리오로Multi device 테스트 지원

bull OS종류별 단말 기종 별 9대의단말에서 동시테스트 완료

bull 하나의 PC에서 최대 9대까지수행 확인

평균응답시간 클릭후 장면간 이동완료 시간

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 10 장면 검출 기능

정상 장면 대비 오류 장면에 대한 자동 검출 및 확인 기능

오류는 아니나 정상장면과 상이한 장면도 쉽게 확인 가능

예외 장면 중 공지 이벤트 등은 확인 후 테스트 진행 오류 장면은 자동 분류 (예외 장면 패턴 사전 등록)

결함 발생 리스트 및

정상 대비 오류화면

비교 결과 제공

결함 발생 당시 시간

오류 내역 메모리

CPU 사용량 등 오류

확인 기초 정보 제공

결함 발생시 해당 내

역을 e-mail 로 실시

간 전송 제공

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 11 리포트 amp 실시간 모니터링

테스트 결과 로그를 빅 데이타 형태로 DB에 저장 및 분석을 통해 다양한 결과 리포트를 웹

Dashboard에 제공하고 앱 서비스의 상태를 실시간으로 모니터링 할 수 있도록 제공

테스트 결과 리포트 다양한 형태의 차트 및 서비스 실시간 모니터링

- 시나리오 별 장면이벤트 별 성공률 응답시간 메모리CPU 사용률 등 회차 별 비교 분석 제공(반복실행에 따른 메모리 Leak 등 오류 확인)

- 웹 방식으로 제공되기 때문에 언제 어디서나 쉽게 테스트 결과 확인 및 모니터링 가능

I 은행

스크립트 작성 없이 간편하게 GUI형태의 테스트시나리오 생성

모든 시나리오를 실제 장면으로 제공하여 일반 사용자도 쉽게 테스트 가능

일부 시나리오 녹화 방식이 아닌 전체 서비스 시나리오 생성 후 테스트 시나리오 선택 실행

앱 업데이트 시 간단한 시나리오 편집만으로 즉시 테스트 가능

앱 업데이트 시 마다 스크립트 작성 불 필요 (장면 교체 등을 통한 쉬운 업데이트)

공인인증서 등 자주 사용하는 시나리오를 공통 모듈화하여 시나리오 생성시간 최소화

실시간 모니터링 및 Health Check

결과 로그 빅 데이타 DB 저장분석으로 실시간 리포트 확인

서비스 상황 실시간 체크 가능(구간별)

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 12 ATAM 특징 요약

1

3

4

해상도OS별 다수 단말 동시테스트 및 어디서나 원격 테스트 가능

하나의 시나리오로 해상도와 OS가 다른 다수의 단말을 동시 반복테스트

하나의 시나리오로 여러 단말 동시테스트

2

Web 방식으로 단말의 위치와 관계없이 테스트 가능

원격지의 단말도 테스트 가능

테스터의 테스트 상황을 관리자가 원격에서도 실시간 모니터링 가능

5

Ⅲ Competitive Advantage 1 기능 비교

ATAM은 경쟁솔루션 대비 전체 서비스블루프린트(구성도) 제공 스크립트 개발

자 불필요 최단시간 시나리오 자동 생성 등 차별화 서비스 제공으로 최고 수준

의 경쟁력 확보

구 분 ATAM G사(국내) H사(미국) S사(미국) 비고

전체 서비스구성도 제공(장면 기반 전개도)

X X X 뱅킹앱의 경우 약 700장면

테스트시나리오 생성시간(500장면 기준)

1일 1개월 15개월 1개월

장면당 평균 생성시간 (추정)- 스크립트 작성 및 디버깅 완료- 복수단말 테스트 가능상태 기준(1인 작성시간 기준)

테스트방식장면 크롤링

(시나리오 선택 실행)Record amp Play(스크립트 편집)

Record amp Play(스크립트 편집)

Record amp Play(스크립트 편집)

실시간 모니터링 X X ATAM 다양한 차트 그래프 제공

스크립트 개발자 불필요 필요 필요 필요 경쟁사는 스크립트 개발역량에 좌우

사용 방식 웹 방식 CS 방식(Client 설치) CS 방식(Client 설치) CS 방식(Client 설치) ATAM 원격테스트 가능

사용자수 제한 없음(웹접속) PC Client 설치 수 PC Client 설치 수 PC Client 설치 수

앱 업데이트 적용 방식 장면 교체(장면당 30초) 스크립트 수정 스크립트 수정 스크립트 수정 ATAM유지보수 용이

보안 키패드 반복 테스트 자동 추가 개발 필요 추가 개발 필요 추가 개발 필요 키패드 위치 변경시 테스트 자동화

시나리오 버전 별 비교 X X X 경쟁솔루션 구성도 비교 가능

ATAM 사용시 기대효과는 단순한 비용 절감보다는 품질을 향상시켜 고품질의 앱을 유지

할 수 있으며 처리시간 메모리 사용량 등 의 성능개선 Point를 제시 합니다

테스트 비용 및 시간 절감1 신뢰성 있는 고품질 앱 유지2

수작업 대비 비용은 약 67 시간 08 소요(단말 10대 시나리오 20개 20회 반복테스트 기준)

유지보수 비용 절감3

시나리오이벤트 별 오류 응답시간 메모리 사용량 등OS별 단말 별 다양한 테스트로 높은 품질의 시험결과제공

앱 업데이트 시마다 스크립트 수정 없이 재 테스트 가능

개발자의 스크립트 개발 및 수정 관리 불필요

쉽고 정확한 테스트4

프로그램을 모르는 사용자도 쉽게 테스트 진행 가능

Human error가 없어 정확한 테스트 가능

Ⅳ 기대 효과

Full Test Coverage5

앱 테스트가 가능한 시나리오를 전체의 블루 프린트로

확인하여 누락된 시나리오 등 확인 가능

앱 변경 시 임팩트가 있는 시나리오를 전체 테스트 가능

성능 개선 Point 제시6

모니터링을 통해 CPUMemoryResponse Time 의 적정성

여부 및 개선 point 파악 가능

새로운 App 개발로 인해 기존의 App 대비 성능 향상 비교

기 사용중인 App의 테스트 가능한 시나리오와 신규 개발된 App의 시나리오를 테스트한 결과를CPUResponse TimeMemory 사용률 등을 비교 분석하여 개선점 도출 및 보완에 활용

bull 기존 앱 의 성능문제로 고객불만 발생하여 신규 클라이언트 앱 개발bull 신규 앱 을 테스트 수행하였으나 신뢰할만한 데이터의 부재

bull 1차 테스트시 응답시간 30 이상 개선되었으나 메모리 사용량 증가 확인

bull ATAM의 메모리 상세분석에서 이미지 가속기 사용확인

bull 고 사양의 폰은 큰 문제가 되지 않으나 저사양 폰에서 다운되는 현상 확인

bull ATAM의 결과 자료를 바탕으로 프로그램 개선 후 오픈(lsquo1512월 현재)

POC를 통해ATAM 선정

ATAM으로테스트 및 분석

[별첨1] ATAM 적용사례1_K은행

예금신탁계좌조회

안드로이드

응답시간 메모리사용량 nativeHeap dalvikHeap 기타 cpu_use

AS-IS TO-BE 비율 AS-IS TO-BE 비율 AS-IS TO-BE 비율 AS-IS TO-BE 비율 AS-IS TO-BE 비율 AS-IS TO-BE 비율

Galaxy 6

최소 579 217 37 252039 406504 161 42635 20169 47 66881 78620 118 142523 307715 216 14 18 129

최대 674 492 73 261462 417621 160 42887 20589 48 70636 84433 120 147939 312599 211 20 22 110

평균 635 350 55 254623 412127 162 42756 20371 48 68562 80622 118 143304 311133 217 17 20 118

Galaxy 3

최소 558 238 43 109629 86029 78 - - 21 37 176

최대 3020 331 11 118228 90526 77 - - 39 40 103

평균 1111 288 26 114439 88591 77 - - 34 388 114

베가노트

최소 471 241 51 121530 98593 81 52 56 108

최대 1049 274 26 127300 112120 88 60 61 102

평균 560 250 45 123596 103539 84 562 587 104

G flex2

최소 463 227 49 169669 257117 152 63000 36560 58 51830 57387 111 54839 163170 298 17 17 100

최대 950 275 29 177872 266769 150 65248 37388 57 54691 59346 109 57933 170035 294 26 27 104

평균 589 259 44 174249 263124 151 64015 37111 58 52914 58494 111 57320 167520 292 235 221 94

bull As-Is 대비 To-Be 앱의 응답시간은 빨라졌으나 메모리 사용량은 증가- 개발팀은 메모리사용량이 최소 20~30 개선된 것으로 알고 있었으나 ATAM 테스트결과 이슈 발생- 개발관련 메모리 사용량은 감소하였으나 신규로 적용한 이미지가속기 사용시 기타영역 메모리 사용량 급증- 고사양 단말에서는 이슈가 없으나 갤럭시S2 등 저사양폰에서는 앱이 죽는 현상 발생- 저사양폰의 총메모리 사용량에는 기타영역(이미지 등)은 미포함되어 있음

전체 메모리 사용량은 증가개발 관련 메모리사용은 감소

이미지가속기 관련 기타메모리영역 사용량 급증

[별첨1] ATAM 적용사례1_K은행

6개 단말기에서 18개 신용카드로 3개의 혜택 종류별 테스터 엔지니어가 수작업으로

3회씩 반복테스트를 한다면 324개 시나리오를 테스트 엔지니어 3명이 7일 소요

6 times 18= 108개 시나리오

108 times 3= 324 개 시나리오

324 times 10분(테스트소요시간)=

3240분 (약54시간)

54 8시간 times 3회= 7 일 times 3명

현재 수작업으로 5명이 64개의 시

나리오만 테스트 중

18 times 3= 54 개 시나리오

54 times 10분(테스트소요시간)=

540분 (9시간)

9 24시간 times 3회 = 12 일 (6

대 동시 실행)

현재 테스트아웃소싱을 통해 수작업 테스트 진행중이나 불필요한 반복테스트 수작업테스트커버리지부족 주요 서비스에 대한 실시간 모니터링 및 결함 자동 알람 필요성 등으로 자동테스트 솔루션 검토

솔루션 4개사 검토후ATAM 선정

[별첨2] ATAM 적용사례2_L홈쇼핑

[별첨3] 시연 환경 및 시나리오

ATAM 서버(PC1)

bull Windows OSbull 웹서버(NodeExpress)bull DB서버(Maria)bull ATAM Controllerbull 시나리오 생성bull 테스트 실행bull 결과 확인

결과 모니터

앱 실행 환경(무선)bull LTEbull 블루투스 테더링bull WiFi

아이폰 테스트 PC(Mac)

USB

테스트 단말(Test Lab)

클라이언트 PC2

bull Windows OSbull ATAM Controllerbull 시나리오 생성bull 테스트 실행bull 결과 확인

USB

bull Mac OSbull ATAM Controllerbull 시나리오 생성bull 테스트 실행bull 결과 확인

기종 제조사 OS 해상도

1 갤노트4 삼성 512 1440x2560

2 갤럭시S3 삼성 444 720x1280

3 G3 LG 444 1080x1920

∙∙∙

[단말 사양]

[별첨3] 시연 환경 및 시나리오

테스트 시나리오(LPOINT)

G3 S3노트4

테스트 단말 선택- 시나리오별 단말 선택 (1~3대)- 다양한 해상도(저중고 해상도)

자동테스트 실행 및 결과 확인

- 시나리오별 상세조회 장면별 응답시간 메모리CPU 사용률 등

- 오류장면 검출 확인 정상 장면 대비 예외 장면 오류 장면 등

- 모니터링 결과 결함 발생시 담당자 e-mail 전송

ATAM 서버(PC1)

테스트 결과 확인모니터링

No 시나리오 인증 방식 테스트단말 비고

1 혜택쿠폰로그인하이마트쿠폰다운로드쿠폰자세히보기 IDPW 갤노트4

2 LTEM롯데호텔뷔페이용권이용권선택상품상세정보 없음 갤 노트4 S3 G3

3 LPOINT카드카드안내카드신청휴대폰인증 없음 갤 노트4 S3 G3 동시단말 테스트

4 MY LBOX로그인MY포인트포인트이용내역조회(90일) IDPW 갤 노트4 동시단말 테스트

34

주식회사인터링크시스템

상담 및 문의처

TEL 02-538-5940 FAX 02-538-5928

상무 우철환 010-8487-9727 wch2137interlinkcokr

차장 양 훈 010-2841-1319 hoonyinterlinkcokr

Page 7: 모바일 앱(App) 개발 테스트 솔루션 - 인터링크시스템

2 Manual vs Automation(12)Ⅰ 테스트자동화의 필요성

수작업 테스트

bull 짧은 개발 일정과 빈번한 업데이트로 앱 테스트 절대 시간 부족bull 최소 20대 이상의 단말에서 테스트 필요 (Android 10~15종 iPhone 5~7종)bull 테스트 비용과 시간 소모가 큼 (새로운 단말 및 OS 버전 지속 출시)

앱 테스트의 어려움

좁은 test 커버리지

많은 비용 소요

소모적인 시간

Human 에러

2 Manual vs Automation(22)Ⅰ 테스트자동화의 필요성

자동 테스트

Test Lab

넓은 test커버리지

고정 비용 절감

테스트 시간 단축

실제 디바이스 사용

급변하는 경쟁 상황에 대응 하기 위한 속도 전 사용자 경험을 반영한 APP의 지속 변경 필요성 Time to market-품질 과 속도

반복 테스트

정확한 결과

3 모바일 테스트 자동화 추세

앱테스트는 초기 수작업 테스트에서 스크립트 개발을 통한 자동테스트를 거쳐 최근에는

최소의 스크립트 개발 또는 No-Script 테스트로 전환하는 단계임

수작업 테스트(~2012)

스크립트개발 테스트(반자동)(~2014)

No-Script 테스트(자동)(2015~)

bull 스크립트 개발자 필요bull 모든 단말 기능수작업 테스트

bull 개발자 불필요(no-script)

bull 테스트 품질에 집중

bull App 테스트 및 PLAY

bull 앱 변경 시 장면 교체만으로쉽게 재 테스트

bull 장면 기반의 테스트시나리오

bull 테스트 단말기 미러링(동시6대)

2012 2013 2014 2015 2016

테스트

커버리지

bull Record and play with script

bull 앱 변경시 스크립트 수정 개발 및디버깅 필요

bull 테스트품질은 개발자 역량에 좌우

Ⅰ 테스트자동화의 필요성

4 자동화 테스트 기준

bull 반복 테스트 및 모니터링이 필요한 케이스 (서버 변동이 잦은 경우)

bull 주요 핵심 프로세스로서 주기적으로 테스트가 필요한 테스트 케이스

bull 프로그램 변경 시 타 모듈에 영향을 주는 테스트 케이스

bull 다양한 데이터를 테스트 해야 하는 케이스

bull 한 개의 시나리오로 여러 종류의 단말기를 테스트하는 케이스

bull 같은 시나리오에서 선택할 데이터가 여러 종류인 경우(리스트박스)

응답시간 메모리사용량 CPU사용률 등 정량적인 테스트결과 필요 시

gt

gt

gt

gt

gt

gt

모바일 테스트 자동화란 ① 사람 개입을 최소화하고 ② 테스트 환경 설정 및 데이터 구축

③ 테스트 실행과 제어 ④ 테스트 과정 모니터링 및 보고서 등을 자동 생성

Ⅰ 테스트자동화의 필요성

gt

5 Development amp Deployment Ⅰ 테스트자동화의 필요성

ADev ampTest

Ops ampInfra

TheCustomer

TheBusiness

DevOps = Development + Operation 개발과 운영 간의 상호작용을원활하게 하는 모든 것

Cloud

AgileDevelopment

DevOpsamp Cloud

6 As-is Test AutomationⅠ 테스트자동화의 필요성

One way flow

요구사항 설 계 개 발 테스팅 운영릴리즈GoNo-Go

지속적으로축적되는 WIP

빌드 및 통합프로세스의 분산

수작업 테스트로 인한 지연 및테스트 커버리지 축소

부족한 테스트로 인한외부 결함 증가

고객 상황에 대한 통찰력 부족 및요구사항 수집의 지연

빌드 및 테스트 환경구성을 위한 시간 낭비

부족한 테스트로인한 배포 연기

수작업 APP 배포로 인한 에러 발생

업무 현황에 대한 가시성 부족으로 인한 Hand-off 지연

Lack of end-to-end visibility and trust

전통적 개발 프로세스 환경

7 To-be Test AutomationⅠ 테스트자동화의 필요성

High velocity frequent quality software release

요구사항 설 계 개 발 테스팅 운영릴리즈

Devops 개발 프로세스 환경

High velocity Frequent feedback loops

자동화 극대화 일상작업 가속화 반복성 실수와 장애 감소 지연 감소 지속적 testing delivery deployment 가시성 확보 모니터링 과 측정을 통한 피드백을 제공

ContinuousEverything

Why ATAM

15

Dev ampTest

Ops ampInfra

TheCustomer

TheBusiness

모바일 앱 테스트 서비스는 테스트 계획수립 탐색적 테스트 시나리오 설계 및 자동화 테스트 수행을

통하여 결함 검출을 극대화시키고 시나리오 및 데이터를 DEVOPS 전 과정에서 재활용합니다

1 Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 1 ATAM SERIES POSITION

① 계획분석② 탐색적테스트

④ 테스트평가③ 테스트설계구현

테스트 리스트 작성

테스트 수행

테스트 수행결과

테스트전략수립

모바일 앱 기능검토

환경파악 및 구축

테스트시나리오작성

매뉴얼 테스트

자동화대상 수행

테스트결과

테스트결과보고서

모니터링 대상 수행

풀 기능 정검 수행

ATAM-I ATAM-M ATAM-A ATAM-F

⑤ 운영

ATAM-D

ATAM-I INSTALLFETCH TEST ATAM-M MIRROR TEST ATAM-A AUTOMTION TEST

ATAM-F FULL FUNCTION TEST ATAM-D HELTHY CHECK DASH BOARD ATAM-R REPORT

ATAM-R

1 Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 2 ATAM 구조 및 특징

앱 분석기(App Crawler)와 시나리오 GUI navigator를 활용한 룰 기반 시나리오 자동생성

기능을 통해 스크립트 작성 과정 없이 자동 테스트가 가능(특허 출원)

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 3 ATAM 개요

장면 기반의 테스트 자동화 도구

Generating scenario without script

1 전체 테스트 시나리오 생성

bull 앱 분석을 통한 서비스 blue-print및 시나리오 생성

bull 실제 앱 화면 기반 시나리오(스크립트) 생성

bull 개발자의 스크립트 작성 불필요

2 자동 테스트 및 결과 저장 3 실시간 모니터링 amp분석 결과 리포팅

bull 실 환경과 동일한 단말에서기능 및 성능 측정

bull 구간성능 오류유형 반복작업등 비즈니스 룰 기반 DB화

bull 명령에 따른 안정적인 테스트

bull 서비스 출시 후 지속적인health check 및 관리

bull 다양한 차트 및 분석 결과리포트 제공

bull 실시간 앱 서비스 모니터링

ATAM App Test Automation amp Monitoring

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 4 테스트시나리오 생성

앱 분석기를 통한 앱 정보 수집 및 전체 서비스 블루프린트 생성

가능한 테스트시나리오 모두 생성

솔루션 기능 사항 설명

ATAM-A 시나리오 생성방식 시나리오 식별을 위한 스크립팅 자동화

bull 스크립트 없이 장면 크롤링 만으로 시나리오 생성

bull 화면 및 이벤트 저장만으로 시나리오 생성

bull 시나리오는 장면 흐름으로 표시되어 쉽게 식별가능

bull 앱의 전체 구성도 및 시나리오를 한눈에 확인

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 5 테스트 시나리오 생성

시나리오가 실제 장면으로 구성되어쉽게 시나리오 선택 후 테스트

스크립트 개발 없이 사용자의 간단한조작만으로 시나리오 완성 및 테스트

생성된 시나리오를 선택하면 스크립트작성 없이 즉시 테스트

OS 해상도에 상관없이 동시단말 테스트

웹 방식으로 언제 어디서나 접속하여테스트 가능

다수 단말 동시테스트 및 원격 테스트

생성된 전체 서비스 블루프린트와 시나리오 리스트에서 원하는 테스트 시나리오선택

복수 단말에서 즉시 동시테스트

장면기반 서비스 블루프린트 및 테스트 시나리오 생성

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 6 테스트 시나리오 실행

솔루션 기능 사항 설명

ATAM-A 진행 상황 모니터링 진척율 상태 등 실시간 확인

bull 프로젝트 별 시나리오 진행현황을 실시간으로 모니터링bull 단말 별 시나리오 진행현황을 실시간 확인 및 오류발생 시 e-mailSMS 알림

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 7 테스트 시나리오 변경(단일 장면)

부분 시나리오 수정 시 전체 재 작성이 아닌 부분 장면 만 교체하여 시나리오 변경

bull 변경 대상 장면 또는 장면 셋을 삭제 후 새로운장면으로 교체

bull 스크립트 없이 장면 교체만으로 시나리오 변경

bull 단일장면 교체 확인

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 8 테스트 시나리오 변경(시나리오셋 변경)

시나리오 중 공통으로 활용 가능한 장면 및 장면 셋을 모듈로 저장하여 시나리오 신규생성 또는 변경 시 모듈 삽입으로 간편하게 시나리오 생성 및 변경 기능 제공

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 9 테스트 시나리오 재 사용

시나리오 중 공통으로 활용 가능한 장면 및 장면 셋을 모듈로 저장하여 시나리오 재 사용 가능

솔루션 기능사항 설명

ATAM-A One scenario Multi device 단말기 OS 등 변경에 따른 시나리오 재사용

No

단말기종수행속도(분초)

평균응답시간(초)

1LG G3 cat6

227 147

2 LG Gflex2 155 121

3 LG G2 205 191

4 갤 노트4 208 235

5갤 S6 edge

219 243

6 갤 노트3 207 125

7 갤 S5 214 176

8 베가노트 218 258

9 갤 S3 220 191

평균 속도 212 187

bull 하나의 시나리오로Multi device 테스트 지원

bull OS종류별 단말 기종 별 9대의단말에서 동시테스트 완료

bull 하나의 PC에서 최대 9대까지수행 확인

평균응답시간 클릭후 장면간 이동완료 시간

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 10 장면 검출 기능

정상 장면 대비 오류 장면에 대한 자동 검출 및 확인 기능

오류는 아니나 정상장면과 상이한 장면도 쉽게 확인 가능

예외 장면 중 공지 이벤트 등은 확인 후 테스트 진행 오류 장면은 자동 분류 (예외 장면 패턴 사전 등록)

결함 발생 리스트 및

정상 대비 오류화면

비교 결과 제공

결함 발생 당시 시간

오류 내역 메모리

CPU 사용량 등 오류

확인 기초 정보 제공

결함 발생시 해당 내

역을 e-mail 로 실시

간 전송 제공

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 11 리포트 amp 실시간 모니터링

테스트 결과 로그를 빅 데이타 형태로 DB에 저장 및 분석을 통해 다양한 결과 리포트를 웹

Dashboard에 제공하고 앱 서비스의 상태를 실시간으로 모니터링 할 수 있도록 제공

테스트 결과 리포트 다양한 형태의 차트 및 서비스 실시간 모니터링

- 시나리오 별 장면이벤트 별 성공률 응답시간 메모리CPU 사용률 등 회차 별 비교 분석 제공(반복실행에 따른 메모리 Leak 등 오류 확인)

- 웹 방식으로 제공되기 때문에 언제 어디서나 쉽게 테스트 결과 확인 및 모니터링 가능

I 은행

스크립트 작성 없이 간편하게 GUI형태의 테스트시나리오 생성

모든 시나리오를 실제 장면으로 제공하여 일반 사용자도 쉽게 테스트 가능

일부 시나리오 녹화 방식이 아닌 전체 서비스 시나리오 생성 후 테스트 시나리오 선택 실행

앱 업데이트 시 간단한 시나리오 편집만으로 즉시 테스트 가능

앱 업데이트 시 마다 스크립트 작성 불 필요 (장면 교체 등을 통한 쉬운 업데이트)

공인인증서 등 자주 사용하는 시나리오를 공통 모듈화하여 시나리오 생성시간 최소화

실시간 모니터링 및 Health Check

결과 로그 빅 데이타 DB 저장분석으로 실시간 리포트 확인

서비스 상황 실시간 체크 가능(구간별)

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 12 ATAM 특징 요약

1

3

4

해상도OS별 다수 단말 동시테스트 및 어디서나 원격 테스트 가능

하나의 시나리오로 해상도와 OS가 다른 다수의 단말을 동시 반복테스트

하나의 시나리오로 여러 단말 동시테스트

2

Web 방식으로 단말의 위치와 관계없이 테스트 가능

원격지의 단말도 테스트 가능

테스터의 테스트 상황을 관리자가 원격에서도 실시간 모니터링 가능

5

Ⅲ Competitive Advantage 1 기능 비교

ATAM은 경쟁솔루션 대비 전체 서비스블루프린트(구성도) 제공 스크립트 개발

자 불필요 최단시간 시나리오 자동 생성 등 차별화 서비스 제공으로 최고 수준

의 경쟁력 확보

구 분 ATAM G사(국내) H사(미국) S사(미국) 비고

전체 서비스구성도 제공(장면 기반 전개도)

X X X 뱅킹앱의 경우 약 700장면

테스트시나리오 생성시간(500장면 기준)

1일 1개월 15개월 1개월

장면당 평균 생성시간 (추정)- 스크립트 작성 및 디버깅 완료- 복수단말 테스트 가능상태 기준(1인 작성시간 기준)

테스트방식장면 크롤링

(시나리오 선택 실행)Record amp Play(스크립트 편집)

Record amp Play(스크립트 편집)

Record amp Play(스크립트 편집)

실시간 모니터링 X X ATAM 다양한 차트 그래프 제공

스크립트 개발자 불필요 필요 필요 필요 경쟁사는 스크립트 개발역량에 좌우

사용 방식 웹 방식 CS 방식(Client 설치) CS 방식(Client 설치) CS 방식(Client 설치) ATAM 원격테스트 가능

사용자수 제한 없음(웹접속) PC Client 설치 수 PC Client 설치 수 PC Client 설치 수

앱 업데이트 적용 방식 장면 교체(장면당 30초) 스크립트 수정 스크립트 수정 스크립트 수정 ATAM유지보수 용이

보안 키패드 반복 테스트 자동 추가 개발 필요 추가 개발 필요 추가 개발 필요 키패드 위치 변경시 테스트 자동화

시나리오 버전 별 비교 X X X 경쟁솔루션 구성도 비교 가능

ATAM 사용시 기대효과는 단순한 비용 절감보다는 품질을 향상시켜 고품질의 앱을 유지

할 수 있으며 처리시간 메모리 사용량 등 의 성능개선 Point를 제시 합니다

테스트 비용 및 시간 절감1 신뢰성 있는 고품질 앱 유지2

수작업 대비 비용은 약 67 시간 08 소요(단말 10대 시나리오 20개 20회 반복테스트 기준)

유지보수 비용 절감3

시나리오이벤트 별 오류 응답시간 메모리 사용량 등OS별 단말 별 다양한 테스트로 높은 품질의 시험결과제공

앱 업데이트 시마다 스크립트 수정 없이 재 테스트 가능

개발자의 스크립트 개발 및 수정 관리 불필요

쉽고 정확한 테스트4

프로그램을 모르는 사용자도 쉽게 테스트 진행 가능

Human error가 없어 정확한 테스트 가능

Ⅳ 기대 효과

Full Test Coverage5

앱 테스트가 가능한 시나리오를 전체의 블루 프린트로

확인하여 누락된 시나리오 등 확인 가능

앱 변경 시 임팩트가 있는 시나리오를 전체 테스트 가능

성능 개선 Point 제시6

모니터링을 통해 CPUMemoryResponse Time 의 적정성

여부 및 개선 point 파악 가능

새로운 App 개발로 인해 기존의 App 대비 성능 향상 비교

기 사용중인 App의 테스트 가능한 시나리오와 신규 개발된 App의 시나리오를 테스트한 결과를CPUResponse TimeMemory 사용률 등을 비교 분석하여 개선점 도출 및 보완에 활용

bull 기존 앱 의 성능문제로 고객불만 발생하여 신규 클라이언트 앱 개발bull 신규 앱 을 테스트 수행하였으나 신뢰할만한 데이터의 부재

bull 1차 테스트시 응답시간 30 이상 개선되었으나 메모리 사용량 증가 확인

bull ATAM의 메모리 상세분석에서 이미지 가속기 사용확인

bull 고 사양의 폰은 큰 문제가 되지 않으나 저사양 폰에서 다운되는 현상 확인

bull ATAM의 결과 자료를 바탕으로 프로그램 개선 후 오픈(lsquo1512월 현재)

POC를 통해ATAM 선정

ATAM으로테스트 및 분석

[별첨1] ATAM 적용사례1_K은행

예금신탁계좌조회

안드로이드

응답시간 메모리사용량 nativeHeap dalvikHeap 기타 cpu_use

AS-IS TO-BE 비율 AS-IS TO-BE 비율 AS-IS TO-BE 비율 AS-IS TO-BE 비율 AS-IS TO-BE 비율 AS-IS TO-BE 비율

Galaxy 6

최소 579 217 37 252039 406504 161 42635 20169 47 66881 78620 118 142523 307715 216 14 18 129

최대 674 492 73 261462 417621 160 42887 20589 48 70636 84433 120 147939 312599 211 20 22 110

평균 635 350 55 254623 412127 162 42756 20371 48 68562 80622 118 143304 311133 217 17 20 118

Galaxy 3

최소 558 238 43 109629 86029 78 - - 21 37 176

최대 3020 331 11 118228 90526 77 - - 39 40 103

평균 1111 288 26 114439 88591 77 - - 34 388 114

베가노트

최소 471 241 51 121530 98593 81 52 56 108

최대 1049 274 26 127300 112120 88 60 61 102

평균 560 250 45 123596 103539 84 562 587 104

G flex2

최소 463 227 49 169669 257117 152 63000 36560 58 51830 57387 111 54839 163170 298 17 17 100

최대 950 275 29 177872 266769 150 65248 37388 57 54691 59346 109 57933 170035 294 26 27 104

평균 589 259 44 174249 263124 151 64015 37111 58 52914 58494 111 57320 167520 292 235 221 94

bull As-Is 대비 To-Be 앱의 응답시간은 빨라졌으나 메모리 사용량은 증가- 개발팀은 메모리사용량이 최소 20~30 개선된 것으로 알고 있었으나 ATAM 테스트결과 이슈 발생- 개발관련 메모리 사용량은 감소하였으나 신규로 적용한 이미지가속기 사용시 기타영역 메모리 사용량 급증- 고사양 단말에서는 이슈가 없으나 갤럭시S2 등 저사양폰에서는 앱이 죽는 현상 발생- 저사양폰의 총메모리 사용량에는 기타영역(이미지 등)은 미포함되어 있음

전체 메모리 사용량은 증가개발 관련 메모리사용은 감소

이미지가속기 관련 기타메모리영역 사용량 급증

[별첨1] ATAM 적용사례1_K은행

6개 단말기에서 18개 신용카드로 3개의 혜택 종류별 테스터 엔지니어가 수작업으로

3회씩 반복테스트를 한다면 324개 시나리오를 테스트 엔지니어 3명이 7일 소요

6 times 18= 108개 시나리오

108 times 3= 324 개 시나리오

324 times 10분(테스트소요시간)=

3240분 (약54시간)

54 8시간 times 3회= 7 일 times 3명

현재 수작업으로 5명이 64개의 시

나리오만 테스트 중

18 times 3= 54 개 시나리오

54 times 10분(테스트소요시간)=

540분 (9시간)

9 24시간 times 3회 = 12 일 (6

대 동시 실행)

현재 테스트아웃소싱을 통해 수작업 테스트 진행중이나 불필요한 반복테스트 수작업테스트커버리지부족 주요 서비스에 대한 실시간 모니터링 및 결함 자동 알람 필요성 등으로 자동테스트 솔루션 검토

솔루션 4개사 검토후ATAM 선정

[별첨2] ATAM 적용사례2_L홈쇼핑

[별첨3] 시연 환경 및 시나리오

ATAM 서버(PC1)

bull Windows OSbull 웹서버(NodeExpress)bull DB서버(Maria)bull ATAM Controllerbull 시나리오 생성bull 테스트 실행bull 결과 확인

결과 모니터

앱 실행 환경(무선)bull LTEbull 블루투스 테더링bull WiFi

아이폰 테스트 PC(Mac)

USB

테스트 단말(Test Lab)

클라이언트 PC2

bull Windows OSbull ATAM Controllerbull 시나리오 생성bull 테스트 실행bull 결과 확인

USB

bull Mac OSbull ATAM Controllerbull 시나리오 생성bull 테스트 실행bull 결과 확인

기종 제조사 OS 해상도

1 갤노트4 삼성 512 1440x2560

2 갤럭시S3 삼성 444 720x1280

3 G3 LG 444 1080x1920

∙∙∙

[단말 사양]

[별첨3] 시연 환경 및 시나리오

테스트 시나리오(LPOINT)

G3 S3노트4

테스트 단말 선택- 시나리오별 단말 선택 (1~3대)- 다양한 해상도(저중고 해상도)

자동테스트 실행 및 결과 확인

- 시나리오별 상세조회 장면별 응답시간 메모리CPU 사용률 등

- 오류장면 검출 확인 정상 장면 대비 예외 장면 오류 장면 등

- 모니터링 결과 결함 발생시 담당자 e-mail 전송

ATAM 서버(PC1)

테스트 결과 확인모니터링

No 시나리오 인증 방식 테스트단말 비고

1 혜택쿠폰로그인하이마트쿠폰다운로드쿠폰자세히보기 IDPW 갤노트4

2 LTEM롯데호텔뷔페이용권이용권선택상품상세정보 없음 갤 노트4 S3 G3

3 LPOINT카드카드안내카드신청휴대폰인증 없음 갤 노트4 S3 G3 동시단말 테스트

4 MY LBOX로그인MY포인트포인트이용내역조회(90일) IDPW 갤 노트4 동시단말 테스트

34

주식회사인터링크시스템

상담 및 문의처

TEL 02-538-5940 FAX 02-538-5928

상무 우철환 010-8487-9727 wch2137interlinkcokr

차장 양 훈 010-2841-1319 hoonyinterlinkcokr

Page 8: 모바일 앱(App) 개발 테스트 솔루션 - 인터링크시스템

2 Manual vs Automation(22)Ⅰ 테스트자동화의 필요성

자동 테스트

Test Lab

넓은 test커버리지

고정 비용 절감

테스트 시간 단축

실제 디바이스 사용

급변하는 경쟁 상황에 대응 하기 위한 속도 전 사용자 경험을 반영한 APP의 지속 변경 필요성 Time to market-품질 과 속도

반복 테스트

정확한 결과

3 모바일 테스트 자동화 추세

앱테스트는 초기 수작업 테스트에서 스크립트 개발을 통한 자동테스트를 거쳐 최근에는

최소의 스크립트 개발 또는 No-Script 테스트로 전환하는 단계임

수작업 테스트(~2012)

스크립트개발 테스트(반자동)(~2014)

No-Script 테스트(자동)(2015~)

bull 스크립트 개발자 필요bull 모든 단말 기능수작업 테스트

bull 개발자 불필요(no-script)

bull 테스트 품질에 집중

bull App 테스트 및 PLAY

bull 앱 변경 시 장면 교체만으로쉽게 재 테스트

bull 장면 기반의 테스트시나리오

bull 테스트 단말기 미러링(동시6대)

2012 2013 2014 2015 2016

테스트

커버리지

bull Record and play with script

bull 앱 변경시 스크립트 수정 개발 및디버깅 필요

bull 테스트품질은 개발자 역량에 좌우

Ⅰ 테스트자동화의 필요성

4 자동화 테스트 기준

bull 반복 테스트 및 모니터링이 필요한 케이스 (서버 변동이 잦은 경우)

bull 주요 핵심 프로세스로서 주기적으로 테스트가 필요한 테스트 케이스

bull 프로그램 변경 시 타 모듈에 영향을 주는 테스트 케이스

bull 다양한 데이터를 테스트 해야 하는 케이스

bull 한 개의 시나리오로 여러 종류의 단말기를 테스트하는 케이스

bull 같은 시나리오에서 선택할 데이터가 여러 종류인 경우(리스트박스)

응답시간 메모리사용량 CPU사용률 등 정량적인 테스트결과 필요 시

gt

gt

gt

gt

gt

gt

모바일 테스트 자동화란 ① 사람 개입을 최소화하고 ② 테스트 환경 설정 및 데이터 구축

③ 테스트 실행과 제어 ④ 테스트 과정 모니터링 및 보고서 등을 자동 생성

Ⅰ 테스트자동화의 필요성

gt

5 Development amp Deployment Ⅰ 테스트자동화의 필요성

ADev ampTest

Ops ampInfra

TheCustomer

TheBusiness

DevOps = Development + Operation 개발과 운영 간의 상호작용을원활하게 하는 모든 것

Cloud

AgileDevelopment

DevOpsamp Cloud

6 As-is Test AutomationⅠ 테스트자동화의 필요성

One way flow

요구사항 설 계 개 발 테스팅 운영릴리즈GoNo-Go

지속적으로축적되는 WIP

빌드 및 통합프로세스의 분산

수작업 테스트로 인한 지연 및테스트 커버리지 축소

부족한 테스트로 인한외부 결함 증가

고객 상황에 대한 통찰력 부족 및요구사항 수집의 지연

빌드 및 테스트 환경구성을 위한 시간 낭비

부족한 테스트로인한 배포 연기

수작업 APP 배포로 인한 에러 발생

업무 현황에 대한 가시성 부족으로 인한 Hand-off 지연

Lack of end-to-end visibility and trust

전통적 개발 프로세스 환경

7 To-be Test AutomationⅠ 테스트자동화의 필요성

High velocity frequent quality software release

요구사항 설 계 개 발 테스팅 운영릴리즈

Devops 개발 프로세스 환경

High velocity Frequent feedback loops

자동화 극대화 일상작업 가속화 반복성 실수와 장애 감소 지연 감소 지속적 testing delivery deployment 가시성 확보 모니터링 과 측정을 통한 피드백을 제공

ContinuousEverything

Why ATAM

15

Dev ampTest

Ops ampInfra

TheCustomer

TheBusiness

모바일 앱 테스트 서비스는 테스트 계획수립 탐색적 테스트 시나리오 설계 및 자동화 테스트 수행을

통하여 결함 검출을 극대화시키고 시나리오 및 데이터를 DEVOPS 전 과정에서 재활용합니다

1 Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 1 ATAM SERIES POSITION

① 계획분석② 탐색적테스트

④ 테스트평가③ 테스트설계구현

테스트 리스트 작성

테스트 수행

테스트 수행결과

테스트전략수립

모바일 앱 기능검토

환경파악 및 구축

테스트시나리오작성

매뉴얼 테스트

자동화대상 수행

테스트결과

테스트결과보고서

모니터링 대상 수행

풀 기능 정검 수행

ATAM-I ATAM-M ATAM-A ATAM-F

⑤ 운영

ATAM-D

ATAM-I INSTALLFETCH TEST ATAM-M MIRROR TEST ATAM-A AUTOMTION TEST

ATAM-F FULL FUNCTION TEST ATAM-D HELTHY CHECK DASH BOARD ATAM-R REPORT

ATAM-R

1 Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 2 ATAM 구조 및 특징

앱 분석기(App Crawler)와 시나리오 GUI navigator를 활용한 룰 기반 시나리오 자동생성

기능을 통해 스크립트 작성 과정 없이 자동 테스트가 가능(특허 출원)

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 3 ATAM 개요

장면 기반의 테스트 자동화 도구

Generating scenario without script

1 전체 테스트 시나리오 생성

bull 앱 분석을 통한 서비스 blue-print및 시나리오 생성

bull 실제 앱 화면 기반 시나리오(스크립트) 생성

bull 개발자의 스크립트 작성 불필요

2 자동 테스트 및 결과 저장 3 실시간 모니터링 amp분석 결과 리포팅

bull 실 환경과 동일한 단말에서기능 및 성능 측정

bull 구간성능 오류유형 반복작업등 비즈니스 룰 기반 DB화

bull 명령에 따른 안정적인 테스트

bull 서비스 출시 후 지속적인health check 및 관리

bull 다양한 차트 및 분석 결과리포트 제공

bull 실시간 앱 서비스 모니터링

ATAM App Test Automation amp Monitoring

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 4 테스트시나리오 생성

앱 분석기를 통한 앱 정보 수집 및 전체 서비스 블루프린트 생성

가능한 테스트시나리오 모두 생성

솔루션 기능 사항 설명

ATAM-A 시나리오 생성방식 시나리오 식별을 위한 스크립팅 자동화

bull 스크립트 없이 장면 크롤링 만으로 시나리오 생성

bull 화면 및 이벤트 저장만으로 시나리오 생성

bull 시나리오는 장면 흐름으로 표시되어 쉽게 식별가능

bull 앱의 전체 구성도 및 시나리오를 한눈에 확인

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 5 테스트 시나리오 생성

시나리오가 실제 장면으로 구성되어쉽게 시나리오 선택 후 테스트

스크립트 개발 없이 사용자의 간단한조작만으로 시나리오 완성 및 테스트

생성된 시나리오를 선택하면 스크립트작성 없이 즉시 테스트

OS 해상도에 상관없이 동시단말 테스트

웹 방식으로 언제 어디서나 접속하여테스트 가능

다수 단말 동시테스트 및 원격 테스트

생성된 전체 서비스 블루프린트와 시나리오 리스트에서 원하는 테스트 시나리오선택

복수 단말에서 즉시 동시테스트

장면기반 서비스 블루프린트 및 테스트 시나리오 생성

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 6 테스트 시나리오 실행

솔루션 기능 사항 설명

ATAM-A 진행 상황 모니터링 진척율 상태 등 실시간 확인

bull 프로젝트 별 시나리오 진행현황을 실시간으로 모니터링bull 단말 별 시나리오 진행현황을 실시간 확인 및 오류발생 시 e-mailSMS 알림

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 7 테스트 시나리오 변경(단일 장면)

부분 시나리오 수정 시 전체 재 작성이 아닌 부분 장면 만 교체하여 시나리오 변경

bull 변경 대상 장면 또는 장면 셋을 삭제 후 새로운장면으로 교체

bull 스크립트 없이 장면 교체만으로 시나리오 변경

bull 단일장면 교체 확인

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 8 테스트 시나리오 변경(시나리오셋 변경)

시나리오 중 공통으로 활용 가능한 장면 및 장면 셋을 모듈로 저장하여 시나리오 신규생성 또는 변경 시 모듈 삽입으로 간편하게 시나리오 생성 및 변경 기능 제공

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 9 테스트 시나리오 재 사용

시나리오 중 공통으로 활용 가능한 장면 및 장면 셋을 모듈로 저장하여 시나리오 재 사용 가능

솔루션 기능사항 설명

ATAM-A One scenario Multi device 단말기 OS 등 변경에 따른 시나리오 재사용

No

단말기종수행속도(분초)

평균응답시간(초)

1LG G3 cat6

227 147

2 LG Gflex2 155 121

3 LG G2 205 191

4 갤 노트4 208 235

5갤 S6 edge

219 243

6 갤 노트3 207 125

7 갤 S5 214 176

8 베가노트 218 258

9 갤 S3 220 191

평균 속도 212 187

bull 하나의 시나리오로Multi device 테스트 지원

bull OS종류별 단말 기종 별 9대의단말에서 동시테스트 완료

bull 하나의 PC에서 최대 9대까지수행 확인

평균응답시간 클릭후 장면간 이동완료 시간

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 10 장면 검출 기능

정상 장면 대비 오류 장면에 대한 자동 검출 및 확인 기능

오류는 아니나 정상장면과 상이한 장면도 쉽게 확인 가능

예외 장면 중 공지 이벤트 등은 확인 후 테스트 진행 오류 장면은 자동 분류 (예외 장면 패턴 사전 등록)

결함 발생 리스트 및

정상 대비 오류화면

비교 결과 제공

결함 발생 당시 시간

오류 내역 메모리

CPU 사용량 등 오류

확인 기초 정보 제공

결함 발생시 해당 내

역을 e-mail 로 실시

간 전송 제공

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 11 리포트 amp 실시간 모니터링

테스트 결과 로그를 빅 데이타 형태로 DB에 저장 및 분석을 통해 다양한 결과 리포트를 웹

Dashboard에 제공하고 앱 서비스의 상태를 실시간으로 모니터링 할 수 있도록 제공

테스트 결과 리포트 다양한 형태의 차트 및 서비스 실시간 모니터링

- 시나리오 별 장면이벤트 별 성공률 응답시간 메모리CPU 사용률 등 회차 별 비교 분석 제공(반복실행에 따른 메모리 Leak 등 오류 확인)

- 웹 방식으로 제공되기 때문에 언제 어디서나 쉽게 테스트 결과 확인 및 모니터링 가능

I 은행

스크립트 작성 없이 간편하게 GUI형태의 테스트시나리오 생성

모든 시나리오를 실제 장면으로 제공하여 일반 사용자도 쉽게 테스트 가능

일부 시나리오 녹화 방식이 아닌 전체 서비스 시나리오 생성 후 테스트 시나리오 선택 실행

앱 업데이트 시 간단한 시나리오 편집만으로 즉시 테스트 가능

앱 업데이트 시 마다 스크립트 작성 불 필요 (장면 교체 등을 통한 쉬운 업데이트)

공인인증서 등 자주 사용하는 시나리오를 공통 모듈화하여 시나리오 생성시간 최소화

실시간 모니터링 및 Health Check

결과 로그 빅 데이타 DB 저장분석으로 실시간 리포트 확인

서비스 상황 실시간 체크 가능(구간별)

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 12 ATAM 특징 요약

1

3

4

해상도OS별 다수 단말 동시테스트 및 어디서나 원격 테스트 가능

하나의 시나리오로 해상도와 OS가 다른 다수의 단말을 동시 반복테스트

하나의 시나리오로 여러 단말 동시테스트

2

Web 방식으로 단말의 위치와 관계없이 테스트 가능

원격지의 단말도 테스트 가능

테스터의 테스트 상황을 관리자가 원격에서도 실시간 모니터링 가능

5

Ⅲ Competitive Advantage 1 기능 비교

ATAM은 경쟁솔루션 대비 전체 서비스블루프린트(구성도) 제공 스크립트 개발

자 불필요 최단시간 시나리오 자동 생성 등 차별화 서비스 제공으로 최고 수준

의 경쟁력 확보

구 분 ATAM G사(국내) H사(미국) S사(미국) 비고

전체 서비스구성도 제공(장면 기반 전개도)

X X X 뱅킹앱의 경우 약 700장면

테스트시나리오 생성시간(500장면 기준)

1일 1개월 15개월 1개월

장면당 평균 생성시간 (추정)- 스크립트 작성 및 디버깅 완료- 복수단말 테스트 가능상태 기준(1인 작성시간 기준)

테스트방식장면 크롤링

(시나리오 선택 실행)Record amp Play(스크립트 편집)

Record amp Play(스크립트 편집)

Record amp Play(스크립트 편집)

실시간 모니터링 X X ATAM 다양한 차트 그래프 제공

스크립트 개발자 불필요 필요 필요 필요 경쟁사는 스크립트 개발역량에 좌우

사용 방식 웹 방식 CS 방식(Client 설치) CS 방식(Client 설치) CS 방식(Client 설치) ATAM 원격테스트 가능

사용자수 제한 없음(웹접속) PC Client 설치 수 PC Client 설치 수 PC Client 설치 수

앱 업데이트 적용 방식 장면 교체(장면당 30초) 스크립트 수정 스크립트 수정 스크립트 수정 ATAM유지보수 용이

보안 키패드 반복 테스트 자동 추가 개발 필요 추가 개발 필요 추가 개발 필요 키패드 위치 변경시 테스트 자동화

시나리오 버전 별 비교 X X X 경쟁솔루션 구성도 비교 가능

ATAM 사용시 기대효과는 단순한 비용 절감보다는 품질을 향상시켜 고품질의 앱을 유지

할 수 있으며 처리시간 메모리 사용량 등 의 성능개선 Point를 제시 합니다

테스트 비용 및 시간 절감1 신뢰성 있는 고품질 앱 유지2

수작업 대비 비용은 약 67 시간 08 소요(단말 10대 시나리오 20개 20회 반복테스트 기준)

유지보수 비용 절감3

시나리오이벤트 별 오류 응답시간 메모리 사용량 등OS별 단말 별 다양한 테스트로 높은 품질의 시험결과제공

앱 업데이트 시마다 스크립트 수정 없이 재 테스트 가능

개발자의 스크립트 개발 및 수정 관리 불필요

쉽고 정확한 테스트4

프로그램을 모르는 사용자도 쉽게 테스트 진행 가능

Human error가 없어 정확한 테스트 가능

Ⅳ 기대 효과

Full Test Coverage5

앱 테스트가 가능한 시나리오를 전체의 블루 프린트로

확인하여 누락된 시나리오 등 확인 가능

앱 변경 시 임팩트가 있는 시나리오를 전체 테스트 가능

성능 개선 Point 제시6

모니터링을 통해 CPUMemoryResponse Time 의 적정성

여부 및 개선 point 파악 가능

새로운 App 개발로 인해 기존의 App 대비 성능 향상 비교

기 사용중인 App의 테스트 가능한 시나리오와 신규 개발된 App의 시나리오를 테스트한 결과를CPUResponse TimeMemory 사용률 등을 비교 분석하여 개선점 도출 및 보완에 활용

bull 기존 앱 의 성능문제로 고객불만 발생하여 신규 클라이언트 앱 개발bull 신규 앱 을 테스트 수행하였으나 신뢰할만한 데이터의 부재

bull 1차 테스트시 응답시간 30 이상 개선되었으나 메모리 사용량 증가 확인

bull ATAM의 메모리 상세분석에서 이미지 가속기 사용확인

bull 고 사양의 폰은 큰 문제가 되지 않으나 저사양 폰에서 다운되는 현상 확인

bull ATAM의 결과 자료를 바탕으로 프로그램 개선 후 오픈(lsquo1512월 현재)

POC를 통해ATAM 선정

ATAM으로테스트 및 분석

[별첨1] ATAM 적용사례1_K은행

예금신탁계좌조회

안드로이드

응답시간 메모리사용량 nativeHeap dalvikHeap 기타 cpu_use

AS-IS TO-BE 비율 AS-IS TO-BE 비율 AS-IS TO-BE 비율 AS-IS TO-BE 비율 AS-IS TO-BE 비율 AS-IS TO-BE 비율

Galaxy 6

최소 579 217 37 252039 406504 161 42635 20169 47 66881 78620 118 142523 307715 216 14 18 129

최대 674 492 73 261462 417621 160 42887 20589 48 70636 84433 120 147939 312599 211 20 22 110

평균 635 350 55 254623 412127 162 42756 20371 48 68562 80622 118 143304 311133 217 17 20 118

Galaxy 3

최소 558 238 43 109629 86029 78 - - 21 37 176

최대 3020 331 11 118228 90526 77 - - 39 40 103

평균 1111 288 26 114439 88591 77 - - 34 388 114

베가노트

최소 471 241 51 121530 98593 81 52 56 108

최대 1049 274 26 127300 112120 88 60 61 102

평균 560 250 45 123596 103539 84 562 587 104

G flex2

최소 463 227 49 169669 257117 152 63000 36560 58 51830 57387 111 54839 163170 298 17 17 100

최대 950 275 29 177872 266769 150 65248 37388 57 54691 59346 109 57933 170035 294 26 27 104

평균 589 259 44 174249 263124 151 64015 37111 58 52914 58494 111 57320 167520 292 235 221 94

bull As-Is 대비 To-Be 앱의 응답시간은 빨라졌으나 메모리 사용량은 증가- 개발팀은 메모리사용량이 최소 20~30 개선된 것으로 알고 있었으나 ATAM 테스트결과 이슈 발생- 개발관련 메모리 사용량은 감소하였으나 신규로 적용한 이미지가속기 사용시 기타영역 메모리 사용량 급증- 고사양 단말에서는 이슈가 없으나 갤럭시S2 등 저사양폰에서는 앱이 죽는 현상 발생- 저사양폰의 총메모리 사용량에는 기타영역(이미지 등)은 미포함되어 있음

전체 메모리 사용량은 증가개발 관련 메모리사용은 감소

이미지가속기 관련 기타메모리영역 사용량 급증

[별첨1] ATAM 적용사례1_K은행

6개 단말기에서 18개 신용카드로 3개의 혜택 종류별 테스터 엔지니어가 수작업으로

3회씩 반복테스트를 한다면 324개 시나리오를 테스트 엔지니어 3명이 7일 소요

6 times 18= 108개 시나리오

108 times 3= 324 개 시나리오

324 times 10분(테스트소요시간)=

3240분 (약54시간)

54 8시간 times 3회= 7 일 times 3명

현재 수작업으로 5명이 64개의 시

나리오만 테스트 중

18 times 3= 54 개 시나리오

54 times 10분(테스트소요시간)=

540분 (9시간)

9 24시간 times 3회 = 12 일 (6

대 동시 실행)

현재 테스트아웃소싱을 통해 수작업 테스트 진행중이나 불필요한 반복테스트 수작업테스트커버리지부족 주요 서비스에 대한 실시간 모니터링 및 결함 자동 알람 필요성 등으로 자동테스트 솔루션 검토

솔루션 4개사 검토후ATAM 선정

[별첨2] ATAM 적용사례2_L홈쇼핑

[별첨3] 시연 환경 및 시나리오

ATAM 서버(PC1)

bull Windows OSbull 웹서버(NodeExpress)bull DB서버(Maria)bull ATAM Controllerbull 시나리오 생성bull 테스트 실행bull 결과 확인

결과 모니터

앱 실행 환경(무선)bull LTEbull 블루투스 테더링bull WiFi

아이폰 테스트 PC(Mac)

USB

테스트 단말(Test Lab)

클라이언트 PC2

bull Windows OSbull ATAM Controllerbull 시나리오 생성bull 테스트 실행bull 결과 확인

USB

bull Mac OSbull ATAM Controllerbull 시나리오 생성bull 테스트 실행bull 결과 확인

기종 제조사 OS 해상도

1 갤노트4 삼성 512 1440x2560

2 갤럭시S3 삼성 444 720x1280

3 G3 LG 444 1080x1920

∙∙∙

[단말 사양]

[별첨3] 시연 환경 및 시나리오

테스트 시나리오(LPOINT)

G3 S3노트4

테스트 단말 선택- 시나리오별 단말 선택 (1~3대)- 다양한 해상도(저중고 해상도)

자동테스트 실행 및 결과 확인

- 시나리오별 상세조회 장면별 응답시간 메모리CPU 사용률 등

- 오류장면 검출 확인 정상 장면 대비 예외 장면 오류 장면 등

- 모니터링 결과 결함 발생시 담당자 e-mail 전송

ATAM 서버(PC1)

테스트 결과 확인모니터링

No 시나리오 인증 방식 테스트단말 비고

1 혜택쿠폰로그인하이마트쿠폰다운로드쿠폰자세히보기 IDPW 갤노트4

2 LTEM롯데호텔뷔페이용권이용권선택상품상세정보 없음 갤 노트4 S3 G3

3 LPOINT카드카드안내카드신청휴대폰인증 없음 갤 노트4 S3 G3 동시단말 테스트

4 MY LBOX로그인MY포인트포인트이용내역조회(90일) IDPW 갤 노트4 동시단말 테스트

34

주식회사인터링크시스템

상담 및 문의처

TEL 02-538-5940 FAX 02-538-5928

상무 우철환 010-8487-9727 wch2137interlinkcokr

차장 양 훈 010-2841-1319 hoonyinterlinkcokr

Page 9: 모바일 앱(App) 개발 테스트 솔루션 - 인터링크시스템

3 모바일 테스트 자동화 추세

앱테스트는 초기 수작업 테스트에서 스크립트 개발을 통한 자동테스트를 거쳐 최근에는

최소의 스크립트 개발 또는 No-Script 테스트로 전환하는 단계임

수작업 테스트(~2012)

스크립트개발 테스트(반자동)(~2014)

No-Script 테스트(자동)(2015~)

bull 스크립트 개발자 필요bull 모든 단말 기능수작업 테스트

bull 개발자 불필요(no-script)

bull 테스트 품질에 집중

bull App 테스트 및 PLAY

bull 앱 변경 시 장면 교체만으로쉽게 재 테스트

bull 장면 기반의 테스트시나리오

bull 테스트 단말기 미러링(동시6대)

2012 2013 2014 2015 2016

테스트

커버리지

bull Record and play with script

bull 앱 변경시 스크립트 수정 개발 및디버깅 필요

bull 테스트품질은 개발자 역량에 좌우

Ⅰ 테스트자동화의 필요성

4 자동화 테스트 기준

bull 반복 테스트 및 모니터링이 필요한 케이스 (서버 변동이 잦은 경우)

bull 주요 핵심 프로세스로서 주기적으로 테스트가 필요한 테스트 케이스

bull 프로그램 변경 시 타 모듈에 영향을 주는 테스트 케이스

bull 다양한 데이터를 테스트 해야 하는 케이스

bull 한 개의 시나리오로 여러 종류의 단말기를 테스트하는 케이스

bull 같은 시나리오에서 선택할 데이터가 여러 종류인 경우(리스트박스)

응답시간 메모리사용량 CPU사용률 등 정량적인 테스트결과 필요 시

gt

gt

gt

gt

gt

gt

모바일 테스트 자동화란 ① 사람 개입을 최소화하고 ② 테스트 환경 설정 및 데이터 구축

③ 테스트 실행과 제어 ④ 테스트 과정 모니터링 및 보고서 등을 자동 생성

Ⅰ 테스트자동화의 필요성

gt

5 Development amp Deployment Ⅰ 테스트자동화의 필요성

ADev ampTest

Ops ampInfra

TheCustomer

TheBusiness

DevOps = Development + Operation 개발과 운영 간의 상호작용을원활하게 하는 모든 것

Cloud

AgileDevelopment

DevOpsamp Cloud

6 As-is Test AutomationⅠ 테스트자동화의 필요성

One way flow

요구사항 설 계 개 발 테스팅 운영릴리즈GoNo-Go

지속적으로축적되는 WIP

빌드 및 통합프로세스의 분산

수작업 테스트로 인한 지연 및테스트 커버리지 축소

부족한 테스트로 인한외부 결함 증가

고객 상황에 대한 통찰력 부족 및요구사항 수집의 지연

빌드 및 테스트 환경구성을 위한 시간 낭비

부족한 테스트로인한 배포 연기

수작업 APP 배포로 인한 에러 발생

업무 현황에 대한 가시성 부족으로 인한 Hand-off 지연

Lack of end-to-end visibility and trust

전통적 개발 프로세스 환경

7 To-be Test AutomationⅠ 테스트자동화의 필요성

High velocity frequent quality software release

요구사항 설 계 개 발 테스팅 운영릴리즈

Devops 개발 프로세스 환경

High velocity Frequent feedback loops

자동화 극대화 일상작업 가속화 반복성 실수와 장애 감소 지연 감소 지속적 testing delivery deployment 가시성 확보 모니터링 과 측정을 통한 피드백을 제공

ContinuousEverything

Why ATAM

15

Dev ampTest

Ops ampInfra

TheCustomer

TheBusiness

모바일 앱 테스트 서비스는 테스트 계획수립 탐색적 테스트 시나리오 설계 및 자동화 테스트 수행을

통하여 결함 검출을 극대화시키고 시나리오 및 데이터를 DEVOPS 전 과정에서 재활용합니다

1 Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 1 ATAM SERIES POSITION

① 계획분석② 탐색적테스트

④ 테스트평가③ 테스트설계구현

테스트 리스트 작성

테스트 수행

테스트 수행결과

테스트전략수립

모바일 앱 기능검토

환경파악 및 구축

테스트시나리오작성

매뉴얼 테스트

자동화대상 수행

테스트결과

테스트결과보고서

모니터링 대상 수행

풀 기능 정검 수행

ATAM-I ATAM-M ATAM-A ATAM-F

⑤ 운영

ATAM-D

ATAM-I INSTALLFETCH TEST ATAM-M MIRROR TEST ATAM-A AUTOMTION TEST

ATAM-F FULL FUNCTION TEST ATAM-D HELTHY CHECK DASH BOARD ATAM-R REPORT

ATAM-R

1 Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 2 ATAM 구조 및 특징

앱 분석기(App Crawler)와 시나리오 GUI navigator를 활용한 룰 기반 시나리오 자동생성

기능을 통해 스크립트 작성 과정 없이 자동 테스트가 가능(특허 출원)

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 3 ATAM 개요

장면 기반의 테스트 자동화 도구

Generating scenario without script

1 전체 테스트 시나리오 생성

bull 앱 분석을 통한 서비스 blue-print및 시나리오 생성

bull 실제 앱 화면 기반 시나리오(스크립트) 생성

bull 개발자의 스크립트 작성 불필요

2 자동 테스트 및 결과 저장 3 실시간 모니터링 amp분석 결과 리포팅

bull 실 환경과 동일한 단말에서기능 및 성능 측정

bull 구간성능 오류유형 반복작업등 비즈니스 룰 기반 DB화

bull 명령에 따른 안정적인 테스트

bull 서비스 출시 후 지속적인health check 및 관리

bull 다양한 차트 및 분석 결과리포트 제공

bull 실시간 앱 서비스 모니터링

ATAM App Test Automation amp Monitoring

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 4 테스트시나리오 생성

앱 분석기를 통한 앱 정보 수집 및 전체 서비스 블루프린트 생성

가능한 테스트시나리오 모두 생성

솔루션 기능 사항 설명

ATAM-A 시나리오 생성방식 시나리오 식별을 위한 스크립팅 자동화

bull 스크립트 없이 장면 크롤링 만으로 시나리오 생성

bull 화면 및 이벤트 저장만으로 시나리오 생성

bull 시나리오는 장면 흐름으로 표시되어 쉽게 식별가능

bull 앱의 전체 구성도 및 시나리오를 한눈에 확인

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 5 테스트 시나리오 생성

시나리오가 실제 장면으로 구성되어쉽게 시나리오 선택 후 테스트

스크립트 개발 없이 사용자의 간단한조작만으로 시나리오 완성 및 테스트

생성된 시나리오를 선택하면 스크립트작성 없이 즉시 테스트

OS 해상도에 상관없이 동시단말 테스트

웹 방식으로 언제 어디서나 접속하여테스트 가능

다수 단말 동시테스트 및 원격 테스트

생성된 전체 서비스 블루프린트와 시나리오 리스트에서 원하는 테스트 시나리오선택

복수 단말에서 즉시 동시테스트

장면기반 서비스 블루프린트 및 테스트 시나리오 생성

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 6 테스트 시나리오 실행

솔루션 기능 사항 설명

ATAM-A 진행 상황 모니터링 진척율 상태 등 실시간 확인

bull 프로젝트 별 시나리오 진행현황을 실시간으로 모니터링bull 단말 별 시나리오 진행현황을 실시간 확인 및 오류발생 시 e-mailSMS 알림

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 7 테스트 시나리오 변경(단일 장면)

부분 시나리오 수정 시 전체 재 작성이 아닌 부분 장면 만 교체하여 시나리오 변경

bull 변경 대상 장면 또는 장면 셋을 삭제 후 새로운장면으로 교체

bull 스크립트 없이 장면 교체만으로 시나리오 변경

bull 단일장면 교체 확인

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 8 테스트 시나리오 변경(시나리오셋 변경)

시나리오 중 공통으로 활용 가능한 장면 및 장면 셋을 모듈로 저장하여 시나리오 신규생성 또는 변경 시 모듈 삽입으로 간편하게 시나리오 생성 및 변경 기능 제공

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 9 테스트 시나리오 재 사용

시나리오 중 공통으로 활용 가능한 장면 및 장면 셋을 모듈로 저장하여 시나리오 재 사용 가능

솔루션 기능사항 설명

ATAM-A One scenario Multi device 단말기 OS 등 변경에 따른 시나리오 재사용

No

단말기종수행속도(분초)

평균응답시간(초)

1LG G3 cat6

227 147

2 LG Gflex2 155 121

3 LG G2 205 191

4 갤 노트4 208 235

5갤 S6 edge

219 243

6 갤 노트3 207 125

7 갤 S5 214 176

8 베가노트 218 258

9 갤 S3 220 191

평균 속도 212 187

bull 하나의 시나리오로Multi device 테스트 지원

bull OS종류별 단말 기종 별 9대의단말에서 동시테스트 완료

bull 하나의 PC에서 최대 9대까지수행 확인

평균응답시간 클릭후 장면간 이동완료 시간

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 10 장면 검출 기능

정상 장면 대비 오류 장면에 대한 자동 검출 및 확인 기능

오류는 아니나 정상장면과 상이한 장면도 쉽게 확인 가능

예외 장면 중 공지 이벤트 등은 확인 후 테스트 진행 오류 장면은 자동 분류 (예외 장면 패턴 사전 등록)

결함 발생 리스트 및

정상 대비 오류화면

비교 결과 제공

결함 발생 당시 시간

오류 내역 메모리

CPU 사용량 등 오류

확인 기초 정보 제공

결함 발생시 해당 내

역을 e-mail 로 실시

간 전송 제공

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 11 리포트 amp 실시간 모니터링

테스트 결과 로그를 빅 데이타 형태로 DB에 저장 및 분석을 통해 다양한 결과 리포트를 웹

Dashboard에 제공하고 앱 서비스의 상태를 실시간으로 모니터링 할 수 있도록 제공

테스트 결과 리포트 다양한 형태의 차트 및 서비스 실시간 모니터링

- 시나리오 별 장면이벤트 별 성공률 응답시간 메모리CPU 사용률 등 회차 별 비교 분석 제공(반복실행에 따른 메모리 Leak 등 오류 확인)

- 웹 방식으로 제공되기 때문에 언제 어디서나 쉽게 테스트 결과 확인 및 모니터링 가능

I 은행

스크립트 작성 없이 간편하게 GUI형태의 테스트시나리오 생성

모든 시나리오를 실제 장면으로 제공하여 일반 사용자도 쉽게 테스트 가능

일부 시나리오 녹화 방식이 아닌 전체 서비스 시나리오 생성 후 테스트 시나리오 선택 실행

앱 업데이트 시 간단한 시나리오 편집만으로 즉시 테스트 가능

앱 업데이트 시 마다 스크립트 작성 불 필요 (장면 교체 등을 통한 쉬운 업데이트)

공인인증서 등 자주 사용하는 시나리오를 공통 모듈화하여 시나리오 생성시간 최소화

실시간 모니터링 및 Health Check

결과 로그 빅 데이타 DB 저장분석으로 실시간 리포트 확인

서비스 상황 실시간 체크 가능(구간별)

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 12 ATAM 특징 요약

1

3

4

해상도OS별 다수 단말 동시테스트 및 어디서나 원격 테스트 가능

하나의 시나리오로 해상도와 OS가 다른 다수의 단말을 동시 반복테스트

하나의 시나리오로 여러 단말 동시테스트

2

Web 방식으로 단말의 위치와 관계없이 테스트 가능

원격지의 단말도 테스트 가능

테스터의 테스트 상황을 관리자가 원격에서도 실시간 모니터링 가능

5

Ⅲ Competitive Advantage 1 기능 비교

ATAM은 경쟁솔루션 대비 전체 서비스블루프린트(구성도) 제공 스크립트 개발

자 불필요 최단시간 시나리오 자동 생성 등 차별화 서비스 제공으로 최고 수준

의 경쟁력 확보

구 분 ATAM G사(국내) H사(미국) S사(미국) 비고

전체 서비스구성도 제공(장면 기반 전개도)

X X X 뱅킹앱의 경우 약 700장면

테스트시나리오 생성시간(500장면 기준)

1일 1개월 15개월 1개월

장면당 평균 생성시간 (추정)- 스크립트 작성 및 디버깅 완료- 복수단말 테스트 가능상태 기준(1인 작성시간 기준)

테스트방식장면 크롤링

(시나리오 선택 실행)Record amp Play(스크립트 편집)

Record amp Play(스크립트 편집)

Record amp Play(스크립트 편집)

실시간 모니터링 X X ATAM 다양한 차트 그래프 제공

스크립트 개발자 불필요 필요 필요 필요 경쟁사는 스크립트 개발역량에 좌우

사용 방식 웹 방식 CS 방식(Client 설치) CS 방식(Client 설치) CS 방식(Client 설치) ATAM 원격테스트 가능

사용자수 제한 없음(웹접속) PC Client 설치 수 PC Client 설치 수 PC Client 설치 수

앱 업데이트 적용 방식 장면 교체(장면당 30초) 스크립트 수정 스크립트 수정 스크립트 수정 ATAM유지보수 용이

보안 키패드 반복 테스트 자동 추가 개발 필요 추가 개발 필요 추가 개발 필요 키패드 위치 변경시 테스트 자동화

시나리오 버전 별 비교 X X X 경쟁솔루션 구성도 비교 가능

ATAM 사용시 기대효과는 단순한 비용 절감보다는 품질을 향상시켜 고품질의 앱을 유지

할 수 있으며 처리시간 메모리 사용량 등 의 성능개선 Point를 제시 합니다

테스트 비용 및 시간 절감1 신뢰성 있는 고품질 앱 유지2

수작업 대비 비용은 약 67 시간 08 소요(단말 10대 시나리오 20개 20회 반복테스트 기준)

유지보수 비용 절감3

시나리오이벤트 별 오류 응답시간 메모리 사용량 등OS별 단말 별 다양한 테스트로 높은 품질의 시험결과제공

앱 업데이트 시마다 스크립트 수정 없이 재 테스트 가능

개발자의 스크립트 개발 및 수정 관리 불필요

쉽고 정확한 테스트4

프로그램을 모르는 사용자도 쉽게 테스트 진행 가능

Human error가 없어 정확한 테스트 가능

Ⅳ 기대 효과

Full Test Coverage5

앱 테스트가 가능한 시나리오를 전체의 블루 프린트로

확인하여 누락된 시나리오 등 확인 가능

앱 변경 시 임팩트가 있는 시나리오를 전체 테스트 가능

성능 개선 Point 제시6

모니터링을 통해 CPUMemoryResponse Time 의 적정성

여부 및 개선 point 파악 가능

새로운 App 개발로 인해 기존의 App 대비 성능 향상 비교

기 사용중인 App의 테스트 가능한 시나리오와 신규 개발된 App의 시나리오를 테스트한 결과를CPUResponse TimeMemory 사용률 등을 비교 분석하여 개선점 도출 및 보완에 활용

bull 기존 앱 의 성능문제로 고객불만 발생하여 신규 클라이언트 앱 개발bull 신규 앱 을 테스트 수행하였으나 신뢰할만한 데이터의 부재

bull 1차 테스트시 응답시간 30 이상 개선되었으나 메모리 사용량 증가 확인

bull ATAM의 메모리 상세분석에서 이미지 가속기 사용확인

bull 고 사양의 폰은 큰 문제가 되지 않으나 저사양 폰에서 다운되는 현상 확인

bull ATAM의 결과 자료를 바탕으로 프로그램 개선 후 오픈(lsquo1512월 현재)

POC를 통해ATAM 선정

ATAM으로테스트 및 분석

[별첨1] ATAM 적용사례1_K은행

예금신탁계좌조회

안드로이드

응답시간 메모리사용량 nativeHeap dalvikHeap 기타 cpu_use

AS-IS TO-BE 비율 AS-IS TO-BE 비율 AS-IS TO-BE 비율 AS-IS TO-BE 비율 AS-IS TO-BE 비율 AS-IS TO-BE 비율

Galaxy 6

최소 579 217 37 252039 406504 161 42635 20169 47 66881 78620 118 142523 307715 216 14 18 129

최대 674 492 73 261462 417621 160 42887 20589 48 70636 84433 120 147939 312599 211 20 22 110

평균 635 350 55 254623 412127 162 42756 20371 48 68562 80622 118 143304 311133 217 17 20 118

Galaxy 3

최소 558 238 43 109629 86029 78 - - 21 37 176

최대 3020 331 11 118228 90526 77 - - 39 40 103

평균 1111 288 26 114439 88591 77 - - 34 388 114

베가노트

최소 471 241 51 121530 98593 81 52 56 108

최대 1049 274 26 127300 112120 88 60 61 102

평균 560 250 45 123596 103539 84 562 587 104

G flex2

최소 463 227 49 169669 257117 152 63000 36560 58 51830 57387 111 54839 163170 298 17 17 100

최대 950 275 29 177872 266769 150 65248 37388 57 54691 59346 109 57933 170035 294 26 27 104

평균 589 259 44 174249 263124 151 64015 37111 58 52914 58494 111 57320 167520 292 235 221 94

bull As-Is 대비 To-Be 앱의 응답시간은 빨라졌으나 메모리 사용량은 증가- 개발팀은 메모리사용량이 최소 20~30 개선된 것으로 알고 있었으나 ATAM 테스트결과 이슈 발생- 개발관련 메모리 사용량은 감소하였으나 신규로 적용한 이미지가속기 사용시 기타영역 메모리 사용량 급증- 고사양 단말에서는 이슈가 없으나 갤럭시S2 등 저사양폰에서는 앱이 죽는 현상 발생- 저사양폰의 총메모리 사용량에는 기타영역(이미지 등)은 미포함되어 있음

전체 메모리 사용량은 증가개발 관련 메모리사용은 감소

이미지가속기 관련 기타메모리영역 사용량 급증

[별첨1] ATAM 적용사례1_K은행

6개 단말기에서 18개 신용카드로 3개의 혜택 종류별 테스터 엔지니어가 수작업으로

3회씩 반복테스트를 한다면 324개 시나리오를 테스트 엔지니어 3명이 7일 소요

6 times 18= 108개 시나리오

108 times 3= 324 개 시나리오

324 times 10분(테스트소요시간)=

3240분 (약54시간)

54 8시간 times 3회= 7 일 times 3명

현재 수작업으로 5명이 64개의 시

나리오만 테스트 중

18 times 3= 54 개 시나리오

54 times 10분(테스트소요시간)=

540분 (9시간)

9 24시간 times 3회 = 12 일 (6

대 동시 실행)

현재 테스트아웃소싱을 통해 수작업 테스트 진행중이나 불필요한 반복테스트 수작업테스트커버리지부족 주요 서비스에 대한 실시간 모니터링 및 결함 자동 알람 필요성 등으로 자동테스트 솔루션 검토

솔루션 4개사 검토후ATAM 선정

[별첨2] ATAM 적용사례2_L홈쇼핑

[별첨3] 시연 환경 및 시나리오

ATAM 서버(PC1)

bull Windows OSbull 웹서버(NodeExpress)bull DB서버(Maria)bull ATAM Controllerbull 시나리오 생성bull 테스트 실행bull 결과 확인

결과 모니터

앱 실행 환경(무선)bull LTEbull 블루투스 테더링bull WiFi

아이폰 테스트 PC(Mac)

USB

테스트 단말(Test Lab)

클라이언트 PC2

bull Windows OSbull ATAM Controllerbull 시나리오 생성bull 테스트 실행bull 결과 확인

USB

bull Mac OSbull ATAM Controllerbull 시나리오 생성bull 테스트 실행bull 결과 확인

기종 제조사 OS 해상도

1 갤노트4 삼성 512 1440x2560

2 갤럭시S3 삼성 444 720x1280

3 G3 LG 444 1080x1920

∙∙∙

[단말 사양]

[별첨3] 시연 환경 및 시나리오

테스트 시나리오(LPOINT)

G3 S3노트4

테스트 단말 선택- 시나리오별 단말 선택 (1~3대)- 다양한 해상도(저중고 해상도)

자동테스트 실행 및 결과 확인

- 시나리오별 상세조회 장면별 응답시간 메모리CPU 사용률 등

- 오류장면 검출 확인 정상 장면 대비 예외 장면 오류 장면 등

- 모니터링 결과 결함 발생시 담당자 e-mail 전송

ATAM 서버(PC1)

테스트 결과 확인모니터링

No 시나리오 인증 방식 테스트단말 비고

1 혜택쿠폰로그인하이마트쿠폰다운로드쿠폰자세히보기 IDPW 갤노트4

2 LTEM롯데호텔뷔페이용권이용권선택상품상세정보 없음 갤 노트4 S3 G3

3 LPOINT카드카드안내카드신청휴대폰인증 없음 갤 노트4 S3 G3 동시단말 테스트

4 MY LBOX로그인MY포인트포인트이용내역조회(90일) IDPW 갤 노트4 동시단말 테스트

34

주식회사인터링크시스템

상담 및 문의처

TEL 02-538-5940 FAX 02-538-5928

상무 우철환 010-8487-9727 wch2137interlinkcokr

차장 양 훈 010-2841-1319 hoonyinterlinkcokr

Page 10: 모바일 앱(App) 개발 테스트 솔루션 - 인터링크시스템

4 자동화 테스트 기준

bull 반복 테스트 및 모니터링이 필요한 케이스 (서버 변동이 잦은 경우)

bull 주요 핵심 프로세스로서 주기적으로 테스트가 필요한 테스트 케이스

bull 프로그램 변경 시 타 모듈에 영향을 주는 테스트 케이스

bull 다양한 데이터를 테스트 해야 하는 케이스

bull 한 개의 시나리오로 여러 종류의 단말기를 테스트하는 케이스

bull 같은 시나리오에서 선택할 데이터가 여러 종류인 경우(리스트박스)

응답시간 메모리사용량 CPU사용률 등 정량적인 테스트결과 필요 시

gt

gt

gt

gt

gt

gt

모바일 테스트 자동화란 ① 사람 개입을 최소화하고 ② 테스트 환경 설정 및 데이터 구축

③ 테스트 실행과 제어 ④ 테스트 과정 모니터링 및 보고서 등을 자동 생성

Ⅰ 테스트자동화의 필요성

gt

5 Development amp Deployment Ⅰ 테스트자동화의 필요성

ADev ampTest

Ops ampInfra

TheCustomer

TheBusiness

DevOps = Development + Operation 개발과 운영 간의 상호작용을원활하게 하는 모든 것

Cloud

AgileDevelopment

DevOpsamp Cloud

6 As-is Test AutomationⅠ 테스트자동화의 필요성

One way flow

요구사항 설 계 개 발 테스팅 운영릴리즈GoNo-Go

지속적으로축적되는 WIP

빌드 및 통합프로세스의 분산

수작업 테스트로 인한 지연 및테스트 커버리지 축소

부족한 테스트로 인한외부 결함 증가

고객 상황에 대한 통찰력 부족 및요구사항 수집의 지연

빌드 및 테스트 환경구성을 위한 시간 낭비

부족한 테스트로인한 배포 연기

수작업 APP 배포로 인한 에러 발생

업무 현황에 대한 가시성 부족으로 인한 Hand-off 지연

Lack of end-to-end visibility and trust

전통적 개발 프로세스 환경

7 To-be Test AutomationⅠ 테스트자동화의 필요성

High velocity frequent quality software release

요구사항 설 계 개 발 테스팅 운영릴리즈

Devops 개발 프로세스 환경

High velocity Frequent feedback loops

자동화 극대화 일상작업 가속화 반복성 실수와 장애 감소 지연 감소 지속적 testing delivery deployment 가시성 확보 모니터링 과 측정을 통한 피드백을 제공

ContinuousEverything

Why ATAM

15

Dev ampTest

Ops ampInfra

TheCustomer

TheBusiness

모바일 앱 테스트 서비스는 테스트 계획수립 탐색적 테스트 시나리오 설계 및 자동화 테스트 수행을

통하여 결함 검출을 극대화시키고 시나리오 및 데이터를 DEVOPS 전 과정에서 재활용합니다

1 Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 1 ATAM SERIES POSITION

① 계획분석② 탐색적테스트

④ 테스트평가③ 테스트설계구현

테스트 리스트 작성

테스트 수행

테스트 수행결과

테스트전략수립

모바일 앱 기능검토

환경파악 및 구축

테스트시나리오작성

매뉴얼 테스트

자동화대상 수행

테스트결과

테스트결과보고서

모니터링 대상 수행

풀 기능 정검 수행

ATAM-I ATAM-M ATAM-A ATAM-F

⑤ 운영

ATAM-D

ATAM-I INSTALLFETCH TEST ATAM-M MIRROR TEST ATAM-A AUTOMTION TEST

ATAM-F FULL FUNCTION TEST ATAM-D HELTHY CHECK DASH BOARD ATAM-R REPORT

ATAM-R

1 Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 2 ATAM 구조 및 특징

앱 분석기(App Crawler)와 시나리오 GUI navigator를 활용한 룰 기반 시나리오 자동생성

기능을 통해 스크립트 작성 과정 없이 자동 테스트가 가능(특허 출원)

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 3 ATAM 개요

장면 기반의 테스트 자동화 도구

Generating scenario without script

1 전체 테스트 시나리오 생성

bull 앱 분석을 통한 서비스 blue-print및 시나리오 생성

bull 실제 앱 화면 기반 시나리오(스크립트) 생성

bull 개발자의 스크립트 작성 불필요

2 자동 테스트 및 결과 저장 3 실시간 모니터링 amp분석 결과 리포팅

bull 실 환경과 동일한 단말에서기능 및 성능 측정

bull 구간성능 오류유형 반복작업등 비즈니스 룰 기반 DB화

bull 명령에 따른 안정적인 테스트

bull 서비스 출시 후 지속적인health check 및 관리

bull 다양한 차트 및 분석 결과리포트 제공

bull 실시간 앱 서비스 모니터링

ATAM App Test Automation amp Monitoring

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 4 테스트시나리오 생성

앱 분석기를 통한 앱 정보 수집 및 전체 서비스 블루프린트 생성

가능한 테스트시나리오 모두 생성

솔루션 기능 사항 설명

ATAM-A 시나리오 생성방식 시나리오 식별을 위한 스크립팅 자동화

bull 스크립트 없이 장면 크롤링 만으로 시나리오 생성

bull 화면 및 이벤트 저장만으로 시나리오 생성

bull 시나리오는 장면 흐름으로 표시되어 쉽게 식별가능

bull 앱의 전체 구성도 및 시나리오를 한눈에 확인

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 5 테스트 시나리오 생성

시나리오가 실제 장면으로 구성되어쉽게 시나리오 선택 후 테스트

스크립트 개발 없이 사용자의 간단한조작만으로 시나리오 완성 및 테스트

생성된 시나리오를 선택하면 스크립트작성 없이 즉시 테스트

OS 해상도에 상관없이 동시단말 테스트

웹 방식으로 언제 어디서나 접속하여테스트 가능

다수 단말 동시테스트 및 원격 테스트

생성된 전체 서비스 블루프린트와 시나리오 리스트에서 원하는 테스트 시나리오선택

복수 단말에서 즉시 동시테스트

장면기반 서비스 블루프린트 및 테스트 시나리오 생성

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 6 테스트 시나리오 실행

솔루션 기능 사항 설명

ATAM-A 진행 상황 모니터링 진척율 상태 등 실시간 확인

bull 프로젝트 별 시나리오 진행현황을 실시간으로 모니터링bull 단말 별 시나리오 진행현황을 실시간 확인 및 오류발생 시 e-mailSMS 알림

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 7 테스트 시나리오 변경(단일 장면)

부분 시나리오 수정 시 전체 재 작성이 아닌 부분 장면 만 교체하여 시나리오 변경

bull 변경 대상 장면 또는 장면 셋을 삭제 후 새로운장면으로 교체

bull 스크립트 없이 장면 교체만으로 시나리오 변경

bull 단일장면 교체 확인

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 8 테스트 시나리오 변경(시나리오셋 변경)

시나리오 중 공통으로 활용 가능한 장면 및 장면 셋을 모듈로 저장하여 시나리오 신규생성 또는 변경 시 모듈 삽입으로 간편하게 시나리오 생성 및 변경 기능 제공

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 9 테스트 시나리오 재 사용

시나리오 중 공통으로 활용 가능한 장면 및 장면 셋을 모듈로 저장하여 시나리오 재 사용 가능

솔루션 기능사항 설명

ATAM-A One scenario Multi device 단말기 OS 등 변경에 따른 시나리오 재사용

No

단말기종수행속도(분초)

평균응답시간(초)

1LG G3 cat6

227 147

2 LG Gflex2 155 121

3 LG G2 205 191

4 갤 노트4 208 235

5갤 S6 edge

219 243

6 갤 노트3 207 125

7 갤 S5 214 176

8 베가노트 218 258

9 갤 S3 220 191

평균 속도 212 187

bull 하나의 시나리오로Multi device 테스트 지원

bull OS종류별 단말 기종 별 9대의단말에서 동시테스트 완료

bull 하나의 PC에서 최대 9대까지수행 확인

평균응답시간 클릭후 장면간 이동완료 시간

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 10 장면 검출 기능

정상 장면 대비 오류 장면에 대한 자동 검출 및 확인 기능

오류는 아니나 정상장면과 상이한 장면도 쉽게 확인 가능

예외 장면 중 공지 이벤트 등은 확인 후 테스트 진행 오류 장면은 자동 분류 (예외 장면 패턴 사전 등록)

결함 발생 리스트 및

정상 대비 오류화면

비교 결과 제공

결함 발생 당시 시간

오류 내역 메모리

CPU 사용량 등 오류

확인 기초 정보 제공

결함 발생시 해당 내

역을 e-mail 로 실시

간 전송 제공

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 11 리포트 amp 실시간 모니터링

테스트 결과 로그를 빅 데이타 형태로 DB에 저장 및 분석을 통해 다양한 결과 리포트를 웹

Dashboard에 제공하고 앱 서비스의 상태를 실시간으로 모니터링 할 수 있도록 제공

테스트 결과 리포트 다양한 형태의 차트 및 서비스 실시간 모니터링

- 시나리오 별 장면이벤트 별 성공률 응답시간 메모리CPU 사용률 등 회차 별 비교 분석 제공(반복실행에 따른 메모리 Leak 등 오류 확인)

- 웹 방식으로 제공되기 때문에 언제 어디서나 쉽게 테스트 결과 확인 및 모니터링 가능

I 은행

스크립트 작성 없이 간편하게 GUI형태의 테스트시나리오 생성

모든 시나리오를 실제 장면으로 제공하여 일반 사용자도 쉽게 테스트 가능

일부 시나리오 녹화 방식이 아닌 전체 서비스 시나리오 생성 후 테스트 시나리오 선택 실행

앱 업데이트 시 간단한 시나리오 편집만으로 즉시 테스트 가능

앱 업데이트 시 마다 스크립트 작성 불 필요 (장면 교체 등을 통한 쉬운 업데이트)

공인인증서 등 자주 사용하는 시나리오를 공통 모듈화하여 시나리오 생성시간 최소화

실시간 모니터링 및 Health Check

결과 로그 빅 데이타 DB 저장분석으로 실시간 리포트 확인

서비스 상황 실시간 체크 가능(구간별)

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 12 ATAM 특징 요약

1

3

4

해상도OS별 다수 단말 동시테스트 및 어디서나 원격 테스트 가능

하나의 시나리오로 해상도와 OS가 다른 다수의 단말을 동시 반복테스트

하나의 시나리오로 여러 단말 동시테스트

2

Web 방식으로 단말의 위치와 관계없이 테스트 가능

원격지의 단말도 테스트 가능

테스터의 테스트 상황을 관리자가 원격에서도 실시간 모니터링 가능

5

Ⅲ Competitive Advantage 1 기능 비교

ATAM은 경쟁솔루션 대비 전체 서비스블루프린트(구성도) 제공 스크립트 개발

자 불필요 최단시간 시나리오 자동 생성 등 차별화 서비스 제공으로 최고 수준

의 경쟁력 확보

구 분 ATAM G사(국내) H사(미국) S사(미국) 비고

전체 서비스구성도 제공(장면 기반 전개도)

X X X 뱅킹앱의 경우 약 700장면

테스트시나리오 생성시간(500장면 기준)

1일 1개월 15개월 1개월

장면당 평균 생성시간 (추정)- 스크립트 작성 및 디버깅 완료- 복수단말 테스트 가능상태 기준(1인 작성시간 기준)

테스트방식장면 크롤링

(시나리오 선택 실행)Record amp Play(스크립트 편집)

Record amp Play(스크립트 편집)

Record amp Play(스크립트 편집)

실시간 모니터링 X X ATAM 다양한 차트 그래프 제공

스크립트 개발자 불필요 필요 필요 필요 경쟁사는 스크립트 개발역량에 좌우

사용 방식 웹 방식 CS 방식(Client 설치) CS 방식(Client 설치) CS 방식(Client 설치) ATAM 원격테스트 가능

사용자수 제한 없음(웹접속) PC Client 설치 수 PC Client 설치 수 PC Client 설치 수

앱 업데이트 적용 방식 장면 교체(장면당 30초) 스크립트 수정 스크립트 수정 스크립트 수정 ATAM유지보수 용이

보안 키패드 반복 테스트 자동 추가 개발 필요 추가 개발 필요 추가 개발 필요 키패드 위치 변경시 테스트 자동화

시나리오 버전 별 비교 X X X 경쟁솔루션 구성도 비교 가능

ATAM 사용시 기대효과는 단순한 비용 절감보다는 품질을 향상시켜 고품질의 앱을 유지

할 수 있으며 처리시간 메모리 사용량 등 의 성능개선 Point를 제시 합니다

테스트 비용 및 시간 절감1 신뢰성 있는 고품질 앱 유지2

수작업 대비 비용은 약 67 시간 08 소요(단말 10대 시나리오 20개 20회 반복테스트 기준)

유지보수 비용 절감3

시나리오이벤트 별 오류 응답시간 메모리 사용량 등OS별 단말 별 다양한 테스트로 높은 품질의 시험결과제공

앱 업데이트 시마다 스크립트 수정 없이 재 테스트 가능

개발자의 스크립트 개발 및 수정 관리 불필요

쉽고 정확한 테스트4

프로그램을 모르는 사용자도 쉽게 테스트 진행 가능

Human error가 없어 정확한 테스트 가능

Ⅳ 기대 효과

Full Test Coverage5

앱 테스트가 가능한 시나리오를 전체의 블루 프린트로

확인하여 누락된 시나리오 등 확인 가능

앱 변경 시 임팩트가 있는 시나리오를 전체 테스트 가능

성능 개선 Point 제시6

모니터링을 통해 CPUMemoryResponse Time 의 적정성

여부 및 개선 point 파악 가능

새로운 App 개발로 인해 기존의 App 대비 성능 향상 비교

기 사용중인 App의 테스트 가능한 시나리오와 신규 개발된 App의 시나리오를 테스트한 결과를CPUResponse TimeMemory 사용률 등을 비교 분석하여 개선점 도출 및 보완에 활용

bull 기존 앱 의 성능문제로 고객불만 발생하여 신규 클라이언트 앱 개발bull 신규 앱 을 테스트 수행하였으나 신뢰할만한 데이터의 부재

bull 1차 테스트시 응답시간 30 이상 개선되었으나 메모리 사용량 증가 확인

bull ATAM의 메모리 상세분석에서 이미지 가속기 사용확인

bull 고 사양의 폰은 큰 문제가 되지 않으나 저사양 폰에서 다운되는 현상 확인

bull ATAM의 결과 자료를 바탕으로 프로그램 개선 후 오픈(lsquo1512월 현재)

POC를 통해ATAM 선정

ATAM으로테스트 및 분석

[별첨1] ATAM 적용사례1_K은행

예금신탁계좌조회

안드로이드

응답시간 메모리사용량 nativeHeap dalvikHeap 기타 cpu_use

AS-IS TO-BE 비율 AS-IS TO-BE 비율 AS-IS TO-BE 비율 AS-IS TO-BE 비율 AS-IS TO-BE 비율 AS-IS TO-BE 비율

Galaxy 6

최소 579 217 37 252039 406504 161 42635 20169 47 66881 78620 118 142523 307715 216 14 18 129

최대 674 492 73 261462 417621 160 42887 20589 48 70636 84433 120 147939 312599 211 20 22 110

평균 635 350 55 254623 412127 162 42756 20371 48 68562 80622 118 143304 311133 217 17 20 118

Galaxy 3

최소 558 238 43 109629 86029 78 - - 21 37 176

최대 3020 331 11 118228 90526 77 - - 39 40 103

평균 1111 288 26 114439 88591 77 - - 34 388 114

베가노트

최소 471 241 51 121530 98593 81 52 56 108

최대 1049 274 26 127300 112120 88 60 61 102

평균 560 250 45 123596 103539 84 562 587 104

G flex2

최소 463 227 49 169669 257117 152 63000 36560 58 51830 57387 111 54839 163170 298 17 17 100

최대 950 275 29 177872 266769 150 65248 37388 57 54691 59346 109 57933 170035 294 26 27 104

평균 589 259 44 174249 263124 151 64015 37111 58 52914 58494 111 57320 167520 292 235 221 94

bull As-Is 대비 To-Be 앱의 응답시간은 빨라졌으나 메모리 사용량은 증가- 개발팀은 메모리사용량이 최소 20~30 개선된 것으로 알고 있었으나 ATAM 테스트결과 이슈 발생- 개발관련 메모리 사용량은 감소하였으나 신규로 적용한 이미지가속기 사용시 기타영역 메모리 사용량 급증- 고사양 단말에서는 이슈가 없으나 갤럭시S2 등 저사양폰에서는 앱이 죽는 현상 발생- 저사양폰의 총메모리 사용량에는 기타영역(이미지 등)은 미포함되어 있음

전체 메모리 사용량은 증가개발 관련 메모리사용은 감소

이미지가속기 관련 기타메모리영역 사용량 급증

[별첨1] ATAM 적용사례1_K은행

6개 단말기에서 18개 신용카드로 3개의 혜택 종류별 테스터 엔지니어가 수작업으로

3회씩 반복테스트를 한다면 324개 시나리오를 테스트 엔지니어 3명이 7일 소요

6 times 18= 108개 시나리오

108 times 3= 324 개 시나리오

324 times 10분(테스트소요시간)=

3240분 (약54시간)

54 8시간 times 3회= 7 일 times 3명

현재 수작업으로 5명이 64개의 시

나리오만 테스트 중

18 times 3= 54 개 시나리오

54 times 10분(테스트소요시간)=

540분 (9시간)

9 24시간 times 3회 = 12 일 (6

대 동시 실행)

현재 테스트아웃소싱을 통해 수작업 테스트 진행중이나 불필요한 반복테스트 수작업테스트커버리지부족 주요 서비스에 대한 실시간 모니터링 및 결함 자동 알람 필요성 등으로 자동테스트 솔루션 검토

솔루션 4개사 검토후ATAM 선정

[별첨2] ATAM 적용사례2_L홈쇼핑

[별첨3] 시연 환경 및 시나리오

ATAM 서버(PC1)

bull Windows OSbull 웹서버(NodeExpress)bull DB서버(Maria)bull ATAM Controllerbull 시나리오 생성bull 테스트 실행bull 결과 확인

결과 모니터

앱 실행 환경(무선)bull LTEbull 블루투스 테더링bull WiFi

아이폰 테스트 PC(Mac)

USB

테스트 단말(Test Lab)

클라이언트 PC2

bull Windows OSbull ATAM Controllerbull 시나리오 생성bull 테스트 실행bull 결과 확인

USB

bull Mac OSbull ATAM Controllerbull 시나리오 생성bull 테스트 실행bull 결과 확인

기종 제조사 OS 해상도

1 갤노트4 삼성 512 1440x2560

2 갤럭시S3 삼성 444 720x1280

3 G3 LG 444 1080x1920

∙∙∙

[단말 사양]

[별첨3] 시연 환경 및 시나리오

테스트 시나리오(LPOINT)

G3 S3노트4

테스트 단말 선택- 시나리오별 단말 선택 (1~3대)- 다양한 해상도(저중고 해상도)

자동테스트 실행 및 결과 확인

- 시나리오별 상세조회 장면별 응답시간 메모리CPU 사용률 등

- 오류장면 검출 확인 정상 장면 대비 예외 장면 오류 장면 등

- 모니터링 결과 결함 발생시 담당자 e-mail 전송

ATAM 서버(PC1)

테스트 결과 확인모니터링

No 시나리오 인증 방식 테스트단말 비고

1 혜택쿠폰로그인하이마트쿠폰다운로드쿠폰자세히보기 IDPW 갤노트4

2 LTEM롯데호텔뷔페이용권이용권선택상품상세정보 없음 갤 노트4 S3 G3

3 LPOINT카드카드안내카드신청휴대폰인증 없음 갤 노트4 S3 G3 동시단말 테스트

4 MY LBOX로그인MY포인트포인트이용내역조회(90일) IDPW 갤 노트4 동시단말 테스트

34

주식회사인터링크시스템

상담 및 문의처

TEL 02-538-5940 FAX 02-538-5928

상무 우철환 010-8487-9727 wch2137interlinkcokr

차장 양 훈 010-2841-1319 hoonyinterlinkcokr

Page 11: 모바일 앱(App) 개발 테스트 솔루션 - 인터링크시스템

5 Development amp Deployment Ⅰ 테스트자동화의 필요성

ADev ampTest

Ops ampInfra

TheCustomer

TheBusiness

DevOps = Development + Operation 개발과 운영 간의 상호작용을원활하게 하는 모든 것

Cloud

AgileDevelopment

DevOpsamp Cloud

6 As-is Test AutomationⅠ 테스트자동화의 필요성

One way flow

요구사항 설 계 개 발 테스팅 운영릴리즈GoNo-Go

지속적으로축적되는 WIP

빌드 및 통합프로세스의 분산

수작업 테스트로 인한 지연 및테스트 커버리지 축소

부족한 테스트로 인한외부 결함 증가

고객 상황에 대한 통찰력 부족 및요구사항 수집의 지연

빌드 및 테스트 환경구성을 위한 시간 낭비

부족한 테스트로인한 배포 연기

수작업 APP 배포로 인한 에러 발생

업무 현황에 대한 가시성 부족으로 인한 Hand-off 지연

Lack of end-to-end visibility and trust

전통적 개발 프로세스 환경

7 To-be Test AutomationⅠ 테스트자동화의 필요성

High velocity frequent quality software release

요구사항 설 계 개 발 테스팅 운영릴리즈

Devops 개발 프로세스 환경

High velocity Frequent feedback loops

자동화 극대화 일상작업 가속화 반복성 실수와 장애 감소 지연 감소 지속적 testing delivery deployment 가시성 확보 모니터링 과 측정을 통한 피드백을 제공

ContinuousEverything

Why ATAM

15

Dev ampTest

Ops ampInfra

TheCustomer

TheBusiness

모바일 앱 테스트 서비스는 테스트 계획수립 탐색적 테스트 시나리오 설계 및 자동화 테스트 수행을

통하여 결함 검출을 극대화시키고 시나리오 및 데이터를 DEVOPS 전 과정에서 재활용합니다

1 Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 1 ATAM SERIES POSITION

① 계획분석② 탐색적테스트

④ 테스트평가③ 테스트설계구현

테스트 리스트 작성

테스트 수행

테스트 수행결과

테스트전략수립

모바일 앱 기능검토

환경파악 및 구축

테스트시나리오작성

매뉴얼 테스트

자동화대상 수행

테스트결과

테스트결과보고서

모니터링 대상 수행

풀 기능 정검 수행

ATAM-I ATAM-M ATAM-A ATAM-F

⑤ 운영

ATAM-D

ATAM-I INSTALLFETCH TEST ATAM-M MIRROR TEST ATAM-A AUTOMTION TEST

ATAM-F FULL FUNCTION TEST ATAM-D HELTHY CHECK DASH BOARD ATAM-R REPORT

ATAM-R

1 Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 2 ATAM 구조 및 특징

앱 분석기(App Crawler)와 시나리오 GUI navigator를 활용한 룰 기반 시나리오 자동생성

기능을 통해 스크립트 작성 과정 없이 자동 테스트가 가능(특허 출원)

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 3 ATAM 개요

장면 기반의 테스트 자동화 도구

Generating scenario without script

1 전체 테스트 시나리오 생성

bull 앱 분석을 통한 서비스 blue-print및 시나리오 생성

bull 실제 앱 화면 기반 시나리오(스크립트) 생성

bull 개발자의 스크립트 작성 불필요

2 자동 테스트 및 결과 저장 3 실시간 모니터링 amp분석 결과 리포팅

bull 실 환경과 동일한 단말에서기능 및 성능 측정

bull 구간성능 오류유형 반복작업등 비즈니스 룰 기반 DB화

bull 명령에 따른 안정적인 테스트

bull 서비스 출시 후 지속적인health check 및 관리

bull 다양한 차트 및 분석 결과리포트 제공

bull 실시간 앱 서비스 모니터링

ATAM App Test Automation amp Monitoring

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 4 테스트시나리오 생성

앱 분석기를 통한 앱 정보 수집 및 전체 서비스 블루프린트 생성

가능한 테스트시나리오 모두 생성

솔루션 기능 사항 설명

ATAM-A 시나리오 생성방식 시나리오 식별을 위한 스크립팅 자동화

bull 스크립트 없이 장면 크롤링 만으로 시나리오 생성

bull 화면 및 이벤트 저장만으로 시나리오 생성

bull 시나리오는 장면 흐름으로 표시되어 쉽게 식별가능

bull 앱의 전체 구성도 및 시나리오를 한눈에 확인

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 5 테스트 시나리오 생성

시나리오가 실제 장면으로 구성되어쉽게 시나리오 선택 후 테스트

스크립트 개발 없이 사용자의 간단한조작만으로 시나리오 완성 및 테스트

생성된 시나리오를 선택하면 스크립트작성 없이 즉시 테스트

OS 해상도에 상관없이 동시단말 테스트

웹 방식으로 언제 어디서나 접속하여테스트 가능

다수 단말 동시테스트 및 원격 테스트

생성된 전체 서비스 블루프린트와 시나리오 리스트에서 원하는 테스트 시나리오선택

복수 단말에서 즉시 동시테스트

장면기반 서비스 블루프린트 및 테스트 시나리오 생성

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 6 테스트 시나리오 실행

솔루션 기능 사항 설명

ATAM-A 진행 상황 모니터링 진척율 상태 등 실시간 확인

bull 프로젝트 별 시나리오 진행현황을 실시간으로 모니터링bull 단말 별 시나리오 진행현황을 실시간 확인 및 오류발생 시 e-mailSMS 알림

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 7 테스트 시나리오 변경(단일 장면)

부분 시나리오 수정 시 전체 재 작성이 아닌 부분 장면 만 교체하여 시나리오 변경

bull 변경 대상 장면 또는 장면 셋을 삭제 후 새로운장면으로 교체

bull 스크립트 없이 장면 교체만으로 시나리오 변경

bull 단일장면 교체 확인

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 8 테스트 시나리오 변경(시나리오셋 변경)

시나리오 중 공통으로 활용 가능한 장면 및 장면 셋을 모듈로 저장하여 시나리오 신규생성 또는 변경 시 모듈 삽입으로 간편하게 시나리오 생성 및 변경 기능 제공

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 9 테스트 시나리오 재 사용

시나리오 중 공통으로 활용 가능한 장면 및 장면 셋을 모듈로 저장하여 시나리오 재 사용 가능

솔루션 기능사항 설명

ATAM-A One scenario Multi device 단말기 OS 등 변경에 따른 시나리오 재사용

No

단말기종수행속도(분초)

평균응답시간(초)

1LG G3 cat6

227 147

2 LG Gflex2 155 121

3 LG G2 205 191

4 갤 노트4 208 235

5갤 S6 edge

219 243

6 갤 노트3 207 125

7 갤 S5 214 176

8 베가노트 218 258

9 갤 S3 220 191

평균 속도 212 187

bull 하나의 시나리오로Multi device 테스트 지원

bull OS종류별 단말 기종 별 9대의단말에서 동시테스트 완료

bull 하나의 PC에서 최대 9대까지수행 확인

평균응답시간 클릭후 장면간 이동완료 시간

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 10 장면 검출 기능

정상 장면 대비 오류 장면에 대한 자동 검출 및 확인 기능

오류는 아니나 정상장면과 상이한 장면도 쉽게 확인 가능

예외 장면 중 공지 이벤트 등은 확인 후 테스트 진행 오류 장면은 자동 분류 (예외 장면 패턴 사전 등록)

결함 발생 리스트 및

정상 대비 오류화면

비교 결과 제공

결함 발생 당시 시간

오류 내역 메모리

CPU 사용량 등 오류

확인 기초 정보 제공

결함 발생시 해당 내

역을 e-mail 로 실시

간 전송 제공

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 11 리포트 amp 실시간 모니터링

테스트 결과 로그를 빅 데이타 형태로 DB에 저장 및 분석을 통해 다양한 결과 리포트를 웹

Dashboard에 제공하고 앱 서비스의 상태를 실시간으로 모니터링 할 수 있도록 제공

테스트 결과 리포트 다양한 형태의 차트 및 서비스 실시간 모니터링

- 시나리오 별 장면이벤트 별 성공률 응답시간 메모리CPU 사용률 등 회차 별 비교 분석 제공(반복실행에 따른 메모리 Leak 등 오류 확인)

- 웹 방식으로 제공되기 때문에 언제 어디서나 쉽게 테스트 결과 확인 및 모니터링 가능

I 은행

스크립트 작성 없이 간편하게 GUI형태의 테스트시나리오 생성

모든 시나리오를 실제 장면으로 제공하여 일반 사용자도 쉽게 테스트 가능

일부 시나리오 녹화 방식이 아닌 전체 서비스 시나리오 생성 후 테스트 시나리오 선택 실행

앱 업데이트 시 간단한 시나리오 편집만으로 즉시 테스트 가능

앱 업데이트 시 마다 스크립트 작성 불 필요 (장면 교체 등을 통한 쉬운 업데이트)

공인인증서 등 자주 사용하는 시나리오를 공통 모듈화하여 시나리오 생성시간 최소화

실시간 모니터링 및 Health Check

결과 로그 빅 데이타 DB 저장분석으로 실시간 리포트 확인

서비스 상황 실시간 체크 가능(구간별)

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 12 ATAM 특징 요약

1

3

4

해상도OS별 다수 단말 동시테스트 및 어디서나 원격 테스트 가능

하나의 시나리오로 해상도와 OS가 다른 다수의 단말을 동시 반복테스트

하나의 시나리오로 여러 단말 동시테스트

2

Web 방식으로 단말의 위치와 관계없이 테스트 가능

원격지의 단말도 테스트 가능

테스터의 테스트 상황을 관리자가 원격에서도 실시간 모니터링 가능

5

Ⅲ Competitive Advantage 1 기능 비교

ATAM은 경쟁솔루션 대비 전체 서비스블루프린트(구성도) 제공 스크립트 개발

자 불필요 최단시간 시나리오 자동 생성 등 차별화 서비스 제공으로 최고 수준

의 경쟁력 확보

구 분 ATAM G사(국내) H사(미국) S사(미국) 비고

전체 서비스구성도 제공(장면 기반 전개도)

X X X 뱅킹앱의 경우 약 700장면

테스트시나리오 생성시간(500장면 기준)

1일 1개월 15개월 1개월

장면당 평균 생성시간 (추정)- 스크립트 작성 및 디버깅 완료- 복수단말 테스트 가능상태 기준(1인 작성시간 기준)

테스트방식장면 크롤링

(시나리오 선택 실행)Record amp Play(스크립트 편집)

Record amp Play(스크립트 편집)

Record amp Play(스크립트 편집)

실시간 모니터링 X X ATAM 다양한 차트 그래프 제공

스크립트 개발자 불필요 필요 필요 필요 경쟁사는 스크립트 개발역량에 좌우

사용 방식 웹 방식 CS 방식(Client 설치) CS 방식(Client 설치) CS 방식(Client 설치) ATAM 원격테스트 가능

사용자수 제한 없음(웹접속) PC Client 설치 수 PC Client 설치 수 PC Client 설치 수

앱 업데이트 적용 방식 장면 교체(장면당 30초) 스크립트 수정 스크립트 수정 스크립트 수정 ATAM유지보수 용이

보안 키패드 반복 테스트 자동 추가 개발 필요 추가 개발 필요 추가 개발 필요 키패드 위치 변경시 테스트 자동화

시나리오 버전 별 비교 X X X 경쟁솔루션 구성도 비교 가능

ATAM 사용시 기대효과는 단순한 비용 절감보다는 품질을 향상시켜 고품질의 앱을 유지

할 수 있으며 처리시간 메모리 사용량 등 의 성능개선 Point를 제시 합니다

테스트 비용 및 시간 절감1 신뢰성 있는 고품질 앱 유지2

수작업 대비 비용은 약 67 시간 08 소요(단말 10대 시나리오 20개 20회 반복테스트 기준)

유지보수 비용 절감3

시나리오이벤트 별 오류 응답시간 메모리 사용량 등OS별 단말 별 다양한 테스트로 높은 품질의 시험결과제공

앱 업데이트 시마다 스크립트 수정 없이 재 테스트 가능

개발자의 스크립트 개발 및 수정 관리 불필요

쉽고 정확한 테스트4

프로그램을 모르는 사용자도 쉽게 테스트 진행 가능

Human error가 없어 정확한 테스트 가능

Ⅳ 기대 효과

Full Test Coverage5

앱 테스트가 가능한 시나리오를 전체의 블루 프린트로

확인하여 누락된 시나리오 등 확인 가능

앱 변경 시 임팩트가 있는 시나리오를 전체 테스트 가능

성능 개선 Point 제시6

모니터링을 통해 CPUMemoryResponse Time 의 적정성

여부 및 개선 point 파악 가능

새로운 App 개발로 인해 기존의 App 대비 성능 향상 비교

기 사용중인 App의 테스트 가능한 시나리오와 신규 개발된 App의 시나리오를 테스트한 결과를CPUResponse TimeMemory 사용률 등을 비교 분석하여 개선점 도출 및 보완에 활용

bull 기존 앱 의 성능문제로 고객불만 발생하여 신규 클라이언트 앱 개발bull 신규 앱 을 테스트 수행하였으나 신뢰할만한 데이터의 부재

bull 1차 테스트시 응답시간 30 이상 개선되었으나 메모리 사용량 증가 확인

bull ATAM의 메모리 상세분석에서 이미지 가속기 사용확인

bull 고 사양의 폰은 큰 문제가 되지 않으나 저사양 폰에서 다운되는 현상 확인

bull ATAM의 결과 자료를 바탕으로 프로그램 개선 후 오픈(lsquo1512월 현재)

POC를 통해ATAM 선정

ATAM으로테스트 및 분석

[별첨1] ATAM 적용사례1_K은행

예금신탁계좌조회

안드로이드

응답시간 메모리사용량 nativeHeap dalvikHeap 기타 cpu_use

AS-IS TO-BE 비율 AS-IS TO-BE 비율 AS-IS TO-BE 비율 AS-IS TO-BE 비율 AS-IS TO-BE 비율 AS-IS TO-BE 비율

Galaxy 6

최소 579 217 37 252039 406504 161 42635 20169 47 66881 78620 118 142523 307715 216 14 18 129

최대 674 492 73 261462 417621 160 42887 20589 48 70636 84433 120 147939 312599 211 20 22 110

평균 635 350 55 254623 412127 162 42756 20371 48 68562 80622 118 143304 311133 217 17 20 118

Galaxy 3

최소 558 238 43 109629 86029 78 - - 21 37 176

최대 3020 331 11 118228 90526 77 - - 39 40 103

평균 1111 288 26 114439 88591 77 - - 34 388 114

베가노트

최소 471 241 51 121530 98593 81 52 56 108

최대 1049 274 26 127300 112120 88 60 61 102

평균 560 250 45 123596 103539 84 562 587 104

G flex2

최소 463 227 49 169669 257117 152 63000 36560 58 51830 57387 111 54839 163170 298 17 17 100

최대 950 275 29 177872 266769 150 65248 37388 57 54691 59346 109 57933 170035 294 26 27 104

평균 589 259 44 174249 263124 151 64015 37111 58 52914 58494 111 57320 167520 292 235 221 94

bull As-Is 대비 To-Be 앱의 응답시간은 빨라졌으나 메모리 사용량은 증가- 개발팀은 메모리사용량이 최소 20~30 개선된 것으로 알고 있었으나 ATAM 테스트결과 이슈 발생- 개발관련 메모리 사용량은 감소하였으나 신규로 적용한 이미지가속기 사용시 기타영역 메모리 사용량 급증- 고사양 단말에서는 이슈가 없으나 갤럭시S2 등 저사양폰에서는 앱이 죽는 현상 발생- 저사양폰의 총메모리 사용량에는 기타영역(이미지 등)은 미포함되어 있음

전체 메모리 사용량은 증가개발 관련 메모리사용은 감소

이미지가속기 관련 기타메모리영역 사용량 급증

[별첨1] ATAM 적용사례1_K은행

6개 단말기에서 18개 신용카드로 3개의 혜택 종류별 테스터 엔지니어가 수작업으로

3회씩 반복테스트를 한다면 324개 시나리오를 테스트 엔지니어 3명이 7일 소요

6 times 18= 108개 시나리오

108 times 3= 324 개 시나리오

324 times 10분(테스트소요시간)=

3240분 (약54시간)

54 8시간 times 3회= 7 일 times 3명

현재 수작업으로 5명이 64개의 시

나리오만 테스트 중

18 times 3= 54 개 시나리오

54 times 10분(테스트소요시간)=

540분 (9시간)

9 24시간 times 3회 = 12 일 (6

대 동시 실행)

현재 테스트아웃소싱을 통해 수작업 테스트 진행중이나 불필요한 반복테스트 수작업테스트커버리지부족 주요 서비스에 대한 실시간 모니터링 및 결함 자동 알람 필요성 등으로 자동테스트 솔루션 검토

솔루션 4개사 검토후ATAM 선정

[별첨2] ATAM 적용사례2_L홈쇼핑

[별첨3] 시연 환경 및 시나리오

ATAM 서버(PC1)

bull Windows OSbull 웹서버(NodeExpress)bull DB서버(Maria)bull ATAM Controllerbull 시나리오 생성bull 테스트 실행bull 결과 확인

결과 모니터

앱 실행 환경(무선)bull LTEbull 블루투스 테더링bull WiFi

아이폰 테스트 PC(Mac)

USB

테스트 단말(Test Lab)

클라이언트 PC2

bull Windows OSbull ATAM Controllerbull 시나리오 생성bull 테스트 실행bull 결과 확인

USB

bull Mac OSbull ATAM Controllerbull 시나리오 생성bull 테스트 실행bull 결과 확인

기종 제조사 OS 해상도

1 갤노트4 삼성 512 1440x2560

2 갤럭시S3 삼성 444 720x1280

3 G3 LG 444 1080x1920

∙∙∙

[단말 사양]

[별첨3] 시연 환경 및 시나리오

테스트 시나리오(LPOINT)

G3 S3노트4

테스트 단말 선택- 시나리오별 단말 선택 (1~3대)- 다양한 해상도(저중고 해상도)

자동테스트 실행 및 결과 확인

- 시나리오별 상세조회 장면별 응답시간 메모리CPU 사용률 등

- 오류장면 검출 확인 정상 장면 대비 예외 장면 오류 장면 등

- 모니터링 결과 결함 발생시 담당자 e-mail 전송

ATAM 서버(PC1)

테스트 결과 확인모니터링

No 시나리오 인증 방식 테스트단말 비고

1 혜택쿠폰로그인하이마트쿠폰다운로드쿠폰자세히보기 IDPW 갤노트4

2 LTEM롯데호텔뷔페이용권이용권선택상품상세정보 없음 갤 노트4 S3 G3

3 LPOINT카드카드안내카드신청휴대폰인증 없음 갤 노트4 S3 G3 동시단말 테스트

4 MY LBOX로그인MY포인트포인트이용내역조회(90일) IDPW 갤 노트4 동시단말 테스트

34

주식회사인터링크시스템

상담 및 문의처

TEL 02-538-5940 FAX 02-538-5928

상무 우철환 010-8487-9727 wch2137interlinkcokr

차장 양 훈 010-2841-1319 hoonyinterlinkcokr

Page 12: 모바일 앱(App) 개발 테스트 솔루션 - 인터링크시스템

6 As-is Test AutomationⅠ 테스트자동화의 필요성

One way flow

요구사항 설 계 개 발 테스팅 운영릴리즈GoNo-Go

지속적으로축적되는 WIP

빌드 및 통합프로세스의 분산

수작업 테스트로 인한 지연 및테스트 커버리지 축소

부족한 테스트로 인한외부 결함 증가

고객 상황에 대한 통찰력 부족 및요구사항 수집의 지연

빌드 및 테스트 환경구성을 위한 시간 낭비

부족한 테스트로인한 배포 연기

수작업 APP 배포로 인한 에러 발생

업무 현황에 대한 가시성 부족으로 인한 Hand-off 지연

Lack of end-to-end visibility and trust

전통적 개발 프로세스 환경

7 To-be Test AutomationⅠ 테스트자동화의 필요성

High velocity frequent quality software release

요구사항 설 계 개 발 테스팅 운영릴리즈

Devops 개발 프로세스 환경

High velocity Frequent feedback loops

자동화 극대화 일상작업 가속화 반복성 실수와 장애 감소 지연 감소 지속적 testing delivery deployment 가시성 확보 모니터링 과 측정을 통한 피드백을 제공

ContinuousEverything

Why ATAM

15

Dev ampTest

Ops ampInfra

TheCustomer

TheBusiness

모바일 앱 테스트 서비스는 테스트 계획수립 탐색적 테스트 시나리오 설계 및 자동화 테스트 수행을

통하여 결함 검출을 극대화시키고 시나리오 및 데이터를 DEVOPS 전 과정에서 재활용합니다

1 Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 1 ATAM SERIES POSITION

① 계획분석② 탐색적테스트

④ 테스트평가③ 테스트설계구현

테스트 리스트 작성

테스트 수행

테스트 수행결과

테스트전략수립

모바일 앱 기능검토

환경파악 및 구축

테스트시나리오작성

매뉴얼 테스트

자동화대상 수행

테스트결과

테스트결과보고서

모니터링 대상 수행

풀 기능 정검 수행

ATAM-I ATAM-M ATAM-A ATAM-F

⑤ 운영

ATAM-D

ATAM-I INSTALLFETCH TEST ATAM-M MIRROR TEST ATAM-A AUTOMTION TEST

ATAM-F FULL FUNCTION TEST ATAM-D HELTHY CHECK DASH BOARD ATAM-R REPORT

ATAM-R

1 Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 2 ATAM 구조 및 특징

앱 분석기(App Crawler)와 시나리오 GUI navigator를 활용한 룰 기반 시나리오 자동생성

기능을 통해 스크립트 작성 과정 없이 자동 테스트가 가능(특허 출원)

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 3 ATAM 개요

장면 기반의 테스트 자동화 도구

Generating scenario without script

1 전체 테스트 시나리오 생성

bull 앱 분석을 통한 서비스 blue-print및 시나리오 생성

bull 실제 앱 화면 기반 시나리오(스크립트) 생성

bull 개발자의 스크립트 작성 불필요

2 자동 테스트 및 결과 저장 3 실시간 모니터링 amp분석 결과 리포팅

bull 실 환경과 동일한 단말에서기능 및 성능 측정

bull 구간성능 오류유형 반복작업등 비즈니스 룰 기반 DB화

bull 명령에 따른 안정적인 테스트

bull 서비스 출시 후 지속적인health check 및 관리

bull 다양한 차트 및 분석 결과리포트 제공

bull 실시간 앱 서비스 모니터링

ATAM App Test Automation amp Monitoring

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 4 테스트시나리오 생성

앱 분석기를 통한 앱 정보 수집 및 전체 서비스 블루프린트 생성

가능한 테스트시나리오 모두 생성

솔루션 기능 사항 설명

ATAM-A 시나리오 생성방식 시나리오 식별을 위한 스크립팅 자동화

bull 스크립트 없이 장면 크롤링 만으로 시나리오 생성

bull 화면 및 이벤트 저장만으로 시나리오 생성

bull 시나리오는 장면 흐름으로 표시되어 쉽게 식별가능

bull 앱의 전체 구성도 및 시나리오를 한눈에 확인

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 5 테스트 시나리오 생성

시나리오가 실제 장면으로 구성되어쉽게 시나리오 선택 후 테스트

스크립트 개발 없이 사용자의 간단한조작만으로 시나리오 완성 및 테스트

생성된 시나리오를 선택하면 스크립트작성 없이 즉시 테스트

OS 해상도에 상관없이 동시단말 테스트

웹 방식으로 언제 어디서나 접속하여테스트 가능

다수 단말 동시테스트 및 원격 테스트

생성된 전체 서비스 블루프린트와 시나리오 리스트에서 원하는 테스트 시나리오선택

복수 단말에서 즉시 동시테스트

장면기반 서비스 블루프린트 및 테스트 시나리오 생성

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 6 테스트 시나리오 실행

솔루션 기능 사항 설명

ATAM-A 진행 상황 모니터링 진척율 상태 등 실시간 확인

bull 프로젝트 별 시나리오 진행현황을 실시간으로 모니터링bull 단말 별 시나리오 진행현황을 실시간 확인 및 오류발생 시 e-mailSMS 알림

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 7 테스트 시나리오 변경(단일 장면)

부분 시나리오 수정 시 전체 재 작성이 아닌 부분 장면 만 교체하여 시나리오 변경

bull 변경 대상 장면 또는 장면 셋을 삭제 후 새로운장면으로 교체

bull 스크립트 없이 장면 교체만으로 시나리오 변경

bull 단일장면 교체 확인

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 8 테스트 시나리오 변경(시나리오셋 변경)

시나리오 중 공통으로 활용 가능한 장면 및 장면 셋을 모듈로 저장하여 시나리오 신규생성 또는 변경 시 모듈 삽입으로 간편하게 시나리오 생성 및 변경 기능 제공

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 9 테스트 시나리오 재 사용

시나리오 중 공통으로 활용 가능한 장면 및 장면 셋을 모듈로 저장하여 시나리오 재 사용 가능

솔루션 기능사항 설명

ATAM-A One scenario Multi device 단말기 OS 등 변경에 따른 시나리오 재사용

No

단말기종수행속도(분초)

평균응답시간(초)

1LG G3 cat6

227 147

2 LG Gflex2 155 121

3 LG G2 205 191

4 갤 노트4 208 235

5갤 S6 edge

219 243

6 갤 노트3 207 125

7 갤 S5 214 176

8 베가노트 218 258

9 갤 S3 220 191

평균 속도 212 187

bull 하나의 시나리오로Multi device 테스트 지원

bull OS종류별 단말 기종 별 9대의단말에서 동시테스트 완료

bull 하나의 PC에서 최대 9대까지수행 확인

평균응답시간 클릭후 장면간 이동완료 시간

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 10 장면 검출 기능

정상 장면 대비 오류 장면에 대한 자동 검출 및 확인 기능

오류는 아니나 정상장면과 상이한 장면도 쉽게 확인 가능

예외 장면 중 공지 이벤트 등은 확인 후 테스트 진행 오류 장면은 자동 분류 (예외 장면 패턴 사전 등록)

결함 발생 리스트 및

정상 대비 오류화면

비교 결과 제공

결함 발생 당시 시간

오류 내역 메모리

CPU 사용량 등 오류

확인 기초 정보 제공

결함 발생시 해당 내

역을 e-mail 로 실시

간 전송 제공

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 11 리포트 amp 실시간 모니터링

테스트 결과 로그를 빅 데이타 형태로 DB에 저장 및 분석을 통해 다양한 결과 리포트를 웹

Dashboard에 제공하고 앱 서비스의 상태를 실시간으로 모니터링 할 수 있도록 제공

테스트 결과 리포트 다양한 형태의 차트 및 서비스 실시간 모니터링

- 시나리오 별 장면이벤트 별 성공률 응답시간 메모리CPU 사용률 등 회차 별 비교 분석 제공(반복실행에 따른 메모리 Leak 등 오류 확인)

- 웹 방식으로 제공되기 때문에 언제 어디서나 쉽게 테스트 결과 확인 및 모니터링 가능

I 은행

스크립트 작성 없이 간편하게 GUI형태의 테스트시나리오 생성

모든 시나리오를 실제 장면으로 제공하여 일반 사용자도 쉽게 테스트 가능

일부 시나리오 녹화 방식이 아닌 전체 서비스 시나리오 생성 후 테스트 시나리오 선택 실행

앱 업데이트 시 간단한 시나리오 편집만으로 즉시 테스트 가능

앱 업데이트 시 마다 스크립트 작성 불 필요 (장면 교체 등을 통한 쉬운 업데이트)

공인인증서 등 자주 사용하는 시나리오를 공통 모듈화하여 시나리오 생성시간 최소화

실시간 모니터링 및 Health Check

결과 로그 빅 데이타 DB 저장분석으로 실시간 리포트 확인

서비스 상황 실시간 체크 가능(구간별)

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 12 ATAM 특징 요약

1

3

4

해상도OS별 다수 단말 동시테스트 및 어디서나 원격 테스트 가능

하나의 시나리오로 해상도와 OS가 다른 다수의 단말을 동시 반복테스트

하나의 시나리오로 여러 단말 동시테스트

2

Web 방식으로 단말의 위치와 관계없이 테스트 가능

원격지의 단말도 테스트 가능

테스터의 테스트 상황을 관리자가 원격에서도 실시간 모니터링 가능

5

Ⅲ Competitive Advantage 1 기능 비교

ATAM은 경쟁솔루션 대비 전체 서비스블루프린트(구성도) 제공 스크립트 개발

자 불필요 최단시간 시나리오 자동 생성 등 차별화 서비스 제공으로 최고 수준

의 경쟁력 확보

구 분 ATAM G사(국내) H사(미국) S사(미국) 비고

전체 서비스구성도 제공(장면 기반 전개도)

X X X 뱅킹앱의 경우 약 700장면

테스트시나리오 생성시간(500장면 기준)

1일 1개월 15개월 1개월

장면당 평균 생성시간 (추정)- 스크립트 작성 및 디버깅 완료- 복수단말 테스트 가능상태 기준(1인 작성시간 기준)

테스트방식장면 크롤링

(시나리오 선택 실행)Record amp Play(스크립트 편집)

Record amp Play(스크립트 편집)

Record amp Play(스크립트 편집)

실시간 모니터링 X X ATAM 다양한 차트 그래프 제공

스크립트 개발자 불필요 필요 필요 필요 경쟁사는 스크립트 개발역량에 좌우

사용 방식 웹 방식 CS 방식(Client 설치) CS 방식(Client 설치) CS 방식(Client 설치) ATAM 원격테스트 가능

사용자수 제한 없음(웹접속) PC Client 설치 수 PC Client 설치 수 PC Client 설치 수

앱 업데이트 적용 방식 장면 교체(장면당 30초) 스크립트 수정 스크립트 수정 스크립트 수정 ATAM유지보수 용이

보안 키패드 반복 테스트 자동 추가 개발 필요 추가 개발 필요 추가 개발 필요 키패드 위치 변경시 테스트 자동화

시나리오 버전 별 비교 X X X 경쟁솔루션 구성도 비교 가능

ATAM 사용시 기대효과는 단순한 비용 절감보다는 품질을 향상시켜 고품질의 앱을 유지

할 수 있으며 처리시간 메모리 사용량 등 의 성능개선 Point를 제시 합니다

테스트 비용 및 시간 절감1 신뢰성 있는 고품질 앱 유지2

수작업 대비 비용은 약 67 시간 08 소요(단말 10대 시나리오 20개 20회 반복테스트 기준)

유지보수 비용 절감3

시나리오이벤트 별 오류 응답시간 메모리 사용량 등OS별 단말 별 다양한 테스트로 높은 품질의 시험결과제공

앱 업데이트 시마다 스크립트 수정 없이 재 테스트 가능

개발자의 스크립트 개발 및 수정 관리 불필요

쉽고 정확한 테스트4

프로그램을 모르는 사용자도 쉽게 테스트 진행 가능

Human error가 없어 정확한 테스트 가능

Ⅳ 기대 효과

Full Test Coverage5

앱 테스트가 가능한 시나리오를 전체의 블루 프린트로

확인하여 누락된 시나리오 등 확인 가능

앱 변경 시 임팩트가 있는 시나리오를 전체 테스트 가능

성능 개선 Point 제시6

모니터링을 통해 CPUMemoryResponse Time 의 적정성

여부 및 개선 point 파악 가능

새로운 App 개발로 인해 기존의 App 대비 성능 향상 비교

기 사용중인 App의 테스트 가능한 시나리오와 신규 개발된 App의 시나리오를 테스트한 결과를CPUResponse TimeMemory 사용률 등을 비교 분석하여 개선점 도출 및 보완에 활용

bull 기존 앱 의 성능문제로 고객불만 발생하여 신규 클라이언트 앱 개발bull 신규 앱 을 테스트 수행하였으나 신뢰할만한 데이터의 부재

bull 1차 테스트시 응답시간 30 이상 개선되었으나 메모리 사용량 증가 확인

bull ATAM의 메모리 상세분석에서 이미지 가속기 사용확인

bull 고 사양의 폰은 큰 문제가 되지 않으나 저사양 폰에서 다운되는 현상 확인

bull ATAM의 결과 자료를 바탕으로 프로그램 개선 후 오픈(lsquo1512월 현재)

POC를 통해ATAM 선정

ATAM으로테스트 및 분석

[별첨1] ATAM 적용사례1_K은행

예금신탁계좌조회

안드로이드

응답시간 메모리사용량 nativeHeap dalvikHeap 기타 cpu_use

AS-IS TO-BE 비율 AS-IS TO-BE 비율 AS-IS TO-BE 비율 AS-IS TO-BE 비율 AS-IS TO-BE 비율 AS-IS TO-BE 비율

Galaxy 6

최소 579 217 37 252039 406504 161 42635 20169 47 66881 78620 118 142523 307715 216 14 18 129

최대 674 492 73 261462 417621 160 42887 20589 48 70636 84433 120 147939 312599 211 20 22 110

평균 635 350 55 254623 412127 162 42756 20371 48 68562 80622 118 143304 311133 217 17 20 118

Galaxy 3

최소 558 238 43 109629 86029 78 - - 21 37 176

최대 3020 331 11 118228 90526 77 - - 39 40 103

평균 1111 288 26 114439 88591 77 - - 34 388 114

베가노트

최소 471 241 51 121530 98593 81 52 56 108

최대 1049 274 26 127300 112120 88 60 61 102

평균 560 250 45 123596 103539 84 562 587 104

G flex2

최소 463 227 49 169669 257117 152 63000 36560 58 51830 57387 111 54839 163170 298 17 17 100

최대 950 275 29 177872 266769 150 65248 37388 57 54691 59346 109 57933 170035 294 26 27 104

평균 589 259 44 174249 263124 151 64015 37111 58 52914 58494 111 57320 167520 292 235 221 94

bull As-Is 대비 To-Be 앱의 응답시간은 빨라졌으나 메모리 사용량은 증가- 개발팀은 메모리사용량이 최소 20~30 개선된 것으로 알고 있었으나 ATAM 테스트결과 이슈 발생- 개발관련 메모리 사용량은 감소하였으나 신규로 적용한 이미지가속기 사용시 기타영역 메모리 사용량 급증- 고사양 단말에서는 이슈가 없으나 갤럭시S2 등 저사양폰에서는 앱이 죽는 현상 발생- 저사양폰의 총메모리 사용량에는 기타영역(이미지 등)은 미포함되어 있음

전체 메모리 사용량은 증가개발 관련 메모리사용은 감소

이미지가속기 관련 기타메모리영역 사용량 급증

[별첨1] ATAM 적용사례1_K은행

6개 단말기에서 18개 신용카드로 3개의 혜택 종류별 테스터 엔지니어가 수작업으로

3회씩 반복테스트를 한다면 324개 시나리오를 테스트 엔지니어 3명이 7일 소요

6 times 18= 108개 시나리오

108 times 3= 324 개 시나리오

324 times 10분(테스트소요시간)=

3240분 (약54시간)

54 8시간 times 3회= 7 일 times 3명

현재 수작업으로 5명이 64개의 시

나리오만 테스트 중

18 times 3= 54 개 시나리오

54 times 10분(테스트소요시간)=

540분 (9시간)

9 24시간 times 3회 = 12 일 (6

대 동시 실행)

현재 테스트아웃소싱을 통해 수작업 테스트 진행중이나 불필요한 반복테스트 수작업테스트커버리지부족 주요 서비스에 대한 실시간 모니터링 및 결함 자동 알람 필요성 등으로 자동테스트 솔루션 검토

솔루션 4개사 검토후ATAM 선정

[별첨2] ATAM 적용사례2_L홈쇼핑

[별첨3] 시연 환경 및 시나리오

ATAM 서버(PC1)

bull Windows OSbull 웹서버(NodeExpress)bull DB서버(Maria)bull ATAM Controllerbull 시나리오 생성bull 테스트 실행bull 결과 확인

결과 모니터

앱 실행 환경(무선)bull LTEbull 블루투스 테더링bull WiFi

아이폰 테스트 PC(Mac)

USB

테스트 단말(Test Lab)

클라이언트 PC2

bull Windows OSbull ATAM Controllerbull 시나리오 생성bull 테스트 실행bull 결과 확인

USB

bull Mac OSbull ATAM Controllerbull 시나리오 생성bull 테스트 실행bull 결과 확인

기종 제조사 OS 해상도

1 갤노트4 삼성 512 1440x2560

2 갤럭시S3 삼성 444 720x1280

3 G3 LG 444 1080x1920

∙∙∙

[단말 사양]

[별첨3] 시연 환경 및 시나리오

테스트 시나리오(LPOINT)

G3 S3노트4

테스트 단말 선택- 시나리오별 단말 선택 (1~3대)- 다양한 해상도(저중고 해상도)

자동테스트 실행 및 결과 확인

- 시나리오별 상세조회 장면별 응답시간 메모리CPU 사용률 등

- 오류장면 검출 확인 정상 장면 대비 예외 장면 오류 장면 등

- 모니터링 결과 결함 발생시 담당자 e-mail 전송

ATAM 서버(PC1)

테스트 결과 확인모니터링

No 시나리오 인증 방식 테스트단말 비고

1 혜택쿠폰로그인하이마트쿠폰다운로드쿠폰자세히보기 IDPW 갤노트4

2 LTEM롯데호텔뷔페이용권이용권선택상품상세정보 없음 갤 노트4 S3 G3

3 LPOINT카드카드안내카드신청휴대폰인증 없음 갤 노트4 S3 G3 동시단말 테스트

4 MY LBOX로그인MY포인트포인트이용내역조회(90일) IDPW 갤 노트4 동시단말 테스트

34

주식회사인터링크시스템

상담 및 문의처

TEL 02-538-5940 FAX 02-538-5928

상무 우철환 010-8487-9727 wch2137interlinkcokr

차장 양 훈 010-2841-1319 hoonyinterlinkcokr

Page 13: 모바일 앱(App) 개발 테스트 솔루션 - 인터링크시스템

7 To-be Test AutomationⅠ 테스트자동화의 필요성

High velocity frequent quality software release

요구사항 설 계 개 발 테스팅 운영릴리즈

Devops 개발 프로세스 환경

High velocity Frequent feedback loops

자동화 극대화 일상작업 가속화 반복성 실수와 장애 감소 지연 감소 지속적 testing delivery deployment 가시성 확보 모니터링 과 측정을 통한 피드백을 제공

ContinuousEverything

Why ATAM

15

Dev ampTest

Ops ampInfra

TheCustomer

TheBusiness

모바일 앱 테스트 서비스는 테스트 계획수립 탐색적 테스트 시나리오 설계 및 자동화 테스트 수행을

통하여 결함 검출을 극대화시키고 시나리오 및 데이터를 DEVOPS 전 과정에서 재활용합니다

1 Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 1 ATAM SERIES POSITION

① 계획분석② 탐색적테스트

④ 테스트평가③ 테스트설계구현

테스트 리스트 작성

테스트 수행

테스트 수행결과

테스트전략수립

모바일 앱 기능검토

환경파악 및 구축

테스트시나리오작성

매뉴얼 테스트

자동화대상 수행

테스트결과

테스트결과보고서

모니터링 대상 수행

풀 기능 정검 수행

ATAM-I ATAM-M ATAM-A ATAM-F

⑤ 운영

ATAM-D

ATAM-I INSTALLFETCH TEST ATAM-M MIRROR TEST ATAM-A AUTOMTION TEST

ATAM-F FULL FUNCTION TEST ATAM-D HELTHY CHECK DASH BOARD ATAM-R REPORT

ATAM-R

1 Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 2 ATAM 구조 및 특징

앱 분석기(App Crawler)와 시나리오 GUI navigator를 활용한 룰 기반 시나리오 자동생성

기능을 통해 스크립트 작성 과정 없이 자동 테스트가 가능(특허 출원)

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 3 ATAM 개요

장면 기반의 테스트 자동화 도구

Generating scenario without script

1 전체 테스트 시나리오 생성

bull 앱 분석을 통한 서비스 blue-print및 시나리오 생성

bull 실제 앱 화면 기반 시나리오(스크립트) 생성

bull 개발자의 스크립트 작성 불필요

2 자동 테스트 및 결과 저장 3 실시간 모니터링 amp분석 결과 리포팅

bull 실 환경과 동일한 단말에서기능 및 성능 측정

bull 구간성능 오류유형 반복작업등 비즈니스 룰 기반 DB화

bull 명령에 따른 안정적인 테스트

bull 서비스 출시 후 지속적인health check 및 관리

bull 다양한 차트 및 분석 결과리포트 제공

bull 실시간 앱 서비스 모니터링

ATAM App Test Automation amp Monitoring

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 4 테스트시나리오 생성

앱 분석기를 통한 앱 정보 수집 및 전체 서비스 블루프린트 생성

가능한 테스트시나리오 모두 생성

솔루션 기능 사항 설명

ATAM-A 시나리오 생성방식 시나리오 식별을 위한 스크립팅 자동화

bull 스크립트 없이 장면 크롤링 만으로 시나리오 생성

bull 화면 및 이벤트 저장만으로 시나리오 생성

bull 시나리오는 장면 흐름으로 표시되어 쉽게 식별가능

bull 앱의 전체 구성도 및 시나리오를 한눈에 확인

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 5 테스트 시나리오 생성

시나리오가 실제 장면으로 구성되어쉽게 시나리오 선택 후 테스트

스크립트 개발 없이 사용자의 간단한조작만으로 시나리오 완성 및 테스트

생성된 시나리오를 선택하면 스크립트작성 없이 즉시 테스트

OS 해상도에 상관없이 동시단말 테스트

웹 방식으로 언제 어디서나 접속하여테스트 가능

다수 단말 동시테스트 및 원격 테스트

생성된 전체 서비스 블루프린트와 시나리오 리스트에서 원하는 테스트 시나리오선택

복수 단말에서 즉시 동시테스트

장면기반 서비스 블루프린트 및 테스트 시나리오 생성

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 6 테스트 시나리오 실행

솔루션 기능 사항 설명

ATAM-A 진행 상황 모니터링 진척율 상태 등 실시간 확인

bull 프로젝트 별 시나리오 진행현황을 실시간으로 모니터링bull 단말 별 시나리오 진행현황을 실시간 확인 및 오류발생 시 e-mailSMS 알림

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 7 테스트 시나리오 변경(단일 장면)

부분 시나리오 수정 시 전체 재 작성이 아닌 부분 장면 만 교체하여 시나리오 변경

bull 변경 대상 장면 또는 장면 셋을 삭제 후 새로운장면으로 교체

bull 스크립트 없이 장면 교체만으로 시나리오 변경

bull 단일장면 교체 확인

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 8 테스트 시나리오 변경(시나리오셋 변경)

시나리오 중 공통으로 활용 가능한 장면 및 장면 셋을 모듈로 저장하여 시나리오 신규생성 또는 변경 시 모듈 삽입으로 간편하게 시나리오 생성 및 변경 기능 제공

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 9 테스트 시나리오 재 사용

시나리오 중 공통으로 활용 가능한 장면 및 장면 셋을 모듈로 저장하여 시나리오 재 사용 가능

솔루션 기능사항 설명

ATAM-A One scenario Multi device 단말기 OS 등 변경에 따른 시나리오 재사용

No

단말기종수행속도(분초)

평균응답시간(초)

1LG G3 cat6

227 147

2 LG Gflex2 155 121

3 LG G2 205 191

4 갤 노트4 208 235

5갤 S6 edge

219 243

6 갤 노트3 207 125

7 갤 S5 214 176

8 베가노트 218 258

9 갤 S3 220 191

평균 속도 212 187

bull 하나의 시나리오로Multi device 테스트 지원

bull OS종류별 단말 기종 별 9대의단말에서 동시테스트 완료

bull 하나의 PC에서 최대 9대까지수행 확인

평균응답시간 클릭후 장면간 이동완료 시간

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 10 장면 검출 기능

정상 장면 대비 오류 장면에 대한 자동 검출 및 확인 기능

오류는 아니나 정상장면과 상이한 장면도 쉽게 확인 가능

예외 장면 중 공지 이벤트 등은 확인 후 테스트 진행 오류 장면은 자동 분류 (예외 장면 패턴 사전 등록)

결함 발생 리스트 및

정상 대비 오류화면

비교 결과 제공

결함 발생 당시 시간

오류 내역 메모리

CPU 사용량 등 오류

확인 기초 정보 제공

결함 발생시 해당 내

역을 e-mail 로 실시

간 전송 제공

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 11 리포트 amp 실시간 모니터링

테스트 결과 로그를 빅 데이타 형태로 DB에 저장 및 분석을 통해 다양한 결과 리포트를 웹

Dashboard에 제공하고 앱 서비스의 상태를 실시간으로 모니터링 할 수 있도록 제공

테스트 결과 리포트 다양한 형태의 차트 및 서비스 실시간 모니터링

- 시나리오 별 장면이벤트 별 성공률 응답시간 메모리CPU 사용률 등 회차 별 비교 분석 제공(반복실행에 따른 메모리 Leak 등 오류 확인)

- 웹 방식으로 제공되기 때문에 언제 어디서나 쉽게 테스트 결과 확인 및 모니터링 가능

I 은행

스크립트 작성 없이 간편하게 GUI형태의 테스트시나리오 생성

모든 시나리오를 실제 장면으로 제공하여 일반 사용자도 쉽게 테스트 가능

일부 시나리오 녹화 방식이 아닌 전체 서비스 시나리오 생성 후 테스트 시나리오 선택 실행

앱 업데이트 시 간단한 시나리오 편집만으로 즉시 테스트 가능

앱 업데이트 시 마다 스크립트 작성 불 필요 (장면 교체 등을 통한 쉬운 업데이트)

공인인증서 등 자주 사용하는 시나리오를 공통 모듈화하여 시나리오 생성시간 최소화

실시간 모니터링 및 Health Check

결과 로그 빅 데이타 DB 저장분석으로 실시간 리포트 확인

서비스 상황 실시간 체크 가능(구간별)

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 12 ATAM 특징 요약

1

3

4

해상도OS별 다수 단말 동시테스트 및 어디서나 원격 테스트 가능

하나의 시나리오로 해상도와 OS가 다른 다수의 단말을 동시 반복테스트

하나의 시나리오로 여러 단말 동시테스트

2

Web 방식으로 단말의 위치와 관계없이 테스트 가능

원격지의 단말도 테스트 가능

테스터의 테스트 상황을 관리자가 원격에서도 실시간 모니터링 가능

5

Ⅲ Competitive Advantage 1 기능 비교

ATAM은 경쟁솔루션 대비 전체 서비스블루프린트(구성도) 제공 스크립트 개발

자 불필요 최단시간 시나리오 자동 생성 등 차별화 서비스 제공으로 최고 수준

의 경쟁력 확보

구 분 ATAM G사(국내) H사(미국) S사(미국) 비고

전체 서비스구성도 제공(장면 기반 전개도)

X X X 뱅킹앱의 경우 약 700장면

테스트시나리오 생성시간(500장면 기준)

1일 1개월 15개월 1개월

장면당 평균 생성시간 (추정)- 스크립트 작성 및 디버깅 완료- 복수단말 테스트 가능상태 기준(1인 작성시간 기준)

테스트방식장면 크롤링

(시나리오 선택 실행)Record amp Play(스크립트 편집)

Record amp Play(스크립트 편집)

Record amp Play(스크립트 편집)

실시간 모니터링 X X ATAM 다양한 차트 그래프 제공

스크립트 개발자 불필요 필요 필요 필요 경쟁사는 스크립트 개발역량에 좌우

사용 방식 웹 방식 CS 방식(Client 설치) CS 방식(Client 설치) CS 방식(Client 설치) ATAM 원격테스트 가능

사용자수 제한 없음(웹접속) PC Client 설치 수 PC Client 설치 수 PC Client 설치 수

앱 업데이트 적용 방식 장면 교체(장면당 30초) 스크립트 수정 스크립트 수정 스크립트 수정 ATAM유지보수 용이

보안 키패드 반복 테스트 자동 추가 개발 필요 추가 개발 필요 추가 개발 필요 키패드 위치 변경시 테스트 자동화

시나리오 버전 별 비교 X X X 경쟁솔루션 구성도 비교 가능

ATAM 사용시 기대효과는 단순한 비용 절감보다는 품질을 향상시켜 고품질의 앱을 유지

할 수 있으며 처리시간 메모리 사용량 등 의 성능개선 Point를 제시 합니다

테스트 비용 및 시간 절감1 신뢰성 있는 고품질 앱 유지2

수작업 대비 비용은 약 67 시간 08 소요(단말 10대 시나리오 20개 20회 반복테스트 기준)

유지보수 비용 절감3

시나리오이벤트 별 오류 응답시간 메모리 사용량 등OS별 단말 별 다양한 테스트로 높은 품질의 시험결과제공

앱 업데이트 시마다 스크립트 수정 없이 재 테스트 가능

개발자의 스크립트 개발 및 수정 관리 불필요

쉽고 정확한 테스트4

프로그램을 모르는 사용자도 쉽게 테스트 진행 가능

Human error가 없어 정확한 테스트 가능

Ⅳ 기대 효과

Full Test Coverage5

앱 테스트가 가능한 시나리오를 전체의 블루 프린트로

확인하여 누락된 시나리오 등 확인 가능

앱 변경 시 임팩트가 있는 시나리오를 전체 테스트 가능

성능 개선 Point 제시6

모니터링을 통해 CPUMemoryResponse Time 의 적정성

여부 및 개선 point 파악 가능

새로운 App 개발로 인해 기존의 App 대비 성능 향상 비교

기 사용중인 App의 테스트 가능한 시나리오와 신규 개발된 App의 시나리오를 테스트한 결과를CPUResponse TimeMemory 사용률 등을 비교 분석하여 개선점 도출 및 보완에 활용

bull 기존 앱 의 성능문제로 고객불만 발생하여 신규 클라이언트 앱 개발bull 신규 앱 을 테스트 수행하였으나 신뢰할만한 데이터의 부재

bull 1차 테스트시 응답시간 30 이상 개선되었으나 메모리 사용량 증가 확인

bull ATAM의 메모리 상세분석에서 이미지 가속기 사용확인

bull 고 사양의 폰은 큰 문제가 되지 않으나 저사양 폰에서 다운되는 현상 확인

bull ATAM의 결과 자료를 바탕으로 프로그램 개선 후 오픈(lsquo1512월 현재)

POC를 통해ATAM 선정

ATAM으로테스트 및 분석

[별첨1] ATAM 적용사례1_K은행

예금신탁계좌조회

안드로이드

응답시간 메모리사용량 nativeHeap dalvikHeap 기타 cpu_use

AS-IS TO-BE 비율 AS-IS TO-BE 비율 AS-IS TO-BE 비율 AS-IS TO-BE 비율 AS-IS TO-BE 비율 AS-IS TO-BE 비율

Galaxy 6

최소 579 217 37 252039 406504 161 42635 20169 47 66881 78620 118 142523 307715 216 14 18 129

최대 674 492 73 261462 417621 160 42887 20589 48 70636 84433 120 147939 312599 211 20 22 110

평균 635 350 55 254623 412127 162 42756 20371 48 68562 80622 118 143304 311133 217 17 20 118

Galaxy 3

최소 558 238 43 109629 86029 78 - - 21 37 176

최대 3020 331 11 118228 90526 77 - - 39 40 103

평균 1111 288 26 114439 88591 77 - - 34 388 114

베가노트

최소 471 241 51 121530 98593 81 52 56 108

최대 1049 274 26 127300 112120 88 60 61 102

평균 560 250 45 123596 103539 84 562 587 104

G flex2

최소 463 227 49 169669 257117 152 63000 36560 58 51830 57387 111 54839 163170 298 17 17 100

최대 950 275 29 177872 266769 150 65248 37388 57 54691 59346 109 57933 170035 294 26 27 104

평균 589 259 44 174249 263124 151 64015 37111 58 52914 58494 111 57320 167520 292 235 221 94

bull As-Is 대비 To-Be 앱의 응답시간은 빨라졌으나 메모리 사용량은 증가- 개발팀은 메모리사용량이 최소 20~30 개선된 것으로 알고 있었으나 ATAM 테스트결과 이슈 발생- 개발관련 메모리 사용량은 감소하였으나 신규로 적용한 이미지가속기 사용시 기타영역 메모리 사용량 급증- 고사양 단말에서는 이슈가 없으나 갤럭시S2 등 저사양폰에서는 앱이 죽는 현상 발생- 저사양폰의 총메모리 사용량에는 기타영역(이미지 등)은 미포함되어 있음

전체 메모리 사용량은 증가개발 관련 메모리사용은 감소

이미지가속기 관련 기타메모리영역 사용량 급증

[별첨1] ATAM 적용사례1_K은행

6개 단말기에서 18개 신용카드로 3개의 혜택 종류별 테스터 엔지니어가 수작업으로

3회씩 반복테스트를 한다면 324개 시나리오를 테스트 엔지니어 3명이 7일 소요

6 times 18= 108개 시나리오

108 times 3= 324 개 시나리오

324 times 10분(테스트소요시간)=

3240분 (약54시간)

54 8시간 times 3회= 7 일 times 3명

현재 수작업으로 5명이 64개의 시

나리오만 테스트 중

18 times 3= 54 개 시나리오

54 times 10분(테스트소요시간)=

540분 (9시간)

9 24시간 times 3회 = 12 일 (6

대 동시 실행)

현재 테스트아웃소싱을 통해 수작업 테스트 진행중이나 불필요한 반복테스트 수작업테스트커버리지부족 주요 서비스에 대한 실시간 모니터링 및 결함 자동 알람 필요성 등으로 자동테스트 솔루션 검토

솔루션 4개사 검토후ATAM 선정

[별첨2] ATAM 적용사례2_L홈쇼핑

[별첨3] 시연 환경 및 시나리오

ATAM 서버(PC1)

bull Windows OSbull 웹서버(NodeExpress)bull DB서버(Maria)bull ATAM Controllerbull 시나리오 생성bull 테스트 실행bull 결과 확인

결과 모니터

앱 실행 환경(무선)bull LTEbull 블루투스 테더링bull WiFi

아이폰 테스트 PC(Mac)

USB

테스트 단말(Test Lab)

클라이언트 PC2

bull Windows OSbull ATAM Controllerbull 시나리오 생성bull 테스트 실행bull 결과 확인

USB

bull Mac OSbull ATAM Controllerbull 시나리오 생성bull 테스트 실행bull 결과 확인

기종 제조사 OS 해상도

1 갤노트4 삼성 512 1440x2560

2 갤럭시S3 삼성 444 720x1280

3 G3 LG 444 1080x1920

∙∙∙

[단말 사양]

[별첨3] 시연 환경 및 시나리오

테스트 시나리오(LPOINT)

G3 S3노트4

테스트 단말 선택- 시나리오별 단말 선택 (1~3대)- 다양한 해상도(저중고 해상도)

자동테스트 실행 및 결과 확인

- 시나리오별 상세조회 장면별 응답시간 메모리CPU 사용률 등

- 오류장면 검출 확인 정상 장면 대비 예외 장면 오류 장면 등

- 모니터링 결과 결함 발생시 담당자 e-mail 전송

ATAM 서버(PC1)

테스트 결과 확인모니터링

No 시나리오 인증 방식 테스트단말 비고

1 혜택쿠폰로그인하이마트쿠폰다운로드쿠폰자세히보기 IDPW 갤노트4

2 LTEM롯데호텔뷔페이용권이용권선택상품상세정보 없음 갤 노트4 S3 G3

3 LPOINT카드카드안내카드신청휴대폰인증 없음 갤 노트4 S3 G3 동시단말 테스트

4 MY LBOX로그인MY포인트포인트이용내역조회(90일) IDPW 갤 노트4 동시단말 테스트

34

주식회사인터링크시스템

상담 및 문의처

TEL 02-538-5940 FAX 02-538-5928

상무 우철환 010-8487-9727 wch2137interlinkcokr

차장 양 훈 010-2841-1319 hoonyinterlinkcokr

Page 14: 모바일 앱(App) 개발 테스트 솔루션 - 인터링크시스템

Why ATAM

15

Dev ampTest

Ops ampInfra

TheCustomer

TheBusiness

모바일 앱 테스트 서비스는 테스트 계획수립 탐색적 테스트 시나리오 설계 및 자동화 테스트 수행을

통하여 결함 검출을 극대화시키고 시나리오 및 데이터를 DEVOPS 전 과정에서 재활용합니다

1 Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 1 ATAM SERIES POSITION

① 계획분석② 탐색적테스트

④ 테스트평가③ 테스트설계구현

테스트 리스트 작성

테스트 수행

테스트 수행결과

테스트전략수립

모바일 앱 기능검토

환경파악 및 구축

테스트시나리오작성

매뉴얼 테스트

자동화대상 수행

테스트결과

테스트결과보고서

모니터링 대상 수행

풀 기능 정검 수행

ATAM-I ATAM-M ATAM-A ATAM-F

⑤ 운영

ATAM-D

ATAM-I INSTALLFETCH TEST ATAM-M MIRROR TEST ATAM-A AUTOMTION TEST

ATAM-F FULL FUNCTION TEST ATAM-D HELTHY CHECK DASH BOARD ATAM-R REPORT

ATAM-R

1 Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 2 ATAM 구조 및 특징

앱 분석기(App Crawler)와 시나리오 GUI navigator를 활용한 룰 기반 시나리오 자동생성

기능을 통해 스크립트 작성 과정 없이 자동 테스트가 가능(특허 출원)

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 3 ATAM 개요

장면 기반의 테스트 자동화 도구

Generating scenario without script

1 전체 테스트 시나리오 생성

bull 앱 분석을 통한 서비스 blue-print및 시나리오 생성

bull 실제 앱 화면 기반 시나리오(스크립트) 생성

bull 개발자의 스크립트 작성 불필요

2 자동 테스트 및 결과 저장 3 실시간 모니터링 amp분석 결과 리포팅

bull 실 환경과 동일한 단말에서기능 및 성능 측정

bull 구간성능 오류유형 반복작업등 비즈니스 룰 기반 DB화

bull 명령에 따른 안정적인 테스트

bull 서비스 출시 후 지속적인health check 및 관리

bull 다양한 차트 및 분석 결과리포트 제공

bull 실시간 앱 서비스 모니터링

ATAM App Test Automation amp Monitoring

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 4 테스트시나리오 생성

앱 분석기를 통한 앱 정보 수집 및 전체 서비스 블루프린트 생성

가능한 테스트시나리오 모두 생성

솔루션 기능 사항 설명

ATAM-A 시나리오 생성방식 시나리오 식별을 위한 스크립팅 자동화

bull 스크립트 없이 장면 크롤링 만으로 시나리오 생성

bull 화면 및 이벤트 저장만으로 시나리오 생성

bull 시나리오는 장면 흐름으로 표시되어 쉽게 식별가능

bull 앱의 전체 구성도 및 시나리오를 한눈에 확인

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 5 테스트 시나리오 생성

시나리오가 실제 장면으로 구성되어쉽게 시나리오 선택 후 테스트

스크립트 개발 없이 사용자의 간단한조작만으로 시나리오 완성 및 테스트

생성된 시나리오를 선택하면 스크립트작성 없이 즉시 테스트

OS 해상도에 상관없이 동시단말 테스트

웹 방식으로 언제 어디서나 접속하여테스트 가능

다수 단말 동시테스트 및 원격 테스트

생성된 전체 서비스 블루프린트와 시나리오 리스트에서 원하는 테스트 시나리오선택

복수 단말에서 즉시 동시테스트

장면기반 서비스 블루프린트 및 테스트 시나리오 생성

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 6 테스트 시나리오 실행

솔루션 기능 사항 설명

ATAM-A 진행 상황 모니터링 진척율 상태 등 실시간 확인

bull 프로젝트 별 시나리오 진행현황을 실시간으로 모니터링bull 단말 별 시나리오 진행현황을 실시간 확인 및 오류발생 시 e-mailSMS 알림

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 7 테스트 시나리오 변경(단일 장면)

부분 시나리오 수정 시 전체 재 작성이 아닌 부분 장면 만 교체하여 시나리오 변경

bull 변경 대상 장면 또는 장면 셋을 삭제 후 새로운장면으로 교체

bull 스크립트 없이 장면 교체만으로 시나리오 변경

bull 단일장면 교체 확인

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 8 테스트 시나리오 변경(시나리오셋 변경)

시나리오 중 공통으로 활용 가능한 장면 및 장면 셋을 모듈로 저장하여 시나리오 신규생성 또는 변경 시 모듈 삽입으로 간편하게 시나리오 생성 및 변경 기능 제공

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 9 테스트 시나리오 재 사용

시나리오 중 공통으로 활용 가능한 장면 및 장면 셋을 모듈로 저장하여 시나리오 재 사용 가능

솔루션 기능사항 설명

ATAM-A One scenario Multi device 단말기 OS 등 변경에 따른 시나리오 재사용

No

단말기종수행속도(분초)

평균응답시간(초)

1LG G3 cat6

227 147

2 LG Gflex2 155 121

3 LG G2 205 191

4 갤 노트4 208 235

5갤 S6 edge

219 243

6 갤 노트3 207 125

7 갤 S5 214 176

8 베가노트 218 258

9 갤 S3 220 191

평균 속도 212 187

bull 하나의 시나리오로Multi device 테스트 지원

bull OS종류별 단말 기종 별 9대의단말에서 동시테스트 완료

bull 하나의 PC에서 최대 9대까지수행 확인

평균응답시간 클릭후 장면간 이동완료 시간

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 10 장면 검출 기능

정상 장면 대비 오류 장면에 대한 자동 검출 및 확인 기능

오류는 아니나 정상장면과 상이한 장면도 쉽게 확인 가능

예외 장면 중 공지 이벤트 등은 확인 후 테스트 진행 오류 장면은 자동 분류 (예외 장면 패턴 사전 등록)

결함 발생 리스트 및

정상 대비 오류화면

비교 결과 제공

결함 발생 당시 시간

오류 내역 메모리

CPU 사용량 등 오류

확인 기초 정보 제공

결함 발생시 해당 내

역을 e-mail 로 실시

간 전송 제공

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 11 리포트 amp 실시간 모니터링

테스트 결과 로그를 빅 데이타 형태로 DB에 저장 및 분석을 통해 다양한 결과 리포트를 웹

Dashboard에 제공하고 앱 서비스의 상태를 실시간으로 모니터링 할 수 있도록 제공

테스트 결과 리포트 다양한 형태의 차트 및 서비스 실시간 모니터링

- 시나리오 별 장면이벤트 별 성공률 응답시간 메모리CPU 사용률 등 회차 별 비교 분석 제공(반복실행에 따른 메모리 Leak 등 오류 확인)

- 웹 방식으로 제공되기 때문에 언제 어디서나 쉽게 테스트 결과 확인 및 모니터링 가능

I 은행

스크립트 작성 없이 간편하게 GUI형태의 테스트시나리오 생성

모든 시나리오를 실제 장면으로 제공하여 일반 사용자도 쉽게 테스트 가능

일부 시나리오 녹화 방식이 아닌 전체 서비스 시나리오 생성 후 테스트 시나리오 선택 실행

앱 업데이트 시 간단한 시나리오 편집만으로 즉시 테스트 가능

앱 업데이트 시 마다 스크립트 작성 불 필요 (장면 교체 등을 통한 쉬운 업데이트)

공인인증서 등 자주 사용하는 시나리오를 공통 모듈화하여 시나리오 생성시간 최소화

실시간 모니터링 및 Health Check

결과 로그 빅 데이타 DB 저장분석으로 실시간 리포트 확인

서비스 상황 실시간 체크 가능(구간별)

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 12 ATAM 특징 요약

1

3

4

해상도OS별 다수 단말 동시테스트 및 어디서나 원격 테스트 가능

하나의 시나리오로 해상도와 OS가 다른 다수의 단말을 동시 반복테스트

하나의 시나리오로 여러 단말 동시테스트

2

Web 방식으로 단말의 위치와 관계없이 테스트 가능

원격지의 단말도 테스트 가능

테스터의 테스트 상황을 관리자가 원격에서도 실시간 모니터링 가능

5

Ⅲ Competitive Advantage 1 기능 비교

ATAM은 경쟁솔루션 대비 전체 서비스블루프린트(구성도) 제공 스크립트 개발

자 불필요 최단시간 시나리오 자동 생성 등 차별화 서비스 제공으로 최고 수준

의 경쟁력 확보

구 분 ATAM G사(국내) H사(미국) S사(미국) 비고

전체 서비스구성도 제공(장면 기반 전개도)

X X X 뱅킹앱의 경우 약 700장면

테스트시나리오 생성시간(500장면 기준)

1일 1개월 15개월 1개월

장면당 평균 생성시간 (추정)- 스크립트 작성 및 디버깅 완료- 복수단말 테스트 가능상태 기준(1인 작성시간 기준)

테스트방식장면 크롤링

(시나리오 선택 실행)Record amp Play(스크립트 편집)

Record amp Play(스크립트 편집)

Record amp Play(스크립트 편집)

실시간 모니터링 X X ATAM 다양한 차트 그래프 제공

스크립트 개발자 불필요 필요 필요 필요 경쟁사는 스크립트 개발역량에 좌우

사용 방식 웹 방식 CS 방식(Client 설치) CS 방식(Client 설치) CS 방식(Client 설치) ATAM 원격테스트 가능

사용자수 제한 없음(웹접속) PC Client 설치 수 PC Client 설치 수 PC Client 설치 수

앱 업데이트 적용 방식 장면 교체(장면당 30초) 스크립트 수정 스크립트 수정 스크립트 수정 ATAM유지보수 용이

보안 키패드 반복 테스트 자동 추가 개발 필요 추가 개발 필요 추가 개발 필요 키패드 위치 변경시 테스트 자동화

시나리오 버전 별 비교 X X X 경쟁솔루션 구성도 비교 가능

ATAM 사용시 기대효과는 단순한 비용 절감보다는 품질을 향상시켜 고품질의 앱을 유지

할 수 있으며 처리시간 메모리 사용량 등 의 성능개선 Point를 제시 합니다

테스트 비용 및 시간 절감1 신뢰성 있는 고품질 앱 유지2

수작업 대비 비용은 약 67 시간 08 소요(단말 10대 시나리오 20개 20회 반복테스트 기준)

유지보수 비용 절감3

시나리오이벤트 별 오류 응답시간 메모리 사용량 등OS별 단말 별 다양한 테스트로 높은 품질의 시험결과제공

앱 업데이트 시마다 스크립트 수정 없이 재 테스트 가능

개발자의 스크립트 개발 및 수정 관리 불필요

쉽고 정확한 테스트4

프로그램을 모르는 사용자도 쉽게 테스트 진행 가능

Human error가 없어 정확한 테스트 가능

Ⅳ 기대 효과

Full Test Coverage5

앱 테스트가 가능한 시나리오를 전체의 블루 프린트로

확인하여 누락된 시나리오 등 확인 가능

앱 변경 시 임팩트가 있는 시나리오를 전체 테스트 가능

성능 개선 Point 제시6

모니터링을 통해 CPUMemoryResponse Time 의 적정성

여부 및 개선 point 파악 가능

새로운 App 개발로 인해 기존의 App 대비 성능 향상 비교

기 사용중인 App의 테스트 가능한 시나리오와 신규 개발된 App의 시나리오를 테스트한 결과를CPUResponse TimeMemory 사용률 등을 비교 분석하여 개선점 도출 및 보완에 활용

bull 기존 앱 의 성능문제로 고객불만 발생하여 신규 클라이언트 앱 개발bull 신규 앱 을 테스트 수행하였으나 신뢰할만한 데이터의 부재

bull 1차 테스트시 응답시간 30 이상 개선되었으나 메모리 사용량 증가 확인

bull ATAM의 메모리 상세분석에서 이미지 가속기 사용확인

bull 고 사양의 폰은 큰 문제가 되지 않으나 저사양 폰에서 다운되는 현상 확인

bull ATAM의 결과 자료를 바탕으로 프로그램 개선 후 오픈(lsquo1512월 현재)

POC를 통해ATAM 선정

ATAM으로테스트 및 분석

[별첨1] ATAM 적용사례1_K은행

예금신탁계좌조회

안드로이드

응답시간 메모리사용량 nativeHeap dalvikHeap 기타 cpu_use

AS-IS TO-BE 비율 AS-IS TO-BE 비율 AS-IS TO-BE 비율 AS-IS TO-BE 비율 AS-IS TO-BE 비율 AS-IS TO-BE 비율

Galaxy 6

최소 579 217 37 252039 406504 161 42635 20169 47 66881 78620 118 142523 307715 216 14 18 129

최대 674 492 73 261462 417621 160 42887 20589 48 70636 84433 120 147939 312599 211 20 22 110

평균 635 350 55 254623 412127 162 42756 20371 48 68562 80622 118 143304 311133 217 17 20 118

Galaxy 3

최소 558 238 43 109629 86029 78 - - 21 37 176

최대 3020 331 11 118228 90526 77 - - 39 40 103

평균 1111 288 26 114439 88591 77 - - 34 388 114

베가노트

최소 471 241 51 121530 98593 81 52 56 108

최대 1049 274 26 127300 112120 88 60 61 102

평균 560 250 45 123596 103539 84 562 587 104

G flex2

최소 463 227 49 169669 257117 152 63000 36560 58 51830 57387 111 54839 163170 298 17 17 100

최대 950 275 29 177872 266769 150 65248 37388 57 54691 59346 109 57933 170035 294 26 27 104

평균 589 259 44 174249 263124 151 64015 37111 58 52914 58494 111 57320 167520 292 235 221 94

bull As-Is 대비 To-Be 앱의 응답시간은 빨라졌으나 메모리 사용량은 증가- 개발팀은 메모리사용량이 최소 20~30 개선된 것으로 알고 있었으나 ATAM 테스트결과 이슈 발생- 개발관련 메모리 사용량은 감소하였으나 신규로 적용한 이미지가속기 사용시 기타영역 메모리 사용량 급증- 고사양 단말에서는 이슈가 없으나 갤럭시S2 등 저사양폰에서는 앱이 죽는 현상 발생- 저사양폰의 총메모리 사용량에는 기타영역(이미지 등)은 미포함되어 있음

전체 메모리 사용량은 증가개발 관련 메모리사용은 감소

이미지가속기 관련 기타메모리영역 사용량 급증

[별첨1] ATAM 적용사례1_K은행

6개 단말기에서 18개 신용카드로 3개의 혜택 종류별 테스터 엔지니어가 수작업으로

3회씩 반복테스트를 한다면 324개 시나리오를 테스트 엔지니어 3명이 7일 소요

6 times 18= 108개 시나리오

108 times 3= 324 개 시나리오

324 times 10분(테스트소요시간)=

3240분 (약54시간)

54 8시간 times 3회= 7 일 times 3명

현재 수작업으로 5명이 64개의 시

나리오만 테스트 중

18 times 3= 54 개 시나리오

54 times 10분(테스트소요시간)=

540분 (9시간)

9 24시간 times 3회 = 12 일 (6

대 동시 실행)

현재 테스트아웃소싱을 통해 수작업 테스트 진행중이나 불필요한 반복테스트 수작업테스트커버리지부족 주요 서비스에 대한 실시간 모니터링 및 결함 자동 알람 필요성 등으로 자동테스트 솔루션 검토

솔루션 4개사 검토후ATAM 선정

[별첨2] ATAM 적용사례2_L홈쇼핑

[별첨3] 시연 환경 및 시나리오

ATAM 서버(PC1)

bull Windows OSbull 웹서버(NodeExpress)bull DB서버(Maria)bull ATAM Controllerbull 시나리오 생성bull 테스트 실행bull 결과 확인

결과 모니터

앱 실행 환경(무선)bull LTEbull 블루투스 테더링bull WiFi

아이폰 테스트 PC(Mac)

USB

테스트 단말(Test Lab)

클라이언트 PC2

bull Windows OSbull ATAM Controllerbull 시나리오 생성bull 테스트 실행bull 결과 확인

USB

bull Mac OSbull ATAM Controllerbull 시나리오 생성bull 테스트 실행bull 결과 확인

기종 제조사 OS 해상도

1 갤노트4 삼성 512 1440x2560

2 갤럭시S3 삼성 444 720x1280

3 G3 LG 444 1080x1920

∙∙∙

[단말 사양]

[별첨3] 시연 환경 및 시나리오

테스트 시나리오(LPOINT)

G3 S3노트4

테스트 단말 선택- 시나리오별 단말 선택 (1~3대)- 다양한 해상도(저중고 해상도)

자동테스트 실행 및 결과 확인

- 시나리오별 상세조회 장면별 응답시간 메모리CPU 사용률 등

- 오류장면 검출 확인 정상 장면 대비 예외 장면 오류 장면 등

- 모니터링 결과 결함 발생시 담당자 e-mail 전송

ATAM 서버(PC1)

테스트 결과 확인모니터링

No 시나리오 인증 방식 테스트단말 비고

1 혜택쿠폰로그인하이마트쿠폰다운로드쿠폰자세히보기 IDPW 갤노트4

2 LTEM롯데호텔뷔페이용권이용권선택상품상세정보 없음 갤 노트4 S3 G3

3 LPOINT카드카드안내카드신청휴대폰인증 없음 갤 노트4 S3 G3 동시단말 테스트

4 MY LBOX로그인MY포인트포인트이용내역조회(90일) IDPW 갤 노트4 동시단말 테스트

34

주식회사인터링크시스템

상담 및 문의처

TEL 02-538-5940 FAX 02-538-5928

상무 우철환 010-8487-9727 wch2137interlinkcokr

차장 양 훈 010-2841-1319 hoonyinterlinkcokr

Page 15: 모바일 앱(App) 개발 테스트 솔루션 - 인터링크시스템

15

Dev ampTest

Ops ampInfra

TheCustomer

TheBusiness

모바일 앱 테스트 서비스는 테스트 계획수립 탐색적 테스트 시나리오 설계 및 자동화 테스트 수행을

통하여 결함 검출을 극대화시키고 시나리오 및 데이터를 DEVOPS 전 과정에서 재활용합니다

1 Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 1 ATAM SERIES POSITION

① 계획분석② 탐색적테스트

④ 테스트평가③ 테스트설계구현

테스트 리스트 작성

테스트 수행

테스트 수행결과

테스트전략수립

모바일 앱 기능검토

환경파악 및 구축

테스트시나리오작성

매뉴얼 테스트

자동화대상 수행

테스트결과

테스트결과보고서

모니터링 대상 수행

풀 기능 정검 수행

ATAM-I ATAM-M ATAM-A ATAM-F

⑤ 운영

ATAM-D

ATAM-I INSTALLFETCH TEST ATAM-M MIRROR TEST ATAM-A AUTOMTION TEST

ATAM-F FULL FUNCTION TEST ATAM-D HELTHY CHECK DASH BOARD ATAM-R REPORT

ATAM-R

1 Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 2 ATAM 구조 및 특징

앱 분석기(App Crawler)와 시나리오 GUI navigator를 활용한 룰 기반 시나리오 자동생성

기능을 통해 스크립트 작성 과정 없이 자동 테스트가 가능(특허 출원)

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 3 ATAM 개요

장면 기반의 테스트 자동화 도구

Generating scenario without script

1 전체 테스트 시나리오 생성

bull 앱 분석을 통한 서비스 blue-print및 시나리오 생성

bull 실제 앱 화면 기반 시나리오(스크립트) 생성

bull 개발자의 스크립트 작성 불필요

2 자동 테스트 및 결과 저장 3 실시간 모니터링 amp분석 결과 리포팅

bull 실 환경과 동일한 단말에서기능 및 성능 측정

bull 구간성능 오류유형 반복작업등 비즈니스 룰 기반 DB화

bull 명령에 따른 안정적인 테스트

bull 서비스 출시 후 지속적인health check 및 관리

bull 다양한 차트 및 분석 결과리포트 제공

bull 실시간 앱 서비스 모니터링

ATAM App Test Automation amp Monitoring

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 4 테스트시나리오 생성

앱 분석기를 통한 앱 정보 수집 및 전체 서비스 블루프린트 생성

가능한 테스트시나리오 모두 생성

솔루션 기능 사항 설명

ATAM-A 시나리오 생성방식 시나리오 식별을 위한 스크립팅 자동화

bull 스크립트 없이 장면 크롤링 만으로 시나리오 생성

bull 화면 및 이벤트 저장만으로 시나리오 생성

bull 시나리오는 장면 흐름으로 표시되어 쉽게 식별가능

bull 앱의 전체 구성도 및 시나리오를 한눈에 확인

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 5 테스트 시나리오 생성

시나리오가 실제 장면으로 구성되어쉽게 시나리오 선택 후 테스트

스크립트 개발 없이 사용자의 간단한조작만으로 시나리오 완성 및 테스트

생성된 시나리오를 선택하면 스크립트작성 없이 즉시 테스트

OS 해상도에 상관없이 동시단말 테스트

웹 방식으로 언제 어디서나 접속하여테스트 가능

다수 단말 동시테스트 및 원격 테스트

생성된 전체 서비스 블루프린트와 시나리오 리스트에서 원하는 테스트 시나리오선택

복수 단말에서 즉시 동시테스트

장면기반 서비스 블루프린트 및 테스트 시나리오 생성

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 6 테스트 시나리오 실행

솔루션 기능 사항 설명

ATAM-A 진행 상황 모니터링 진척율 상태 등 실시간 확인

bull 프로젝트 별 시나리오 진행현황을 실시간으로 모니터링bull 단말 별 시나리오 진행현황을 실시간 확인 및 오류발생 시 e-mailSMS 알림

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 7 테스트 시나리오 변경(단일 장면)

부분 시나리오 수정 시 전체 재 작성이 아닌 부분 장면 만 교체하여 시나리오 변경

bull 변경 대상 장면 또는 장면 셋을 삭제 후 새로운장면으로 교체

bull 스크립트 없이 장면 교체만으로 시나리오 변경

bull 단일장면 교체 확인

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 8 테스트 시나리오 변경(시나리오셋 변경)

시나리오 중 공통으로 활용 가능한 장면 및 장면 셋을 모듈로 저장하여 시나리오 신규생성 또는 변경 시 모듈 삽입으로 간편하게 시나리오 생성 및 변경 기능 제공

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 9 테스트 시나리오 재 사용

시나리오 중 공통으로 활용 가능한 장면 및 장면 셋을 모듈로 저장하여 시나리오 재 사용 가능

솔루션 기능사항 설명

ATAM-A One scenario Multi device 단말기 OS 등 변경에 따른 시나리오 재사용

No

단말기종수행속도(분초)

평균응답시간(초)

1LG G3 cat6

227 147

2 LG Gflex2 155 121

3 LG G2 205 191

4 갤 노트4 208 235

5갤 S6 edge

219 243

6 갤 노트3 207 125

7 갤 S5 214 176

8 베가노트 218 258

9 갤 S3 220 191

평균 속도 212 187

bull 하나의 시나리오로Multi device 테스트 지원

bull OS종류별 단말 기종 별 9대의단말에서 동시테스트 완료

bull 하나의 PC에서 최대 9대까지수행 확인

평균응답시간 클릭후 장면간 이동완료 시간

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 10 장면 검출 기능

정상 장면 대비 오류 장면에 대한 자동 검출 및 확인 기능

오류는 아니나 정상장면과 상이한 장면도 쉽게 확인 가능

예외 장면 중 공지 이벤트 등은 확인 후 테스트 진행 오류 장면은 자동 분류 (예외 장면 패턴 사전 등록)

결함 발생 리스트 및

정상 대비 오류화면

비교 결과 제공

결함 발생 당시 시간

오류 내역 메모리

CPU 사용량 등 오류

확인 기초 정보 제공

결함 발생시 해당 내

역을 e-mail 로 실시

간 전송 제공

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 11 리포트 amp 실시간 모니터링

테스트 결과 로그를 빅 데이타 형태로 DB에 저장 및 분석을 통해 다양한 결과 리포트를 웹

Dashboard에 제공하고 앱 서비스의 상태를 실시간으로 모니터링 할 수 있도록 제공

테스트 결과 리포트 다양한 형태의 차트 및 서비스 실시간 모니터링

- 시나리오 별 장면이벤트 별 성공률 응답시간 메모리CPU 사용률 등 회차 별 비교 분석 제공(반복실행에 따른 메모리 Leak 등 오류 확인)

- 웹 방식으로 제공되기 때문에 언제 어디서나 쉽게 테스트 결과 확인 및 모니터링 가능

I 은행

스크립트 작성 없이 간편하게 GUI형태의 테스트시나리오 생성

모든 시나리오를 실제 장면으로 제공하여 일반 사용자도 쉽게 테스트 가능

일부 시나리오 녹화 방식이 아닌 전체 서비스 시나리오 생성 후 테스트 시나리오 선택 실행

앱 업데이트 시 간단한 시나리오 편집만으로 즉시 테스트 가능

앱 업데이트 시 마다 스크립트 작성 불 필요 (장면 교체 등을 통한 쉬운 업데이트)

공인인증서 등 자주 사용하는 시나리오를 공통 모듈화하여 시나리오 생성시간 최소화

실시간 모니터링 및 Health Check

결과 로그 빅 데이타 DB 저장분석으로 실시간 리포트 확인

서비스 상황 실시간 체크 가능(구간별)

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 12 ATAM 특징 요약

1

3

4

해상도OS별 다수 단말 동시테스트 및 어디서나 원격 테스트 가능

하나의 시나리오로 해상도와 OS가 다른 다수의 단말을 동시 반복테스트

하나의 시나리오로 여러 단말 동시테스트

2

Web 방식으로 단말의 위치와 관계없이 테스트 가능

원격지의 단말도 테스트 가능

테스터의 테스트 상황을 관리자가 원격에서도 실시간 모니터링 가능

5

Ⅲ Competitive Advantage 1 기능 비교

ATAM은 경쟁솔루션 대비 전체 서비스블루프린트(구성도) 제공 스크립트 개발

자 불필요 최단시간 시나리오 자동 생성 등 차별화 서비스 제공으로 최고 수준

의 경쟁력 확보

구 분 ATAM G사(국내) H사(미국) S사(미국) 비고

전체 서비스구성도 제공(장면 기반 전개도)

X X X 뱅킹앱의 경우 약 700장면

테스트시나리오 생성시간(500장면 기준)

1일 1개월 15개월 1개월

장면당 평균 생성시간 (추정)- 스크립트 작성 및 디버깅 완료- 복수단말 테스트 가능상태 기준(1인 작성시간 기준)

테스트방식장면 크롤링

(시나리오 선택 실행)Record amp Play(스크립트 편집)

Record amp Play(스크립트 편집)

Record amp Play(스크립트 편집)

실시간 모니터링 X X ATAM 다양한 차트 그래프 제공

스크립트 개발자 불필요 필요 필요 필요 경쟁사는 스크립트 개발역량에 좌우

사용 방식 웹 방식 CS 방식(Client 설치) CS 방식(Client 설치) CS 방식(Client 설치) ATAM 원격테스트 가능

사용자수 제한 없음(웹접속) PC Client 설치 수 PC Client 설치 수 PC Client 설치 수

앱 업데이트 적용 방식 장면 교체(장면당 30초) 스크립트 수정 스크립트 수정 스크립트 수정 ATAM유지보수 용이

보안 키패드 반복 테스트 자동 추가 개발 필요 추가 개발 필요 추가 개발 필요 키패드 위치 변경시 테스트 자동화

시나리오 버전 별 비교 X X X 경쟁솔루션 구성도 비교 가능

ATAM 사용시 기대효과는 단순한 비용 절감보다는 품질을 향상시켜 고품질의 앱을 유지

할 수 있으며 처리시간 메모리 사용량 등 의 성능개선 Point를 제시 합니다

테스트 비용 및 시간 절감1 신뢰성 있는 고품질 앱 유지2

수작업 대비 비용은 약 67 시간 08 소요(단말 10대 시나리오 20개 20회 반복테스트 기준)

유지보수 비용 절감3

시나리오이벤트 별 오류 응답시간 메모리 사용량 등OS별 단말 별 다양한 테스트로 높은 품질의 시험결과제공

앱 업데이트 시마다 스크립트 수정 없이 재 테스트 가능

개발자의 스크립트 개발 및 수정 관리 불필요

쉽고 정확한 테스트4

프로그램을 모르는 사용자도 쉽게 테스트 진행 가능

Human error가 없어 정확한 테스트 가능

Ⅳ 기대 효과

Full Test Coverage5

앱 테스트가 가능한 시나리오를 전체의 블루 프린트로

확인하여 누락된 시나리오 등 확인 가능

앱 변경 시 임팩트가 있는 시나리오를 전체 테스트 가능

성능 개선 Point 제시6

모니터링을 통해 CPUMemoryResponse Time 의 적정성

여부 및 개선 point 파악 가능

새로운 App 개발로 인해 기존의 App 대비 성능 향상 비교

기 사용중인 App의 테스트 가능한 시나리오와 신규 개발된 App의 시나리오를 테스트한 결과를CPUResponse TimeMemory 사용률 등을 비교 분석하여 개선점 도출 및 보완에 활용

bull 기존 앱 의 성능문제로 고객불만 발생하여 신규 클라이언트 앱 개발bull 신규 앱 을 테스트 수행하였으나 신뢰할만한 데이터의 부재

bull 1차 테스트시 응답시간 30 이상 개선되었으나 메모리 사용량 증가 확인

bull ATAM의 메모리 상세분석에서 이미지 가속기 사용확인

bull 고 사양의 폰은 큰 문제가 되지 않으나 저사양 폰에서 다운되는 현상 확인

bull ATAM의 결과 자료를 바탕으로 프로그램 개선 후 오픈(lsquo1512월 현재)

POC를 통해ATAM 선정

ATAM으로테스트 및 분석

[별첨1] ATAM 적용사례1_K은행

예금신탁계좌조회

안드로이드

응답시간 메모리사용량 nativeHeap dalvikHeap 기타 cpu_use

AS-IS TO-BE 비율 AS-IS TO-BE 비율 AS-IS TO-BE 비율 AS-IS TO-BE 비율 AS-IS TO-BE 비율 AS-IS TO-BE 비율

Galaxy 6

최소 579 217 37 252039 406504 161 42635 20169 47 66881 78620 118 142523 307715 216 14 18 129

최대 674 492 73 261462 417621 160 42887 20589 48 70636 84433 120 147939 312599 211 20 22 110

평균 635 350 55 254623 412127 162 42756 20371 48 68562 80622 118 143304 311133 217 17 20 118

Galaxy 3

최소 558 238 43 109629 86029 78 - - 21 37 176

최대 3020 331 11 118228 90526 77 - - 39 40 103

평균 1111 288 26 114439 88591 77 - - 34 388 114

베가노트

최소 471 241 51 121530 98593 81 52 56 108

최대 1049 274 26 127300 112120 88 60 61 102

평균 560 250 45 123596 103539 84 562 587 104

G flex2

최소 463 227 49 169669 257117 152 63000 36560 58 51830 57387 111 54839 163170 298 17 17 100

최대 950 275 29 177872 266769 150 65248 37388 57 54691 59346 109 57933 170035 294 26 27 104

평균 589 259 44 174249 263124 151 64015 37111 58 52914 58494 111 57320 167520 292 235 221 94

bull As-Is 대비 To-Be 앱의 응답시간은 빨라졌으나 메모리 사용량은 증가- 개발팀은 메모리사용량이 최소 20~30 개선된 것으로 알고 있었으나 ATAM 테스트결과 이슈 발생- 개발관련 메모리 사용량은 감소하였으나 신규로 적용한 이미지가속기 사용시 기타영역 메모리 사용량 급증- 고사양 단말에서는 이슈가 없으나 갤럭시S2 등 저사양폰에서는 앱이 죽는 현상 발생- 저사양폰의 총메모리 사용량에는 기타영역(이미지 등)은 미포함되어 있음

전체 메모리 사용량은 증가개발 관련 메모리사용은 감소

이미지가속기 관련 기타메모리영역 사용량 급증

[별첨1] ATAM 적용사례1_K은행

6개 단말기에서 18개 신용카드로 3개의 혜택 종류별 테스터 엔지니어가 수작업으로

3회씩 반복테스트를 한다면 324개 시나리오를 테스트 엔지니어 3명이 7일 소요

6 times 18= 108개 시나리오

108 times 3= 324 개 시나리오

324 times 10분(테스트소요시간)=

3240분 (약54시간)

54 8시간 times 3회= 7 일 times 3명

현재 수작업으로 5명이 64개의 시

나리오만 테스트 중

18 times 3= 54 개 시나리오

54 times 10분(테스트소요시간)=

540분 (9시간)

9 24시간 times 3회 = 12 일 (6

대 동시 실행)

현재 테스트아웃소싱을 통해 수작업 테스트 진행중이나 불필요한 반복테스트 수작업테스트커버리지부족 주요 서비스에 대한 실시간 모니터링 및 결함 자동 알람 필요성 등으로 자동테스트 솔루션 검토

솔루션 4개사 검토후ATAM 선정

[별첨2] ATAM 적용사례2_L홈쇼핑

[별첨3] 시연 환경 및 시나리오

ATAM 서버(PC1)

bull Windows OSbull 웹서버(NodeExpress)bull DB서버(Maria)bull ATAM Controllerbull 시나리오 생성bull 테스트 실행bull 결과 확인

결과 모니터

앱 실행 환경(무선)bull LTEbull 블루투스 테더링bull WiFi

아이폰 테스트 PC(Mac)

USB

테스트 단말(Test Lab)

클라이언트 PC2

bull Windows OSbull ATAM Controllerbull 시나리오 생성bull 테스트 실행bull 결과 확인

USB

bull Mac OSbull ATAM Controllerbull 시나리오 생성bull 테스트 실행bull 결과 확인

기종 제조사 OS 해상도

1 갤노트4 삼성 512 1440x2560

2 갤럭시S3 삼성 444 720x1280

3 G3 LG 444 1080x1920

∙∙∙

[단말 사양]

[별첨3] 시연 환경 및 시나리오

테스트 시나리오(LPOINT)

G3 S3노트4

테스트 단말 선택- 시나리오별 단말 선택 (1~3대)- 다양한 해상도(저중고 해상도)

자동테스트 실행 및 결과 확인

- 시나리오별 상세조회 장면별 응답시간 메모리CPU 사용률 등

- 오류장면 검출 확인 정상 장면 대비 예외 장면 오류 장면 등

- 모니터링 결과 결함 발생시 담당자 e-mail 전송

ATAM 서버(PC1)

테스트 결과 확인모니터링

No 시나리오 인증 방식 테스트단말 비고

1 혜택쿠폰로그인하이마트쿠폰다운로드쿠폰자세히보기 IDPW 갤노트4

2 LTEM롯데호텔뷔페이용권이용권선택상품상세정보 없음 갤 노트4 S3 G3

3 LPOINT카드카드안내카드신청휴대폰인증 없음 갤 노트4 S3 G3 동시단말 테스트

4 MY LBOX로그인MY포인트포인트이용내역조회(90일) IDPW 갤 노트4 동시단말 테스트

34

주식회사인터링크시스템

상담 및 문의처

TEL 02-538-5940 FAX 02-538-5928

상무 우철환 010-8487-9727 wch2137interlinkcokr

차장 양 훈 010-2841-1319 hoonyinterlinkcokr

Page 16: 모바일 앱(App) 개발 테스트 솔루션 - 인터링크시스템

1 Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 2 ATAM 구조 및 특징

앱 분석기(App Crawler)와 시나리오 GUI navigator를 활용한 룰 기반 시나리오 자동생성

기능을 통해 스크립트 작성 과정 없이 자동 테스트가 가능(특허 출원)

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 3 ATAM 개요

장면 기반의 테스트 자동화 도구

Generating scenario without script

1 전체 테스트 시나리오 생성

bull 앱 분석을 통한 서비스 blue-print및 시나리오 생성

bull 실제 앱 화면 기반 시나리오(스크립트) 생성

bull 개발자의 스크립트 작성 불필요

2 자동 테스트 및 결과 저장 3 실시간 모니터링 amp분석 결과 리포팅

bull 실 환경과 동일한 단말에서기능 및 성능 측정

bull 구간성능 오류유형 반복작업등 비즈니스 룰 기반 DB화

bull 명령에 따른 안정적인 테스트

bull 서비스 출시 후 지속적인health check 및 관리

bull 다양한 차트 및 분석 결과리포트 제공

bull 실시간 앱 서비스 모니터링

ATAM App Test Automation amp Monitoring

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 4 테스트시나리오 생성

앱 분석기를 통한 앱 정보 수집 및 전체 서비스 블루프린트 생성

가능한 테스트시나리오 모두 생성

솔루션 기능 사항 설명

ATAM-A 시나리오 생성방식 시나리오 식별을 위한 스크립팅 자동화

bull 스크립트 없이 장면 크롤링 만으로 시나리오 생성

bull 화면 및 이벤트 저장만으로 시나리오 생성

bull 시나리오는 장면 흐름으로 표시되어 쉽게 식별가능

bull 앱의 전체 구성도 및 시나리오를 한눈에 확인

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 5 테스트 시나리오 생성

시나리오가 실제 장면으로 구성되어쉽게 시나리오 선택 후 테스트

스크립트 개발 없이 사용자의 간단한조작만으로 시나리오 완성 및 테스트

생성된 시나리오를 선택하면 스크립트작성 없이 즉시 테스트

OS 해상도에 상관없이 동시단말 테스트

웹 방식으로 언제 어디서나 접속하여테스트 가능

다수 단말 동시테스트 및 원격 테스트

생성된 전체 서비스 블루프린트와 시나리오 리스트에서 원하는 테스트 시나리오선택

복수 단말에서 즉시 동시테스트

장면기반 서비스 블루프린트 및 테스트 시나리오 생성

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 6 테스트 시나리오 실행

솔루션 기능 사항 설명

ATAM-A 진행 상황 모니터링 진척율 상태 등 실시간 확인

bull 프로젝트 별 시나리오 진행현황을 실시간으로 모니터링bull 단말 별 시나리오 진행현황을 실시간 확인 및 오류발생 시 e-mailSMS 알림

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 7 테스트 시나리오 변경(단일 장면)

부분 시나리오 수정 시 전체 재 작성이 아닌 부분 장면 만 교체하여 시나리오 변경

bull 변경 대상 장면 또는 장면 셋을 삭제 후 새로운장면으로 교체

bull 스크립트 없이 장면 교체만으로 시나리오 변경

bull 단일장면 교체 확인

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 8 테스트 시나리오 변경(시나리오셋 변경)

시나리오 중 공통으로 활용 가능한 장면 및 장면 셋을 모듈로 저장하여 시나리오 신규생성 또는 변경 시 모듈 삽입으로 간편하게 시나리오 생성 및 변경 기능 제공

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 9 테스트 시나리오 재 사용

시나리오 중 공통으로 활용 가능한 장면 및 장면 셋을 모듈로 저장하여 시나리오 재 사용 가능

솔루션 기능사항 설명

ATAM-A One scenario Multi device 단말기 OS 등 변경에 따른 시나리오 재사용

No

단말기종수행속도(분초)

평균응답시간(초)

1LG G3 cat6

227 147

2 LG Gflex2 155 121

3 LG G2 205 191

4 갤 노트4 208 235

5갤 S6 edge

219 243

6 갤 노트3 207 125

7 갤 S5 214 176

8 베가노트 218 258

9 갤 S3 220 191

평균 속도 212 187

bull 하나의 시나리오로Multi device 테스트 지원

bull OS종류별 단말 기종 별 9대의단말에서 동시테스트 완료

bull 하나의 PC에서 최대 9대까지수행 확인

평균응답시간 클릭후 장면간 이동완료 시간

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 10 장면 검출 기능

정상 장면 대비 오류 장면에 대한 자동 검출 및 확인 기능

오류는 아니나 정상장면과 상이한 장면도 쉽게 확인 가능

예외 장면 중 공지 이벤트 등은 확인 후 테스트 진행 오류 장면은 자동 분류 (예외 장면 패턴 사전 등록)

결함 발생 리스트 및

정상 대비 오류화면

비교 결과 제공

결함 발생 당시 시간

오류 내역 메모리

CPU 사용량 등 오류

확인 기초 정보 제공

결함 발생시 해당 내

역을 e-mail 로 실시

간 전송 제공

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 11 리포트 amp 실시간 모니터링

테스트 결과 로그를 빅 데이타 형태로 DB에 저장 및 분석을 통해 다양한 결과 리포트를 웹

Dashboard에 제공하고 앱 서비스의 상태를 실시간으로 모니터링 할 수 있도록 제공

테스트 결과 리포트 다양한 형태의 차트 및 서비스 실시간 모니터링

- 시나리오 별 장면이벤트 별 성공률 응답시간 메모리CPU 사용률 등 회차 별 비교 분석 제공(반복실행에 따른 메모리 Leak 등 오류 확인)

- 웹 방식으로 제공되기 때문에 언제 어디서나 쉽게 테스트 결과 확인 및 모니터링 가능

I 은행

스크립트 작성 없이 간편하게 GUI형태의 테스트시나리오 생성

모든 시나리오를 실제 장면으로 제공하여 일반 사용자도 쉽게 테스트 가능

일부 시나리오 녹화 방식이 아닌 전체 서비스 시나리오 생성 후 테스트 시나리오 선택 실행

앱 업데이트 시 간단한 시나리오 편집만으로 즉시 테스트 가능

앱 업데이트 시 마다 스크립트 작성 불 필요 (장면 교체 등을 통한 쉬운 업데이트)

공인인증서 등 자주 사용하는 시나리오를 공통 모듈화하여 시나리오 생성시간 최소화

실시간 모니터링 및 Health Check

결과 로그 빅 데이타 DB 저장분석으로 실시간 리포트 확인

서비스 상황 실시간 체크 가능(구간별)

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 12 ATAM 특징 요약

1

3

4

해상도OS별 다수 단말 동시테스트 및 어디서나 원격 테스트 가능

하나의 시나리오로 해상도와 OS가 다른 다수의 단말을 동시 반복테스트

하나의 시나리오로 여러 단말 동시테스트

2

Web 방식으로 단말의 위치와 관계없이 테스트 가능

원격지의 단말도 테스트 가능

테스터의 테스트 상황을 관리자가 원격에서도 실시간 모니터링 가능

5

Ⅲ Competitive Advantage 1 기능 비교

ATAM은 경쟁솔루션 대비 전체 서비스블루프린트(구성도) 제공 스크립트 개발

자 불필요 최단시간 시나리오 자동 생성 등 차별화 서비스 제공으로 최고 수준

의 경쟁력 확보

구 분 ATAM G사(국내) H사(미국) S사(미국) 비고

전체 서비스구성도 제공(장면 기반 전개도)

X X X 뱅킹앱의 경우 약 700장면

테스트시나리오 생성시간(500장면 기준)

1일 1개월 15개월 1개월

장면당 평균 생성시간 (추정)- 스크립트 작성 및 디버깅 완료- 복수단말 테스트 가능상태 기준(1인 작성시간 기준)

테스트방식장면 크롤링

(시나리오 선택 실행)Record amp Play(스크립트 편집)

Record amp Play(스크립트 편집)

Record amp Play(스크립트 편집)

실시간 모니터링 X X ATAM 다양한 차트 그래프 제공

스크립트 개발자 불필요 필요 필요 필요 경쟁사는 스크립트 개발역량에 좌우

사용 방식 웹 방식 CS 방식(Client 설치) CS 방식(Client 설치) CS 방식(Client 설치) ATAM 원격테스트 가능

사용자수 제한 없음(웹접속) PC Client 설치 수 PC Client 설치 수 PC Client 설치 수

앱 업데이트 적용 방식 장면 교체(장면당 30초) 스크립트 수정 스크립트 수정 스크립트 수정 ATAM유지보수 용이

보안 키패드 반복 테스트 자동 추가 개발 필요 추가 개발 필요 추가 개발 필요 키패드 위치 변경시 테스트 자동화

시나리오 버전 별 비교 X X X 경쟁솔루션 구성도 비교 가능

ATAM 사용시 기대효과는 단순한 비용 절감보다는 품질을 향상시켜 고품질의 앱을 유지

할 수 있으며 처리시간 메모리 사용량 등 의 성능개선 Point를 제시 합니다

테스트 비용 및 시간 절감1 신뢰성 있는 고품질 앱 유지2

수작업 대비 비용은 약 67 시간 08 소요(단말 10대 시나리오 20개 20회 반복테스트 기준)

유지보수 비용 절감3

시나리오이벤트 별 오류 응답시간 메모리 사용량 등OS별 단말 별 다양한 테스트로 높은 품질의 시험결과제공

앱 업데이트 시마다 스크립트 수정 없이 재 테스트 가능

개발자의 스크립트 개발 및 수정 관리 불필요

쉽고 정확한 테스트4

프로그램을 모르는 사용자도 쉽게 테스트 진행 가능

Human error가 없어 정확한 테스트 가능

Ⅳ 기대 효과

Full Test Coverage5

앱 테스트가 가능한 시나리오를 전체의 블루 프린트로

확인하여 누락된 시나리오 등 확인 가능

앱 변경 시 임팩트가 있는 시나리오를 전체 테스트 가능

성능 개선 Point 제시6

모니터링을 통해 CPUMemoryResponse Time 의 적정성

여부 및 개선 point 파악 가능

새로운 App 개발로 인해 기존의 App 대비 성능 향상 비교

기 사용중인 App의 테스트 가능한 시나리오와 신규 개발된 App의 시나리오를 테스트한 결과를CPUResponse TimeMemory 사용률 등을 비교 분석하여 개선점 도출 및 보완에 활용

bull 기존 앱 의 성능문제로 고객불만 발생하여 신규 클라이언트 앱 개발bull 신규 앱 을 테스트 수행하였으나 신뢰할만한 데이터의 부재

bull 1차 테스트시 응답시간 30 이상 개선되었으나 메모리 사용량 증가 확인

bull ATAM의 메모리 상세분석에서 이미지 가속기 사용확인

bull 고 사양의 폰은 큰 문제가 되지 않으나 저사양 폰에서 다운되는 현상 확인

bull ATAM의 결과 자료를 바탕으로 프로그램 개선 후 오픈(lsquo1512월 현재)

POC를 통해ATAM 선정

ATAM으로테스트 및 분석

[별첨1] ATAM 적용사례1_K은행

예금신탁계좌조회

안드로이드

응답시간 메모리사용량 nativeHeap dalvikHeap 기타 cpu_use

AS-IS TO-BE 비율 AS-IS TO-BE 비율 AS-IS TO-BE 비율 AS-IS TO-BE 비율 AS-IS TO-BE 비율 AS-IS TO-BE 비율

Galaxy 6

최소 579 217 37 252039 406504 161 42635 20169 47 66881 78620 118 142523 307715 216 14 18 129

최대 674 492 73 261462 417621 160 42887 20589 48 70636 84433 120 147939 312599 211 20 22 110

평균 635 350 55 254623 412127 162 42756 20371 48 68562 80622 118 143304 311133 217 17 20 118

Galaxy 3

최소 558 238 43 109629 86029 78 - - 21 37 176

최대 3020 331 11 118228 90526 77 - - 39 40 103

평균 1111 288 26 114439 88591 77 - - 34 388 114

베가노트

최소 471 241 51 121530 98593 81 52 56 108

최대 1049 274 26 127300 112120 88 60 61 102

평균 560 250 45 123596 103539 84 562 587 104

G flex2

최소 463 227 49 169669 257117 152 63000 36560 58 51830 57387 111 54839 163170 298 17 17 100

최대 950 275 29 177872 266769 150 65248 37388 57 54691 59346 109 57933 170035 294 26 27 104

평균 589 259 44 174249 263124 151 64015 37111 58 52914 58494 111 57320 167520 292 235 221 94

bull As-Is 대비 To-Be 앱의 응답시간은 빨라졌으나 메모리 사용량은 증가- 개발팀은 메모리사용량이 최소 20~30 개선된 것으로 알고 있었으나 ATAM 테스트결과 이슈 발생- 개발관련 메모리 사용량은 감소하였으나 신규로 적용한 이미지가속기 사용시 기타영역 메모리 사용량 급증- 고사양 단말에서는 이슈가 없으나 갤럭시S2 등 저사양폰에서는 앱이 죽는 현상 발생- 저사양폰의 총메모리 사용량에는 기타영역(이미지 등)은 미포함되어 있음

전체 메모리 사용량은 증가개발 관련 메모리사용은 감소

이미지가속기 관련 기타메모리영역 사용량 급증

[별첨1] ATAM 적용사례1_K은행

6개 단말기에서 18개 신용카드로 3개의 혜택 종류별 테스터 엔지니어가 수작업으로

3회씩 반복테스트를 한다면 324개 시나리오를 테스트 엔지니어 3명이 7일 소요

6 times 18= 108개 시나리오

108 times 3= 324 개 시나리오

324 times 10분(테스트소요시간)=

3240분 (약54시간)

54 8시간 times 3회= 7 일 times 3명

현재 수작업으로 5명이 64개의 시

나리오만 테스트 중

18 times 3= 54 개 시나리오

54 times 10분(테스트소요시간)=

540분 (9시간)

9 24시간 times 3회 = 12 일 (6

대 동시 실행)

현재 테스트아웃소싱을 통해 수작업 테스트 진행중이나 불필요한 반복테스트 수작업테스트커버리지부족 주요 서비스에 대한 실시간 모니터링 및 결함 자동 알람 필요성 등으로 자동테스트 솔루션 검토

솔루션 4개사 검토후ATAM 선정

[별첨2] ATAM 적용사례2_L홈쇼핑

[별첨3] 시연 환경 및 시나리오

ATAM 서버(PC1)

bull Windows OSbull 웹서버(NodeExpress)bull DB서버(Maria)bull ATAM Controllerbull 시나리오 생성bull 테스트 실행bull 결과 확인

결과 모니터

앱 실행 환경(무선)bull LTEbull 블루투스 테더링bull WiFi

아이폰 테스트 PC(Mac)

USB

테스트 단말(Test Lab)

클라이언트 PC2

bull Windows OSbull ATAM Controllerbull 시나리오 생성bull 테스트 실행bull 결과 확인

USB

bull Mac OSbull ATAM Controllerbull 시나리오 생성bull 테스트 실행bull 결과 확인

기종 제조사 OS 해상도

1 갤노트4 삼성 512 1440x2560

2 갤럭시S3 삼성 444 720x1280

3 G3 LG 444 1080x1920

∙∙∙

[단말 사양]

[별첨3] 시연 환경 및 시나리오

테스트 시나리오(LPOINT)

G3 S3노트4

테스트 단말 선택- 시나리오별 단말 선택 (1~3대)- 다양한 해상도(저중고 해상도)

자동테스트 실행 및 결과 확인

- 시나리오별 상세조회 장면별 응답시간 메모리CPU 사용률 등

- 오류장면 검출 확인 정상 장면 대비 예외 장면 오류 장면 등

- 모니터링 결과 결함 발생시 담당자 e-mail 전송

ATAM 서버(PC1)

테스트 결과 확인모니터링

No 시나리오 인증 방식 테스트단말 비고

1 혜택쿠폰로그인하이마트쿠폰다운로드쿠폰자세히보기 IDPW 갤노트4

2 LTEM롯데호텔뷔페이용권이용권선택상품상세정보 없음 갤 노트4 S3 G3

3 LPOINT카드카드안내카드신청휴대폰인증 없음 갤 노트4 S3 G3 동시단말 테스트

4 MY LBOX로그인MY포인트포인트이용내역조회(90일) IDPW 갤 노트4 동시단말 테스트

34

주식회사인터링크시스템

상담 및 문의처

TEL 02-538-5940 FAX 02-538-5928

상무 우철환 010-8487-9727 wch2137interlinkcokr

차장 양 훈 010-2841-1319 hoonyinterlinkcokr

Page 17: 모바일 앱(App) 개발 테스트 솔루션 - 인터링크시스템

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 3 ATAM 개요

장면 기반의 테스트 자동화 도구

Generating scenario without script

1 전체 테스트 시나리오 생성

bull 앱 분석을 통한 서비스 blue-print및 시나리오 생성

bull 실제 앱 화면 기반 시나리오(스크립트) 생성

bull 개발자의 스크립트 작성 불필요

2 자동 테스트 및 결과 저장 3 실시간 모니터링 amp분석 결과 리포팅

bull 실 환경과 동일한 단말에서기능 및 성능 측정

bull 구간성능 오류유형 반복작업등 비즈니스 룰 기반 DB화

bull 명령에 따른 안정적인 테스트

bull 서비스 출시 후 지속적인health check 및 관리

bull 다양한 차트 및 분석 결과리포트 제공

bull 실시간 앱 서비스 모니터링

ATAM App Test Automation amp Monitoring

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 4 테스트시나리오 생성

앱 분석기를 통한 앱 정보 수집 및 전체 서비스 블루프린트 생성

가능한 테스트시나리오 모두 생성

솔루션 기능 사항 설명

ATAM-A 시나리오 생성방식 시나리오 식별을 위한 스크립팅 자동화

bull 스크립트 없이 장면 크롤링 만으로 시나리오 생성

bull 화면 및 이벤트 저장만으로 시나리오 생성

bull 시나리오는 장면 흐름으로 표시되어 쉽게 식별가능

bull 앱의 전체 구성도 및 시나리오를 한눈에 확인

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 5 테스트 시나리오 생성

시나리오가 실제 장면으로 구성되어쉽게 시나리오 선택 후 테스트

스크립트 개발 없이 사용자의 간단한조작만으로 시나리오 완성 및 테스트

생성된 시나리오를 선택하면 스크립트작성 없이 즉시 테스트

OS 해상도에 상관없이 동시단말 테스트

웹 방식으로 언제 어디서나 접속하여테스트 가능

다수 단말 동시테스트 및 원격 테스트

생성된 전체 서비스 블루프린트와 시나리오 리스트에서 원하는 테스트 시나리오선택

복수 단말에서 즉시 동시테스트

장면기반 서비스 블루프린트 및 테스트 시나리오 생성

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 6 테스트 시나리오 실행

솔루션 기능 사항 설명

ATAM-A 진행 상황 모니터링 진척율 상태 등 실시간 확인

bull 프로젝트 별 시나리오 진행현황을 실시간으로 모니터링bull 단말 별 시나리오 진행현황을 실시간 확인 및 오류발생 시 e-mailSMS 알림

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 7 테스트 시나리오 변경(단일 장면)

부분 시나리오 수정 시 전체 재 작성이 아닌 부분 장면 만 교체하여 시나리오 변경

bull 변경 대상 장면 또는 장면 셋을 삭제 후 새로운장면으로 교체

bull 스크립트 없이 장면 교체만으로 시나리오 변경

bull 단일장면 교체 확인

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 8 테스트 시나리오 변경(시나리오셋 변경)

시나리오 중 공통으로 활용 가능한 장면 및 장면 셋을 모듈로 저장하여 시나리오 신규생성 또는 변경 시 모듈 삽입으로 간편하게 시나리오 생성 및 변경 기능 제공

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 9 테스트 시나리오 재 사용

시나리오 중 공통으로 활용 가능한 장면 및 장면 셋을 모듈로 저장하여 시나리오 재 사용 가능

솔루션 기능사항 설명

ATAM-A One scenario Multi device 단말기 OS 등 변경에 따른 시나리오 재사용

No

단말기종수행속도(분초)

평균응답시간(초)

1LG G3 cat6

227 147

2 LG Gflex2 155 121

3 LG G2 205 191

4 갤 노트4 208 235

5갤 S6 edge

219 243

6 갤 노트3 207 125

7 갤 S5 214 176

8 베가노트 218 258

9 갤 S3 220 191

평균 속도 212 187

bull 하나의 시나리오로Multi device 테스트 지원

bull OS종류별 단말 기종 별 9대의단말에서 동시테스트 완료

bull 하나의 PC에서 최대 9대까지수행 확인

평균응답시간 클릭후 장면간 이동완료 시간

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 10 장면 검출 기능

정상 장면 대비 오류 장면에 대한 자동 검출 및 확인 기능

오류는 아니나 정상장면과 상이한 장면도 쉽게 확인 가능

예외 장면 중 공지 이벤트 등은 확인 후 테스트 진행 오류 장면은 자동 분류 (예외 장면 패턴 사전 등록)

결함 발생 리스트 및

정상 대비 오류화면

비교 결과 제공

결함 발생 당시 시간

오류 내역 메모리

CPU 사용량 등 오류

확인 기초 정보 제공

결함 발생시 해당 내

역을 e-mail 로 실시

간 전송 제공

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 11 리포트 amp 실시간 모니터링

테스트 결과 로그를 빅 데이타 형태로 DB에 저장 및 분석을 통해 다양한 결과 리포트를 웹

Dashboard에 제공하고 앱 서비스의 상태를 실시간으로 모니터링 할 수 있도록 제공

테스트 결과 리포트 다양한 형태의 차트 및 서비스 실시간 모니터링

- 시나리오 별 장면이벤트 별 성공률 응답시간 메모리CPU 사용률 등 회차 별 비교 분석 제공(반복실행에 따른 메모리 Leak 등 오류 확인)

- 웹 방식으로 제공되기 때문에 언제 어디서나 쉽게 테스트 결과 확인 및 모니터링 가능

I 은행

스크립트 작성 없이 간편하게 GUI형태의 테스트시나리오 생성

모든 시나리오를 실제 장면으로 제공하여 일반 사용자도 쉽게 테스트 가능

일부 시나리오 녹화 방식이 아닌 전체 서비스 시나리오 생성 후 테스트 시나리오 선택 실행

앱 업데이트 시 간단한 시나리오 편집만으로 즉시 테스트 가능

앱 업데이트 시 마다 스크립트 작성 불 필요 (장면 교체 등을 통한 쉬운 업데이트)

공인인증서 등 자주 사용하는 시나리오를 공통 모듈화하여 시나리오 생성시간 최소화

실시간 모니터링 및 Health Check

결과 로그 빅 데이타 DB 저장분석으로 실시간 리포트 확인

서비스 상황 실시간 체크 가능(구간별)

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 12 ATAM 특징 요약

1

3

4

해상도OS별 다수 단말 동시테스트 및 어디서나 원격 테스트 가능

하나의 시나리오로 해상도와 OS가 다른 다수의 단말을 동시 반복테스트

하나의 시나리오로 여러 단말 동시테스트

2

Web 방식으로 단말의 위치와 관계없이 테스트 가능

원격지의 단말도 테스트 가능

테스터의 테스트 상황을 관리자가 원격에서도 실시간 모니터링 가능

5

Ⅲ Competitive Advantage 1 기능 비교

ATAM은 경쟁솔루션 대비 전체 서비스블루프린트(구성도) 제공 스크립트 개발

자 불필요 최단시간 시나리오 자동 생성 등 차별화 서비스 제공으로 최고 수준

의 경쟁력 확보

구 분 ATAM G사(국내) H사(미국) S사(미국) 비고

전체 서비스구성도 제공(장면 기반 전개도)

X X X 뱅킹앱의 경우 약 700장면

테스트시나리오 생성시간(500장면 기준)

1일 1개월 15개월 1개월

장면당 평균 생성시간 (추정)- 스크립트 작성 및 디버깅 완료- 복수단말 테스트 가능상태 기준(1인 작성시간 기준)

테스트방식장면 크롤링

(시나리오 선택 실행)Record amp Play(스크립트 편집)

Record amp Play(스크립트 편집)

Record amp Play(스크립트 편집)

실시간 모니터링 X X ATAM 다양한 차트 그래프 제공

스크립트 개발자 불필요 필요 필요 필요 경쟁사는 스크립트 개발역량에 좌우

사용 방식 웹 방식 CS 방식(Client 설치) CS 방식(Client 설치) CS 방식(Client 설치) ATAM 원격테스트 가능

사용자수 제한 없음(웹접속) PC Client 설치 수 PC Client 설치 수 PC Client 설치 수

앱 업데이트 적용 방식 장면 교체(장면당 30초) 스크립트 수정 스크립트 수정 스크립트 수정 ATAM유지보수 용이

보안 키패드 반복 테스트 자동 추가 개발 필요 추가 개발 필요 추가 개발 필요 키패드 위치 변경시 테스트 자동화

시나리오 버전 별 비교 X X X 경쟁솔루션 구성도 비교 가능

ATAM 사용시 기대효과는 단순한 비용 절감보다는 품질을 향상시켜 고품질의 앱을 유지

할 수 있으며 처리시간 메모리 사용량 등 의 성능개선 Point를 제시 합니다

테스트 비용 및 시간 절감1 신뢰성 있는 고품질 앱 유지2

수작업 대비 비용은 약 67 시간 08 소요(단말 10대 시나리오 20개 20회 반복테스트 기준)

유지보수 비용 절감3

시나리오이벤트 별 오류 응답시간 메모리 사용량 등OS별 단말 별 다양한 테스트로 높은 품질의 시험결과제공

앱 업데이트 시마다 스크립트 수정 없이 재 테스트 가능

개발자의 스크립트 개발 및 수정 관리 불필요

쉽고 정확한 테스트4

프로그램을 모르는 사용자도 쉽게 테스트 진행 가능

Human error가 없어 정확한 테스트 가능

Ⅳ 기대 효과

Full Test Coverage5

앱 테스트가 가능한 시나리오를 전체의 블루 프린트로

확인하여 누락된 시나리오 등 확인 가능

앱 변경 시 임팩트가 있는 시나리오를 전체 테스트 가능

성능 개선 Point 제시6

모니터링을 통해 CPUMemoryResponse Time 의 적정성

여부 및 개선 point 파악 가능

새로운 App 개발로 인해 기존의 App 대비 성능 향상 비교

기 사용중인 App의 테스트 가능한 시나리오와 신규 개발된 App의 시나리오를 테스트한 결과를CPUResponse TimeMemory 사용률 등을 비교 분석하여 개선점 도출 및 보완에 활용

bull 기존 앱 의 성능문제로 고객불만 발생하여 신규 클라이언트 앱 개발bull 신규 앱 을 테스트 수행하였으나 신뢰할만한 데이터의 부재

bull 1차 테스트시 응답시간 30 이상 개선되었으나 메모리 사용량 증가 확인

bull ATAM의 메모리 상세분석에서 이미지 가속기 사용확인

bull 고 사양의 폰은 큰 문제가 되지 않으나 저사양 폰에서 다운되는 현상 확인

bull ATAM의 결과 자료를 바탕으로 프로그램 개선 후 오픈(lsquo1512월 현재)

POC를 통해ATAM 선정

ATAM으로테스트 및 분석

[별첨1] ATAM 적용사례1_K은행

예금신탁계좌조회

안드로이드

응답시간 메모리사용량 nativeHeap dalvikHeap 기타 cpu_use

AS-IS TO-BE 비율 AS-IS TO-BE 비율 AS-IS TO-BE 비율 AS-IS TO-BE 비율 AS-IS TO-BE 비율 AS-IS TO-BE 비율

Galaxy 6

최소 579 217 37 252039 406504 161 42635 20169 47 66881 78620 118 142523 307715 216 14 18 129

최대 674 492 73 261462 417621 160 42887 20589 48 70636 84433 120 147939 312599 211 20 22 110

평균 635 350 55 254623 412127 162 42756 20371 48 68562 80622 118 143304 311133 217 17 20 118

Galaxy 3

최소 558 238 43 109629 86029 78 - - 21 37 176

최대 3020 331 11 118228 90526 77 - - 39 40 103

평균 1111 288 26 114439 88591 77 - - 34 388 114

베가노트

최소 471 241 51 121530 98593 81 52 56 108

최대 1049 274 26 127300 112120 88 60 61 102

평균 560 250 45 123596 103539 84 562 587 104

G flex2

최소 463 227 49 169669 257117 152 63000 36560 58 51830 57387 111 54839 163170 298 17 17 100

최대 950 275 29 177872 266769 150 65248 37388 57 54691 59346 109 57933 170035 294 26 27 104

평균 589 259 44 174249 263124 151 64015 37111 58 52914 58494 111 57320 167520 292 235 221 94

bull As-Is 대비 To-Be 앱의 응답시간은 빨라졌으나 메모리 사용량은 증가- 개발팀은 메모리사용량이 최소 20~30 개선된 것으로 알고 있었으나 ATAM 테스트결과 이슈 발생- 개발관련 메모리 사용량은 감소하였으나 신규로 적용한 이미지가속기 사용시 기타영역 메모리 사용량 급증- 고사양 단말에서는 이슈가 없으나 갤럭시S2 등 저사양폰에서는 앱이 죽는 현상 발생- 저사양폰의 총메모리 사용량에는 기타영역(이미지 등)은 미포함되어 있음

전체 메모리 사용량은 증가개발 관련 메모리사용은 감소

이미지가속기 관련 기타메모리영역 사용량 급증

[별첨1] ATAM 적용사례1_K은행

6개 단말기에서 18개 신용카드로 3개의 혜택 종류별 테스터 엔지니어가 수작업으로

3회씩 반복테스트를 한다면 324개 시나리오를 테스트 엔지니어 3명이 7일 소요

6 times 18= 108개 시나리오

108 times 3= 324 개 시나리오

324 times 10분(테스트소요시간)=

3240분 (약54시간)

54 8시간 times 3회= 7 일 times 3명

현재 수작업으로 5명이 64개의 시

나리오만 테스트 중

18 times 3= 54 개 시나리오

54 times 10분(테스트소요시간)=

540분 (9시간)

9 24시간 times 3회 = 12 일 (6

대 동시 실행)

현재 테스트아웃소싱을 통해 수작업 테스트 진행중이나 불필요한 반복테스트 수작업테스트커버리지부족 주요 서비스에 대한 실시간 모니터링 및 결함 자동 알람 필요성 등으로 자동테스트 솔루션 검토

솔루션 4개사 검토후ATAM 선정

[별첨2] ATAM 적용사례2_L홈쇼핑

[별첨3] 시연 환경 및 시나리오

ATAM 서버(PC1)

bull Windows OSbull 웹서버(NodeExpress)bull DB서버(Maria)bull ATAM Controllerbull 시나리오 생성bull 테스트 실행bull 결과 확인

결과 모니터

앱 실행 환경(무선)bull LTEbull 블루투스 테더링bull WiFi

아이폰 테스트 PC(Mac)

USB

테스트 단말(Test Lab)

클라이언트 PC2

bull Windows OSbull ATAM Controllerbull 시나리오 생성bull 테스트 실행bull 결과 확인

USB

bull Mac OSbull ATAM Controllerbull 시나리오 생성bull 테스트 실행bull 결과 확인

기종 제조사 OS 해상도

1 갤노트4 삼성 512 1440x2560

2 갤럭시S3 삼성 444 720x1280

3 G3 LG 444 1080x1920

∙∙∙

[단말 사양]

[별첨3] 시연 환경 및 시나리오

테스트 시나리오(LPOINT)

G3 S3노트4

테스트 단말 선택- 시나리오별 단말 선택 (1~3대)- 다양한 해상도(저중고 해상도)

자동테스트 실행 및 결과 확인

- 시나리오별 상세조회 장면별 응답시간 메모리CPU 사용률 등

- 오류장면 검출 확인 정상 장면 대비 예외 장면 오류 장면 등

- 모니터링 결과 결함 발생시 담당자 e-mail 전송

ATAM 서버(PC1)

테스트 결과 확인모니터링

No 시나리오 인증 방식 테스트단말 비고

1 혜택쿠폰로그인하이마트쿠폰다운로드쿠폰자세히보기 IDPW 갤노트4

2 LTEM롯데호텔뷔페이용권이용권선택상품상세정보 없음 갤 노트4 S3 G3

3 LPOINT카드카드안내카드신청휴대폰인증 없음 갤 노트4 S3 G3 동시단말 테스트

4 MY LBOX로그인MY포인트포인트이용내역조회(90일) IDPW 갤 노트4 동시단말 테스트

34

주식회사인터링크시스템

상담 및 문의처

TEL 02-538-5940 FAX 02-538-5928

상무 우철환 010-8487-9727 wch2137interlinkcokr

차장 양 훈 010-2841-1319 hoonyinterlinkcokr

Page 18: 모바일 앱(App) 개발 테스트 솔루션 - 인터링크시스템

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 4 테스트시나리오 생성

앱 분석기를 통한 앱 정보 수집 및 전체 서비스 블루프린트 생성

가능한 테스트시나리오 모두 생성

솔루션 기능 사항 설명

ATAM-A 시나리오 생성방식 시나리오 식별을 위한 스크립팅 자동화

bull 스크립트 없이 장면 크롤링 만으로 시나리오 생성

bull 화면 및 이벤트 저장만으로 시나리오 생성

bull 시나리오는 장면 흐름으로 표시되어 쉽게 식별가능

bull 앱의 전체 구성도 및 시나리오를 한눈에 확인

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 5 테스트 시나리오 생성

시나리오가 실제 장면으로 구성되어쉽게 시나리오 선택 후 테스트

스크립트 개발 없이 사용자의 간단한조작만으로 시나리오 완성 및 테스트

생성된 시나리오를 선택하면 스크립트작성 없이 즉시 테스트

OS 해상도에 상관없이 동시단말 테스트

웹 방식으로 언제 어디서나 접속하여테스트 가능

다수 단말 동시테스트 및 원격 테스트

생성된 전체 서비스 블루프린트와 시나리오 리스트에서 원하는 테스트 시나리오선택

복수 단말에서 즉시 동시테스트

장면기반 서비스 블루프린트 및 테스트 시나리오 생성

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 6 테스트 시나리오 실행

솔루션 기능 사항 설명

ATAM-A 진행 상황 모니터링 진척율 상태 등 실시간 확인

bull 프로젝트 별 시나리오 진행현황을 실시간으로 모니터링bull 단말 별 시나리오 진행현황을 실시간 확인 및 오류발생 시 e-mailSMS 알림

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 7 테스트 시나리오 변경(단일 장면)

부분 시나리오 수정 시 전체 재 작성이 아닌 부분 장면 만 교체하여 시나리오 변경

bull 변경 대상 장면 또는 장면 셋을 삭제 후 새로운장면으로 교체

bull 스크립트 없이 장면 교체만으로 시나리오 변경

bull 단일장면 교체 확인

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 8 테스트 시나리오 변경(시나리오셋 변경)

시나리오 중 공통으로 활용 가능한 장면 및 장면 셋을 모듈로 저장하여 시나리오 신규생성 또는 변경 시 모듈 삽입으로 간편하게 시나리오 생성 및 변경 기능 제공

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 9 테스트 시나리오 재 사용

시나리오 중 공통으로 활용 가능한 장면 및 장면 셋을 모듈로 저장하여 시나리오 재 사용 가능

솔루션 기능사항 설명

ATAM-A One scenario Multi device 단말기 OS 등 변경에 따른 시나리오 재사용

No

단말기종수행속도(분초)

평균응답시간(초)

1LG G3 cat6

227 147

2 LG Gflex2 155 121

3 LG G2 205 191

4 갤 노트4 208 235

5갤 S6 edge

219 243

6 갤 노트3 207 125

7 갤 S5 214 176

8 베가노트 218 258

9 갤 S3 220 191

평균 속도 212 187

bull 하나의 시나리오로Multi device 테스트 지원

bull OS종류별 단말 기종 별 9대의단말에서 동시테스트 완료

bull 하나의 PC에서 최대 9대까지수행 확인

평균응답시간 클릭후 장면간 이동완료 시간

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 10 장면 검출 기능

정상 장면 대비 오류 장면에 대한 자동 검출 및 확인 기능

오류는 아니나 정상장면과 상이한 장면도 쉽게 확인 가능

예외 장면 중 공지 이벤트 등은 확인 후 테스트 진행 오류 장면은 자동 분류 (예외 장면 패턴 사전 등록)

결함 발생 리스트 및

정상 대비 오류화면

비교 결과 제공

결함 발생 당시 시간

오류 내역 메모리

CPU 사용량 등 오류

확인 기초 정보 제공

결함 발생시 해당 내

역을 e-mail 로 실시

간 전송 제공

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 11 리포트 amp 실시간 모니터링

테스트 결과 로그를 빅 데이타 형태로 DB에 저장 및 분석을 통해 다양한 결과 리포트를 웹

Dashboard에 제공하고 앱 서비스의 상태를 실시간으로 모니터링 할 수 있도록 제공

테스트 결과 리포트 다양한 형태의 차트 및 서비스 실시간 모니터링

- 시나리오 별 장면이벤트 별 성공률 응답시간 메모리CPU 사용률 등 회차 별 비교 분석 제공(반복실행에 따른 메모리 Leak 등 오류 확인)

- 웹 방식으로 제공되기 때문에 언제 어디서나 쉽게 테스트 결과 확인 및 모니터링 가능

I 은행

스크립트 작성 없이 간편하게 GUI형태의 테스트시나리오 생성

모든 시나리오를 실제 장면으로 제공하여 일반 사용자도 쉽게 테스트 가능

일부 시나리오 녹화 방식이 아닌 전체 서비스 시나리오 생성 후 테스트 시나리오 선택 실행

앱 업데이트 시 간단한 시나리오 편집만으로 즉시 테스트 가능

앱 업데이트 시 마다 스크립트 작성 불 필요 (장면 교체 등을 통한 쉬운 업데이트)

공인인증서 등 자주 사용하는 시나리오를 공통 모듈화하여 시나리오 생성시간 최소화

실시간 모니터링 및 Health Check

결과 로그 빅 데이타 DB 저장분석으로 실시간 리포트 확인

서비스 상황 실시간 체크 가능(구간별)

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 12 ATAM 특징 요약

1

3

4

해상도OS별 다수 단말 동시테스트 및 어디서나 원격 테스트 가능

하나의 시나리오로 해상도와 OS가 다른 다수의 단말을 동시 반복테스트

하나의 시나리오로 여러 단말 동시테스트

2

Web 방식으로 단말의 위치와 관계없이 테스트 가능

원격지의 단말도 테스트 가능

테스터의 테스트 상황을 관리자가 원격에서도 실시간 모니터링 가능

5

Ⅲ Competitive Advantage 1 기능 비교

ATAM은 경쟁솔루션 대비 전체 서비스블루프린트(구성도) 제공 스크립트 개발

자 불필요 최단시간 시나리오 자동 생성 등 차별화 서비스 제공으로 최고 수준

의 경쟁력 확보

구 분 ATAM G사(국내) H사(미국) S사(미국) 비고

전체 서비스구성도 제공(장면 기반 전개도)

X X X 뱅킹앱의 경우 약 700장면

테스트시나리오 생성시간(500장면 기준)

1일 1개월 15개월 1개월

장면당 평균 생성시간 (추정)- 스크립트 작성 및 디버깅 완료- 복수단말 테스트 가능상태 기준(1인 작성시간 기준)

테스트방식장면 크롤링

(시나리오 선택 실행)Record amp Play(스크립트 편집)

Record amp Play(스크립트 편집)

Record amp Play(스크립트 편집)

실시간 모니터링 X X ATAM 다양한 차트 그래프 제공

스크립트 개발자 불필요 필요 필요 필요 경쟁사는 스크립트 개발역량에 좌우

사용 방식 웹 방식 CS 방식(Client 설치) CS 방식(Client 설치) CS 방식(Client 설치) ATAM 원격테스트 가능

사용자수 제한 없음(웹접속) PC Client 설치 수 PC Client 설치 수 PC Client 설치 수

앱 업데이트 적용 방식 장면 교체(장면당 30초) 스크립트 수정 스크립트 수정 스크립트 수정 ATAM유지보수 용이

보안 키패드 반복 테스트 자동 추가 개발 필요 추가 개발 필요 추가 개발 필요 키패드 위치 변경시 테스트 자동화

시나리오 버전 별 비교 X X X 경쟁솔루션 구성도 비교 가능

ATAM 사용시 기대효과는 단순한 비용 절감보다는 품질을 향상시켜 고품질의 앱을 유지

할 수 있으며 처리시간 메모리 사용량 등 의 성능개선 Point를 제시 합니다

테스트 비용 및 시간 절감1 신뢰성 있는 고품질 앱 유지2

수작업 대비 비용은 약 67 시간 08 소요(단말 10대 시나리오 20개 20회 반복테스트 기준)

유지보수 비용 절감3

시나리오이벤트 별 오류 응답시간 메모리 사용량 등OS별 단말 별 다양한 테스트로 높은 품질의 시험결과제공

앱 업데이트 시마다 스크립트 수정 없이 재 테스트 가능

개발자의 스크립트 개발 및 수정 관리 불필요

쉽고 정확한 테스트4

프로그램을 모르는 사용자도 쉽게 테스트 진행 가능

Human error가 없어 정확한 테스트 가능

Ⅳ 기대 효과

Full Test Coverage5

앱 테스트가 가능한 시나리오를 전체의 블루 프린트로

확인하여 누락된 시나리오 등 확인 가능

앱 변경 시 임팩트가 있는 시나리오를 전체 테스트 가능

성능 개선 Point 제시6

모니터링을 통해 CPUMemoryResponse Time 의 적정성

여부 및 개선 point 파악 가능

새로운 App 개발로 인해 기존의 App 대비 성능 향상 비교

기 사용중인 App의 테스트 가능한 시나리오와 신규 개발된 App의 시나리오를 테스트한 결과를CPUResponse TimeMemory 사용률 등을 비교 분석하여 개선점 도출 및 보완에 활용

bull 기존 앱 의 성능문제로 고객불만 발생하여 신규 클라이언트 앱 개발bull 신규 앱 을 테스트 수행하였으나 신뢰할만한 데이터의 부재

bull 1차 테스트시 응답시간 30 이상 개선되었으나 메모리 사용량 증가 확인

bull ATAM의 메모리 상세분석에서 이미지 가속기 사용확인

bull 고 사양의 폰은 큰 문제가 되지 않으나 저사양 폰에서 다운되는 현상 확인

bull ATAM의 결과 자료를 바탕으로 프로그램 개선 후 오픈(lsquo1512월 현재)

POC를 통해ATAM 선정

ATAM으로테스트 및 분석

[별첨1] ATAM 적용사례1_K은행

예금신탁계좌조회

안드로이드

응답시간 메모리사용량 nativeHeap dalvikHeap 기타 cpu_use

AS-IS TO-BE 비율 AS-IS TO-BE 비율 AS-IS TO-BE 비율 AS-IS TO-BE 비율 AS-IS TO-BE 비율 AS-IS TO-BE 비율

Galaxy 6

최소 579 217 37 252039 406504 161 42635 20169 47 66881 78620 118 142523 307715 216 14 18 129

최대 674 492 73 261462 417621 160 42887 20589 48 70636 84433 120 147939 312599 211 20 22 110

평균 635 350 55 254623 412127 162 42756 20371 48 68562 80622 118 143304 311133 217 17 20 118

Galaxy 3

최소 558 238 43 109629 86029 78 - - 21 37 176

최대 3020 331 11 118228 90526 77 - - 39 40 103

평균 1111 288 26 114439 88591 77 - - 34 388 114

베가노트

최소 471 241 51 121530 98593 81 52 56 108

최대 1049 274 26 127300 112120 88 60 61 102

평균 560 250 45 123596 103539 84 562 587 104

G flex2

최소 463 227 49 169669 257117 152 63000 36560 58 51830 57387 111 54839 163170 298 17 17 100

최대 950 275 29 177872 266769 150 65248 37388 57 54691 59346 109 57933 170035 294 26 27 104

평균 589 259 44 174249 263124 151 64015 37111 58 52914 58494 111 57320 167520 292 235 221 94

bull As-Is 대비 To-Be 앱의 응답시간은 빨라졌으나 메모리 사용량은 증가- 개발팀은 메모리사용량이 최소 20~30 개선된 것으로 알고 있었으나 ATAM 테스트결과 이슈 발생- 개발관련 메모리 사용량은 감소하였으나 신규로 적용한 이미지가속기 사용시 기타영역 메모리 사용량 급증- 고사양 단말에서는 이슈가 없으나 갤럭시S2 등 저사양폰에서는 앱이 죽는 현상 발생- 저사양폰의 총메모리 사용량에는 기타영역(이미지 등)은 미포함되어 있음

전체 메모리 사용량은 증가개발 관련 메모리사용은 감소

이미지가속기 관련 기타메모리영역 사용량 급증

[별첨1] ATAM 적용사례1_K은행

6개 단말기에서 18개 신용카드로 3개의 혜택 종류별 테스터 엔지니어가 수작업으로

3회씩 반복테스트를 한다면 324개 시나리오를 테스트 엔지니어 3명이 7일 소요

6 times 18= 108개 시나리오

108 times 3= 324 개 시나리오

324 times 10분(테스트소요시간)=

3240분 (약54시간)

54 8시간 times 3회= 7 일 times 3명

현재 수작업으로 5명이 64개의 시

나리오만 테스트 중

18 times 3= 54 개 시나리오

54 times 10분(테스트소요시간)=

540분 (9시간)

9 24시간 times 3회 = 12 일 (6

대 동시 실행)

현재 테스트아웃소싱을 통해 수작업 테스트 진행중이나 불필요한 반복테스트 수작업테스트커버리지부족 주요 서비스에 대한 실시간 모니터링 및 결함 자동 알람 필요성 등으로 자동테스트 솔루션 검토

솔루션 4개사 검토후ATAM 선정

[별첨2] ATAM 적용사례2_L홈쇼핑

[별첨3] 시연 환경 및 시나리오

ATAM 서버(PC1)

bull Windows OSbull 웹서버(NodeExpress)bull DB서버(Maria)bull ATAM Controllerbull 시나리오 생성bull 테스트 실행bull 결과 확인

결과 모니터

앱 실행 환경(무선)bull LTEbull 블루투스 테더링bull WiFi

아이폰 테스트 PC(Mac)

USB

테스트 단말(Test Lab)

클라이언트 PC2

bull Windows OSbull ATAM Controllerbull 시나리오 생성bull 테스트 실행bull 결과 확인

USB

bull Mac OSbull ATAM Controllerbull 시나리오 생성bull 테스트 실행bull 결과 확인

기종 제조사 OS 해상도

1 갤노트4 삼성 512 1440x2560

2 갤럭시S3 삼성 444 720x1280

3 G3 LG 444 1080x1920

∙∙∙

[단말 사양]

[별첨3] 시연 환경 및 시나리오

테스트 시나리오(LPOINT)

G3 S3노트4

테스트 단말 선택- 시나리오별 단말 선택 (1~3대)- 다양한 해상도(저중고 해상도)

자동테스트 실행 및 결과 확인

- 시나리오별 상세조회 장면별 응답시간 메모리CPU 사용률 등

- 오류장면 검출 확인 정상 장면 대비 예외 장면 오류 장면 등

- 모니터링 결과 결함 발생시 담당자 e-mail 전송

ATAM 서버(PC1)

테스트 결과 확인모니터링

No 시나리오 인증 방식 테스트단말 비고

1 혜택쿠폰로그인하이마트쿠폰다운로드쿠폰자세히보기 IDPW 갤노트4

2 LTEM롯데호텔뷔페이용권이용권선택상품상세정보 없음 갤 노트4 S3 G3

3 LPOINT카드카드안내카드신청휴대폰인증 없음 갤 노트4 S3 G3 동시단말 테스트

4 MY LBOX로그인MY포인트포인트이용내역조회(90일) IDPW 갤 노트4 동시단말 테스트

34

주식회사인터링크시스템

상담 및 문의처

TEL 02-538-5940 FAX 02-538-5928

상무 우철환 010-8487-9727 wch2137interlinkcokr

차장 양 훈 010-2841-1319 hoonyinterlinkcokr

Page 19: 모바일 앱(App) 개발 테스트 솔루션 - 인터링크시스템

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 5 테스트 시나리오 생성

시나리오가 실제 장면으로 구성되어쉽게 시나리오 선택 후 테스트

스크립트 개발 없이 사용자의 간단한조작만으로 시나리오 완성 및 테스트

생성된 시나리오를 선택하면 스크립트작성 없이 즉시 테스트

OS 해상도에 상관없이 동시단말 테스트

웹 방식으로 언제 어디서나 접속하여테스트 가능

다수 단말 동시테스트 및 원격 테스트

생성된 전체 서비스 블루프린트와 시나리오 리스트에서 원하는 테스트 시나리오선택

복수 단말에서 즉시 동시테스트

장면기반 서비스 블루프린트 및 테스트 시나리오 생성

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 6 테스트 시나리오 실행

솔루션 기능 사항 설명

ATAM-A 진행 상황 모니터링 진척율 상태 등 실시간 확인

bull 프로젝트 별 시나리오 진행현황을 실시간으로 모니터링bull 단말 별 시나리오 진행현황을 실시간 확인 및 오류발생 시 e-mailSMS 알림

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 7 테스트 시나리오 변경(단일 장면)

부분 시나리오 수정 시 전체 재 작성이 아닌 부분 장면 만 교체하여 시나리오 변경

bull 변경 대상 장면 또는 장면 셋을 삭제 후 새로운장면으로 교체

bull 스크립트 없이 장면 교체만으로 시나리오 변경

bull 단일장면 교체 확인

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 8 테스트 시나리오 변경(시나리오셋 변경)

시나리오 중 공통으로 활용 가능한 장면 및 장면 셋을 모듈로 저장하여 시나리오 신규생성 또는 변경 시 모듈 삽입으로 간편하게 시나리오 생성 및 변경 기능 제공

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 9 테스트 시나리오 재 사용

시나리오 중 공통으로 활용 가능한 장면 및 장면 셋을 모듈로 저장하여 시나리오 재 사용 가능

솔루션 기능사항 설명

ATAM-A One scenario Multi device 단말기 OS 등 변경에 따른 시나리오 재사용

No

단말기종수행속도(분초)

평균응답시간(초)

1LG G3 cat6

227 147

2 LG Gflex2 155 121

3 LG G2 205 191

4 갤 노트4 208 235

5갤 S6 edge

219 243

6 갤 노트3 207 125

7 갤 S5 214 176

8 베가노트 218 258

9 갤 S3 220 191

평균 속도 212 187

bull 하나의 시나리오로Multi device 테스트 지원

bull OS종류별 단말 기종 별 9대의단말에서 동시테스트 완료

bull 하나의 PC에서 최대 9대까지수행 확인

평균응답시간 클릭후 장면간 이동완료 시간

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 10 장면 검출 기능

정상 장면 대비 오류 장면에 대한 자동 검출 및 확인 기능

오류는 아니나 정상장면과 상이한 장면도 쉽게 확인 가능

예외 장면 중 공지 이벤트 등은 확인 후 테스트 진행 오류 장면은 자동 분류 (예외 장면 패턴 사전 등록)

결함 발생 리스트 및

정상 대비 오류화면

비교 결과 제공

결함 발생 당시 시간

오류 내역 메모리

CPU 사용량 등 오류

확인 기초 정보 제공

결함 발생시 해당 내

역을 e-mail 로 실시

간 전송 제공

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 11 리포트 amp 실시간 모니터링

테스트 결과 로그를 빅 데이타 형태로 DB에 저장 및 분석을 통해 다양한 결과 리포트를 웹

Dashboard에 제공하고 앱 서비스의 상태를 실시간으로 모니터링 할 수 있도록 제공

테스트 결과 리포트 다양한 형태의 차트 및 서비스 실시간 모니터링

- 시나리오 별 장면이벤트 별 성공률 응답시간 메모리CPU 사용률 등 회차 별 비교 분석 제공(반복실행에 따른 메모리 Leak 등 오류 확인)

- 웹 방식으로 제공되기 때문에 언제 어디서나 쉽게 테스트 결과 확인 및 모니터링 가능

I 은행

스크립트 작성 없이 간편하게 GUI형태의 테스트시나리오 생성

모든 시나리오를 실제 장면으로 제공하여 일반 사용자도 쉽게 테스트 가능

일부 시나리오 녹화 방식이 아닌 전체 서비스 시나리오 생성 후 테스트 시나리오 선택 실행

앱 업데이트 시 간단한 시나리오 편집만으로 즉시 테스트 가능

앱 업데이트 시 마다 스크립트 작성 불 필요 (장면 교체 등을 통한 쉬운 업데이트)

공인인증서 등 자주 사용하는 시나리오를 공통 모듈화하여 시나리오 생성시간 최소화

실시간 모니터링 및 Health Check

결과 로그 빅 데이타 DB 저장분석으로 실시간 리포트 확인

서비스 상황 실시간 체크 가능(구간별)

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 12 ATAM 특징 요약

1

3

4

해상도OS별 다수 단말 동시테스트 및 어디서나 원격 테스트 가능

하나의 시나리오로 해상도와 OS가 다른 다수의 단말을 동시 반복테스트

하나의 시나리오로 여러 단말 동시테스트

2

Web 방식으로 단말의 위치와 관계없이 테스트 가능

원격지의 단말도 테스트 가능

테스터의 테스트 상황을 관리자가 원격에서도 실시간 모니터링 가능

5

Ⅲ Competitive Advantage 1 기능 비교

ATAM은 경쟁솔루션 대비 전체 서비스블루프린트(구성도) 제공 스크립트 개발

자 불필요 최단시간 시나리오 자동 생성 등 차별화 서비스 제공으로 최고 수준

의 경쟁력 확보

구 분 ATAM G사(국내) H사(미국) S사(미국) 비고

전체 서비스구성도 제공(장면 기반 전개도)

X X X 뱅킹앱의 경우 약 700장면

테스트시나리오 생성시간(500장면 기준)

1일 1개월 15개월 1개월

장면당 평균 생성시간 (추정)- 스크립트 작성 및 디버깅 완료- 복수단말 테스트 가능상태 기준(1인 작성시간 기준)

테스트방식장면 크롤링

(시나리오 선택 실행)Record amp Play(스크립트 편집)

Record amp Play(스크립트 편집)

Record amp Play(스크립트 편집)

실시간 모니터링 X X ATAM 다양한 차트 그래프 제공

스크립트 개발자 불필요 필요 필요 필요 경쟁사는 스크립트 개발역량에 좌우

사용 방식 웹 방식 CS 방식(Client 설치) CS 방식(Client 설치) CS 방식(Client 설치) ATAM 원격테스트 가능

사용자수 제한 없음(웹접속) PC Client 설치 수 PC Client 설치 수 PC Client 설치 수

앱 업데이트 적용 방식 장면 교체(장면당 30초) 스크립트 수정 스크립트 수정 스크립트 수정 ATAM유지보수 용이

보안 키패드 반복 테스트 자동 추가 개발 필요 추가 개발 필요 추가 개발 필요 키패드 위치 변경시 테스트 자동화

시나리오 버전 별 비교 X X X 경쟁솔루션 구성도 비교 가능

ATAM 사용시 기대효과는 단순한 비용 절감보다는 품질을 향상시켜 고품질의 앱을 유지

할 수 있으며 처리시간 메모리 사용량 등 의 성능개선 Point를 제시 합니다

테스트 비용 및 시간 절감1 신뢰성 있는 고품질 앱 유지2

수작업 대비 비용은 약 67 시간 08 소요(단말 10대 시나리오 20개 20회 반복테스트 기준)

유지보수 비용 절감3

시나리오이벤트 별 오류 응답시간 메모리 사용량 등OS별 단말 별 다양한 테스트로 높은 품질의 시험결과제공

앱 업데이트 시마다 스크립트 수정 없이 재 테스트 가능

개발자의 스크립트 개발 및 수정 관리 불필요

쉽고 정확한 테스트4

프로그램을 모르는 사용자도 쉽게 테스트 진행 가능

Human error가 없어 정확한 테스트 가능

Ⅳ 기대 효과

Full Test Coverage5

앱 테스트가 가능한 시나리오를 전체의 블루 프린트로

확인하여 누락된 시나리오 등 확인 가능

앱 변경 시 임팩트가 있는 시나리오를 전체 테스트 가능

성능 개선 Point 제시6

모니터링을 통해 CPUMemoryResponse Time 의 적정성

여부 및 개선 point 파악 가능

새로운 App 개발로 인해 기존의 App 대비 성능 향상 비교

기 사용중인 App의 테스트 가능한 시나리오와 신규 개발된 App의 시나리오를 테스트한 결과를CPUResponse TimeMemory 사용률 등을 비교 분석하여 개선점 도출 및 보완에 활용

bull 기존 앱 의 성능문제로 고객불만 발생하여 신규 클라이언트 앱 개발bull 신규 앱 을 테스트 수행하였으나 신뢰할만한 데이터의 부재

bull 1차 테스트시 응답시간 30 이상 개선되었으나 메모리 사용량 증가 확인

bull ATAM의 메모리 상세분석에서 이미지 가속기 사용확인

bull 고 사양의 폰은 큰 문제가 되지 않으나 저사양 폰에서 다운되는 현상 확인

bull ATAM의 결과 자료를 바탕으로 프로그램 개선 후 오픈(lsquo1512월 현재)

POC를 통해ATAM 선정

ATAM으로테스트 및 분석

[별첨1] ATAM 적용사례1_K은행

예금신탁계좌조회

안드로이드

응답시간 메모리사용량 nativeHeap dalvikHeap 기타 cpu_use

AS-IS TO-BE 비율 AS-IS TO-BE 비율 AS-IS TO-BE 비율 AS-IS TO-BE 비율 AS-IS TO-BE 비율 AS-IS TO-BE 비율

Galaxy 6

최소 579 217 37 252039 406504 161 42635 20169 47 66881 78620 118 142523 307715 216 14 18 129

최대 674 492 73 261462 417621 160 42887 20589 48 70636 84433 120 147939 312599 211 20 22 110

평균 635 350 55 254623 412127 162 42756 20371 48 68562 80622 118 143304 311133 217 17 20 118

Galaxy 3

최소 558 238 43 109629 86029 78 - - 21 37 176

최대 3020 331 11 118228 90526 77 - - 39 40 103

평균 1111 288 26 114439 88591 77 - - 34 388 114

베가노트

최소 471 241 51 121530 98593 81 52 56 108

최대 1049 274 26 127300 112120 88 60 61 102

평균 560 250 45 123596 103539 84 562 587 104

G flex2

최소 463 227 49 169669 257117 152 63000 36560 58 51830 57387 111 54839 163170 298 17 17 100

최대 950 275 29 177872 266769 150 65248 37388 57 54691 59346 109 57933 170035 294 26 27 104

평균 589 259 44 174249 263124 151 64015 37111 58 52914 58494 111 57320 167520 292 235 221 94

bull As-Is 대비 To-Be 앱의 응답시간은 빨라졌으나 메모리 사용량은 증가- 개발팀은 메모리사용량이 최소 20~30 개선된 것으로 알고 있었으나 ATAM 테스트결과 이슈 발생- 개발관련 메모리 사용량은 감소하였으나 신규로 적용한 이미지가속기 사용시 기타영역 메모리 사용량 급증- 고사양 단말에서는 이슈가 없으나 갤럭시S2 등 저사양폰에서는 앱이 죽는 현상 발생- 저사양폰의 총메모리 사용량에는 기타영역(이미지 등)은 미포함되어 있음

전체 메모리 사용량은 증가개발 관련 메모리사용은 감소

이미지가속기 관련 기타메모리영역 사용량 급증

[별첨1] ATAM 적용사례1_K은행

6개 단말기에서 18개 신용카드로 3개의 혜택 종류별 테스터 엔지니어가 수작업으로

3회씩 반복테스트를 한다면 324개 시나리오를 테스트 엔지니어 3명이 7일 소요

6 times 18= 108개 시나리오

108 times 3= 324 개 시나리오

324 times 10분(테스트소요시간)=

3240분 (약54시간)

54 8시간 times 3회= 7 일 times 3명

현재 수작업으로 5명이 64개의 시

나리오만 테스트 중

18 times 3= 54 개 시나리오

54 times 10분(테스트소요시간)=

540분 (9시간)

9 24시간 times 3회 = 12 일 (6

대 동시 실행)

현재 테스트아웃소싱을 통해 수작업 테스트 진행중이나 불필요한 반복테스트 수작업테스트커버리지부족 주요 서비스에 대한 실시간 모니터링 및 결함 자동 알람 필요성 등으로 자동테스트 솔루션 검토

솔루션 4개사 검토후ATAM 선정

[별첨2] ATAM 적용사례2_L홈쇼핑

[별첨3] 시연 환경 및 시나리오

ATAM 서버(PC1)

bull Windows OSbull 웹서버(NodeExpress)bull DB서버(Maria)bull ATAM Controllerbull 시나리오 생성bull 테스트 실행bull 결과 확인

결과 모니터

앱 실행 환경(무선)bull LTEbull 블루투스 테더링bull WiFi

아이폰 테스트 PC(Mac)

USB

테스트 단말(Test Lab)

클라이언트 PC2

bull Windows OSbull ATAM Controllerbull 시나리오 생성bull 테스트 실행bull 결과 확인

USB

bull Mac OSbull ATAM Controllerbull 시나리오 생성bull 테스트 실행bull 결과 확인

기종 제조사 OS 해상도

1 갤노트4 삼성 512 1440x2560

2 갤럭시S3 삼성 444 720x1280

3 G3 LG 444 1080x1920

∙∙∙

[단말 사양]

[별첨3] 시연 환경 및 시나리오

테스트 시나리오(LPOINT)

G3 S3노트4

테스트 단말 선택- 시나리오별 단말 선택 (1~3대)- 다양한 해상도(저중고 해상도)

자동테스트 실행 및 결과 확인

- 시나리오별 상세조회 장면별 응답시간 메모리CPU 사용률 등

- 오류장면 검출 확인 정상 장면 대비 예외 장면 오류 장면 등

- 모니터링 결과 결함 발생시 담당자 e-mail 전송

ATAM 서버(PC1)

테스트 결과 확인모니터링

No 시나리오 인증 방식 테스트단말 비고

1 혜택쿠폰로그인하이마트쿠폰다운로드쿠폰자세히보기 IDPW 갤노트4

2 LTEM롯데호텔뷔페이용권이용권선택상품상세정보 없음 갤 노트4 S3 G3

3 LPOINT카드카드안내카드신청휴대폰인증 없음 갤 노트4 S3 G3 동시단말 테스트

4 MY LBOX로그인MY포인트포인트이용내역조회(90일) IDPW 갤 노트4 동시단말 테스트

34

주식회사인터링크시스템

상담 및 문의처

TEL 02-538-5940 FAX 02-538-5928

상무 우철환 010-8487-9727 wch2137interlinkcokr

차장 양 훈 010-2841-1319 hoonyinterlinkcokr

Page 20: 모바일 앱(App) 개발 테스트 솔루션 - 인터링크시스템

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 6 테스트 시나리오 실행

솔루션 기능 사항 설명

ATAM-A 진행 상황 모니터링 진척율 상태 등 실시간 확인

bull 프로젝트 별 시나리오 진행현황을 실시간으로 모니터링bull 단말 별 시나리오 진행현황을 실시간 확인 및 오류발생 시 e-mailSMS 알림

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 7 테스트 시나리오 변경(단일 장면)

부분 시나리오 수정 시 전체 재 작성이 아닌 부분 장면 만 교체하여 시나리오 변경

bull 변경 대상 장면 또는 장면 셋을 삭제 후 새로운장면으로 교체

bull 스크립트 없이 장면 교체만으로 시나리오 변경

bull 단일장면 교체 확인

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 8 테스트 시나리오 변경(시나리오셋 변경)

시나리오 중 공통으로 활용 가능한 장면 및 장면 셋을 모듈로 저장하여 시나리오 신규생성 또는 변경 시 모듈 삽입으로 간편하게 시나리오 생성 및 변경 기능 제공

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 9 테스트 시나리오 재 사용

시나리오 중 공통으로 활용 가능한 장면 및 장면 셋을 모듈로 저장하여 시나리오 재 사용 가능

솔루션 기능사항 설명

ATAM-A One scenario Multi device 단말기 OS 등 변경에 따른 시나리오 재사용

No

단말기종수행속도(분초)

평균응답시간(초)

1LG G3 cat6

227 147

2 LG Gflex2 155 121

3 LG G2 205 191

4 갤 노트4 208 235

5갤 S6 edge

219 243

6 갤 노트3 207 125

7 갤 S5 214 176

8 베가노트 218 258

9 갤 S3 220 191

평균 속도 212 187

bull 하나의 시나리오로Multi device 테스트 지원

bull OS종류별 단말 기종 별 9대의단말에서 동시테스트 완료

bull 하나의 PC에서 최대 9대까지수행 확인

평균응답시간 클릭후 장면간 이동완료 시간

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 10 장면 검출 기능

정상 장면 대비 오류 장면에 대한 자동 검출 및 확인 기능

오류는 아니나 정상장면과 상이한 장면도 쉽게 확인 가능

예외 장면 중 공지 이벤트 등은 확인 후 테스트 진행 오류 장면은 자동 분류 (예외 장면 패턴 사전 등록)

결함 발생 리스트 및

정상 대비 오류화면

비교 결과 제공

결함 발생 당시 시간

오류 내역 메모리

CPU 사용량 등 오류

확인 기초 정보 제공

결함 발생시 해당 내

역을 e-mail 로 실시

간 전송 제공

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 11 리포트 amp 실시간 모니터링

테스트 결과 로그를 빅 데이타 형태로 DB에 저장 및 분석을 통해 다양한 결과 리포트를 웹

Dashboard에 제공하고 앱 서비스의 상태를 실시간으로 모니터링 할 수 있도록 제공

테스트 결과 리포트 다양한 형태의 차트 및 서비스 실시간 모니터링

- 시나리오 별 장면이벤트 별 성공률 응답시간 메모리CPU 사용률 등 회차 별 비교 분석 제공(반복실행에 따른 메모리 Leak 등 오류 확인)

- 웹 방식으로 제공되기 때문에 언제 어디서나 쉽게 테스트 결과 확인 및 모니터링 가능

I 은행

스크립트 작성 없이 간편하게 GUI형태의 테스트시나리오 생성

모든 시나리오를 실제 장면으로 제공하여 일반 사용자도 쉽게 테스트 가능

일부 시나리오 녹화 방식이 아닌 전체 서비스 시나리오 생성 후 테스트 시나리오 선택 실행

앱 업데이트 시 간단한 시나리오 편집만으로 즉시 테스트 가능

앱 업데이트 시 마다 스크립트 작성 불 필요 (장면 교체 등을 통한 쉬운 업데이트)

공인인증서 등 자주 사용하는 시나리오를 공통 모듈화하여 시나리오 생성시간 최소화

실시간 모니터링 및 Health Check

결과 로그 빅 데이타 DB 저장분석으로 실시간 리포트 확인

서비스 상황 실시간 체크 가능(구간별)

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 12 ATAM 특징 요약

1

3

4

해상도OS별 다수 단말 동시테스트 및 어디서나 원격 테스트 가능

하나의 시나리오로 해상도와 OS가 다른 다수의 단말을 동시 반복테스트

하나의 시나리오로 여러 단말 동시테스트

2

Web 방식으로 단말의 위치와 관계없이 테스트 가능

원격지의 단말도 테스트 가능

테스터의 테스트 상황을 관리자가 원격에서도 실시간 모니터링 가능

5

Ⅲ Competitive Advantage 1 기능 비교

ATAM은 경쟁솔루션 대비 전체 서비스블루프린트(구성도) 제공 스크립트 개발

자 불필요 최단시간 시나리오 자동 생성 등 차별화 서비스 제공으로 최고 수준

의 경쟁력 확보

구 분 ATAM G사(국내) H사(미국) S사(미국) 비고

전체 서비스구성도 제공(장면 기반 전개도)

X X X 뱅킹앱의 경우 약 700장면

테스트시나리오 생성시간(500장면 기준)

1일 1개월 15개월 1개월

장면당 평균 생성시간 (추정)- 스크립트 작성 및 디버깅 완료- 복수단말 테스트 가능상태 기준(1인 작성시간 기준)

테스트방식장면 크롤링

(시나리오 선택 실행)Record amp Play(스크립트 편집)

Record amp Play(스크립트 편집)

Record amp Play(스크립트 편집)

실시간 모니터링 X X ATAM 다양한 차트 그래프 제공

스크립트 개발자 불필요 필요 필요 필요 경쟁사는 스크립트 개발역량에 좌우

사용 방식 웹 방식 CS 방식(Client 설치) CS 방식(Client 설치) CS 방식(Client 설치) ATAM 원격테스트 가능

사용자수 제한 없음(웹접속) PC Client 설치 수 PC Client 설치 수 PC Client 설치 수

앱 업데이트 적용 방식 장면 교체(장면당 30초) 스크립트 수정 스크립트 수정 스크립트 수정 ATAM유지보수 용이

보안 키패드 반복 테스트 자동 추가 개발 필요 추가 개발 필요 추가 개발 필요 키패드 위치 변경시 테스트 자동화

시나리오 버전 별 비교 X X X 경쟁솔루션 구성도 비교 가능

ATAM 사용시 기대효과는 단순한 비용 절감보다는 품질을 향상시켜 고품질의 앱을 유지

할 수 있으며 처리시간 메모리 사용량 등 의 성능개선 Point를 제시 합니다

테스트 비용 및 시간 절감1 신뢰성 있는 고품질 앱 유지2

수작업 대비 비용은 약 67 시간 08 소요(단말 10대 시나리오 20개 20회 반복테스트 기준)

유지보수 비용 절감3

시나리오이벤트 별 오류 응답시간 메모리 사용량 등OS별 단말 별 다양한 테스트로 높은 품질의 시험결과제공

앱 업데이트 시마다 스크립트 수정 없이 재 테스트 가능

개발자의 스크립트 개발 및 수정 관리 불필요

쉽고 정확한 테스트4

프로그램을 모르는 사용자도 쉽게 테스트 진행 가능

Human error가 없어 정확한 테스트 가능

Ⅳ 기대 효과

Full Test Coverage5

앱 테스트가 가능한 시나리오를 전체의 블루 프린트로

확인하여 누락된 시나리오 등 확인 가능

앱 변경 시 임팩트가 있는 시나리오를 전체 테스트 가능

성능 개선 Point 제시6

모니터링을 통해 CPUMemoryResponse Time 의 적정성

여부 및 개선 point 파악 가능

새로운 App 개발로 인해 기존의 App 대비 성능 향상 비교

기 사용중인 App의 테스트 가능한 시나리오와 신규 개발된 App의 시나리오를 테스트한 결과를CPUResponse TimeMemory 사용률 등을 비교 분석하여 개선점 도출 및 보완에 활용

bull 기존 앱 의 성능문제로 고객불만 발생하여 신규 클라이언트 앱 개발bull 신규 앱 을 테스트 수행하였으나 신뢰할만한 데이터의 부재

bull 1차 테스트시 응답시간 30 이상 개선되었으나 메모리 사용량 증가 확인

bull ATAM의 메모리 상세분석에서 이미지 가속기 사용확인

bull 고 사양의 폰은 큰 문제가 되지 않으나 저사양 폰에서 다운되는 현상 확인

bull ATAM의 결과 자료를 바탕으로 프로그램 개선 후 오픈(lsquo1512월 현재)

POC를 통해ATAM 선정

ATAM으로테스트 및 분석

[별첨1] ATAM 적용사례1_K은행

예금신탁계좌조회

안드로이드

응답시간 메모리사용량 nativeHeap dalvikHeap 기타 cpu_use

AS-IS TO-BE 비율 AS-IS TO-BE 비율 AS-IS TO-BE 비율 AS-IS TO-BE 비율 AS-IS TO-BE 비율 AS-IS TO-BE 비율

Galaxy 6

최소 579 217 37 252039 406504 161 42635 20169 47 66881 78620 118 142523 307715 216 14 18 129

최대 674 492 73 261462 417621 160 42887 20589 48 70636 84433 120 147939 312599 211 20 22 110

평균 635 350 55 254623 412127 162 42756 20371 48 68562 80622 118 143304 311133 217 17 20 118

Galaxy 3

최소 558 238 43 109629 86029 78 - - 21 37 176

최대 3020 331 11 118228 90526 77 - - 39 40 103

평균 1111 288 26 114439 88591 77 - - 34 388 114

베가노트

최소 471 241 51 121530 98593 81 52 56 108

최대 1049 274 26 127300 112120 88 60 61 102

평균 560 250 45 123596 103539 84 562 587 104

G flex2

최소 463 227 49 169669 257117 152 63000 36560 58 51830 57387 111 54839 163170 298 17 17 100

최대 950 275 29 177872 266769 150 65248 37388 57 54691 59346 109 57933 170035 294 26 27 104

평균 589 259 44 174249 263124 151 64015 37111 58 52914 58494 111 57320 167520 292 235 221 94

bull As-Is 대비 To-Be 앱의 응답시간은 빨라졌으나 메모리 사용량은 증가- 개발팀은 메모리사용량이 최소 20~30 개선된 것으로 알고 있었으나 ATAM 테스트결과 이슈 발생- 개발관련 메모리 사용량은 감소하였으나 신규로 적용한 이미지가속기 사용시 기타영역 메모리 사용량 급증- 고사양 단말에서는 이슈가 없으나 갤럭시S2 등 저사양폰에서는 앱이 죽는 현상 발생- 저사양폰의 총메모리 사용량에는 기타영역(이미지 등)은 미포함되어 있음

전체 메모리 사용량은 증가개발 관련 메모리사용은 감소

이미지가속기 관련 기타메모리영역 사용량 급증

[별첨1] ATAM 적용사례1_K은행

6개 단말기에서 18개 신용카드로 3개의 혜택 종류별 테스터 엔지니어가 수작업으로

3회씩 반복테스트를 한다면 324개 시나리오를 테스트 엔지니어 3명이 7일 소요

6 times 18= 108개 시나리오

108 times 3= 324 개 시나리오

324 times 10분(테스트소요시간)=

3240분 (약54시간)

54 8시간 times 3회= 7 일 times 3명

현재 수작업으로 5명이 64개의 시

나리오만 테스트 중

18 times 3= 54 개 시나리오

54 times 10분(테스트소요시간)=

540분 (9시간)

9 24시간 times 3회 = 12 일 (6

대 동시 실행)

현재 테스트아웃소싱을 통해 수작업 테스트 진행중이나 불필요한 반복테스트 수작업테스트커버리지부족 주요 서비스에 대한 실시간 모니터링 및 결함 자동 알람 필요성 등으로 자동테스트 솔루션 검토

솔루션 4개사 검토후ATAM 선정

[별첨2] ATAM 적용사례2_L홈쇼핑

[별첨3] 시연 환경 및 시나리오

ATAM 서버(PC1)

bull Windows OSbull 웹서버(NodeExpress)bull DB서버(Maria)bull ATAM Controllerbull 시나리오 생성bull 테스트 실행bull 결과 확인

결과 모니터

앱 실행 환경(무선)bull LTEbull 블루투스 테더링bull WiFi

아이폰 테스트 PC(Mac)

USB

테스트 단말(Test Lab)

클라이언트 PC2

bull Windows OSbull ATAM Controllerbull 시나리오 생성bull 테스트 실행bull 결과 확인

USB

bull Mac OSbull ATAM Controllerbull 시나리오 생성bull 테스트 실행bull 결과 확인

기종 제조사 OS 해상도

1 갤노트4 삼성 512 1440x2560

2 갤럭시S3 삼성 444 720x1280

3 G3 LG 444 1080x1920

∙∙∙

[단말 사양]

[별첨3] 시연 환경 및 시나리오

테스트 시나리오(LPOINT)

G3 S3노트4

테스트 단말 선택- 시나리오별 단말 선택 (1~3대)- 다양한 해상도(저중고 해상도)

자동테스트 실행 및 결과 확인

- 시나리오별 상세조회 장면별 응답시간 메모리CPU 사용률 등

- 오류장면 검출 확인 정상 장면 대비 예외 장면 오류 장면 등

- 모니터링 결과 결함 발생시 담당자 e-mail 전송

ATAM 서버(PC1)

테스트 결과 확인모니터링

No 시나리오 인증 방식 테스트단말 비고

1 혜택쿠폰로그인하이마트쿠폰다운로드쿠폰자세히보기 IDPW 갤노트4

2 LTEM롯데호텔뷔페이용권이용권선택상품상세정보 없음 갤 노트4 S3 G3

3 LPOINT카드카드안내카드신청휴대폰인증 없음 갤 노트4 S3 G3 동시단말 테스트

4 MY LBOX로그인MY포인트포인트이용내역조회(90일) IDPW 갤 노트4 동시단말 테스트

34

주식회사인터링크시스템

상담 및 문의처

TEL 02-538-5940 FAX 02-538-5928

상무 우철환 010-8487-9727 wch2137interlinkcokr

차장 양 훈 010-2841-1319 hoonyinterlinkcokr

Page 21: 모바일 앱(App) 개발 테스트 솔루션 - 인터링크시스템

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 7 테스트 시나리오 변경(단일 장면)

부분 시나리오 수정 시 전체 재 작성이 아닌 부분 장면 만 교체하여 시나리오 변경

bull 변경 대상 장면 또는 장면 셋을 삭제 후 새로운장면으로 교체

bull 스크립트 없이 장면 교체만으로 시나리오 변경

bull 단일장면 교체 확인

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 8 테스트 시나리오 변경(시나리오셋 변경)

시나리오 중 공통으로 활용 가능한 장면 및 장면 셋을 모듈로 저장하여 시나리오 신규생성 또는 변경 시 모듈 삽입으로 간편하게 시나리오 생성 및 변경 기능 제공

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 9 테스트 시나리오 재 사용

시나리오 중 공통으로 활용 가능한 장면 및 장면 셋을 모듈로 저장하여 시나리오 재 사용 가능

솔루션 기능사항 설명

ATAM-A One scenario Multi device 단말기 OS 등 변경에 따른 시나리오 재사용

No

단말기종수행속도(분초)

평균응답시간(초)

1LG G3 cat6

227 147

2 LG Gflex2 155 121

3 LG G2 205 191

4 갤 노트4 208 235

5갤 S6 edge

219 243

6 갤 노트3 207 125

7 갤 S5 214 176

8 베가노트 218 258

9 갤 S3 220 191

평균 속도 212 187

bull 하나의 시나리오로Multi device 테스트 지원

bull OS종류별 단말 기종 별 9대의단말에서 동시테스트 완료

bull 하나의 PC에서 최대 9대까지수행 확인

평균응답시간 클릭후 장면간 이동완료 시간

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 10 장면 검출 기능

정상 장면 대비 오류 장면에 대한 자동 검출 및 확인 기능

오류는 아니나 정상장면과 상이한 장면도 쉽게 확인 가능

예외 장면 중 공지 이벤트 등은 확인 후 테스트 진행 오류 장면은 자동 분류 (예외 장면 패턴 사전 등록)

결함 발생 리스트 및

정상 대비 오류화면

비교 결과 제공

결함 발생 당시 시간

오류 내역 메모리

CPU 사용량 등 오류

확인 기초 정보 제공

결함 발생시 해당 내

역을 e-mail 로 실시

간 전송 제공

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 11 리포트 amp 실시간 모니터링

테스트 결과 로그를 빅 데이타 형태로 DB에 저장 및 분석을 통해 다양한 결과 리포트를 웹

Dashboard에 제공하고 앱 서비스의 상태를 실시간으로 모니터링 할 수 있도록 제공

테스트 결과 리포트 다양한 형태의 차트 및 서비스 실시간 모니터링

- 시나리오 별 장면이벤트 별 성공률 응답시간 메모리CPU 사용률 등 회차 별 비교 분석 제공(반복실행에 따른 메모리 Leak 등 오류 확인)

- 웹 방식으로 제공되기 때문에 언제 어디서나 쉽게 테스트 결과 확인 및 모니터링 가능

I 은행

스크립트 작성 없이 간편하게 GUI형태의 테스트시나리오 생성

모든 시나리오를 실제 장면으로 제공하여 일반 사용자도 쉽게 테스트 가능

일부 시나리오 녹화 방식이 아닌 전체 서비스 시나리오 생성 후 테스트 시나리오 선택 실행

앱 업데이트 시 간단한 시나리오 편집만으로 즉시 테스트 가능

앱 업데이트 시 마다 스크립트 작성 불 필요 (장면 교체 등을 통한 쉬운 업데이트)

공인인증서 등 자주 사용하는 시나리오를 공통 모듈화하여 시나리오 생성시간 최소화

실시간 모니터링 및 Health Check

결과 로그 빅 데이타 DB 저장분석으로 실시간 리포트 확인

서비스 상황 실시간 체크 가능(구간별)

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 12 ATAM 특징 요약

1

3

4

해상도OS별 다수 단말 동시테스트 및 어디서나 원격 테스트 가능

하나의 시나리오로 해상도와 OS가 다른 다수의 단말을 동시 반복테스트

하나의 시나리오로 여러 단말 동시테스트

2

Web 방식으로 단말의 위치와 관계없이 테스트 가능

원격지의 단말도 테스트 가능

테스터의 테스트 상황을 관리자가 원격에서도 실시간 모니터링 가능

5

Ⅲ Competitive Advantage 1 기능 비교

ATAM은 경쟁솔루션 대비 전체 서비스블루프린트(구성도) 제공 스크립트 개발

자 불필요 최단시간 시나리오 자동 생성 등 차별화 서비스 제공으로 최고 수준

의 경쟁력 확보

구 분 ATAM G사(국내) H사(미국) S사(미국) 비고

전체 서비스구성도 제공(장면 기반 전개도)

X X X 뱅킹앱의 경우 약 700장면

테스트시나리오 생성시간(500장면 기준)

1일 1개월 15개월 1개월

장면당 평균 생성시간 (추정)- 스크립트 작성 및 디버깅 완료- 복수단말 테스트 가능상태 기준(1인 작성시간 기준)

테스트방식장면 크롤링

(시나리오 선택 실행)Record amp Play(스크립트 편집)

Record amp Play(스크립트 편집)

Record amp Play(스크립트 편집)

실시간 모니터링 X X ATAM 다양한 차트 그래프 제공

스크립트 개발자 불필요 필요 필요 필요 경쟁사는 스크립트 개발역량에 좌우

사용 방식 웹 방식 CS 방식(Client 설치) CS 방식(Client 설치) CS 방식(Client 설치) ATAM 원격테스트 가능

사용자수 제한 없음(웹접속) PC Client 설치 수 PC Client 설치 수 PC Client 설치 수

앱 업데이트 적용 방식 장면 교체(장면당 30초) 스크립트 수정 스크립트 수정 스크립트 수정 ATAM유지보수 용이

보안 키패드 반복 테스트 자동 추가 개발 필요 추가 개발 필요 추가 개발 필요 키패드 위치 변경시 테스트 자동화

시나리오 버전 별 비교 X X X 경쟁솔루션 구성도 비교 가능

ATAM 사용시 기대효과는 단순한 비용 절감보다는 품질을 향상시켜 고품질의 앱을 유지

할 수 있으며 처리시간 메모리 사용량 등 의 성능개선 Point를 제시 합니다

테스트 비용 및 시간 절감1 신뢰성 있는 고품질 앱 유지2

수작업 대비 비용은 약 67 시간 08 소요(단말 10대 시나리오 20개 20회 반복테스트 기준)

유지보수 비용 절감3

시나리오이벤트 별 오류 응답시간 메모리 사용량 등OS별 단말 별 다양한 테스트로 높은 품질의 시험결과제공

앱 업데이트 시마다 스크립트 수정 없이 재 테스트 가능

개발자의 스크립트 개발 및 수정 관리 불필요

쉽고 정확한 테스트4

프로그램을 모르는 사용자도 쉽게 테스트 진행 가능

Human error가 없어 정확한 테스트 가능

Ⅳ 기대 효과

Full Test Coverage5

앱 테스트가 가능한 시나리오를 전체의 블루 프린트로

확인하여 누락된 시나리오 등 확인 가능

앱 변경 시 임팩트가 있는 시나리오를 전체 테스트 가능

성능 개선 Point 제시6

모니터링을 통해 CPUMemoryResponse Time 의 적정성

여부 및 개선 point 파악 가능

새로운 App 개발로 인해 기존의 App 대비 성능 향상 비교

기 사용중인 App의 테스트 가능한 시나리오와 신규 개발된 App의 시나리오를 테스트한 결과를CPUResponse TimeMemory 사용률 등을 비교 분석하여 개선점 도출 및 보완에 활용

bull 기존 앱 의 성능문제로 고객불만 발생하여 신규 클라이언트 앱 개발bull 신규 앱 을 테스트 수행하였으나 신뢰할만한 데이터의 부재

bull 1차 테스트시 응답시간 30 이상 개선되었으나 메모리 사용량 증가 확인

bull ATAM의 메모리 상세분석에서 이미지 가속기 사용확인

bull 고 사양의 폰은 큰 문제가 되지 않으나 저사양 폰에서 다운되는 현상 확인

bull ATAM의 결과 자료를 바탕으로 프로그램 개선 후 오픈(lsquo1512월 현재)

POC를 통해ATAM 선정

ATAM으로테스트 및 분석

[별첨1] ATAM 적용사례1_K은행

예금신탁계좌조회

안드로이드

응답시간 메모리사용량 nativeHeap dalvikHeap 기타 cpu_use

AS-IS TO-BE 비율 AS-IS TO-BE 비율 AS-IS TO-BE 비율 AS-IS TO-BE 비율 AS-IS TO-BE 비율 AS-IS TO-BE 비율

Galaxy 6

최소 579 217 37 252039 406504 161 42635 20169 47 66881 78620 118 142523 307715 216 14 18 129

최대 674 492 73 261462 417621 160 42887 20589 48 70636 84433 120 147939 312599 211 20 22 110

평균 635 350 55 254623 412127 162 42756 20371 48 68562 80622 118 143304 311133 217 17 20 118

Galaxy 3

최소 558 238 43 109629 86029 78 - - 21 37 176

최대 3020 331 11 118228 90526 77 - - 39 40 103

평균 1111 288 26 114439 88591 77 - - 34 388 114

베가노트

최소 471 241 51 121530 98593 81 52 56 108

최대 1049 274 26 127300 112120 88 60 61 102

평균 560 250 45 123596 103539 84 562 587 104

G flex2

최소 463 227 49 169669 257117 152 63000 36560 58 51830 57387 111 54839 163170 298 17 17 100

최대 950 275 29 177872 266769 150 65248 37388 57 54691 59346 109 57933 170035 294 26 27 104

평균 589 259 44 174249 263124 151 64015 37111 58 52914 58494 111 57320 167520 292 235 221 94

bull As-Is 대비 To-Be 앱의 응답시간은 빨라졌으나 메모리 사용량은 증가- 개발팀은 메모리사용량이 최소 20~30 개선된 것으로 알고 있었으나 ATAM 테스트결과 이슈 발생- 개발관련 메모리 사용량은 감소하였으나 신규로 적용한 이미지가속기 사용시 기타영역 메모리 사용량 급증- 고사양 단말에서는 이슈가 없으나 갤럭시S2 등 저사양폰에서는 앱이 죽는 현상 발생- 저사양폰의 총메모리 사용량에는 기타영역(이미지 등)은 미포함되어 있음

전체 메모리 사용량은 증가개발 관련 메모리사용은 감소

이미지가속기 관련 기타메모리영역 사용량 급증

[별첨1] ATAM 적용사례1_K은행

6개 단말기에서 18개 신용카드로 3개의 혜택 종류별 테스터 엔지니어가 수작업으로

3회씩 반복테스트를 한다면 324개 시나리오를 테스트 엔지니어 3명이 7일 소요

6 times 18= 108개 시나리오

108 times 3= 324 개 시나리오

324 times 10분(테스트소요시간)=

3240분 (약54시간)

54 8시간 times 3회= 7 일 times 3명

현재 수작업으로 5명이 64개의 시

나리오만 테스트 중

18 times 3= 54 개 시나리오

54 times 10분(테스트소요시간)=

540분 (9시간)

9 24시간 times 3회 = 12 일 (6

대 동시 실행)

현재 테스트아웃소싱을 통해 수작업 테스트 진행중이나 불필요한 반복테스트 수작업테스트커버리지부족 주요 서비스에 대한 실시간 모니터링 및 결함 자동 알람 필요성 등으로 자동테스트 솔루션 검토

솔루션 4개사 검토후ATAM 선정

[별첨2] ATAM 적용사례2_L홈쇼핑

[별첨3] 시연 환경 및 시나리오

ATAM 서버(PC1)

bull Windows OSbull 웹서버(NodeExpress)bull DB서버(Maria)bull ATAM Controllerbull 시나리오 생성bull 테스트 실행bull 결과 확인

결과 모니터

앱 실행 환경(무선)bull LTEbull 블루투스 테더링bull WiFi

아이폰 테스트 PC(Mac)

USB

테스트 단말(Test Lab)

클라이언트 PC2

bull Windows OSbull ATAM Controllerbull 시나리오 생성bull 테스트 실행bull 결과 확인

USB

bull Mac OSbull ATAM Controllerbull 시나리오 생성bull 테스트 실행bull 결과 확인

기종 제조사 OS 해상도

1 갤노트4 삼성 512 1440x2560

2 갤럭시S3 삼성 444 720x1280

3 G3 LG 444 1080x1920

∙∙∙

[단말 사양]

[별첨3] 시연 환경 및 시나리오

테스트 시나리오(LPOINT)

G3 S3노트4

테스트 단말 선택- 시나리오별 단말 선택 (1~3대)- 다양한 해상도(저중고 해상도)

자동테스트 실행 및 결과 확인

- 시나리오별 상세조회 장면별 응답시간 메모리CPU 사용률 등

- 오류장면 검출 확인 정상 장면 대비 예외 장면 오류 장면 등

- 모니터링 결과 결함 발생시 담당자 e-mail 전송

ATAM 서버(PC1)

테스트 결과 확인모니터링

No 시나리오 인증 방식 테스트단말 비고

1 혜택쿠폰로그인하이마트쿠폰다운로드쿠폰자세히보기 IDPW 갤노트4

2 LTEM롯데호텔뷔페이용권이용권선택상품상세정보 없음 갤 노트4 S3 G3

3 LPOINT카드카드안내카드신청휴대폰인증 없음 갤 노트4 S3 G3 동시단말 테스트

4 MY LBOX로그인MY포인트포인트이용내역조회(90일) IDPW 갤 노트4 동시단말 테스트

34

주식회사인터링크시스템

상담 및 문의처

TEL 02-538-5940 FAX 02-538-5928

상무 우철환 010-8487-9727 wch2137interlinkcokr

차장 양 훈 010-2841-1319 hoonyinterlinkcokr

Page 22: 모바일 앱(App) 개발 테스트 솔루션 - 인터링크시스템

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 8 테스트 시나리오 변경(시나리오셋 변경)

시나리오 중 공통으로 활용 가능한 장면 및 장면 셋을 모듈로 저장하여 시나리오 신규생성 또는 변경 시 모듈 삽입으로 간편하게 시나리오 생성 및 변경 기능 제공

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 9 테스트 시나리오 재 사용

시나리오 중 공통으로 활용 가능한 장면 및 장면 셋을 모듈로 저장하여 시나리오 재 사용 가능

솔루션 기능사항 설명

ATAM-A One scenario Multi device 단말기 OS 등 변경에 따른 시나리오 재사용

No

단말기종수행속도(분초)

평균응답시간(초)

1LG G3 cat6

227 147

2 LG Gflex2 155 121

3 LG G2 205 191

4 갤 노트4 208 235

5갤 S6 edge

219 243

6 갤 노트3 207 125

7 갤 S5 214 176

8 베가노트 218 258

9 갤 S3 220 191

평균 속도 212 187

bull 하나의 시나리오로Multi device 테스트 지원

bull OS종류별 단말 기종 별 9대의단말에서 동시테스트 완료

bull 하나의 PC에서 최대 9대까지수행 확인

평균응답시간 클릭후 장면간 이동완료 시간

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 10 장면 검출 기능

정상 장면 대비 오류 장면에 대한 자동 검출 및 확인 기능

오류는 아니나 정상장면과 상이한 장면도 쉽게 확인 가능

예외 장면 중 공지 이벤트 등은 확인 후 테스트 진행 오류 장면은 자동 분류 (예외 장면 패턴 사전 등록)

결함 발생 리스트 및

정상 대비 오류화면

비교 결과 제공

결함 발생 당시 시간

오류 내역 메모리

CPU 사용량 등 오류

확인 기초 정보 제공

결함 발생시 해당 내

역을 e-mail 로 실시

간 전송 제공

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 11 리포트 amp 실시간 모니터링

테스트 결과 로그를 빅 데이타 형태로 DB에 저장 및 분석을 통해 다양한 결과 리포트를 웹

Dashboard에 제공하고 앱 서비스의 상태를 실시간으로 모니터링 할 수 있도록 제공

테스트 결과 리포트 다양한 형태의 차트 및 서비스 실시간 모니터링

- 시나리오 별 장면이벤트 별 성공률 응답시간 메모리CPU 사용률 등 회차 별 비교 분석 제공(반복실행에 따른 메모리 Leak 등 오류 확인)

- 웹 방식으로 제공되기 때문에 언제 어디서나 쉽게 테스트 결과 확인 및 모니터링 가능

I 은행

스크립트 작성 없이 간편하게 GUI형태의 테스트시나리오 생성

모든 시나리오를 실제 장면으로 제공하여 일반 사용자도 쉽게 테스트 가능

일부 시나리오 녹화 방식이 아닌 전체 서비스 시나리오 생성 후 테스트 시나리오 선택 실행

앱 업데이트 시 간단한 시나리오 편집만으로 즉시 테스트 가능

앱 업데이트 시 마다 스크립트 작성 불 필요 (장면 교체 등을 통한 쉬운 업데이트)

공인인증서 등 자주 사용하는 시나리오를 공통 모듈화하여 시나리오 생성시간 최소화

실시간 모니터링 및 Health Check

결과 로그 빅 데이타 DB 저장분석으로 실시간 리포트 확인

서비스 상황 실시간 체크 가능(구간별)

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 12 ATAM 특징 요약

1

3

4

해상도OS별 다수 단말 동시테스트 및 어디서나 원격 테스트 가능

하나의 시나리오로 해상도와 OS가 다른 다수의 단말을 동시 반복테스트

하나의 시나리오로 여러 단말 동시테스트

2

Web 방식으로 단말의 위치와 관계없이 테스트 가능

원격지의 단말도 테스트 가능

테스터의 테스트 상황을 관리자가 원격에서도 실시간 모니터링 가능

5

Ⅲ Competitive Advantage 1 기능 비교

ATAM은 경쟁솔루션 대비 전체 서비스블루프린트(구성도) 제공 스크립트 개발

자 불필요 최단시간 시나리오 자동 생성 등 차별화 서비스 제공으로 최고 수준

의 경쟁력 확보

구 분 ATAM G사(국내) H사(미국) S사(미국) 비고

전체 서비스구성도 제공(장면 기반 전개도)

X X X 뱅킹앱의 경우 약 700장면

테스트시나리오 생성시간(500장면 기준)

1일 1개월 15개월 1개월

장면당 평균 생성시간 (추정)- 스크립트 작성 및 디버깅 완료- 복수단말 테스트 가능상태 기준(1인 작성시간 기준)

테스트방식장면 크롤링

(시나리오 선택 실행)Record amp Play(스크립트 편집)

Record amp Play(스크립트 편집)

Record amp Play(스크립트 편집)

실시간 모니터링 X X ATAM 다양한 차트 그래프 제공

스크립트 개발자 불필요 필요 필요 필요 경쟁사는 스크립트 개발역량에 좌우

사용 방식 웹 방식 CS 방식(Client 설치) CS 방식(Client 설치) CS 방식(Client 설치) ATAM 원격테스트 가능

사용자수 제한 없음(웹접속) PC Client 설치 수 PC Client 설치 수 PC Client 설치 수

앱 업데이트 적용 방식 장면 교체(장면당 30초) 스크립트 수정 스크립트 수정 스크립트 수정 ATAM유지보수 용이

보안 키패드 반복 테스트 자동 추가 개발 필요 추가 개발 필요 추가 개발 필요 키패드 위치 변경시 테스트 자동화

시나리오 버전 별 비교 X X X 경쟁솔루션 구성도 비교 가능

ATAM 사용시 기대효과는 단순한 비용 절감보다는 품질을 향상시켜 고품질의 앱을 유지

할 수 있으며 처리시간 메모리 사용량 등 의 성능개선 Point를 제시 합니다

테스트 비용 및 시간 절감1 신뢰성 있는 고품질 앱 유지2

수작업 대비 비용은 약 67 시간 08 소요(단말 10대 시나리오 20개 20회 반복테스트 기준)

유지보수 비용 절감3

시나리오이벤트 별 오류 응답시간 메모리 사용량 등OS별 단말 별 다양한 테스트로 높은 품질의 시험결과제공

앱 업데이트 시마다 스크립트 수정 없이 재 테스트 가능

개발자의 스크립트 개발 및 수정 관리 불필요

쉽고 정확한 테스트4

프로그램을 모르는 사용자도 쉽게 테스트 진행 가능

Human error가 없어 정확한 테스트 가능

Ⅳ 기대 효과

Full Test Coverage5

앱 테스트가 가능한 시나리오를 전체의 블루 프린트로

확인하여 누락된 시나리오 등 확인 가능

앱 변경 시 임팩트가 있는 시나리오를 전체 테스트 가능

성능 개선 Point 제시6

모니터링을 통해 CPUMemoryResponse Time 의 적정성

여부 및 개선 point 파악 가능

새로운 App 개발로 인해 기존의 App 대비 성능 향상 비교

기 사용중인 App의 테스트 가능한 시나리오와 신규 개발된 App의 시나리오를 테스트한 결과를CPUResponse TimeMemory 사용률 등을 비교 분석하여 개선점 도출 및 보완에 활용

bull 기존 앱 의 성능문제로 고객불만 발생하여 신규 클라이언트 앱 개발bull 신규 앱 을 테스트 수행하였으나 신뢰할만한 데이터의 부재

bull 1차 테스트시 응답시간 30 이상 개선되었으나 메모리 사용량 증가 확인

bull ATAM의 메모리 상세분석에서 이미지 가속기 사용확인

bull 고 사양의 폰은 큰 문제가 되지 않으나 저사양 폰에서 다운되는 현상 확인

bull ATAM의 결과 자료를 바탕으로 프로그램 개선 후 오픈(lsquo1512월 현재)

POC를 통해ATAM 선정

ATAM으로테스트 및 분석

[별첨1] ATAM 적용사례1_K은행

예금신탁계좌조회

안드로이드

응답시간 메모리사용량 nativeHeap dalvikHeap 기타 cpu_use

AS-IS TO-BE 비율 AS-IS TO-BE 비율 AS-IS TO-BE 비율 AS-IS TO-BE 비율 AS-IS TO-BE 비율 AS-IS TO-BE 비율

Galaxy 6

최소 579 217 37 252039 406504 161 42635 20169 47 66881 78620 118 142523 307715 216 14 18 129

최대 674 492 73 261462 417621 160 42887 20589 48 70636 84433 120 147939 312599 211 20 22 110

평균 635 350 55 254623 412127 162 42756 20371 48 68562 80622 118 143304 311133 217 17 20 118

Galaxy 3

최소 558 238 43 109629 86029 78 - - 21 37 176

최대 3020 331 11 118228 90526 77 - - 39 40 103

평균 1111 288 26 114439 88591 77 - - 34 388 114

베가노트

최소 471 241 51 121530 98593 81 52 56 108

최대 1049 274 26 127300 112120 88 60 61 102

평균 560 250 45 123596 103539 84 562 587 104

G flex2

최소 463 227 49 169669 257117 152 63000 36560 58 51830 57387 111 54839 163170 298 17 17 100

최대 950 275 29 177872 266769 150 65248 37388 57 54691 59346 109 57933 170035 294 26 27 104

평균 589 259 44 174249 263124 151 64015 37111 58 52914 58494 111 57320 167520 292 235 221 94

bull As-Is 대비 To-Be 앱의 응답시간은 빨라졌으나 메모리 사용량은 증가- 개발팀은 메모리사용량이 최소 20~30 개선된 것으로 알고 있었으나 ATAM 테스트결과 이슈 발생- 개발관련 메모리 사용량은 감소하였으나 신규로 적용한 이미지가속기 사용시 기타영역 메모리 사용량 급증- 고사양 단말에서는 이슈가 없으나 갤럭시S2 등 저사양폰에서는 앱이 죽는 현상 발생- 저사양폰의 총메모리 사용량에는 기타영역(이미지 등)은 미포함되어 있음

전체 메모리 사용량은 증가개발 관련 메모리사용은 감소

이미지가속기 관련 기타메모리영역 사용량 급증

[별첨1] ATAM 적용사례1_K은행

6개 단말기에서 18개 신용카드로 3개의 혜택 종류별 테스터 엔지니어가 수작업으로

3회씩 반복테스트를 한다면 324개 시나리오를 테스트 엔지니어 3명이 7일 소요

6 times 18= 108개 시나리오

108 times 3= 324 개 시나리오

324 times 10분(테스트소요시간)=

3240분 (약54시간)

54 8시간 times 3회= 7 일 times 3명

현재 수작업으로 5명이 64개의 시

나리오만 테스트 중

18 times 3= 54 개 시나리오

54 times 10분(테스트소요시간)=

540분 (9시간)

9 24시간 times 3회 = 12 일 (6

대 동시 실행)

현재 테스트아웃소싱을 통해 수작업 테스트 진행중이나 불필요한 반복테스트 수작업테스트커버리지부족 주요 서비스에 대한 실시간 모니터링 및 결함 자동 알람 필요성 등으로 자동테스트 솔루션 검토

솔루션 4개사 검토후ATAM 선정

[별첨2] ATAM 적용사례2_L홈쇼핑

[별첨3] 시연 환경 및 시나리오

ATAM 서버(PC1)

bull Windows OSbull 웹서버(NodeExpress)bull DB서버(Maria)bull ATAM Controllerbull 시나리오 생성bull 테스트 실행bull 결과 확인

결과 모니터

앱 실행 환경(무선)bull LTEbull 블루투스 테더링bull WiFi

아이폰 테스트 PC(Mac)

USB

테스트 단말(Test Lab)

클라이언트 PC2

bull Windows OSbull ATAM Controllerbull 시나리오 생성bull 테스트 실행bull 결과 확인

USB

bull Mac OSbull ATAM Controllerbull 시나리오 생성bull 테스트 실행bull 결과 확인

기종 제조사 OS 해상도

1 갤노트4 삼성 512 1440x2560

2 갤럭시S3 삼성 444 720x1280

3 G3 LG 444 1080x1920

∙∙∙

[단말 사양]

[별첨3] 시연 환경 및 시나리오

테스트 시나리오(LPOINT)

G3 S3노트4

테스트 단말 선택- 시나리오별 단말 선택 (1~3대)- 다양한 해상도(저중고 해상도)

자동테스트 실행 및 결과 확인

- 시나리오별 상세조회 장면별 응답시간 메모리CPU 사용률 등

- 오류장면 검출 확인 정상 장면 대비 예외 장면 오류 장면 등

- 모니터링 결과 결함 발생시 담당자 e-mail 전송

ATAM 서버(PC1)

테스트 결과 확인모니터링

No 시나리오 인증 방식 테스트단말 비고

1 혜택쿠폰로그인하이마트쿠폰다운로드쿠폰자세히보기 IDPW 갤노트4

2 LTEM롯데호텔뷔페이용권이용권선택상품상세정보 없음 갤 노트4 S3 G3

3 LPOINT카드카드안내카드신청휴대폰인증 없음 갤 노트4 S3 G3 동시단말 테스트

4 MY LBOX로그인MY포인트포인트이용내역조회(90일) IDPW 갤 노트4 동시단말 테스트

34

주식회사인터링크시스템

상담 및 문의처

TEL 02-538-5940 FAX 02-538-5928

상무 우철환 010-8487-9727 wch2137interlinkcokr

차장 양 훈 010-2841-1319 hoonyinterlinkcokr

Page 23: 모바일 앱(App) 개발 테스트 솔루션 - 인터링크시스템

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 9 테스트 시나리오 재 사용

시나리오 중 공통으로 활용 가능한 장면 및 장면 셋을 모듈로 저장하여 시나리오 재 사용 가능

솔루션 기능사항 설명

ATAM-A One scenario Multi device 단말기 OS 등 변경에 따른 시나리오 재사용

No

단말기종수행속도(분초)

평균응답시간(초)

1LG G3 cat6

227 147

2 LG Gflex2 155 121

3 LG G2 205 191

4 갤 노트4 208 235

5갤 S6 edge

219 243

6 갤 노트3 207 125

7 갤 S5 214 176

8 베가노트 218 258

9 갤 S3 220 191

평균 속도 212 187

bull 하나의 시나리오로Multi device 테스트 지원

bull OS종류별 단말 기종 별 9대의단말에서 동시테스트 완료

bull 하나의 PC에서 최대 9대까지수행 확인

평균응답시간 클릭후 장면간 이동완료 시간

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 10 장면 검출 기능

정상 장면 대비 오류 장면에 대한 자동 검출 및 확인 기능

오류는 아니나 정상장면과 상이한 장면도 쉽게 확인 가능

예외 장면 중 공지 이벤트 등은 확인 후 테스트 진행 오류 장면은 자동 분류 (예외 장면 패턴 사전 등록)

결함 발생 리스트 및

정상 대비 오류화면

비교 결과 제공

결함 발생 당시 시간

오류 내역 메모리

CPU 사용량 등 오류

확인 기초 정보 제공

결함 발생시 해당 내

역을 e-mail 로 실시

간 전송 제공

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 11 리포트 amp 실시간 모니터링

테스트 결과 로그를 빅 데이타 형태로 DB에 저장 및 분석을 통해 다양한 결과 리포트를 웹

Dashboard에 제공하고 앱 서비스의 상태를 실시간으로 모니터링 할 수 있도록 제공

테스트 결과 리포트 다양한 형태의 차트 및 서비스 실시간 모니터링

- 시나리오 별 장면이벤트 별 성공률 응답시간 메모리CPU 사용률 등 회차 별 비교 분석 제공(반복실행에 따른 메모리 Leak 등 오류 확인)

- 웹 방식으로 제공되기 때문에 언제 어디서나 쉽게 테스트 결과 확인 및 모니터링 가능

I 은행

스크립트 작성 없이 간편하게 GUI형태의 테스트시나리오 생성

모든 시나리오를 실제 장면으로 제공하여 일반 사용자도 쉽게 테스트 가능

일부 시나리오 녹화 방식이 아닌 전체 서비스 시나리오 생성 후 테스트 시나리오 선택 실행

앱 업데이트 시 간단한 시나리오 편집만으로 즉시 테스트 가능

앱 업데이트 시 마다 스크립트 작성 불 필요 (장면 교체 등을 통한 쉬운 업데이트)

공인인증서 등 자주 사용하는 시나리오를 공통 모듈화하여 시나리오 생성시간 최소화

실시간 모니터링 및 Health Check

결과 로그 빅 데이타 DB 저장분석으로 실시간 리포트 확인

서비스 상황 실시간 체크 가능(구간별)

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 12 ATAM 특징 요약

1

3

4

해상도OS별 다수 단말 동시테스트 및 어디서나 원격 테스트 가능

하나의 시나리오로 해상도와 OS가 다른 다수의 단말을 동시 반복테스트

하나의 시나리오로 여러 단말 동시테스트

2

Web 방식으로 단말의 위치와 관계없이 테스트 가능

원격지의 단말도 테스트 가능

테스터의 테스트 상황을 관리자가 원격에서도 실시간 모니터링 가능

5

Ⅲ Competitive Advantage 1 기능 비교

ATAM은 경쟁솔루션 대비 전체 서비스블루프린트(구성도) 제공 스크립트 개발

자 불필요 최단시간 시나리오 자동 생성 등 차별화 서비스 제공으로 최고 수준

의 경쟁력 확보

구 분 ATAM G사(국내) H사(미국) S사(미국) 비고

전체 서비스구성도 제공(장면 기반 전개도)

X X X 뱅킹앱의 경우 약 700장면

테스트시나리오 생성시간(500장면 기준)

1일 1개월 15개월 1개월

장면당 평균 생성시간 (추정)- 스크립트 작성 및 디버깅 완료- 복수단말 테스트 가능상태 기준(1인 작성시간 기준)

테스트방식장면 크롤링

(시나리오 선택 실행)Record amp Play(스크립트 편집)

Record amp Play(스크립트 편집)

Record amp Play(스크립트 편집)

실시간 모니터링 X X ATAM 다양한 차트 그래프 제공

스크립트 개발자 불필요 필요 필요 필요 경쟁사는 스크립트 개발역량에 좌우

사용 방식 웹 방식 CS 방식(Client 설치) CS 방식(Client 설치) CS 방식(Client 설치) ATAM 원격테스트 가능

사용자수 제한 없음(웹접속) PC Client 설치 수 PC Client 설치 수 PC Client 설치 수

앱 업데이트 적용 방식 장면 교체(장면당 30초) 스크립트 수정 스크립트 수정 스크립트 수정 ATAM유지보수 용이

보안 키패드 반복 테스트 자동 추가 개발 필요 추가 개발 필요 추가 개발 필요 키패드 위치 변경시 테스트 자동화

시나리오 버전 별 비교 X X X 경쟁솔루션 구성도 비교 가능

ATAM 사용시 기대효과는 단순한 비용 절감보다는 품질을 향상시켜 고품질의 앱을 유지

할 수 있으며 처리시간 메모리 사용량 등 의 성능개선 Point를 제시 합니다

테스트 비용 및 시간 절감1 신뢰성 있는 고품질 앱 유지2

수작업 대비 비용은 약 67 시간 08 소요(단말 10대 시나리오 20개 20회 반복테스트 기준)

유지보수 비용 절감3

시나리오이벤트 별 오류 응답시간 메모리 사용량 등OS별 단말 별 다양한 테스트로 높은 품질의 시험결과제공

앱 업데이트 시마다 스크립트 수정 없이 재 테스트 가능

개발자의 스크립트 개발 및 수정 관리 불필요

쉽고 정확한 테스트4

프로그램을 모르는 사용자도 쉽게 테스트 진행 가능

Human error가 없어 정확한 테스트 가능

Ⅳ 기대 효과

Full Test Coverage5

앱 테스트가 가능한 시나리오를 전체의 블루 프린트로

확인하여 누락된 시나리오 등 확인 가능

앱 변경 시 임팩트가 있는 시나리오를 전체 테스트 가능

성능 개선 Point 제시6

모니터링을 통해 CPUMemoryResponse Time 의 적정성

여부 및 개선 point 파악 가능

새로운 App 개발로 인해 기존의 App 대비 성능 향상 비교

기 사용중인 App의 테스트 가능한 시나리오와 신규 개발된 App의 시나리오를 테스트한 결과를CPUResponse TimeMemory 사용률 등을 비교 분석하여 개선점 도출 및 보완에 활용

bull 기존 앱 의 성능문제로 고객불만 발생하여 신규 클라이언트 앱 개발bull 신규 앱 을 테스트 수행하였으나 신뢰할만한 데이터의 부재

bull 1차 테스트시 응답시간 30 이상 개선되었으나 메모리 사용량 증가 확인

bull ATAM의 메모리 상세분석에서 이미지 가속기 사용확인

bull 고 사양의 폰은 큰 문제가 되지 않으나 저사양 폰에서 다운되는 현상 확인

bull ATAM의 결과 자료를 바탕으로 프로그램 개선 후 오픈(lsquo1512월 현재)

POC를 통해ATAM 선정

ATAM으로테스트 및 분석

[별첨1] ATAM 적용사례1_K은행

예금신탁계좌조회

안드로이드

응답시간 메모리사용량 nativeHeap dalvikHeap 기타 cpu_use

AS-IS TO-BE 비율 AS-IS TO-BE 비율 AS-IS TO-BE 비율 AS-IS TO-BE 비율 AS-IS TO-BE 비율 AS-IS TO-BE 비율

Galaxy 6

최소 579 217 37 252039 406504 161 42635 20169 47 66881 78620 118 142523 307715 216 14 18 129

최대 674 492 73 261462 417621 160 42887 20589 48 70636 84433 120 147939 312599 211 20 22 110

평균 635 350 55 254623 412127 162 42756 20371 48 68562 80622 118 143304 311133 217 17 20 118

Galaxy 3

최소 558 238 43 109629 86029 78 - - 21 37 176

최대 3020 331 11 118228 90526 77 - - 39 40 103

평균 1111 288 26 114439 88591 77 - - 34 388 114

베가노트

최소 471 241 51 121530 98593 81 52 56 108

최대 1049 274 26 127300 112120 88 60 61 102

평균 560 250 45 123596 103539 84 562 587 104

G flex2

최소 463 227 49 169669 257117 152 63000 36560 58 51830 57387 111 54839 163170 298 17 17 100

최대 950 275 29 177872 266769 150 65248 37388 57 54691 59346 109 57933 170035 294 26 27 104

평균 589 259 44 174249 263124 151 64015 37111 58 52914 58494 111 57320 167520 292 235 221 94

bull As-Is 대비 To-Be 앱의 응답시간은 빨라졌으나 메모리 사용량은 증가- 개발팀은 메모리사용량이 최소 20~30 개선된 것으로 알고 있었으나 ATAM 테스트결과 이슈 발생- 개발관련 메모리 사용량은 감소하였으나 신규로 적용한 이미지가속기 사용시 기타영역 메모리 사용량 급증- 고사양 단말에서는 이슈가 없으나 갤럭시S2 등 저사양폰에서는 앱이 죽는 현상 발생- 저사양폰의 총메모리 사용량에는 기타영역(이미지 등)은 미포함되어 있음

전체 메모리 사용량은 증가개발 관련 메모리사용은 감소

이미지가속기 관련 기타메모리영역 사용량 급증

[별첨1] ATAM 적용사례1_K은행

6개 단말기에서 18개 신용카드로 3개의 혜택 종류별 테스터 엔지니어가 수작업으로

3회씩 반복테스트를 한다면 324개 시나리오를 테스트 엔지니어 3명이 7일 소요

6 times 18= 108개 시나리오

108 times 3= 324 개 시나리오

324 times 10분(테스트소요시간)=

3240분 (약54시간)

54 8시간 times 3회= 7 일 times 3명

현재 수작업으로 5명이 64개의 시

나리오만 테스트 중

18 times 3= 54 개 시나리오

54 times 10분(테스트소요시간)=

540분 (9시간)

9 24시간 times 3회 = 12 일 (6

대 동시 실행)

현재 테스트아웃소싱을 통해 수작업 테스트 진행중이나 불필요한 반복테스트 수작업테스트커버리지부족 주요 서비스에 대한 실시간 모니터링 및 결함 자동 알람 필요성 등으로 자동테스트 솔루션 검토

솔루션 4개사 검토후ATAM 선정

[별첨2] ATAM 적용사례2_L홈쇼핑

[별첨3] 시연 환경 및 시나리오

ATAM 서버(PC1)

bull Windows OSbull 웹서버(NodeExpress)bull DB서버(Maria)bull ATAM Controllerbull 시나리오 생성bull 테스트 실행bull 결과 확인

결과 모니터

앱 실행 환경(무선)bull LTEbull 블루투스 테더링bull WiFi

아이폰 테스트 PC(Mac)

USB

테스트 단말(Test Lab)

클라이언트 PC2

bull Windows OSbull ATAM Controllerbull 시나리오 생성bull 테스트 실행bull 결과 확인

USB

bull Mac OSbull ATAM Controllerbull 시나리오 생성bull 테스트 실행bull 결과 확인

기종 제조사 OS 해상도

1 갤노트4 삼성 512 1440x2560

2 갤럭시S3 삼성 444 720x1280

3 G3 LG 444 1080x1920

∙∙∙

[단말 사양]

[별첨3] 시연 환경 및 시나리오

테스트 시나리오(LPOINT)

G3 S3노트4

테스트 단말 선택- 시나리오별 단말 선택 (1~3대)- 다양한 해상도(저중고 해상도)

자동테스트 실행 및 결과 확인

- 시나리오별 상세조회 장면별 응답시간 메모리CPU 사용률 등

- 오류장면 검출 확인 정상 장면 대비 예외 장면 오류 장면 등

- 모니터링 결과 결함 발생시 담당자 e-mail 전송

ATAM 서버(PC1)

테스트 결과 확인모니터링

No 시나리오 인증 방식 테스트단말 비고

1 혜택쿠폰로그인하이마트쿠폰다운로드쿠폰자세히보기 IDPW 갤노트4

2 LTEM롯데호텔뷔페이용권이용권선택상품상세정보 없음 갤 노트4 S3 G3

3 LPOINT카드카드안내카드신청휴대폰인증 없음 갤 노트4 S3 G3 동시단말 테스트

4 MY LBOX로그인MY포인트포인트이용내역조회(90일) IDPW 갤 노트4 동시단말 테스트

34

주식회사인터링크시스템

상담 및 문의처

TEL 02-538-5940 FAX 02-538-5928

상무 우철환 010-8487-9727 wch2137interlinkcokr

차장 양 훈 010-2841-1319 hoonyinterlinkcokr

Page 24: 모바일 앱(App) 개발 테스트 솔루션 - 인터링크시스템

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 10 장면 검출 기능

정상 장면 대비 오류 장면에 대한 자동 검출 및 확인 기능

오류는 아니나 정상장면과 상이한 장면도 쉽게 확인 가능

예외 장면 중 공지 이벤트 등은 확인 후 테스트 진행 오류 장면은 자동 분류 (예외 장면 패턴 사전 등록)

결함 발생 리스트 및

정상 대비 오류화면

비교 결과 제공

결함 발생 당시 시간

오류 내역 메모리

CPU 사용량 등 오류

확인 기초 정보 제공

결함 발생시 해당 내

역을 e-mail 로 실시

간 전송 제공

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 11 리포트 amp 실시간 모니터링

테스트 결과 로그를 빅 데이타 형태로 DB에 저장 및 분석을 통해 다양한 결과 리포트를 웹

Dashboard에 제공하고 앱 서비스의 상태를 실시간으로 모니터링 할 수 있도록 제공

테스트 결과 리포트 다양한 형태의 차트 및 서비스 실시간 모니터링

- 시나리오 별 장면이벤트 별 성공률 응답시간 메모리CPU 사용률 등 회차 별 비교 분석 제공(반복실행에 따른 메모리 Leak 등 오류 확인)

- 웹 방식으로 제공되기 때문에 언제 어디서나 쉽게 테스트 결과 확인 및 모니터링 가능

I 은행

스크립트 작성 없이 간편하게 GUI형태의 테스트시나리오 생성

모든 시나리오를 실제 장면으로 제공하여 일반 사용자도 쉽게 테스트 가능

일부 시나리오 녹화 방식이 아닌 전체 서비스 시나리오 생성 후 테스트 시나리오 선택 실행

앱 업데이트 시 간단한 시나리오 편집만으로 즉시 테스트 가능

앱 업데이트 시 마다 스크립트 작성 불 필요 (장면 교체 등을 통한 쉬운 업데이트)

공인인증서 등 자주 사용하는 시나리오를 공통 모듈화하여 시나리오 생성시간 최소화

실시간 모니터링 및 Health Check

결과 로그 빅 데이타 DB 저장분석으로 실시간 리포트 확인

서비스 상황 실시간 체크 가능(구간별)

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 12 ATAM 특징 요약

1

3

4

해상도OS별 다수 단말 동시테스트 및 어디서나 원격 테스트 가능

하나의 시나리오로 해상도와 OS가 다른 다수의 단말을 동시 반복테스트

하나의 시나리오로 여러 단말 동시테스트

2

Web 방식으로 단말의 위치와 관계없이 테스트 가능

원격지의 단말도 테스트 가능

테스터의 테스트 상황을 관리자가 원격에서도 실시간 모니터링 가능

5

Ⅲ Competitive Advantage 1 기능 비교

ATAM은 경쟁솔루션 대비 전체 서비스블루프린트(구성도) 제공 스크립트 개발

자 불필요 최단시간 시나리오 자동 생성 등 차별화 서비스 제공으로 최고 수준

의 경쟁력 확보

구 분 ATAM G사(국내) H사(미국) S사(미국) 비고

전체 서비스구성도 제공(장면 기반 전개도)

X X X 뱅킹앱의 경우 약 700장면

테스트시나리오 생성시간(500장면 기준)

1일 1개월 15개월 1개월

장면당 평균 생성시간 (추정)- 스크립트 작성 및 디버깅 완료- 복수단말 테스트 가능상태 기준(1인 작성시간 기준)

테스트방식장면 크롤링

(시나리오 선택 실행)Record amp Play(스크립트 편집)

Record amp Play(스크립트 편집)

Record amp Play(스크립트 편집)

실시간 모니터링 X X ATAM 다양한 차트 그래프 제공

스크립트 개발자 불필요 필요 필요 필요 경쟁사는 스크립트 개발역량에 좌우

사용 방식 웹 방식 CS 방식(Client 설치) CS 방식(Client 설치) CS 방식(Client 설치) ATAM 원격테스트 가능

사용자수 제한 없음(웹접속) PC Client 설치 수 PC Client 설치 수 PC Client 설치 수

앱 업데이트 적용 방식 장면 교체(장면당 30초) 스크립트 수정 스크립트 수정 스크립트 수정 ATAM유지보수 용이

보안 키패드 반복 테스트 자동 추가 개발 필요 추가 개발 필요 추가 개발 필요 키패드 위치 변경시 테스트 자동화

시나리오 버전 별 비교 X X X 경쟁솔루션 구성도 비교 가능

ATAM 사용시 기대효과는 단순한 비용 절감보다는 품질을 향상시켜 고품질의 앱을 유지

할 수 있으며 처리시간 메모리 사용량 등 의 성능개선 Point를 제시 합니다

테스트 비용 및 시간 절감1 신뢰성 있는 고품질 앱 유지2

수작업 대비 비용은 약 67 시간 08 소요(단말 10대 시나리오 20개 20회 반복테스트 기준)

유지보수 비용 절감3

시나리오이벤트 별 오류 응답시간 메모리 사용량 등OS별 단말 별 다양한 테스트로 높은 품질의 시험결과제공

앱 업데이트 시마다 스크립트 수정 없이 재 테스트 가능

개발자의 스크립트 개발 및 수정 관리 불필요

쉽고 정확한 테스트4

프로그램을 모르는 사용자도 쉽게 테스트 진행 가능

Human error가 없어 정확한 테스트 가능

Ⅳ 기대 효과

Full Test Coverage5

앱 테스트가 가능한 시나리오를 전체의 블루 프린트로

확인하여 누락된 시나리오 등 확인 가능

앱 변경 시 임팩트가 있는 시나리오를 전체 테스트 가능

성능 개선 Point 제시6

모니터링을 통해 CPUMemoryResponse Time 의 적정성

여부 및 개선 point 파악 가능

새로운 App 개발로 인해 기존의 App 대비 성능 향상 비교

기 사용중인 App의 테스트 가능한 시나리오와 신규 개발된 App의 시나리오를 테스트한 결과를CPUResponse TimeMemory 사용률 등을 비교 분석하여 개선점 도출 및 보완에 활용

bull 기존 앱 의 성능문제로 고객불만 발생하여 신규 클라이언트 앱 개발bull 신규 앱 을 테스트 수행하였으나 신뢰할만한 데이터의 부재

bull 1차 테스트시 응답시간 30 이상 개선되었으나 메모리 사용량 증가 확인

bull ATAM의 메모리 상세분석에서 이미지 가속기 사용확인

bull 고 사양의 폰은 큰 문제가 되지 않으나 저사양 폰에서 다운되는 현상 확인

bull ATAM의 결과 자료를 바탕으로 프로그램 개선 후 오픈(lsquo1512월 현재)

POC를 통해ATAM 선정

ATAM으로테스트 및 분석

[별첨1] ATAM 적용사례1_K은행

예금신탁계좌조회

안드로이드

응답시간 메모리사용량 nativeHeap dalvikHeap 기타 cpu_use

AS-IS TO-BE 비율 AS-IS TO-BE 비율 AS-IS TO-BE 비율 AS-IS TO-BE 비율 AS-IS TO-BE 비율 AS-IS TO-BE 비율

Galaxy 6

최소 579 217 37 252039 406504 161 42635 20169 47 66881 78620 118 142523 307715 216 14 18 129

최대 674 492 73 261462 417621 160 42887 20589 48 70636 84433 120 147939 312599 211 20 22 110

평균 635 350 55 254623 412127 162 42756 20371 48 68562 80622 118 143304 311133 217 17 20 118

Galaxy 3

최소 558 238 43 109629 86029 78 - - 21 37 176

최대 3020 331 11 118228 90526 77 - - 39 40 103

평균 1111 288 26 114439 88591 77 - - 34 388 114

베가노트

최소 471 241 51 121530 98593 81 52 56 108

최대 1049 274 26 127300 112120 88 60 61 102

평균 560 250 45 123596 103539 84 562 587 104

G flex2

최소 463 227 49 169669 257117 152 63000 36560 58 51830 57387 111 54839 163170 298 17 17 100

최대 950 275 29 177872 266769 150 65248 37388 57 54691 59346 109 57933 170035 294 26 27 104

평균 589 259 44 174249 263124 151 64015 37111 58 52914 58494 111 57320 167520 292 235 221 94

bull As-Is 대비 To-Be 앱의 응답시간은 빨라졌으나 메모리 사용량은 증가- 개발팀은 메모리사용량이 최소 20~30 개선된 것으로 알고 있었으나 ATAM 테스트결과 이슈 발생- 개발관련 메모리 사용량은 감소하였으나 신규로 적용한 이미지가속기 사용시 기타영역 메모리 사용량 급증- 고사양 단말에서는 이슈가 없으나 갤럭시S2 등 저사양폰에서는 앱이 죽는 현상 발생- 저사양폰의 총메모리 사용량에는 기타영역(이미지 등)은 미포함되어 있음

전체 메모리 사용량은 증가개발 관련 메모리사용은 감소

이미지가속기 관련 기타메모리영역 사용량 급증

[별첨1] ATAM 적용사례1_K은행

6개 단말기에서 18개 신용카드로 3개의 혜택 종류별 테스터 엔지니어가 수작업으로

3회씩 반복테스트를 한다면 324개 시나리오를 테스트 엔지니어 3명이 7일 소요

6 times 18= 108개 시나리오

108 times 3= 324 개 시나리오

324 times 10분(테스트소요시간)=

3240분 (약54시간)

54 8시간 times 3회= 7 일 times 3명

현재 수작업으로 5명이 64개의 시

나리오만 테스트 중

18 times 3= 54 개 시나리오

54 times 10분(테스트소요시간)=

540분 (9시간)

9 24시간 times 3회 = 12 일 (6

대 동시 실행)

현재 테스트아웃소싱을 통해 수작업 테스트 진행중이나 불필요한 반복테스트 수작업테스트커버리지부족 주요 서비스에 대한 실시간 모니터링 및 결함 자동 알람 필요성 등으로 자동테스트 솔루션 검토

솔루션 4개사 검토후ATAM 선정

[별첨2] ATAM 적용사례2_L홈쇼핑

[별첨3] 시연 환경 및 시나리오

ATAM 서버(PC1)

bull Windows OSbull 웹서버(NodeExpress)bull DB서버(Maria)bull ATAM Controllerbull 시나리오 생성bull 테스트 실행bull 결과 확인

결과 모니터

앱 실행 환경(무선)bull LTEbull 블루투스 테더링bull WiFi

아이폰 테스트 PC(Mac)

USB

테스트 단말(Test Lab)

클라이언트 PC2

bull Windows OSbull ATAM Controllerbull 시나리오 생성bull 테스트 실행bull 결과 확인

USB

bull Mac OSbull ATAM Controllerbull 시나리오 생성bull 테스트 실행bull 결과 확인

기종 제조사 OS 해상도

1 갤노트4 삼성 512 1440x2560

2 갤럭시S3 삼성 444 720x1280

3 G3 LG 444 1080x1920

∙∙∙

[단말 사양]

[별첨3] 시연 환경 및 시나리오

테스트 시나리오(LPOINT)

G3 S3노트4

테스트 단말 선택- 시나리오별 단말 선택 (1~3대)- 다양한 해상도(저중고 해상도)

자동테스트 실행 및 결과 확인

- 시나리오별 상세조회 장면별 응답시간 메모리CPU 사용률 등

- 오류장면 검출 확인 정상 장면 대비 예외 장면 오류 장면 등

- 모니터링 결과 결함 발생시 담당자 e-mail 전송

ATAM 서버(PC1)

테스트 결과 확인모니터링

No 시나리오 인증 방식 테스트단말 비고

1 혜택쿠폰로그인하이마트쿠폰다운로드쿠폰자세히보기 IDPW 갤노트4

2 LTEM롯데호텔뷔페이용권이용권선택상품상세정보 없음 갤 노트4 S3 G3

3 LPOINT카드카드안내카드신청휴대폰인증 없음 갤 노트4 S3 G3 동시단말 테스트

4 MY LBOX로그인MY포인트포인트이용내역조회(90일) IDPW 갤 노트4 동시단말 테스트

34

주식회사인터링크시스템

상담 및 문의처

TEL 02-538-5940 FAX 02-538-5928

상무 우철환 010-8487-9727 wch2137interlinkcokr

차장 양 훈 010-2841-1319 hoonyinterlinkcokr

Page 25: 모바일 앱(App) 개발 테스트 솔루션 - 인터링크시스템

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 11 리포트 amp 실시간 모니터링

테스트 결과 로그를 빅 데이타 형태로 DB에 저장 및 분석을 통해 다양한 결과 리포트를 웹

Dashboard에 제공하고 앱 서비스의 상태를 실시간으로 모니터링 할 수 있도록 제공

테스트 결과 리포트 다양한 형태의 차트 및 서비스 실시간 모니터링

- 시나리오 별 장면이벤트 별 성공률 응답시간 메모리CPU 사용률 등 회차 별 비교 분석 제공(반복실행에 따른 메모리 Leak 등 오류 확인)

- 웹 방식으로 제공되기 때문에 언제 어디서나 쉽게 테스트 결과 확인 및 모니터링 가능

I 은행

스크립트 작성 없이 간편하게 GUI형태의 테스트시나리오 생성

모든 시나리오를 실제 장면으로 제공하여 일반 사용자도 쉽게 테스트 가능

일부 시나리오 녹화 방식이 아닌 전체 서비스 시나리오 생성 후 테스트 시나리오 선택 실행

앱 업데이트 시 간단한 시나리오 편집만으로 즉시 테스트 가능

앱 업데이트 시 마다 스크립트 작성 불 필요 (장면 교체 등을 통한 쉬운 업데이트)

공인인증서 등 자주 사용하는 시나리오를 공통 모듈화하여 시나리오 생성시간 최소화

실시간 모니터링 및 Health Check

결과 로그 빅 데이타 DB 저장분석으로 실시간 리포트 확인

서비스 상황 실시간 체크 가능(구간별)

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 12 ATAM 특징 요약

1

3

4

해상도OS별 다수 단말 동시테스트 및 어디서나 원격 테스트 가능

하나의 시나리오로 해상도와 OS가 다른 다수의 단말을 동시 반복테스트

하나의 시나리오로 여러 단말 동시테스트

2

Web 방식으로 단말의 위치와 관계없이 테스트 가능

원격지의 단말도 테스트 가능

테스터의 테스트 상황을 관리자가 원격에서도 실시간 모니터링 가능

5

Ⅲ Competitive Advantage 1 기능 비교

ATAM은 경쟁솔루션 대비 전체 서비스블루프린트(구성도) 제공 스크립트 개발

자 불필요 최단시간 시나리오 자동 생성 등 차별화 서비스 제공으로 최고 수준

의 경쟁력 확보

구 분 ATAM G사(국내) H사(미국) S사(미국) 비고

전체 서비스구성도 제공(장면 기반 전개도)

X X X 뱅킹앱의 경우 약 700장면

테스트시나리오 생성시간(500장면 기준)

1일 1개월 15개월 1개월

장면당 평균 생성시간 (추정)- 스크립트 작성 및 디버깅 완료- 복수단말 테스트 가능상태 기준(1인 작성시간 기준)

테스트방식장면 크롤링

(시나리오 선택 실행)Record amp Play(스크립트 편집)

Record amp Play(스크립트 편집)

Record amp Play(스크립트 편집)

실시간 모니터링 X X ATAM 다양한 차트 그래프 제공

스크립트 개발자 불필요 필요 필요 필요 경쟁사는 스크립트 개발역량에 좌우

사용 방식 웹 방식 CS 방식(Client 설치) CS 방식(Client 설치) CS 방식(Client 설치) ATAM 원격테스트 가능

사용자수 제한 없음(웹접속) PC Client 설치 수 PC Client 설치 수 PC Client 설치 수

앱 업데이트 적용 방식 장면 교체(장면당 30초) 스크립트 수정 스크립트 수정 스크립트 수정 ATAM유지보수 용이

보안 키패드 반복 테스트 자동 추가 개발 필요 추가 개발 필요 추가 개발 필요 키패드 위치 변경시 테스트 자동화

시나리오 버전 별 비교 X X X 경쟁솔루션 구성도 비교 가능

ATAM 사용시 기대효과는 단순한 비용 절감보다는 품질을 향상시켜 고품질의 앱을 유지

할 수 있으며 처리시간 메모리 사용량 등 의 성능개선 Point를 제시 합니다

테스트 비용 및 시간 절감1 신뢰성 있는 고품질 앱 유지2

수작업 대비 비용은 약 67 시간 08 소요(단말 10대 시나리오 20개 20회 반복테스트 기준)

유지보수 비용 절감3

시나리오이벤트 별 오류 응답시간 메모리 사용량 등OS별 단말 별 다양한 테스트로 높은 품질의 시험결과제공

앱 업데이트 시마다 스크립트 수정 없이 재 테스트 가능

개발자의 스크립트 개발 및 수정 관리 불필요

쉽고 정확한 테스트4

프로그램을 모르는 사용자도 쉽게 테스트 진행 가능

Human error가 없어 정확한 테스트 가능

Ⅳ 기대 효과

Full Test Coverage5

앱 테스트가 가능한 시나리오를 전체의 블루 프린트로

확인하여 누락된 시나리오 등 확인 가능

앱 변경 시 임팩트가 있는 시나리오를 전체 테스트 가능

성능 개선 Point 제시6

모니터링을 통해 CPUMemoryResponse Time 의 적정성

여부 및 개선 point 파악 가능

새로운 App 개발로 인해 기존의 App 대비 성능 향상 비교

기 사용중인 App의 테스트 가능한 시나리오와 신규 개발된 App의 시나리오를 테스트한 결과를CPUResponse TimeMemory 사용률 등을 비교 분석하여 개선점 도출 및 보완에 활용

bull 기존 앱 의 성능문제로 고객불만 발생하여 신규 클라이언트 앱 개발bull 신규 앱 을 테스트 수행하였으나 신뢰할만한 데이터의 부재

bull 1차 테스트시 응답시간 30 이상 개선되었으나 메모리 사용량 증가 확인

bull ATAM의 메모리 상세분석에서 이미지 가속기 사용확인

bull 고 사양의 폰은 큰 문제가 되지 않으나 저사양 폰에서 다운되는 현상 확인

bull ATAM의 결과 자료를 바탕으로 프로그램 개선 후 오픈(lsquo1512월 현재)

POC를 통해ATAM 선정

ATAM으로테스트 및 분석

[별첨1] ATAM 적용사례1_K은행

예금신탁계좌조회

안드로이드

응답시간 메모리사용량 nativeHeap dalvikHeap 기타 cpu_use

AS-IS TO-BE 비율 AS-IS TO-BE 비율 AS-IS TO-BE 비율 AS-IS TO-BE 비율 AS-IS TO-BE 비율 AS-IS TO-BE 비율

Galaxy 6

최소 579 217 37 252039 406504 161 42635 20169 47 66881 78620 118 142523 307715 216 14 18 129

최대 674 492 73 261462 417621 160 42887 20589 48 70636 84433 120 147939 312599 211 20 22 110

평균 635 350 55 254623 412127 162 42756 20371 48 68562 80622 118 143304 311133 217 17 20 118

Galaxy 3

최소 558 238 43 109629 86029 78 - - 21 37 176

최대 3020 331 11 118228 90526 77 - - 39 40 103

평균 1111 288 26 114439 88591 77 - - 34 388 114

베가노트

최소 471 241 51 121530 98593 81 52 56 108

최대 1049 274 26 127300 112120 88 60 61 102

평균 560 250 45 123596 103539 84 562 587 104

G flex2

최소 463 227 49 169669 257117 152 63000 36560 58 51830 57387 111 54839 163170 298 17 17 100

최대 950 275 29 177872 266769 150 65248 37388 57 54691 59346 109 57933 170035 294 26 27 104

평균 589 259 44 174249 263124 151 64015 37111 58 52914 58494 111 57320 167520 292 235 221 94

bull As-Is 대비 To-Be 앱의 응답시간은 빨라졌으나 메모리 사용량은 증가- 개발팀은 메모리사용량이 최소 20~30 개선된 것으로 알고 있었으나 ATAM 테스트결과 이슈 발생- 개발관련 메모리 사용량은 감소하였으나 신규로 적용한 이미지가속기 사용시 기타영역 메모리 사용량 급증- 고사양 단말에서는 이슈가 없으나 갤럭시S2 등 저사양폰에서는 앱이 죽는 현상 발생- 저사양폰의 총메모리 사용량에는 기타영역(이미지 등)은 미포함되어 있음

전체 메모리 사용량은 증가개발 관련 메모리사용은 감소

이미지가속기 관련 기타메모리영역 사용량 급증

[별첨1] ATAM 적용사례1_K은행

6개 단말기에서 18개 신용카드로 3개의 혜택 종류별 테스터 엔지니어가 수작업으로

3회씩 반복테스트를 한다면 324개 시나리오를 테스트 엔지니어 3명이 7일 소요

6 times 18= 108개 시나리오

108 times 3= 324 개 시나리오

324 times 10분(테스트소요시간)=

3240분 (약54시간)

54 8시간 times 3회= 7 일 times 3명

현재 수작업으로 5명이 64개의 시

나리오만 테스트 중

18 times 3= 54 개 시나리오

54 times 10분(테스트소요시간)=

540분 (9시간)

9 24시간 times 3회 = 12 일 (6

대 동시 실행)

현재 테스트아웃소싱을 통해 수작업 테스트 진행중이나 불필요한 반복테스트 수작업테스트커버리지부족 주요 서비스에 대한 실시간 모니터링 및 결함 자동 알람 필요성 등으로 자동테스트 솔루션 검토

솔루션 4개사 검토후ATAM 선정

[별첨2] ATAM 적용사례2_L홈쇼핑

[별첨3] 시연 환경 및 시나리오

ATAM 서버(PC1)

bull Windows OSbull 웹서버(NodeExpress)bull DB서버(Maria)bull ATAM Controllerbull 시나리오 생성bull 테스트 실행bull 결과 확인

결과 모니터

앱 실행 환경(무선)bull LTEbull 블루투스 테더링bull WiFi

아이폰 테스트 PC(Mac)

USB

테스트 단말(Test Lab)

클라이언트 PC2

bull Windows OSbull ATAM Controllerbull 시나리오 생성bull 테스트 실행bull 결과 확인

USB

bull Mac OSbull ATAM Controllerbull 시나리오 생성bull 테스트 실행bull 결과 확인

기종 제조사 OS 해상도

1 갤노트4 삼성 512 1440x2560

2 갤럭시S3 삼성 444 720x1280

3 G3 LG 444 1080x1920

∙∙∙

[단말 사양]

[별첨3] 시연 환경 및 시나리오

테스트 시나리오(LPOINT)

G3 S3노트4

테스트 단말 선택- 시나리오별 단말 선택 (1~3대)- 다양한 해상도(저중고 해상도)

자동테스트 실행 및 결과 확인

- 시나리오별 상세조회 장면별 응답시간 메모리CPU 사용률 등

- 오류장면 검출 확인 정상 장면 대비 예외 장면 오류 장면 등

- 모니터링 결과 결함 발생시 담당자 e-mail 전송

ATAM 서버(PC1)

테스트 결과 확인모니터링

No 시나리오 인증 방식 테스트단말 비고

1 혜택쿠폰로그인하이마트쿠폰다운로드쿠폰자세히보기 IDPW 갤노트4

2 LTEM롯데호텔뷔페이용권이용권선택상품상세정보 없음 갤 노트4 S3 G3

3 LPOINT카드카드안내카드신청휴대폰인증 없음 갤 노트4 S3 G3 동시단말 테스트

4 MY LBOX로그인MY포인트포인트이용내역조회(90일) IDPW 갤 노트4 동시단말 테스트

34

주식회사인터링크시스템

상담 및 문의처

TEL 02-538-5940 FAX 02-538-5928

상무 우철환 010-8487-9727 wch2137interlinkcokr

차장 양 훈 010-2841-1319 hoonyinterlinkcokr

Page 26: 모바일 앱(App) 개발 테스트 솔루션 - 인터링크시스템

스크립트 작성 없이 간편하게 GUI형태의 테스트시나리오 생성

모든 시나리오를 실제 장면으로 제공하여 일반 사용자도 쉽게 테스트 가능

일부 시나리오 녹화 방식이 아닌 전체 서비스 시나리오 생성 후 테스트 시나리오 선택 실행

앱 업데이트 시 간단한 시나리오 편집만으로 즉시 테스트 가능

앱 업데이트 시 마다 스크립트 작성 불 필요 (장면 교체 등을 통한 쉬운 업데이트)

공인인증서 등 자주 사용하는 시나리오를 공통 모듈화하여 시나리오 생성시간 최소화

실시간 모니터링 및 Health Check

결과 로그 빅 데이타 DB 저장분석으로 실시간 리포트 확인

서비스 상황 실시간 체크 가능(구간별)

Ⅱ ATAM 테스트 자동화를 위한 최적의 솔루션 12 ATAM 특징 요약

1

3

4

해상도OS별 다수 단말 동시테스트 및 어디서나 원격 테스트 가능

하나의 시나리오로 해상도와 OS가 다른 다수의 단말을 동시 반복테스트

하나의 시나리오로 여러 단말 동시테스트

2

Web 방식으로 단말의 위치와 관계없이 테스트 가능

원격지의 단말도 테스트 가능

테스터의 테스트 상황을 관리자가 원격에서도 실시간 모니터링 가능

5

Ⅲ Competitive Advantage 1 기능 비교

ATAM은 경쟁솔루션 대비 전체 서비스블루프린트(구성도) 제공 스크립트 개발

자 불필요 최단시간 시나리오 자동 생성 등 차별화 서비스 제공으로 최고 수준

의 경쟁력 확보

구 분 ATAM G사(국내) H사(미국) S사(미국) 비고

전체 서비스구성도 제공(장면 기반 전개도)

X X X 뱅킹앱의 경우 약 700장면

테스트시나리오 생성시간(500장면 기준)

1일 1개월 15개월 1개월

장면당 평균 생성시간 (추정)- 스크립트 작성 및 디버깅 완료- 복수단말 테스트 가능상태 기준(1인 작성시간 기준)

테스트방식장면 크롤링

(시나리오 선택 실행)Record amp Play(스크립트 편집)

Record amp Play(스크립트 편집)

Record amp Play(스크립트 편집)

실시간 모니터링 X X ATAM 다양한 차트 그래프 제공

스크립트 개발자 불필요 필요 필요 필요 경쟁사는 스크립트 개발역량에 좌우

사용 방식 웹 방식 CS 방식(Client 설치) CS 방식(Client 설치) CS 방식(Client 설치) ATAM 원격테스트 가능

사용자수 제한 없음(웹접속) PC Client 설치 수 PC Client 설치 수 PC Client 설치 수

앱 업데이트 적용 방식 장면 교체(장면당 30초) 스크립트 수정 스크립트 수정 스크립트 수정 ATAM유지보수 용이

보안 키패드 반복 테스트 자동 추가 개발 필요 추가 개발 필요 추가 개발 필요 키패드 위치 변경시 테스트 자동화

시나리오 버전 별 비교 X X X 경쟁솔루션 구성도 비교 가능

ATAM 사용시 기대효과는 단순한 비용 절감보다는 품질을 향상시켜 고품질의 앱을 유지

할 수 있으며 처리시간 메모리 사용량 등 의 성능개선 Point를 제시 합니다

테스트 비용 및 시간 절감1 신뢰성 있는 고품질 앱 유지2

수작업 대비 비용은 약 67 시간 08 소요(단말 10대 시나리오 20개 20회 반복테스트 기준)

유지보수 비용 절감3

시나리오이벤트 별 오류 응답시간 메모리 사용량 등OS별 단말 별 다양한 테스트로 높은 품질의 시험결과제공

앱 업데이트 시마다 스크립트 수정 없이 재 테스트 가능

개발자의 스크립트 개발 및 수정 관리 불필요

쉽고 정확한 테스트4

프로그램을 모르는 사용자도 쉽게 테스트 진행 가능

Human error가 없어 정확한 테스트 가능

Ⅳ 기대 효과

Full Test Coverage5

앱 테스트가 가능한 시나리오를 전체의 블루 프린트로

확인하여 누락된 시나리오 등 확인 가능

앱 변경 시 임팩트가 있는 시나리오를 전체 테스트 가능

성능 개선 Point 제시6

모니터링을 통해 CPUMemoryResponse Time 의 적정성

여부 및 개선 point 파악 가능

새로운 App 개발로 인해 기존의 App 대비 성능 향상 비교

기 사용중인 App의 테스트 가능한 시나리오와 신규 개발된 App의 시나리오를 테스트한 결과를CPUResponse TimeMemory 사용률 등을 비교 분석하여 개선점 도출 및 보완에 활용

bull 기존 앱 의 성능문제로 고객불만 발생하여 신규 클라이언트 앱 개발bull 신규 앱 을 테스트 수행하였으나 신뢰할만한 데이터의 부재

bull 1차 테스트시 응답시간 30 이상 개선되었으나 메모리 사용량 증가 확인

bull ATAM의 메모리 상세분석에서 이미지 가속기 사용확인

bull 고 사양의 폰은 큰 문제가 되지 않으나 저사양 폰에서 다운되는 현상 확인

bull ATAM의 결과 자료를 바탕으로 프로그램 개선 후 오픈(lsquo1512월 현재)

POC를 통해ATAM 선정

ATAM으로테스트 및 분석

[별첨1] ATAM 적용사례1_K은행

예금신탁계좌조회

안드로이드

응답시간 메모리사용량 nativeHeap dalvikHeap 기타 cpu_use

AS-IS TO-BE 비율 AS-IS TO-BE 비율 AS-IS TO-BE 비율 AS-IS TO-BE 비율 AS-IS TO-BE 비율 AS-IS TO-BE 비율

Galaxy 6

최소 579 217 37 252039 406504 161 42635 20169 47 66881 78620 118 142523 307715 216 14 18 129

최대 674 492 73 261462 417621 160 42887 20589 48 70636 84433 120 147939 312599 211 20 22 110

평균 635 350 55 254623 412127 162 42756 20371 48 68562 80622 118 143304 311133 217 17 20 118

Galaxy 3

최소 558 238 43 109629 86029 78 - - 21 37 176

최대 3020 331 11 118228 90526 77 - - 39 40 103

평균 1111 288 26 114439 88591 77 - - 34 388 114

베가노트

최소 471 241 51 121530 98593 81 52 56 108

최대 1049 274 26 127300 112120 88 60 61 102

평균 560 250 45 123596 103539 84 562 587 104

G flex2

최소 463 227 49 169669 257117 152 63000 36560 58 51830 57387 111 54839 163170 298 17 17 100

최대 950 275 29 177872 266769 150 65248 37388 57 54691 59346 109 57933 170035 294 26 27 104

평균 589 259 44 174249 263124 151 64015 37111 58 52914 58494 111 57320 167520 292 235 221 94

bull As-Is 대비 To-Be 앱의 응답시간은 빨라졌으나 메모리 사용량은 증가- 개발팀은 메모리사용량이 최소 20~30 개선된 것으로 알고 있었으나 ATAM 테스트결과 이슈 발생- 개발관련 메모리 사용량은 감소하였으나 신규로 적용한 이미지가속기 사용시 기타영역 메모리 사용량 급증- 고사양 단말에서는 이슈가 없으나 갤럭시S2 등 저사양폰에서는 앱이 죽는 현상 발생- 저사양폰의 총메모리 사용량에는 기타영역(이미지 등)은 미포함되어 있음

전체 메모리 사용량은 증가개발 관련 메모리사용은 감소

이미지가속기 관련 기타메모리영역 사용량 급증

[별첨1] ATAM 적용사례1_K은행

6개 단말기에서 18개 신용카드로 3개의 혜택 종류별 테스터 엔지니어가 수작업으로

3회씩 반복테스트를 한다면 324개 시나리오를 테스트 엔지니어 3명이 7일 소요

6 times 18= 108개 시나리오

108 times 3= 324 개 시나리오

324 times 10분(테스트소요시간)=

3240분 (약54시간)

54 8시간 times 3회= 7 일 times 3명

현재 수작업으로 5명이 64개의 시

나리오만 테스트 중

18 times 3= 54 개 시나리오

54 times 10분(테스트소요시간)=

540분 (9시간)

9 24시간 times 3회 = 12 일 (6

대 동시 실행)

현재 테스트아웃소싱을 통해 수작업 테스트 진행중이나 불필요한 반복테스트 수작업테스트커버리지부족 주요 서비스에 대한 실시간 모니터링 및 결함 자동 알람 필요성 등으로 자동테스트 솔루션 검토

솔루션 4개사 검토후ATAM 선정

[별첨2] ATAM 적용사례2_L홈쇼핑

[별첨3] 시연 환경 및 시나리오

ATAM 서버(PC1)

bull Windows OSbull 웹서버(NodeExpress)bull DB서버(Maria)bull ATAM Controllerbull 시나리오 생성bull 테스트 실행bull 결과 확인

결과 모니터

앱 실행 환경(무선)bull LTEbull 블루투스 테더링bull WiFi

아이폰 테스트 PC(Mac)

USB

테스트 단말(Test Lab)

클라이언트 PC2

bull Windows OSbull ATAM Controllerbull 시나리오 생성bull 테스트 실행bull 결과 확인

USB

bull Mac OSbull ATAM Controllerbull 시나리오 생성bull 테스트 실행bull 결과 확인

기종 제조사 OS 해상도

1 갤노트4 삼성 512 1440x2560

2 갤럭시S3 삼성 444 720x1280

3 G3 LG 444 1080x1920

∙∙∙

[단말 사양]

[별첨3] 시연 환경 및 시나리오

테스트 시나리오(LPOINT)

G3 S3노트4

테스트 단말 선택- 시나리오별 단말 선택 (1~3대)- 다양한 해상도(저중고 해상도)

자동테스트 실행 및 결과 확인

- 시나리오별 상세조회 장면별 응답시간 메모리CPU 사용률 등

- 오류장면 검출 확인 정상 장면 대비 예외 장면 오류 장면 등

- 모니터링 결과 결함 발생시 담당자 e-mail 전송

ATAM 서버(PC1)

테스트 결과 확인모니터링

No 시나리오 인증 방식 테스트단말 비고

1 혜택쿠폰로그인하이마트쿠폰다운로드쿠폰자세히보기 IDPW 갤노트4

2 LTEM롯데호텔뷔페이용권이용권선택상품상세정보 없음 갤 노트4 S3 G3

3 LPOINT카드카드안내카드신청휴대폰인증 없음 갤 노트4 S3 G3 동시단말 테스트

4 MY LBOX로그인MY포인트포인트이용내역조회(90일) IDPW 갤 노트4 동시단말 테스트

34

주식회사인터링크시스템

상담 및 문의처

TEL 02-538-5940 FAX 02-538-5928

상무 우철환 010-8487-9727 wch2137interlinkcokr

차장 양 훈 010-2841-1319 hoonyinterlinkcokr

Page 27: 모바일 앱(App) 개발 테스트 솔루션 - 인터링크시스템

Ⅲ Competitive Advantage 1 기능 비교

ATAM은 경쟁솔루션 대비 전체 서비스블루프린트(구성도) 제공 스크립트 개발

자 불필요 최단시간 시나리오 자동 생성 등 차별화 서비스 제공으로 최고 수준

의 경쟁력 확보

구 분 ATAM G사(국내) H사(미국) S사(미국) 비고

전체 서비스구성도 제공(장면 기반 전개도)

X X X 뱅킹앱의 경우 약 700장면

테스트시나리오 생성시간(500장면 기준)

1일 1개월 15개월 1개월

장면당 평균 생성시간 (추정)- 스크립트 작성 및 디버깅 완료- 복수단말 테스트 가능상태 기준(1인 작성시간 기준)

테스트방식장면 크롤링

(시나리오 선택 실행)Record amp Play(스크립트 편집)

Record amp Play(스크립트 편집)

Record amp Play(스크립트 편집)

실시간 모니터링 X X ATAM 다양한 차트 그래프 제공

스크립트 개발자 불필요 필요 필요 필요 경쟁사는 스크립트 개발역량에 좌우

사용 방식 웹 방식 CS 방식(Client 설치) CS 방식(Client 설치) CS 방식(Client 설치) ATAM 원격테스트 가능

사용자수 제한 없음(웹접속) PC Client 설치 수 PC Client 설치 수 PC Client 설치 수

앱 업데이트 적용 방식 장면 교체(장면당 30초) 스크립트 수정 스크립트 수정 스크립트 수정 ATAM유지보수 용이

보안 키패드 반복 테스트 자동 추가 개발 필요 추가 개발 필요 추가 개발 필요 키패드 위치 변경시 테스트 자동화

시나리오 버전 별 비교 X X X 경쟁솔루션 구성도 비교 가능

ATAM 사용시 기대효과는 단순한 비용 절감보다는 품질을 향상시켜 고품질의 앱을 유지

할 수 있으며 처리시간 메모리 사용량 등 의 성능개선 Point를 제시 합니다

테스트 비용 및 시간 절감1 신뢰성 있는 고품질 앱 유지2

수작업 대비 비용은 약 67 시간 08 소요(단말 10대 시나리오 20개 20회 반복테스트 기준)

유지보수 비용 절감3

시나리오이벤트 별 오류 응답시간 메모리 사용량 등OS별 단말 별 다양한 테스트로 높은 품질의 시험결과제공

앱 업데이트 시마다 스크립트 수정 없이 재 테스트 가능

개발자의 스크립트 개발 및 수정 관리 불필요

쉽고 정확한 테스트4

프로그램을 모르는 사용자도 쉽게 테스트 진행 가능

Human error가 없어 정확한 테스트 가능

Ⅳ 기대 효과

Full Test Coverage5

앱 테스트가 가능한 시나리오를 전체의 블루 프린트로

확인하여 누락된 시나리오 등 확인 가능

앱 변경 시 임팩트가 있는 시나리오를 전체 테스트 가능

성능 개선 Point 제시6

모니터링을 통해 CPUMemoryResponse Time 의 적정성

여부 및 개선 point 파악 가능

새로운 App 개발로 인해 기존의 App 대비 성능 향상 비교

기 사용중인 App의 테스트 가능한 시나리오와 신규 개발된 App의 시나리오를 테스트한 결과를CPUResponse TimeMemory 사용률 등을 비교 분석하여 개선점 도출 및 보완에 활용

bull 기존 앱 의 성능문제로 고객불만 발생하여 신규 클라이언트 앱 개발bull 신규 앱 을 테스트 수행하였으나 신뢰할만한 데이터의 부재

bull 1차 테스트시 응답시간 30 이상 개선되었으나 메모리 사용량 증가 확인

bull ATAM의 메모리 상세분석에서 이미지 가속기 사용확인

bull 고 사양의 폰은 큰 문제가 되지 않으나 저사양 폰에서 다운되는 현상 확인

bull ATAM의 결과 자료를 바탕으로 프로그램 개선 후 오픈(lsquo1512월 현재)

POC를 통해ATAM 선정

ATAM으로테스트 및 분석

[별첨1] ATAM 적용사례1_K은행

예금신탁계좌조회

안드로이드

응답시간 메모리사용량 nativeHeap dalvikHeap 기타 cpu_use

AS-IS TO-BE 비율 AS-IS TO-BE 비율 AS-IS TO-BE 비율 AS-IS TO-BE 비율 AS-IS TO-BE 비율 AS-IS TO-BE 비율

Galaxy 6

최소 579 217 37 252039 406504 161 42635 20169 47 66881 78620 118 142523 307715 216 14 18 129

최대 674 492 73 261462 417621 160 42887 20589 48 70636 84433 120 147939 312599 211 20 22 110

평균 635 350 55 254623 412127 162 42756 20371 48 68562 80622 118 143304 311133 217 17 20 118

Galaxy 3

최소 558 238 43 109629 86029 78 - - 21 37 176

최대 3020 331 11 118228 90526 77 - - 39 40 103

평균 1111 288 26 114439 88591 77 - - 34 388 114

베가노트

최소 471 241 51 121530 98593 81 52 56 108

최대 1049 274 26 127300 112120 88 60 61 102

평균 560 250 45 123596 103539 84 562 587 104

G flex2

최소 463 227 49 169669 257117 152 63000 36560 58 51830 57387 111 54839 163170 298 17 17 100

최대 950 275 29 177872 266769 150 65248 37388 57 54691 59346 109 57933 170035 294 26 27 104

평균 589 259 44 174249 263124 151 64015 37111 58 52914 58494 111 57320 167520 292 235 221 94

bull As-Is 대비 To-Be 앱의 응답시간은 빨라졌으나 메모리 사용량은 증가- 개발팀은 메모리사용량이 최소 20~30 개선된 것으로 알고 있었으나 ATAM 테스트결과 이슈 발생- 개발관련 메모리 사용량은 감소하였으나 신규로 적용한 이미지가속기 사용시 기타영역 메모리 사용량 급증- 고사양 단말에서는 이슈가 없으나 갤럭시S2 등 저사양폰에서는 앱이 죽는 현상 발생- 저사양폰의 총메모리 사용량에는 기타영역(이미지 등)은 미포함되어 있음

전체 메모리 사용량은 증가개발 관련 메모리사용은 감소

이미지가속기 관련 기타메모리영역 사용량 급증

[별첨1] ATAM 적용사례1_K은행

6개 단말기에서 18개 신용카드로 3개의 혜택 종류별 테스터 엔지니어가 수작업으로

3회씩 반복테스트를 한다면 324개 시나리오를 테스트 엔지니어 3명이 7일 소요

6 times 18= 108개 시나리오

108 times 3= 324 개 시나리오

324 times 10분(테스트소요시간)=

3240분 (약54시간)

54 8시간 times 3회= 7 일 times 3명

현재 수작업으로 5명이 64개의 시

나리오만 테스트 중

18 times 3= 54 개 시나리오

54 times 10분(테스트소요시간)=

540분 (9시간)

9 24시간 times 3회 = 12 일 (6

대 동시 실행)

현재 테스트아웃소싱을 통해 수작업 테스트 진행중이나 불필요한 반복테스트 수작업테스트커버리지부족 주요 서비스에 대한 실시간 모니터링 및 결함 자동 알람 필요성 등으로 자동테스트 솔루션 검토

솔루션 4개사 검토후ATAM 선정

[별첨2] ATAM 적용사례2_L홈쇼핑

[별첨3] 시연 환경 및 시나리오

ATAM 서버(PC1)

bull Windows OSbull 웹서버(NodeExpress)bull DB서버(Maria)bull ATAM Controllerbull 시나리오 생성bull 테스트 실행bull 결과 확인

결과 모니터

앱 실행 환경(무선)bull LTEbull 블루투스 테더링bull WiFi

아이폰 테스트 PC(Mac)

USB

테스트 단말(Test Lab)

클라이언트 PC2

bull Windows OSbull ATAM Controllerbull 시나리오 생성bull 테스트 실행bull 결과 확인

USB

bull Mac OSbull ATAM Controllerbull 시나리오 생성bull 테스트 실행bull 결과 확인

기종 제조사 OS 해상도

1 갤노트4 삼성 512 1440x2560

2 갤럭시S3 삼성 444 720x1280

3 G3 LG 444 1080x1920

∙∙∙

[단말 사양]

[별첨3] 시연 환경 및 시나리오

테스트 시나리오(LPOINT)

G3 S3노트4

테스트 단말 선택- 시나리오별 단말 선택 (1~3대)- 다양한 해상도(저중고 해상도)

자동테스트 실행 및 결과 확인

- 시나리오별 상세조회 장면별 응답시간 메모리CPU 사용률 등

- 오류장면 검출 확인 정상 장면 대비 예외 장면 오류 장면 등

- 모니터링 결과 결함 발생시 담당자 e-mail 전송

ATAM 서버(PC1)

테스트 결과 확인모니터링

No 시나리오 인증 방식 테스트단말 비고

1 혜택쿠폰로그인하이마트쿠폰다운로드쿠폰자세히보기 IDPW 갤노트4

2 LTEM롯데호텔뷔페이용권이용권선택상품상세정보 없음 갤 노트4 S3 G3

3 LPOINT카드카드안내카드신청휴대폰인증 없음 갤 노트4 S3 G3 동시단말 테스트

4 MY LBOX로그인MY포인트포인트이용내역조회(90일) IDPW 갤 노트4 동시단말 테스트

34

주식회사인터링크시스템

상담 및 문의처

TEL 02-538-5940 FAX 02-538-5928

상무 우철환 010-8487-9727 wch2137interlinkcokr

차장 양 훈 010-2841-1319 hoonyinterlinkcokr

Page 28: 모바일 앱(App) 개발 테스트 솔루션 - 인터링크시스템

ATAM 사용시 기대효과는 단순한 비용 절감보다는 품질을 향상시켜 고품질의 앱을 유지

할 수 있으며 처리시간 메모리 사용량 등 의 성능개선 Point를 제시 합니다

테스트 비용 및 시간 절감1 신뢰성 있는 고품질 앱 유지2

수작업 대비 비용은 약 67 시간 08 소요(단말 10대 시나리오 20개 20회 반복테스트 기준)

유지보수 비용 절감3

시나리오이벤트 별 오류 응답시간 메모리 사용량 등OS별 단말 별 다양한 테스트로 높은 품질의 시험결과제공

앱 업데이트 시마다 스크립트 수정 없이 재 테스트 가능

개발자의 스크립트 개발 및 수정 관리 불필요

쉽고 정확한 테스트4

프로그램을 모르는 사용자도 쉽게 테스트 진행 가능

Human error가 없어 정확한 테스트 가능

Ⅳ 기대 효과

Full Test Coverage5

앱 테스트가 가능한 시나리오를 전체의 블루 프린트로

확인하여 누락된 시나리오 등 확인 가능

앱 변경 시 임팩트가 있는 시나리오를 전체 테스트 가능

성능 개선 Point 제시6

모니터링을 통해 CPUMemoryResponse Time 의 적정성

여부 및 개선 point 파악 가능

새로운 App 개발로 인해 기존의 App 대비 성능 향상 비교

기 사용중인 App의 테스트 가능한 시나리오와 신규 개발된 App의 시나리오를 테스트한 결과를CPUResponse TimeMemory 사용률 등을 비교 분석하여 개선점 도출 및 보완에 활용

bull 기존 앱 의 성능문제로 고객불만 발생하여 신규 클라이언트 앱 개발bull 신규 앱 을 테스트 수행하였으나 신뢰할만한 데이터의 부재

bull 1차 테스트시 응답시간 30 이상 개선되었으나 메모리 사용량 증가 확인

bull ATAM의 메모리 상세분석에서 이미지 가속기 사용확인

bull 고 사양의 폰은 큰 문제가 되지 않으나 저사양 폰에서 다운되는 현상 확인

bull ATAM의 결과 자료를 바탕으로 프로그램 개선 후 오픈(lsquo1512월 현재)

POC를 통해ATAM 선정

ATAM으로테스트 및 분석

[별첨1] ATAM 적용사례1_K은행

예금신탁계좌조회

안드로이드

응답시간 메모리사용량 nativeHeap dalvikHeap 기타 cpu_use

AS-IS TO-BE 비율 AS-IS TO-BE 비율 AS-IS TO-BE 비율 AS-IS TO-BE 비율 AS-IS TO-BE 비율 AS-IS TO-BE 비율

Galaxy 6

최소 579 217 37 252039 406504 161 42635 20169 47 66881 78620 118 142523 307715 216 14 18 129

최대 674 492 73 261462 417621 160 42887 20589 48 70636 84433 120 147939 312599 211 20 22 110

평균 635 350 55 254623 412127 162 42756 20371 48 68562 80622 118 143304 311133 217 17 20 118

Galaxy 3

최소 558 238 43 109629 86029 78 - - 21 37 176

최대 3020 331 11 118228 90526 77 - - 39 40 103

평균 1111 288 26 114439 88591 77 - - 34 388 114

베가노트

최소 471 241 51 121530 98593 81 52 56 108

최대 1049 274 26 127300 112120 88 60 61 102

평균 560 250 45 123596 103539 84 562 587 104

G flex2

최소 463 227 49 169669 257117 152 63000 36560 58 51830 57387 111 54839 163170 298 17 17 100

최대 950 275 29 177872 266769 150 65248 37388 57 54691 59346 109 57933 170035 294 26 27 104

평균 589 259 44 174249 263124 151 64015 37111 58 52914 58494 111 57320 167520 292 235 221 94

bull As-Is 대비 To-Be 앱의 응답시간은 빨라졌으나 메모리 사용량은 증가- 개발팀은 메모리사용량이 최소 20~30 개선된 것으로 알고 있었으나 ATAM 테스트결과 이슈 발생- 개발관련 메모리 사용량은 감소하였으나 신규로 적용한 이미지가속기 사용시 기타영역 메모리 사용량 급증- 고사양 단말에서는 이슈가 없으나 갤럭시S2 등 저사양폰에서는 앱이 죽는 현상 발생- 저사양폰의 총메모리 사용량에는 기타영역(이미지 등)은 미포함되어 있음

전체 메모리 사용량은 증가개발 관련 메모리사용은 감소

이미지가속기 관련 기타메모리영역 사용량 급증

[별첨1] ATAM 적용사례1_K은행

6개 단말기에서 18개 신용카드로 3개의 혜택 종류별 테스터 엔지니어가 수작업으로

3회씩 반복테스트를 한다면 324개 시나리오를 테스트 엔지니어 3명이 7일 소요

6 times 18= 108개 시나리오

108 times 3= 324 개 시나리오

324 times 10분(테스트소요시간)=

3240분 (약54시간)

54 8시간 times 3회= 7 일 times 3명

현재 수작업으로 5명이 64개의 시

나리오만 테스트 중

18 times 3= 54 개 시나리오

54 times 10분(테스트소요시간)=

540분 (9시간)

9 24시간 times 3회 = 12 일 (6

대 동시 실행)

현재 테스트아웃소싱을 통해 수작업 테스트 진행중이나 불필요한 반복테스트 수작업테스트커버리지부족 주요 서비스에 대한 실시간 모니터링 및 결함 자동 알람 필요성 등으로 자동테스트 솔루션 검토

솔루션 4개사 검토후ATAM 선정

[별첨2] ATAM 적용사례2_L홈쇼핑

[별첨3] 시연 환경 및 시나리오

ATAM 서버(PC1)

bull Windows OSbull 웹서버(NodeExpress)bull DB서버(Maria)bull ATAM Controllerbull 시나리오 생성bull 테스트 실행bull 결과 확인

결과 모니터

앱 실행 환경(무선)bull LTEbull 블루투스 테더링bull WiFi

아이폰 테스트 PC(Mac)

USB

테스트 단말(Test Lab)

클라이언트 PC2

bull Windows OSbull ATAM Controllerbull 시나리오 생성bull 테스트 실행bull 결과 확인

USB

bull Mac OSbull ATAM Controllerbull 시나리오 생성bull 테스트 실행bull 결과 확인

기종 제조사 OS 해상도

1 갤노트4 삼성 512 1440x2560

2 갤럭시S3 삼성 444 720x1280

3 G3 LG 444 1080x1920

∙∙∙

[단말 사양]

[별첨3] 시연 환경 및 시나리오

테스트 시나리오(LPOINT)

G3 S3노트4

테스트 단말 선택- 시나리오별 단말 선택 (1~3대)- 다양한 해상도(저중고 해상도)

자동테스트 실행 및 결과 확인

- 시나리오별 상세조회 장면별 응답시간 메모리CPU 사용률 등

- 오류장면 검출 확인 정상 장면 대비 예외 장면 오류 장면 등

- 모니터링 결과 결함 발생시 담당자 e-mail 전송

ATAM 서버(PC1)

테스트 결과 확인모니터링

No 시나리오 인증 방식 테스트단말 비고

1 혜택쿠폰로그인하이마트쿠폰다운로드쿠폰자세히보기 IDPW 갤노트4

2 LTEM롯데호텔뷔페이용권이용권선택상품상세정보 없음 갤 노트4 S3 G3

3 LPOINT카드카드안내카드신청휴대폰인증 없음 갤 노트4 S3 G3 동시단말 테스트

4 MY LBOX로그인MY포인트포인트이용내역조회(90일) IDPW 갤 노트4 동시단말 테스트

34

주식회사인터링크시스템

상담 및 문의처

TEL 02-538-5940 FAX 02-538-5928

상무 우철환 010-8487-9727 wch2137interlinkcokr

차장 양 훈 010-2841-1319 hoonyinterlinkcokr

Page 29: 모바일 앱(App) 개발 테스트 솔루션 - 인터링크시스템

새로운 App 개발로 인해 기존의 App 대비 성능 향상 비교

기 사용중인 App의 테스트 가능한 시나리오와 신규 개발된 App의 시나리오를 테스트한 결과를CPUResponse TimeMemory 사용률 등을 비교 분석하여 개선점 도출 및 보완에 활용

bull 기존 앱 의 성능문제로 고객불만 발생하여 신규 클라이언트 앱 개발bull 신규 앱 을 테스트 수행하였으나 신뢰할만한 데이터의 부재

bull 1차 테스트시 응답시간 30 이상 개선되었으나 메모리 사용량 증가 확인

bull ATAM의 메모리 상세분석에서 이미지 가속기 사용확인

bull 고 사양의 폰은 큰 문제가 되지 않으나 저사양 폰에서 다운되는 현상 확인

bull ATAM의 결과 자료를 바탕으로 프로그램 개선 후 오픈(lsquo1512월 현재)

POC를 통해ATAM 선정

ATAM으로테스트 및 분석

[별첨1] ATAM 적용사례1_K은행

예금신탁계좌조회

안드로이드

응답시간 메모리사용량 nativeHeap dalvikHeap 기타 cpu_use

AS-IS TO-BE 비율 AS-IS TO-BE 비율 AS-IS TO-BE 비율 AS-IS TO-BE 비율 AS-IS TO-BE 비율 AS-IS TO-BE 비율

Galaxy 6

최소 579 217 37 252039 406504 161 42635 20169 47 66881 78620 118 142523 307715 216 14 18 129

최대 674 492 73 261462 417621 160 42887 20589 48 70636 84433 120 147939 312599 211 20 22 110

평균 635 350 55 254623 412127 162 42756 20371 48 68562 80622 118 143304 311133 217 17 20 118

Galaxy 3

최소 558 238 43 109629 86029 78 - - 21 37 176

최대 3020 331 11 118228 90526 77 - - 39 40 103

평균 1111 288 26 114439 88591 77 - - 34 388 114

베가노트

최소 471 241 51 121530 98593 81 52 56 108

최대 1049 274 26 127300 112120 88 60 61 102

평균 560 250 45 123596 103539 84 562 587 104

G flex2

최소 463 227 49 169669 257117 152 63000 36560 58 51830 57387 111 54839 163170 298 17 17 100

최대 950 275 29 177872 266769 150 65248 37388 57 54691 59346 109 57933 170035 294 26 27 104

평균 589 259 44 174249 263124 151 64015 37111 58 52914 58494 111 57320 167520 292 235 221 94

bull As-Is 대비 To-Be 앱의 응답시간은 빨라졌으나 메모리 사용량은 증가- 개발팀은 메모리사용량이 최소 20~30 개선된 것으로 알고 있었으나 ATAM 테스트결과 이슈 발생- 개발관련 메모리 사용량은 감소하였으나 신규로 적용한 이미지가속기 사용시 기타영역 메모리 사용량 급증- 고사양 단말에서는 이슈가 없으나 갤럭시S2 등 저사양폰에서는 앱이 죽는 현상 발생- 저사양폰의 총메모리 사용량에는 기타영역(이미지 등)은 미포함되어 있음

전체 메모리 사용량은 증가개발 관련 메모리사용은 감소

이미지가속기 관련 기타메모리영역 사용량 급증

[별첨1] ATAM 적용사례1_K은행

6개 단말기에서 18개 신용카드로 3개의 혜택 종류별 테스터 엔지니어가 수작업으로

3회씩 반복테스트를 한다면 324개 시나리오를 테스트 엔지니어 3명이 7일 소요

6 times 18= 108개 시나리오

108 times 3= 324 개 시나리오

324 times 10분(테스트소요시간)=

3240분 (약54시간)

54 8시간 times 3회= 7 일 times 3명

현재 수작업으로 5명이 64개의 시

나리오만 테스트 중

18 times 3= 54 개 시나리오

54 times 10분(테스트소요시간)=

540분 (9시간)

9 24시간 times 3회 = 12 일 (6

대 동시 실행)

현재 테스트아웃소싱을 통해 수작업 테스트 진행중이나 불필요한 반복테스트 수작업테스트커버리지부족 주요 서비스에 대한 실시간 모니터링 및 결함 자동 알람 필요성 등으로 자동테스트 솔루션 검토

솔루션 4개사 검토후ATAM 선정

[별첨2] ATAM 적용사례2_L홈쇼핑

[별첨3] 시연 환경 및 시나리오

ATAM 서버(PC1)

bull Windows OSbull 웹서버(NodeExpress)bull DB서버(Maria)bull ATAM Controllerbull 시나리오 생성bull 테스트 실행bull 결과 확인

결과 모니터

앱 실행 환경(무선)bull LTEbull 블루투스 테더링bull WiFi

아이폰 테스트 PC(Mac)

USB

테스트 단말(Test Lab)

클라이언트 PC2

bull Windows OSbull ATAM Controllerbull 시나리오 생성bull 테스트 실행bull 결과 확인

USB

bull Mac OSbull ATAM Controllerbull 시나리오 생성bull 테스트 실행bull 결과 확인

기종 제조사 OS 해상도

1 갤노트4 삼성 512 1440x2560

2 갤럭시S3 삼성 444 720x1280

3 G3 LG 444 1080x1920

∙∙∙

[단말 사양]

[별첨3] 시연 환경 및 시나리오

테스트 시나리오(LPOINT)

G3 S3노트4

테스트 단말 선택- 시나리오별 단말 선택 (1~3대)- 다양한 해상도(저중고 해상도)

자동테스트 실행 및 결과 확인

- 시나리오별 상세조회 장면별 응답시간 메모리CPU 사용률 등

- 오류장면 검출 확인 정상 장면 대비 예외 장면 오류 장면 등

- 모니터링 결과 결함 발생시 담당자 e-mail 전송

ATAM 서버(PC1)

테스트 결과 확인모니터링

No 시나리오 인증 방식 테스트단말 비고

1 혜택쿠폰로그인하이마트쿠폰다운로드쿠폰자세히보기 IDPW 갤노트4

2 LTEM롯데호텔뷔페이용권이용권선택상품상세정보 없음 갤 노트4 S3 G3

3 LPOINT카드카드안내카드신청휴대폰인증 없음 갤 노트4 S3 G3 동시단말 테스트

4 MY LBOX로그인MY포인트포인트이용내역조회(90일) IDPW 갤 노트4 동시단말 테스트

34

주식회사인터링크시스템

상담 및 문의처

TEL 02-538-5940 FAX 02-538-5928

상무 우철환 010-8487-9727 wch2137interlinkcokr

차장 양 훈 010-2841-1319 hoonyinterlinkcokr

Page 30: 모바일 앱(App) 개발 테스트 솔루션 - 인터링크시스템

예금신탁계좌조회

안드로이드

응답시간 메모리사용량 nativeHeap dalvikHeap 기타 cpu_use

AS-IS TO-BE 비율 AS-IS TO-BE 비율 AS-IS TO-BE 비율 AS-IS TO-BE 비율 AS-IS TO-BE 비율 AS-IS TO-BE 비율

Galaxy 6

최소 579 217 37 252039 406504 161 42635 20169 47 66881 78620 118 142523 307715 216 14 18 129

최대 674 492 73 261462 417621 160 42887 20589 48 70636 84433 120 147939 312599 211 20 22 110

평균 635 350 55 254623 412127 162 42756 20371 48 68562 80622 118 143304 311133 217 17 20 118

Galaxy 3

최소 558 238 43 109629 86029 78 - - 21 37 176

최대 3020 331 11 118228 90526 77 - - 39 40 103

평균 1111 288 26 114439 88591 77 - - 34 388 114

베가노트

최소 471 241 51 121530 98593 81 52 56 108

최대 1049 274 26 127300 112120 88 60 61 102

평균 560 250 45 123596 103539 84 562 587 104

G flex2

최소 463 227 49 169669 257117 152 63000 36560 58 51830 57387 111 54839 163170 298 17 17 100

최대 950 275 29 177872 266769 150 65248 37388 57 54691 59346 109 57933 170035 294 26 27 104

평균 589 259 44 174249 263124 151 64015 37111 58 52914 58494 111 57320 167520 292 235 221 94

bull As-Is 대비 To-Be 앱의 응답시간은 빨라졌으나 메모리 사용량은 증가- 개발팀은 메모리사용량이 최소 20~30 개선된 것으로 알고 있었으나 ATAM 테스트결과 이슈 발생- 개발관련 메모리 사용량은 감소하였으나 신규로 적용한 이미지가속기 사용시 기타영역 메모리 사용량 급증- 고사양 단말에서는 이슈가 없으나 갤럭시S2 등 저사양폰에서는 앱이 죽는 현상 발생- 저사양폰의 총메모리 사용량에는 기타영역(이미지 등)은 미포함되어 있음

전체 메모리 사용량은 증가개발 관련 메모리사용은 감소

이미지가속기 관련 기타메모리영역 사용량 급증

[별첨1] ATAM 적용사례1_K은행

6개 단말기에서 18개 신용카드로 3개의 혜택 종류별 테스터 엔지니어가 수작업으로

3회씩 반복테스트를 한다면 324개 시나리오를 테스트 엔지니어 3명이 7일 소요

6 times 18= 108개 시나리오

108 times 3= 324 개 시나리오

324 times 10분(테스트소요시간)=

3240분 (약54시간)

54 8시간 times 3회= 7 일 times 3명

현재 수작업으로 5명이 64개의 시

나리오만 테스트 중

18 times 3= 54 개 시나리오

54 times 10분(테스트소요시간)=

540분 (9시간)

9 24시간 times 3회 = 12 일 (6

대 동시 실행)

현재 테스트아웃소싱을 통해 수작업 테스트 진행중이나 불필요한 반복테스트 수작업테스트커버리지부족 주요 서비스에 대한 실시간 모니터링 및 결함 자동 알람 필요성 등으로 자동테스트 솔루션 검토

솔루션 4개사 검토후ATAM 선정

[별첨2] ATAM 적용사례2_L홈쇼핑

[별첨3] 시연 환경 및 시나리오

ATAM 서버(PC1)

bull Windows OSbull 웹서버(NodeExpress)bull DB서버(Maria)bull ATAM Controllerbull 시나리오 생성bull 테스트 실행bull 결과 확인

결과 모니터

앱 실행 환경(무선)bull LTEbull 블루투스 테더링bull WiFi

아이폰 테스트 PC(Mac)

USB

테스트 단말(Test Lab)

클라이언트 PC2

bull Windows OSbull ATAM Controllerbull 시나리오 생성bull 테스트 실행bull 결과 확인

USB

bull Mac OSbull ATAM Controllerbull 시나리오 생성bull 테스트 실행bull 결과 확인

기종 제조사 OS 해상도

1 갤노트4 삼성 512 1440x2560

2 갤럭시S3 삼성 444 720x1280

3 G3 LG 444 1080x1920

∙∙∙

[단말 사양]

[별첨3] 시연 환경 및 시나리오

테스트 시나리오(LPOINT)

G3 S3노트4

테스트 단말 선택- 시나리오별 단말 선택 (1~3대)- 다양한 해상도(저중고 해상도)

자동테스트 실행 및 결과 확인

- 시나리오별 상세조회 장면별 응답시간 메모리CPU 사용률 등

- 오류장면 검출 확인 정상 장면 대비 예외 장면 오류 장면 등

- 모니터링 결과 결함 발생시 담당자 e-mail 전송

ATAM 서버(PC1)

테스트 결과 확인모니터링

No 시나리오 인증 방식 테스트단말 비고

1 혜택쿠폰로그인하이마트쿠폰다운로드쿠폰자세히보기 IDPW 갤노트4

2 LTEM롯데호텔뷔페이용권이용권선택상품상세정보 없음 갤 노트4 S3 G3

3 LPOINT카드카드안내카드신청휴대폰인증 없음 갤 노트4 S3 G3 동시단말 테스트

4 MY LBOX로그인MY포인트포인트이용내역조회(90일) IDPW 갤 노트4 동시단말 테스트

34

주식회사인터링크시스템

상담 및 문의처

TEL 02-538-5940 FAX 02-538-5928

상무 우철환 010-8487-9727 wch2137interlinkcokr

차장 양 훈 010-2841-1319 hoonyinterlinkcokr

Page 31: 모바일 앱(App) 개발 테스트 솔루션 - 인터링크시스템

6개 단말기에서 18개 신용카드로 3개의 혜택 종류별 테스터 엔지니어가 수작업으로

3회씩 반복테스트를 한다면 324개 시나리오를 테스트 엔지니어 3명이 7일 소요

6 times 18= 108개 시나리오

108 times 3= 324 개 시나리오

324 times 10분(테스트소요시간)=

3240분 (약54시간)

54 8시간 times 3회= 7 일 times 3명

현재 수작업으로 5명이 64개의 시

나리오만 테스트 중

18 times 3= 54 개 시나리오

54 times 10분(테스트소요시간)=

540분 (9시간)

9 24시간 times 3회 = 12 일 (6

대 동시 실행)

현재 테스트아웃소싱을 통해 수작업 테스트 진행중이나 불필요한 반복테스트 수작업테스트커버리지부족 주요 서비스에 대한 실시간 모니터링 및 결함 자동 알람 필요성 등으로 자동테스트 솔루션 검토

솔루션 4개사 검토후ATAM 선정

[별첨2] ATAM 적용사례2_L홈쇼핑

[별첨3] 시연 환경 및 시나리오

ATAM 서버(PC1)

bull Windows OSbull 웹서버(NodeExpress)bull DB서버(Maria)bull ATAM Controllerbull 시나리오 생성bull 테스트 실행bull 결과 확인

결과 모니터

앱 실행 환경(무선)bull LTEbull 블루투스 테더링bull WiFi

아이폰 테스트 PC(Mac)

USB

테스트 단말(Test Lab)

클라이언트 PC2

bull Windows OSbull ATAM Controllerbull 시나리오 생성bull 테스트 실행bull 결과 확인

USB

bull Mac OSbull ATAM Controllerbull 시나리오 생성bull 테스트 실행bull 결과 확인

기종 제조사 OS 해상도

1 갤노트4 삼성 512 1440x2560

2 갤럭시S3 삼성 444 720x1280

3 G3 LG 444 1080x1920

∙∙∙

[단말 사양]

[별첨3] 시연 환경 및 시나리오

테스트 시나리오(LPOINT)

G3 S3노트4

테스트 단말 선택- 시나리오별 단말 선택 (1~3대)- 다양한 해상도(저중고 해상도)

자동테스트 실행 및 결과 확인

- 시나리오별 상세조회 장면별 응답시간 메모리CPU 사용률 등

- 오류장면 검출 확인 정상 장면 대비 예외 장면 오류 장면 등

- 모니터링 결과 결함 발생시 담당자 e-mail 전송

ATAM 서버(PC1)

테스트 결과 확인모니터링

No 시나리오 인증 방식 테스트단말 비고

1 혜택쿠폰로그인하이마트쿠폰다운로드쿠폰자세히보기 IDPW 갤노트4

2 LTEM롯데호텔뷔페이용권이용권선택상품상세정보 없음 갤 노트4 S3 G3

3 LPOINT카드카드안내카드신청휴대폰인증 없음 갤 노트4 S3 G3 동시단말 테스트

4 MY LBOX로그인MY포인트포인트이용내역조회(90일) IDPW 갤 노트4 동시단말 테스트

34

주식회사인터링크시스템

상담 및 문의처

TEL 02-538-5940 FAX 02-538-5928

상무 우철환 010-8487-9727 wch2137interlinkcokr

차장 양 훈 010-2841-1319 hoonyinterlinkcokr

Page 32: 모바일 앱(App) 개발 테스트 솔루션 - 인터링크시스템

[별첨3] 시연 환경 및 시나리오

ATAM 서버(PC1)

bull Windows OSbull 웹서버(NodeExpress)bull DB서버(Maria)bull ATAM Controllerbull 시나리오 생성bull 테스트 실행bull 결과 확인

결과 모니터

앱 실행 환경(무선)bull LTEbull 블루투스 테더링bull WiFi

아이폰 테스트 PC(Mac)

USB

테스트 단말(Test Lab)

클라이언트 PC2

bull Windows OSbull ATAM Controllerbull 시나리오 생성bull 테스트 실행bull 결과 확인

USB

bull Mac OSbull ATAM Controllerbull 시나리오 생성bull 테스트 실행bull 결과 확인

기종 제조사 OS 해상도

1 갤노트4 삼성 512 1440x2560

2 갤럭시S3 삼성 444 720x1280

3 G3 LG 444 1080x1920

∙∙∙

[단말 사양]

[별첨3] 시연 환경 및 시나리오

테스트 시나리오(LPOINT)

G3 S3노트4

테스트 단말 선택- 시나리오별 단말 선택 (1~3대)- 다양한 해상도(저중고 해상도)

자동테스트 실행 및 결과 확인

- 시나리오별 상세조회 장면별 응답시간 메모리CPU 사용률 등

- 오류장면 검출 확인 정상 장면 대비 예외 장면 오류 장면 등

- 모니터링 결과 결함 발생시 담당자 e-mail 전송

ATAM 서버(PC1)

테스트 결과 확인모니터링

No 시나리오 인증 방식 테스트단말 비고

1 혜택쿠폰로그인하이마트쿠폰다운로드쿠폰자세히보기 IDPW 갤노트4

2 LTEM롯데호텔뷔페이용권이용권선택상품상세정보 없음 갤 노트4 S3 G3

3 LPOINT카드카드안내카드신청휴대폰인증 없음 갤 노트4 S3 G3 동시단말 테스트

4 MY LBOX로그인MY포인트포인트이용내역조회(90일) IDPW 갤 노트4 동시단말 테스트

34

주식회사인터링크시스템

상담 및 문의처

TEL 02-538-5940 FAX 02-538-5928

상무 우철환 010-8487-9727 wch2137interlinkcokr

차장 양 훈 010-2841-1319 hoonyinterlinkcokr

Page 33: 모바일 앱(App) 개발 테스트 솔루션 - 인터링크시스템

[별첨3] 시연 환경 및 시나리오

테스트 시나리오(LPOINT)

G3 S3노트4

테스트 단말 선택- 시나리오별 단말 선택 (1~3대)- 다양한 해상도(저중고 해상도)

자동테스트 실행 및 결과 확인

- 시나리오별 상세조회 장면별 응답시간 메모리CPU 사용률 등

- 오류장면 검출 확인 정상 장면 대비 예외 장면 오류 장면 등

- 모니터링 결과 결함 발생시 담당자 e-mail 전송

ATAM 서버(PC1)

테스트 결과 확인모니터링

No 시나리오 인증 방식 테스트단말 비고

1 혜택쿠폰로그인하이마트쿠폰다운로드쿠폰자세히보기 IDPW 갤노트4

2 LTEM롯데호텔뷔페이용권이용권선택상품상세정보 없음 갤 노트4 S3 G3

3 LPOINT카드카드안내카드신청휴대폰인증 없음 갤 노트4 S3 G3 동시단말 테스트

4 MY LBOX로그인MY포인트포인트이용내역조회(90일) IDPW 갤 노트4 동시단말 테스트

34

주식회사인터링크시스템

상담 및 문의처

TEL 02-538-5940 FAX 02-538-5928

상무 우철환 010-8487-9727 wch2137interlinkcokr

차장 양 훈 010-2841-1319 hoonyinterlinkcokr

Page 34: 모바일 앱(App) 개발 테스트 솔루션 - 인터링크시스템

34

주식회사인터링크시스템

상담 및 문의처

TEL 02-538-5940 FAX 02-538-5928

상무 우철환 010-8487-9727 wch2137interlinkcokr

차장 양 훈 010-2841-1319 hoonyinterlinkcokr