모바일 앱(App) 개발 테스트 솔루션 v20160415

1

모바일 앱 테스트진단모니터링 자동화 솔루션

ATAM 소개서2016

APP Test Automation amp Monitoring Solution

목 차

I 테스트자동화의 필요성

II ATAM 기능 소개

III경쟁서비스 비교

IV기대 효과

[별첨] 시연 환경

Ⅰ 테스트자동화의 필요성

bull 앱의 출시 Cycle은 점점 짧아지고 있으며 업데이트가 빈번

bull 품질과 속도전에 대한 대응으로 경쟁력 확보 요구

bull 앱 품질의 미흡 -gt 고객 이탈

bull 새로운 단말의 지속적인 출시

안드로이드 기기 2만4천93 종 브랜드는 1천300개

지금은 앱의 시대 모바일앱 시장의 성장과 함께hellip

0 현재 모바일 시장은


앱 유형별 삭제율은 게임이 623로 가장 높으며 금융 보험이 120로 가장 낮음

bull유형별 모바일 앱 다운로드 현황



앱 만족도는 만화 gt 커뮤니케이션 gt 사진 순 반면 날씨 음악 미디어 금융보험 쇼핑 뉴스정보 등은만족도가 50이하로서 만족도 개선을 위한 노력이 필요함

bull유형별 모바일 앱 만족도


6

시장 다양한 분야에서 모바일 사용량의 급격한 팽창(디지털 트랜스포메이션)

개발환경 PC에서 모바일로 소프트웨어 개발 환경의 빠른 전환(모바일 only)

테스트환경 모바일 테스트 환경은 여전히 수작업에 의존(품질과 속도)

App 개발 Process

1 모바일 테스트 현주소Ⅰ 테스트자동화의 필요성

결론테스트시간 부족으로 기능 성능 등 앱의 전체 시나리오에 대한 테스트 진행은사실상 불가

2 Manual vs Automation(12)Ⅰ 테스트자동화의 필요성

수작업 테스트

bull 짧은 개발 일정과 빈번한 업데이트로 앱 테스트 절대 시간 부족bull 최소 20대 이상의 단말에서 테스트 필요 (Android 10~15종 iPhone 5~7종)bull 테스트 비용과 시간 소모가 큼 (새로운 단말 및 OS 버전 지속 출시)

앱 테스트의 어려움

좁은 test 커버리지

많은 비용 소요

소모적인 시간

Human 에러


자동 테스트

Test Lab

넓은 test커버리지

테스트 고정 비용 절감

테스트 시간 단축

실제 디바이스 사용

급변하는 경쟁 상황에 대응 하기 위한 속도 전 사용자 경험을 반영한 APP의 지속 변경 필요성 Time to market 시간 단축-품질 과 속도

반복 테스트

정확한 결과

Dream Big work smart Test amp deliver fast

생산성은 물론 총 소요비용과 확장성 측면

3 모바일 테스트 자동화 추세

앱테스트는 초기 수작업 테스트에서 스크립트 개발을 통한 자동테스트를 거쳐 최근에는

최소의 스크립트 개발 또는 No-Script 테스트로 전환하는 단계임

수작업 테스트(~2012)

스크립트개발 테스트(반자동)(~2014)

No-Script 테스트(자동)(2015~)

bull 스크립트 개발자 필요bull 모든 단말 기능수작업 테스트

bull 개발자 불필요(no-script)

bull 테스트 품질에 집중

bull App 테스트 및 PLAY

bull 앱 변경 시 장면 교체만으로쉽게 재 테스트

bull 장면 기반의 테스트시나리오

bull 테스트 단말기 미러링(동시6대)

2012 2013 2014 2015 2016

테스트

커버리지

bull Record and play with script

bull 앱 변경시 스크립트 수정 개발 및디버깅 필요

bull 테스트품질은 개발자 역량에 좌우


4 자동화 테스트 기준

bull 반복 테스트 및 모니터링이 필요한 케이스 (서버 변동이 잦은 경우)

bull 주요 핵심 프로세스로서 주기적으로 테스트가 필요한 테스트 케이스

bull 프로그램 변경 시 타 모듈에 영향을 주는 테스트 케이스

bull 다양한 데이터를 테스트 해야 하는 케이스(DDT)

bull 한 개의 시나리오로 여러 종류의 단말기를 테스트하는 케이스

bull 같은 시나리오에서 선택할 데이터가 여러 종류인 경우(예리스트박스)

응답시간 메모리사용량 CPU사용률 등 정량적인 테스트결과 필요 시

gt

gt

gt

gt

gt

gt

모바일 테스트 자동화란 ① 사람 개입을 최소화하고 ② 테스트 환경 설정 및 데이터 구축

③ 테스트 실행과 제어 ④ 테스트 과정 모니터링 및 보고서 등을 자동 생성


gt

5 Development amp Deployment Ⅰ 테스트자동화의 필요성

ADev ampTest

Ops ampInfra

TheCustomer

TheBusiness

DevOps = Development + Operation 개발과 운영 간의 상호작용을원활하게 하는 모든 것

Cloud

AgileDevelopment

DevOpsamp Cloud

6 As-is Test AutomationⅠ 테스트자동화의 필요성

One way flow

요구사항 설 계 개 발 테스팅 운영릴리즈GoNo-Go

지속적으로축적되는 WIP

빌드 및 통합프로세스의 분산

수작업 테스트로 인한 지연 및테스트 커버리지 축소

부족한 테스트로 인한외부 결함 증가

고객 상황에 대한 통찰력 부족 및요구사항 수집의 지연

빌드 및 테스트 환경구성을 위한 시간 낭비

부족한 테스트로인한 배포 연기

수작업 APP 배포로 인한 에러 발생

업무 현황에 대한 가시성 부족으로 인한 Hand-off 발생

Lack of end-to-end visibility and trust

전통적 개발 프로세스 환경

7 To-be Test AutomationⅠ 테스트자동화의 필요성

High velocity frequent quality software release

요구사항 설 계 개 발 테스팅 운영릴리즈

Devops 개발 프로세스 환경

High velocity Frequent feedback loops

자동화 극대화 일상작업 가속화 반복성 실수와 장애 감소 지연 감소 지속적 testing delivery deployment 가시성 확보 모니터링 과 측정을 통한 피드백을 제공

ContinuousEverything

14

8 아태 및 일본지역 데브옵스 적용 현황Ⅰ 테스트자동화의 필요성

아태 및 일본지역 대다수 기업(69)이 데브옵스(DevOps)를 적용하고 있으며 그 가운데 15는 이미 상

당 수준의 데브옵스를 실행하고 있음

출처한국 CA 테크놀로지스(wwwcacomkr)

데브옵스 적용 비율은 56로 데브옵스 적용 주된 이유로

증가하는 고객 요구사항 대응

새롭고 혁신적인 고객 경험 창출

IT를 통한 보다 적극적인 가치 기여를 꼽았다

시장 점유율 증진(3배)

고객 수익성 개선(23배)

고객 유지(22배)

신규 수입원 창출(22배)

고객 창출(2배) 확률

아태 및 일본지역에선

한국의 경우는

데브옵스 활용 수준은 아직 충분치 않다

데브옵스 잠재력을 최대한 활용하기 위해

IT 역량을 높이고 협업과 지속적인 혁신을

도모하는 추진동력을 갖춰야 한다

하지만 hellip

Why ATAM

16

Install amp fetch

ATAM-I

Device Mirroring

ATAM-M

Play automation

ATAM-A

ATAM-F

ATAM-D

ATAM-R

① 계획분석 ② 탐색적 테스트 ③ 테스트 설계구현 ④ 테스트 평가 ⑤ 운영

Full function verification

Dashbord amp Monitoring

Track amp Report

모바일 앱 테스트 서비스는 테스트 계획수립 탐색적 테스트 시나리오 설계 및 자동화 테스트 수행을 통

하여 결함 검출을 극대화시키고 시나리오 및 데이터를 TEST 전 과정에서 재활용합니다

Ⅱ ATAM 제품군 테스트 자동화를 위한 최적의 솔루션 1 ATAM 제품군개요(POSITION)

앱 기능검토환경파악 및 구축

테스트 리스트작성 amp 테스트

자동화 대상선정 amp 테스트

전체 기능 검증

주요 시나리오 모니터링

결과 트랙킹 및 일별주별월별 레포트

ATAM-I INSTALLFETCH TEST ATAM-M MIRROR TEST ATAM-A AUTOMATION TEST

ATAM-F FULL FUNCTION TEST ATAM-D HEALTHY CHECKDASH BOARD ATAM-R REPORT

17

코드를 읽는 것 보다 장면(scene)의 전후 관계를 빨리 파악하여 전체 시스템에 대한 테스

트를 단계별로 빠르게 진행하고 APP의 품질과 시간을 동시에 확보한다

Install amp Fetch Test

Mirroring Test

Full Functional Test

Scenario Auto Test

App Healthy Monitoring

기능전수검사

탐색적테스트

시험환경테스트

시나리오자동화

Test State Diagram(ATAM Family)

모니터링

Test Timing Diagram(ATAM Family)

timeframe

Dev

Ⅱ ATAM 제품군 테스트 자동화를 위한 최적의 솔루션 2 ATAM 제품군 Model

Dev amp Test Ops amp Infra

Start state

End state

Ops

18

ATAM SERVER ATAMDashboard

ATAM Client

ATAM DB Server

Install amp Fetch Tester

Database ConnectionLocal Usb connector

Device farm connector

Wireless Connector

Rule Base Engine

ServerManagement

Business Logic Container

ATAM Management Server DashboardManager (Web)

Report Manager(Web)

SMS 연동 amp E-mail

Mobile APP Healthy Checker

Scenario Explorer

Device Mirroring Tester

Full Functional Tester

Automation Tester


Device Farm Management

Version Management

Ⅱ ATAM 제품군 테스트 자동화를 위한 최적의 솔루션 2 ATAM 제품군 구조 및 특징

앱 분석기(App Test and Crawling)와 시나리오 GUI Navigator를 이용하여 장면 기반 시

나리오 생성하여 스크립트 개발 과정 없이 단말기 선택만으로 테스트가 가능(특허 출원)

Web Server

InternalExternalInterface

Log data 분석

SiSi

Nodejs

Defect Manager

ATAM Mobile Farm

Ⅱ ATAM 제품군 테스트 자동화를 위한 최적의 솔루션 3 ATAM 제품군 개요

전후 장면 기반으로 시뮬레이션을 통한 기능전수검사 미러링 테스트 자동화 테스트를 통

한 APP의 품질 향상 및 테스트 생산성 향상 도구

1 전체 테스트 및 시나리오 생성

bull 앱 분석 및 테스트을 통한 서비스전개도 및 시나리오 생성

bull 실제 앱 화면 기반 시나리오 생성

2 자동 테스트 및 결과 저장 3 실시간 모니터링 amp 분석 결과 리포팅

bull 실 환경과 동일한 단말에서기능 및 성능 측정

bull 오류패턴 공통 장면등 서비스룰 DB화

bull 서비스 출시 후 지속적인 health check 및 모니터링

bull 분석 결과를 다양한 차트 및데이터로 리포트 제공

20

Mirroring Tester를 활용하여 탐색적(경험적) 테스트를 One Scenario ndash Multi Device 기

반으로 진행하고 동시에 시나리오 전개도를 자동 생성하여 재활용 한다

Ⅱ ATAM-M 탐색적(경험적) 테스트를 위한 최적의 솔루션 2 ATAM-M 구조 및 특징

Wireless connector

Local Usbconnector


① ② ③ ④

⑤ ⑥ ⑦ ⑧

실행중인 디바이스 대표창(다른 창으로 전환 가능)

결함장면을 결함 종류별로 패턴 리파지토리에 저장하여 재활용 한다

Ⅱ ATAM-A 테스트 자동화를 위한 최적의 솔루션 4 테스트시나리오 생성

미러링이나 앱 분석기를 통해 테스팅과 동시에 앱 정보 수집 및 전체 서비스 블루프린트 생성하고 실

행 가능한 테스트시나리오 모두 생성하여 테스트 함으로써 테스트 커버리지를 높인다

bull 스크립트 없이 장면 테스트 만으로 시나리오 생성

bull 화면 및 이벤트 저장만으로 시나리오 생성

bull 시나리오는 장면 흐름으로 표시되어 쉽게 식별 가능

bull 앱의 전체 구성도 및 시나리오를 한눈에 확인

Ⅱ ATAM-A 테스트 자동화를 위한 최적의 솔루션 5 테스트 시나리오 생성

시나리오가 실제 장면으로 구성되어쉽게 시나리오 선택 후 테스트

스크립트 개발 없이 사용자의 간단한조작만으로 시나리오 완성 및 테스트

생성된 시나리오를 선택하면 스크립트작성 없이 즉시 테스트

OS 해상도에 상관없이 동시단말 테스트

웹 방식으로 언제 어디서나 접속하여테스트 가능

다수 단말 동시테스트 및 원격 테스트

생성된 전체 서비스 블루프린트와 시나리오 리스트에서 원하는 테스트 시나리오선택

미러링 테스트에서 결함이 없는 시나리오를 복수 단말에서 즉시 동시테스트

Ⅱ ATAM제품군 테스트 자동화를 위한 최적의 솔루션 6 테스트 시나리오 실행

bull 시나리오 진행현황을 실시간으로 모니터링bull 단말 별 시나리오 진행현황을 실시간 확인bull 오류발생 시 e-mail로 담당자에게 실시간 알림

정상 장면 대비 결함 장면에 대한 자동 검출 및 확인 기능하고 오류는 아니나 정상장면과상이한 장면도 자동 검출하며 진척율 상태 등을 실시간 확인할 수 있다

Ⅱ ATAM 제품군 테스트 자동화를 위한 최적의 솔루션 7 테스트 시나리오 변경(단일 장면)

부분 시나리오 수정 시 전체 재 작성이 아닌 부분 장면 만 교체하여 시나리오 변경

bull 변경 대상 장면 또는 장면 셋을 삭제 후 새로운장면으로 교체

bull 스크립트 없이 장면 교체만으로 시나리오 변경

bull 단일장면 교체 확인

Ⅱ ATAM 제품군 테스트 자동화를 위한 최적의 솔루션 8 테스트 시나리오 변경(시나리오셋 변경)

시나리오 중 공통으로 활용 가능한 장면 및 장면 셋을 모듈로 저장하여 시나리오 신규 생성 또는 변경 시 모듈 삽입으로 간편하게 시나리오 생성 및 변경 기능 제공

Ⅱ ATAM 제품군 테스트 자동화를 위한 최적의 솔루션 9 테스트 시나리오 재 사용

시나리오 중 공통으로 활용 가능한 장면 및 장면 셋을 모듈로 저장하여 시나리오 재 사용 가능

솔루션 기능사항 설명

ATAM-AM One scenario Multi device 단말기 OS 등 변경에 따른 시나리오 재사용

No

단말기종수행속도(분초)

평균응답시간(초)

1LG G3 cat6

227 147

2 LG Gflex2 155 121

3 LG G2 205 191

4 갤 노트4 208 235

5갤 S6 edge

219 243

6 갤 노트3 207 125

7 갤 S5 214 176

8 베가노트 218 258

9 갤 S3 220 191

평균 속도 212 187

bull 하나의 시나리오로Multi device 테스트 지원

bull OS종류별 단말 기종 별 9대의단말에서 동시테스트 완료

bull 하나의 PC에서 최대 9대까지수행 확인

평균응답시간 클릭후 장면간 이동완료 시간

Ⅱ ATAM제품군 테스트 자동화를 위한 최적의 솔루션 10 장면 결함 추적 관리

결함 원인분석에 필요한 기본 정보를 제공하여 결함을 등록하고 결함 관리 활동을 수행하여 발생한 결함의 재발생을 막고 유사 결함 발견 시 처리 시간을 단축한다

결함 발생 리스트 및 정상 대비오류화면 비교 결과 제공

결함발생시간 오류내역 메모리 CPU 등오류 확인 기초 정보 제공

결함추적관리

결함추적관리

결함제목 결함설명 심각도 우선순위 재현빈도 상태 담당자 시작일 종료일

Ⅱ ATAM제품군 테스트 자동화를 위한 최적의 솔루션 11 리포트 amp 실시간 모니터링

테스트 결과 로그를 빅 데이타 형태로 DB에 저장 및 분석을 통해 다양한 결과 리포트를 웹

Dashboard에 제공하고 앱 서비스의 상태를 실시간으로 모니터링 할 수 있도록 제공

테스트 결과 리포트 다양한 형태의 차트 및 서비스 실시간 모니터링

- 시나리오 별 장면이벤트 별 성공률 응답시간 메모리CPU 사용률 등 회차 별 비교 분석 제공(반복실행에 따른 메모리 Leak 등 오류 확인)

- 웹 방식으로 제공되기 때문에 언제 어디서나 쉽게 테스트 결과 확인 및 모니터링 가능

I 은행

스크립트 작성 없이 간편하게 GUI형태의 테스트시나리오 생성

모든 시나리오를 실제 장면으로 제공하여 일반 사용자도 쉽게 테스트 가능

일부 시나리오 녹화 방식이 아닌 전체 서비스 시나리오 생성 후 테스트 시나리오 선택 실행

앱 업데이트 시 간단한 시나리오 편집만으로 즉시 테스트 가능

앱 업데이트 시 마다 스크립트 작성 불 필요 (장면 교체 등을 통한 쉬운 업데이트)

공인인증서 등 자주 사용하는 시나리오를 공통 모듈화하여 시나리오 생성시간 최소화

실시간 모니터링 및 Health Check

결과 로그 빅 데이타 DB 저장분석으로 실시간 리포트 확인

서비스 상황 실시간 체크 가능(구간별)

Ⅱ ATAM제품군 테스트 자동화를 위한 최적의 솔루션 12 ATAM 특징 요약

1

3

4

해상도OS별 다수 단말 동시테스트 및 어디서나 원격 테스트 가능

하나의 시나리오로 해상도와 OS가 다른 다수의 단말을 동시 반복테스트

하나의 시나리오로 여러 단말 동시테스트

2

Web 방식으로 단말의 위치와 관계없이 테스트 가능

원격지의 단말도 테스트 가능

테스터의 테스트 상황을 관리자가 원격에서도 실시간 모니터링 가능

5

Ⅲ Competitive Advantage 1 기능 비교

ATAM은 경쟁솔루션 대비 전체 서비스블루프린트(구성도) 제공 스크립트 개발

자 불필요 최단시간 시나리오 자동 생성 등 차별화 서비스 제공으로 최고 수준

의 경쟁력 확보

구 분 ATAM G사(국내) H사(미국) S사(미국) 비고

전체 서비스구성도 제공(장면 기반 전개도)

X X X 뱅킹앱의 경우 약 700장면

테스트시나리오 생성시간(500장면 기준)

1일 1개월 15개월 1개월

장면당 평균 생성시간 (추정)- 스크립트 작성 및 디버깅 완료- 복수단말 테스트 가능상태 기준(1인 작성시간 기준)

테스트방식장면 크롤링

(시나리오 선택 실행)Record amp Play(스크립트 편집)

Record amp Play(스크립트 편집)


실시간 모니터링 X X ATAM 다양한 차트 그래프 제공

스크립트 개발자 불필요 필요 필요 필요 경쟁사는 스크립트 개발역량에 좌우

사용 방식 웹 방식 CS 방식(Client 설치) CS 방식(Client 설치) CS 방식(Client 설치) ATAM 원격테스트 가능

사용자수 제한 없음(웹접속) PC Client 설치 수 PC Client 설치 수 PC Client 설치 수

앱 업데이트 적용 방식 장면 교체(장면당 30초) 스크립트 수정 스크립트 수정 스크립트 수정 ATAM유지보수 용이

보안 키패드 반복 테스트 자동 추가 개발 필요 추가 개발 필요 추가 개발 필요 키패드 위치 변경시 테스트 자동화

시나리오 버전 별 비교 X X X 경쟁솔루션 구성도 비교 가능

31

Ⅲ Competitive Advantage 2 제품 Positioning 비교

눈앞의 현실로 다가온 Devops는 기업 문화와 조직 기술 서비스가 모두 관련된 광범위한 개념이다 Devops 의 성패를 좌우하는 것은 지속적인 테스트이며 테스트의 부담을 줄일 수 있는 자동화의 비중이 가장 큰 단계이다

Low High

High

시그널파이어Te

st cove

rage sh

are

Completeness of AutomationLow

FingerTest

AWS

GridOne

SeeTestSk campc

CLAPP

testyd

testnoid

HPMCUFT

Testbird

ATAMcloud

ATAM

Ⅰ

Ⅱ Ⅲ

ⅣⅠ

Ⅱ

Ⅲ

Ⅳ

손가락으로 수작업 테스트하는 수준

여러 기기에서 잘 동작하는지 확인 수준

Script를 구현하여 테스트 자동화 수준

Script 없이 데스트 자동화 수준

어플로스

32

테스트 비용 관점

APP 품질 관점

APP 성능 관점

문제점 해결 방안

bull테스터 인건비bull SCRIPT 작성 엔지니어 비용

bull테스터의 휴먼에러bull낮은 테스트 커버리지bullApp의 가용성 측정 않됨

bull지연시간(hand off)bull시나리오 자동화 어려움

bull멀티 디바이스 자동 미러링bull데이터 기반 테스트 기능(DDT)

bull Full Test Coveragebull App 가용성 상시 모니터링bull결함관리 및 결함발생시 실시간 알람

bull어떤 동작 떄문에 CPU 메모리가 점유되었고 전력소모패턴이나 사용자체감 응답속도를 장면 단위 동시 측정분석

출시 속도 관점

Ⅳ 기대 효과

ATAM 제품군 사용시 짧은 시간에 품질을 향상시켜 고품질의 앱을 유지할 수 있으며 처리시간 메모리

사용량 등 의 성능개선 Point를 제시 합니다

bull쉽게 테스트 시나리오 자동화

bull화면 단위 동시 측정 어려움

테스트 비용 및시간 절감

신뢰성 있는고품질 APP 유지

성능 개선의

Point 제시

빠른 APP 출시로고객 확보

기대효과

새로운 App 개발로 인해 기존의 App 대비 성능 향상 비교

기 사용중인 App의 테스트 가능한 시나리오와 신규 개발된 App의 시나리오를 테스트한 결과를CPUResponse TimeMemory 사용률 등을 비교 분석하여 개선점 도출 및 보완에 활용

bull 기존 앱 의 성능문제로 고객불만 발생하여 신규 클라이언트 앱 개발bull 신규 앱 을 테스트 수행하였으나 신뢰할만한 데이터의 부재

bull 1차 테스트시 응답시간 30 이상 개선되었으나 메모리 사용량 증가 확인

bull ATAM의 메모리 상세분석에서 이미지 가속기 사용확인

bull 고 사양의 폰은 큰 문제가 되지 않으나 저사양 폰에서 다운되는 현상 확인

bull ATAM의 결과 자료를 바탕으로 프로그램 개선 후 오픈(lsquo1512월 현재)

POC를 통해ATAM 선정

ATAM으로테스트 및 분석

[별첨1] ATAM-A 적용사례1_K은행

예금신탁계좌조회

안드로이드

응답시간 메모리사용량 nativeHeap dalvikHeap 기타 cpu_use

AS-IS TO-BE 비율 AS-IS TO-BE 비율 AS-IS TO-BE 비율 AS-IS TO-BE 비율 AS-IS TO-BE 비율 AS-IS TO-BE 비율

Galaxy 6

최소 579 217 37 252039 406504 161 42635 20169 47 66881 78620 118 142523 307715 216 14 18 129

최대 674 492 73 261462 417621 160 42887 20589 48 70636 84433 120 147939 312599 211 20 22 110

평균 635 350 55 254623 412127 162 42756 20371 48 68562 80622 118 143304 311133 217 17 20 118

Galaxy 3

최소 558 238 43 109629 86029 78 - - 21 37 176

최대 3020 331 11 118228 90526 77 - - 39 40 103

평균 1111 288 26 114439 88591 77 - - 34 388 114

베가노트

최소 471 241 51 121530 98593 81 52 56 108

최대 1049 274 26 127300 112120 88 60 61 102

평균 560 250 45 123596 103539 84 562 587 104

G flex2

최소 463 227 49 169669 257117 152 63000 36560 58 51830 57387 111 54839 163170 298 17 17 100

최대 950 275 29 177872 266769 150 65248 37388 57 54691 59346 109 57933 170035 294 26 27 104

평균 589 259 44 174249 263124 151 64015 37111 58 52914 58494 111 57320 167520 292 235 221 94

bull As-Is 대비 To-Be 앱의 응답시간은 빨라졌으나 메모리 사용량은 증가- 개발팀은 메모리사용량이 최소 20~30 개선된 것으로 알고 있었으나 ATAM 테스트결과 이슈 발생- 개발관련 메모리 사용량은 감소하였으나 신규로 적용한 이미지가속기 사용시 기타영역 메모리 사용량 급증- 고사양 단말에서는 이슈가 없으나 갤럭시S2 등 저사양폰에서는 앱이 죽는 현상 발생- 저사양폰의 총메모리 사용량에는 기타영역(이미지 등)은 미포함되어 있음

전체 메모리 사용량은 증가개발 관련 메모리사용은 감소

이미지가속기 관련 기타메모리영역 사용량 급증


6개 단말기에서 18개 신용카드로 3개의 혜택 종류별 테스터 엔지니어가 수작업으로

3회씩 반복테스트를 한다면 324개 시나리오를 테스트 엔지니어 3명이 7일 소요

6 times 18＝ 108개 시나리오

108 times 3＝ 324 개 시나리오

324 times 10분(테스트소요시간)＝

3240분 (약54시간)

54 8시간 times 3회= 7 일 times 3명

현재 수작업으로 5명이 64개의 시

나리오만 테스트 중



540분 (9시간)

9 24시간 times 3회 = 12 일 (6

대 동시 실행)

현재 테스트아웃소싱을 통해 수작업 테스트 진행중이나 불필요한 반복테스트 수작업테스트커버리지부족 주요 서비스에 대한 실시간 모니터링 및 결함 자동 알람 필요성 등으로 자동테스트 솔루션 검토

솔루션 4개사 검토후ATAM 선정

[별첨2] ATAM 적용사례2_L홈쇼핑

[별첨3] ATAM 제품군 적용사례3_키움증권

구축

목표

기대

효과

키움증권 내 MTS 품질팀을 별도로 구성(2명)하여 테스트환경 구축

약 1000개의 시나리오에 대한 전수 검사가 하루 내 가능토록 구축

주문시 현재가를 비교하여 상시 모니터링 되도록 체계구축

일일 테스트 결과를 누구나 확인할 수 있도록 구축

앱 변경시 시나리오가 재활용할 수 있도록 구축(버전관리)

상시 테스트 환경 구축으로 테스트 커버리지를 극대화하여 앱 품질확보

MTS 품질팀의 조기 안정화로 모바일 소프트웨어 역량 확보

Devops 과정에서 시나리오 재활용 성을 높여 최소운영 요원으로 테스트

품질과 속도 확보

[별첨3] 시연 환경 및 시나리오

ATAM 서버(PC1)

bull Windows OSbull 웹서버(NodeExpress)bull DB서버(Maria)bull ATAM Controllerbull 시나리오 생성bull 테스트 실행bull 결과 확인

결과 모니터

앱 실행 환경(무선)bull LTEbull 블루투스 테더링bull WiFi

아이폰 테스트 PC(Mac)

USB

테스트 단말(Test Lab)

클라이언트 PC2

bull Windows OSbull ATAM Controllerbull 시나리오 생성bull 테스트 실행bull 결과 확인

USB

bull Mac OSbull ATAM Controllerbull 시나리오 생성bull 테스트 실행bull 결과 확인

기종 제조사 OS 해상도

1 갤노트4 삼성 512 1440x2560

2 갤럭시S3 삼성 444 720x1280

3 G3 LG 444 1080x1920

∙∙∙

[단말 사양]


테스트 시나리오(LPOINT)

G3 S3노트4

테스트 단말 선택- 시나리오별 단말 선택 (1~3대)- 다양한 해상도(저중고 해상도)

자동테스트 실행 및 결과 확인

- 시나리오별 상세조회 장면별 응답시간 메모리CPU 사용률 등

- 오류장면 검출 확인 정상 장면 대비 예외 장면 오류 장면 등

- 모니터링 결과 결함 발생시 담당자 e-mail 전송

ATAM 서버(PC1)

테스트 결과 확인모니터링

No 시나리오 인증 방식 테스트단말 비고

1 혜택쿠폰로그인하이마트쿠폰다운로드쿠폰자세히보기 IDPW 갤노트4

2 LTEM롯데호텔뷔페이용권이용권선택상품상세정보 없음 갤 노트4 S3 G3

3 LPOINT카드카드안내카드신청휴대폰인증 없음 갤 노트4 S3 G3 동시단말 테스트

4 MY LBOX로그인MY포인트포인트이용내역조회(90일) IDPW 갤 노트4 동시단말 테스트

39

목 차

I 테스트자동화의 필요성

II ATAM 기능 소개

III경쟁서비스 비교

IV기대 효과

[별첨] 시연 환경

















6




App 개발 Process




수작업 테스트





소모적인 시간

Human 에러


자동 테스트

Test Lab






반복 테스트

정확한 결과
















2012 2013 2014 2015 2016

테스트

커버리지













gt

gt

gt

gt

gt

gt




gt


ADev ampTest

Ops ampInfra

TheCustomer

TheBusiness


Cloud

AgileDevelopment

DevOpsamp Cloud


One way flow




















14















한국의 경우는





하지만 hellip

Why ATAM

16

Install amp fetch

ATAM-I

Device Mirroring

ATAM-M

Play automation

ATAM-A

ATAM-F

ATAM-D

ATAM-R




Track amp Report












17




Mirroring Test


Scenario Auto Test


기능전수검사

탐색적테스트




모니터링


timeframe

Dev



Start state

End state

Ops

18


ATAM Client

ATAM DB Server




Wireless Connector

Rule Base Engine

ServerManagement



Report Manager(Web)



Scenario Explorer



Automation Tester



Version Management




Web Server


Log data 분석

SiSi

Nodejs

Defect Manager

ATAM Mobile Farm












20




Wireless connector

Local Usbconnector


① ② ③ ④

⑤ ⑥ ⑦ ⑧

































No



1LG G3 cat6

227 147

2 LG Gflex2 155 121

3 LG G2 205 191

4 갤 노트4 208 235

5갤 S6 edge

219 243

6 갤 노트3 207 125

7 갤 S5 214 176

8 베가노트 218 258

9 갤 S3 220 191

평균 속도 212 187









결함추적관리

결함추적관리








I 은행











1

3

4




2




5






















31



Low High

High


st cove

rage sh

are


FingerTest

AWS

GridOne

SeeTestSk campc

CLAPP

testyd

testnoid

HPMCUFT

Testbird

ATAMcloud

ATAM

Ⅰ

Ⅱ Ⅲ

ⅣⅠ

Ⅱ

Ⅲ

Ⅳ





어플로스

32


APP 품질 관점

APP 성능 관점









Ⅳ 기대 효과







성능 개선의

Point 제시


기대효과












안드로이드



Galaxy 6

최소 579 217 37 252039 406504 161 42635 20169 47 66881 78620 118 142523 307715 216 14 18 129

최대 674 492 73 261462 417621 160 42887 20589 48 70636 84433 120 147939 312599 211 20 22 110

평균 635 350 55 254623 412127 162 42756 20371 48 68562 80622 118 143304 311133 217 17 20 118

Galaxy 3

최소 558 238 43 109629 86029 78 - - 21 37 176

최대 3020 331 11 118228 90526 77 - - 39 40 103

평균 1111 288 26 114439 88591 77 - - 34 388 114

베가노트

최소 471 241 51 121530 98593 81 52 56 108

최대 1049 274 26 127300 112120 88 60 61 102

평균 560 250 45 123596 103539 84 562 587 104

G flex2

최소 463 227 49 169669 257117 152 63000 36560 58 51830 57387 111 54839 163170 298 17 17 100

최대 950 275 29 177872 266769 150 65248 37388 57 54691 59346 109 57933 170035 294 26 27 104

평균 589 259 44 174249 263124 151 64015 37111 58 52914 58494 111 57320 167520 292 235 221 94










3240분 (약54시간)






540분 (9시간)

9 24시간 times 3회 = 12 일 (6

대 동시 실행)





구축

목표

기대

효과











ATAM 서버(PC1)


결과 모니터



USB


클라이언트 PC2


USB



1 갤노트4 삼성 512 1440x2560

2 갤럭시S3 삼성 444 720x1280

3 G3 LG 444 1080x1920

∙∙∙

[단말 사양]



G3 S3노트4






ATAM 서버(PC1)







39

















6




App 개발 Process




수작업 테스트





소모적인 시간

Human 에러


자동 테스트

Test Lab






반복 테스트

정확한 결과
















2012 2013 2014 2015 2016

테스트

커버리지













gt

gt

gt

gt

gt

gt




gt


ADev ampTest

Ops ampInfra

TheCustomer

TheBusiness


Cloud

AgileDevelopment

DevOpsamp Cloud


One way flow




















14















한국의 경우는





하지만 hellip

Why ATAM

16

Install amp fetch

ATAM-I

Device Mirroring

ATAM-M

Play automation

ATAM-A

ATAM-F

ATAM-D

ATAM-R




Track amp Report












17




Mirroring Test


Scenario Auto Test


기능전수검사

탐색적테스트




모니터링


timeframe

Dev



Start state

End state

Ops

18


ATAM Client

ATAM DB Server




Wireless Connector

Rule Base Engine

ServerManagement



Report Manager(Web)



Scenario Explorer



Automation Tester



Version Management




Web Server


Log data 분석

SiSi

Nodejs

Defect Manager

ATAM Mobile Farm












20




Wireless connector

Local Usbconnector


① ② ③ ④

⑤ ⑥ ⑦ ⑧

































No



1LG G3 cat6

227 147

2 LG Gflex2 155 121

3 LG G2 205 191

4 갤 노트4 208 235

5갤 S6 edge

219 243

6 갤 노트3 207 125

7 갤 S5 214 176

8 베가노트 218 258

9 갤 S3 220 191

평균 속도 212 187









결함추적관리

결함추적관리








I 은행











1

3

4




2




5






















31



Low High

High


st cove

rage sh

are


FingerTest

AWS

GridOne

SeeTestSk campc

CLAPP

testyd

testnoid

HPMCUFT

Testbird

ATAMcloud

ATAM

Ⅰ

Ⅱ Ⅲ

ⅣⅠ

Ⅱ

Ⅲ

Ⅳ





어플로스

32


APP 품질 관점

APP 성능 관점









Ⅳ 기대 효과







성능 개선의

Point 제시


기대효과












안드로이드



Galaxy 6

최소 579 217 37 252039 406504 161 42635 20169 47 66881 78620 118 142523 307715 216 14 18 129

최대 674 492 73 261462 417621 160 42887 20589 48 70636 84433 120 147939 312599 211 20 22 110

평균 635 350 55 254623 412127 162 42756 20371 48 68562 80622 118 143304 311133 217 17 20 118

Galaxy 3

최소 558 238 43 109629 86029 78 - - 21 37 176

최대 3020 331 11 118228 90526 77 - - 39 40 103

평균 1111 288 26 114439 88591 77 - - 34 388 114

베가노트

최소 471 241 51 121530 98593 81 52 56 108

최대 1049 274 26 127300 112120 88 60 61 102

평균 560 250 45 123596 103539 84 562 587 104

G flex2

최소 463 227 49 169669 257117 152 63000 36560 58 51830 57387 111 54839 163170 298 17 17 100

최대 950 275 29 177872 266769 150 65248 37388 57 54691 59346 109 57933 170035 294 26 27 104

평균 589 259 44 174249 263124 151 64015 37111 58 52914 58494 111 57320 167520 292 235 221 94










3240분 (약54시간)






540분 (9시간)

9 24시간 times 3회 = 12 일 (6

대 동시 실행)





구축

목표

기대

효과











ATAM 서버(PC1)


결과 모니터



USB


클라이언트 PC2


USB



1 갤노트4 삼성 512 1440x2560

2 갤럭시S3 삼성 444 720x1280

3 G3 LG 444 1080x1920

∙∙∙

[단말 사양]



G3 S3노트4






ATAM 서버(PC1)







39









6




App 개발 Process




수작업 테스트





소모적인 시간

Human 에러


자동 테스트

Test Lab






반복 테스트

정확한 결과
















2012 2013 2014 2015 2016

테스트

커버리지













gt

gt

gt

gt

gt

gt




gt


ADev ampTest

Ops ampInfra

TheCustomer

TheBusiness


Cloud

AgileDevelopment

DevOpsamp Cloud


One way flow




















14















한국의 경우는





하지만 hellip

Why ATAM

16

Install amp fetch

ATAM-I

Device Mirroring

ATAM-M

Play automation

ATAM-A

ATAM-F

ATAM-D

ATAM-R




Track amp Report












17




Mirroring Test


Scenario Auto Test


기능전수검사

탐색적테스트




모니터링


timeframe

Dev



Start state

End state

Ops

18


ATAM Client

ATAM DB Server




Wireless Connector

Rule Base Engine

ServerManagement



Report Manager(Web)



Scenario Explorer



Automation Tester



Version Management




Web Server


Log data 분석

SiSi

Nodejs

Defect Manager

ATAM Mobile Farm












20




Wireless connector

Local Usbconnector


① ② ③ ④

⑤ ⑥ ⑦ ⑧

































No



1LG G3 cat6

227 147

2 LG Gflex2 155 121

3 LG G2 205 191

4 갤 노트4 208 235

5갤 S6 edge

219 243

6 갤 노트3 207 125

7 갤 S5 214 176

8 베가노트 218 258

9 갤 S3 220 191

평균 속도 212 187









결함추적관리

결함추적관리








I 은행











1

3

4




2




5






















31



Low High

High


st cove

rage sh

are


FingerTest

AWS

GridOne

SeeTestSk campc

CLAPP

testyd

testnoid

HPMCUFT

Testbird

ATAMcloud

ATAM

Ⅰ

Ⅱ Ⅲ

ⅣⅠ

Ⅱ

Ⅲ

Ⅳ





어플로스

32


APP 품질 관점

APP 성능 관점









Ⅳ 기대 효과







성능 개선의

Point 제시


기대효과












안드로이드



Galaxy 6

최소 579 217 37 252039 406504 161 42635 20169 47 66881 78620 118 142523 307715 216 14 18 129

최대 674 492 73 261462 417621 160 42887 20589 48 70636 84433 120 147939 312599 211 20 22 110

평균 635 350 55 254623 412127 162 42756 20371 48 68562 80622 118 143304 311133 217 17 20 118

Galaxy 3

최소 558 238 43 109629 86029 78 - - 21 37 176

최대 3020 331 11 118228 90526 77 - - 39 40 103

평균 1111 288 26 114439 88591 77 - - 34 388 114

베가노트

최소 471 241 51 121530 98593 81 52 56 108

최대 1049 274 26 127300 112120 88 60 61 102

평균 560 250 45 123596 103539 84 562 587 104

G flex2

최소 463 227 49 169669 257117 152 63000 36560 58 51830 57387 111 54839 163170 298 17 17 100

최대 950 275 29 177872 266769 150 65248 37388 57 54691 59346 109 57933 170035 294 26 27 104

평균 589 259 44 174249 263124 151 64015 37111 58 52914 58494 111 57320 167520 292 235 221 94










3240분 (약54시간)






540분 (9시간)

9 24시간 times 3회 = 12 일 (6

대 동시 실행)





구축

목표

기대

효과











ATAM 서버(PC1)


결과 모니터



USB


클라이언트 PC2


USB



1 갤노트4 삼성 512 1440x2560

2 갤럭시S3 삼성 444 720x1280

3 G3 LG 444 1080x1920

∙∙∙

[단말 사양]



G3 S3노트4






ATAM 서버(PC1)







39





6




App 개발 Process




수작업 테스트





소모적인 시간

Human 에러


자동 테스트

Test Lab






반복 테스트

정확한 결과
















2012 2013 2014 2015 2016

테스트

커버리지













gt

gt

gt

gt

gt

gt




gt


ADev ampTest

Ops ampInfra

TheCustomer

TheBusiness


Cloud

AgileDevelopment

DevOpsamp Cloud


One way flow




















14















한국의 경우는





하지만 hellip

Why ATAM

16

Install amp fetch

ATAM-I

Device Mirroring

ATAM-M

Play automation

ATAM-A

ATAM-F

ATAM-D

ATAM-R




Track amp Report












17




Mirroring Test


Scenario Auto Test


기능전수검사

탐색적테스트




모니터링


timeframe

Dev



Start state

End state

Ops

18


ATAM Client

ATAM DB Server




Wireless Connector

Rule Base Engine

ServerManagement



Report Manager(Web)



Scenario Explorer



Automation Tester



Version Management




Web Server


Log data 분석

SiSi

Nodejs

Defect Manager

ATAM Mobile Farm












20




Wireless connector

Local Usbconnector


① ② ③ ④

⑤ ⑥ ⑦ ⑧

































No



1LG G3 cat6

227 147

2 LG Gflex2 155 121

3 LG G2 205 191

4 갤 노트4 208 235

5갤 S6 edge

219 243

6 갤 노트3 207 125

7 갤 S5 214 176

8 베가노트 218 258

9 갤 S3 220 191

평균 속도 212 187









결함추적관리

결함추적관리








I 은행











1

3

4




2




5






















31



Low High

High


st cove

rage sh

are


FingerTest

AWS

GridOne

SeeTestSk campc

CLAPP

testyd

testnoid

HPMCUFT

Testbird

ATAMcloud

ATAM

Ⅰ

Ⅱ Ⅲ

ⅣⅠ

Ⅱ

Ⅲ

Ⅳ





어플로스

32


APP 품질 관점

APP 성능 관점









Ⅳ 기대 효과







성능 개선의

Point 제시


기대효과












안드로이드



Galaxy 6

최소 579 217 37 252039 406504 161 42635 20169 47 66881 78620 118 142523 307715 216 14 18 129

최대 674 492 73 261462 417621 160 42887 20589 48 70636 84433 120 147939 312599 211 20 22 110

평균 635 350 55 254623 412127 162 42756 20371 48 68562 80622 118 143304 311133 217 17 20 118

Galaxy 3

최소 558 238 43 109629 86029 78 - - 21 37 176

최대 3020 331 11 118228 90526 77 - - 39 40 103

평균 1111 288 26 114439 88591 77 - - 34 388 114

베가노트

최소 471 241 51 121530 98593 81 52 56 108

최대 1049 274 26 127300 112120 88 60 61 102

평균 560 250 45 123596 103539 84 562 587 104

G flex2

최소 463 227 49 169669 257117 152 63000 36560 58 51830 57387 111 54839 163170 298 17 17 100

최대 950 275 29 177872 266769 150 65248 37388 57 54691 59346 109 57933 170035 294 26 27 104

평균 589 259 44 174249 263124 151 64015 37111 58 52914 58494 111 57320 167520 292 235 221 94










3240분 (약54시간)






540분 (9시간)

9 24시간 times 3회 = 12 일 (6

대 동시 실행)





구축

목표

기대

효과











ATAM 서버(PC1)


결과 모니터



USB


클라이언트 PC2


USB



1 갤노트4 삼성 512 1440x2560

2 갤럭시S3 삼성 444 720x1280

3 G3 LG 444 1080x1920

∙∙∙

[단말 사양]



G3 S3노트4






ATAM 서버(PC1)







39

6




App 개발 Process




수작업 테스트





소모적인 시간

Human 에러


자동 테스트

Test Lab






반복 테스트

정확한 결과
















2012 2013 2014 2015 2016

테스트

커버리지













gt

gt

gt

gt

gt

gt




gt


ADev ampTest

Ops ampInfra

TheCustomer

TheBusiness


Cloud

AgileDevelopment

DevOpsamp Cloud


One way flow




















14















한국의 경우는





하지만 hellip

Why ATAM

16

Install amp fetch

ATAM-I

Device Mirroring

ATAM-M

Play automation

ATAM-A

ATAM-F

ATAM-D

ATAM-R




Track amp Report












17




Mirroring Test


Scenario Auto Test


기능전수검사

탐색적테스트




모니터링


timeframe

Dev



Start state

End state

Ops

18


ATAM Client

ATAM DB Server




Wireless Connector

Rule Base Engine

ServerManagement



Report Manager(Web)



Scenario Explorer



Automation Tester



Version Management




Web Server


Log data 분석

SiSi

Nodejs

Defect Manager

ATAM Mobile Farm












20




Wireless connector

Local Usbconnector


① ② ③ ④

⑤ ⑥ ⑦ ⑧

































No



1LG G3 cat6

227 147

2 LG Gflex2 155 121

3 LG G2 205 191

4 갤 노트4 208 235

5갤 S6 edge

219 243

6 갤 노트3 207 125

7 갤 S5 214 176

8 베가노트 218 258

9 갤 S3 220 191

평균 속도 212 187









결함추적관리

결함추적관리








I 은행











1

3

4




2




5






















31



Low High

High


st cove

rage sh

are


FingerTest

AWS

GridOne

SeeTestSk campc

CLAPP

testyd

testnoid

HPMCUFT

Testbird

ATAMcloud

ATAM

Ⅰ

Ⅱ Ⅲ

ⅣⅠ

Ⅱ

Ⅲ

Ⅳ





어플로스

32


APP 품질 관점

APP 성능 관점









Ⅳ 기대 효과







성능 개선의

Point 제시


기대효과












안드로이드



Galaxy 6

최소 579 217 37 252039 406504 161 42635 20169 47 66881 78620 118 142523 307715 216 14 18 129

최대 674 492 73 261462 417621 160 42887 20589 48 70636 84433 120 147939 312599 211 20 22 110

평균 635 350 55 254623 412127 162 42756 20371 48 68562 80622 118 143304 311133 217 17 20 118

Galaxy 3

최소 558 238 43 109629 86029 78 - - 21 37 176

최대 3020 331 11 118228 90526 77 - - 39 40 103

평균 1111 288 26 114439 88591 77 - - 34 388 114

베가노트

최소 471 241 51 121530 98593 81 52 56 108

최대 1049 274 26 127300 112120 88 60 61 102

평균 560 250 45 123596 103539 84 562 587 104

G flex2

최소 463 227 49 169669 257117 152 63000 36560 58 51830 57387 111 54839 163170 298 17 17 100

최대 950 275 29 177872 266769 150 65248 37388 57 54691 59346 109 57933 170035 294 26 27 104

평균 589 259 44 174249 263124 151 64015 37111 58 52914 58494 111 57320 167520 292 235 221 94










3240분 (약54시간)






540분 (9시간)

9 24시간 times 3회 = 12 일 (6

대 동시 실행)





구축

목표

기대

효과











ATAM 서버(PC1)


결과 모니터



USB


클라이언트 PC2


USB



1 갤노트4 삼성 512 1440x2560

2 갤럭시S3 삼성 444 720x1280

3 G3 LG 444 1080x1920

∙∙∙

[단말 사양]



G3 S3노트4






ATAM 서버(PC1)







39


수작업 테스트





소모적인 시간

Human 에러


자동 테스트

Test Lab






반복 테스트

정확한 결과
















2012 2013 2014 2015 2016

테스트

커버리지













gt

gt

gt

gt

gt

gt




gt


ADev ampTest

Ops ampInfra

TheCustomer

TheBusiness


Cloud

AgileDevelopment

DevOpsamp Cloud


One way flow




















14















한국의 경우는





하지만 hellip

Why ATAM

16

Install amp fetch

ATAM-I

Device Mirroring

ATAM-M

Play automation

ATAM-A

ATAM-F

ATAM-D

ATAM-R




Track amp Report












17




Mirroring Test


Scenario Auto Test


기능전수검사

탐색적테스트




모니터링


timeframe

Dev



Start state

End state

Ops

18


ATAM Client

ATAM DB Server




Wireless Connector

Rule Base Engine

ServerManagement



Report Manager(Web)



Scenario Explorer



Automation Tester



Version Management




Web Server


Log data 분석

SiSi

Nodejs

Defect Manager

ATAM Mobile Farm












20




Wireless connector

Local Usbconnector


① ② ③ ④

⑤ ⑥ ⑦ ⑧

































No



1LG G3 cat6

227 147

2 LG Gflex2 155 121

3 LG G2 205 191

4 갤 노트4 208 235

5갤 S6 edge

219 243

6 갤 노트3 207 125

7 갤 S5 214 176

8 베가노트 218 258

9 갤 S3 220 191

평균 속도 212 187









결함추적관리

결함추적관리








I 은행











1

3

4




2




5






















31



Low High

High


st cove

rage sh

are


FingerTest

AWS

GridOne

SeeTestSk campc

CLAPP

testyd

testnoid

HPMCUFT

Testbird

ATAMcloud

ATAM

Ⅰ

Ⅱ Ⅲ

ⅣⅠ

Ⅱ

Ⅲ

Ⅳ





어플로스

32


APP 품질 관점

APP 성능 관점









Ⅳ 기대 효과







성능 개선의

Point 제시


기대효과












안드로이드



Galaxy 6

최소 579 217 37 252039 406504 161 42635 20169 47 66881 78620 118 142523 307715 216 14 18 129

최대 674 492 73 261462 417621 160 42887 20589 48 70636 84433 120 147939 312599 211 20 22 110

평균 635 350 55 254623 412127 162 42756 20371 48 68562 80622 118 143304 311133 217 17 20 118

Galaxy 3

최소 558 238 43 109629 86029 78 - - 21 37 176

최대 3020 331 11 118228 90526 77 - - 39 40 103

평균 1111 288 26 114439 88591 77 - - 34 388 114

베가노트

최소 471 241 51 121530 98593 81 52 56 108

최대 1049 274 26 127300 112120 88 60 61 102

평균 560 250 45 123596 103539 84 562 587 104

G flex2

최소 463 227 49 169669 257117 152 63000 36560 58 51830 57387 111 54839 163170 298 17 17 100

최대 950 275 29 177872 266769 150 65248 37388 57 54691 59346 109 57933 170035 294 26 27 104

평균 589 259 44 174249 263124 151 64015 37111 58 52914 58494 111 57320 167520 292 235 221 94










3240분 (약54시간)






540분 (9시간)

9 24시간 times 3회 = 12 일 (6

대 동시 실행)





구축

목표

기대

효과











ATAM 서버(PC1)


결과 모니터



USB


클라이언트 PC2


USB



1 갤노트4 삼성 512 1440x2560

2 갤럭시S3 삼성 444 720x1280

3 G3 LG 444 1080x1920

∙∙∙

[단말 사양]



G3 S3노트4






ATAM 서버(PC1)







39


자동 테스트

Test Lab






반복 테스트

정확한 결과
















2012 2013 2014 2015 2016

테스트

커버리지













gt

gt

gt

gt

gt

gt




gt


ADev ampTest

Ops ampInfra

TheCustomer

TheBusiness


Cloud

AgileDevelopment

DevOpsamp Cloud


One way flow




















14















한국의 경우는





하지만 hellip

Why ATAM

16

Install amp fetch

ATAM-I

Device Mirroring

ATAM-M

Play automation

ATAM-A

ATAM-F

ATAM-D

ATAM-R




Track amp Report












17




Mirroring Test


Scenario Auto Test


기능전수검사

탐색적테스트




모니터링


timeframe

Dev



Start state

End state

Ops

18


ATAM Client

ATAM DB Server




Wireless Connector

Rule Base Engine

ServerManagement



Report Manager(Web)



Scenario Explorer



Automation Tester



Version Management




Web Server


Log data 분석

SiSi

Nodejs

Defect Manager

ATAM Mobile Farm












20




Wireless connector

Local Usbconnector


① ② ③ ④

⑤ ⑥ ⑦ ⑧

































No



1LG G3 cat6

227 147

2 LG Gflex2 155 121

3 LG G2 205 191

4 갤 노트4 208 235

5갤 S6 edge

219 243

6 갤 노트3 207 125

7 갤 S5 214 176

8 베가노트 218 258

9 갤 S3 220 191

평균 속도 212 187









결함추적관리

결함추적관리








I 은행











1

3

4




2




5






















31



Low High

High


st cove

rage sh

are


FingerTest

AWS

GridOne

SeeTestSk campc

CLAPP

testyd

testnoid

HPMCUFT

Testbird

ATAMcloud

ATAM

Ⅰ

Ⅱ Ⅲ

ⅣⅠ

Ⅱ

Ⅲ

Ⅳ





어플로스

32


APP 품질 관점

APP 성능 관점









Ⅳ 기대 효과







성능 개선의

Point 제시


기대효과












안드로이드



Galaxy 6

최소 579 217 37 252039 406504 161 42635 20169 47 66881 78620 118 142523 307715 216 14 18 129

최대 674 492 73 261462 417621 160 42887 20589 48 70636 84433 120 147939 312599 211 20 22 110

평균 635 350 55 254623 412127 162 42756 20371 48 68562 80622 118 143304 311133 217 17 20 118

Galaxy 3

최소 558 238 43 109629 86029 78 - - 21 37 176

최대 3020 331 11 118228 90526 77 - - 39 40 103

평균 1111 288 26 114439 88591 77 - - 34 388 114

베가노트

최소 471 241 51 121530 98593 81 52 56 108

최대 1049 274 26 127300 112120 88 60 61 102

평균 560 250 45 123596 103539 84 562 587 104

G flex2

최소 463 227 49 169669 257117 152 63000 36560 58 51830 57387 111 54839 163170 298 17 17 100

최대 950 275 29 177872 266769 150 65248 37388 57 54691 59346 109 57933 170035 294 26 27 104

평균 589 259 44 174249 263124 151 64015 37111 58 52914 58494 111 57320 167520 292 235 221 94










3240분 (약54시간)






540분 (9시간)

9 24시간 times 3회 = 12 일 (6

대 동시 실행)





구축

목표

기대

효과











ATAM 서버(PC1)


결과 모니터



USB


클라이언트 PC2


USB



1 갤노트4 삼성 512 1440x2560

2 갤럭시S3 삼성 444 720x1280

3 G3 LG 444 1080x1920

∙∙∙

[단말 사양]



G3 S3노트4






ATAM 서버(PC1)







39














2012 2013 2014 2015 2016

테스트

커버리지













gt

gt

gt

gt

gt

gt




gt


ADev ampTest

Ops ampInfra

TheCustomer

TheBusiness


Cloud

AgileDevelopment

DevOpsamp Cloud


One way flow




















14















한국의 경우는





하지만 hellip

Why ATAM

16

Install amp fetch

ATAM-I

Device Mirroring

ATAM-M

Play automation

ATAM-A

ATAM-F

ATAM-D

ATAM-R




Track amp Report












17




Mirroring Test


Scenario Auto Test


기능전수검사

탐색적테스트




모니터링


timeframe

Dev



Start state

End state

Ops

18


ATAM Client

ATAM DB Server




Wireless Connector

Rule Base Engine

ServerManagement



Report Manager(Web)



Scenario Explorer



Automation Tester



Version Management




Web Server


Log data 분석

SiSi

Nodejs

Defect Manager

ATAM Mobile Farm












20




Wireless connector

Local Usbconnector


① ② ③ ④

⑤ ⑥ ⑦ ⑧

































No



1LG G3 cat6

227 147

2 LG Gflex2 155 121

3 LG G2 205 191

4 갤 노트4 208 235

5갤 S6 edge

219 243

6 갤 노트3 207 125

7 갤 S5 214 176

8 베가노트 218 258

9 갤 S3 220 191

평균 속도 212 187









결함추적관리

결함추적관리








I 은행











1

3

4




2




5






















31



Low High

High


st cove

rage sh

are


FingerTest

AWS

GridOne

SeeTestSk campc

CLAPP

testyd

testnoid

HPMCUFT

Testbird

ATAMcloud

ATAM

Ⅰ

Ⅱ Ⅲ

ⅣⅠ

Ⅱ

Ⅲ

Ⅳ





어플로스

32


APP 품질 관점

APP 성능 관점









Ⅳ 기대 효과







성능 개선의

Point 제시


기대효과












안드로이드



Galaxy 6

최소 579 217 37 252039 406504 161 42635 20169 47 66881 78620 118 142523 307715 216 14 18 129

최대 674 492 73 261462 417621 160 42887 20589 48 70636 84433 120 147939 312599 211 20 22 110

평균 635 350 55 254623 412127 162 42756 20371 48 68562 80622 118 143304 311133 217 17 20 118

Galaxy 3

최소 558 238 43 109629 86029 78 - - 21 37 176

최대 3020 331 11 118228 90526 77 - - 39 40 103

평균 1111 288 26 114439 88591 77 - - 34 388 114

베가노트

최소 471 241 51 121530 98593 81 52 56 108

최대 1049 274 26 127300 112120 88 60 61 102

평균 560 250 45 123596 103539 84 562 587 104

G flex2

최소 463 227 49 169669 257117 152 63000 36560 58 51830 57387 111 54839 163170 298 17 17 100

최대 950 275 29 177872 266769 150 65248 37388 57 54691 59346 109 57933 170035 294 26 27 104

평균 589 259 44 174249 263124 151 64015 37111 58 52914 58494 111 57320 167520 292 235 221 94










3240분 (약54시간)






540분 (9시간)

9 24시간 times 3회 = 12 일 (6

대 동시 실행)





구축

목표

기대

효과











ATAM 서버(PC1)


결과 모니터



USB


클라이언트 PC2


USB



1 갤노트4 삼성 512 1440x2560

2 갤럭시S3 삼성 444 720x1280

3 G3 LG 444 1080x1920

∙∙∙

[단말 사양]



G3 S3노트4






ATAM 서버(PC1)







39









gt

gt

gt

gt

gt

gt




gt


ADev ampTest

Ops ampInfra

TheCustomer

TheBusiness


Cloud

AgileDevelopment

DevOpsamp Cloud


One way flow




















14















한국의 경우는





하지만 hellip

Why ATAM

16

Install amp fetch

ATAM-I

Device Mirroring

ATAM-M

Play automation

ATAM-A

ATAM-F

ATAM-D

ATAM-R




Track amp Report












17




Mirroring Test


Scenario Auto Test


기능전수검사

탐색적테스트




모니터링


timeframe

Dev



Start state

End state

Ops

18


ATAM Client

ATAM DB Server




Wireless Connector

Rule Base Engine

ServerManagement



Report Manager(Web)



Scenario Explorer



Automation Tester



Version Management




Web Server


Log data 분석

SiSi

Nodejs

Defect Manager

ATAM Mobile Farm












20




Wireless connector

Local Usbconnector


① ② ③ ④

⑤ ⑥ ⑦ ⑧

































No



1LG G3 cat6

227 147

2 LG Gflex2 155 121

3 LG G2 205 191

4 갤 노트4 208 235

5갤 S6 edge

219 243

6 갤 노트3 207 125

7 갤 S5 214 176

8 베가노트 218 258

9 갤 S3 220 191

평균 속도 212 187









결함추적관리

결함추적관리








I 은행











1

3

4




2




5






















31



Low High

High


st cove

rage sh

are


FingerTest

AWS

GridOne

SeeTestSk campc

CLAPP

testyd

testnoid

HPMCUFT

Testbird

ATAMcloud

ATAM

Ⅰ

Ⅱ Ⅲ

ⅣⅠ

Ⅱ

Ⅲ

Ⅳ





어플로스

32


APP 품질 관점

APP 성능 관점









Ⅳ 기대 효과







성능 개선의

Point 제시


기대효과












안드로이드



Galaxy 6

최소 579 217 37 252039 406504 161 42635 20169 47 66881 78620 118 142523 307715 216 14 18 129

최대 674 492 73 261462 417621 160 42887 20589 48 70636 84433 120 147939 312599 211 20 22 110

평균 635 350 55 254623 412127 162 42756 20371 48 68562 80622 118 143304 311133 217 17 20 118

Galaxy 3

최소 558 238 43 109629 86029 78 - - 21 37 176

최대 3020 331 11 118228 90526 77 - - 39 40 103

평균 1111 288 26 114439 88591 77 - - 34 388 114

베가노트

최소 471 241 51 121530 98593 81 52 56 108

최대 1049 274 26 127300 112120 88 60 61 102

평균 560 250 45 123596 103539 84 562 587 104

G flex2

최소 463 227 49 169669 257117 152 63000 36560 58 51830 57387 111 54839 163170 298 17 17 100

최대 950 275 29 177872 266769 150 65248 37388 57 54691 59346 109 57933 170035 294 26 27 104

평균 589 259 44 174249 263124 151 64015 37111 58 52914 58494 111 57320 167520 292 235 221 94










3240분 (약54시간)






540분 (9시간)

9 24시간 times 3회 = 12 일 (6

대 동시 실행)





구축

목표

기대

효과











ATAM 서버(PC1)


결과 모니터



USB


클라이언트 PC2


USB



1 갤노트4 삼성 512 1440x2560

2 갤럭시S3 삼성 444 720x1280

3 G3 LG 444 1080x1920

∙∙∙

[단말 사양]



G3 S3노트4






ATAM 서버(PC1)







39


ADev ampTest

Ops ampInfra

TheCustomer

TheBusiness


Cloud

AgileDevelopment

DevOpsamp Cloud


One way flow




















14















한국의 경우는





하지만 hellip

Why ATAM

16

Install amp fetch

ATAM-I

Device Mirroring

ATAM-M

Play automation

ATAM-A

ATAM-F

ATAM-D

ATAM-R




Track amp Report












17




Mirroring Test


Scenario Auto Test


기능전수검사

탐색적테스트




모니터링


timeframe

Dev



Start state

End state

Ops

18


ATAM Client

ATAM DB Server




Wireless Connector

Rule Base Engine

ServerManagement



Report Manager(Web)



Scenario Explorer



Automation Tester



Version Management




Web Server


Log data 분석

SiSi

Nodejs

Defect Manager

ATAM Mobile Farm












20




Wireless connector

Local Usbconnector


① ② ③ ④

⑤ ⑥ ⑦ ⑧

































No



1LG G3 cat6

227 147

2 LG Gflex2 155 121

3 LG G2 205 191

4 갤 노트4 208 235

5갤 S6 edge

219 243

6 갤 노트3 207 125

7 갤 S5 214 176

8 베가노트 218 258

9 갤 S3 220 191

평균 속도 212 187









결함추적관리

결함추적관리








I 은행











1

3

4




2




5






















31



Low High

High


st cove

rage sh

are


FingerTest

AWS

GridOne

SeeTestSk campc

CLAPP

testyd

testnoid

HPMCUFT

Testbird

ATAMcloud

ATAM

Ⅰ

Ⅱ Ⅲ

ⅣⅠ

Ⅱ

Ⅲ

Ⅳ





어플로스

32


APP 품질 관점

APP 성능 관점









Ⅳ 기대 효과







성능 개선의

Point 제시


기대효과












안드로이드



Galaxy 6

최소 579 217 37 252039 406504 161 42635 20169 47 66881 78620 118 142523 307715 216 14 18 129

최대 674 492 73 261462 417621 160 42887 20589 48 70636 84433 120 147939 312599 211 20 22 110

평균 635 350 55 254623 412127 162 42756 20371 48 68562 80622 118 143304 311133 217 17 20 118

Galaxy 3

최소 558 238 43 109629 86029 78 - - 21 37 176

최대 3020 331 11 118228 90526 77 - - 39 40 103

평균 1111 288 26 114439 88591 77 - - 34 388 114

베가노트

최소 471 241 51 121530 98593 81 52 56 108

최대 1049 274 26 127300 112120 88 60 61 102

평균 560 250 45 123596 103539 84 562 587 104

G flex2

최소 463 227 49 169669 257117 152 63000 36560 58 51830 57387 111 54839 163170 298 17 17 100

최대 950 275 29 177872 266769 150 65248 37388 57 54691 59346 109 57933 170035 294 26 27 104

평균 589 259 44 174249 263124 151 64015 37111 58 52914 58494 111 57320 167520 292 235 221 94










3240분 (약54시간)






540분 (9시간)

9 24시간 times 3회 = 12 일 (6

대 동시 실행)





구축

목표

기대

효과











ATAM 서버(PC1)


결과 모니터



USB


클라이언트 PC2


USB



1 갤노트4 삼성 512 1440x2560

2 갤럭시S3 삼성 444 720x1280

3 G3 LG 444 1080x1920

∙∙∙

[단말 사양]



G3 S3노트4






ATAM 서버(PC1)







39


One way flow




















14















한국의 경우는





하지만 hellip

Why ATAM

16

Install amp fetch

ATAM-I

Device Mirroring

ATAM-M

Play automation

ATAM-A

ATAM-F

ATAM-D

ATAM-R




Track amp Report












17




Mirroring Test


Scenario Auto Test


기능전수검사

탐색적테스트




모니터링


timeframe

Dev



Start state

End state

Ops

18


ATAM Client

ATAM DB Server




Wireless Connector

Rule Base Engine

ServerManagement



Report Manager(Web)



Scenario Explorer



Automation Tester



Version Management




Web Server


Log data 분석

SiSi

Nodejs

Defect Manager

ATAM Mobile Farm












20




Wireless connector

Local Usbconnector


① ② ③ ④

⑤ ⑥ ⑦ ⑧

































No



1LG G3 cat6

227 147

2 LG Gflex2 155 121

3 LG G2 205 191

4 갤 노트4 208 235

5갤 S6 edge

219 243

6 갤 노트3 207 125

7 갤 S5 214 176

8 베가노트 218 258

9 갤 S3 220 191

평균 속도 212 187









결함추적관리

결함추적관리








I 은행











1

3

4




2




5






















31



Low High

High


st cove

rage sh

are


FingerTest

AWS

GridOne

SeeTestSk campc

CLAPP

testyd

testnoid

HPMCUFT

Testbird

ATAMcloud

ATAM

Ⅰ

Ⅱ Ⅲ

ⅣⅠ

Ⅱ

Ⅲ

Ⅳ





어플로스

32


APP 품질 관점

APP 성능 관점









Ⅳ 기대 효과







성능 개선의

Point 제시


기대효과












안드로이드



Galaxy 6

최소 579 217 37 252039 406504 161 42635 20169 47 66881 78620 118 142523 307715 216 14 18 129

최대 674 492 73 261462 417621 160 42887 20589 48 70636 84433 120 147939 312599 211 20 22 110

평균 635 350 55 254623 412127 162 42756 20371 48 68562 80622 118 143304 311133 217 17 20 118

Galaxy 3

최소 558 238 43 109629 86029 78 - - 21 37 176

최대 3020 331 11 118228 90526 77 - - 39 40 103

평균 1111 288 26 114439 88591 77 - - 34 388 114

베가노트

최소 471 241 51 121530 98593 81 52 56 108

최대 1049 274 26 127300 112120 88 60 61 102

평균 560 250 45 123596 103539 84 562 587 104

G flex2

최소 463 227 49 169669 257117 152 63000 36560 58 51830 57387 111 54839 163170 298 17 17 100

최대 950 275 29 177872 266769 150 65248 37388 57 54691 59346 109 57933 170035 294 26 27 104

평균 589 259 44 174249 263124 151 64015 37111 58 52914 58494 111 57320 167520 292 235 221 94










3240분 (약54시간)






540분 (9시간)

9 24시간 times 3회 = 12 일 (6

대 동시 실행)





구축

목표

기대

효과











ATAM 서버(PC1)


결과 모니터



USB


클라이언트 PC2


USB



1 갤노트4 삼성 512 1440x2560

2 갤럭시S3 삼성 444 720x1280

3 G3 LG 444 1080x1920

∙∙∙

[단말 사양]



G3 S3노트4






ATAM 서버(PC1)







39








14















한국의 경우는





하지만 hellip

Why ATAM

16

Install amp fetch

ATAM-I

Device Mirroring

ATAM-M

Play automation

ATAM-A

ATAM-F

ATAM-D

ATAM-R




Track amp Report












17




Mirroring Test


Scenario Auto Test


기능전수검사

탐색적테스트




모니터링


timeframe

Dev



Start state

End state

Ops

18


ATAM Client

ATAM DB Server




Wireless Connector

Rule Base Engine

ServerManagement



Report Manager(Web)



Scenario Explorer



Automation Tester



Version Management




Web Server


Log data 분석

SiSi

Nodejs

Defect Manager

ATAM Mobile Farm












20




Wireless connector

Local Usbconnector


① ② ③ ④

⑤ ⑥ ⑦ ⑧

































No



1LG G3 cat6

227 147

2 LG Gflex2 155 121

3 LG G2 205 191

4 갤 노트4 208 235

5갤 S6 edge

219 243

6 갤 노트3 207 125

7 갤 S5 214 176

8 베가노트 218 258

9 갤 S3 220 191

평균 속도 212 187









결함추적관리

결함추적관리








I 은행











1

3

4




2




5






















31



Low High

High


st cove

rage sh

are


FingerTest

AWS

GridOne

SeeTestSk campc

CLAPP

testyd

testnoid

HPMCUFT

Testbird

ATAMcloud

ATAM

Ⅰ

Ⅱ Ⅲ

ⅣⅠ

Ⅱ

Ⅲ

Ⅳ





어플로스

32


APP 품질 관점

APP 성능 관점









Ⅳ 기대 효과







성능 개선의

Point 제시


기대효과












안드로이드



Galaxy 6

최소 579 217 37 252039 406504 161 42635 20169 47 66881 78620 118 142523 307715 216 14 18 129

최대 674 492 73 261462 417621 160 42887 20589 48 70636 84433 120 147939 312599 211 20 22 110

평균 635 350 55 254623 412127 162 42756 20371 48 68562 80622 118 143304 311133 217 17 20 118

Galaxy 3

최소 558 238 43 109629 86029 78 - - 21 37 176

최대 3020 331 11 118228 90526 77 - - 39 40 103

평균 1111 288 26 114439 88591 77 - - 34 388 114

베가노트

최소 471 241 51 121530 98593 81 52 56 108

최대 1049 274 26 127300 112120 88 60 61 102

평균 560 250 45 123596 103539 84 562 587 104

G flex2

최소 463 227 49 169669 257117 152 63000 36560 58 51830 57387 111 54839 163170 298 17 17 100

최대 950 275 29 177872 266769 150 65248 37388 57 54691 59346 109 57933 170035 294 26 27 104

평균 589 259 44 174249 263124 151 64015 37111 58 52914 58494 111 57320 167520 292 235 221 94










3240분 (약54시간)






540분 (9시간)

9 24시간 times 3회 = 12 일 (6

대 동시 실행)





구축

목표

기대

효과











ATAM 서버(PC1)


결과 모니터



USB


클라이언트 PC2


USB



1 갤노트4 삼성 512 1440x2560

2 갤럭시S3 삼성 444 720x1280

3 G3 LG 444 1080x1920

∙∙∙

[단말 사양]



G3 S3노트4






ATAM 서버(PC1)







39

14















한국의 경우는





하지만 hellip

Why ATAM

16

Install amp fetch

ATAM-I

Device Mirroring

ATAM-M

Play automation

ATAM-A

ATAM-F

ATAM-D

ATAM-R




Track amp Report












17




Mirroring Test


Scenario Auto Test


기능전수검사

탐색적테스트




모니터링


timeframe

Dev



Start state

End state

Ops

18


ATAM Client

ATAM DB Server




Wireless Connector

Rule Base Engine

ServerManagement



Report Manager(Web)



Scenario Explorer



Automation Tester



Version Management




Web Server


Log data 분석

SiSi

Nodejs

Defect Manager

ATAM Mobile Farm












20




Wireless connector

Local Usbconnector


① ② ③ ④

⑤ ⑥ ⑦ ⑧

































No



1LG G3 cat6

227 147

2 LG Gflex2 155 121

3 LG G2 205 191

4 갤 노트4 208 235

5갤 S6 edge

219 243

6 갤 노트3 207 125

7 갤 S5 214 176

8 베가노트 218 258

9 갤 S3 220 191

평균 속도 212 187









결함추적관리

결함추적관리








I 은행











1

3

4




2




5






















31



Low High

High


st cove

rage sh

are


FingerTest

AWS

GridOne

SeeTestSk campc

CLAPP

testyd

testnoid

HPMCUFT

Testbird

ATAMcloud

ATAM

Ⅰ

Ⅱ Ⅲ

ⅣⅠ

Ⅱ

Ⅲ

Ⅳ





어플로스

32


APP 품질 관점

APP 성능 관점









Ⅳ 기대 효과







성능 개선의

Point 제시


기대효과












안드로이드



Galaxy 6

최소 579 217 37 252039 406504 161 42635 20169 47 66881 78620 118 142523 307715 216 14 18 129

최대 674 492 73 261462 417621 160 42887 20589 48 70636 84433 120 147939 312599 211 20 22 110

평균 635 350 55 254623 412127 162 42756 20371 48 68562 80622 118 143304 311133 217 17 20 118

Galaxy 3

최소 558 238 43 109629 86029 78 - - 21 37 176

최대 3020 331 11 118228 90526 77 - - 39 40 103

평균 1111 288 26 114439 88591 77 - - 34 388 114

베가노트

최소 471 241 51 121530 98593 81 52 56 108

최대 1049 274 26 127300 112120 88 60 61 102

평균 560 250 45 123596 103539 84 562 587 104

G flex2

최소 463 227 49 169669 257117 152 63000 36560 58 51830 57387 111 54839 163170 298 17 17 100

최대 950 275 29 177872 266769 150 65248 37388 57 54691 59346 109 57933 170035 294 26 27 104

평균 589 259 44 174249 263124 151 64015 37111 58 52914 58494 111 57320 167520 292 235 221 94










3240분 (약54시간)






540분 (9시간)

9 24시간 times 3회 = 12 일 (6

대 동시 실행)





구축

목표

기대

효과











ATAM 서버(PC1)


결과 모니터



USB


클라이언트 PC2


USB



1 갤노트4 삼성 512 1440x2560

2 갤럭시S3 삼성 444 720x1280

3 G3 LG 444 1080x1920

∙∙∙

[단말 사양]



G3 S3노트4






ATAM 서버(PC1)







39

Why ATAM

16

Install amp fetch

ATAM-I

Device Mirroring

ATAM-M

Play automation

ATAM-A

ATAM-F

ATAM-D

ATAM-R




Track amp Report












17




Mirroring Test


Scenario Auto Test


기능전수검사

탐색적테스트




모니터링


timeframe

Dev



Start state

End state

Ops

18


ATAM Client

ATAM DB Server




Wireless Connector

Rule Base Engine

ServerManagement



Report Manager(Web)



Scenario Explorer



Automation Tester



Version Management




Web Server


Log data 분석

SiSi

Nodejs

Defect Manager

ATAM Mobile Farm












20




Wireless connector

Local Usbconnector


① ② ③ ④

⑤ ⑥ ⑦ ⑧

































No



1LG G3 cat6

227 147

2 LG Gflex2 155 121

3 LG G2 205 191

4 갤 노트4 208 235

5갤 S6 edge

219 243

6 갤 노트3 207 125

7 갤 S5 214 176

8 베가노트 218 258

9 갤 S3 220 191

평균 속도 212 187









결함추적관리

결함추적관리








I 은행











1

3

4




2




5






















31



Low High

High


st cove

rage sh

are


FingerTest

AWS

GridOne

SeeTestSk campc

CLAPP

testyd

testnoid

HPMCUFT

Testbird

ATAMcloud

ATAM

Ⅰ

Ⅱ Ⅲ

ⅣⅠ

Ⅱ

Ⅲ

Ⅳ





어플로스

32


APP 품질 관점

APP 성능 관점









Ⅳ 기대 효과







성능 개선의

Point 제시


기대효과












안드로이드



Galaxy 6

최소 579 217 37 252039 406504 161 42635 20169 47 66881 78620 118 142523 307715 216 14 18 129

최대 674 492 73 261462 417621 160 42887 20589 48 70636 84433 120 147939 312599 211 20 22 110

평균 635 350 55 254623 412127 162 42756 20371 48 68562 80622 118 143304 311133 217 17 20 118

Galaxy 3

최소 558 238 43 109629 86029 78 - - 21 37 176

최대 3020 331 11 118228 90526 77 - - 39 40 103

평균 1111 288 26 114439 88591 77 - - 34 388 114

베가노트

최소 471 241 51 121530 98593 81 52 56 108

최대 1049 274 26 127300 112120 88 60 61 102

평균 560 250 45 123596 103539 84 562 587 104

G flex2

최소 463 227 49 169669 257117 152 63000 36560 58 51830 57387 111 54839 163170 298 17 17 100

최대 950 275 29 177872 266769 150 65248 37388 57 54691 59346 109 57933 170035 294 26 27 104

평균 589 259 44 174249 263124 151 64015 37111 58 52914 58494 111 57320 167520 292 235 221 94










3240분 (약54시간)






540분 (9시간)

9 24시간 times 3회 = 12 일 (6

대 동시 실행)





구축

목표

기대

효과











ATAM 서버(PC1)


결과 모니터



USB


클라이언트 PC2


USB



1 갤노트4 삼성 512 1440x2560

2 갤럭시S3 삼성 444 720x1280

3 G3 LG 444 1080x1920

∙∙∙

[단말 사양]



G3 S3노트4






ATAM 서버(PC1)







39

16

Install amp fetch

ATAM-I

Device Mirroring

ATAM-M

Play automation

ATAM-A

ATAM-F

ATAM-D

ATAM-R




Track amp Report












17




Mirroring Test


Scenario Auto Test


기능전수검사

탐색적테스트




모니터링


timeframe

Dev



Start state

End state

Ops

18


ATAM Client

ATAM DB Server




Wireless Connector

Rule Base Engine

ServerManagement



Report Manager(Web)



Scenario Explorer



Automation Tester



Version Management




Web Server


Log data 분석

SiSi

Nodejs

Defect Manager

ATAM Mobile Farm












20




Wireless connector

Local Usbconnector


① ② ③ ④

⑤ ⑥ ⑦ ⑧

































No



1LG G3 cat6

227 147

2 LG Gflex2 155 121

3 LG G2 205 191

4 갤 노트4 208 235

5갤 S6 edge

219 243

6 갤 노트3 207 125

7 갤 S5 214 176

8 베가노트 218 258

9 갤 S3 220 191

평균 속도 212 187









결함추적관리

결함추적관리








I 은행











1

3

4




2




5






















31



Low High

High


st cove

rage sh

are


FingerTest

AWS

GridOne

SeeTestSk campc

CLAPP

testyd

testnoid

HPMCUFT

Testbird

ATAMcloud

ATAM

Ⅰ

Ⅱ Ⅲ

ⅣⅠ

Ⅱ

Ⅲ

Ⅳ





어플로스

32


APP 품질 관점

APP 성능 관점









Ⅳ 기대 효과







성능 개선의

Point 제시


기대효과












안드로이드



Galaxy 6

최소 579 217 37 252039 406504 161 42635 20169 47 66881 78620 118 142523 307715 216 14 18 129

최대 674 492 73 261462 417621 160 42887 20589 48 70636 84433 120 147939 312599 211 20 22 110

평균 635 350 55 254623 412127 162 42756 20371 48 68562 80622 118 143304 311133 217 17 20 118

Galaxy 3

최소 558 238 43 109629 86029 78 - - 21 37 176

최대 3020 331 11 118228 90526 77 - - 39 40 103

평균 1111 288 26 114439 88591 77 - - 34 388 114

베가노트

최소 471 241 51 121530 98593 81 52 56 108

최대 1049 274 26 127300 112120 88 60 61 102

평균 560 250 45 123596 103539 84 562 587 104

G flex2

최소 463 227 49 169669 257117 152 63000 36560 58 51830 57387 111 54839 163170 298 17 17 100

최대 950 275 29 177872 266769 150 65248 37388 57 54691 59346 109 57933 170035 294 26 27 104

평균 589 259 44 174249 263124 151 64015 37111 58 52914 58494 111 57320 167520 292 235 221 94










3240분 (약54시간)






540분 (9시간)

9 24시간 times 3회 = 12 일 (6

대 동시 실행)





구축

목표

기대

효과











ATAM 서버(PC1)


결과 모니터



USB


클라이언트 PC2


USB



1 갤노트4 삼성 512 1440x2560

2 갤럭시S3 삼성 444 720x1280

3 G3 LG 444 1080x1920

∙∙∙

[단말 사양]



G3 S3노트4






ATAM 서버(PC1)







39

17




Mirroring Test


Scenario Auto Test


기능전수검사

탐색적테스트




모니터링


timeframe

Dev



Start state

End state

Ops

18


ATAM Client

ATAM DB Server




Wireless Connector

Rule Base Engine

ServerManagement



Report Manager(Web)



Scenario Explorer



Automation Tester



Version Management




Web Server


Log data 분석

SiSi

Nodejs

Defect Manager

ATAM Mobile Farm












20




Wireless connector

Local Usbconnector


① ② ③ ④

⑤ ⑥ ⑦ ⑧

































No



1LG G3 cat6

227 147

2 LG Gflex2 155 121

3 LG G2 205 191

4 갤 노트4 208 235

5갤 S6 edge

219 243

6 갤 노트3 207 125

7 갤 S5 214 176

8 베가노트 218 258

9 갤 S3 220 191

평균 속도 212 187









결함추적관리

결함추적관리








I 은행











1

3

4




2




5






















31



Low High

High


st cove

rage sh

are


FingerTest

AWS

GridOne

SeeTestSk campc

CLAPP

testyd

testnoid

HPMCUFT

Testbird

ATAMcloud

ATAM

Ⅰ

Ⅱ Ⅲ

ⅣⅠ

Ⅱ

Ⅲ

Ⅳ





어플로스

32


APP 품질 관점

APP 성능 관점









Ⅳ 기대 효과







성능 개선의

Point 제시


기대효과












안드로이드



Galaxy 6

최소 579 217 37 252039 406504 161 42635 20169 47 66881 78620 118 142523 307715 216 14 18 129

최대 674 492 73 261462 417621 160 42887 20589 48 70636 84433 120 147939 312599 211 20 22 110

평균 635 350 55 254623 412127 162 42756 20371 48 68562 80622 118 143304 311133 217 17 20 118

Galaxy 3

최소 558 238 43 109629 86029 78 - - 21 37 176

최대 3020 331 11 118228 90526 77 - - 39 40 103

평균 1111 288 26 114439 88591 77 - - 34 388 114

베가노트

최소 471 241 51 121530 98593 81 52 56 108

최대 1049 274 26 127300 112120 88 60 61 102

평균 560 250 45 123596 103539 84 562 587 104

G flex2

최소 463 227 49 169669 257117 152 63000 36560 58 51830 57387 111 54839 163170 298 17 17 100

최대 950 275 29 177872 266769 150 65248 37388 57 54691 59346 109 57933 170035 294 26 27 104

평균 589 259 44 174249 263124 151 64015 37111 58 52914 58494 111 57320 167520 292 235 221 94










3240분 (약54시간)






540분 (9시간)

9 24시간 times 3회 = 12 일 (6

대 동시 실행)





구축

목표

기대

효과











ATAM 서버(PC1)


결과 모니터



USB


클라이언트 PC2


USB



1 갤노트4 삼성 512 1440x2560

2 갤럭시S3 삼성 444 720x1280

3 G3 LG 444 1080x1920

∙∙∙

[단말 사양]



G3 S3노트4






ATAM 서버(PC1)







39

18


ATAM Client

ATAM DB Server




Wireless Connector

Rule Base Engine

ServerManagement



Report Manager(Web)



Scenario Explorer



Automation Tester



Version Management




Web Server


Log data 분석

SiSi

Nodejs

Defect Manager

ATAM Mobile Farm












20




Wireless connector

Local Usbconnector


① ② ③ ④

⑤ ⑥ ⑦ ⑧

































No



1LG G3 cat6

227 147

2 LG Gflex2 155 121

3 LG G2 205 191

4 갤 노트4 208 235

5갤 S6 edge

219 243

6 갤 노트3 207 125

7 갤 S5 214 176

8 베가노트 218 258

9 갤 S3 220 191

평균 속도 212 187









결함추적관리

결함추적관리








I 은행











1

3

4




2




5






















31



Low High

High


st cove

rage sh

are


FingerTest

AWS

GridOne

SeeTestSk campc

CLAPP

testyd

testnoid

HPMCUFT

Testbird

ATAMcloud

ATAM

Ⅰ

Ⅱ Ⅲ

ⅣⅠ

Ⅱ

Ⅲ

Ⅳ





어플로스

32


APP 품질 관점

APP 성능 관점









Ⅳ 기대 효과







성능 개선의

Point 제시


기대효과












안드로이드



Galaxy 6

최소 579 217 37 252039 406504 161 42635 20169 47 66881 78620 118 142523 307715 216 14 18 129

최대 674 492 73 261462 417621 160 42887 20589 48 70636 84433 120 147939 312599 211 20 22 110

평균 635 350 55 254623 412127 162 42756 20371 48 68562 80622 118 143304 311133 217 17 20 118

Galaxy 3

최소 558 238 43 109629 86029 78 - - 21 37 176

최대 3020 331 11 118228 90526 77 - - 39 40 103

평균 1111 288 26 114439 88591 77 - - 34 388 114

베가노트

최소 471 241 51 121530 98593 81 52 56 108

최대 1049 274 26 127300 112120 88 60 61 102

평균 560 250 45 123596 103539 84 562 587 104

G flex2

최소 463 227 49 169669 257117 152 63000 36560 58 51830 57387 111 54839 163170 298 17 17 100

최대 950 275 29 177872 266769 150 65248 37388 57 54691 59346 109 57933 170035 294 26 27 104

평균 589 259 44 174249 263124 151 64015 37111 58 52914 58494 111 57320 167520 292 235 221 94










3240분 (약54시간)






540분 (9시간)

9 24시간 times 3회 = 12 일 (6

대 동시 실행)





구축

목표

기대

효과











ATAM 서버(PC1)


결과 모니터



USB


클라이언트 PC2


USB



1 갤노트4 삼성 512 1440x2560

2 갤럭시S3 삼성 444 720x1280

3 G3 LG 444 1080x1920

∙∙∙

[단말 사양]



G3 S3노트4






ATAM 서버(PC1)







39












20




Wireless connector

Local Usbconnector


① ② ③ ④

⑤ ⑥ ⑦ ⑧

































No



1LG G3 cat6

227 147

2 LG Gflex2 155 121

3 LG G2 205 191

4 갤 노트4 208 235

5갤 S6 edge

219 243

6 갤 노트3 207 125

7 갤 S5 214 176

8 베가노트 218 258

9 갤 S3 220 191

평균 속도 212 187









결함추적관리

결함추적관리








I 은행











1

3

4




2




5






















31



Low High

High


st cove

rage sh

are


FingerTest

AWS

GridOne

SeeTestSk campc

CLAPP

testyd

testnoid

HPMCUFT

Testbird

ATAMcloud

ATAM

Ⅰ

Ⅱ Ⅲ

ⅣⅠ

Ⅱ

Ⅲ

Ⅳ





어플로스

32


APP 품질 관점

APP 성능 관점









Ⅳ 기대 효과







성능 개선의

Point 제시


기대효과












안드로이드



Galaxy 6

최소 579 217 37 252039 406504 161 42635 20169 47 66881 78620 118 142523 307715 216 14 18 129

최대 674 492 73 261462 417621 160 42887 20589 48 70636 84433 120 147939 312599 211 20 22 110

평균 635 350 55 254623 412127 162 42756 20371 48 68562 80622 118 143304 311133 217 17 20 118

Galaxy 3

최소 558 238 43 109629 86029 78 - - 21 37 176

최대 3020 331 11 118228 90526 77 - - 39 40 103

평균 1111 288 26 114439 88591 77 - - 34 388 114

베가노트

최소 471 241 51 121530 98593 81 52 56 108

최대 1049 274 26 127300 112120 88 60 61 102

평균 560 250 45 123596 103539 84 562 587 104

G flex2

최소 463 227 49 169669 257117 152 63000 36560 58 51830 57387 111 54839 163170 298 17 17 100

최대 950 275 29 177872 266769 150 65248 37388 57 54691 59346 109 57933 170035 294 26 27 104

평균 589 259 44 174249 263124 151 64015 37111 58 52914 58494 111 57320 167520 292 235 221 94










3240분 (약54시간)






540분 (9시간)

9 24시간 times 3회 = 12 일 (6

대 동시 실행)





구축

목표

기대

효과











ATAM 서버(PC1)


결과 모니터



USB


클라이언트 PC2


USB



1 갤노트4 삼성 512 1440x2560

2 갤럭시S3 삼성 444 720x1280

3 G3 LG 444 1080x1920

∙∙∙

[단말 사양]



G3 S3노트4






ATAM 서버(PC1)







39

20




Wireless connector

Local Usbconnector


① ② ③ ④

⑤ ⑥ ⑦ ⑧

































No



1LG G3 cat6

227 147

2 LG Gflex2 155 121

3 LG G2 205 191

4 갤 노트4 208 235

5갤 S6 edge

219 243

6 갤 노트3 207 125

7 갤 S5 214 176

8 베가노트 218 258

9 갤 S3 220 191

평균 속도 212 187









결함추적관리

결함추적관리








I 은행











1

3

4




2




5






















31



Low High

High


st cove

rage sh

are


FingerTest

AWS

GridOne

SeeTestSk campc

CLAPP

testyd

testnoid

HPMCUFT

Testbird

ATAMcloud

ATAM

Ⅰ

Ⅱ Ⅲ

ⅣⅠ

Ⅱ

Ⅲ

Ⅳ





어플로스

32


APP 품질 관점

APP 성능 관점









Ⅳ 기대 효과







성능 개선의

Point 제시


기대효과












안드로이드



Galaxy 6

최소 579 217 37 252039 406504 161 42635 20169 47 66881 78620 118 142523 307715 216 14 18 129

최대 674 492 73 261462 417621 160 42887 20589 48 70636 84433 120 147939 312599 211 20 22 110

평균 635 350 55 254623 412127 162 42756 20371 48 68562 80622 118 143304 311133 217 17 20 118

Galaxy 3

최소 558 238 43 109629 86029 78 - - 21 37 176

최대 3020 331 11 118228 90526 77 - - 39 40 103

평균 1111 288 26 114439 88591 77 - - 34 388 114

베가노트

최소 471 241 51 121530 98593 81 52 56 108

최대 1049 274 26 127300 112120 88 60 61 102

평균 560 250 45 123596 103539 84 562 587 104

G flex2

최소 463 227 49 169669 257117 152 63000 36560 58 51830 57387 111 54839 163170 298 17 17 100

최대 950 275 29 177872 266769 150 65248 37388 57 54691 59346 109 57933 170035 294 26 27 104

평균 589 259 44 174249 263124 151 64015 37111 58 52914 58494 111 57320 167520 292 235 221 94










3240분 (약54시간)






540분 (9시간)

9 24시간 times 3회 = 12 일 (6

대 동시 실행)





구축

목표

기대

효과











ATAM 서버(PC1)


결과 모니터



USB


클라이언트 PC2


USB



1 갤노트4 삼성 512 1440x2560

2 갤럭시S3 삼성 444 720x1280

3 G3 LG 444 1080x1920

∙∙∙

[단말 사양]



G3 S3노트4






ATAM 서버(PC1)







39































No



1LG G3 cat6

227 147

2 LG Gflex2 155 121

3 LG G2 205 191

4 갤 노트4 208 235

5갤 S6 edge

219 243

6 갤 노트3 207 125

7 갤 S5 214 176

8 베가노트 218 258

9 갤 S3 220 191

평균 속도 212 187









결함추적관리

결함추적관리








I 은행











1

3

4




2




5






















31



Low High

High


st cove

rage sh

are


FingerTest

AWS

GridOne

SeeTestSk campc

CLAPP

testyd

testnoid

HPMCUFT

Testbird

ATAMcloud

ATAM

Ⅰ

Ⅱ Ⅲ

ⅣⅠ

Ⅱ

Ⅲ

Ⅳ





어플로스

32


APP 품질 관점

APP 성능 관점









Ⅳ 기대 효과







성능 개선의

Point 제시


기대효과












안드로이드



Galaxy 6

최소 579 217 37 252039 406504 161 42635 20169 47 66881 78620 118 142523 307715 216 14 18 129

최대 674 492 73 261462 417621 160 42887 20589 48 70636 84433 120 147939 312599 211 20 22 110

평균 635 350 55 254623 412127 162 42756 20371 48 68562 80622 118 143304 311133 217 17 20 118

Galaxy 3

최소 558 238 43 109629 86029 78 - - 21 37 176

최대 3020 331 11 118228 90526 77 - - 39 40 103

평균 1111 288 26 114439 88591 77 - - 34 388 114

베가노트

최소 471 241 51 121530 98593 81 52 56 108

최대 1049 274 26 127300 112120 88 60 61 102

평균 560 250 45 123596 103539 84 562 587 104

G flex2

최소 463 227 49 169669 257117 152 63000 36560 58 51830 57387 111 54839 163170 298 17 17 100

최대 950 275 29 177872 266769 150 65248 37388 57 54691 59346 109 57933 170035 294 26 27 104

평균 589 259 44 174249 263124 151 64015 37111 58 52914 58494 111 57320 167520 292 235 221 94










3240분 (약54시간)






540분 (9시간)

9 24시간 times 3회 = 12 일 (6

대 동시 실행)





구축

목표

기대

효과











ATAM 서버(PC1)


결과 모니터



USB


클라이언트 PC2


USB



1 갤노트4 삼성 512 1440x2560

2 갤럭시S3 삼성 444 720x1280

3 G3 LG 444 1080x1920

∙∙∙

[단말 사양]



G3 S3노트4






ATAM 서버(PC1)







39
























No



1LG G3 cat6

227 147

2 LG Gflex2 155 121

3 LG G2 205 191

4 갤 노트4 208 235

5갤 S6 edge

219 243

6 갤 노트3 207 125

7 갤 S5 214 176

8 베가노트 218 258

9 갤 S3 220 191

평균 속도 212 187









결함추적관리

결함추적관리








I 은행











1

3

4




2




5






















31



Low High

High


st cove

rage sh

are


FingerTest

AWS

GridOne

SeeTestSk campc

CLAPP

testyd

testnoid

HPMCUFT

Testbird

ATAMcloud

ATAM

Ⅰ

Ⅱ Ⅲ

ⅣⅠ

Ⅱ

Ⅲ

Ⅳ





어플로스

32


APP 품질 관점

APP 성능 관점









Ⅳ 기대 효과







성능 개선의

Point 제시


기대효과












안드로이드



Galaxy 6

최소 579 217 37 252039 406504 161 42635 20169 47 66881 78620 118 142523 307715 216 14 18 129

최대 674 492 73 261462 417621 160 42887 20589 48 70636 84433 120 147939 312599 211 20 22 110

평균 635 350 55 254623 412127 162 42756 20371 48 68562 80622 118 143304 311133 217 17 20 118

Galaxy 3

최소 558 238 43 109629 86029 78 - - 21 37 176

최대 3020 331 11 118228 90526 77 - - 39 40 103

평균 1111 288 26 114439 88591 77 - - 34 388 114

베가노트

최소 471 241 51 121530 98593 81 52 56 108

최대 1049 274 26 127300 112120 88 60 61 102

평균 560 250 45 123596 103539 84 562 587 104

G flex2

최소 463 227 49 169669 257117 152 63000 36560 58 51830 57387 111 54839 163170 298 17 17 100

최대 950 275 29 177872 266769 150 65248 37388 57 54691 59346 109 57933 170035 294 26 27 104

평균 589 259 44 174249 263124 151 64015 37111 58 52914 58494 111 57320 167520 292 235 221 94










3240분 (약54시간)






540분 (9시간)

9 24시간 times 3회 = 12 일 (6

대 동시 실행)





구축

목표

기대

효과











ATAM 서버(PC1)


결과 모니터



USB


클라이언트 PC2


USB



1 갤노트4 삼성 512 1440x2560

2 갤럭시S3 삼성 444 720x1280

3 G3 LG 444 1080x1920

∙∙∙

[단말 사양]



G3 S3노트4






ATAM 서버(PC1)







39















No



1LG G3 cat6

227 147

2 LG Gflex2 155 121

3 LG G2 205 191

4 갤 노트4 208 235

5갤 S6 edge

219 243

6 갤 노트3 207 125

7 갤 S5 214 176

8 베가노트 218 258

9 갤 S3 220 191

평균 속도 212 187









결함추적관리

결함추적관리








I 은행











1

3

4




2




5






















31



Low High

High


st cove

rage sh

are


FingerTest

AWS

GridOne

SeeTestSk campc

CLAPP

testyd

testnoid

HPMCUFT

Testbird

ATAMcloud

ATAM

Ⅰ

Ⅱ Ⅲ

ⅣⅠ

Ⅱ

Ⅲ

Ⅳ





어플로스

32


APP 품질 관점

APP 성능 관점









Ⅳ 기대 효과







성능 개선의

Point 제시


기대효과












안드로이드



Galaxy 6

최소 579 217 37 252039 406504 161 42635 20169 47 66881 78620 118 142523 307715 216 14 18 129

최대 674 492 73 261462 417621 160 42887 20589 48 70636 84433 120 147939 312599 211 20 22 110

평균 635 350 55 254623 412127 162 42756 20371 48 68562 80622 118 143304 311133 217 17 20 118

Galaxy 3

최소 558 238 43 109629 86029 78 - - 21 37 176

최대 3020 331 11 118228 90526 77 - - 39 40 103

평균 1111 288 26 114439 88591 77 - - 34 388 114

베가노트

최소 471 241 51 121530 98593 81 52 56 108

최대 1049 274 26 127300 112120 88 60 61 102

평균 560 250 45 123596 103539 84 562 587 104

G flex2

최소 463 227 49 169669 257117 152 63000 36560 58 51830 57387 111 54839 163170 298 17 17 100

최대 950 275 29 177872 266769 150 65248 37388 57 54691 59346 109 57933 170035 294 26 27 104

평균 589 259 44 174249 263124 151 64015 37111 58 52914 58494 111 57320 167520 292 235 221 94










3240분 (약54시간)






540분 (9시간)

9 24시간 times 3회 = 12 일 (6

대 동시 실행)





구축

목표

기대

효과











ATAM 서버(PC1)


결과 모니터



USB


클라이언트 PC2


USB



1 갤노트4 삼성 512 1440x2560

2 갤럭시S3 삼성 444 720x1280

3 G3 LG 444 1080x1920

∙∙∙

[단말 사양]



G3 S3노트4






ATAM 서버(PC1)







39












No



1LG G3 cat6

227 147

2 LG Gflex2 155 121

3 LG G2 205 191

4 갤 노트4 208 235

5갤 S6 edge

219 243

6 갤 노트3 207 125

7 갤 S5 214 176

8 베가노트 218 258

9 갤 S3 220 191

평균 속도 212 187









결함추적관리

결함추적관리








I 은행











1

3

4




2




5






















31



Low High

High


st cove

rage sh

are


FingerTest

AWS

GridOne

SeeTestSk campc

CLAPP

testyd

testnoid

HPMCUFT

Testbird

ATAMcloud

ATAM

Ⅰ

Ⅱ Ⅲ

ⅣⅠ

Ⅱ

Ⅲ

Ⅳ





어플로스

32


APP 품질 관점

APP 성능 관점









Ⅳ 기대 효과







성능 개선의

Point 제시


기대효과












안드로이드



Galaxy 6

최소 579 217 37 252039 406504 161 42635 20169 47 66881 78620 118 142523 307715 216 14 18 129

최대 674 492 73 261462 417621 160 42887 20589 48 70636 84433 120 147939 312599 211 20 22 110

평균 635 350 55 254623 412127 162 42756 20371 48 68562 80622 118 143304 311133 217 17 20 118

Galaxy 3

최소 558 238 43 109629 86029 78 - - 21 37 176

최대 3020 331 11 118228 90526 77 - - 39 40 103

평균 1111 288 26 114439 88591 77 - - 34 388 114

베가노트

최소 471 241 51 121530 98593 81 52 56 108

최대 1049 274 26 127300 112120 88 60 61 102

평균 560 250 45 123596 103539 84 562 587 104

G flex2

최소 463 227 49 169669 257117 152 63000 36560 58 51830 57387 111 54839 163170 298 17 17 100

최대 950 275 29 177872 266769 150 65248 37388 57 54691 59346 109 57933 170035 294 26 27 104

평균 589 259 44 174249 263124 151 64015 37111 58 52914 58494 111 57320 167520 292 235 221 94










3240분 (약54시간)






540분 (9시간)

9 24시간 times 3회 = 12 일 (6

대 동시 실행)





구축

목표

기대

효과











ATAM 서버(PC1)


결과 모니터



USB


클라이언트 PC2


USB



1 갤노트4 삼성 512 1440x2560

2 갤럭시S3 삼성 444 720x1280

3 G3 LG 444 1080x1920

∙∙∙

[단말 사양]



G3 S3노트4






ATAM 서버(PC1)







39







No



1LG G3 cat6

227 147

2 LG Gflex2 155 121

3 LG G2 205 191

4 갤 노트4 208 235

5갤 S6 edge

219 243

6 갤 노트3 207 125

7 갤 S5 214 176

8 베가노트 218 258

9 갤 S3 220 191

평균 속도 212 187









결함추적관리

결함추적관리








I 은행











1

3

4




2




5






















31



Low High

High


st cove

rage sh

are


FingerTest

AWS

GridOne

SeeTestSk campc

CLAPP

testyd

testnoid

HPMCUFT

Testbird

ATAMcloud

ATAM

Ⅰ

Ⅱ Ⅲ

ⅣⅠ

Ⅱ

Ⅲ

Ⅳ





어플로스

32


APP 품질 관점

APP 성능 관점









Ⅳ 기대 효과







성능 개선의

Point 제시


기대효과












안드로이드



Galaxy 6

최소 579 217 37 252039 406504 161 42635 20169 47 66881 78620 118 142523 307715 216 14 18 129

최대 674 492 73 261462 417621 160 42887 20589 48 70636 84433 120 147939 312599 211 20 22 110

평균 635 350 55 254623 412127 162 42756 20371 48 68562 80622 118 143304 311133 217 17 20 118

Galaxy 3

최소 558 238 43 109629 86029 78 - - 21 37 176

최대 3020 331 11 118228 90526 77 - - 39 40 103

평균 1111 288 26 114439 88591 77 - - 34 388 114

베가노트

최소 471 241 51 121530 98593 81 52 56 108

최대 1049 274 26 127300 112120 88 60 61 102

평균 560 250 45 123596 103539 84 562 587 104

G flex2

최소 463 227 49 169669 257117 152 63000 36560 58 51830 57387 111 54839 163170 298 17 17 100

최대 950 275 29 177872 266769 150 65248 37388 57 54691 59346 109 57933 170035 294 26 27 104

평균 589 259 44 174249 263124 151 64015 37111 58 52914 58494 111 57320 167520 292 235 221 94










3240분 (약54시간)






540분 (9시간)

9 24시간 times 3회 = 12 일 (6

대 동시 실행)





구축

목표

기대

효과











ATAM 서버(PC1)


결과 모니터



USB


클라이언트 PC2


USB



1 갤노트4 삼성 512 1440x2560

2 갤럭시S3 삼성 444 720x1280

3 G3 LG 444 1080x1920

∙∙∙

[단말 사양]



G3 S3노트4






ATAM 서버(PC1)







39





No



1LG G3 cat6

227 147

2 LG Gflex2 155 121

3 LG G2 205 191

4 갤 노트4 208 235

5갤 S6 edge

219 243

6 갤 노트3 207 125

7 갤 S5 214 176

8 베가노트 218 258

9 갤 S3 220 191

평균 속도 212 187









결함추적관리

결함추적관리








I 은행











1

3

4




2




5






















31



Low High

High


st cove

rage sh

are


FingerTest

AWS

GridOne

SeeTestSk campc

CLAPP

testyd

testnoid

HPMCUFT

Testbird

ATAMcloud

ATAM

Ⅰ

Ⅱ Ⅲ

ⅣⅠ

Ⅱ

Ⅲ

Ⅳ





어플로스

32


APP 품질 관점

APP 성능 관점









Ⅳ 기대 효과







성능 개선의

Point 제시


기대효과












안드로이드



Galaxy 6

최소 579 217 37 252039 406504 161 42635 20169 47 66881 78620 118 142523 307715 216 14 18 129

최대 674 492 73 261462 417621 160 42887 20589 48 70636 84433 120 147939 312599 211 20 22 110

평균 635 350 55 254623 412127 162 42756 20371 48 68562 80622 118 143304 311133 217 17 20 118

Galaxy 3

최소 558 238 43 109629 86029 78 - - 21 37 176

최대 3020 331 11 118228 90526 77 - - 39 40 103

평균 1111 288 26 114439 88591 77 - - 34 388 114

베가노트

최소 471 241 51 121530 98593 81 52 56 108

최대 1049 274 26 127300 112120 88 60 61 102

평균 560 250 45 123596 103539 84 562 587 104

G flex2

최소 463 227 49 169669 257117 152 63000 36560 58 51830 57387 111 54839 163170 298 17 17 100

최대 950 275 29 177872 266769 150 65248 37388 57 54691 59346 109 57933 170035 294 26 27 104

평균 589 259 44 174249 263124 151 64015 37111 58 52914 58494 111 57320 167520 292 235 221 94










3240분 (약54시간)






540분 (9시간)

9 24시간 times 3회 = 12 일 (6

대 동시 실행)





구축

목표

기대

효과











ATAM 서버(PC1)


결과 모니터



USB


클라이언트 PC2


USB



1 갤노트4 삼성 512 1440x2560

2 갤럭시S3 삼성 444 720x1280

3 G3 LG 444 1080x1920

∙∙∙

[단말 사양]



G3 S3노트4






ATAM 서버(PC1)







39





결함추적관리

결함추적관리








I 은행











1

3

4




2




5






















31



Low High

High


st cove

rage sh

are


FingerTest

AWS

GridOne

SeeTestSk campc

CLAPP

testyd

testnoid

HPMCUFT

Testbird

ATAMcloud

ATAM

Ⅰ

Ⅱ Ⅲ

ⅣⅠ

Ⅱ

Ⅲ

Ⅳ





어플로스

32


APP 품질 관점

APP 성능 관점









Ⅳ 기대 효과







성능 개선의

Point 제시


기대효과












안드로이드



Galaxy 6

최소 579 217 37 252039 406504 161 42635 20169 47 66881 78620 118 142523 307715 216 14 18 129

최대 674 492 73 261462 417621 160 42887 20589 48 70636 84433 120 147939 312599 211 20 22 110

평균 635 350 55 254623 412127 162 42756 20371 48 68562 80622 118 143304 311133 217 17 20 118

Galaxy 3

최소 558 238 43 109629 86029 78 - - 21 37 176

최대 3020 331 11 118228 90526 77 - - 39 40 103

평균 1111 288 26 114439 88591 77 - - 34 388 114

베가노트

최소 471 241 51 121530 98593 81 52 56 108

최대 1049 274 26 127300 112120 88 60 61 102

평균 560 250 45 123596 103539 84 562 587 104

G flex2

최소 463 227 49 169669 257117 152 63000 36560 58 51830 57387 111 54839 163170 298 17 17 100

최대 950 275 29 177872 266769 150 65248 37388 57 54691 59346 109 57933 170035 294 26 27 104

평균 589 259 44 174249 263124 151 64015 37111 58 52914 58494 111 57320 167520 292 235 221 94










3240분 (약54시간)






540분 (9시간)

9 24시간 times 3회 = 12 일 (6

대 동시 실행)





구축

목표

기대

효과











ATAM 서버(PC1)


결과 모니터



USB


클라이언트 PC2


USB



1 갤노트4 삼성 512 1440x2560

2 갤럭시S3 삼성 444 720x1280

3 G3 LG 444 1080x1920

∙∙∙

[단말 사양]



G3 S3노트4






ATAM 서버(PC1)







39







I 은행











1

3

4




2




5






















31



Low High

High


st cove

rage sh

are


FingerTest

AWS

GridOne

SeeTestSk campc

CLAPP

testyd

testnoid

HPMCUFT

Testbird

ATAMcloud

ATAM

Ⅰ

Ⅱ Ⅲ

ⅣⅠ

Ⅱ

Ⅲ

Ⅳ





어플로스

32


APP 품질 관점

APP 성능 관점









Ⅳ 기대 효과







성능 개선의

Point 제시


기대효과












안드로이드



Galaxy 6

최소 579 217 37 252039 406504 161 42635 20169 47 66881 78620 118 142523 307715 216 14 18 129

최대 674 492 73 261462 417621 160 42887 20589 48 70636 84433 120 147939 312599 211 20 22 110

평균 635 350 55 254623 412127 162 42756 20371 48 68562 80622 118 143304 311133 217 17 20 118

Galaxy 3

최소 558 238 43 109629 86029 78 - - 21 37 176

최대 3020 331 11 118228 90526 77 - - 39 40 103

평균 1111 288 26 114439 88591 77 - - 34 388 114

베가노트

최소 471 241 51 121530 98593 81 52 56 108

최대 1049 274 26 127300 112120 88 60 61 102

평균 560 250 45 123596 103539 84 562 587 104

G flex2

최소 463 227 49 169669 257117 152 63000 36560 58 51830 57387 111 54839 163170 298 17 17 100

최대 950 275 29 177872 266769 150 65248 37388 57 54691 59346 109 57933 170035 294 26 27 104

평균 589 259 44 174249 263124 151 64015 37111 58 52914 58494 111 57320 167520 292 235 221 94










3240분 (약54시간)






540분 (9시간)

9 24시간 times 3회 = 12 일 (6

대 동시 실행)





구축

목표

기대

효과











ATAM 서버(PC1)


결과 모니터



USB


클라이언트 PC2


USB



1 갤노트4 삼성 512 1440x2560

2 갤럭시S3 삼성 444 720x1280

3 G3 LG 444 1080x1920

∙∙∙

[단말 사양]



G3 S3노트4






ATAM 서버(PC1)







39











1

3

4




2




5






















31



Low High

High


st cove

rage sh

are


FingerTest

AWS

GridOne

SeeTestSk campc

CLAPP

testyd

testnoid

HPMCUFT

Testbird

ATAMcloud

ATAM

Ⅰ

Ⅱ Ⅲ

ⅣⅠ

Ⅱ

Ⅲ

Ⅳ





어플로스

32


APP 품질 관점

APP 성능 관점









Ⅳ 기대 효과







성능 개선의

Point 제시


기대효과












안드로이드



Galaxy 6

최소 579 217 37 252039 406504 161 42635 20169 47 66881 78620 118 142523 307715 216 14 18 129

최대 674 492 73 261462 417621 160 42887 20589 48 70636 84433 120 147939 312599 211 20 22 110

평균 635 350 55 254623 412127 162 42756 20371 48 68562 80622 118 143304 311133 217 17 20 118

Galaxy 3

최소 558 238 43 109629 86029 78 - - 21 37 176

최대 3020 331 11 118228 90526 77 - - 39 40 103

평균 1111 288 26 114439 88591 77 - - 34 388 114

베가노트

최소 471 241 51 121530 98593 81 52 56 108

최대 1049 274 26 127300 112120 88 60 61 102

평균 560 250 45 123596 103539 84 562 587 104

G flex2

최소 463 227 49 169669 257117 152 63000 36560 58 51830 57387 111 54839 163170 298 17 17 100

최대 950 275 29 177872 266769 150 65248 37388 57 54691 59346 109 57933 170035 294 26 27 104

평균 589 259 44 174249 263124 151 64015 37111 58 52914 58494 111 57320 167520 292 235 221 94










3240분 (약54시간)






540분 (9시간)

9 24시간 times 3회 = 12 일 (6

대 동시 실행)





구축

목표

기대

효과











ATAM 서버(PC1)


결과 모니터



USB


클라이언트 PC2


USB



1 갤노트4 삼성 512 1440x2560

2 갤럭시S3 삼성 444 720x1280

3 G3 LG 444 1080x1920

∙∙∙

[단말 사양]



G3 S3노트4






ATAM 서버(PC1)







39






















31



Low High

High


st cove

rage sh

are


FingerTest

AWS

GridOne

SeeTestSk campc

CLAPP

testyd

testnoid

HPMCUFT

Testbird

ATAMcloud

ATAM

Ⅰ

Ⅱ Ⅲ

ⅣⅠ

Ⅱ

Ⅲ

Ⅳ





어플로스

32


APP 품질 관점

APP 성능 관점









Ⅳ 기대 효과







성능 개선의

Point 제시


기대효과












안드로이드



Galaxy 6

최소 579 217 37 252039 406504 161 42635 20169 47 66881 78620 118 142523 307715 216 14 18 129

최대 674 492 73 261462 417621 160 42887 20589 48 70636 84433 120 147939 312599 211 20 22 110

평균 635 350 55 254623 412127 162 42756 20371 48 68562 80622 118 143304 311133 217 17 20 118

Galaxy 3

최소 558 238 43 109629 86029 78 - - 21 37 176

최대 3020 331 11 118228 90526 77 - - 39 40 103

평균 1111 288 26 114439 88591 77 - - 34 388 114

베가노트

최소 471 241 51 121530 98593 81 52 56 108

최대 1049 274 26 127300 112120 88 60 61 102

평균 560 250 45 123596 103539 84 562 587 104

G flex2

최소 463 227 49 169669 257117 152 63000 36560 58 51830 57387 111 54839 163170 298 17 17 100

최대 950 275 29 177872 266769 150 65248 37388 57 54691 59346 109 57933 170035 294 26 27 104

평균 589 259 44 174249 263124 151 64015 37111 58 52914 58494 111 57320 167520 292 235 221 94










3240분 (약54시간)






540분 (9시간)

9 24시간 times 3회 = 12 일 (6

대 동시 실행)





구축

목표

기대

효과











ATAM 서버(PC1)


결과 모니터



USB


클라이언트 PC2


USB



1 갤노트4 삼성 512 1440x2560

2 갤럭시S3 삼성 444 720x1280

3 G3 LG 444 1080x1920

∙∙∙

[단말 사양]



G3 S3노트4






ATAM 서버(PC1)







39

31



Low High

High


st cove

rage sh

are


FingerTest

AWS

GridOne

SeeTestSk campc

CLAPP

testyd

testnoid

HPMCUFT

Testbird

ATAMcloud

ATAM

Ⅰ

Ⅱ Ⅲ

ⅣⅠ

Ⅱ

Ⅲ

Ⅳ





어플로스

32


APP 품질 관점

APP 성능 관점









Ⅳ 기대 효과







성능 개선의

Point 제시


기대효과












안드로이드



Galaxy 6

최소 579 217 37 252039 406504 161 42635 20169 47 66881 78620 118 142523 307715 216 14 18 129

최대 674 492 73 261462 417621 160 42887 20589 48 70636 84433 120 147939 312599 211 20 22 110

평균 635 350 55 254623 412127 162 42756 20371 48 68562 80622 118 143304 311133 217 17 20 118

Galaxy 3

최소 558 238 43 109629 86029 78 - - 21 37 176

최대 3020 331 11 118228 90526 77 - - 39 40 103

평균 1111 288 26 114439 88591 77 - - 34 388 114

베가노트

최소 471 241 51 121530 98593 81 52 56 108

최대 1049 274 26 127300 112120 88 60 61 102

평균 560 250 45 123596 103539 84 562 587 104

G flex2

최소 463 227 49 169669 257117 152 63000 36560 58 51830 57387 111 54839 163170 298 17 17 100

최대 950 275 29 177872 266769 150 65248 37388 57 54691 59346 109 57933 170035 294 26 27 104

평균 589 259 44 174249 263124 151 64015 37111 58 52914 58494 111 57320 167520 292 235 221 94










3240분 (약54시간)






540분 (9시간)

9 24시간 times 3회 = 12 일 (6

대 동시 실행)





구축

목표

기대

효과











ATAM 서버(PC1)


결과 모니터



USB


클라이언트 PC2


USB



1 갤노트4 삼성 512 1440x2560

2 갤럭시S3 삼성 444 720x1280

3 G3 LG 444 1080x1920

∙∙∙

[단말 사양]



G3 S3노트4






ATAM 서버(PC1)







39

32


APP 품질 관점

APP 성능 관점









Ⅳ 기대 효과







성능 개선의

Point 제시


기대효과












안드로이드



Galaxy 6

최소 579 217 37 252039 406504 161 42635 20169 47 66881 78620 118 142523 307715 216 14 18 129

최대 674 492 73 261462 417621 160 42887 20589 48 70636 84433 120 147939 312599 211 20 22 110

평균 635 350 55 254623 412127 162 42756 20371 48 68562 80622 118 143304 311133 217 17 20 118

Galaxy 3

최소 558 238 43 109629 86029 78 - - 21 37 176

최대 3020 331 11 118228 90526 77 - - 39 40 103

평균 1111 288 26 114439 88591 77 - - 34 388 114

베가노트

최소 471 241 51 121530 98593 81 52 56 108

최대 1049 274 26 127300 112120 88 60 61 102

평균 560 250 45 123596 103539 84 562 587 104

G flex2

최소 463 227 49 169669 257117 152 63000 36560 58 51830 57387 111 54839 163170 298 17 17 100

최대 950 275 29 177872 266769 150 65248 37388 57 54691 59346 109 57933 170035 294 26 27 104

평균 589 259 44 174249 263124 151 64015 37111 58 52914 58494 111 57320 167520 292 235 221 94










3240분 (약54시간)






540분 (9시간)

9 24시간 times 3회 = 12 일 (6

대 동시 실행)





구축

목표

기대

효과











ATAM 서버(PC1)


결과 모니터



USB


클라이언트 PC2


USB



1 갤노트4 삼성 512 1440x2560

2 갤럭시S3 삼성 444 720x1280

3 G3 LG 444 1080x1920

∙∙∙

[단말 사양]



G3 S3노트4






ATAM 서버(PC1)







39












안드로이드



Galaxy 6

최소 579 217 37 252039 406504 161 42635 20169 47 66881 78620 118 142523 307715 216 14 18 129

최대 674 492 73 261462 417621 160 42887 20589 48 70636 84433 120 147939 312599 211 20 22 110

평균 635 350 55 254623 412127 162 42756 20371 48 68562 80622 118 143304 311133 217 17 20 118

Galaxy 3

최소 558 238 43 109629 86029 78 - - 21 37 176

최대 3020 331 11 118228 90526 77 - - 39 40 103

평균 1111 288 26 114439 88591 77 - - 34 388 114

베가노트

최소 471 241 51 121530 98593 81 52 56 108

최대 1049 274 26 127300 112120 88 60 61 102

평균 560 250 45 123596 103539 84 562 587 104

G flex2

최소 463 227 49 169669 257117 152 63000 36560 58 51830 57387 111 54839 163170 298 17 17 100

최대 950 275 29 177872 266769 150 65248 37388 57 54691 59346 109 57933 170035 294 26 27 104

평균 589 259 44 174249 263124 151 64015 37111 58 52914 58494 111 57320 167520 292 235 221 94










3240분 (약54시간)






540분 (9시간)

9 24시간 times 3회 = 12 일 (6

대 동시 실행)





구축

목표

기대

효과











ATAM 서버(PC1)


결과 모니터



USB


클라이언트 PC2


USB



1 갤노트4 삼성 512 1440x2560

2 갤럭시S3 삼성 444 720x1280

3 G3 LG 444 1080x1920

∙∙∙

[단말 사양]



G3 S3노트4






ATAM 서버(PC1)







39


안드로이드



Galaxy 6

최소 579 217 37 252039 406504 161 42635 20169 47 66881 78620 118 142523 307715 216 14 18 129

최대 674 492 73 261462 417621 160 42887 20589 48 70636 84433 120 147939 312599 211 20 22 110

평균 635 350 55 254623 412127 162 42756 20371 48 68562 80622 118 143304 311133 217 17 20 118

Galaxy 3

최소 558 238 43 109629 86029 78 - - 21 37 176

최대 3020 331 11 118228 90526 77 - - 39 40 103

평균 1111 288 26 114439 88591 77 - - 34 388 114

베가노트

최소 471 241 51 121530 98593 81 52 56 108

최대 1049 274 26 127300 112120 88 60 61 102

평균 560 250 45 123596 103539 84 562 587 104

G flex2

최소 463 227 49 169669 257117 152 63000 36560 58 51830 57387 111 54839 163170 298 17 17 100

최대 950 275 29 177872 266769 150 65248 37388 57 54691 59346 109 57933 170035 294 26 27 104

평균 589 259 44 174249 263124 151 64015 37111 58 52914 58494 111 57320 167520 292 235 221 94










3240분 (약54시간)






540분 (9시간)

9 24시간 times 3회 = 12 일 (6

대 동시 실행)





구축

목표

기대

효과











ATAM 서버(PC1)


결과 모니터



USB


클라이언트 PC2


USB



1 갤노트4 삼성 512 1440x2560

2 갤럭시S3 삼성 444 720x1280

3 G3 LG 444 1080x1920

∙∙∙

[단말 사양]



G3 S3노트4






ATAM 서버(PC1)







39






3240분 (약54시간)






540분 (9시간)

9 24시간 times 3회 = 12 일 (6

대 동시 실행)





구축

목표

기대

효과











ATAM 서버(PC1)


결과 모니터



USB


클라이언트 PC2


USB



1 갤노트4 삼성 512 1440x2560

2 갤럭시S3 삼성 444 720x1280

3 G3 LG 444 1080x1920

∙∙∙

[단말 사양]



G3 S3노트4






ATAM 서버(PC1)







39


구축

목표

기대

효과











ATAM 서버(PC1)


결과 모니터



USB


클라이언트 PC2


USB



1 갤노트4 삼성 512 1440x2560

2 갤럭시S3 삼성 444 720x1280

3 G3 LG 444 1080x1920

∙∙∙

[단말 사양]



G3 S3노트4






ATAM 서버(PC1)







39


ATAM 서버(PC1)


결과 모니터



USB


클라이언트 PC2


USB



1 갤노트4 삼성 512 1440x2560

2 갤럭시S3 삼성 444 720x1280

3 G3 LG 444 1080x1920

∙∙∙

[단말 사양]



G3 S3노트4






ATAM 서버(PC1)







39



G3 S3노트4






ATAM 서버(PC1)







39

39

Software

모바일 앱(App) 개발 테스트 솔루션 v20160415