Summary hp taas_ff

무단 전재 재배포 금지

본 PDF 문서는 IDG Korea의 프리미엄 회원에게 제공하는 문서로, 저작권법의 보호를 받습니다.

IDG Korea의 허락 없이 PDF 문서를 온라인 사이트 등에 무단 게재, 전재하거나 유포할 수 없습니다.

I D G S u m m a r y ┃ HP Testing as a Service

“완성형 테스트 서비스”

TaaS의 이해SMAC(Social, Mobile, Analytics, Cloud)으로 대표되는 IT 메가트렌드로 애플리케이션 환경이 복

잡다단하게 변화하고 있으며, 이에 대응하는 테스트 서비스 역시 IT 환경 변화에 대응하기 위해

진화를 거듭하고 있다. 특히 클라우드 서비스의 장점을 살린 TaaS(Testing as a Service)는 기

존 자체 테스트와 테스트 아웃소싱의 장점만을 결합해 테스트 품질은 높이면서도 비용은 절감할

수 있는 방안으로 관심을 모으고 있다. 차세대 테스트 환경으로 각광 받고 있다. TaaS의 등장 배

경부터 기본 구성과 특징, 구체적인 사례까지 살펴본다.

Sponsored by

IT World ▶▶▶ 1

IDG Summary│HP Testing as a Service

IT 서비스의 완성을 가름하는 것은 애플리케이션이다. 이 때문에 애플리

케이션의 중요성이 날로 높아지면서 애플리케이션 서비스의 개발과 운

영은 물론, 애플리케이션의 완성도를 결정 짓는 테스트 서비스의 중요성 역시

높아지고 있다.

특히 SMAC(Social, Mobile, Analytics, Cloud)으로 대표되는 IT 메가트렌

드로 애플리케이션 환경이 복잡다단하게 변화하고 있으며, 이에 대응하는 테

스트 서비스 역시 자체적인 발전과 IT 환경 변화에 대응하기 위한 진화를 거듭

하고 있다.

테스트 서비스 모델의 진화

테스트 서비스 역시 처음에는 기업의 IT 조직 내에서 테스트팀을 구성해 자

체적으로 테스트를 진행하는 데서 시작됐다. 물론 IT의 확산과 함께 애플리케

이션 개발도 증가했고, 이에 따라 테스트 작업 역시 증가하면서 테스트 인력도

조금씩 증가하기 시작했다. 하지만 테스트 작업이 증가하는 만큼 테스트 인력

과 장비를 투입하는 단순한 모델은 금방 한계에 부딪혔다.

비용과 운영 효율성 면에서 초기의 테스트 서비스 모델은 여러 가지 문제를

안고 있었다. 기업의 모든 IT 영역이 예산과 효율성의 압박을 받는 가운데, 테

스트 서비스의 생산성과 ROI를 측정하는 것이 불가능했기 때문이다. 테스트는

애플리케이션 개발을 완성하는 요소임에도 불구하고 애플리케이션의 완성도나

품질을 결정하는 핵심 요소라고 평가하기 어렵기 때문이다. 이 때문에 테스트

에 투입되는 입력과 장비는 우선 순위에서 밀리지 않을 수 없었다.

이에 대한 대안으로 부상한 것이 테스트 아웃소싱이다. 테스트 아웃소싱 모

델은 테스트 전문업체나 SI 업체에 테스트 자체를 맡기는 방식으로, 테스트가

필요할 때만 외부 업체에 아웃소싱을 하기 때문에 비용 절감 효과가 크다. 하

지만 반대 급부로 테스트의 품질은 보장할 수 없는 단점이 있다. 또한 테스트

에 대한 노하우가 내부적으로 축적되지 않기 때문에 장기적으로 테스트 품질

이 높아지는 효과도 얻을 수 없다. 특히 국내에서는 외부 업체의 테스트에 대

한 불신감과 테스트 전문업체의 부족 등으로 테스트 아웃소싱은 거의 활성화

되지 못한 상태이다.

클라우드 기반의 테스트 서비스인 TaaS(Testing as a Service)는 이런 기존

“완성형 테스트 서비스” TaaS의 이해

김기배 | HP 소프트웨어 기술 컨설턴트


2 ▶▶▶ IT World

방식의 단점을 보완하고 장점만을 취한 완성형 테스트 서비스 모델이다.

우선 테스트 서비스의 핵심인 테스트 조직을 개발팀이나 운영팀이 아닌 내부

의 전문 조직으로 육성하거나 아웃소싱을 하고. 여기에 테스트 서비스 인프라,

다시 말해 테스트 툴과 IT 인프라, 테스트 시스템과 프로세스, 테스트 산출물

체계 등을 클라우드 기반 서비스로 구현한 것이다. 이렇게 구성된 전문 조직은

특정 프로젝트에 제한되지 않고 기업 내 여러 프로젝트의 테스트 전문조직으

로 활용되며, 테스트 인프라는 클라우드 기반으로 비용 효율적으로 필요한 만

큼 가져다 사용하는 개념이다.

비용과 테스트 품질 “두 마리 토끼 잡기”

테스트는 IT 분야 중에서도 항상 힘들고 인력이나 비용도 부족한 이른바 ‘3D’

분야 중 하나이다. 자체 테스트팀에서 아웃소싱 단계를 거쳐 TaaS로 발전하는

테스트 서비스 모델의 진화는 바로 이런 비용과 품질의 균형을 찾아가는 과정

이라고도 볼 수 있다.

테스트 비용의 증가는 물론 테스트 체계 통합에 대한 요구, 그리고 테스트 역

량이 기업 내부에 축적되어 자산으로 변화되어야 한다는 조건 등이 테스트 서

비스 변화의 한 축이다. 특히 파편화된 테스트 프로세스는 테스트 서비스에 대

한 투입 비용 대비 효과에서 많은 문제가 드러나면서 많은 전문업체들이 최신

기술을 활용한 중앙집중적인 테스트 서비스 체계 구축을 진행하고 있다.

여기에 기술적인 발전과 변화도 한몫을 한다. 테스트 자동화 기술이 발전하

는 한편, 개발의 속도에 대한 요구가 크게 증가했다. 특히 모바일, 클라우드, 빅

데이터, 소셜 등의 핵심 IT 트렌드가 기업 애플리케이션 환경으로 들어오면서

애플리케이션 개발은 양적 질적 변화를 겪고 있으며, 이런 변화는 그대로 테스

유연성, 민첩성, 비용 절감

•높은 프로세스 제어권

•높은 가시성

•높은 비용

•높은 유지보수

•적절하지 않은 프로세스 방법론

•장기적인 보장

•유연하지 않은 계약

•낮은 민첩성

•결과물에 중점을 두지 않은 SLA

•더 빠른 가치 구현

•신속한 ROI

•낮은 초기 비용

•낮은 위험성

•모듈식 서비스 패키지

•유연한 가격 옵션

•강화된 클라우드 서비스

•강화된 자원

•완전한 품질 관리

•가속화된 테스트

•상대적으로 낮은 비용

•고가용성/높은 성과

•적절하지 않은 프로세스 방법론

•높은 유지보수내부 인력

스태프 증원 (Staff Augmentation)

매니지드 테스트 서비스

TaaS(Testing as a Service)



트 수요의 증가를 불러왔다. 모바일 애플리케이션처럼 이전과는 비교할 수 없

는 다양한 테스트 환경을 마련해야 하는 것도 부담을 가중시키는 요인이 된다.

이에 비해 테스트에 대한 투자는 다른 IT 예산과 마찬가지로 줄어들지 않으

면 다행인 것이 일반적인 기업의 상황이다.

TaaS는 클라우드 기반의 테스트 체계를 구축해 비용과 품질 두 마리 토끼를

모두 잡을 수 있다. 테스트 전문 조직을 양성하거나 외부의 전문 인력을 사용

할 수 있다는 점에서 전문 지식과 테스트 품질이란 과제를 해결할 수 있다. 내

부에서 육성한 전문 조직은 기업 내의 다양한 프로젝트에 대한 테스트를 수행

하면서 효율성을 높이고 외부에 서비스를 제공하는 비즈니스로 발전시킬 수도

있으며, 외부 전문 조직은 필요할 때만 이용할 수 있기 때문에 클라우드 서비스

의 비용 효과를 그대로 구현할 수 있다.

“인프라에서 프로세스까지” 엔드 투 엔드 서비스

TaaS의 구성 요소는 IaaS와 PaaS 클라우드 기반

서비스를 통해 프로비저닝되는 테스트 환경과 SaaS

를 통해 프로비저닝되는 테스트 툴과 라이선스, 전문

인력이 제공하는 표준화된 매니지드 테스트 서비스,

그리고 시간을 기준으로 또는 테스트 작업의 범위를

기준으로 정해진 가격으로 정리할 수 있다.

서비스 모델로서의 TaaS는 테스트 서비스 아웃소

싱과 유사한 면이 있다. 테스트에 필요한 인프라를 클

라우드 기반 서비스로 제공하고, 고객의 필요에 따라 테스트 인력까지 지원한

다. 기업 관점에서는 자체적으로 클라우드 기반의 테스트 인프라를 구축해 내부

인력을 통해 자사 내 테스트 수요에 탄력적으로 대응하는 방식이 된다.

기본적으로 고객이 요구사항을 제시하고, 이런 요구사항이나 시나리오의 유

효성을 검증하고 나면, TaaS 업체는 자동화된 프로세스를 통해 각 요구사항을

확인할 수 있는 테스트를 생성한다. 고객의 요청에 따라 테스트가 실행되고, 그

결과물이 의사 결정에 이용되는 것이다.

이 때문에 TaaS는 온디맨드 방식의 서비스를 구현하기 위해 고객의 요청에

대응할 수 있는 고도로 생산적인 서비스 팀을 필요로 한다. HP 역시 HP의 전

문인력과 프로세스, 소프트웨어 툴을 통합해 유연하게 활용할 수 있는 서비스

로서의 테스트 모델을 구현하고 있다.

TaaS 역시 기능 테스트, 성능 테스트, 보안 테스트 등으로 나눌 수 있으며,

각 테스트는 클라우드 기반으로 이루어진다는 것 외에는 기존의 테스트와 동일

한 프로세스와 구성으로 진행된다. 하지만 클라우드 기반의 서비스라는 특성 때

문에 서비스 구성을 위한 중요 요소와 목표 설정이 매우 중요하다.

특히 TaaS는 단순히 인프라나 인력 만이 아니라 툴과 프로세스, 전문 지식

이 통합적으로 제공되는 서비스이기 때문에 테스트 인프라뿐만 아니라 방법론

부터 지적재산권을 포괄적으로 제공해야 하며, SLA와 거버넌스를 통한 서비스



품질의 보장과 결과에 대한 책임까지 엔드 투 엔드 서비스가 구현되어야 한다.

최적화된 운영을 통한 테스트 효율성

TaaS가 기존 테스트 환경의 품질을 유지하면서 비용도 절감할 수 있는 데는

최적화된 테스트 운영 모델이 핵심적인 역할을 한다.

기본적으로 고객은 개발에 중점을 두고 업무를 진행하지만, 테스트 수행에 있

어서도 테스트의 범위와 요구사항, 필요한 테스트 패키지 등을 정의하는 역할

을 맡아야 한다. 자체 테스트와는 달리 테스트의 범위와 정의가 비용과 직결되

기 때문에 추가적인 테스트 요구사항이 발생하지 않도록 신중을 기해야 한다.

고객의 요구사항이 정의되면 TaaS의 역할이 본격적으로 시작되는데, 비용

효율적인 테스트를 위해 TaaS는 온사이트 서비스와 오프사이트 서비스로 나뉘

어진다. 실제 인력이 100% 투입되는 온사이트 서비스에는 테스트 관리자와 테

스트 설계 아키텍트가 참여해 테스트를 설계하고 프로세스를 관리한다.

클라우드 기반 테스트 인프라의 장점을 살린 오프사이트 서비스는 이렇게 설

계된 테스트를 직접 수행하는 역할을 한다. 오프사이트 서비스 인력은 특정 프

로젝트에 종속되지 않고 테스트를 진행할 수 있다는 점에서 비용 절감 효과를

얻는 것이다.

즉 고객 또는 개발 프로젝트에서의 활동은 테스트 요구 사항 분석 및 테스트

애플리케이션 개발

애플리케이션 책임자

테스트 아키텍트

애플리케이션 운영

테스트 서비스 관리자

환경설정 관리자 관리자

테스트 엔지니어

테스트 관리자

설계 검토

애플리케이션 문제 해결

테스트를 위한 애플리케이션 전달

요구사항 검토

테스트 범주 정의

승인

준비사항 검토

프로덕션 단계로

이전

테스트 솔루션의

계획 및 설계

전반적인

서비스 관리

자원 관리

테스트 환경 구축 및 관리

테스트 실행

결과 보고

테스트 프로젝트 관리

온사이트 온/오프사이트



계획 수립 등의 전략 도출 부분으로 최소화하고, 테스트 실행은 오프사이트에

서 진행해 투입 자원 효율의 극대화하는 것이다.

여기에서 클라우드 환경의 장점이 십분 발휘되는데, IaaS, PaaS, SaaS를 통

해 공유 인프라 상에서 독립된 테스트 환경을 제공하고, 오프사이트 테스트 수

행의 용이성을 보장하기 때문이다.

또한 오프사이트 테스트에는 클라우드 기반의 테스트 인프라 뿐만 아니라 거

버넌스 포털을 통한 통제가 핵심적이며, 테스트 툴과 관련 자산의 운영과 유지

보수 역시 중앙에서 통합 관리함으로써 비용 효율성을 극대화할 수 있다.

새로운 환경에서 빛을 발하는 TaaS

TaaS의 이러한 장점은 이미 대기업이나 대형 SI를 중심으로 관심을 모으고

있다. 기존의 서비스를 모두 클라우드 기반 서비스로 전환하려는 시도는 이미

시작되고 있으며, 이런 관점에서 테스트 툴이나 솔루션은 위험성이 낮다는 점

에서 좋은 전환 대상이기 때문이다.

여기에는 기업 애플리케이션이 모바일이나 클라우드 환경으로 확산되면서

생겨나는 새로운 애플리케이션과 관련 테스트 수요도 한몫을 하고 있다. 새로

운 애플리케이션 환경은 기존 환경을 대체하는 것이 아니라 새로이 추가되는

것이기 때문에 더 많은 개발 자원을 필요로 하게 되고, 개발에 투여되는 자원이

증가하는 것과 비례해 테스트에 투여되는 자원도 증가하고 있다.

특히 새로운 애플리케이션 환경은 새로운 테스트 환경을 필요로 하기 때문에

기존 테스트 인프라로는 효율적인 대응이 어려운 요소도 등장하고 있다. 대표

적인 예가 바로 모바일 애플리케이션에 대한 테스트이다.

모바일 애플리케이션은 같은 운영체제를 사용한다고 해서 모든 디바이스에

서 구동되지 않는다. 윈도우 애플리케이션은 제조업체에 관계없이 어느 노트북

고객 개발팀 운영팀

결과 보고

개발자

테스트를 위한 코드 제출

온디맨드 테스트

프라이빗 테스트 자원 풀 퍼블릭 클라우드 자원

애플리케이션 릴리즈프라이빗 테스트 클라우드 컨트롤러

DB

테스트 환경

Taas/테스트 솔루션

테스트 환경

요청



에서나 구동되지만, 모바일 애플리케이션은 삼성 스마트폰에서 구동되는 애플

리케이션이 LG 스마트폰에서 똑같이 구동된다고 장담할 수 없다. 안드로이드

의 경우 같은 운영체제라고 하더라도 버전이 다른 디바이스가 수없이 사용되고

있으며, 제조업체나 통신업체의 맞춤화 작업으로 차이가 발생한다. 한 가지 환

경에서의 테스트를 일반화할 수 없는 것이다.

결국 빠듯한 테스트 자원으로 여러 환경, 여러 디바이스에 대해 테스트를 실

시해야 하고, 결국 기간도 늘어나고 테스트에 사용할 디바이스를 구매하는 비용

도 증가하고 관리해야 하는 지점도 늘어나게 된다. 더구나 이렇게 많은 비용을

투자해 테스트를 진행했다고 해도 일회성으로 끝나 버리면 수많은 문제를 해결

하며 진행한 테스트의 프로세스나 노하우가 전혀 축적되지 못한다.

특히 모바일 애플리케이션은 개발 주기도 굉장히 짧고 빠르게 변화하며 그

가운데 테스트가 차지하는 비중은 적다 보니 애플리케이션의 완성도 자체가 떨

어지는 문제가 발생한다. 앱스토어에서 별 한두 개의 평가를 받는 앱들은 이렇

게 만들어지는 것이다.

TaaS를 이용해 모바일 애플리케이션을 테스트하면, 수많은 모바일 디바이

스와 다양한 네트워크 환경을 포함한 테스트 인프라를 적은 비용으로 이용할

수 있으며, 관련 전문 인력의 지식과 노하우를 이용해 효과적인 테스트를 진행

할 수 있다.

엔드 투 엔드 TaaS를 위한 플랫폼

TaaS의 구현은 인력 만으로 또는 테스트 툴 만으로 이루어지지는 않는다. 왜

냐하면 TaaS의 목적이 단순히 클라우드의 공유 인프라 특성을 이용해 비용 절

감효과를 얻는 데에만 있는 것은 아니기 때문이다. 비용과 함께 애플리케이션의

품질을 향상시켜야 하는데, 이를 위해서는 테스트 플랫폼이 중요하다.

TaaS 구현에서 전문 인력 양성은 중요한 요소이지만, 인력은 매우 유동적인

자산이기 때문에 이들 인력의 활동과 활동을 통해 얻어진 산출물이 체계적으로

HP Quality Center 솔루션

엔드 투 엔드 핵심 애플리케이션 생명주기상 품질 관리

요구사항 관리

테스트 주요 자산 통합 리파지토리 및 엔티티간 추적성 제공

요구사항 정의

요구사항 관리

요구사항 추적

테스트 관리

케이스 생성 AUT 배포

시나리오 구성 테스트 수행

테스트 스케줄링 테스트 결과 관리

환경 프로비저닝 결함 관리



관리되지 않으면 안된다. 전문인력이 진행했던 테스트와 테스트 과정에서 나온

산출물, 프로세스 등이 플랫폼에 기록되고, 아무리 뛰어난 전문인력이라도 통

합된 관리 체계 내에서 정해진 프로세스에 따라 테스트가 진행되기 때문에 일

정한 수준의 품질을 보장할 수 있는 것이다. 또한 이런 정보를 기반으로 테스트

의 지속적인 개선도 이루어진다.

HP TaaS의 핵심 솔루션인 HP 퀄리티 센터(Quality Center)는 애플리케이

션 개발의 시작인 요구사항에서부터 테스트 및 결함까지의 핵심 애플리케이션

품질 관리 단계의 모든 활동 및 자산을 통합 관리하는 플랫폼이다.

핵심 애플리케이션 개발 주기 중 품질활동 관리를 지원하는 업계 유일의 단

일 통합 솔루션으로, 전통적인 환경에서부터 클라우드 환경까지 다양한 시스

템 구성을 지원하며, 웹 기반 인터페이스를 통해 언제 어디에서나 손쉽게 액세

스할 수 있다.

특히 핵심 애플리케이션 생명 주기 자산의 통합 리파지토리를 통해 자산의

공유 및 재사용 환경을 제공하며, 솔루션 연동을 통해 테스트 환경 프로비져닝

및 배포를 자동화할 수 있다.

TaaS 기반의 빠르고 지속적인 테스트 환경을 제공해 애플리케이션 품질 향

상은 물론 테스트 자산의 공유 및 재사용을 통해 테스트 생산성을 높이고 비용

을 절감할 수 있다. 무엇보다도 핵심 애플리케이션 생명주기 전반에 걸친 품질

활동에 대한 가시성을 확보할 수 있으며, 데이터를 기반으로 의사 결정을 내릴

수 있도록 해 준다.

TaaS의 효과를 증명하는 HP TCoE 사례

HP가 제시하는 TaaS 모델과 솔루션은 이미 HP 내부적으로 대규모 구현을

통해 검증을 받았다.

HP에는 전세계 약 30만 명의 HP 직원들 대상으로 IT 서비스를 제공하는 조

직이 있고, 이 조직은 30만 명 규모의 기업을 대상으로 애플리케이션을 개발하

고 인프라를 운영하는 역할을 수행하고 있다. 다른 기업과 마찬가지로 HP의 IT

조직 역시 클라우드나 모빌리티 등 새로운 IT 트렌드에 대응하는 시도가 끊임

없이 이루어지고 있는데, 이중 TCoE(Test Center of Excellence)가 바로 HP

내부의 TaaS 조직이다.

HP는 TaaS 서비스 체계 구축을 위해 현황 분석, 전략 도출, 단계적인 전환과

단계적인 서비스, 그리고 성숙화 및 확산의 과정을 거쳐 서비스를 고도화했다.

먼저 각 테스트 유형별 자원 운영의 유연성과 투입 기간에 따른 분석을 통해

TaaS 서비스로의 전환 대상과 효과를 극대화할 수 있는 유형을 분류했다. 이런

분석을 기반으로 우선 인력 투입이 많이 요구되는 서비스 유형을 1차 전환 대

상으로 정했으며, TaaS에 필요한 프레임워크를 구성하는 작업을 병행했다. 그

리고 지속적인 파일럿 테스트를 통해 통해 전환 서비스의 안정화를 도모했다.

총 12개월에 걸친 TaaS로의 전환 프로젝트는 기존 애플리케이션 관리 서비

스의 테스트 영역에 단계적으로 적용해 완성했으며, 이를 통해 애플리케이션 관



리 서비스 비용을 최적화해 고객의 비용 절감 요구를 수용할 수 있었다.

특히 전환이 성공적으로 마무리되는 것과 동시에 TaaS 서비스의 성숙도 모

델을 수립하고 지속적인 투자를 통해 완성도를 높였으며, 이런 성숙도 모델을

고객사에도 이식하고 있다.

이러한 성공적인 트랜스포메이션을 통해 TCoE는 완료한 테스트 사례가 13

만 건으로, 이 모든 사례가 단순히 문서로 관리하거나 테스트 인력의 머리 속

에 있는 것이 아니라 프로젝트 프로세스에 올라가 있다. 즉 테스트 프로젝트가

시작되면, 관련성 있는 테스트 사례를 뽑아 관리할 수 있는 테스트 환경을 갖

추고 있는 것이다.

테스트 서비스의 성과를 나타내는 것 중 하나가 발견한 결함수일 것이다.

TCoE는 연간 3만 건 이상의 결함을 찾아내고 있으며, 이런 성과를 기반으로 연

2700만 달러의 예산이 배정되고 있다.

HP는 TaaS 서비스 체계의 구축을 통해 완성된 서비스 체계를 고객 기업에

이식시킬 수 있는 서비스 모델로 성숙시키고, HP 내부 자산의 시장 선도력을

높여 나가는 전략을 펼치고 있다.

레벨 0

품질 인지 불능 단계

레벨 4

품질 전문가 단계

레벨 4


레벨 4


레벨 2

품질 의식 단계

레벨 4


레벨 3

품질 이해 단계

레벨 1

품질 초기화 단계• 핵심 애플리케이션

프로젝트 선정

• 프로젝트 QA 팀 구축

• 형식화된 테스트

프로세스 구현

- 요구사항 관리

- 테스트 관리

- 기능 테스트

- 추적 탐지

- 초기 테스트 자동화

• 해당 프로젝트를 위한

테스트 프로세스 관리

• 결과 및 이점 측정

• TCoE 구축

• 테스트 인프라(툴과

자원)의 중앙집중화

• 여러 프로젝트를 위한

프로세스와 툴의 복제

• 수요 관리, 프로젝트

보고, 중앙 관리를 위한

프로세스 구현

•중앙집중화된 QA팀

•QA/TCoE

• 향상된 수요 관리 및

자원 관리

•기능 테스트 및 모델링

•성능 유효성 확인

•보안 테스트

•테스트 자동화

• 베스트 프랙티스

프로세스

•중앙집중화된 QA팀 •QA/TCoE •성능 테스트 및 모델링 •보안 보장 •테스트 자동화 프레임워크 • 수요, 요구사항, 테스트, 품질 개선을 위한

형식화된 지속적인 관리 원칙 •표준화 강화

Technology

Summary hp taas_ff