www.suresofttech.comwww.codescroll.com

NOTICE: Proprietary and ConfidentialThis material is proprietary to SureSoft Technologies, Inc.. It contains trade secret and confidential information which is solely the property of SureSoft Technologies, Inc. This material is for client’s internal use only. This material shall not be used, reproduced, copied, disclosed, transmitted, in whole or in part, without the express consent of SureSoft Technologies, Inc.Copyright © 2005 by SureSoft Technologies, Inc., All rights reserved.

임베디드 SW 유형별테스트요건및사례

2008. 11.슈어소프트테크㈜

Make Our Customers’ Software Sure

소프트웨어테스팅소개

Coding CodeReview

UnitTesting

SystemTesting

FieldTesting Deploy

Enterprise Software

Coding CodeReview

UnitTesting Simulation Target

Testing Deploy

Embedded Software

Software Testing Process

2

Make Our Customers’ Software Sure

임베디드 SW 유형

3

PackageSoftware

WebApplications

TelecommunicationSystems

BankingSystems

Enterprise Software

ConsumerElectronics

AutomobileControllers

MilitaryWeapons

RailroadControl Systems

Nuclear PowerPlant Controllers

Embedded Software

Mission Critical

Make Our Customers’ Software Sure

임베디드 SW 테스팅 - Challenges

Event-driven

Time Critical

Platform Diversity

Platform Stability

Development Env.

user-driven 기능과 event-driven 기능이 혼재 됨

때때로 시간 제약 사항이 있는 경우가 존재함

플랫폼 (H/W, OS 등)이 매우 다양함

플랫폼 (H/W, OS 등) 자체에 오류가 있는 경우가 있음

컴파일러, 라이브러리 등이 불안정한 경우가 있음

Make Our Customers’ Software Sure

임베디드 SW 테스팅 - Restrictions

Hardware

Monitoring Media

Memory

Hard Disk

OS facilities

SW 개발과 HW 개발 병행으로 인하여 HW 공급이 늦음

모니터링을 위한 별도의 장비가 없는 경우가 많음

메모리 제약이 극심함

하드 디스크가 있는 경우가 별로 없음

타이머, 메모리 보호 등 OS 기본 기능이 취약함

Make Our Customers’ Software Sure

임베디드 SW 테스팅 - Approach

Simulation-based

Customization

Low Overhead

PC 환경에서 시뮬레이션 방식을 응용한 시험 필요

자체 기술력으로 타겟별 커스터마이징 지원 필요

테스트 오버헤드를 줄여야 함

Automation 테스트 자동화를 통한 다양한 케이스 시험 필요

Make Our Customers’ Software Sure

SW 테스팅자동화솔루션

Coding CodeReview

UnitTesting

SystemTesting

FieldTesting Deploy

Enterprise Software

Coding CodeReview

UnitTesting Simulation Target

Testing Deploy

Embedded Software

MISRAIEC 61508IEC 62279

WIPISKLG

CodeScroll™ Lineup

7

Make Our Customers’ Software Sure

적용사례-1 - Consumer Electronics

지원환경 - Host: Red Hat 9 + mipsel-linux-gcc 2.96 compiler- Target: Embedded Linux on DTV board set

주요기능

- C++로작성된프로그램의클래스테스팅- 소스코드에대한 분석기능

-함수분석-자료형분석-상수및 식 분석-제어흐름분석

- 테스트데이터자동생성 기능- 테스트스크립트자동 생성기능- 자동수행 및 모니터링기능- 보고서생성기능

용도 - 소스코드의구조 분석- 프로그램의정확성, 신뢰성, 안정성시험

Make Our Customers’ Software Sure

적용사례-1 - Consumer Electronics

오류유형 증상 원인분석 대처방안

메모리오류

입력에상관없이모두동일위치에서발생

프로그램입력보다상태에 의존적인함수로함수가제대로 수행될수있는프로그램의상태가 아님

시험전에 프로그램의상태를원하는상태로설정하는작업 필요

동일위치에서발생하지만, 입력에따라프로그램출력 다름

프로그램수행은입력에 영향을받지만, 오류의원인은역시 프로그램의상태에의존적

상동

입력에따라다른 위치에서발생

프로그램의입력에따라 다른 위치의오류 검출 개발자에게보고

Aborted Signal 발생 프로그램내의 예외처리루틴 실행

해당케이스입력 확인하여개발자에보고

시간초과

MainLoop 등의루프가있는함수

프로그램의성격이애초에 무한루프를가지는것으로오류가 아님 시험케이스에서제외

I/O 함수로보이는함수 Blocked I/O 함수인경우 시간 초과가가능함

함수의성격과해당디바이스의준비상태등점검필요

기본생성자에서발생 무한루프 의심 개발자에게보고

Make Our Customers’ Software Sure

적용사례-2 - Automobile Multimedia

소프트웨어유형차량 AV 시스템응용 소프트웨어Application 소스코드일부와 library 소스코드적용임베디드시스템 GUI 프로그램

적용목적

AV 응용프로그램의기능 및신뢰성 시험테스트케이스설계, 수행, 결과분석의 전 단계턴 키 테스팅양산전 소프트웨어오류 최소화시스템잠재오류 검출

적용효과25개의오류발견 (메모리오류, 시스템 오류포함)

5가지별개의시험 기준을적용하여 시험 결과 최적화성능관리 상의오류 검출

자동화CodeScroll™ Embedded Tester

CodeScroll™ Code Inspector

Make Our Customers’ Software Sure

적용사례-3 - Automobile Controller

소프트웨어유형 하이브리드차량중에 HCU 제어소프트웨어

적용목적

차량운행 중에발생 가능한 프로그램장애 사전검출(장애재현)

실제타겟 보드에서테스트수행(ERCOS) 목적Time Behavior 측정기타발견하기힘든프로그램오류의 검출

적용효과장애사전 검출실제타겟 보드에서핵심 오류발견(Idle Stop 현상)

문제요소 발견 (원인및 상세 위치 정보 제공)

자동화 CodeScroll™ Controller Tester

CodeScroll™ Embedded Tester

Make Our Customers’ Software Sure

적용사례-4 - Military

소프트웨어유형 장갑차체계제어 컴퓨터육군전술 C4I 시스템

적용목적두시스템간의상호운용성시험PRE (위치보고접속장치) 전문 시험

적용효과전문전송 및 상호운용능력 확인전문케이스별데이터조합시험전문내용 확인및 오류 검사

자동화 CodeScroll™ Message Tester

Make Our Customers’ Software Sure

적용사례-5 - Nuclear

소프트웨어유형원자력발전소제어시스템Proprietary 운영체제Safety-critical, Mission-critical 소프트웨어

적용목적 소스코드 구조분석 및 취약점파악비정상상황에대한시험

적용효과 20여가지비정상상황에대한 시스템 대처능력시험설계와코드간의 구조적불일치요소 검출

자동화CodeScroll™ API Tester

CodeScroll™ Test Monitor

Make Our Customers’ Software Sure

향후발전방향임베디드시장 특징

• 다양성: 다양한 하드웨어, 다양한 OS, 다양한 적용분야• 짧은 생명주기: 핸드폰의 경우 6개월

얼마나다양한환경을지원하는가 ?

테스팅기간을얼마나단축시키는가 ?

다양한 분야타겟 OS구현언어

- 정보 가전- 모바일- 텔레매틱스- 산업용 등

- Embedded Linux- Windows CE- VxWorks- Symbian, REX- proprietary OS

- C/C++- Java- Assembly- 기타

시간 단축

- pinpointing- profiling- regression