컴포넌트기술의대용량DB 어플리케이션활용제안 · 전통적인정보시스템발전 Strategic Tactical Operational Production Finance & Accounting Sales & Marketing

All rights reserved @ 2e Consulting

나희동([email protected])1

컴포넌트 기술의 대용량DB

어플리케이션 활용제안

2001년 5월 16일

㈜투이컨설팅/컨설팅2그룹

책임컨설턴트/정보처리기술사

나 희 동

1

All rights reserved @ 2e Consulting 2

목차

운영영역과 분석영역의 통합전통적인 정보시스템의 발전

CRM/SCM의 활성화

Real-time Company의 등장

객체지향과 데이터베이스객체지향과 데이터베이스

OR 임피던스 불일치

해결방안

지속성 구현 아키텍쳐

대용량DB 아키텍쳐와 컴포넌트 기술대용량DB 아키텍쳐

컴포넌트화 대상 영역

Framework 기술의 응용Framework 필요

DW와 Framework

컴포넌트 기술의 응용


전통적인 정보시스템 발전

Strategic

Tactical

Operational

Production Finance & Accounting

Sales & Marketing

Human Resources

비즈니스의 성장에 따라

단계적으로 정보시스템이 발전한다.

국내 평균 수준(?)


전통적 정보시스템의 통합

Strategic

Tactical

Operational


Sales & Marketing

Human Resources

Strategic

Tactical

Operational


Sales & Marketing

Human Resources

Strategic

Tactical

Operational


Sales & Marketing

Human Resources

Strategic

Tactical

Operational


Sales & Marketing

Human Resources

Strategic

Tactical

Operational

Sales & Marketing

Production Human Resources

수직적 통합

수평적 통합

Finance & Accounting

ABCABMAIASCM

CRMDBMSFA

정보시스템의 발전과 함께 운영시스템과 전략시스템이 통합됨



• 운영영역이 고객 접촉 프로세스에 통합됨으로 필연적인 대용량 데이터 처리요건이 발생함

Operational CRM Analytical CRM

Collaborative CRM

Order Mgt.LegacySystem

DataWarehouseC

losed Loop Processing

(EA

I tools)

ServiceAutomation

MarketingAutomation

SalesAutomation

CustomerActivity

Data Mart

CustomerData Mart

ProductData mart

Mobile Sales FieldServices

ERP/ERM

Order Prcs.

Supply ChainMgt.

Category Mgt.

Vertical App.

Campaign Mgt.

MarketingAutomation

BackOffice

FrontOffice

MobileOffice

Voice Fax/Letter DirectInteractionWeb Conf.

Conference

Resp. Mgt.

E-mailCustomerInteraction

Source: Meta Group


Real-Time Company의 대두

Mobile Channel의 성장과 함께 Virtual Contracting & Billing 중심의Real-Time Company가 대두됨

이는 새로운 운영영역 중심의 대규모 트랜잭션 처리를 요구하게 됨

기존의 Back-end 중심 대용량 DB솔루션과 함께 Middle-Ware 계층에 대용량 DB를 고려한 아키텍쳐가 필요함

Source: client vision documentation

ContractTraditional Contracting Dept

DepotCustomers

Vendors

Requisition

MaterielMateriel

Direct Vendor Delivery Contracting Dept Vendors

CustomersAgainst Long -Term Contract

OrderRequisition

Goods and Services

Virtual Prime Vendor Contracting Dept

Customers

ContractOrder

Goods and Services

Vendors

Virtu

al C

om

pany

&

Real-

Tim

e C

om

pany


통합시스템 특징

레코드단위의 신속한 응답시간을 유지하면서 대량의 데이터 액세스 지원

정형적인 분석데이터를 웹을 통해 실시간 공개

비정형적인 질의를 위한 대량 데이터 분석 메커니즘 필요

통합 데이터웨어하우스와 함께 통합 어플리케이션 Framework이 필요

“대용량 데이터베이스와 함께

컴포넌트 기반 Framework을 사용해야 함”

기업 정보

•상세데이터 요구

•부문별 부서별 데이터 필요

•레코드단위 액세스

•데이터 입력, 갱신 수행

•신속한 응답시간 중요

•정형적 질의 반복 수행

•직접적이고 즉시적인 의사결정

•요약 및 일부상세데이터 요구

•전사 통합데이터 필요

•대량의 데이터 액세스

•주로 데이터 검색 수행

•일정 응답시간 허용

•비정형적 질의의 간헐적 수행

•포괄적이고 장기적인 의사결정

운영계 시스템 특징 정보계 시스템 특징


목차






해결방안





DW와 Framework



객체지향과 데이터베이스

데이터베이스 종류객체지향 데이터베이스(OODBMS)

객체관계형 데이터베이스(ORDBMS)

관계형 데이터베이스(RDBMS)

객체지향 설계를 데이터베이스로 구현하는 방법객체지향데이터베이스를 사용

객체관계형 데이터베이스를 사용

관계형 데이터베이스와 WAS등의 미들웨어를 사용

“웹 이전에는 복잡한 데이터를 고객에게 전달할 방법이 없었다. 그러나 이제 사람들은 이미지, 멀티미디어, 지형/공간정보 등 모든 종류의 데이터를 웹을통해 전달하고 있다.” –Richard Finkelstein-


객체지향과 데이터베이스에 대한 오해

구현과정에서 지나치게 불필요한 모듈을 많이 생성한다.

데이터베이스의 성능을 고려하지 않는다.

객체지향 데이터베이스는 지나치게 느리다.

객체지향 데이터베이스가 관계형 데이터베이스 만큼 속도가 나아지지 않으

면 객체지향은 적용되기 어렵다.

객체지향 기술은 클라이언트에만 적용되는 기술이다.

대용량의 데이터베이스를 가진 시스템에서는 Façade나 Wrapper를 사용하

는 것이 최선의 방법이다.

EJB는 데이터베이스와 객체를 연결하는 모든 방법을 제시한다.


이런 시스템을 생각해 보자?

공항의 위치, 비행 스케줄, 고객 주민등록번호, 지불 방식 등의 데이터를 포함하는 항공예약 시스템을 개발하려고 한다.

다른 경쟁사와의 차별화를 위해서 현재 고객이 이용하려는 노선의 항공기위치와 예약상황을 동적으로 계산하여 다양한 여행 스케쥴을 제시하려고한다. 또한 고객의 과거 지불방식과 여행습관, 경제력 등을 고려하여 적절한 항공편을 제시한다.

아울러 타 항공사와의 실시간 항공노선 비교를 통해 고객이 얼마나 경제적이고 효율적인 노선을 이용하고 있는지를 즉시 분석할 수 있게 한다.

“표준 RDBMS 테이블을 사용해 가장 매력적이고합당한 가격이나 가장 직선적인 항로를 발견하는일은 복수의 테이블들을 결합해야만 하는 작업이다. 문제는 이들 결합이 계산이 많이 필요한 작업이라는 것이다.” –Joshua Dull-


객체-관계 임피던스 불일치

임피던스 불일치(Impedance Mismatch)는 원래 불충분한 전력 흐

름을 나타내는 전기공학 용어에서 차용한 말이다.

객체-관계 임피던스 불일치(Object-relational Impedance

Mismatch)란 객체지향 애플리케이션들이 RDBMS에 있는 테이블

을 결합하는 과정에서 성능이 떨어지는 현상을 통칭하는 말이다.

객체는 직접호출(direct reference)를 사용하나 RDBMS는 주키와

외부키를 사용하여 테이블간 조인을 통해 호출함.

재사용의 최대화를 위해 객체는 캡슐화를 사용함. 따라서 관계형

데이터베이스로 매핑되면서 불필요한 호출이 발생함.


객체-관계 임피던스 불일치

Client

CustomercustomerIDcustomerNamecustomerStatus

getCustomerCreditStatus()getCustomerRisk()getCustomerBalance()

AccountaccountIDaccountBalancetransactionCount

getAccountBalance()getTransactionCount()

GoodsgoodsTypeinterestRate

getInterest()getReturnPeriod()

1..*1..*

assetAccount

11

Goods

goodsID

interestRate

Account

accountIDcustomerID (FK)goodsID (FK)

accountBalancetransactionCount

Customer

customerID

customerNamecustomerStatus


해결책

관계형 데이터베이스 확장객체/관계 데이터베이스. 오라클, 인포믹스, 사이베이스 등 기존의 대형 관계형 업체들이 주창하는 방식으로 기존 RDBMS들에서 새로운 복잡한 데이터 유형을 지원하는 추가 모듈을 제공한다. 결국 OODB와 같이 별도의 미들웨어가 없으므로 유연하지 못함

다계층 아키텍쳐를 이용객체지향 애플리케이션과 관계형 데이터를 연결하는 미들웨어를 통해 복잡한객체의 저장을 지원하는 방식으로 객체지향 전위와 관계형 후위 사이에 있는애플리케이션 서버에 위치해 가장 빈번하게 불려지는 데이터를 일시 저장해더 빠르게 접근할 수 있게 해 준다. 이들 제품은 사용자에게 애플리케이션과데이터의 상호작용에 대한 통제권을 부여한다는 장점이 있으나 프로그래밍과유지보수 부담이 크다는 것이 단점이다.

현현 수준에서수준에서 가장가장 유연하고유연하고 광범위하게광범위하게 적용가능적용가능

기존 대용량DB 어플리케이션과 기술적인 접목이 가능함

RDBMS와 OODB를 별도로 이용두 개의 개별적인 데이터베이스를 유지하면서 관계형 데이터베이스는 그대로둔 채 복잡한 데이터 유형을 다루기 위해 별도의 완전한 객체지향 데이터베이스를 이용하는 방법이다. 극히 제한적이며 객체지향 기술의 확산에 저해를초래함


그 외 다른 문제들…

클래스와 엔티티는 같은 개념에서 파생되었으나, 목적이 서로 다름.

객체지향 언어의 자료형과 데이터베이스의 자료형 불일치 Data

Conversion

객체는 직접호출(direct reference)를 사용하나 RDBMS는 주키와 외부키

를 사용함. OID 문제

RDBMS는 객체의 데이터와 행위를 동시에 처리할 수 없음.

관계형 모델링은 중복의 제거를 통한 정규화를 목적으로 하나, 데이터와

행위를 포함한 실 객체를 통한 비즈니스 프로세스 모델링을 목적으로 함.

임피던스 불일치의 주원인 (Analysis Pattern을 이용 해결가능)

데이터베이스에 저장되어야 하는 객체를 지속성(Persistent) 객체로 정의

함. 유연한 지속성 아키텍쳐의 필요

지속성 관리를 위한 데이터베이스 접속정보의 관리 필요


관계형 데이터베이스의 한계

객체관계형 데이터베이스는 다소 우회적인 방법으로 객체지향 세계에서 작동하도록

만든 것임.

아메리카 미터社는 세계 최대의 가스 계량기 제조업체며, 천연가스 사용량 데이터를

저장하고 분석하기 위해 중앙 및 원격지 데이터베이스들을 통합해 사용하였으나 복

잡한 분석요구사항을 만족하지 못하고 객체지향 데이터베이스로 바꾸었음.

샌드위치접근법은 구현을 매우 복잡하게 함. 별도의 지속성 계층 관리를 위한 컴포

넌트를 통해 훨씬 편리하게 구현할 수 있게 되었음.

어떠한 방법도 순수 객체지향 데이터베이스를 사용하지 않고는 완벽하게 임피던스

불일치를 해결할 수 없음.

그러나 순수 객체지향 데이터베이스가 특정분야에서 매우 빠르고 유연한 성능을 발

휘하기는 하지만, 대용량데이터베이스에 대해서는 현재의 관계형 데이터베이스의

속도를 능가하지 못함. 임피던스 불일치의 상존


Framework 기반 지속성 아키텍쳐

Persistent Store(DBMS)

User Interface Class

Business/Domain Class

Persistence Class

Controller/Process Classes

SystemClass

‘사용자 정의 가능한 UI’

‘유연한 비즈니스 제어를 위함’

‘공통성 증가를 위함’

‘지속성관리 및 공통구현’

‘기존 대용량 데이터베이스’


지속성 클래스 구현 방안

AddressName

*1 *1

has

DatabaseComponentsTableManager

ConnectionManager

OIDManager

PersistentObjectobjectIdentifierisChangedisPersistedowningObject

save()delete()load()loadAll()loadAllLike()

**

**

**

TypeConverter

**


지속성 구현 순차도

load getConnection

aConnection

generateSQLgetSQL

getTableMapping

TableMappingsSQLString

getDatabaseValuesResultSetofDBValues

newaName

MapAttributesconvertType

ConvertedTypeaName

: Name : PersistentObject

: ConnectionManager

: TableManager

: TypeConverter

: DatabaseComponents


지속성 구현 상관도

Attribute MappingMethods

Type Conversion

Persistence Layer

OID ManagerTransaction

Manager

TableManager

ConnectionManager

SQL CodeDescription

ChangeManager

CRUD

사용값을 할당

키를 생성

변화를 관리

제공

트랜잭션관리

테이블명 획득

테이블명 획득연결 시 사용

필요 시 사용

생성


목차






해결방안





DW와 Framework



일반적 대용량DB 아키텍쳐

Ext

ended

Pers

iste

nce

Fra

mew

ork

Busin

ess

Com

ponentAnalysis

Pattern&

DW Modeling

ApplicationFramework

&DesignPattern

데이터획득

DM

DM

DM

외부데이터

데이터배포

EDW

기존운영시스템 전사데이터공유환경 적용업무환경

리포팅

OLAP

Mining

Explore

자재

생산

영업

컴포넌트 기술을 적용하여유연하고 안정적인 DW운영아키텍쳐를 구현할 수 있음

데이터 관리

메타DB모니터링시스템

BID시스템

메타데이터관리

데이터백업 및 복구


대용량DB 구성모듈 중 상당부분이

컴포넌트화 가능함

데이터 사용영역은 상당부분컴포넌트화 되

어 있음

상세 대용량 DB 아키텍쳐

웨어하우스관리도구

ETL

데이터모델링 툴

MDB

RDBMS

Application

Framew

ork

FrontUI

중심메타데이타

ODS

DesktopOLAP 툴

ROLAP툴

MOLAP툴

DATAMining툴

데이터정제

Push/PullProcess

StagingFile

Source Databases ETL CENTRALEDW

DMArchitecture

Data Access/Analysis

Appl.Package

EUC

EDW

운영계DB

정보계 DB

기타 시스템

외부데이타

지역메타데이타



MetadataExchange Architecture


데이터 정제

데이터 정제(Data Cleansing) 컴포넌트화 대상

데이터 소스의 식별

데이터의 품질을 측정

불일치, 누락, 불완전, 중복, 틀린 값을

지닌 데이터를 식별하기 위해 업무규칙을

찾을 수 있는 툴 사용을 고려

소스에서 데이터를 클린징하기 위해 툴을 사용

깨끗한 데이터만을 DW로 적재

데이터 결함의 원인을 찾아서 수정

소스데이타의 정기적인 클린징 스케쥴 작성

공통 비즈니스 객체를 중심으로 정기적인 데이터

정제작업 필요

공통 비즈니스 객체(Common Business Object)의

정제작업은 많은 도메인에서 공통적으로 이용될 수

있음

데이터 정제 컴포넌트는 표준 데이터 이행

Framework과 함께 이용될 수 있음

공통의 데이터 정제 컴포넌트를 위한 인터페이스

정의가 가능함


데이터 추출, 변환, 적재(ETL)

ETL 사용 목적 컴포넌트화 대상

기존 RDBM들과 밀접한 통합

데이터 추출, 클린징, 합산, 재구성, 변환 및

적재작업 수행

데이터 필텅링, 코드변환, Derived 값을 계산,소스와 목표 데이타간 필드간의 맵핑

메타데이타의 중앙집중 저장, 소스데이타, 데이터

모델, 변환규칙 데이터 정의에 대한 사용자접근에

대한 문서화 기능 제공

데이터 추출 프로그램의 자동생성

데이터 웨어하우스로의 신속한 적재

데이터의 추출, 변환, 적재의 일련의 과정은 객

체지향 기술을 이용하여 공통성 높은 컴포넌트

를 개발하기 쉬움

Pipe & Filter Architecture Style을 구현한

Framework 이용 가능

Observer 패턴과 Thread 통제를 이용한 정교

한 프로세스 관리로 데이터 이행작업의 효율을

증가시킬 수 있음


Operational Data Store(ODS)

• ODS로 까지 DW를 확장한 개념

• 가시적이고 통합된 운영 결과를 짧은 시간 내에 획득할 수 있는 기반제공

• 통합되지 않은 어플리케이션으로부터 데이터 획득 - 최적의 어플리케이션 데이터 통합저장 가능

•지속성 아키텍쳐와 함께 Wrapper 계층을 통해 ODS를 이용하여 DW로 데이터 전송 가능

실 세 계 ODS DW

시 간 성Current, near-current-

valuedHistorical, near-current-valued

내 용 Detail Detail & summary

저장방법 Update Snapshot단위의 레코드

데이터량 적음 많음

성 격 Homogeneous Heterogeneous

환 경 Update-record-orientation Simpler load & access

사 용 자사무직

일상적 의사결정처리

DSS분석가, 관리위주의 경영진

장기간 및 추세분석


목차






해결방안





DW와 Framework



Framework이 필요함

재사용 가능한 설계 구조와 이를 구성하는 클래스

Framework은 특정 도메인에 상관없이 필요한 시스템에서 적용가능

여러 개의 디자인 패턴을 통해 구현됨.

소스코드에 직접 적용시킬 수 있을 만큼 디자인패턴 보다 구체적임

예를들어 분산시스템 구축패턴, 동시성 프로그래밍 패턴 등을 들 수 있음

산업화 된 Framework으로는 IBM’s SanFrancisco, DPVER, FACE, TaLE, FOIBLE, ET++ 등이 있음

room hotel

book library

Business Framework

Reservationsresource owner

returned notify member

checked out clean room

Technical Framework

Event Broadcastevent method

room reservations

UI Framework

Master-Detailmaster detail

title abstract

도서관리 시스템

ReservationsEvent Broadcast

Master-Detail

호텔 시스템

ReservationsEvent Broadcast

Master-Detail

어플리케이션은 여러 종류의Framework을 사용


Thin Web Architecture

WAS의 등장으로 Thin Architecture 와 함께 서버 중심의 Application Framework 기술이 성장함

Persistence

Browser

HTTP Web Server Application Server

Business Object

Merchant account system

Legacy system interface

Persistence mapping

Server PagesHTML Pages


Application Framework

기존의 Framework 기술은 웹 아키텍쳐의 성장과 함께 Thin Web Architecture 기반의 B2B솔루션으로 활용되고 있음.

(ISV) Application Software

Finan-cials

Hardware/OS Platform

Servers:Clients: Lotus Notes Java/HTML OLE Others

AIX Windows NT OS/400 HP-UX Others

~ 60

%~

40%

Java Virtual Machine

ApplicationFramework

Foundation

Common Business Objects

Core Business ProcessesLedger

Finan-cials

Logis-tics

Ord Wrh

HumanRess.

Hum.Res.

Manufac-turing

Manufact.

CostAccount.

Cost Acc.

OtherAppli-

cations/

Add.Frame-works

OtherAppli-

cations/

Add.Frame-works

Source: IBM San Francisco


Application Frameworks 구성예

Ledgers

LedgerCredit

controlItem entryPayment

handlingBudgeting

WarehouseManagement

Warehouse controlStock

replenishmentManufacturin

g enabling

OrderManagement

QuotationsSales ordersCash salesSupplierCustomer

Core Business Processes

Common Business ObjectsBusiness Partner, address, currencyUnit of Measure, exchange rateBank Invoices

Foundation Utilities: Installation, configuration, backup,

event...Object model base classes:Entity, dependent,

command, ...

Kernel services:Locking, security, exception...

Design7 subsystems164 business processes

Implementation2,200 classes27K methods

Implementation1,000 classes7,700 methodsSource: IBM San

Francisco

CBP계층의 공통성구현 계층으로 CBO를 사용


Application Framework 구조Design PatternsCorba-CGI GatewayData MarshallingThread PoolingSubject-Observer2-Way LinkMoving Window

platform

foundation

common

coreprocess

foundation

platformLegacysystem

DW

common. UI

CommonBiz Object

UITemplate

Coreprocess

Othersprocess

Persistence

다양한 디자인 패턴이 적용되어 Framework을 구성함

Observer, Builder, Factory, Façade, Adapter, Proxy등


Framework 구현

Observer Pattern과 컨테이너를 이용하여 Framework 계층간 인터페이스

를 구현

Bridge Pattern을 통해 대용량 시스템의 Wrapper 계층과 Proxy계층을 구

현

Command Pattern을 이용하여 Platform과 Foundation의 분리

Decorator Pattern을 이용하여 비즈니스 컴포넌트의 팩키징

Data Marshalling을 통한 OID 부여

Builder Pattern를 이용한 Configuration File 동적 객체 할당으로 컴포넌트

간 가변성 조정

Façade를 이용한 Legacy System 모듈의 인터페이스 구현

Analysis Pattern을 이용한 Type Model 도출로 비즈니스 컴포넌트 계층분

할 설계

Interface와 동적로딩을 이용한 Type Model의 구현


DW 아키텍쳐와 Application Framework

웨어하우스관리도구

ETL

중심메타데이타

Push/PullProcess

StagingFile

ETL

ODS

CENTRALEDW

EDW

지역메타데이타 A

pplic

atio

n Fr

amew

ork

Mid-TierOLAP서버

Internet/Intranet

WebBrowser

SQLInterface

CGIInterface

TCP/IPNetwork

Mid-tierServer

HTTPWEBServer

ThinClient

Front-endData Access

DynamicHTMLPages

Java/Active XApplets

JAVA/Active X

엔진

데이터정제

Source Databases

운영계DB

정보계 DB

기타 시스템

외부데이타

실시간 데이터 처리지원 영역(Pull/Push)


대규모 통합 어플리케이션 적용 예

Browser

Browser

Browser

DMZ or HostingNetwork

Browser

HTTP

Firewall

Company Network

Web Server

Internet

HAHTBackground Hostwith JAVA Runtime

HAHTForeground Host

HAHTControl Host

ForegroundServer

e-Scenario Framework (ScenarioContainer, Common, Foundation)

e-Scenario Config Files

SAPR/3

SD

DatabaseServer

Oracle/MS SQL

Shop Track Market

OtherProjects

Other

3rd Party JARs

JDBC Driver

Java e-Connectorfor SAP

BackgroundServer

Browser

Firewall Source: HAHT Commerce


대규모 통합 어플리케이션 적용 예

Source: MicroStrategy Product Overview

ExtractionLayer

WebsiteServer

Site / ContentManagement

Real-TimePersonalization

TransactionData

TransactionServer

Customer-centric DWHCustomer

• profile• demographics• preferences• purchase history• call center info

Customer interactions

Trans./Comm.Gateway

Web

Broadcaster

Telecaster

Server

InfoCenter


목차






해결방안





DW와 Framework




컴포넌트의 재사용성은 소프트웨어의 진정한 산업화를 가능하게 한다.

재사용성이 높은 컴포넌트를 생산하기 위해서는 체계적인 패턴, Framework, Architecture에 대한 투자가 필요함.

비즈니스 견인차로서의 컴포넌트 기술을 이해해야 하며, 지속적인 투자를통해 안정적인 재사용 기반으로의 컴포넌트를 생산할 수 있음

’94년 디자인패턴, ’96년에 분석패턴, ’97년에 Framework, ’99년에 WAS를 개발한 선진국들이 이제 비로소 컴포넌트형 제품을 출시하고 있음.

국가적 차원의 컴포넌트 기반 개발을 위한 제도 변화가 필요함컴포넌트를 고려한 계약방식의 변화

소프트웨어 개발 조직에 대한 프로세스 성숙도 평가를 통한 개발자에 대한 신뢰도 구축

패턴, Framework, Business Framework 등에 대한 지속적인 투자 필요

“ Slow and Steady, wins the Race”

Documents

컴포넌트기술의대용량DB 어플리케이션활용제안 · 전통적인정보시스템발전 Strategic Tactical Operational Production Finance & Accounting Sales & Marketing