고객데이터통합을위한 데이터품질관리 · PDF fileControl 데이터품질관리 ... 3rd Party SW SAP Oracle Siebel PeopleSoft External Data Custom Apps on ... 검사작업

© 2007 IBM Corporation

고객데이터통합을 위한데이터품질관리

IBM SWG IP&S팀배상균

2 © 2007 IBM Corporation

기업이 직면한 정보 관련 이슈

오늘날 기업이 직면한 비즈니스 과제는새로운 차원의 정보관리 방안을 요구하고

있음.

각 시스템 별로 산재된 정보를개별 관리하는 것은 더 이상

유용하지 않음.사실에 대한 다중 버전 존재

정확성 결여

일관성 결여

완전성 결여,

접근성 결여

적시성 결여

Out of Context…

세계화, 인수&합병

리스크&컴플라이언스,

고객 충성도 감소,

공급망 복잡성 증가,

산업의 진화,

비용 절감 등등…

70% 가량의 시간을 직원들은필요한 정보를 검색하는 데 허비하고

있음.

60%+ 이상의 CEO가 그들의조직이 정보를 보다 효과적으로활용할 필요가 있다고 응답함

Sources: IBM Attributes & Capabilities Study, 2005; Client Interviews 2004; IBM CFO Study, 2006

정보를 전략적 자산으로 성공적으로활용하는 기업은 그렇지 못한 기업에

비해 5배 더 많은 가치를창출하는 것으로 나타남

정보의 전략적자산화가 비즈니스

성공의 핵심

정보는 각 시스템 별로 산재되어 존재… 신뢰할만한 정보의 부재


인터넷 콜 센타 CRM영업점

주소

거래 이력

이름

주소

선호도

이름

주소

거래 이력

이름

주소

선호도

이름

Customer Value

교차판매기회

Customer Value

오늘날 모든 기업들은 고객 데이터와

관련한 여러 개의 어플리케이션 운영

고객 데이터는 하나의 어플리케이션

내에서는 완벽한 데이터일 수도 있음

그러나 ....

전사적 관점에서 데이터 저품질로 인해

정보 유용성 떨어짐

데이터 품질 향상을 위해 많은 비용

투자하나 근본적인 문제 해결이 되지

못함

고객데이터 운영 현황

이러한 구조적 문제는 고객 만족도 저하를

가져오며 중요한 영업기회를 모르는 사이에

놓치는 부정적 효과 발생


Source: Account SystemLast Verified: 1/1/2001Last Updated: 1/1/2001

Source: Siebel CRMLast Verified: 3/3/2004Last Updated: 1/5/2005

Source: AcxiomLast Verified: 5/1/2005Last Updated: 9/9/1998





Source: Account SystemLast Verified: 2/2/1995Last Updated: 2/2/1995

Source: Oracle ERPLast Verified: 3/3/2003Last Updated: 5/22/2000

Source: AcxiomLast Verified: 4/4/2004Last Updated: 7/7/2002

Jenny Smith Trustee

Jenny SmithDaughter

John SmithHusband

Home Address: 23 Main Street

Identifier: SSN 123456789

Home Phone:555-555-5555

ABC Co.Employer

Home Address: 50 Oak St.

Identifier: SSN 987654321

Home Phone:222-222-2222

시스템별 고객데이터 불일치로 인한 신뢰 저하


금융환경 변화에 따라 많은 금융 기관들이 고객중심경영으로 변환을 시도하지만, 기대수준에 만족하지

못함

고객정보의 ‘통합미흡’과 ‘저품질’이 고객중심경영을 저해하는 근본 원인

No1 : Data Quality

CRM 수행기업의 50%이상이 데이터

품질문제를 인식하지 못함

인지하는 기업중에서도 대대수의 기업이

데이터 품질향상 노력이 부재함

No2 : Data Integration

부서 또는 채널간의 정보공유 미흡

사업부별로 자체적인 고객정보 보유/관리

부문간 공유미비로 인한 수익원천의 손실

Source : Gartner Group

No 6.A flawed process Is automated No. 5

CRM for Enterprise

No. 4There is no Plan

No. 3Business & ITUnmatched

No.2Data Integration

No.1Data Quality

No. 7No attention is paid to skill sets

고객중심의DW 프로젝트

실패요인

No.2

Data Integration

고객데이터의 저품질과 통합 미흡의 극복이 필요


고객중심의 종합금융을 효과적으로 지원하기 위해서 다양한 채널을 통해 수집되는 고객데이터를 통합하여

Customer Single View 를 구축해야 함

전사 차원의 통합고객정보를 생성/관리하고, 고객정보 활용시스템에 동기화해 주는 시스템 구축

기업이 당면한 고객데이터 통합 과제

인터넷

콜센터

영업점

무선

통합고객정보

영업점

VIP/PB

RM지원센터

콜센터

인터넷

CustomerSingle View

수신

여신

외환

신용카드

여신사후관리

CRM

개인신용평가 기업신용평가 수익관리 리스크관리 DW

고객정보 품질강화

방카슈랑스

퇴직연금

데이터 통합 및 Single view 생성데이터 통합 및 Single view 생성

고객 홍길동

고객 홍길동

고객 홍길동

고객 홍길동

통합 고객정보 시스템 구축통합 고객정보 시스템 구축

Data Sync


핵심은 데이터 문제

“일반적인 기업의 경우, 서로 다른 데이터베이스와 레거시 시스템간의 정보 교환을 위한 목적으로 프로그래밍 예산의 35~40%를사용한다.”

“… 저품질의 데이터로 인해 우리 응답자들의 절반 가량이시스템 구축시 추가 비용을 사용했으며, 1/3 가량은 신규 시스템사용을 지연시키거나 일부 기능만 사용하게 되었으며, 또한1/3은 과금이나 수금에 실패하였다…”

PriceWaterhouseCoopers,Global Data Management Survey

Gartner Group

“데이터 통합과 데이터 품질은 CRM, SCM, ERP 등과 같은기업 어플리케이션의 성공적인 수행을 위한 필수 조건이다.”

Ted Friedman, Senior Analyst, Gartner Research


Ⅱ. 데이터품질관리개요

데이터 품질개선은 Data 품질을 높이는 일련의 Process이며, 데이터 품질관리는 이러한Process가 지속적으로 관리될 수 있도록 Infra를 구축하는 것

데이터 품질 관리

조직 (조직도, R&R, 조직 업무 프로세스, Ownership 부여)조직 (조직도, R&R, 조직 업무 프로세스, Ownership 부여)

커뮤니케이션(홍보, 교육, 협의체,…)커뮤니케이션(홍보, 교육, 협의체,…)

전략/ 방침

프로세스개선 표준화 성과/평가

관리 대상Data 영역

선정

Data 품질수준측정, 목표 설정

품질 저하원인 분석

품질개선방안 마련

성과/평가품질개선활동 결과

정리

품질개선수행

DQMDQM


데이터 품질개선 프로세스개요

Define

Measure

Analyze

Improve

Control

데이터 품질관리 항목 정의

데이터 품질 수준 측정 : As-Is 수준 측정 및 목표 설정

품질저하 유형 및 원인 분석

해결안 도출 : 사전/사후 데이터 클렌징 방안 수립

본 실행 및 모니터링 : Process Control 및개선안 전파


데이터 통합 프로세스 – IT 관점

Customer

EDW

ConsolidateIntegrateCleanse

Normalize&

Harmonize PrepareTransform

Load

Initial Initial ExtractionExtraction

Extract&

Load

into

Stage

LoadLoad

Data Requirements Data Extraction Criteria

Common Target Format

Target System

DataDataAssessmentAssessment

DiscoverDiscoverAssess

&Validate

SolutionSolutionImplementationImplementation

DataDataHarmonizationHarmonization

DataDataAlignmentAlignmentCustom

Apps on UNIX

3rd Party SWSAPOracleSiebelPeopleSoft

External Data

Custom Apps on Mainframe

individual sources

individual sources

across sources

CleanseCleanse

Standardize

단위 시스템 관점 전사적인 관점

이 기종 데이터에 대한 품질평가와 정제를 거친 전사차원의 Single View를 Target DB에적재

DeliverDiscover Prepare


소스/타겟 변환룰

Single View중복데이터그룹정제규칙품질 평가 규칙Staging DB

ImplementationHarmonizationAlignmentAssessmentExtraction

데이터추출

데이터적재

IT품질평가

Meta Data

ErrorData

업무품질평가

텍스트품질평가

평가결과분석

SolutionRepository

정형데이터정제

텍스트표준화

정제방안정의

Rule Set작성

정제 Job개발매칭

매칭결과분석

Single View설계

데이터변환

데이터적재

EDW

StagingDB 데이터 표준화

데이터 통합 프로세스 – IT 관점

MasterData


• 데이터 품질 측정• 데이터 정제• 중복 발견 및 제거• 데이터 표준화

M e

t h

o d

o l o

g y

Postal Reference

Business Reference

Personal Reference

Product Reference

• 추출

• 변환

• 적재

• 검증

Business Process Alignment

Mainframe

CustomRDBMS

Unix data

ExternalData

계정

CRM

Call Ctr

Mkting

Service

CustomerSingle View

Data Transformation Services

Data Quality Services

데이터품질개선 지원을 위한 IT의 데이터 품질 서비스


DQM 수립 및 시행

전략/ 방침

프로세스 개선 표준화 성과/평가

DQMRoad Map

- DQMS 시스템 - 성과 평가 시스템- 모니터링 시스템 - 메타 데이터 시스템

시스템

- DQM 전략 정의 - DQM 방침 수립

조직- DQM 조직 구조 - DQM R&R - DQM 조직 프로세스 - Data Ownership

- 사전 품질 개선

- 캠페인 수행

- 데이터 Cleansing 수행

-고객정보 표준체계(식별, 속성, 표기, 분류)

- 성과 관리 Framework

- 비즈니스 차원 정의

- IT 차원의 실행

커뮤니케이션 - 유관조직간 커뮤니케이션

DQM 운영 방법론


일회적인 데이터품질개선이 아닌 반복적인개선활동

데이터의 품질을 향상시키기 위해 캠페인성 데이터 클렌징만으로는 영구적인 데이터 품질의 향상이

불가능

고객데이터 품질향상을 위한 지속적이고 반복적인 활동과 고객데이터 수집 및 관리를 위한 통합

시스템 구축, 고객데이터 관리 프로세스의 개선, 고객데이터의 표준화 등이 필요

지속적인 시스템 개선

고객데이터 관리 프로세스 개선

표준화 방안

데이터품질 개선활동에 대한성과 평가

사전에 오류 데이터 생성이 불가능하도록 등록 화면에 validation rule을 적용 하여시스템적으로 차단

Data의 품질을 향상할 수 있는 방향으로 업무 프로세스를 개선하여 데이터의 품질을 저하시킬 수 있는 가능성을 최소화

데이터의 활용부서와 생성부서 간 데이터에 대한 명확한 정의를 상호 공유하여 오류 발생을방지

지속적인 데이터 품질 향상을 염두에 둔 업무 수행 활동을 정당하게 평가하여 업무적으로품질개선 활동의 가치를 인정


고객데이터 통합을 위한 IBM의 플랫폼 & 솔루션

IBM Information Server : 플랫폼

데이터 통합을 위한 핵심 기능 제공

데이터 품질 측정, 데이터 표준화, Single view 생성을 위한

각종 기능

데이터 추출/변환/적재 기능

데이터 가공에 필요한 공통 서비스 제공 – 메타 관리,

Connectivity, 병렬 처리

IBM WebSphere Customer Center : 솔루션

고객 마스터 데이터 관리를 위한 MDM 솔루션

전사 고객 데이터 통합 및 처리를 단일화하는 시스템

각종 이벤트 관리, 데이터 품질 관리, 보안 및 권한 관리 등에

필요한 서비스 제공


IBM의 플랫폼: IBM Information Server- 신뢰할 수 있는 정보 제공

Understand Cleanse Transform Deliver

Parallel ProcessingRich Connectivity to Applications, Data, and Content

IBM Information Server

Discover, model, and govern information

structure and content

Standardize, merge,and correct information

Combine and restructure information for new uses

Synchronize, virtualizeand move information for

in-line delivery

Unified Deployment

Unified Metadata Management


AnalysisInterface

Web AdminInterface

DevelopmentInterface

UNIFIED USER INTERFACE

COMMON SERVICES

MetadataServices

SecurityServices

Logging &ReportingServices

UNIFIED METADATA

Design Operational

UNIFIED PARALLEL PROCESSING

Understand Cleanse Transform

COMMON CONNECTIVITY

UnifiedService

Deployment

Structured, Unstructured, Applications, Mainframe

Deliver

IBM의 플랫폼: IBM Information Server- 아키텍처


IBM의 플랫폼: IBM Information Server- 물리적 메타데이터: IBM WebSphere Information Analyzer

애플리케이션, 데이터베이스, 파일기반 소스에대한 데이터 중심적 분석

컬럼, 컬럼 간, 테이블 간에 신뢰할 수 있는상세한 프로파일링 정보 제공

프로파일링 결과로부터 메타데이터 생성

프로파일링 결과를 IBM Information Server 전체에 걸쳐 활용되도록 공유 가능

30여 가지의 다양한 Report Template 제공

Understand소스 데이터의 구조를 분석하고, 데이터 통합과 품질

관리 규칙에 부합하는지 여부를 모니터링 함

IBM WebSphere Information Analyzer

데이터 분석가현업 전문가(Subject Matter Expert)

물리적 뷰 (Physical View)


IBM의 플랫폼: IBM Information Server- 데이터 Cleansing : IBM WebSphere QualityStage

DataStage와 통합된 데이터 품질 정제 기능

복잡한 매칭과 서바이버십 로직 (survivorship logic)을 정의하는 정형화된 툴

표준화되고, 중복이 제거된 정보 확보

신뢰할 수 있는 단일 버전 정보 제공

Cleanse

현업 전문가(Subject Matter Expert)

소스 데이터 필드를 표준화 및 수정하고, 단일 뷰 생성을위해 소스 간에 레코드를 매칭함

IBM WebSphere QualityStage™

비주얼한 매칭룰 디자인

(Visual Match Rule Design)

DataAnalysts


각종 도메인 값에 대한 분석을 통해

데이터 자체를 이해함

새로운 표준화 Rule Set을 정의하거나

기존 Rule Set을 수정, 보완하기 위한

검사 작업

데이터의 규칙과 잠재적인 예외 사항 확인

문서화되지 않은 업무 규칙 확인

단어 및 패턴 분석

데이터 유형 및 값에 대한 분석 모두 가능

발생 건수 및 분포도 확인

011 88 99410.020%2nnnbnnbnnnnb

011 991523657.810%781nnnbnnnnnnnn

011 232 232335.540%3554nnnbnnnbnnnn

56.570%5657bbbbbbbbbbbb

전화번호 데이터 예제Percentage횟수유형

서울 마포구 성산동51.510%5151C_SG_BK

전남 보성군 보성읍3.390%339C_SG_SK

경기 성남시 분당구 이매동8.620%862C_ST_DG_BK

광주 서구 치평동10.480%1048C_B_BK

경기 용인시 기흥읍16.630%1663C_ST_BK

주소 데이터 예제Percentage횟수패턴

QualityStage를 이용한 고객 데이터 표준화 방법론– Step 1) Investigation : As-is 데이터 품질 측정


룰셋을 통한 데이터 표준화

자유형 필드에 대한 패턴 분석 작업

표준화된 Reference DB 적용

표준화 이전 데이터

시도 표현이나 번지 및 통/반 표현

방법에 일관성 부족

행정동, 법정동이 혼합됨

검증되지 않은 아파트명과 건물명

표준화를 적용한 데이터

작성된 룰셋과 Reference DB를

적용한 표준화

시도 및 상세 주소 표현이 일관적으로

변경됨

QualityStage를 이용한 고객 데이터 표준화 방법론– Step 2) Standardization – 룰셋을 통한 주소 데이터 정제 작업의 예

데이터 표준화


삼정회XXX.. 한강로2 19302 76X 705X11.09DA37

삼일회XXX.. 한강로3 19102 76X 700X31.09DA37

삼일회XXX.. 한강로2 19102 76X 700X41.09DA37

삼일회XXX.. 한강로2 19102 76X 700X41.09MP37

회사주소전화번호Score유형그룹ID

중복된 각종 데이터를 단일한 뷰로 만들기 위해 동일한 아이덴터티를 가지는 레코드를 그룹핑하는 과정

Matching의 3단계

1. Blocking : 각 레코드를 가장 정확히 구분할 수 있는 필드를 통해 1차적인 그룹화

2. Scoring : 각 필드별로 가중치 부여해서 레코드별 점수 산정

3. Cutoff : 기준점 아래인 레코드를 Matching 대상에서 제외

Blocking 결과

(동일한 그룹 ID)

Scoring

Cutoff

(20점)

Blocking 필드

QualityStage를 이용한 고객 데이터 표준화 방법론– Step 3) Matching – 매칭 알고리즘을 통한 동일 또는 유사한 데이터 그룹핑


최적의 데이터 적용

Best-of-breed 방식을

적용해서 가장 적합한 데이터를

선택

레코드나 필드 단위의 수행

데이터의 통합된 뷰

(Consolidated view) 또는

마스터 데이터 제공

QualityStage를 이용한 고객 데이터 표준화 방법론– Step 4) Survivorship – Matching된 레코드들 내에서 최적의 데이터 선택

시스템 최종갱신일 시군구 주소 거주형태 차종 취미

마케팅 1/1/03 도곡동 청솔아파트 자가 승용차 골프인터넷 10/10/02 도곡동 청솔우성아파트 자가 그랜져콜센터 6/3/99 도곡3동 청솔우성아파트 전세 그랜져XG

SOURCE 기준


인터넷 10/10/02 도곡동 청솔우성아파트 자가 그랜져

데이터 입력 시점 기준


마케팅 1/1/03 도곡동 청솔아파트 자가 승용차 골프

빈도수 기준

시군구 주소 거주형태 차종 취미

도곡동 청솔우성아파트 자가 그랜져 골프

데이터 길이 기준

시군구 주소 거주형태 차종 취미

도곡3동 청솔우성아파트 자가 그랜져XG 골프

Survivorship 적용


IBM의 플랫폼: IBM Information Server- 데이터 변환 및 전달: IBM WebSphere DataStage

데이터 추출 및 변환, 적재를 위한 기본 기능 제공

수백의 변환 기능이 장착되었으며 데이터 흐름을코드 없이 도식화 한 디자인

데이터 통합 객체의 최적화된 재사용

설계의 변화 없이 병렬 처리를 활용

배치 및 실시간 작동 지원

Transform

어떠한 양의 데이터도 직관적인 개발 방식을 통해 변환가능

수백 개의 기 내장된 변환 기능

ArchitectsDevelopers

IBM WebSphere DataStage®

Deliver


IBM WebSphere Metadata Server

Data-driven analysis, reporting, monitoring,

data rule and integration specification

Analysts

Business definition & ontology mapped

to physical data

Subject Matter Experts, Data

Stewards

통합 간소화

Metadata and data-driven data

modeling and management

Architects

IBM WebSphereInformation

Analyzer

IBM WebSphereBusinessGlossary

RationalData Architect

정보에 대한신뢰성 증대

표준에 대한컴플라이언스 증대

변화 관리 및 재사용 용이

Database application and transformation development

ImplementersData Admin

IBM WebSphereDataStage

IBM WebSphereQualityStage

IBM의 플랫폼: IBM Information Server- 통합된 메타데이터를 가진 역할 기반의 툴


SOA 기반 어플리케이션 (Service Oriented Business Application; SOBA)

어플리케이션 중립적 (neutral to applications)

서비스와 데이터베이스 모두 바로 사용 가능한 형태로 제공 (Out-of-Box,

ready-to-plug-in)

유연한 수정 개발 프레임워크

비즈니스 서비스 (약 500여개)트랜잭션 처리 및 관리 (CRUD and Transaction Manager)데이터 품질 관리 (Data Quality Management)비즈니스 규칙 및 이벤트 관리 (Business Rule and Event Management)

보안 및 권한 관리 (Privacy & Authority)인터페이스 (Interface)

데이터베이스 (약 300여개 테이블)고객 중심 통합 데이터 모델 (Party-centric)고객 마스터 프로파일 (Customer Master Profile)기본정보, 거래정보, 상품정보, 신용정보, 위치정보, 접촉이력, 계층구조, 관계, 역할, 식별정보, 소유물, 연락처 등

중립적이고 표준화된 운영환경 고객 마스터

시스템

전사 고객 데이터 통합 및 처리 단일화 솔루션

ServicesWebSphereCustomer Center

Database

IBM의 솔루션: WebSphere Customer Center- 전사 운영환경 고객 마스터 데이터 관리


IBM의 솔루션: WebSphere Customer Center- 고객데이터 관리를 위한 공통 서비스 부재문제의 해결이 필요

각 어플리케이션은 고객 데이터 처리를 위한

고유의 프로세스와 처리 로직/룰을 통해 데이터

관리

예를 들어, 콜센터는 고객 추가를 위해 10개 필수

항목이 필요한 처리 프로세스를 가질 수 있으며,

인터넷은 6개 필수 항목만이 필요한 처리

프로세스를 가짐.

데이터 복제만으로 근본적인 해결책이 될 수 없음

공통 프로세스 혹은 서비스 구축이 해결책

인터넷 콜센타

주소

Customer Value

이름

선호도

주소

거래 이력

이름

주소

교차판매기회

Customer Value

이름

CRM

Process Process Process

Logic Logic Logic

RulesRulesRules


IBM의 솔루션: WebSphere Customer Center - WCC를 통한 Customer Data Integration

Customer-Centric Business Services

인터넷 콜센타 CRM영업점

주소

교차판매기회

거래이력

고객 가치

이름

선호도

주소

교차판매기회

거래이력

고객 가치

이름

선호도

주소

교차판매기회

거래이력

고객 가치

이름

선호도

주소

교차판매기회

거래이력

고객 가치

이름

선호도

Complete Customer Profile

Privacy & Security Management

Data Quality Management

Event Management

Customer Data Integration

Customer Data Integration은

단순한 통합 데이터베이스 이상으로 공통

서비스를 가짐

최신의 정확하고 단일한 고품질의 데이터를

모든 어플리케이션 및 시스템에서 다양한

인터페이스를 통해 활용 가능

원장 데이터 (System of Record)

공통 비즈니스 서비스 : 데이터 처리,

데이터 품질 관리, 이벤트 관리, 보안 및

권한 관리 등에 필요한 서비스 포함


WCC Positioning

Real-time/Near-Real-Time Connectivity Services (ESB, EAI, Web Services, MQ, etc.)

Batch Data Integration (InfoServer, ETL, etc)

TrustDeposit &Loan

Call CenterWeb Phone Management

CRM(e.g. Siebel)

SFA

New Systems

(e.g. SOA –based)

Back-office Applications

Decision Support

RDBMS

Application Logic J2EE Application Server

Others

Insurance

Customer Data Batch Load

IVRWeb

External Data Providers (e.g. D&B, ACXIOM,

Experian)

Security, HR, Mail, etc

CustomerProductAccountOthers



Real-time

XML Service

EnterpriseData

Warehouse/ Data Mart

Cards & Others


Content Management

Process ServerInfo

Server

CDI HUB(WCC)

실시간 운영 환경

유연한 통합 아키텍처

마스터 정보 서비스

IBM의 솔루션: WebSphere Customer Center - IBM MDM 전략의 CDI HUB 솔루션


Documents

고객데이터통합을위한 데이터품질관리 · PDF fileControl 데이터품질관리 ... 3rd Party SW SAP Oracle Siebel PeopleSoft External Data Custom Apps on ... 검사작업