<Insert Picture Here>

RAC/Partition을 이용한 데이터 안정성 및 활용성 제고한국오라클

DB 솔루션 사업본부

임창무 팀장

DB Options

전통적인 DB 기능을 발전 시키고 독립적인 기능을 추가 하여 사용자 Need를충족 시키는 솔루션군.

Times TenContents DB

Security

Partition EM

y

CoreCore

DBDBStream/M view OWB

SpatialRAC

VPD

DB Options

구분 설명 비고

RAC DB 서버를 Active active로 이중화 하여 시스템 가용성을RAC

(Real Application cluster)

DB 서버를 Active active로 이중화 하여 시스템 가용성을보장하는 기능

PartitioningDB 정보를 특정 정보 단위(예,기간,조직,제품)로 구분 관리하여데이터 활용 속도 및 관리를 용이하게 하는 기능데이터 활용 속도 및 관리를 용이하게 하는 기능

OEM

(Oracle Enterprise Manager)

DB 및 주변 시스템의 Resource 활용 현황을 모니링 할 수 있게하고 그에 따른 관리(변경,추가,이력)를 용이하게 하는 기능

AD4J

Moniforce

Times Ten메모리 DB. 전통적인 Storage DB와 대비하여 월등한 데이터Access 속도를 보장.

TimesTen 8.0

Content DB비정형의 정보 문서,그림,메일등 문자 이외의 정보를 저장 관리하는 기능

데이터 엔코딩 디코딩 기능 강화 DB 레코드별 권한 부여 DB DataVault,Security

데이터 엔코딩,디코딩 기능 강화,DB 레코드별 권한 부여,DB Admin 기능 분리

DataVault,

AuditVault

Spatial 지도 정보 제공 기능 물류,유통

RAC CRM ERPSpare

StandbyActive

ERPCRM ERP

3rd Party Backup3 Party Backup

Traditional Database HA GRID

Partitioning

ORDERS ORDERS ORDERS

Europe

Jan Feb Jan Feb

p

USA

Large Table Partition Composite Partition

Jan Feb Jan Feb

Difficult to Manage Divide and ConquerEasier to ManageImprove Performance

Higher PerformanceMore flexibility to match business needsImprove Performance

T t D t b SS D t b S

Stream

SGA

SharedPool

RedoB ffe

BufferCache

SGA

SharedPool

RedoB ffe

BufferCache

Target Database ServerSource Database Server

PoolBuffer Cache

PropagatorProcess

Pool BufferCache

AQEvaluationTransformationAQ

Log WriterProcess

< 데이터전송 >AQ의 Propagation기능사용 (Remote Q로 전송)

< 데이터 적용 >Default 또는

Redolog

ArchiveProcess

ApplyProcess

CaptureProcess < 변경데이터 추출 >

사용 (Remote Q로 전송)전송주기 지정가능

Default 또는사용자정의Procedure 적용Log Miner

User Define

EvaluationTransformation

Archlog

Archlog

Archlog

Process Process < 변경데이터 추출 >Online Redo Log 또는Archive에서 추출가능LCR형태로 데이터 추출수초~수십분

Procedure

Default(소스-타겟 동일)

EvaluationTransformationLog Miner

Table-A AQ Table-AAQ Table-A2< Overflow 발생시 작업 >할당된 AQ메모리 초과 시AQ-Table에 I/O 처리물리적I/O 발생(속도고려사항)

DML발생

ERP 운영 Issue 분석ERP 운영 Issue 분석

진행계 ERP 시스템 경량화

해석계 구축을 통한 분석 및 의사결정 업무 효율성을 확보

현재 DW 시스템의 문제점ERP 운영계 시스템의 문제점

- Data 수집 ~ 유지, 활용에 이르는 관리 비용의 중복 투자 발생

해석 업무 지원을 위한 복잡한 시스템

- 가용성 향상을 위한 작업 필요

. 시스템의 휴지 시간을 줄이기 위해 데이터의 보관 기를 최소한으 단축 시킴 . ERP 해석 업무 지원을 위한 복잡한 시스템

이 구성

. 분석에서 실제 데이터에 연관된 작업을 수행하기 어려움

의 보관 주기를 최소한으로 단축 시킴

. Global Single Instance 운영을 위한 향후증가 예측 필요 및 증가 억제 방안 필요(실제로 효과를 나타내기 어려움)

. Data Backup,시스템 S/W Version-up 등유지관리 업무의 중복

가치 있는 데이터 분석이 부족함

- VLDB(4TB이상)의 운영에 대한 문제

. 볼륨이 큰 데이터베이스를 운영하기 위해서는 운영 기술 및 방법 절차 등이 변경되어 - 가치 있는 데이터 분석이 부족함

. 다양한 Data 분석 Tool 활용 및 부서별 활용수준의 편차가 큼

실제로 분석 업무를 지원하기 위한 데이터가

는 운영 기술 및 방법, 절차 등이 변경되어야 함

. Backup 등의 데이터 유실 및 운영상의 장애를 대비하기 위한 수단 필요

. 실제로 분석 업무를 지원하기 위한 데이터가존재하지 않음

시스템 구성시스템 구성ERP

화면Meta Data

DW와 ERP해석계(진행성 데이터)를

AP AP AP 연계하여 분석 기능 제공

Transaction

RAC

DW : 정형 데이터 분석Transaction

처리

Data AccessStreaming

진행계 해석계

Data Access

DW -> 해석계 -> 진행계로 상세 분석기능 제공

행계 해석계

Partitioning Partitioning

주요 점검 사항

ERP 운영계 ERP 해석계

Apps Server4) 기존 Apps 서버를

이용한 해석계 활용

ApplicationDatabase

1)Stream을 이용한 데이터 전송

3) Partition을

이용한

해석계 구성Database

ApplyStagingCapture

1)Stream을 이용한 데이터 전송

테스트

Database

2) ERP 진행계 Purge 테스트

(STD E )

기존 데이터

5) OAM을 이용한

통제 및 모니터링

(STD + Ext)

ERP 진행계(App 서버와 DB 서버로 구성) ERP 해석계(DB 서버로만 구성)

점검 대상 Tables

Section Modules Target Tables ResultsPO HEADERS ALL

PO

PO_HEADERS_ALLPO_LINES_ALL

PO_LINE_LOCATIONS_ALLPO_DISTRIBUTIONS_ALL

PO ASL DOCUMENTSPO PO_ASL_DOCUMENTSPO_REQUISITION_HEADERS_ALL

PO_REQUISITION_LINES_ALLPO_REQ_DISTRIBUTIONS_ALL

PO VENDORS

Data 생성일자 기준 18개월 초과 건

(대상 Table 전체 Purge 기준)

Purging & Archiving

PO_VENDORS ( g )PO_HEADERS_ALL의 Status가 완료상태인 건 (‘FINALLY CLOSED’)

RCV_LOTS_SUPPLYRCV_SERIALS_SUPPLYRCV_SHIPMENT_HEADERS

INVRCV_SHIPMENT_LINES

RCV_TRANSACTIONSRCV_SERIAL_TRANSACTIONS

RCV_RECEIVING_SUB_LEDGERRCV_SUB_LEDGER_DETAILS

APPLSYS

WF_ITEM_ACTIVITY_STATUSES_HWF_NOTIFICATION_ATTRIBUTESWF ITEM ATTRIBUTE VALUES Data 생성일자 기준 2개월 초가 건WF_ITEM_ATTRIBUTE_VALUESWF_ITEM_ACTIVITY_STATUSES

점검 결과 (요약)

Section Target Modules Scenario Results

P i

APPLSYS 표준 Purging SQL 수행여부 가능

PO, APPLSYS Business Logic에 따른 정합성을 추적한Manual Purging 수행여부

가능

PurgingINV No Logging 옵션 적용된 Table에 대한

Streams해당 트렌젝션에Force Logging사용으로 가능

PO, APPLSYS, INV OAM의 Purge Portal에서 Purge Job 수행여부

가능O, S S,수행여부

가능

Archive(Streams)

PO, APPLSYS, INV

Online상에서 Streams 대상 Table 추가/삭제

가능

진행계 Purge 수행후 해석계에 Data 반영(Streams) 진행계 Purge 수행후 해석계에 Data 반영여부

가능

ILMA(Purging)

PO, APPLSYS, INV ILMA를 이용한 Purging 자동화Partition 가능한 상태에서만가능

(Purging) (move partition)

점검 결과 (Manual Purge SQL)

Section Target Tables Working Job Results

WF ITEM ACTIVITY STATUES

Workflow Purging

WF_ITEM_ACTIVITY_STATUESWF_ITEM_ACTIVITY_STATUES_HWF_ITEMSWF ITEM ATTRIBUTE VALUES

비정상 종료 WF에 대해서 강제종료 프로그램 작성/수행

표준 Purge로도 지워지지 않는Synchronize 형태의 Workflow를

5만건 -> 200건으로줄어듬

g g WF_ITEM_ATTRIBUTE_VALUESWF_NOTIFICATIONSWF_NOTIFICATION_ATTRIBUTES

yPurge하는 프로그램 작성/수행

각각 Concurrent PGM 작성/등록

줄어듬

첨부문서에 대한 Purging Script를

Attachment

FND_DOCUMENTSFND_DOCUMENTS_TLFND_DOCUMENTS_SHORT_TEXTFND DOCUMENTS LONG TEXT

g g p생성, 아래의 순서로 수행

1) fnd_attached_documents2) fnd_documents_short_text

/long text/long rawPurging FND_DOCUMENTS_LONG_TEXT

FND_DOCUMENTS_LONG_RAWFND_LOBSFND ATTACHED DOCUMENTS

/long_text/long_raw3) fnd_docuemtns_tl4) fnd_docuemnts

LOB Data에 대해서 Purging 작업_ _ g g수행

해석계 대상 Partition Tables

해석계에 Fiscal and Historical Data 중심으로 Partitioning 구현

Target Tables DescriptionTarget Tables Description

GL_JE_HEADERS Journal 헤더

GL_JE_LINES Journal 라인

GL_BALANCES GL 런타임 테이블

SO_HEADERS_ALL Sales Order 헤더

SO_LINES_ALL Sales Order 라인

WF_ITEM_ACTIVITY_STATUES Workflow 런타임테이블

AP INVOICE ALL 송장 라인AP_INVOICE_ALL 송장 라인

AP_INVOICE_DISTRIBUTIONS_ALL 송장 Detail

AR_TRX_SUMMARY Transaction Summary

PO_HEADERS_ALL 구매 발주 헤더 (PO_LINES_ALL 포함)

PO_REQUISITION_LINES_ALL 구매 요청 라인 (PO_REQ_DISTRIBUTIONS_ALL 포함)

… …

상세 솔루션 구성 계획 - 진행계

• 진행계 시스템 구성 요약- Open Transaction 업무, 월/분기/년 결산 등의 업무를 수행하기 위한 최소 필요 데이터 수용

- 해석계로의 History 성격의 데이터 전송을 위한 기능 제공

• 주요 구성 요소- Purge Control : Standard, Enhanced, Extension 데이터 purge를 위한 기능

- Streaming Control : 보관 주기 기준에 의한 데이터 전송 기능

- ILM(Information Lifecycle Mgt) Control : 두 시스템의 데이터 통제 기능

- 사용자 UI 서비스 : 진행계, 해석계 사용자를 위한 사용자 인터페이스

AP

3개월 6개월 9개월 1년

가동계 및 해석계

사용자 화면 서비스

ERP 진행계 데이터베이스

Transaction Data

AR

년 결산을위한

데이터 Purge

Control

사용자 화면 서비스

Information

Streaming Control

Capture(추출)

Advanced Q(Memory Buffer)

AR

Applsys 첨부 파일

STD외추가 삭제데이터

Lifecycle

Management

(추출) ( y )Applsys 첨부 파일별도 보관

ERP 해석계

상세 솔루션 구성 계획 - 해석계상세 솔루션 구성 계획 - 해석계

• 해석계 시스템 구성 요약- 이력 데이터 보관을 통한 심층 분석 데이터 제공 (6년 이상의 데이터 보관, 7TB 이상)

- 필요시 진행계의 기능을 수행할 수 있는 기능 구성(향후 연구 과제)

• 주요 구성 요소- Partitioning : 대량 데이터 보관에 대한 Segmentation 및 성능 향상

- Streaming Control : 보관 주기 기준에 의한 데이터 수집 기능

- ILM(Information Lifecycle Mgt) Control : 두 시스템의 데이터 통제 기능

- 사용자 UI 서비스 : 새로운 권한에 대한 해석계 시스템 화면 제공을 위한 데이터 서비스 구성

1년 2년 4년 6년

P1 P2 P3

AP

1년 2년 4년 6년

ERP 해석계 데이터베이스P1 P2 P3

Partition Table

History Data

(Partitioned) AR

Archive

Control

P1

P2 P3

P1

P2 P3

P1

P2 P3

Streaming Control

Applsys

첨부 파일별도 보관

Advanced Q Apply(변환-적재)

ERP 진행계

( )

기대효과

경량화된 운영계, 구조화된 해석계

운영계 해석계

관리 데이터량 절감으로 인한 운영 효율성 확대

운영 현황 모니터링 기능 강화 시스템 구축

실시간 운영계 시스템 동기화로 Real time 분석 정보 제공

풍부한 정보 관리

다양한 정보제공 요청에 대한 신속한 대응 가능운영 현황 모니터링 기능 강화 시스템 구축

접근 제어 통제를 통한 시스템 안정성 확보대량 관리 데이터에 대한 관리 효율성 제고

ILM 기반 구축으로 정의된 데이터 생명 주기에 따른 관리구현

기타 주요 사항

• 진행계에서 수행할 업무의 세밀한 정의 및 필요 데이터 선정

• 해석계 데이터베이스의 Segment 구분을 위한 기준해석계 데이터베이 의 g 구 을 위 기

• 해석 업무의 구분과 필요 기능에 대한 정의

• 데이터 전송에 대한 성능 확보데이터 전송에 대한 성능 확보

• Extension 테이블의 Purge Portal 편입

• 장기적인 데이터 보관 정책 및 실행 방안 수립 필요• 장기적인 데이터 보관 정책 및 실행 방안 수립 필요

첨부

(해석계 시스템 구성안)

데이터 억제 및 전송 방안 (Stream)데이터 억제 및 전송 방안 (Stream)Stream 기능을 이용하여 데이터 전송 후 삭제

Stream의 데이터 처리량은 초당 3000건•Stream의 데이터 처리량은 초당 3000건•일반적인 ERP 초당 최대 데이터 Transaction은 150 여건•ERP의 데이터 처리 건 당 사이즈가 크다 하여도 처리하는성능에는 문제 없는 것으로 판단

ERP 진행계 ERP 해석계ERP 진행계DB

ERP 해석계DBStream을 통한

Real Data 전송

•Purge 기능을 이용하여진행계의 데이터 보관주기를 최소한으로 설정

•데이터 전송시 Table <-> Table로 전송, ERP의 API등을 이용하지 않음으로써 체계 및 데이터의 정합성 유지(FND 등을 포함한 모든 데이터 전송)

데이터 억제 및 전송 방안 ( Partition)데이터 억제 및 전송 방안 ( Partition)대량의 Transaction 이 발생 되는 Schema에 대해 Range Partition & Local Index 구성

효율적인 Data 관리를 위한 Partition Ke 설정• 효율적인 Data 관리를 위한 Partition Key 설정• Partition Key 에 맞는 Local Index 생성• 데이터 이관은 exp/imp ( Data pump 사용)

ERP 진행계 ERP 해석계

•Purge는 Drop Partition

ERP 진행계DB

ERP 해석계DBData pump 사용

장점• 대량의 Transaction 이 발생 되어도 운영 시스템에 영향을 주지 않음• Partition Key를 적절히 사용하면 Data Purge로 인한 DB 성능 저하 최소화 – 삭제, SQL Plan 변화최소화최소화• Partition 단위 Exp/Imp 가능 – 작업 시 유지기 필요

데이터 억제 및 전송 방안데이터 억제 및 전송 방안Stream + Partition + Data pump + Transfer Tablespace 를 이용하는 방법

• Random 하게 변화 되는 Data의 경우 Stream을 이용한 데이터 억제 및 전송• 대량의 Batch 성 성격의 Data는 Partition을 이용한 데이터 억제 및 전송• 데이터 전송은 데이터의 성격에 따라 Data pump + Transfer Tablespace로 이관

ERP 진행계 ERP 해석계

Data pump Transfer Tablespace

• Stream 내 Logic 으로Purge

ERP 진행계DB

ERP 해석계DBStream

Data pump

Purge •대량의 Table는 DropPartition으로 Purge

장점• Random한 I/O를 발생 시키는 Object의 경우 휴지기 시간이 없기 때문에 Stream 내 Logic으로 전송 및Purge 수행• 특정 시간에 대량으로 발생되는 Object 의 경우 Data 보관 Key를 최적화 시켜 Data Pump + Transfer• 특정 시간에 대량으로 발생되는 Object 의 경우 Data 보관 Key를 최적화 시켜 Data Pump + Transfer Tablespace를 이용하여 데이터 전송 , Purge의 경우 Drop Partition으로 Purge 수행

데이터 사용 방안 (화면 사용)데이터 사용 방안 (화면 사용)

1. ERP 해석 시스템 이용을 위하여 사용자 생성(예:APPSA)

Long Term 데이터를 조회하기위한사용자 :

사용자화면

2. ERP의 사용자로 등록, 이 사용자에게 Data Group 설정3. 각 모듈별로 데이터 그룹 등록(ABM-APPSA, AP-APPSA등)4. 권한 등록(ERP 해석계 시스템 이용 가능)

새로운 ID(Responsibility)를

이용하여 조회

AP AP APShort Term 데이터를조회하기 위한사용자 :

기존 ID(Responsibility)를이용하여 조회

ERP 진행계DB

ERP 해석계DBDB DB

1. 같은 이름을 가지고 있는 진행계와 해석계의 테이블을 이용하기 위하여 Synonym과 View 생성2. 두 데이터베이스의 테이블을 Join하여 억세스 가능

Purge Portal을 이용한 데이터 관리 화면

Automated Interval Partitioning

• Range 파티션의 자동화된 확장 기능

-해당 파티션의 첫 번째 레코드 입력 시 자동으로 신규 파티션 생성

-파티션 관리의 간소화

CREATE TABLE ORDERSPARTITION BY RANGE (time_id) INTERVAL('MONTH') …

3월 데이터 입력3월 파티션자동 생성

4월데이터입력

4월 파티션자동 생성자동 생성 입력

데이터 압축 – Advanced Compression

• 다양한 데이터, 다양한 영역에 걸친 압축 기술들

-정형 데이터 : OLTP/DW Table Compression정형 데이터 OLTP/DW Table Compression

-비정형 데이터 : SecureFile Compression & De-duplication

-백업 : DataPump & Fast RMAN Compression

-네트워크 : DataGuard Network Compression

• 완벽한 사용자 투명성 보장

다양한 업무에 활용 가능• 다양한 업무에 활용 가능

-트랜잭션 프로세싱

-데이터 웨어하우징데이터 웨어하우징

-콘텐츠 관리

• 리소스 비용 절약 및 성능 향상 Redo Logs-2-3배의 저장 공간 절약

-메모리 및 너트워크 자원 효율성 증대Backups

Redo Logs

StandbyBackups

데이터 압축(Advanced Compression)모든 스토리지 티어에서 공간 절약모든 스토리지 티어에서 공간 절약

5% A ti 35% L A ti 60% Hi t i l5% Active 35% Less Active 60% Historical

47,250,000원 66,150,000원 16,200,000원

압축율을 3으로 계산하면

15,750,000원 22,050,000원 5,400,000원, , 원 , , 원 , , 원

Active Data Guard

Concurrent

Continuous Redo Shipment and Apply

Concurrent Real-Time Query

Physical Standby Database

Primary Database

Shipment and Apply

• 리두 전송 방식에 의한 재해 복구 솔루션

- 고가의 디스크 기반 재해 복구 솔루션이 불필요 -> 비용 절감

• 장애시 자동 페일오버

• standby 데이터베이스는 복구모드와 읽기전용모드 동시에 지원

• production의 업무 분담

- production과 동일본을 유지하면서 동시에 리포팅 등의 업무를 standby에서수행할 수 있음

- production의 백업 작업을 standby에서 수행할 수 있음