Principal Sales Consultant - Oracle Software …download.oracle.com/global/kr/download/seminar/2002/otd2... · 2003-05-12 · OLAP Tools Applications External Data Operational Data

노 현 희Principal Sales Consultant응용 기술팀한국오라클

진정한 e-Business Intelligence 를위한 전략 및 방향

4

Topics

Business Intelligence의 변화하는 요구사항– e-Business Intelligence 의 변화

– 오늘날 BI System 의 요구사항

– Oracle9i 와 BI ApplicationsBI architectures

– 오늘날의 BI architecture– 향후 발전 방향

Conclusions

5

데이타 웨어하우스의 변화 추이

6

Typical Data Warehousing Topology, 1984 -94

DataMarts

Business AnalystClients

• Speed of implementation• Department ROIOn-line Transaction

Processing Systems

7

Typical Data Warehousing Topology, 1990

Enterprise DataWarehouse


• Data gathered to single point• Consistency of data model

On-line TransactionProcessing Systems

8



DataMarts


• Central IT management• ConsistencyOn-line Transaction

Processing Systems

9


On-line TransactionProcessing Systems

Operational Data Store


DataMarts

External DataSource


• Consolidated reporting• External data• Mixture of NT & UNIX• Web enabled tools

10

Typical E-Business Intelligence Topology, 2000

Operational Data Store


DataMarts

External DataSource


• Portals to DW, OLTP• EAI• More data

Business Analyst PortalOn-line Transaction

Processing Systems

11

Oracle Warehouse

OLAP Tools

ApplicationsExternalExternal

DataData

OperationalOperationalDataData

Warehouse

Any AccessAny Access

Query & ReportingTools

Any SourceAny Source Any InformationAny Information

12

현 BI 시스템의 요구사항과

오라클의 솔루션

13

Business Intelligence 구축 추세비즈니스 측면

신속한 개발 및 전개

다양한 장비에서의 WEB을 통한 데이터 분석

비즈니스 분석가의 증가에 따른 데이터 분석량 증가– Summary tables / hierarchies– SQL OLAP extensions– Data mining algorithm APIs

14

Business Intelligence 구축 추세IT 측면

데이터 량의 증가 (10TB 이상)고 가용성 (24x7x365)DBMS 관리 편이성 증가

통합 필요성 증가

ETL 작업관리 편이성

15

There are many challenges to successful deployment of BI applications to support

corporate performance management. The choice of applications is both bewildering and challenging: no one vendor has a complete

solution today, but purchasing BI applications from multiple vendors can challenge the integrity of the

overall BI strategy. Purchasing BI applications that can integrate with, or at least co-exist symbiotically with, the corporate data warehouse makes sense

Nigel Rayner, Gartner, BI Europe 2001

16

ReportingReporting

DatabaseDatabase

Design/ETLDesign/ETL

BI ApplicationsBI Applications

Data Mining/OLAPData Mining/OLAP

PortalPortal

NCRNCR TeradataTeradataIBM DB2IBM DB2

HyperionHyperionEE--pithanypithany

Business ObjectsBusiness ObjectsCognosCognos

Micro StrategyMicro StrategySASSAS

InformaticaInformaticaSagentSagent

ViadorViadorPlumTreePlumTree

HummingbirdHummingbird

WebTrendsWebTrends

SPSSSPSS

BrioBrio

ActaActa

SQLSQL--ServerServer

수많은 제품으로 인한 복잡성 증가

17

Business Intelligence 는 단일 제품이아닌 프로세스

MartsMartsSummariesSummaries

CustomerData

Warehouse

CustomerData

Warehouse

Detailed/HistoricalData

What Happened?

Query tool

Why didit happen?

OLAP Tool

What willHappen?Data Mining

What MightHappen if?OLAP Tool

ExecuteHypothesis

OperationalIntegration

Monitor and ChangeBSC, Strategy Tools

18

Business Intelligence 구축 추세Near Real-time Data

Valu

e / S

peed

Valu

e / S

peed

e-Business / Business Intelligence Evolutione-Business / Business Intelligence EvolutioneBusiness

BI

• Static reports

• Wider accessQuarterly

• Identify customers individually

• Proactive information

• Interaction tailored to end user needs

Weekly

• Identify and interact differently

• Via new channelssuch as web

Daily• Across

value chain

• Dynamic Information• Integrated enhanced view• Customization

Real Time

19

통합된 e-Business: 각 영역에 걸친 전사적 분석 필요

규모 및 복잡성의 증가: 사용자 요구에 의한 데이터 및소스의 증가

Business Intelligence 사용자의 급격한 증가

Real-time 에 가까운 분석 및 closed-loop 의사 결정지원 필요

신속하고 자동화된 솔루션 필요

•• BIGGER BIGGER

•• FASTER FASTER

•• MORE USERSMORE USERS

•• BETTER INTEGRATIONBETTER INTEGRATION

•• PACKAGED SOLUTIONSPACKAGED SOLUTIONS

E-Business Intelligence challenges

20

Oracle9i 와 BI Applications

21

E-Business Intelligence Infrastructure

실행측면Operations

실행측면실행측면OperationsOperations

관리측면The Enterprise

관리측면관리측면The EnterpriseThe Enterprise

성장측면New Opportunities성장측면성장측면

New OpportunitiesNew Opportunities

CorporateStrategist

CorporateCorporateStrategistStrategist

BusinessAnalyst

BusinessBusinessAnalystAnalystLOB Decision

MakerLOB DecisionLOB Decision

MakerMakerLOB Decision

MakerLOB DecisionLOB Decision

MakerMakerERPERP CRMCRM

EnterpriseIntelligenceEnterpriseIntelligence

EnterpriseIntelligenceEnterpriseIntelligenceOperational & Analytical

Strategic Enterprise ManagementStrategic Enterprise Management

22

Strategic Enterprise Management

관리분야 가치지향의 관리

Strategy FormulationStrategy Formulation 전략적 계획 조정 및 수립

전략과 실행을 연계

재무분석을 배분

수익성 이해

가치 생성에 중점

Balanced ScorecardBalanced ScorecardFinancial AnalysisFinancial AnalysisActivity Based MgmtActivity Based MgmtValue Based MgmtValue Based Mgmt

관리측면관리측면관리측면

23

Enterprise Intelligence - Operational & Analytical

풀기 어려운 궁금증에 대한 해답을 제시

보다 나은 의사결정

리소스 최적화

사이클 타임 단축

최소 구입 비용

현금 및 수익에 대한 예측

이동비용 절약

인력자산의 최적화

관리분야

Supply ChainSupply ChainManufacturingManufacturingPurchasingPurchasingFinanceFinanceTravelTravelHRHR

실행측면실행측면실행측면

24

Enterprise Intelligence - Operational & Analytical

고객관계관리 - CRM 필요

보다 나은 의사결정

캠페인 효과 극대화

실시간 적 영업 사이클 인지

고객 Loyalty 구축

Call Center 효율성 최적화

Just click을 통한 수익성 제고Click-thru

MarketingMarketing관리분야

SalesSalesServiceServiceCall CenterCall CenterOnline SalesOnline Sales

성장측면성장측면성장측면

25

OracleOracleWarehouseWarehouse

실행측면Operations

실행측면실행측면OperationsOperations

관리측면The Enterprise관리측면관리측면The EnterpriseThe Enterprise

성장측면New Opportunities성장측면성장측면

New OpportunitiesNew Opportunities

FinancialFinancialPlanning & Planning & ForecastingForecasting

Activity BasedActivity BasedManagementManagement

Value Based Value Based ReportingReporting

BalancedBalancedScorecardScorecard

Sales & Sales & MarketingMarketingAnalysisAnalysis

Customer Customer AnalysisAnalysis

Oracle Business Intelligence핵심적, 주도적 정보기술 기반

26

Oracle WarehouseE-Business Intelligence 를 위한 기반 제공

WarehouseBuilder

Pure*IntegratePure*Extract

WarehouseBuilder

Pure*IntegratePure*Extract

Oracle8iOracle8i

ExpressExpressToolsTools

CWM and Repository

InternetApplication

Server

InternetApplication

Server

Analytic ApplicationsAnalytic Applications

DiscovererDiscoverer

ReportsReports

DarwinDarwin ExpressExpressServerServer

Enterprise Manager and WorkflowEnterprise Manager and Workflow

WebDBWebDB

WebWebDataData


ERPERPDataData

ExternalExternalDataData

27

전통적인 데이타 웨어하우스 구조:Best of Breed

Data Data WarehouseWarehouse

EngineEngine

ETLEngine

OLAPEngine

ReportsEngine

Brand BBrand A

Brand C

Brand D

Brand E

Database

28

Oracle e-Business Intelligence

CWM Metadata

E-Business Intelligence SuiteE-Business Intelligence Suite

WebWebDataData

ExternalExternalDataData


WarehouseBuilder

WarehouseBuilder

9iApplication

Server

9iApplication

Server BI BeansBI Beans


ReportsReports

PortalPortal

Oracle9iETL Infrastructure

Analytic Services

Data Mining


Analytic Services

Data Mining

29

Oracle BI Applications Products

관리측면The Enterprise관리측면관리측면The EnterpriseThe Enterprise

Balanced ScorecardAnalyzers:

– Financial Analyzer– Sales Analyzer– Performance Analyzer– Demand Planning

Activity Based Management

30

Oracle Business Intelligence System

PurchasingPurchasingFinancialsFinancials

Process ManufacturingProcess ManufacturingHuman ResourcesHuman Resources

OperationsOperations

실행측면실행측면

MarketingMarketingSalesSales

ServiceServiceCustomerCustomer

Interaction CenterInteraction Center

성장측면성장측면

Out-of-the-Box Intelligence For Every Management Area

31

Oracle’s War on ComplexityBuild option versus Oracle’s Buy or ‘Buy and

Extend’Suite of BI Applications

99iAS iAS (Discoverer/Reports)(Discoverer/Reports)

OracleOracle9i9i(OLAP/Data Mining)(OLAP/Data Mining)

CwMCwM

iDS iDS (Warehouse Builder)(Warehouse Builder)

99iAS iAS (BI Beans)(BI Beans)

99iAS iAS ((iPortaliPortal ))PortalPortal

Advanced AnalysisAdvanced Analysis

Query & ReportingQuery & Reporting

ETLETL

MetadataMetadata

DatabaseDatabase

MicrostrategyMicrostrategy

NCRNCR

ArdentArdent

IBMIBM

ViadorViador

InformaticaInformatica

CrystalCrystalReportsReports

HyperionHyperion

HummingbirdHummingbird

BusinessBusinessObjectsObjects

tt

SASSAS

SagentSagent

MicrosofMicrosof

32

‘ACTIVE’ Warehouse

33

현재의 웨어하우스 구조

Web

Sales & Marketing

Off-LineAnalytical

WarehouseExternal Data

Cust 1 data 1 data 2 data 3Cust 2 ....... ....... .......Cust 3 ....... ....... .......Cust 4 ....... ....... .......Cust 5 ....... ....... .......Cust 6 data 1 data 2 data 3Cust 7 ....... ....... .......Cust 8 ....... ....... .......Cust 9 ....... ....... .......Cust 10 ....... ....... .......

Cust 1 data 1 data 2 data 3Cust 2 ....... ....... .......Cust 3 ....... ....... .......Cust 4 ....... ....... .......

On-LineDataStore

Business Intelligence ApplicationsOperationalReporting

Back-Office

Call-Center

E-Business Suite

34

데이타 구조 및 흐름

Web

Sales & Marketing

Cust 1 data 1 data 2 data 3

Cust 2 ....... ....... .......

Cust 3 ....... ....... .......

Cust 4 ....... ....... .......

Cust 5 ....... ....... .......


Cust 7 ....... ....... .......

Cust 8 ....... ....... .......

Cust 9 ....... ....... .......

Cust 10 ....... ....... .......


Cust 2 ....... ....... .......

Cust 3 ....... ....... .......

Cust 4 ....... ....... .......

Direct Access APIor

Integration Server

On-LineDataStore Independent

Applications

Call Center

ERP

XML

EAI

Single Customer

View (SCV)

e-BusinessSuiteCommon

Application Data

OffOff--LineLineAnalyticalAnalytical

WarehouseWarehouse

DimensionalData Structures

Scores& Flags

Batch Loadand

Transformation

35

Web

Sales & Marketing

Off-LineAnalytical

WarehouseExternal Data

Cust 1 data 1 data 2 data 3Cust 2 ....... ....... .......Cust 3 ....... ....... .......Cust 4 ....... ....... .......Cust 5 ....... ....... .......Cust 6 data 1 data 2 data 3Cust 7 ....... ....... .......Cust 8 ....... ....... .......Cust 9 ....... ....... .......Cust 10 ....... ....... .......


On-LineDataStore

BI ApplicationsCustomerProfiling

ClickstreamAnalysis

Analysis &Reporting

Back-Office

Call-Center

CollaborativeFiltering

Rules basedPersonalisation

Real-Time 분석의 추가

E-Business Suite

36

Personalization 서비스How Does It Work? BooksRus.com

Browser (Client)

Web ServerHtml Code Generation

<static sections>

<dynamic sections created using JSP>

Html requestBooksRus.com’s Book Store - Netscape

BooksRus.com

BooksRus.com 100 Hot Books

BooksRus.com Auctions.

BooksRus.com

BooksRus.com

BooksRus.com

BooksRus.com’s Book Store - Netscape

BooksRus.com

BooksRus.com Auctions.BooksRus.co

m 100 HotBooks

www.booksrus.com

The Brethrenby John Grisham

Customer ID Profess ion Field Classic Rap Thriller Poetry23567 Computer Consulting 1 0 1 0

Html code

The session data is cleaned to create a browsing profile to be used with customer data for scoring

Oracle 9iPersonalization

Services

Score Action15 60

The profile is scored in the database and the result is returned to the Web server

37

On-Line 분석과 Personalization

Web

Call Centre

Marketing

Sales


WarehouseWarehouse

Customer Profile Data


Cust 2 ....... ....... .......

Cust 3 ....... ....... .......

Cust 4 ....... ....... .......

Cust 5 ....... ....... .......


Cust 7 ....... ....... .......

Cust 8 ....... ....... .......

Cust 9 ....... ....... .......

Cust 10 ....... ....... .......


Cust 2 ....... ....... .......

Cust 3 ....... ....... .......

Cust 4 ....... ....... .......

On-LineCustomer

DataStore

PersonalizationPersonalizationEngineEngine

Recommendation API

-> Session data<- Action score

CustomerProfiling

38

정보의 분배와 접근


WarehouseWarehouse

DataMining

OLAP Query &Reporting

Query &Reporting

Portal

Alerts WorkflowAlerts & W/Flow

On-Line Customer Data Store

39

무선 – 비지니스 인텔리젼스 시스템

40

결 론

41

요약 및 결론

Common technology infrastructure 의 중요성

많은 기술 요소를 사용하여 구축하는 BI 솔루션의문제점

– too slow– too costly

확장 가능한 패키지 솔루션 사용

미래를 보장하는 표준화의 중요성– in particular Common Warehouse Metadata

42

요약 및 결론(계속)

Near real-time 분석으로의 전환

Pro-active (automated) 의사결정으로의 전환

Operational 과 DW 시스템의 통합 접근

= Analytical (DW) 과 transactional (OLTP) 구조의‘재통합’

43

Web

Back-Office

Sales & Marketing

Call-CentreExternal Data

Cust 1 data 1 data 2 data 3Cust 2 ....... ....... .......Cust 3 ....... ....... .......Cust 4 ....... ....... .......Cust 5 ....... ....... .......Cust 6 data 1 data 2 data 3Cust 7 ....... ....... .......Cust 8 ....... ....... .......Cust 9 ....... ....... .......Cust 10....... ....... .......


On-LineCustomer

Data

Personalisation

Data Mining OLAP Query &Reporting

Alerts Workflow

Oracle9i

AnalyticalStructures

andPerformance ManagementFramework

E-Business SuiteBI Applications

WirelessAccessPortal

44

ORACLE BI SOLUTION

45

Traditional Business Intelligence

Lineage

Query & Analysis

Name/AddressScrubbing

ETLTool

Analytic Apps

ReportingEngine

EnterpriseReporting

Portal

ETL Tool

TransformationEngine

데이타베이스데이타베이스

TransformationEngine

마이닝Engine

OLAPEngine

Multi-Vendor, Un-integrated

46

Oracle9i Intelligent Infrastructure

Single Vendor, Integrated

47

Oracle9i Intelligent Infrastructure Single Vendor, Integrated

CWM Meta데이타

E-Business Intelligence SuiteE-Business Intelligence Suite

WebWeb데이타데이타

ExternalExternal데이타데이타

운영계운영계데이타데이타

WarehouseBuilder

WarehouseBuilder

9iApplication

Server

9iApplication

Server BI BeansBI Beans


ReportsReports

PortalPortal


Analytic Services

데이타 마이닝


Analytic Services

데이타 마이닝

48

DW를 위한 DBMS 요구사항Core Capabilities

PerformanceScalabilityManageability

Fast Analysis of Lots of 데이타 for Lots of Users

49

DW를 위한 DBMS 요구사항e-BI Platform

Extract, Transform, and LoadAnalyticsPersonalization

– 데이타 마이닝

Quality 데이타 for Knowledge you can Action

50

Continuous InnovationOracle 7.3Oracle 7.3

Hash JoinBitmap IndexesParallel-Aware OptimizerPartition ViewsInstance Affinity: Function ShippingParallel Union AllAsynchronous Read-AheadHistogramsAnti-Join

Hash JoinBitmap IndexesParallel-Aware OptimizerPartition ViewsInstance Affinity: Function ShippingParallel Union AllAsynchronous Read-AheadHistogramsAnti-Join

Partitioned Tables and IndexesPartition PruningParallel Index ScansParallel Insert, Update, DeleteParallel Bitmap Star QueryParallel ANALYZEParallel Constraint EnablingServer Managed Backup/RecoveryPoint-in-Time Recovery

Partitioned Tables and IndexesPartition PruningParallel Index ScansParallel Insert, Update, DeleteParallel Bitmap Star QueryParallel ANALYZEParallel Constraint EnablingServer Managed Backup/RecoveryPoint-in-Time Recovery

Oracle 8.0Oracle 8.0

Oracle8iOracle8i

Hash and Composite PartitioningMaterialized ViewsFunctional IndexesResource ManagerProgress MonitorAdaptive Parallel QueryServer-based Analytic FunctionsTransportable TablespacesDirect Loader APIPartition-wise JoinsSecurity Enhancements

Hash and Composite PartitioningMaterialized ViewsFunctional IndexesResource ManagerProgress MonitorAdaptive Parallel QueryServer-based Analytic FunctionsTransportable TablespacesDirect Loader APIPartition-wise JoinsSecurity Enhancements

Oracle9iOracle9i

ETL, OLAP, Data Mining EnginesList PartitioningBitmap Join IndexDynamic Aggregation BuffersizeMaterialized Intermediate ResultsGrouping SetsConcatenated Grouping SetsAggregate PruningNew Analytic FunctionsSelf-Tuning Execution MemorySystem Managed UndoDynamic Resizing of Buffer Pool

ETL, OLAP, Data Mining EnginesList PartitioningBitmap Join IndexDynamic Aggregation BuffersizeMaterialized Intermediate ResultsGrouping SetsConcatenated Grouping SetsAggregate PruningNew Analytic FunctionsSelf-Tuning Execution MemorySystem Managed UndoDynamic Resizing of Buffer Pool

51

Oracle Solution for BI

PerformanceScalabilityManageabilityETL Services OLAP ServicesData Mining

52

Oracle Solution for BIPerformanceScalabilityManageabilityOLAP ServicesETL Services데이타 마이닝 Services

53

Oracle’s Solution - Performance

Bitmap Join Index

자주 Join되는 테이블간의 Bitmap Index

– Join 된 A 테이블의 특정 Column 을 기준으로 B 테이블을Bitmap Index 화

Benefits

– 미리 생성된 Bitmap Index 사용으로 Table Access 시Performance 향상

– Dimension Table 과 Fact Table Join 에 유용

54


Bitmap Join Index (Cont.)

Sales Customer

CREATE BITMAP INDEX cust_sales_bji ON Sales(Customer.state) FROM Sales, CustomerWHERE Sales.cust_id = Customer.cust_id;

Index key is Customer.State

Indexed table is Sales

55


Materialized View대용량 Fact Table 의 Summary Table 생성

Benefits– 복잡한 join 및 aggregation 연산 시 질의

성능 향상

– Dimension의 hierarchy에 따른 rollup 가능

– 사용자에게는 투명함

– Application 수정이 필요 없음

– Base Table 로 Access 시 Optimizer 가자동으로 Summary Table 로 Redirect

제품

매출액매출액

지역지역

기간

매출액‘summary’

56

Materialized View – Query RewriteOracle’s Solution - Performance

지난 3분기지역별제품별

매출액은 ?

x

(30 GB)

(2GB)

매출액

분기별지역별제품별매출액

SELECT p.brand, r.country, t.month,SUM(s.amt) tot_sales

FROM sales s, region r, time t, product p

WHERE s.region_id = r.region_idAND s.sdate = t.curdateAND s.prod_code = p.prod_codeGROUP BY p.brand, r.country,t.monthHAVING SUM(s.amt) > 5000000;

SELECT brand, country, month, tot_sales

FROM sales_sumryWHERE tot_sales > 5000000;

SELECT brand, country, month, tot_sales

FROM sales_sumryWHERE tot_sales > 5000000;

1

2SummarySummary

1

2

57

데이타 Refresh 방법– Incremental– Deferred– Full– Partition별

– Manual– Automatic

분기별매출액

제품별매출액

지역별매출액

InsertUpdateDelete

InsertInsertUpdateUpdateDeleteDelete

DeferredDeferredRefreshRefresh

FullFullRefreshRefresh

매출액

IncrementalIncrementalRefreshRefresh

Enhancements to MVs– Broader refresh and

rewrite capabilities– More sophisticated

summary advisor

Materialized View – 데이타 RefreshOracle’s Solution - Performance

58

Oracle's Solution – Performance

WITH Clause복잡한 질의에서 자주 반복되는 SELECT 문장(서브 쿼리)을 같은질의 블록으로 설정하여 재사용

– 블록의 결과를 되돌려 주고 사용자의 임시

테이블 스페이스에 이를 저장

Benefits– 자주 사용되는 질의 결과를 재사용함으로 Performance 향상 효과

With summary as (select channel_desc ,sum(amount) as amount_totfrom sales, channelswhere channels.channel_id = sales.channel_idgroup by channel_desc)select channel_desc,amount_tot from summarywhere amount_tot > (select sum(amount_tot) * 1/8

from summary)order by channel_desc;

59

Automatic Memory TuningOracle's Solution – Performance

Automated SQL Execution Memory – User 의 SQL 문에 따라 User Memory 영역인 PGA 가 dynamic 하게

최적의 영역을 설정

– PGA_AGGREGATE_TARGET = <size>– SORT_AREA_SIZE, HASH_AREA_SIZE 대체

Benefits– 메모리 튜닝의 편의성

– 메모리 튜닝에 소요되는 시간의 단축

– 메모리 사용 효율성 증대로 인한 시스템 throughput 향상(특히 동시사용자가 많을 때)

– 개별 질의에 대한 response time 향상

60


PerformanceScalabilityManageabilityETL Services OLAP Services데이타 마이닝 Services

61

Oracle's Solution - Scalability

List Partitioning적은 Partitions 조인을 통한 빠른 질의 성능

각 Partition 에 위치할 Column 값을 명시적으로 지정

불연속적인 데이타에 대한 분할 기법

Composite Partition 기능 제공 (Range + List)

...... 경남부산

경남부산

경북대구

경북대구

경기경기서울서울 강원강원

지역별 매출액

62

List Partitioning

List partitioning 은 각 Partition의 Partition 키 값의열거를 허용

– 불연속적인 데이타 분야의 Partition에 유용함 (예, 지역, 제품 카타로그)

예제:

CREATE TABLE sales_by_product_line ( … )PARTITION BY LIST (state) (

PARTITION northwest VALUES IN(’OR’, ’WA’),PARTITION southwest VALUES IN (’AZ’, ’UT’, ’NM’),PARTITION northeast VALUES IN (’NY’, ’VT’, ’NJ’),PARTITION southeast VALUES IN (’FL’, ’GA’)));

63

Oracle's Solution - Scalability

Automatic Parallel Tuning

System 환경에 기초하여 자동으로 최적의 Parallel Degree 를 결정

User Query Runtime 시에 동적으로 메모리 할당

Two 환경변수:AUTOMATIC_PARALLEL_TUNING = TRUEPARALLEL_THREADS_PER_CPU = <number>

64

Data Compression

Most beneficial for DW– Table 및 Tablespace level 에서 compress– Tablespace level에서 정의되면 해당 tablespace로 저장되는

모든 테이블은 “DEFAULT NOCOMPRESS” 라고 정의하지않는 한 자동 압축됨

Algorithm– 한 블록 내의 중복 value를 제거

– Block size 가 클수록 압축률이 높음

– 데이터 sorting시 압축률이 높음

65

Data Compression

Sample

CREATE TABLE employees (employee_id NUMBER,first_name VARCHAR2(20), ….) COMPRESS;

CREATE TABLESPACE sampleDATAFILE ‘sample01.dbf’ SIZE 20MDEFAULT COMPRESS;

CREATE TABLE countries (country_id CHAR(2),country_name VARCHAR2(40),region_id NUMBER ) NOCOMPRESSTABLESPACE sample;

66

Data Compression

Compression 이 가능한 Operation– Direct Path SQL*Loader– CTAS – Parallel INSERT(or serial INSERT with as APPEND hint)

statement

Compression 대상– Table(include Partition table)– Materialized View– Index

67

Data Compression

Compression 이 가능한 Data Type– LOB 와 LOB 로 부터 derive 된 data type을 제외한 모든

data type

Compression ratio– Industry data 특성에 따라 다르나 평균적으로 2:1 ~ 4:1– Load 전에 sort 시 압축률을 높일 수 있음

– Large PCTFREE 는 압축률을 낮춤

– COMPRESSED Table 은 자동적으로 PCTFREE를 0로setting

68



69

Oracle's Solution - Manageability

Memory Management

Automated SQL Execution Memory – User 의 SQL 문에 따라 User Memory 영역인 PGA 가

dynamic 하게 최적의 영역을 설정

Benefits– 메모리 튜닝의 편의성

– 메모리 튜닝에 소요되는 시간의 단축

– 메모리 사용 효율성 증대로 인한 시스템 throughput 향상(특히 동시 사용자가 많을 때)

– 개별 질의에 대한 response time 향상

70


Memory Management

Dynamic SGA– Oracle 메모리 영역인 SGA 의 내용을 shutdown 없이 alter

system 명령어로 동적으로 변경

Buffer cache Shared poolLarge pool

Benefits– 서비스의 중지 없이 메모리 관련 튜닝 수행 효과

71


Resource Manager사용자 그룹별로 자원에 대한 우선 순위 설정

– 혼합된 형태( 실무자용,관리자용 등)로 작업 부하를 관리

OLTP 사용자 : resource 20%, DW 사용자 : resource 80%

– 사용자 그룹 당 동시접속 최대 개수 지정

– 실행 가능한 최대 예측시간을 설정

Benefits– 자원의 경합으로 인한 중요업무 지연 방지

– 자원의 효율성 도모

– 큰 job 의 resource 독점 방지

72


Resource Manager

주간

사용자 group Allocation method parameters

OLTP CPU = 75%

Degree of parallelism = 2

DSS CPU = 25%



OLTP CPU = 75%


DSS CPU = 25%


야간


OLTP CPU = 25%


DSS CPU = 75%



OLTP CPU = 25%


DSS CPU = 75%


73

Enhanced Resource Manager

Oracle9i introduces:– Proactive Query Governing:

특정 제한 시간을 넘는 것으로 예측되는 질의를 취소할수 있음

– Automatic Queuing: 각 사용자 그룹별로 유효한 세션 제한 가능 : 제한을 넘는질의는 대기

동적인 우선순위 재설정

수행시간의 초과하는 질의에 대해서는 다른 사용자그룹으로 재할당

74

Enhanced Statistics GatheringOracle's Solution - Manageability

최적화된 실행계획을 위한 통계정보 수집의 자동화

– GATHER_SCHEMA_STATISTICS(<schema_name>, OPTIONS=>‘GATHER AUTO’);

– 통계정보 생성을 위해 동적인 샘플링 기법사용

Benefits– 최적화된 실행 계획 제공

– 통계정보 수집을 위한 공간과 시간을 최소화

75


Enhanced Summary Advisor

요약관리자에 의한 Materialize View의 생성과 관리

질의 사용량에 근거한Recommendation – Allows DBAs to optimize disk

costs to performance gains Summary Advisor

데이타dictionaryinformationWorkload

information

SpaceUsage

SummaryRecommendations

SummaryUsage

76



77

Oracle's Solution – ETL Services

Change Data Capture원천 시스템에서 가장 최근에 extraction한 이후의 변경된

데이타만 추출하는 작업

– 변경된 데이타는 Changed Table이라는 오브젝트에 저장

– From Oracle sources– Synchronous Mode

Log Files

Trigger-based Replication

Change Tables

Publish and Subscribe

Target DW

Source DB

Source DB

78


Change 데이타 Capture

Benefits

With CDC Without CDC

동시에 발생치 않음Extraction 원천 테이블 DML 작업과동시에 발생

관계형 테이블에 저장Staging flat file로 저장

Package 이용한 Interface 제공 관리자에 의한 작업Interface

자동 ETL 로 COST 절감 추출,변경,전달, 로딩의COST 발생

Cost

79

External TableOracle's Solution – ETL Services

데이타가 DB 외부에 Flat file로 저장– Read Only Table– DB내로 데이타의 로딩 없이 질의, 조인, 병렬

Benefits– DW 에서 ETL 위한 STAGING 필요하지 않음

– 외부 source를 기존의 데이타 베이스 오브젝트와 조인하거나변형시킬 때 유용하게 사용

– 자주 사용되지 않는 큰 외부 데이타일 때 유용

80


Upserts테이블에 조건에 따라 데이타를 insert 또는 update

– Single command

Benefits– 전체 작업을 하나의 단순한 SQL문으로 표현

– Bulk Loading/DML시 유용

– 병렬작업으로 Performance 향상

on (t.deptnoWHEN

v

Merge into dept t using src_dept s= s.deptno)

matched then update set t.loc = s.locWHEN NOT matched then insert (t.deptno, t.dname, t.loc)alues (s.deptno, s.dname, s.loc);

81


Multi-Table Inserts

조건에 따라 데이타를 여러 개의 테이블에 Insert– Single command

Benefits– 다수의 단일 문장 보다 빠름

– Performance 향상

INSERT ALLWHEN product IN (select product from promotional_items) THENINTO promotional_sales VALUES (product, amount)WHEN coupon IS NOT NULL THENINTO coupon_salesSELECT product, amount, couponFROM item_lines;

82


Table FunctionsFunction Output을 row의 집합으로 생성

– PL/SQL, Java, C 로 작성

– 데이타 추출 후 Transformation 작업 수행

– Table Function 의 input 데이타 로 row 집합 가능

Pipelined and parallel procedural transformations – 데이타 transformation의 결과를 테이블에 저장하지 않고

바로 다음 프로세스나 목적 테이블에 전달

– Function 을 parallel 하게 호출할 수 있다

Benefits– High performance complex transformations – No need for a separate ETL engine– Transformation 과정에서 Staging table 필요 없음

83

Oracle 데이타base for BIETL Services

모든 ETL 기능이 동시에 사용가능

– select 데이타 from flat file– join to 데이타base table 데이타

– apply complex procedural transformations– upsert into multiple target tables

병렬화 가능

하나의 SQL 문장으로 가능

Streamed, parallel, complex ETL in the 데이타base

84

Oracle9i: ETL Scenario

Step 1: Load into staging table

Step 2: Transform 데이타 using function

Step 3: Insert and update into target table

FLAT FILES TARGET

StagingTable

StagingTable

Oracle8i: Multiple staging tables and SQL statements

MERGETRANS-FORM

LOAD

Oracle9i: Single SQL statementOracle9i: Parallel pipelining of Data

85

Oracle BI ToolsOracle Warehouse Builder

소스 시스템에 대한 정보 추출

EDW 설계 및 데이터 로드 구현

Oracle DiscovererData 분석 및 보고서 생성

Oracle OLAP Service다차원 데이터베이스 객체 관리

Oralce BI BeansBI Application 개발 및 전개(Deploy)

Documents

Principal Sales Consultant - Oracle Software …download.oracle.com/global/kr/download/seminar/2002/otd2... · 2003-05-12 · OLAP Tools Applications External Data Operational Data