43
IBM Business Intelligence Solution Seminar 2005 ® 데이터 웨어하우스 BCU - 최적의 BI 시스템 환경 구성을 위한 Best Practice 한국IBM 소프트웨어사업부 DB2 Advanced Technical Support 이 정권 ([email protected])

데이터웨어하우스 BCU - dbguide.net · BCU AIX 구성요소 데이타베이스디자인 BCU Future. IBM Business Intelligence Solution Seminar 2005 ® BCU 소개. IBM Business

  • Upload
    others

  • View
    10

  • Download
    0

Embed Size (px)

Citation preview

IBM Business Intelligence Solution Seminar 2005

®

데이터 웨어하우스 BCU- 최적의 BI 시스템 환경 구성을 위한 Best Practice

한국IBM 소프트웨어사업부DB2 Advanced Technical Support이 정권 ([email protected])

IBM Business Intelligence Solution Seminar 2005

목차

BCU 소개

BCU 개념 및 아키텍처

BCU Offering

BCU AIX 구성요소

데이타베이스 디자인

BCU Future

IBM Business Intelligence Solution Seminar 2005

®

BCU 소개

IBM Business Intelligence Solution Seminar 2005

BI Trend - Mission-Critical 환경으로

실시간 비즈니스 인텔리전스

Active 데이터 웨어하우스

웨어하우스와 트랜잭션시스템의 통합

타 데이터 소스와 데이터 연동

Speed of deployment *is* critical

YesterdayYesterday TodayToday

Point in Time 비즈니스인텔리전스

Batch 데이터 웨어하우스

웨어하우스와 트랜잭션 시스템의분리

독립형 데이터 웨어하우스

BI 응용프로그램의 개발과구현단계 사이의 지연

IBM Business Intelligence Solution Seminar 2005

BCU의 필요성

권장하는권장하는 서버와

서버와 스토리지는

스토리지는 ??

Best PracticeBest Practice가가 있습니까

있습니까 ??

소프트웨어소프트웨어 유지보수

유지보수 레벨레벨 관리관리 방안은방안은 ??

스토리지스토리지 디자인디자인 권장사항은권장사항은 ??

Data Data

WarehouseWarehouse

위험요소를위험요소를 최소화하는최소화하는 방안은방안은 ??

데이타베이스데이타베이스 파티셔닝

파티셔닝 방안은방안은 ??

사이징사이징 및및 증설시증설시 적용적용 방안은방안은 ??

IBM Business Intelligence Solution Seminar 2005

BCU 솔루션 방안

Best Practice의 전달다양한 플랫폼/솔루션에 대한 적합한 방안 제시planning단계에서 sizing, 향후 확장 등을 위한 방안 제시솔루션 구현 시간의 단축향후 시스템 확장시 모듈화된 접근 방법 제공통합 테스트를 통한 전체 솔루션의 검증

IBM Business Intelligence Solution Seminar 2005

Balanced Configuration Unit (BCU) 란 ?

…pSeries Server

cpu n

cpu n-1

cpu 2

cpu 1

I/O Channels

BCU 1

pSeries Server

cpu n

cpu n-1

cpu 2

cpu 1

I/O Channels

BCU 2

pSeries Server

cpu n

cpu n-1

cpu 2

cpu 1

I/O Channels

BCU N

Data Warehouse

…pSeries Server

cpu n

cpu n-1

cpu 2

cpu 1

I/O Channels

pSeries Server

cpu n

cpu n-1

cpu 2

cpu 1

I/O Channels

BCU 1

pSeries Server

cpu n

cpu n-1

cpu 2

cpu 1

I/O Channels

pSeries Server

cpu n

cpu n-1

cpu 2

cpu 1

I/O Channels

BCU 2

pSeries Server

cpu n

cpu n-1

cpu 2

cpu 1

I/O Channels

pSeries Server

cpu n

cpu n-1

cpu 2

cpu 1

I/O Channels

BCU N

Data Warehouse

Unit = Building block 또는 logical entityConfiguration = 하드웨어와 소프트웨어의 디자인 스펙

Balanced = 디스크와 I/O, 메모리, CPU, 네트워크의 확장 가능 비율

BI 시스템 구현시 복제 구현을 위한 최소한의 HW/SW 스택

AIX와 Linux 플랫폼에서의 최적의 환경 구현을 위한 best practice고객사 구현을 통한 검증된 방법론에 기초

IBM Business Intelligence Solution Seminar 2005

BCU – 모듈 단위의 sizing

BCU for AIX 18 x 1.9GHz CPU8개의 데이터 BPU 32GB 메모리 (파티션당 4GB)4 FC 어댑터 – 600MB/sec I/O4.23 TB usable (파티션당 542GB)

CPUCPUMEM

CPUCPU

Data BCU 1

CPUCPUMEM

CPUCPU

Data BCU 4

CPUCPUMEM

CPUCPU CPUCPUMEM

CPUCPU

Data BCU 2 Data BCU 3

CPUCPUMEM

CPUCPU

Data BCU 5

총 예상 디스크가 크기가 20TB 정도이면, 4개의 BCU를 더 추가

IBM Business Intelligence Solution Seminar 2005

BCU – 모듈 단위의 확장

Combined Coordinator, Catalog andSingle Partition Data BPU

Coordinator BPU

Multi Partition Data BPU

CPUCPUMEM

CPUCPU

Data BCU 4

CPUCPUMEM

CPUCPU

Data BCU 5

CPUCPUMEM

CPUCPU

Data BCU 10

CPUCPUMEM

CPUCPU

CPUCPUMEM

CPUCPU CPUCPUMEM

CPUCPU CPUCPUMEM

CPUCPU

Data BCU 1 Data BCU 2 Data BCU 3

Admin BCU 1

CPUCPUMEM

CPUCPU

Admin BCU 2

CPUCPUMEM

CPUCPU

Data BCU 11

Legend

IBM Business Intelligence Solution Seminar 2005

BCU 장점

솔루션 전달 시간 단축

IBM이 제시하는 best practice를 통해 효율적인 계획 및 사이징 가능

최신의 기술을 사용하여 BI에 적합한 시스템 환경 구성

DB2 DPF, eServer p5, TotalStorage

위험 요소의 감소솔루션의 구성요소로 최신의 기술을 적용

기능 및 성능 테스트를 통한 솔루션 검증

향후 시스템 증설시 BCU 단위의 모듈화된 확장 지원업계 표준인 UNIX와 Linux 운영 체제 기반의 오픈 환경 지원솔루션 초기 구현 시간 단축

HW/SW 구현단계에서 권장하는 설정값을 제공

IBM Business Intelligence Solution Seminar 2005

®

BCU 개념 및 아키텍처

IBM Business Intelligence Solution Seminar 2005

DB2 기능 - 데이타베이스 파티셔닝

무공유(Shared Nothing) 아키텍처 구조파티션드(Partitioned) 데이타베이스 모델

데이타베이스가 여러 개의 파티션으로 나누어진다.각각의 데이타베이스 파티션은 다른 노드에서 수행될 수 있다.각각의 데이타베이스 파티션은 자신에게만 할당된 고정 자원을 가진다.(엔진, 로그관리자, 잠금 관리자, 캐쉬, 등) 모든 파티션에서 병렬 처리가 이루어진다.사용자나 응용프로그램에게는 하나의 데이타베이스 이미지이다.

Fast communication manager

Data Log

DatabasePartition

data log data log data log data log

IBM Business Intelligence Solution Seminar 2005

DB2 - H/W scalability

high-speed network

tabletable

CPUCPU

MEM

CPUCPU

MEM

CPUCPU

MEM

CPUCPU

MEM

MPP – many servers, each with a single cpu and operating system

CPUCPU

MEM

CPUCPU CPUCPU CPUCPU

tabletable

CPUCPU

MEM

CPUCPU CPUCPU CPUCPU

tabletable

CPUCPU

MEM

CPUCPU CPUCPU CPUCPU

high-speed network

Cluster - many servers where each server is an SMP serverSMP – many cpus in a single server

with one operating system

IBM Business Intelligence Solution Seminar 2005

Balanced Units

Balanced Partition Unit (BPU)하나의 DB2 파티션과 그와 연관된 시스템 ‘자원들’• 사이징, 서버간 비교, 증설 시나리오등에 사용된다.

Balanced Configuration Unit (BCU)하나의 운영체제 이미지를 가지고 여러 개의 DB2 파티션들을 운영하는 환경

• HA를 고려하지 않은 하나의 SMP 환경

• ETL, 응용프로그램등 기능별로 구분한다.

High Availability - Balanced Configuration Unit (HA-BCU) 장애 발생시 takeover가 가능하도록 최소한 2개의 BCU로 구성된다.• 고 가용성을 지원하기 위한 HW/SW 레벨에서의 스펙을 포함한다.

IBM Business Intelligence Solution Seminar 2005

Balanced Partition Unit (BPU)

BPU는 하나의 DB2 데이터 파티션과 연관된 자원들로 구성된다.

DB2 데이터 파티션

DB2 에이전트들

DB2 에이전트가 사용하는 CPU 자원들

DB2 에이전트가 사용하는 메모리

파티션된 데이터가 들어가는 스토리지CPU

I/O Channels

BPU

Memory - Bufferpool

Communication

One DB2 Data Partition

DB2 Agents

Storage Capacity

IBM Business Intelligence Solution Seminar 2005

Balanced Partition Unit (BPU) 유형

BPU는 해당 DB2 파티션이 수행하는 기능에 따라 다음과 같이 구분된다.

데이타 BPU 실 데이터를 저장하고 처리하는 데이타베이스 파티션

• 멀티-파티션 데이타

• 싱글-파티션 데이타

코디네이터 BPU 사용자 연결를 관리하고 쿼리를 조정하는 데이타베이스 파티션.

카탈로그 BPU DB2 카탈로그 정보가 위치하는 데이타베이스 파티션

Best Practice : 하나의 DB2 파티션이 코디네이터와 카탈로그, 싱글-파티션용 데이터를 처리하는것을 권장한다. 그러나, 사이징을 목적으로 분리할 수도 있다.

IBM Business Intelligence Solution Seminar 2005

Balanced Configuration Unit (BCU)

BCU: 하나의 물리적인 서버 또는 LPAR를 통해 구현된 하나의 물리적인 노드로 같은OS 이미지 위에 여러 개의 BPU로 구성된다.

POWER5 BCU

AIX

OS

AIX

OS

BPU BPU BPU BPU

BPUBPUBPUBPU

pSeries p5-575

CPUCPU CPUCPU CPUCPU CPUCPU

CPUCPUCPUCPUCPUCPUCPUCPU

4 GBMemory4 GB

Memory4 GB

Memory4 GB

Memory4 GB

Memory4 GB

Memory4 GB

Memory4 GB

Memory

4 GBMemory4 GB

Memory4 GB

Memory4 GB

Memory4 GB

Memory4 GB

Memory4 GB

Memory4 GB

Memory

구현 서버와 디자인 방식에 따라

달라진다.8 BPUs32GB 메모리

8 Power5 프로세서 (p5 575)하나의 AIX OS 이미지

BCU 진용으로 모듈화된 스토리지

데이타 BCU의 예

IBM Business Intelligence Solution Seminar 2005

Balanced Configuration Unit (BCU) 유형

BCU는 데이터 웨어하우스 환경내에서 수행하는 기능에 따라 다음과같이 구분된다.

데이타 BCU사용자 데이터를 처리하고 관리하도록 지정된 DB2 데이타베이스 파티션들의 집합.

하나의 데이터 BCU는 여러 개의 데이터 BPU들을 포함

관리 BCUDB2 카탈로그와 코디네이터 파티션 역할을 수행하는 DB2 데이타베이스 파티션들의 집합.

ETL BCU데이터 웨어하우스 환경에서 데이터 추출, 변형, 적재등의 작업을 수행하는 부분이다.

일반적으로 별도의 ETL 툴 또는 프로그램으로 구현

각각의 BCU들은 워크로드의 유형이 서로 다르기 때문에 해당 업무에 맞게구성하는 방식이 이루어져야 한다.

IBM Business Intelligence Solution Seminar 2005

BCU 아키텍처 – BPU 뷰사이징을 위해서는, 각각의 기능들을 분리해서 고려하여야 한다.

Catalog BPU

Coordinator BPU 1

Coordinator BPU forNon-DB2 ETL

Single-partition DataBPU 1

Preferred BCU Solution for a Data Warehouse using DB2 with DPF Partitions

Multi-partition DataBPU 1Multi-partition Data

BPU 1Multi-partition DataBPU 1Multi-partition Data

BPU 1Multi-partition DataBPU 1Multi-partition Data

BPU 1Multi-partition DataBPU 1Multi-partition Data

BPU 8

Multi-partition DataBPU 1Multi-partition Data

BPU 1Multi-partition DataBPU 1Multi-partition Data

BPU 1Multi-partition DataBPU 1Multi-partition Data

BPU 1Multi-partition DataBPU 1Multi-partition Data

BPU 16

Multi-partition DataBPU 1Multi-partition Data

BPU 1Multi-partition DataBPU 1Multi-partition Data

BPU 1Multi-partition DataBPU 1Multi-partition Data

BPU 1Multi-partition DataBPU 1Multi-partition Data

BPU 24

Multi-partition DataBPU 1Multi-partition Data

BPU 1Multi-partition DataBPU 1Multi-partition Data

BPU 1Multi-partition DataBPU 1Multi-partition Data

BPU 1Multi-partition DataBPU 1Multi-partition Data

BPU n

Catalog BPU

Coordinator BPU 1

Coordinator BPU forNon-DB2 ETL

Single-partition DataBPU 1

Preferred BCU Solution for a Data Warehouse using DB2 with DPF Partitions

Multi-partition DataBPU 1Multi-partition Data

BPU 1Multi-partition DataBPU 1Multi-partition Data

BPU 1Multi-partition DataBPU 1Multi-partition Data

BPU 1Multi-partition DataBPU 1Multi-partition Data

BPU 8

Multi-partition DataBPU 1Multi-partition Data

BPU 1Multi-partition DataBPU 1Multi-partition Data

BPU 1Multi-partition DataBPU 1Multi-partition Data

BPU 1Multi-partition DataBPU 1Multi-partition Data

BPU 16

Multi-partition DataBPU 1Multi-partition Data

BPU 1Multi-partition DataBPU 1Multi-partition Data

BPU 1Multi-partition DataBPU 1Multi-partition Data

BPU 1Multi-partition DataBPU 1Multi-partition Data

BPU 24

Multi-partition DataBPU 1Multi-partition Data

BPU 1Multi-partition DataBPU 1Multi-partition Data

BPU 1Multi-partition DataBPU 1Multi-partition Data

BPU 1Multi-partition DataBPU 1Multi-partition Data

BPU n

구현방식중의 하나로 다음을 고려할 수 있다.카탈로그, 코디네이터, 싱글-파티션 테이블을 위한 하나의 데이타베이스 파티션

실 데이터를 위한 여러 개의 데이타베이스 파티션

옵션으로, ETL용 코디네이터를 위한 데이타베이스 파티션

IBM Business Intelligence Solution Seminar 2005

BCU 아키텍처 – 시스템 뷰

DB2 DataBCU

DS4500 - Controller

EXP700Disk Drives

DS4500 - Controller

EXP700Disk Drives

DS4500 - Controller

EXP700Disk Drives

DS4500 - Controller

EXP700Disk Drives

Administration BCU

DS4500 - Controller

EXP700Disk Drives

DS4500 - Controller

EXP700Disk Drives

Storage Area Network Switch Fabric

Storage Area Network Switch Fabric

CiscoGb Ethernet

Non- blockingSwitch

CiscoGb Ethernet

Non- blockingSwitch

Corporate Network

HardwareManagement

Console (HMC)

IBM p5708 x 1.9GHz CPUs

32GB memoryDB2 V8 – 64 bit

AIX V5.3HACMP

IBM p570 x 1.9GHz CPUs

memoryDB2 V8 – 64 bit

AIX V5.2HACMP

IBM p570 LPAR2 x 1.9GHz CPUs

16GB memoryDB2 V8 – 64 bit

AIX V5.2HACMP

IBM p5708 x 1.9GHz CPUs

32GB memoryDB2 V8 – 64 bit

AIX V5.3HACMP

IBM p5708 x 1.9GHz CPUs

32GB memoryDB2 V8 – 64 bit

AIX V5.3HACMP

IBM p5708 x 1.9GHz CPUs

32GB memoryDB2 V8 – 64 bit

AIX V5.3HACMP

IBM p5708 x 1.9GHz CPUs

32GB memoryDB2 V8 – 64 bit

AIX V5.3HACMP

Common SANSwitch Fabric

DS4500 Storage -

EXP710Disk Drives

DS4500 Storage -

EXP710Disk Drives

DB2 DataBCU

DS4500 Storage -

EXP710Disk Drives

DS4500 Storage -

EXP710Disk Drives

DS4500 Storage -

EXP710Disk Drives

Optional ETL BCU

DS4500 Storage-

EXP710Disk Drives

Optional Storage Area Network Switch Fabric

Optional Storage Area Network Switch Fabric

CiscoGb Ethernet

Non- blockingSwitch

CiscoGb Ethernet

Non- blockingSwitch

CiscoGb Ethernet

Non- blockingSwitch

CiscoGb Ethernet

Non- blockingSwitch

Corporate Network

HardwareManagement

Console (HMC)

IBM p5-p5758 x 1.9GHz CPUs

32GB memoryDB2 V8 – 64 bit

AIX V5.3HACMP

IBM p5-p575 x 1.9GHz CPUs

DB2 V8 – 64 bitAIX V5.2HACMP

IBM p5-p575 LPAR2 x 1.9GHz CPUs

16GB memoryDB2 V8 – 64 bit

AIX V5.2HACMP

IBM p5-p5758 x 1.9GHz CPUs

32GB memoryDB2 V8 – 64 bit

AIX V5.3HACMP

IBM p5-p5758 x 1.9GHz CPUs

32GB memoryDB2 V8 – 64 bit

AIX V5.3HACMP

IBM p5-p5758 x 1.9GHz CPUs

32GB memoryDB2 V8 – 64 bit

AIX V5.3HACMP

IBM p5-p5758 x 1.9GHz CPUs

32GB memoryDB2 V8 – 64 bit

AIX V5.3HACMP

Common SANSwitch Fabric

DB2 DataBCU

DB2 DataBCU

IBM Business Intelligence Solution Seminar 2005

사례 소개 – 시스템 뷰

고 가용성 고려하여 HA-BCU단위로 구성관리/ETL 영역은 데이터 영역보다 작은 시스템 사양과 디스크로 구성데이터 영역은 각 BCU 영역이 동일한 시스템 사양과 동일한 데이터 량을 가지도록 구성향후 시스템 확장시 HA-BCU 단위로 모듈화된 시스템 증설

host1 host2 host3 host4 host5 host6

관리/ETL 영역 데이터 영역

HA-BCU HA-BCU HA-BCU

disk1 disk2 disk3 disk4 disk5

P69016-way64GB

P69016-way64GB

P69024-way96GB

P69024-way96GB

P69024-way96GB

P69024-way96GB

IBM Business Intelligence Solution Seminar 2005

사례 소개 – BPU 뷰

데이터 BPU는 각 데이터 BCU당 24개씩 할당 (전체 96개의 데이터 BPU)Catalog BPU는 1번 관리 BCU 서버에 1개 할당Coordinate BPU는 각 관리 BCU당 1개씩 할당Single-partition 데이터 BPU는 각 관리 BCU당 1개씩 할당Split BPU는 각 관리 BCU당 3개씩 할당

host3

Data BPU- BPU 1

Data BPU- BPU 2

Data BPU- BPU 24

host4

Data BPU- BPU 1

Data BPU- BPU 2

Data BPU- BPU 24

host5

Data BPU- BPU 1

Data BPU- BPU 2

Data BPU- BPU 24

host6

Data BPU- BPU 1

Data BPU- BPU 2

Data BPU- BPU 24

host1 host2

Catalog BPU- BPU 1

Coordinate BPU- BPU 1

Coordinate BPU- BPU 1

Single-part BPU- BPU 1

Single-part BPU- BPU 1

Split BPU- BPU 1

Split BPU- BPU 3

Split BPU- BPU 1

Split BPU- BPU 3

관리/ETL BCU 데이터 BCU

IBM Business Intelligence Solution Seminar 2005

®

BCU Offering

IBM Business Intelligence Solution Seminar 2005

BCU Offerings

NCR Teradata, Oracle and Netezza

NCR Teradata, Oracle경쟁사

예예고 가용성 옵션

2-웨이 Xeon, Opteron or POWER5

8-웨이 POWER5 1.9GHz서버 구성

리눅스 환경을 제공하는 고객에게64비트 하드웨어 솔루션을

제공(Intel, power)

고 성능의 메모리 대역폭을 제공하는 p5 아키텍처를 사용하여 성능 대비 비용

부분에서 우위에 있음

제안 부분

LinuxAIX운영 체제

(x346 or e326 or 710) & DS4300p5-575 & DS4500하드웨어

“Open” BCU소규모의 데이터 웨어하우스와리눅스 환경에서 대용량 데이터웨어하우스를 구축하려는 고객

“Performance” BCUUNIX 환경에서 대용량 데이터

웨어하우스를 구축하려고 하는 고객

대상 분야

BCU for LinuxBCU for AIX

IBM Business Intelligence Solution Seminar 2005

AIX BCU의 유형

AIX BCU #1:전형적인 DW 요구사항을 고객의 경우

배치성 데이터 적재와 ETL

온라인 쿼리 워크로드

워크로드의 추측이 불분명하거나 고객이요건을 잘 아는 경우

기본적인 시작 포인트

보다 나은 성능 요구시 저렴한 비용으로 AIX BCU #2로 업그레이드

AIX BCU #2 :동시 사용자 수가 많을 경우

데이터 웨어하우스와 데이터 마트를 같은데이타베이스 환경으로 통합하는 요건인

경우

워크로드가 혼합된 경우:실시간 데이터 적재

표준 리포팅

Adhoc 또는 복잡한 쿼리 워크로드

테이블 스캔 속도가 1TB 기준으로 초당300MB이상 필요한 경우

IBM Business Intelligence Solution Seminar 2005

®

BCU AIX 구성요소

IBM Business Intelligence Solution Seminar 2005

소프트웨어

BCU 권장 소프트웨어 레벨 :DB2 Data Warehouse EditionAIX 5L V5.3 ML02 64-bit + IY67947 + IY68453 + IY70031• Power 5 시스템에는 AIX 5.3이 권장사항

• Power 4 시스템에는 AIX 5.2 ML06이 권장사항

JFS2 파일 시스템

NO FILE CACHING을 사용하는 DMS file 테이블 공간(CIO enabled)DB2 ESE with DPF V8.2 FP8 + FP8_OD_13646• 64-bit DB2

In summaryAIX 5.3 ML02 64-bit + IY67947 +IY68453 + IY70031

JFS2 with DMS File Table spaces and CIO enabled

DB2 ESE with DPF V8.2 FP8 (64-bit) + FP8_OD_13646

In summaryAIX 5.3 ML02 64-bit + IY67947 +IY68453 + IY70031

JFS2 with DMS File Table spaces and CIO enabled

DB2 ESE with DPF V8.2 FP8 (64-bit) + FP8_OD_13646

IBM Business Intelligence Solution Seminar 2005

DB2 Data Warehouse Edition (DWE)

비즈니스 인텔리전스 아키텍처를 지원하는 통합된 BI 플랫폼

DB2 ESE DPF – 무공유 아키텍처를 지원하는 병렬 DBMS 엔진

Query Patroller – 사용자 제어 및 동적인 쿼리 워크로드 밸런싱

Cube View – 손쉬운 큐브 모델링을 통한 고성능 OLAP 지원

Intelligent Miner, Alphablox

OLAP

BI Design Center (Eclipse)

ETL In LineAnalytics

DB2

BI Design Center (Eclipse)

Mining

BI Common Admin (QP)

Inline Analytics - DB2 Alphablox

Easy Mining - DB2 Intelligent Miner

OLAP - DB2 Cube Views

IBM Business Intelligence Solution Seminar 2005

Server – p5-575

IBM eServer pSeries p5 5758-way SMP 서버 환경에서 DB2 ESE DPF를 사용한 축적된 경험

소규모의 SMP를 사용하였을 때의 장점:프로세서와 대상 자원의 수가 적어 관리가 용이하다.

• O/S 모니터링, 로깅, 프로세스 덤프 등

서버의 시작/중지가 빠르다.HW 문제 발생의 위험도가 작고 HACMP를 통한 failLover가 빠르다.적은 비용으로 모든 DB2 DW 기능을 지원한다.

8 x 1.9 GHz Power5 CPUs (RBI 수치 – 10.4)최소 32 GB 메모리 (BPU당 4GB)8개의 DB2 파티션 (CPU당 1개의 데이터 파티션)네트워크

DB2 FCM 네크워크를 위한 2개의 Giga-bit 이더넷 어댑터

사용자 환경 네트워크를 위한 2개의 이더넷 포트

시스템 관리를 위한 2개의 HMC 포트

IBM Business Intelligence Solution Seminar 2005

디스크 스토리지 – DS4500

RAID 옵션이 다양하여 구성이 용이하다.RAID-5 또는 RAID-10에 대한 지원

RAID-5 구현시 다양한 옵션 (3+P, 4+P…, 7+P, 8+P, 등등)

파티션간 스토리지의 균형을 맞추는 것이 쉽다.모듈화된 확장이 더 용이하다.가격 대비 성능 기준으로 데이터 웨어하우스 솔루션에 적합하다.기타 장점:

고 성능 보장

백업본을 사용한 고 가용성 (파워 서플라이, 팬, 콘트롤러, 등.)

고급 복제 기능: FlashCopy, Volume Copy, Enhanced Remote Mirror

on-demand 관리 기능등을 통해 관리가 용이하다.

SAN 접속 가능

IBM Business Intelligence Solution Seminar 2005

Network

세가지 논리적인 네트워크가 필요하다.DB2 FCM interconnect 네트워크

사용자 접속 네크워크

Hardware Management Console (HMC) 네크워크

DB2 FCM 네트워크

전용 네트워크로 구성한다.

2개의 External Gigabit Adapter를 사용한다.• 서버 중지 없이 교체가 가능하다.

2개의 어댑터를 묶어서 하나의 EtherChannel를 구성한다.• 가용성과 로드 밸런싱을 지원한다.

IBM Business Intelligence Solution Seminar 2005

SAN

장애 발생시 고 가용성을 제공한다.백업본의 스위치와 듀얼 HBA등

서버 failover시에 HACMP를 구현이 용이하다.연결성

관리가 용이하다; direct-attached된 것처럼 보인다.확장이 용이하다.

“plug-n-play” 방식으로 BCU들을 추가할 수 있다.“LAN-free” 백업을 지원한다.

IBM Business Intelligence Solution Seminar 2005

10TB TPC-H 결과- IBM eServer p5 575, TotalStorage DS4500 & DB2

104,100

86,282

49,10464

128

64

0

20,000

40,000

60,000

80,000

100,000

120,000

#1 10TB - IBM eServer™ p5 575(POWER5™, 1.9 GHz)

#2 10TB - HP Superdome (Itanium® 2,1.5GHz)

#3 10TB - HP Superdome (Itanium® 2,1.5GHz)

0

20

40

60

80

100

120

140

Performance Number of Processors

* TPC(http://www.tpc.org) 웹 사이트에 2005년 6월 2일부로 발표된 결과 기준이다.시스템 가용성: IBM eServer p5-575 (2005년 8월 15일), HP Superdome 128 processor (2005년 4월 6일), HP Superdome 64 processor (2004년 3월 25일)

가격/성능 (Price/QphH)

10TB TPC-H 성능 (QphH) & 프로세서 갯수

같은 수의 CPU를 가진HP에 비해 2배의 성능을

보임

2배의 CPU를 가진 HP에비해 빠른 성능을 보임

$61.00

$161.00$118.00

IBM eServer™p5 575 (#1)

HP Superdome(#2)

HP Superdome(#3)

IBM Business Intelligence Solution Seminar 2005

TPC-H 결과 – 1 TB – Linux BCU #1

Oracle RAC 대비 52% 나은 성능을 보임가격대비 성능 측면에서 45% 비용 절감1TB 데이터 적재시 Oracle RAC 4시간 이상 걸림, DB2는 1시간 이내 완료

TPC-H on DB2 ICE clusterCompared to Oracle RAC

0

10000

20000

30000

40000

50000

60000

70000

80000

90000

QppH QthH QphH $/Qp

Qpp

H, Q

thH

, Qph

H

0

10

20

30

40

50

60

70

$/Q

phH

DB2 ICE on x346 clus ter Oracle RAC on HP clus ter

IBM Business Intelligence Solution Seminar 2005

®

데이타베이스 디자인

IBM Business Intelligence Solution Seminar 2005

데이타베이스 디자인 상세

물리 디자인 – 하드웨어와 O/SRaid 구성

볼륨 그룹, 파일 시스템 layoutJFS 로그 구성

스트라이프 사이즈

물리 디자인 – DB2파티션 그룹 디자인

테이블 공간 디자인

• 데이터 영역을 위해서는 DMS File-Concurrent I/O 사용

• 임시 공간을 위해서는 SMS• 컨테이너의 수 (LUN당 1개)• Extentsize, IOServers, Prefetchize,

Pagesize로그, DB 디렉토리

명명 규칙LUNs, 파일 시스템, 테이블 공간

HA 호환성을 고려

DB2 구성Dbm과 db 파라미터, 레지스트리 변수

OS 구성AIX, Linux, 스토리지, 네트워크

관리 프로세스백업 및 복원 프로세스

어떻게, 언제, 어디서

Replicated Tables 권고사항기타…

IBM Business Intelligence Solution Seminar 2005

디스크 스토리지 정의대형 arrays 사용

RAID-5가 데이터 웨어하우스 워크로드에서는 적절하다.

RAID-5: 4+P arrays로 생성

array당 하나의 논리 디스크(LUN) 생성

각각의 LUN은 운영체제에서 하나의 디스크 또는 하나의 virtual path로 구성

관리 효율성을 위해 적은 개수의 디스크로 매핑 구성

하나의 LUN은 73GB 크기의 4+P로 구성 (271.4 GB)

BCU 1은 2개의 LUNs로 구성 (542GB usable)

BCU 2는 4개의 LUNs로 구성 (1084GB usable)

Individual Disks ina Disk Subsystem RAID Array 1 Logical Disk (LUN)

Occupying the Array1 “Physical” Disk with

Multiple Spindles

Grouped Into Created As Seen As

OSDisk Subsystem

IBM Business Intelligence Solution Seminar 2005

볼륨 그룹 정의 – BCU for AIX configuration 1

BPU 1BPU 1

hdisk2 hdisk3

vgp1vgp1

Filesystem for DB Path & Log for BPU1

FS1: DB2 Reg TS

FS1: DB2 Temp TS

FS2: DB2 Temp TS

FS2: DB2 Reg TS

BPU 2 – BPU 7

Data BCU for AIX Configuration 1

BPU 8BPU 8

hdisk16 hdisk17

vgp8vgp8

Filesystem for DB Path & Log for BPU8

FS1: DB2 Reg TS

FS1: DB2 Temp TS

FS2: DB2 Temp TS

FS2: DB2 Reg TS

IBM Business Intelligence Solution Seminar 2005

테이블 공간 디자인

BCU Configuration 1

ExtentsizeExtentsize

Prefetchsize

Data container 1 BPU1

Data container 2 BPU1

BPU1

ExtentsizeExtentsize

Prefetchsize

Data container 1 BPU8

Data container 2 BPU8

BPU8BPU2 to BPU7

DB2 Prefetchers

IBM Business Intelligence Solution Seminar 2005

I/O 파라미터 구성

PARALLEL_IO를 ON한다.EXTENTSIZE는 strip 크기의 배수로 한다.

테이블 공간을 8k와 16k 페이지 크기로 지정한 경우 16개의 페이지 개수가 적정하다.PREFETCHSIZE는 테이블 스캔시 모든 디스크가 동작하도록 지정한다.

AUTOMATIC으로 지정할 수도 있다.NUM_IOSERVERS는 prefetchsize/extentsize로 한다.

BCU #1=6, BCU #2=12

NUM_IOCLEANERS는 1로 지정

IBM Business Intelligence Solution Seminar 2005

®

BCU Future

IBM Business Intelligence Solution Seminar 2005

BCU 향후 방향

BCU를 통해 테스트된 구성요소들을 패키지화하여 제품으로 출시 예정.“블랙 박스식 접근”으로 진행 예정

BCU 표준 정의 (메모리와 파티션등의 구현 방침)

BCU 표준을 지원하기 위한 툴 (티볼리 TIO)

TCO를 향상시키는데 지속적으로 주력

기술 변화에 따른 Best Practice를 정의하는데 지속적으로 포커스AIX와 Linux 플랫폼에 대하여 계속적인 지원

IBM Business Intelligence Solution Seminar 2005

추가 정보

BCU 디자인 & 구현 가이드

https://www14.software.ibm.com/webapp/iwm/web/preLogin.do?lang=en_US&source=idwbcu-request

IBM 지원 웹 사이트:AIX를 위한 BI 권고사항

http://www-1.ibm.com/support/docview.wss?rs=71&uid=swg21179515

Linux를 위한 BI 권고사항

http://www-1.ibm.com/support/docview.wss?rs=71&uid=swg21192752

AIX APARs: http://www-1.ibm.com/support/docview.wss?rs=71&uid=swg21165448

Lab과의 토론 자료 시리즈: http://www-306.ibm.com/software/data/education/bichat.html