Tech-iSeminar Data Pump - DBGuide.net2004/11/11 · Oracle Database 10g Data Pump 기술적인질문은채팅으로 Data Pump : 아키텍쳐 4 SQL Loader 5 DBMS_DATAPUMP Data/metadata

Oracle Database 10gDATA PUMP

김주연

제품지원실한국오라클 (주)

Getting the most out of MetaLink

오늘 세미나에서는 Oracle Database 10g 의 새로운 기능인 DATA PUMP에 대해서

설명하고자 합니다.

음성청취는 1544-3355 또는 02-6677-3355 로전화2

기술적인질문은채팅으로Oracle Database 10g Data Pump

목 차

1. Data Pump 에대한아키텍쳐와이해2. Data Pump Export , Import 사용3. Data Pump job 을 monitor 하는방법4. External table 5. 이기종간의 Transportable tablespace기능

6. 질의및응답

첫번째, Oracle Database 10g의 새로운 기능인 Data Pump 에 대한 아키텍쳐와

이해에 대해 설명할 것 입니다.

둘번째, 기존의 export.import 유틸리티의 기능을 모두 포함하면서도 더 많은 신기능을

가지는 Data Pump Export ,Import 사용에 대해 설명할 것입니다.

세번째, Data Pump job 을 monitor 하는 방법에 대해 설명할 것입니다.

네번째, Data Pump의 또다른 방법인 External table 에 대해 설명할 것입니다.

다섯번째, Data Pump 기능을 활용한 이기종간의 Transportable tablespace 기능에 대해

설명할 것입니다.

음성청취는 1544-3355 또는 02-6677-3355 로전화3


Data Pump 란

– Server-based facility 이며 metadata 의load,unload 기능

– DBMS_DATAPUMP

– 새로운 export , import 툴:•expdp•impdp

• Web-based interface– 기존의 export , import 툴의 superset

Data Pump란 ?

Oracle 10g의 새로운 기능인 Data Pump는 Oracle Database data와 metadata의 이동을 위한매우 빠른 infrastructure를 사용하고 있습니다. DBMS_DATAPUMP 패키지를 통하여 Data Pump infrastructure 는 사용되어 집니다. 새로운 command line Export,import client로써expdp,impdp를 제공합니다.

또한 Web-based export,import 인터페이스는 Database Control에서 제공되어집니다.

기존의 Oracle 9i까지 사용되던 export, import 유틸리티보다 더욱더 향상된 성능을 목적으로만들어진 유틸리티입니다.

기존의 export, import의 모든 기능을 지원하는 Oracle 10g의 신기능인 Data Pump의 특징을

지금부터 살펴보겠습니다.

음성청취는 1544-3355 또는 02-6677-3355 로전화4


Data Pump : 아키텍쳐

4

SQL Loader

5

DBMS_DATAPUMPData/metadata movement engine

Export client

6

Import client

6

Other clients

7

4

Direct path API

1

Metadata API

3

External table API

2

ORACLELOADER

ORACLEDATAPUMP

Data Pump : 아키텍쳐

여기서는 간략하게 Data Pump가 어떤 방식으로 동작하는지 살펴보겠습니다.

1. Direct Path API (DPAPI) : Oracle Database 10g는 DPAPI stream 인터페이스를 지원하기때문에, unload및 load time 시 data conversion 및 parsing을 최소화합니다.

2. External Table Service: Data Pump는 다음의 드라이버를 사용하여 external table을사용합니다.

ORACLE_LOADER access 드라이버 : 이 드라이버는 Oracle 9i에서 나온 것으로 external table read-only access를 위해 제공됩니다. (SQL Loader compatible files)

ORACLE_DATAPUMP access 드라이버 : 이 드라이버는 external table read/write access를 위해제공되는 새로운 access driver입니다. (binary DPAPI streams)

3. Metadata API : DBMS_METADATA package 는 export worker process 를 위 해 object definitions을 제공합니다.

4. DBMS_DATAPUMP package는 Oracle Database의 data와 metadata 이동을 빠르게 하는 export , import API를 제공한다.

5. 기존 버전의 SQL*Loader client는 external table로 통합되어, 자동적으로 loader control file이 external table access parameter로 migration됩니다.

6. 새로운 export,import client인 expdp ,impdp는 Data Pump 작업의 시작과 monitor를 위해DBMS_DATAPUMP package를 부르는 역할을 합니다.

7 . Other Clients : Enterprise Manager, replication, transportable tablespaces 같 은application을 위해 사용되는 client입니다.

음성청취는 1544-3355 또는 02-6677-3355 로전화5


Data Pump Export & Import

Data Pump: Overview

expdpclient

Dumpfile set

Database

Data Pumpjob

Source

Mastertable

Serverprocess

Dumpfile set

Serverprocess

Target

Data Pumpjob

impdpclient

DatabaseMastertable

Databaselink

Data Pump Export & Import

Data Pump Export,Import 유틸리티가 기존의 Export,Import 유틸리티와 비슷하지만 분리된제품임을 상기하시기 바랍니다.

Data Pump Export는 Dump file set이라 불리는 operating-system file에 data와 metadata을unload하는 유틸리티입니다. Data Pump Import 는 export dump file에 저장된 data와metadata을 target system(대상 시스템)에 load하는 유틸리티입니다.

Data Pump API는 client가 아닌 server에 있는 file을 이용합니다.

이 유틸리티는 Network mode을 지원합니다. 이는 remote database로 부터 바로 dump file set에 export하는데 사용될 수 있습니다. 또한 source database(원본 데이터베이스)로 부터target database(대상 데이터베이스)에 바로 data를 load할 수 있습니다. 이 모드는 read-only인 source database(원본 데이터베이스)로 부터 target database(대상 데이터베이스)에import하는데 유용합니다.

Data Pump Job을 수행중인 유저의 schema에 MT(master table)을 생성합니다. MT는 job의 모든것을 유지합니다. File-based export job을 수행중일 때 MT 가 만들어지며 마지막 단계로dump file set에 쓰여집니다. 또한 file-based import 의 첫번째 단계에서 현재의 유저의schema에 MT을 load하여 import되는 모든 object의 순서를 정하는데 사용됩니다.

또한 MT는 계획되었거나 계획되지 않은 정지된 job을 재실행하는데 사용됩니다.

음성청취는 1544-3355 또는 02-6677-3355 로전화6


Data Pump Export&Import 장점– Data 접근방법

• Direct path• External table

– 진행중인 job에 detach 와 reattach 기능– Data Pump job 재실행기능– Fine-grained object selection– Explicit database version specification– Parallel 실행 (Enterprise Edition 만가능)– export job 공간사용을추정가능– 분산환경에서 Network 모드이용– import 중에 remap 가능

Data Pump Export&Import 장점

Data Pump를 사용하면 다음과 같은 장점이 있습니다.

• Data 접근 방법 선택, 즉 direct-path 또는 external table 이러한 선택은 Data Pump가자동으로 선택하여 줍니다.

• 현재 진행되는 Data Pump job에 영향을 주지 않은 채로 job에 attach , reattch, detach할수 있습니다.

• EXCLUDE, INCLUDE, 그리고 CONTENT parameter를 사용하여 fine-grained object selection을할 수 있습니다.

• Oracle 9i부터 제공해 오던 export & import와의 호환을 위해 VERSION parameter를 사용할수 있습니다.

• Parallel option으로 여러 개의 thread를 띄워 좀 더 효율적인 일 처리를 할 수 있습니다. (이는 Enterprise Edition인 경우만 제공합니다.)

• Estimate_only parameter를 통해 실제 수행하지 않고도, 어느 정도의 space를 요구하는지측정할 수 있습니다.

• Network mode을 지원합니다. 이는 앞 슬라이드에서 언급하였듯이 remote database로 부터바로 dump file set에 export하는데 사용될 수 있습니다. 또한 source database(원본데이터베이스)로 부터 target database(대상 데이터베이스)에 바로 data를 load할수있습니다.

• 오브젝트 metadata는 dump file set에 XML로 저장되기 때문에 import 하는 동안에 전환을적용하는 것이 쉽습니다. Data Pump import는 import중에 몇 가지 전환하는 것을 지원합니다.

음성청취는 1544-3355 또는 02-6677-3355 로전화7


일반적인구현

Client Ashadowprocess

Mastercontrolprocess

Dump file setdata and metadata

Worker process 1

Worker process 2

Worker process 3

Worker process 4

PXserver

PXserver

Client Bshadowprocess

Mastertable

Data pumpjobs

Q1

Q21

4

2

3

Data Pump 구현

1. Client에서 Data Pump Export 작업을 실행합니다.

Client 가 MCP(Master Control Process)을 시작하기 위해 DBMS_DATAPUMP package을 부르고두개의 queue을 설정합니다.

- 상태, 로깅, 에러 정보를 보내기 위해

- MCP에 의해 만들어진 worker process을 제어하기 위해

이 queue는 또한 shadow process 에 의해 동적인 명령어를 MCP에게 보내기 위해 사용됩니다. Client 가 expdp을 실행했을 때 command line 또는 parameter file로 부터 parameter을DBMS_DATAPUMP을 call하여 parsing을 합니다.

2. Client가 job을 시작하기 위하여 DBMS_DATAPUMP을 부릅니다.

위의 슬라이드에서는 Client가 4개의 parallel stream을 요청합니다. MCP 는 4개의 worker process을 시작하고 command를 등록하며 queue Q2을 제어합니다. MCP는 하나의 stream당4개의 초기 file을 만들고 dump file set이 만들어집니다.

3. table row data을 unload할 때 MCP 는 worker process가 현재의 table의 unload 수행이가능한지를 결정합니다. 가능하다면 idle worker process에게 table을 unload할 것을요청합니다.

4. Export Job이 실행중인 동안에 기존의 client가 중지 없이 수행중인 job으로 부터detach할 수 있습니다. 예를 들면, 회사에서 job을 시작하고 이것을 집에 가서 monitor가가능합니다. 하나이상의 client가 job에 attach할 수 있습니다. 위의 슬라이드를 보면, client B가 SQL*Plus에서 script을 실행하면 job을 attach하고 monitor하기 위해DBMS_DATAPUMP을 불러 direct call을 만듭니다.

모든 object가 export된 후에 mater table이 dump file set에 unload되고 process는 stop하고job은 끝납니다.

음성청취는 1544-3355 또는 02-6677-3355 로전화8


Data Pump File

– Data Pump file의세가지타입:• Dump file• Log file• SQL file

– 절대경로는지원하지않는다.– Oracle directory 오브젝트를반드시사용

Data pump File

Data Pump job에 의해 대한 file은 세가지 타입이 있습니다.

• Dump file : Data와 metadata을 포함하는 dump file.

• Log file : 작업수행에 관련한 message 을 저장한 file

• SQL file : SQL_FILE parameter을 사용하여 생긴 output file

Security차원에서 절대경로를 지원하지 않기 때문에 Oracle Directory 오브젝트를 생성해야만합니다.

음성청취는 1544-3355 또는 02-6677-3355 로전화9


Data Pump File 우선순위

Database

Directpath

Externaltables

Database

Per-filedirectory objects

DIRECTORYData Pump client

parameter

DATAPUMP_DIRenvironment variable

File location우선순위

Data Pump File 우선 순위

Data Pump는 client-based 라기보다는 server-based 이기 때문에, server에 있는 디렉토리경로에 있는 file을 사용합니다. 이때 절대 경로는 사용할 수 없습니다.

첫번째 우선순위는 각 file마다 directory 오브젝트를 명시하는 것 입니다. 이때 Directory 오브젝트와 file명은 콜론(:) 으로 구분합니다.

두번째 우선순위는 DIRECTORY 파라미터를 사용한 경우입니다. Data Pump client는 directory object을 DIRECTORY라는 parameter을 이용하여 명시할 수 있습니다. 또한 환경변수로써DATAPUMP_DIR 로 명시할 수 있습니다. Data Pump Client는 명시적으로 directory 오브젝트를명시하지 않으면 환경변수를 찾습니다.

음성청취는 1544-3355 또는 02-6677-3355 로전화10


Data Pump Direct Path 고려사항

– insert 와 select 모드에서 fine-grained access control 이 enable 된 Table

– LOB column에 Domain index 존재– Cluster table 존재– active trigger가있는 Table– Global index 가있는 partition table (single-

partition load)– BFILE 또는 opaque type 컬럼– Referential integrity constraint 가있는 Table– VARRAY 컬럼( embedded opaque type)

Direct-path 또는 external table 이러한 데이터 접근 방법 선택은 각 table에 가장 적당한접근 방법을 Data pump가 자동으로 선택하여 줍니다.

위 슬라이드에 나열된 경우는 Data Pump는 data 이동을 하는 direct path보다는 external table을 사용합니다.

음성청취는 1544-3355 또는 02-6677-3355 로전화11


Data Pump File Naming 과 Size

– dump file set 은하나이상의파일을포함가능– DUMPFILE결정

• Comma로구분된파일리스트•%U template

– dump file의초기갯수는 다음파라미터와연관:•PARALLEL파라미터•DUMPFILE파라미터

– FILESIZE 파라미터는각 dump file 의싸이즈결정

– 이미존재하는파일을 overwrite하지않는다.

Data Pump File Naming 과 Size

DUMPFILE 파라미터는 이름과 dump file directory 을 명시합니다.

여러 개의 file을 콤마로 구분하여 명시하거나 각각의 DUMPFILE 파라미터로 명시할 수있습니다. 파일 이름은 %U을 포함할 수 있는데 이는 여러 개의 파일이 만들어짐을의미합니다. %U는 01 부터 시작하여 두개의 문자로 만들어집니다. 만약 DUMPFILE을 명시하지않으면 디폴트로 expdat.dmp 로 생성됩니다.

만약 FILESIZE을 명시하면 각 파일은 명시된 싸이즈로 생성됩니다. 만약 더 많은 스페이스가필요하면 %U 템플리트를 사용한다면 새로운 파일이 생성됩니다. %U 템플리트를 사용하지않으면 client는 새로운 파일을 만들기 위해 메시지를 만날 것입니다.

%U 템플리트를 명시하면, 초기에 PARALLEL 파라미터와 동일한 수로 파일이 생성됩니다.

만약 이미 파일 이름이 존재한다면 엎어 쓰지 않으며 에러를 뿌리고 job을 중단됩니다.

음성청취는 1544-3355 또는 02-6677-3355 로전화12


Data Pump : 인터페이스와모드

– Data Pump Export , Import 인터페이스:• Command-line• Parameter 파일• Interactive command-line• Database Control

– Data Pump Export , Import 모드:• Full• Schema• Table• Tablespace• Transportable tablespace

Data Pump : 인터페이스와 모드

Data Pump Export 와 Import 는 슬라이드의 인터페이스를 제공합니다.

• Command-line 인터페이스는 command line에 직접 대부분의 export 파라미터를

명시하여 사용합니다.

• Parameter 파일 인터페이스는 parameter 파일 안에 모든 command-line을 명시하여

사용합니다.

• Interactive command-line 인터페이스는 export 와 import 프롬프트를 display하는데

여기에 여러 command을 사용할 수 있습니다. 이 모드는 Command-line 인터페이스

또는 Parameter 파일 인터페이스을 사용하여 Export 을 수행 중에 CTRL+C을 눌러

활성화합니다. Interactive command 모드는 실행 중 이거나 중단된 job에 attach할

때도 활성화됩니다.

• Web 인터페이스 모드는 Database Control Home page에서 사용합니다.

이는 Maintenance 탭을 클릭하면 Utilities 부분이 있습니다. 이곳에서 Export to

Files, Import from files, Import from Database 을 click하여 사용하시면 됩니다.

Data Pump Export와 Import의 가능한 모드는 슬라이드에 나열된 것처럼 Full, Schema, Table, Tablespace, Transportable tablespace 로 기존의 export, import 유틸리티와같습니다.

음성청취는 1544-3355 또는 02-6677-3355 로전화13


Data Pump 인터페이스예제$ expdp hr/hr parallel = 4 directory = USR_DATAdumpfile = exp%U.dat

$ expdp parfile = exp_parameters.txt

$ expdp system/oracle attachExport: Release 10.1.0.1.0 -Beta on Monday, 22 September, 2003 6:03...

Job: SYS_EXPORT_SCHEMA_01Owner: SYSTEM Operation: EXPORT

...Export>

Data Pump 인터페이스 예제

첫번째 예제는 Command-line 인터페이스를,

두번째 예제는 Parameter 파일 인터페이스를 세번째 예제는 Interactive command-line

인터페이스를 사용하는 예입니다.

앞에서 설명하였듯이 위 예제의 USR_DATA 는 Oracle Directory 오브젝트로 특정 디렉토리를명시하여 생성된 것입니다.

음성청취는 1544-3355 또는 02-6677-3355 로전화14


Parallel Full Export ,Import 예제

$ expdp system/manager full = yparallel = 4dumpfile = DATADIR1:full1%U.dat,

DATADIR2:full2%U.dat, DATADIR3:full3%U.dat,DATADIR4:full4%U.dat

filesize = 2G

$ impdp system/managerdirectory = NET_STORAGE_1parallel = 4dumpfile = full1%U.dat,full2%U.dat,

full3%U.dat,full4%U.dat

Parallel Full Export & Import 예제

첫번째 예는 4개의 parallel worker process가 full database export을 하는데 사용됩니다. Dump file은 round-robbin 방식으로 지정된 디렉토리 오브젝트 DATADIR1, DATADIR2, DATADIR3, DATADIR4 에 생성됩니다. 각 2GB 싸이즈의 파일로 만들어지며 적어도 4개의 파일이생성됩니다. Job 이름은 디폴트로 SYS_EXPORT_FULL_01입니다.

두번째 예는 첫번째 예에서 만들어진 dump file set을 full import하는 내용입니다.

음성청취는 1544-3355 또는 02-6677-3355 로전화15


Data Pump 와필터

QUERY=hr.employees:"WHERE department_id in (10,20) and salary < 1600 ORDER BY department_id"

EXCLUDE=VIEWEXCLUDE=PACKAGEEXCLUDE=INDEX:"LIKE 'EMP%'"

– Fine-grained object selection:• INCLUDE = object_type[:"name_expr"]• EXCLUDE = object_type[:"name_expr"]

– Data selection:• CONTENT = ALL | METADATA_ONLY | DATA_ONLY• QUERY = [schema.][table_name:]"query_clause"

Data Pump 와 필터

기존의 Export, Import 유틸리티는 indexes, triggers, grants, constraints 만을 포함하거나제외할 수 있었습니다. Data Pump job은 어떠한 타입의 object 이던 간에 포함하거나 제외할수 있습니다.

EXCLUDE 파라미터는 export, import 작업에서 제외하려는 어떠한 데이터베이스 오브젝트라도사용 가능합니다. 슬라이드의 예을 들면, 모든 view, package와 EMP 로 시작하는 index들을제외하고 작업이 수행될 것입니다.

INCLUDE 파라미터는 명시된 오브젝트 타입과 오브젝트만을 포함합니다. 예을 들면 슬라이드의EXCLUDE을 INCLUDE로 바꾸면 full export 을 수행한다고 가정할 때 오직 view,package와EMP로 시작하는 index만을 unload할 것 입니다.

CONTENT 파라미터는 어떤 자료들을 unload할 지 결정할 수 있는 parameter로 DATA_ONLY일경우 table row data만을 unload하며, METADATA_ONLY일 경우 table row data는 unload하지않고 database object definition만을 unload합니다.

QUERY 파라미터는 기존의 export 유틸리티와 비슷한데 두가지 향상된 기능이 있습니다.

QUERY 파라미터에 table명을 줄 수 있다는 점과 import시에도 사용할 수 있다는 것입니다.

음성청취는 1544-3355 또는 02-6677-3355 로전화16


Schema Export 예제

$ expdp system/manager schemas = hr,oedirectory = USR_DATAdumpfile = schema_hr_oe.datparfile = exp_par.txt

include = functioninclude = procedureinclude = packageinclude = typeinclude = view:"like 'PRODUCT%' "

$ impdp system/manager directory = USR_DATAdumpfile = schema_hr_oe.datsqlfile = schema_hr_oe.sql

Schema Export 예제

슬라이드의 export 예제는 hr,oe schema의 모든 function, procedure, package, user-defined type 과 PRODUCT로 시작하는 view를 export합니다. Dump file은 USR_DATA 디렉토리오브젝트가 가리키는 디렉토리에 schema_hr_oe.dat로 생성이 됩니다.

여러 유저를 명시하려면 export_full_database Role을 가지고 있는 System 유저로수행합니다. Schema definition과 system privilege grant 는 명시적으로 포함되지 않았기때문에 export되지 않습니다.

Import 예제는 export dump file에서 모든 DDL 문장을 포함하는 SQL 스크립트를 만드는방법을 보여줍니다. 이는 SQL은 수행되지 않으며 target system에 변화를 주지 않습니다.

음성청취는 1544-3355 또는 02-6677-3355 로전화17


Network 모드 Import 예제

$ import system/managerschemas = hr,sh,payrollparfile = imp_par.txt

network_link = finance.hq.comflashback_time = 2003-09-08 09:00 remap_schema = payroll:finance

Network 모드 예제는 NETWORK_LINK 로 명시된 database로 부터 명시된 hr,sh,payroll 의 세schema을 import합니다. IMP_FULL_DATABASE Role을 가진 System 유저로 작업이 수행 되므로target system에 schema definition 을 생성합니다.

Local database 에 접속하여 NETWORK_LINK 에 명시된 database link을 찾는데, source database(원본 데이터베이스) 는 NETWORK_LINK 의 database 가 되며 target database (대상데이터베이스)는 local database 가 됩니다.

결과로 remote database의 payroll schema의 모든 오브젝트을 local database 의 finance

schema 로 import 를 합니다. Schema definition또한 remap됩니다.

음성청취는 1544-3355 또는 02-6677-3355 로전화18


Tablespace Export 예제

$ expdp system/managerestimate = blockstablespaces = example,usersexclude = index,triggerparallel = 2logfile = DATADIR1:ts1.logdumpfile = expdir1:ts1%U.dat,

expdir2:ts2%U.datjob_name = exp_ts1status = 300

예제는 example, users tablespace에 있는 모든 table,table data와 그 table에 연관된오브젝트들을 index,trigger을 제외하고 export합니다.

두개의 streams가 시작되어 dump file ts101.dat,ts201.dat 을 각각 expdir1, expdir2 디렉토리 오브젝트에 명시된 디렉토리에 생성합니다. Status 파라미터에 명시된 매오분(300)마다 작업 상태를 display합니다.

음성청취는 1544-3355 또는 02-6677-3355 로전화19


Data Pump Import Transformation– Remap 기능:

• Data file인 경우 REMAP_DATAFILE 이용• Tablespace인 경우 REMAP_TABLESPACE 이용• Schema인 경우 REMAP_SCHEMA 이용

–

– TRANSFORM : table과 index의다음의절배제가능• STORAGE와 TABLESPACE절배제• STORAGE절만

TRANSFORM = SEGMENT_ATTRIBUTES|STORAGE:{y|n}[:TABLE|INDEX]

REMAP_DATAFILE = 'C:\oradata\tbs6.f':'/u1/tbs6.f'

Data Pump Import Transformation

오브젝트 metadata는 dump file set에 XML로 저장되기 때문에 import 하는 동안에 전환을적용하는 것이 쉽습니다. Data Pump import는 몇 가지 전환하는 것을 지원합니다.

REMAP_DATAFILE 파라미터는 import시 datafile을 변경하여 적용할 수 있습니다. 이파라미터를 사용하기 위해서는 IMP_FULL_DATABASE 권한이 있어야 합니다. 플랫폼간의database 이동 시에 유용합니다.

REMAP_TABLESPACE 파 라미터 는 tablespace 에 서 tablespace 로 오 브 젝트 를 이 동 시에가능합니다.

REMAP_SCHEMA 파라미터는 기존의 FROMUSER/TOUSER 기능을 합니다.

TRANSFORM 파라미터는 DDL문을 생성할 때 storage절을 포함시키지 않고자 할 때 사용합니다. Storage절만을 빼고 DDL문을 생성할 것 인지 storage절과 tablespace절을 빼고 생성할 것인지를 결정합니다.

음성청취는 1544-3355 또는 02-6677-3355 로전화20


Data Pump Job Monitoring뷰

DBA_DATAPUMP_JOBS

DBA_DATAPUMP_SESSIONS

V$SESSION

SADDR

OWNER_NAMEJOB_NAME

V$SESSION_LONGOPS

SIDSERIAL#

MasterProcess

Clientprocesses

USERNAMEOPNAME

Data Pump Job monitoring 뷰

Data Pump Job 정보에 대해 알고자 할 때 사용하는 dictionary view에 대해 설명하고자합니다.

DBA_DATAPUMP_JOB view는 모든 active한 Data Pump job을 나타냅니다. Active한 job에attach하거나 stop할 때 , parallelism을 변경하고자 할 때, 진행상태를 보고자 할 때사용합니다.

DBA_DATAPUMP_SESSIONS view는 job에 attach되어 있는 유저 세션에 대한 정보를 나타냅니다.

V$SESSION_LONGOPS view는 전송된 table data의 양을 확인할 수 있습니다.

음성청취는 1544-3355 또는 02-6677-3355 로전화21


Job Attach 예제

$ expdp system/manager ATTACH = EXP_TS1...Job: EXP_TS1Owner: SYSTEM...Mode: TABLESPACEMaxDegree: 2EXPORT Job Parameters:

Parameter Name Parameter Value:CLIENT_COMMAND system/**** estimate=blocks ...DATA_ACCESS_METHOD AUTOMATIC...

State: EXECUTINGJob error count: 0...

Export> STOP_JOBAre you sure you wish to stop this job ([y]/n): Y

job attach 예제

Dl 예제는 수행중인 job에 attach 하는 것을 보여줍니다.

만약 active한 export job이 명시된 schema에 한건 뿐이라면 ATTACH 파라미터에 job 명을명시하지 않아도 됩니다. Interactive 프롬프트에서 Job의 현재상태와 내용에 대해 확인할수 있습니다.

STOP_JOB 명령을 통해 job을 stop할 수 있습니다.

음성청취는 1544-3355 또는 02-6677-3355 로전화22


중지된 Job 재실행예제

$ expdp system/manager attach=exp_ts1…Export> parallel = 4Export> start_job…Export> status = 600Export> continue_client

중지된 Job 재실행 예제

이전의 예에서 STOP_JOB 명령에 의해 중지된 job을 재실행하는 예제입니다.

여러 job이 돌고 있다면 job명을 명시하여야 합니다.

Parallelism을 4로 START_JOB 명령어를 사용하여 재실행하였으며 매 10분(600)마다 상태를뿌려주도록 STATUS 파라미터를 600으로 설정하였습니다.

Job을 stop하고 start하는 두 예 외에도 KILL_JOB 명령어를 이용하여 모든 attached된 job을detach시키고 현재 돌아가고 있는 job을 중지 시킬 수 있습니다.

CONTINUE_CLIENT 명령어를 이용하여 interactive-command mode에서 logging mode로 바꿀 수있습니다.

EXIT_CLIENT 명령어를 이용하여 export client session을 중지 시킬 수 있습니다. 그러나현재 돌아가고 있는 job은 계속 수행됩니다.

음성청취는 1544-3355 또는 02-6677-3355 로전화23


Data-Only Unload 예제

$ expdp hr/hr parfile=exp_par.txt

directory=HRDATAdumpfile=expdat.dmpcontent=data_onlyinclude=table:"in ('DEPARTMENTS','DEPARTMENTS_HIST','EMPLOYEES','EMPLOYEES_HIST')"query="where DEPARTMENT_ID != 30 order by DEPARTMENT_ID"

Data-Only Unload 예제

이 예 제 는 hr schema 에 있 는 DEPARTMENTS,DEPARTMENTS_HIST, EMPLOYEES,EMPLYESS_HIST table 들 의 data 을 unload 하 는 것 을 보 여줍 니다 . DDL 문장 은 생 성하 지 않 으며DEPARTMENT_ID=30 인 것을 제외하고 모든 row들을 unload합니다.

Schema 모드로 export을 수행하는데 CONTENT 파라미터는 단지 table을 unload하는데제한합니다. 이미 생성된 디렉토리 오브젝트 HRDATA 가 명시하는 디렉토리에 expdat.dmp 파일이 생성이 됩니다. 물론 HRDATA에 명시한 디렉토리는 hr 유저가 읽고 쓸 수 있는 권한이있어야 합니다.

음성청취는 1544-3355 또는 02-6677-3355 로전화24


External Table 의향상된기능

– data을 unload하여 external flat file로– 복잡한 ETL 가능

Flat files(Proprietary format)

CREATE TABLE… AS SELECT

Tables

Unloading

Tables

Loading

INSERT … SELECT

External Table 의 향상된 기능

Oracle Database 10g 이전에는 external table은 오직 read-only만 가능하였습니다.

Oracle Database 10g 부터는 external table에 쓰여질 수 있습니다. DML뿐만 아니라 external table에 index 생성이 가능하지 않기 때문에, external table로 unload하기 위해 CRREATE TABLE AS SELECT 명령이 가능하고 이는 OS와 무관합니다.

슬라이드의 그림에서 볼 수 있듯이 database의 table로 부터 data을 읽어 이를 external에table에 unload하는 것을 보여줍니다. external table로 부터 data을 읽어 이를 database 의table에 load하는 것을 보여 줍니다. 이런 작업들은 Data Pump access 드라이버를사용합니다.

Flat file로 data을 unload하거나 생성된 flat file의 data을 target system에 load하는데사용합니다. 이는 platform과 무관하게 대량의 data을 변환하여 load하는데 유용합니다.

Data Pump export, Import 툴은 external table access 드라이버에 사용 가능하지만 모든복잡한 ETL(extract,transform,load) 가 가능한 것은 아닙니다.

예을 들면 많은 테이블간의 복잡한 조인의 결과를 unload하기 위해 external table을manual하게 생성하여 사용합니다.

음성청취는 1544-3355 또는 02-6677-3355 로전화25


External Table Population

– ORACLE_DATAPUMP access driver 을이용– Data 는수정할수없다.– ORACLE_DATAPUMP access driver을가지고만들어진파일은 read-only.

– Load을목적으로여러 source을결합하여파일을만들수있다.

External Table Population 작업

External Table unload 작업 시에 CREATE TABLE AS SELECT 문장을 통해 실행됩니다. Source 데이터는 명령어의 select 문장에서 생성되고 ORACLE_DATAPUMP access 드라이버를 통해destination이 됩니다.

External table이 생성된 이후에 어떠한 row도 add되거나 update되거나 delete할 수없습니다. External table에 있는 dara을 수정하려는 시도를 하면 ORA-30657 에러가 납니다.

External table을 위해 생성된 data file들은 옮겨질 수 있고, 같은 데이터베이스나 다른데이터베이스의 또 다른 external table에 사용되어 질 수 있습니다.

하지만 오직 ORACLE_DATAPUMP access 드라이버에 의해 읽혀져야 하며, 다른 external table에unload되는 모든 data file들은 LOCATION절에 명시해야 합니다.

이는 여러 다른 source로 부터 만들어진 flle을 합쳐 load하는데 사용됩니다.

음성청취는 1544-3355 또는 02-6677-3355 로전화26


External Table Parallel 작업

Coordinator

Parallelexecutionservers

Generatedfiles

emp1.exp emp2.exp emp3.exp

– 한번에여러파일을만들수있다.– 파일당하나의 parallel execution server 를가진다.– PARALLEL과 LOCATION절은 parallelism degree의영향을받는다.

External Table Parallel 작업

External table이 매우 큰 경우에 unload하기 위해 parallel 작업이 가능합니다. Parallel 작업은 external table생성시에 PARALLEL 절로 선언합니다.

하나의 parallel execution server는 하나의 file에 쓰는 작업을 수행합니다.

LOCATION절에 명시한 file수는 각 I/O server가 각각의 file을 사용하여야 하기 때문에parallelism의 degree와 같아야 합니다. 만약 더 많은 file들을 기술한다면 무시됩니다.

Parallelism의 degree보다 작은 수의 file들을 명시하면 LOCATION절에 명시한 file수에 맞게parallelism의 degree을 낮춥니다.

음성청취는 1544-3355 또는 02-6677-3355 로전화27


Data Unload 예제

CREATE TABLE emp_ext(first_name, last_name, department_name)

ORGANIZATION EXTERNAL(TYPE ORACLE_DATAPUMPDEFAULT DIRECTORY ext_dirLOCATION ('emp1.exp','emp2.exp','emp3.exp'))

PARALLELASSELECT e.first_name, e.last_name, d.department_nameFROM employees e, departments dWHERE e.department_id = d.department_idAND d.department_name

in ('Marketing', 'Purchasing');

Data Unload 예제

슬라이드의 예제는 EMPLOYEES 테이블과 DEPARTMENT 테이블의 조인으로부터 결과를 추출하여새로운 external table을 만드는 것을 보여줍니다.

얼마나 많은 고용자가 Marketing 부서와 Purchasing 부서에서 일하고 있는 지을 보여주며parallel하게 unload될 것입니다. EXT_DIR은 이미 directory 오브젝트로 명시하였다고가정합니다.

예전의 ORACLE_LOADER 드라이버를 사용할 때와 같이 ORACLE_DATAPUMP access 드라이버파라미터를 사용합니다.

음성청취는 1544-3355 또는 02-6677-3355 로전화28


이기종간의 Transportable Tablespace

– DW 데이터를 Data Mart 환경으로이관시에편리– 이기종간의 데이타베이스마이그레이션

– 지원가능한플랫폼

Microsoft Windows 64-bit for AMD

HP Open VMSAIX-Based Systems (64-bit)Apple Mac OSLinux IA (64-bit)Linux IA (32-bit)Linux 64-bit for AMDHP-UX IA (64-bit)Microsoft Windows IA (32-bit)IBM zSeries Based LinuxHP Tru64 UNIXSolaris[tm] OE (64-bit)Microsoft Windows IA (64-bit)HP-UX (64-bit)Solaris[tm] OE (32-bit)

이기종간의 Transportable Tablespaces

기업의 데이터가 급증하고 있는 상황에서 이 기종간의 Tablespace 호환이 가능한 기술은Migration 이나 Read Only 성질을 갖는 tablespace를 서로 공유하는 작업에 상당한 효율성을제공합니다.

Oracle10g 이전 버전의 Transportable tablespace 기능은 같은 동일한 platform에서가능하였지만, Oracle10g 부터는 다른 platform에서는 제한 없이 위 기능을 사용할 수있습니다.

장점

다른 platform을 사용하고 있는 고객들에게도 구조화 되어있는 데이터를 배포하는데용이합니다.

DW 데이터를 데이터 mart 환경으로 이관하는데 편리합니다.

catalog를 수행하고 사용자 Tablespace를 transporting 하는 작업으로 모든 Migration 작업을매듭 질 수 있습니다.

이 기종 cluster 시스템에서 read-only tablespace를 공유하는 작업이 쉬워졌습니다.

지원하는 platform은 위 슬라이드에 나열되어 있으며 서로 datafile을 transport 하는데

아무런 제약이 없습니다.

음성청취는 1544-3355 또는 02-6677-3355 로전화29


Compatibility

– 양쪽 databases COMPATIBLE이 10.0.0이상

– Data file header은 platform 간인식이가능해야.– Transport 하기전, read-only 이고 offline 인

datafile은적어도한번은 read-write로되어야 한다.

Read-only

Read-only

Read/write

Read-only

COMPATIBLE=10.0.0COMPATIBLE=9.2.0

Read/write

Read/write

Compatibility

이 기종간의 Tablespace 호환을 위해서는 source database(원본 데이터베이스)와 target database(대상 데이터베이스)의 COMPATIBLE 파라미터는 10.0.0 이상이어야 합니다.

Oracle Database 10g 에서 COMPATIBLE이 10.0.0 이상에서 Data file 이 open되면 platform 이인식 가능해집니다. 이기종간의 tablespace 호환을 위해서는 Read-Only이고 Offlne 인datafile 은 적어도 한번은 read/write가 되어야 합니다.

음성청취는 1544-3355 또는 02-6677-3355 로전화30


플랫폼의 Endian Format

SELECT tp.endian_formatFROM v$transportable_platform tp,

v$database dWHERE tp.platform_name = d.platform_name;

Source Target

플랫폼의 Endian Format

Transportable tablespace 기능은 datafile 변경작업만 빼고는 이전 버전의 기능과동일합니다. 특정 platform에 있는 tablespace를 다른 platform으로 transport 하기 위해서는tablespace에 속해있는 datafile을 대상이 되는 platform이 인지할 수 있도록 적절하게변경시켜 줄 필요가 있습니다.

즉, endian(byte ordering) 형태를 달리 가져가고 있을 때, Oracle은 RMAN utility를사용해서 이를 변경할 수 있습니다. 이 작업은 원본/대상 데이터베이스 모두에서 이루어질수있습니다. 동일한 endian 형태를 사용한다면 이러한 변경작업은 불필요합니다

V$TRANSPORTABLE_PLATFORM의 qyery을 통해 양쪽 플랫폼의 endian ordering이 같은지를 확인할수 있습니다. V$DATABASE에는 플랫폼 명과 플랫폼 id가 새롭게 추가되었습니다.

위 슬라이드의 query을 Sun SPARC solaris 시스템에서 수행하면 결과는 ‘Big’ 입니다.

이를 Microsoft Wndows NT Intel-based 시스템에서 수행하면 ‘Little’입니다.

이렇게 endian(byte ordering) 형태가 다른 경우는 transportable tablespace 기능을사용하기 위해서는 변경 작업이 이루어져야 합니다.

음성청취는 1544-3355 또는 02-6677-3355 로전화31


Data File 변환예제

$ rman target=/RMAN> CONVERT TABLESPACE 'FINANCE,HR'

TO PLATFORM = 'AIX-Based Systems (64-bit)'DB_FILE_NAME_CONVERT =

'/orahome/dbs1', '/orahome/dbs/transport_aix','/orahome/dbs2', '/orahome/dbs/transport_aix';

$ rman target=/RMAN> CONVERT DATAFILE '/tmp/transport_stage/*'

FROM PLATFORM = 'Solaris[tm] OE (32-bit)'DB_FILE_NAME_CONVERT =

'/tmp/transport_stage/fin' , '/orahome/dbs1/fin', '/tmp/transport_stage/hr' , '/orahome/dbs2/hr';

Source

or

Target

Data File 변환 예제

슬라이드의 예는 Sun SPARC Solaris 플랫폼에서 사용중인 FINANCE, HR 테이블스페이스을 AIX 플랫폼에서 운영중인 데이터베이스로 가져가는 것을 보여줍니다.

위의 첫번째 예제는 원본 데이터베이스에서 수행하는 것을 보여줍니다. 원본 데이터베이스가운영중인 Sun SPARC Solaris 시스템에서 /orahome/dbs/transport_aix 디렉토리에 변환된데이터파일이 생길 것 입니다.

위의 두번째 예제는 대상 데이터베이스에서 수행하는 것을 보여줍니다. 원본데이터베이스로부터 가져온 파일이 /tmp/transport_stage에 존재하며 이를 변환합니다.

Transportable tablespace 순서

-----------------------------

1. Set the tablespace to READ ONLY

2. Export tablespace metadata

3. Check the endianness of the target database

Case 1 - No conversion needed.

The source platform is Sun SPARC Solaris: endianness Big

The target platform is HP-UX (64-bit): endianness Big

Case 2

The source platform is Microsoft WIndows NT: endianness Little

The target platform is HP-UX (64-bit): endianness Big

You have to convert the files :

--> locally before the import step so that the files are endian compatible:

--> remotely on the target server after having copied them on the server.

4. Move datafiles and export dump file

5. Import metadata

6. Set the tablespace to READ WRITE

Documents

Tech-iSeminar Data Pump - DBGuide.net2004/11/11 · Oracle Database 10g Data Pump 기술적인질문은채팅으로 Data Pump : 아키텍쳐 4 SQL Loader 5 DBMS_DATAPUMP Data/metadata