avanttic - GoldenGate la llave inglesa de Exadata - XXI Cuore xxi cuore

GoldenGate, la llave inglesa de EXADATA

28-03-2012

Rafael Planella

Arquitecto de sistemas

Agenda

1. Introducción a EXADATA

2. Introducción a GoldenGate

3. GoldenGate, herramienta multiuso para EXADATA

4. Conclusiones

Introducción a EXADATA 1

avanttic Consultoría tecnológica

Introducción a Exadata

¿Qué es Oracle Exadata Database Machine?

• Rendimiento extremo en Data Warehouse & OLTP

• La mejor relación precio/rendimiento en Data Warehouse & OLTP

• Hardware optimizado

• Software especializado

• Escalable, seguro y redundante




Un sistema completo: Procesamiento, almacenamiento y red, preconfigurado,

balanceado y optimizado.

• Servidores de BBDD:

– Servidores Intel de BBDD

– Oracle Linux or Solaris 11

• 10 Gig Ethernet (conexión con el exterior)

• Servidores de storage:

– Servidores Intel de Storage

– Hasta 336 terabytes de disco en crudo

– 5.3 terabytes de almacenamiento Flash

• InfiniBand Network:

– Interconexión interna




“Procesos intensivos sobre los datos”

“Procesos intensivos en memoria y CPU”

SW Exadata

Servidores de BBDD 11gR2 (Joins, agregados, estadísticas, conversión de

datos)

Exadata Storage Server

(Aceso, organización y filtrado de datos)



Exadata Storage Servers

• Servidor de almacenamiento de alto rendimiento construido con componentes standard del mercado

• 12 discos: 600 GB SAS 15k rpm (alto rendimiento) o 3 TB SAS 7,2k rpm (alta capacidad)

• 2 CPUS Intel Xeon L5640 de 6 cores

• Tarjeta dual InfiniBand a 40 Gb/sec

• 386 GB memoria Flash

• Exadata Storage Server Software



Exadata Storage Servers • Almacenamiento inteligente

• “Smart Scan query offload” • Almacenamiento escalable

+ + +

• Hybrid Columnar Compression • 10x para entornos DWH

• 15x para entornos de archivado

Datos comprimidos

primary

standby

test

dev’t

backup

• Smart Flash Cache • Mejora 30x acceso aleatorios

Los datos siguen comprimidos en memoria y en la Flash

Múltiples beneficiados



Necesidades de alto rendimiento

Tecnología Unidades Total Caudal

Disco 168 336 TB 21 GB/sec

Flash 56 Tarjetas 5 TB 50 GB/sec

DRAM 256 DIMM 2 TB 100 GB/sec



Escalable

1/4 Rack 1/2 Rack 1 Rack 2-8 Racks

Servidores BD 2 4 8 16-64

Servidores Exadata 3 7 14 28-112

Capacidad bruta disco (high performance)

21 TB 50 TB 100 TB 200 – 800TB

Capacidad bruta disco (high capacity)

72 TB 168TB 336TB 672 – 2688TB

I/O Throughput (disks) 4.5 GB/sec 10.5 GB/sec 21 GB/sec 42 - 168 GB/sec

I/O per Second (IOPS) 300,000 750,000 1,500,000 1M – 8M



Consolidación de entornos

Exadata permite dar servicios de granja/nube para las BBDD:

• Permite consolidar gran cantidad de bases de datos en un único entorno

• Máximo rendimiento para cargas de trabajo que mezclan OLTP, DW, batch, reporting

• Administración de I/O y CPU que permite aislar los entornos

ERP

CRM

Warehouse

Data Mart

HR

Introducción a GoldenGate 2


“Herramienta para replicación de datos

entre entornos heterogéneos en tiempo real”

¿Qué es Oracle GoldenGate?

Introducción a GoldenGate

Bases de datos O/S y Plataformas

Oracle GoldenGate Capture:

Oracle

DB2

Microsoft SQL Server

Sybase ASE

Teradata

Enscribe

SQL/MP

SQL/MX

MySQL

JMS message queues

Oracle GoldenGate Delivery:

All listed above, plus:

TimesTen, Netezza, Greenplum, HP Neoview and

any ODBC compatible databases

ETL products

Linux

Sun Solaris

Windows

HP NonStop

HP-UX

HP TRU64

HP OpenVMS

IBM AIX

IBM z Series

zLinux



Funcionalidades clave Muy flexible: Está compuesto por unas pocas piezas funcionales configurables según las necesidades del cliente

• Captura (Extract)

• Envío (Pump)

• Entrega (Replicat)

• Control (Manager)



Funcionalidades clave Mínimamente intrusivo: Lee de los ficheros de redo archivado (journaling) no de las tablas

Captura de datos

Captura Operaciones confirmadas y ordenadas

Redo Archivado Redo Online

OCI/Oracle Net



Funcionalidades clave Elevado rendimiento: Envía sólo transacciones confirmadas

Captura Transacciones confirmadas y

Ordenadas BBDD Origen

Begin, TX 1

Insert, TX 1

Begin, TX 2

Update, TX 1

Insert, TX 2

Commit, TX 2

Begin, TX 3

Insert, TX 3

Begin, TX 4

Commit, TX 3

Delete, TX 4

Begin, TX 2

Insert, TX 2

Commit, TX 2

Begin, TX 3

Insert, TX 3

Commit, TX 3



Funcionalidades clave Sólido: Usa puntos de control para evitar pérdida de transacciones en caso de problemas en la red o en los servidores

Captura Entrega Envio Fichero de transacciones

Fichero de transacciones BBDD Origen BBDD Destino

Begin, TX 1

Insert, TX 1

Begin, TX 2

Update, TX 1

Insert, TX 2

Commit, TX 2

Begin, TX 3

Insert, TX 3

Begin, TX 4

Commit, TX 3

Delete, TX 4

Begin, TX 2

Insert, TX 2

Commit, TX 2

Begin, TX 3

Insert, TX 3

Commit, TX 3

Begin, TX 2

Insert, TX 2

Commit, TX 2

Trasnsacción mas antigua no confirmada

Punto de lectura

Checkpoint

de captura

Punto de escritura

Punto de lectura

Checkpoint de envio

Punto de escritura

Punto de Lectura

Checkpoint

de entrega



Funcionalidades clave Seguro: Permite cifrar y comprimir los datos tanto durante su almacenamiento como durante su envío

GoldenGate herramienta multiuso para EXADATA 3

GoldenGate y Exadata

1. Migraciones sin pérdida de servicio

2. Carga de datos en tiempo real desde entornos heterogéneos

3. Replicación de datos hacia entornos Oracle y no Oracle

4. Contingencia de Exadata sobre otras BBDD Oracle

GoldenGate, herramienta multiuso para Exadata



1. Migraciones sin pérdida de servicio • Permite realizar migraciones sin corte en los servicios

• Mediante réplica bidireccional es posible dar servicio a las aplicaciones desde los 2 gestores simultáneamente, permitiendo una migración escalonada de los usuarios

OGG

BBDD Anterior Exadata



2. Carga de datos en tiempo real desde entornos heterogéneos • Simplifica los entornos, sustituyendo los actuales sistemas de

aprovisionamiento de datos (mediante scripts, ficheros de datos, etc.)

• Mejora el rendimiento, permitiendo cargar en tiempo real datos procedentes de múltiples entornos Oracle y no Oracle

• Permite realizar transformaciones básicas en los datos replicados

Entornos heterogéneos / Legacy

Exadata

BBDD Oracle productivas

Integración en tiempo real +

transformación de los datos

OGG



3. Replicación de datos hacia entornos Oracle y no Oracle • Permite distribuir y replicar de manera unidireccional o

bidireccional los datos entre diferentes gestores

• Control total de qué datos se distribuyen (filtrando a nivel de filas y/o columnas), entre entornos heterogéneos y en tiempo real

Oracle 9i Exadata

Oracle 10g SQL Server

OGG



4. Contingencia de Exadata sobre otras BBDD Oracle • Permite crear entornos de contingencia sobre gestores Oracle en

diferentes plataformas, sistemas operativos y/o versiones de Oracle

• La BBDD de contingencia estará abierta y disponible para ser consultada

• Una vez los datos en destino, se puede retardar unos “minutos/horas” su aplicación sobre la BBDD de contingencia

Exadata

BBDD Oracle contingencia

Conclusiones 4



GoldenGate, herramienta multiuso para Exadata • Facilita la integración de Exadata en nuestro entorno

• Mejora y simplifica notablemente los procesos de traspaso de datos

• Flexible y adaptable a múltiples requerimientos

• Herramienta con coste asequible

GoldenGate es un

buen complemento para

EXADATA

Para más información contacte con nosotros a través de [email protected]

MADRID

Orense 85

28020 Madrid

Tel. 91 116 17 89

BARCELONA

Aragó 182, 4º planta

08011 Barcelona

Tel. 93 151 84 51

[email protected]

Documents

avanttic - GoldenGate la llave inglesa de Exadata - XXI Cuore xxi cuore