<Insert Picture Here>

Решения Oracle по интеграции данных

Грановский АлександрIntegration Architect, Oracle Russia

2

<Insert Picture Here>

План презентации

•Краткий обзор продуктов Oracle– Oracle Data Integrator– Oracle Data Quality and Data Profiling

– Oracle GoldenGate

•Типовая архитектура решения

•Примеры внедрений

3

MDM, НСИ системы

SOAрешения

ERP / CRM Аналитика BAMЗаказные приложения

Oracle GoldenGate

Oracle CDC

Двухсторонняя репликация

Данные реального времени

SOA Abstraction Layer

Интеграционная ШинаИнтеграционная ШинаПроцессыПроцессы СервисыСервисы

Oracle Data Integrator

ELT/ETL

Трансформации

Пакетные репликации

OLTPSystem

Flat FilesData Warehouse/Data Mart

OLAP Cube Web 2.0 Web and Event Services, SOA

Storage

Верификация “на лету”

Oracle Data Quality

Качество данных

Статистика и анализ

Обработка и очистка

Федеративные данныеФедеративные данные

Data Lineage Выверка и объединение

Комплексное интеграционное решение

Решение от Oracle – комплексный подход к интеграции данных

Интеграционная ШинаИнтеграционная ШинаПроцессыПроцессы СервисыСервисыИнтеграционная ШинаИнтеграционная ШинаПроцессыПроцессы Федеративные данныеФедеративные данныеСервисыСервисыИнтеграционная ШинаИнтеграционная ШинаПроцессыПроцессы

4

Oracle Data Integrator 11g (ODI-EE)

Консолидация данных для приложений

Хранилища данных и аналитические системы

OLTP Базы данных в

филиалах

Бизнес-приложения

Источники данных из

текущих систем

Oracle Data Integrator Enterprise Edition

Графическое проектирование процессов движения данных

Огромное количество готовых адаптеров к СУБД и приложениям

Открытая архитектура, возможность расширения

Централизация управления, контроля и аудита

5

Удобство работы с ODI

• Среда разработки на базе JDeveloper

• Графические редакторы процессов трансформации и workflow

• Автоматическая проверка на ошибки

• Непосредственный доступ к данным

6

Удобство работы с ODI: диаграммы

7

• Единая среда управления системой в Web

• Инструменты для мониторинга и отслеживания интеграционных сессий в реальном времени

• Запуск, останов, обслуживание компонентов системы

Управление

8

Синхронизация данных в реальном времени

Системы высокой надежности 24\7

Отчетность и аналитика в реальном времени

Нет дополнительной нагрузки на приложения

Message Bus

Event Driven Architecture, SOA

Oracle GoldenGate 11g

Шины данных

СУБД

Приложения

Распределенные системы

Хранилища данных

Реплики, Standby системы

Миграции на новые приложения, серверы и т.д.

Измененные данные

9

Oracle Data Quality and Data Profiling 11g

Приложения

Хранилища данных

Oracle Data Integrator

Oracle Data Profiling, Oracle Data Quality

Любые исходные системы и базы данных

Сверка метаданных источников и получателей данных

Поиск дублей, сравнение и объединение

Глобальная система выверки адресов

Настраиваемые алгоритмы проверки

10

ContentManagement

Services

BusinessIntelligence

Services

CollaborationServices

TransactionProcessing

ServicesApplication and Data Services

Industry Process Models

Oracle MDMOracle MDM

Oracle Data Integration Suite

Oracle Data Integration Suite

ETL/ELT CDC Data FederationData Replication

Product Data Quality

Customer Hub Product Hub

Customer Data Quality

EIM Infrastructure

Oracle EPM/BIOracle EPM/BI

Oracle DRM

BI Server Foundation

EP

M a

pp

lica

tio

ns

BI

app

lica

tio

ns

OLTPSystem

Files and Content Management

Data Warehouse/Data Mart

OLAP Cube

Supplier Hub

Pre

dic

tive

An

alyt

ics

Custom HubFinancial Hub

Web 2.0

Infrastructure Services

Web and Event Services, SOA

Storage

Backup, Recovery, Archiving Data Encryption, Access HA, Disaster Recovery

Identity Management Access Management ProvisioningEntitlements Directory Services

Met

adat

a M

anag

emen

t, B

usi

nes

s R

ule

s, P

oli

cies

, G

ove

rnan

ce a

nd

IL

M

Oracle SOA

Workflow

Process

Service Bus

Mediator

Registry

Oracle Data Information Management

11

FAQ и Best Practices

• Ключевые отличия ODI (ELT) от стандартных ETL систем:– Не требуется выделенных “middle tier” серверов– Обработка преобразований может происходить как на

источнике, так и на получателе данных

• ODI или GoldenGate: Если требуется «мгновенная» синхронизация данных между системами, то используйте GoldenGate. Если необходимо обеспечить регламентные загрузки и трансформации, то ODI, или ODI + GoldenGate

12

<Insert Picture Here>

Типовая архитектура

13

Типовая архитектура решения

• Продукты

- Oracle Data Integrator EE

- Oracle GoldenGate

- Oracle Data Quality for ODI

14

Процесс консолидации данных

1. Данные выгружаются из системы-источника:1. формируется набор измененных данных (запросы к БД

агентами ODI или GoldenGate)

2. Данные передаются по текущим каналам связи в буферную зону (прямое соединение между СУБД, прямая передача данных GoldenGate, архивы файлов по FTP).

2. Пакеты данных, переданные на центральный узел обрабатываются и загружаются в Буферную БД:

1. Данные загружаются в буферный слой – автоматически или регламентно с помощью агента ODI на центральном узле

2. Отрабатывают процедуры верификации и очистки

3. Отрабатывают процедуры интеграции данных

3. Готовые данные перегружаются в Хранилище

Буферная зона

Источник

БД

Агент ODI

FTP

БДАгент ODI

Файлы

15

Особенности и преимущества решения

• Единая технологическая платформа для всего комплекса задач– Поддержка множества типов источников данных –

универсальность и расширяемость решения– Единая консоль управления на центральном узле– Интегрированный набор продуктов, работающих как

«единое целое»

• Все трансформации происходят на уровне СУБД• Визуальные средства разработки• Открытая к расширению и интеграции платформа• Лицензируется только центральный узел, на

котором совершается трансформация данных

16

<Insert Picture Here>

Заказчики

17

Energy/IndustrialEnergy/Industrial Insurance / HealthInsurance / Health RetailRetail OtherOther

TransportationTransportation Fin. Serv.Fin. Serv. MediaMedia Public SectorPublic Sector

Обзор основных заказчиков в Европе

18

Решение Oracle Oracle Data Integrator и GoldenGate

обеспечивает загрузку всей информации в хранилища данных и аналитические системы.

Интеграционное решение на базе Oracle Database, Oracle Performance Analyzer, Oracle Financial Data Manager для повышения качества и эффективности управления

Возврат инвестиций Скорость обновления данных поднялась

с 1 дня до 1 часа. Период обучения для новых сотрудников

уменьшился с 6 недель до 3 дней. Сократилось время поиска источника

исходных данных в бизнес-отчетах с двух дней до секунд.

Оценка влияния изменений на исходные данные уменьшилась с недель до минут.

Задачи Реализовать автоматизированную систему насыщения хранилищ

данных, избежать ручного кодирования процессов. Обеспечить единообразие в проектировании и разработке,

минимизировать время на обучение Обеспечить лучший контроль за данными для быстрого решения

возникающих вопросов и проблем.

Finansbank

19

М.Видео

Задача • Обмен данными на единой платформе, с единым интерфейсом

разработки и мониторинга;• Высокая доступность и отказоустойчивость платформы интеграции;• Широкий спектр используемых интерфейсов для обмена данными;• Возможность заменить ПО - источник или потребителя данных, не

меняя при этом интерфейс обмена с другими системами;• Уменьшение TCO интеграционной платформы путем унификации

используемого программного обеспечения и существенного сокращения времени проведения необходимых модификаций.

Решение• Решение от Oracle включило ODI для организации процессов

движения данных, хранение в Oracle Database и выполнение приложений на операционной системе Oracle Solaris.

Преимущества• Интеграционная платформа работает на кластере, обеспечивающем

восстановление обмена данными в течение 10 минут при сбое сети или программных компонентов платформы;

• Обмен транзакционными данными между реляционными базами данных идёт со скоростью ~ 17000 строк в секунду;

• Интегрированны следующие приложения: 1С, SAP, HP OpenView, Lotus Notes, Siebel CRM, Sybase IQ, офисные форматы данных

Продукты Oracle

• Oracle Data Integrator

• Database EE

• Real Application Clusters

• Oracle Solaris

20

Quote AttributionTitle, Company

For More Information

• Oracle Fusion Middleware 11g: www.oracle.com/fusionmiddleware11g

• Oracle Data Integration 11g: www.oracle.com/goto/odi

• Oracle GoldenGate 11g: www.oracle.com/goldengate

• Data Integration Events http://www.oracle.com/events

Get Started