Тема 1 Вступ. Основні проблеми, що приводятьдо інтеграції даних. Історія засобів інтеграції

Технологія інтеграції даних традиційно пов’язується з поняттям сховища даних і асоціюється з пакетнимвиконанням операцій витягування, перетворення та завантаження (Extraction, Transformation, Loading,скор. ETL) даних із різних систем до єдиного сховища даних, призначеного для обробки та аналізуінформації (підготовки звітності)

Умови здійснення інтеграції:

проведення досконального аналізу задіяних систем і даних з метою визначення релевантних даних, якіпідлягають процедурам витягу і перетворення з наступним обов’язковим «очищенням» таких даних

проведення досконального аналізу цільових структур, в які будуть завантажуватися ці дані.

Структура інтеграції за методологією IDF

Види інтеграційІнтеграція застосувань

Інтеграція на основі метаданих

Семантична інтеграція

Інтеграція застосуваньДекілька років тому з’явився термін «інтеграція корпоративних застосувань» (EnterpriseApplication Integration, скор. EAI), що означає впровадження інтеграційної платформи, якаскладається з системи передачі повідомлень, брокера для маршрутизації та трансформації, атакож набору адаптерів, які спрощують взаємодію із застосуваннями та даними з різнихсистем.

Інтеграція застосувань, необхідна для здійснення бізнес-функцій, в основному це завданнякорпоративних IT-підрозділів, обов’язком яких є підтримка різних корпоративних систем вузгодженому стані.

Інтеграція інформаціїІнтеграція корпоративної інформації (Enterprise Information Integration, скор. EII) — цеінтеграція даних із численних систем в уніфіковане, узгоджене й точне надання, якепризначене для вивчення та обробки даних.

Основне призначення інструментів інтеграції — одержати доступ у реальному часі доінформації, що знаходиться в різних ІС. Кешування, індексація і оптимізація розподіленихзапитів є основними технологіями, за допомогою яких ці інструменти можуть забезпечитивитяг інформації в реальному часі.

Інтеграція даних на основі єдиної онтології.У цьому випадку для явної специфікації семантики різних наборів даних формують єдину глобальну

онтологію зі спільними узгодженими розподіленими ресурсами

Інтеграція даних на основі множини онтологій. У такому випадку кожен вхідний набір даних для семантичної інтеграції описують власною онтологією, яка

не пов'язана з іншими і оперує власними нерозподіленими словниковими ресурсами . Процес семантичної інтеграції у цьому випадку ґрунтується на

узгодженні, взаємодії та обміні ресурсами локальних онтологій

Інтеграція метаданихКороткий опис властивостей та змісту інформації будь-якого ресурсу надається його метаданими.

Генерування, зберігання і управління метаданими допомагають у підтримці використання величезнихоб’ємів інформації, доступних у наші дні в будь-якій електронній формі. Метадані в залежності відобраного технологічного підходу до інтеграції ресурсів можна використовувати трьома способами:

1) пасивно, забезпечуючи чітку документацію про структуру, процеси розробки та використанняінформаційного ресурсу. Документація має бути доступною всім учасникам інформаційного простору;

2) активно, шляхом зберігання конкретних семантичних аспектів (наприклад, правил перетворення) увигляді метаданих, які можна інтерпретувати та використовувати під час виконання. У цьому випадкупроцеси інтеграції управляються метаданими. А код (тобто активні метадані) і додаткова документаціяузгоджено та уніфіковано управляються в одному репозиторії, при цьому актуальність документації,звісно, збільшується;

3) напівактивно, за рахунок зберігання статичної інформації (наприклад, визначень структур, специфікаційконфігурацій), яку буде зчитувати інший програмний компонент під час виконання. Наприклад, під часобробки запитів необхідні метадані для перевірки існування певних атрибутів.

Інтеграція на основі метаданих

Гібридна інтеграція даних

Інтеграція даних з різних джерел

Схема семантичної інтеграції

Технології інтеграції данихТехнологія ETL найкраще застосовується в тому випадку, якщо існує багато місць зберігання інформації і велика кількість накопичених історичних даних, а для ефективної роботи аналітичних застосувань необхідно створити корпоративне сховище надійних даних для історичного аналізу та багатовимірних запитів.

Технологія EAI найбільш функціональна тоді, коли необхідно зв’язати різні застосування в реальному часі для автоматизації наскрізних ділових процедур (наприклад, обслуговування за принципом «єдиного вікна»).

Технологія EII на глобальному рівні застосовується за необхідності організувати на базі множини спеціалізованих джерел загальну систему корпоративних даних.

Проблеми інтеграції данихНеоднорідність програмного середовища

Розподілений характер організації

Підвищення вимог до безпеки даних

Необхідність наявності багаторівневих довідників метаданих

Таким чином, інтеграція баз даних на рівні сервера передбачає:

виділення деякого комп'ютера, який виконував би роль інтеграційного сервера баз даних (через поширеність і популярності логічно було б встановити на нього СУБД Oracle);

однаковий спосіб доступу додатки на комп'ютері-клієнті СУБД до інтеграційного серверу БД;

використання спеціалізованих засобів (шлюзів) для організації доступу сервера Oracle до баз даних інших форматів.

Схема функціонування прозорогошлюза

Інтеграційне розроблення сховища даних методом знизу догори

Засоби розробки сховищ даних

Схема взаємодії модулів інструментального засобу інтеграції БД

Структура інструментального засобу інтеграції БД

Модель формування інтеграційного додатка

Архітектура інтеграції даних в бібліотеці