16

Тема 3. Методи інтеграції даних

Embed Size (px)

Citation preview

Консолідація даних - це збирання даних з територіально

віддалених або різноплатформенних джерел даних в

єдине сховище даних з метою їх подальшого

опрацювання та аналізу. Консолідовані дані необхідні

центральному керівництву для того, щоб здійснювати

глобальне керування бізнесом, впроваджувати єдину

політику у філіалах і здійснювати контроль над їх

діяльністю.

• вибір джерел даних;

• розробка стратегії консолідації;

• оцінка якості даних;

• збагачення;

• очистка;

• перенос в сховищі даних.

Федералізація даних забезпечує єдину віртуальнукартину одного або декількох первинних файлівданих. Якщо бізнес-застосування генерує запит доцієї віртуальної картини, то процесорфедералізації даних витягає дані з відповіднихпервинних сховищ даних, інтегрує їх так, щобвони відповідали віртуальній картині і вимогамзапиту, і відправляє результати застосуванню, відякого прийшов запит. За визначенням, процесфедералізації даних завжди полягає у витяганніданих з первинних систем на підставі зовнішніхвимог.

Федералізацію даних можливо використовувати втих випадках, коли вартість консолідації данихперевищує переваги для користувачів предметноїобласті, які вона надає. Оперативне опрацюваннязапитів і підготовка звітів могла б служитиприкладом подібної ситуації. Федералізація данихтакож, ймовірно, виявилася б корисною в тихвипадках, коли політика безпеки даних іліцензійні обмеження забороняють копіюванняданих первинних систем. Зазвичай в цюкатегорію потрапляють синдикати даних. Крімцього, федералізація могла б використовуватисяяк короткочасне рішення для інтеграції данихпісля придбання або злиття компаній.

• за географічною ознакою;

• за частинами предметної області;

• функціональна федералізація.

Застосування розповсюдження даних здійснюють копіюванняданих з одного місця в інше. Ці застосування зазвичайпрацюють в оперативному режимі і здійснюють переміщенняданих до місць призначення, тобто залежать від певнихподій. Оновлення в первинній системі можуть передаватисяв кінцеву систему синхронно або асинхронно. Синхроннепередавання вимагає, щоб оновлення в обох системахвідбувалися під час однієї і тієї ж фізичної транзакції.Незалежно від використовуваного типу синхронізації, методрозповсюдження гарантує доставку даних в системупризначення. Така гарантія - це ключова ознакарозповсюдження даних. Більшість технологій синхронногорозповсюдження даних підтримують двосторонній обмінданими між первинними і кінцевими системами. Прикладамитехнологій, що підтримують розповсюдження даних, єінтеграція корпоративних застосувань (Enterprise applicationintegration, ЕАІ) і тиражування корпоративних даних(Enterprise data replication, EDR).

ЕАІ – це технологія, за допомогою якоїорганізація добивається централізації іоптимізації інтеграції корпоративнихзастосувань, зазвичай використовуючи ті абоінші форми технології оперативної доставкиінформації (push technology), яка керуєтьсязовнішніми подіями (event-driven). ЕАІ - цебагатогранна технологія для сховищ даних,яка охоплює всі рівні корпоративної системи -її архітектуру, апаратне і програмнезабезпечення і процеси.

• Інтеграція процесів бізнесу (Business Process

Integration, ВРІ)

• Інтеграція застосувань (Application Integration)

• Інтеграція даних (Data Integration).

Полягає в тому, що необхідні для виконаннятрансакції дані копіюють на той сервер, де їхоброблятимуть. Усі зміни, внесені іншимикористувачами протягом здійснення запиту, невпливають на його виконання, оскільки вонифіксуються в основних файлах і невідображаються в їх копіях. Такий механізм даєзмогу завершити трансакцію з ланцюжкомпошукових запитів будь-якої довжини, непорушивши логічної цілісності даних, а також єзасобом уникнення конфліктів під час роботи збазою даних.

Великою перевагою методу розповсюдження даних єте, що він може використовуватися для переміщенняданих в режимі реального часу або близькому донього. Інші переваги включають Гарантованудоставку даних і двостороннє розповсюдження даних.Доступність багатьох з цих зручностей залежить відконкретного продукту. Метод розповсюдження данихможе також використовуватися для урівноваженняробочого навантаження, творення резервних копій івідновлення даних, зокрема у разі надзвичайнихситуацій.

Практичне застосування цього методу відрізняєтьсядостатньо великою різноманітністю як в планіпродуктивності, так і щодо можливостейреструктуризації і очищення даних.

Методи, що використовуються застосуваннями

інтеграції даних, залежать як від потреб

бізнесу, так і від технологічних вимог.

Достатньо часто застосування інтеграції даних

використовує так званий гібридний підхід,

який включає декілька методів інтеграції.

Хороший приклад такого підходу - інтеграція

даних про клієнтів (customer data integration,

CDI), метою якої є забезпечення узгодженої

картини інформації про клієнтів.

Найпростіший підхід до CDI - це створення

консолідованого сховища даних про клієнтів, яке

містить дані, одержані з первинних систем.

Відставання інформації в консолідованому сховищі

залежатиме від режиму консолідації даних

(оперативний або пакетний) і від частоти оновлення

цієї інформації.

Інший підхід до CDI - це федералізація даних, коли

визначаються віртуальні бізнес-подання даних про

клієнтів в первинних системах. Ці подання

використовуються прикладними програмами для

доступу до поточної інформації про клієнтів в

первинних системах.

Гібридний підхід використовує як

консолідацію, так і федералізацію даних,

також може мати місце. Загальні дані про

клієнтів (ім’я, адреса та ін.) можуть бути

консолідовані в одному сховищі, а дані, які

відносяться до певного первинного

застосування (наприклад, замовлення), можуть

бути федералізовані.