Стандартизація методів інтеграції даних.

Основні напрямки та специфікації.

Тема 9

План 1. Що таке інтеграція даних 2. Коротка історія 3. Багатоаспектність проблеми 4. Неоднорідність джерел даних 5. Завдання, що виникають 6. Основний інструментарій 7. Архітектура систем інтеграції 8. Інтегруючі моделі даних 9. Механізми відображення моделей даних 10. Засоби семантичної інтеграції даних 11. Інтеграція метаданих 12. Протоколи доступу як середовище інтеграції даних 13. Інтеграція текстових ресурсів 14. Роль стандартів в системах інтеграції даних

Що таке інтеграція даних?

Інтеграція даних в інформаційних системах розуміється як забезпечення єдиного уніфікованого інтерфейсу для доступу до деякої сукупності неоднорідних незалежних джерел даних.

Спільні дані

Система 1

Система 3Система 2

Коротка історія

Коли

• В середині 70-их почалися розробки розподілених баз даних з багаторівневою архітектурою.

Ідея• Глобальна схема для сукупності локальних баз даних.

Завдання

• Створити мультибази і федеративні бази даних, сховища даних, різні репозиторії інформаційних ресурсів, а також веб-додатки

Наслідок

• Розробка методів інтеграції інформаційних ресурсів - одна з найбільш актуальних проблем в галузі інформаційних систем на сьогодні.

Багатоаспектність проблеми

• зводиться до конверсії даних з різних джерел в необхідний єдиний формат їх фізичного представлення

Фізичний

• передбачає можливість доступу до даних, що містяться в різних джерелах з урахуванням структурних і, можливо, поведінкових властивостей даних

Логічний

• підтримка єдиного представлення даних з урахуванням їх семантичних властивостей в контексті єдиної онтології предметної області

Семантичний

Багатоаспектність проблеми

залежить від властивостей

джерел даних, які можуть бути:

• статичними або динамічними

• підтримувати подання даних в термінах тієї чи іншої моделі даних

• однорідними або неоднорідними щодо характеристик, відповідних використовуваному рівню інтеграції

Вибір методу інтеграції

даних

Багатоаспектність проблеми

Віртуальне подання інтегрованих даних

Актуальне (матеріалізоване) подання інтегрованих даних

Способи інтеграції

даних

Неоднорідність джерел даних

Рівень Приклад неоднорідності джерел даних

Фізичний Різні формати файлів

Логічний Одні джерела можуть бути веб-сайтами, а інші - об'єктними базами даних

Семантичний Кожне з джерел є інформаційним ресурсом, що моделює деякий фрагмент предметної області, якому відповідає своя понятійна система, і ці фрагменти перетинаються

Завдання, що виникають

При створенні системи інтеграції виникає ряд завдань, склад яких залежить від вимог до неї і використовуваного підходу

• Розробка архітектури

системи інтеграції даних

• Створення інтегруючої

моделі даних, що є основою

єдиного користувальницького інтерфейсу в системі інтеграції

• Розробка методів відображення моделей

даних та побудова відображень в

інтегруючу модель для конкретних моделей,

підтримуваних окремими джерелами

даних

• Інтеграція метаданих, що

використовуються в системі джерел

даних

• Подолання неоднорідності джерел даних.

Розробка механізмів

семантичної інтеграції джерел

даних.

Основний інструментарій

засоби інтеграції схем

і інтеграції онтологічних специфікацій

об'єктні адаптери

(Wrappers)

посередники (Mediators)

онтологічні специфікації

механізми відображення

моделей дaних

архітектура, що забезпечує

взаємодію засобів

Архітектура систем інтеграції

• На посередника покладається завдання підтримки єдиного користувальницького інтерфейсу на основі глобального представлення даних, що містяться в джерелах, а також підтримку відображення між глобальним і локальним уявленнями даних

У системах інтеграції

даних найбільшого поширення

набула архітектура з

посередником.

Global as View

Local as View

Інтегруючі моделі даних

70-ті роки:

модель даних втіленав мові Синтез

80-ті роки:

спроба інтеграції в єдиної моделі даних можливостей мережевої моделі даних CODASYL і реляційної моделі даних

2003 рік:

поява специфікації SQL/XML

2005-2007 роки:

поява стандарту мови запитів XQuery, що

втілює функціональність,

властиву інтегруючій моделі даних

Механізми відображення моделей даних

Адаптери (Wrappers)

• при інтеграції даних у середовищі, заснованому на платформі CORBA

Шлюз

• механізм відображення представлення даних джерела в середовище системи бази даних

Засоби семантичної інтеграції даних

Найбільш поширений підхід до семантичної інтеграції даних заснований на використанні

семантичних посередників (Mediators)

Засобами посередників

підтримуються уніфіковані метаописи

інтегрованих джерел даних

Механізми посередників спираються на

онтологічні специфікації

джерел

Пропонується використовувати

апарат дескриптивних

логік, втілений в мові опису

онтологій OWL

Інтеграція метаданих

Традиційні завдання інтеграції метаданих:

завдання інтеграції схем

завдання інтеграції онтологічних специфікацій інформаційних ресурсів

Інтеграція метаданих

Труднощі при вирішенні завдання інтеграції

схем

Конфлікти іменування

Конфлікти неоднорідності

Семантичні конфлікти

Структурні конфлікти

Протоколи доступу як засіб інтеграції даних

• підтримує єдине ієрархічне представлення розподілених інформаційних ресурсів в середовищі архітектури клієнт-сервер і надає користувачеві єдиний інтерфейс для доступу до них

Протокол доступу до

розподілених ресурсів

Z39.50

Інтеграція текстових ресурсів

Проблема інтеграції колекцій текстових інформаційних ресурсів зводиться, головним чином, до інтеграції метаданих їх джерел, каталогів, класифікаторів, тезаурусів, онтологій і т.д

Проблема набула особливої актуальності у зв'язку з розробками електронних бібліотек

Інтеграція тут розуміється як об'єднання колекцій текстових документів з різних джерел в рамках єдиного джерела

Найбільш цікаві методи, передбачають матеріалізовану інтеграцію метаданих і віртуальну інтеграцію власне контенту колекцій текстових документів

Такий підхід використовується, наприклад, в Соціонет

Роль стандартів в системах інтеграції даних

Головне призначення стандартів полягає у

визначенні уніфікованої моделі даних

(метаданих), що є основою єдиного

інтерфейсу для доступу до інтегрованих даними

для додатків і / або кінцевих користувачів

стандарти баз даних ISO / IEC SQL, ISO / IEC

SQL / MED

стандарт Дублінського

ядра консорціуму

OCLC

стандарти платформи

XML консорціуму

W3C

стандарти CORBA і UML консорціуму

OMG

стандарт об'єктних

даних консорціуму

ODMG

Роль стандартів в системах інтеграції даних

В інтеграції інформаційних ресурсів електронних бібліотек в останні роки активно використовуються стандарти Ініціативи відкритих архівів (OpenArchives Initiative)

OAI