Решения по управлению данными от Informatica

www.pronet.ua

О фирме ProNET

15 лет на ИТ-рынке Украины

Законченные проекты, отмеченные

наградами и дипломами

Партнерские отношения с вендорами

Сертифицированные специалисты

Индивидуальный подход к Заказчику

Гибкая ценовая политика

Автоматизированное управление

обработкой сервисных заявок

О корпорации INFORMATICA

• Основана 1993 год

• Выручка 2011 $780+ млн.

• Среднегодовой рост за последние 18% в год 5 лет

• Заказчики 4,500+

• 84 of Fortune 100

• 87%+ of Dow Jones

• Правительства более 20 стран

• Сотрудники 2,500+

$0

$100

$200

$300

$400

$500

$600

$700

2007 2008 2009 2010

$800

2011

Независимый лидер рынка интеграции данных и Обеспечения качества данных (25%+ мирового рынка)

Компании СНГ выбирают Informatica

Традиционный подход

Хранилище данных

Миграция данных

Архивация данных и

управление средами

Управление НСИ

Синхро-низацияданных

Обмен данными

B2B

Консолидацияданных

Обработкакомплексных

событий

Приложения Данные партнеров

SWIFT NACHA HIPAA …

Данные вне компании ФайлыБазы данных

Ручное программирование, использование различных разрозненных решений

большие затраты, = долгая реализация, сложная поддержка

План проекта управления данными

Первоначальный план

Разработка

Развитие

Видимая стоимость

Скрытые расходы

Как правило недооцениваются

на 100%

Отслеживание узких мест

Необходимость проверять правила между системами

Повторное использование

в других проектах

Постоянное изменение и усложнение

инфраструктуры

Предполагаемое

Функциони-рование

Проблемы качества данных осознаны слишком поздно

Необходим доступ к большему количеству

систем для полной картины данных

Постоянное бремя

поддержки

Первоначальный план проекта – всего лишь вершина айсберга

Подход Informatica

Данные вне компании

Хранилище данных

Миграция данных

Архивация данных иуправление средами

Управление НСИ

Синхронизацияданных

Обмен даннымиB2B

Консолидацияданных

Обработкакомплексныхсобытий

Аудит и анализ влияния данных в проекте

Архивирование, Создание тестовых копий, Обезличивание данных

Data Profiling

Оценка качества

Data Quality

Очистка данных

PowerCenter

Трансформация и Интеграция

B2B Exchange

Доставка

PowerExchange

B2B Exchange

Доступ

Приложения Данные партнеров

SWIFT NACHA HIPAA …

ФайлыБазы данных

Мониторинг

Разработка + Управление

Задачи, решаемые при помощи продуктов INFORMATICA

Миграция данных

Преимущества использования решений Informatica при миграции данных:Короткие сроки миграцииОпределение состава необходимых

данных для миграцииПодключение новых источников для

обогащения данныхОбеспечение качества данных в новой

системеРеконсиляция загруженных данныхСинхронизация систем при

одновременной работе

Старые системы

Физическая интеграция и обеспечение качества

Новая система

Понимание процесса миграции

Реальность

ПредположенияАктуальные

данные

Плохое качество данных

Несколько исходных

систем

Намного больше

исходных систем

Опреде-ленный формат данных

Данные в неизвестных

форматах

Все данные

доступны

Нужные данные утеряны

Задокументи-рованные

интерфейсы между

системами

Неизвестные интерфейсы

“Задача миграции не просто перенос данных…. Главная задача – обеспечить работоспособность

данных в целевой системе.”

Обеспечение качества данных

Мощнейшее средство реконсиляции данных на базе платформы Informatica:

Сравнение данных различных систем

Определение достоверности хранимых данных

Отчеты о результатах реконсиляции в форме, требуемой заказчиком

Выявление случае отсутствия данных и определение источников для обогащения

Результатысравнения

Cравнение данных

АРМ 1 Фронт-офисная система

АРМ 2

Архивация данных

Активные данные

0–1 год

Историческиеданные

2–5 лет

Файловый архив

Более 5 лет

Oracle UOA

Symantec EV EMC Documentum

EMC Centera Hitachi HCAP

Повышение производительности

Вывод из эксплуатации

До

сту

п

Подключение к данным

Средства управленияконтентом

Единый доступ к данным

Просмотр данных

Формирование хранилищ данных

Построение хранилищ данных на базе Informatica для выполнения следующих задач:Построение управленческой

отчетностиПостроение регуляторной

отчетностиПостроение финансовой

отчетностиПостроение аналитической

отчетностиОнлайн-мониторинг для

руководстваОнлайн-аналитика данныхДанные для внедрения новых

систем

Средства отчетности

Физическая интеграция

Хранилище данных

АРМ 1 Система АРМ 2

Управление Справочной Информацией

Создание единных справочных систем на базе Informatica позволит:Сформировать единный

взгляд на данные из различных систем

Содержит мощную MDM-систему в составе решения

Обеспечит качество справочной информации автоматически и вручную

Унифицирует, устранит дубликаты

Обогатить и консолидировать информацию из различных источников

Не зависит от типа данных и платформы

SaaSФронт-офисная

система

Поддержкаграждан

АРМ

ERP

Финансоваясистема

Справочник граждан, услуг и т.п.

ПравилаХранилищеданных

Синхронизация данных

Возможности Informatica при синхронизации данных:

Онлайн-синхронизация и по расписанию

Независимость от типов синхронизируемых систем

Кросс-платформенные процессы

Прямая интеграция со средствами интеграции приложений

Обеспечение качества данных в процессе синхронизации

Подключение произвольных источников

СУБД

Источникданных

Lotus Notes

ORACLE E Business

SAP NetWeaver

SAS

MS SQL Server

MS Access

Книги Excel

MS SQL

MS SSAS

Oracle

Teradata

Sybase

Informix

DB2

Текстовые файлы

Технолог. стандарты

Неструктуриров. Данные

..более 100 разл. источников

ХД

Приклад.системы

Неструктурированные данные

17

Сложности миграции данных и последствия их игнорирования

Сложности в миграции данных

1. Отсутствие опыта в проведении миграции данных

2. Неупорядоченная документация

3. Несовместимые, неактуальные, некачественные исходные данные

4. Постоянно изменяющаяся целевая система

5. Многочисленные инструменты и проектные команды

6. Постоянный возврат к начальным фазам миграции

Риски в проекте миграции данных

1. Общий провал проекта или его частей

2. Значительное превышение рамок бюджета

3. Выход за временные рамки проекта

4. Высокие стоимости поддержки и внесения изменений

Процесс миграции

ЗагрузкаАнализИзвлечение/

ПреобразованиеВалидация

Средство 1 Средство 2 Средство 3 Средство 4

Проект по миграции данных

Миграция данных представляется как 4-х ступенчатый процесс…

Миграция НЕ линейный процесс

Практически все предположения о данных ошибочны (около 35% предполагаемых затрат на проект )

Проблемы с данными требуют большего анализа и извлечения – 40% затрат от предполагаемого плана проекта

Извлечение/Преобразование потребует гораздо большего анализа данных – 75%

ВСЕГО = 150% от изначально предполагаемых затрат на проект (как минимум)

Длительность > 50% или Затраты > 50%

Загрузка

Анализ

Извлечение/Преобразование

Валидация

Опыт Informatica в проектах миграции

Сбор лучших практик из реальных проектов миграции данных у заказчиков

Определение тенденций и проблем

Дополнение Методологии наилучшей практикой

Включение необходимой

функциональности в продукты Informatica

Analyze

Extract/Transform

Validate

Load

AnalyzeExtract/

Transform

ValidateЗагрузкаАнализ Извлечение/трансформация

Проверка

Единая платформа для миграции данных для максимального сокращения цикла итераций (до 2-3 итераций)

23

Дополнительные возможности платформы INFORMATICA

Informatica Data Quality

Обработка данных, требующих синтаксического разбора: Имена Адреса Телефоны Товарные номенклатуры Паспортные данные Налоговые номера Банковские реквизиты Любая другая информация

Стандартизация и проверка данных Сравнение и поиск дубликатов записей

вероятностными методами Мониторинг качества данных Визуальные средства Informatica Analyst

и Developer для создания процессов обеспечения и оценки качества данных

Sources

Runtime

DQ Dashboard

Business Applications

Designer

RealtimeSDK

IDQServer

Repository

Data Integration/ Quality Services

SAPSiebelOracle

InformaticaPowerCenter

Runtime

Результат Informatica Data Quality

м. Торез, вул. Енгельса, 126м. Шахтарськ, вул. Дзержинського, 13м. Ясиновата, вул. Заводська, 92Смт. Олександрівка, вул. Радянської конституції, 21 м.Амвросіївка, вул.Артема,8м. В-Новоселківка, вул. Пушкіна, 30 м. Волноваха, пров. Енергетичний,3 смт.Володарське, вул. Леніна, 98

Донецька область м Торез Вулиця Енгельса 126Донецька область м Шахтарськ Вулиця Дзержинського 13Донецька область м Ясинувата Вулиця Заводська 92Донецька область Олександрівський р-н Олександрівська селищна рада смт Олександрі Вулиця Радянської Конституції 21Донецька область Амвросіївський р-н м Амвросіївк Вулиця Артема 8Донецька область Волноваський р-н м Волноваха Провулок Енергетичний 3Донецька область Володарський р-н Володарська селищна рада смт Володарськ Провулок Леніна 98

Адресные данные до использования Informatica Data Quality:

Адреса записаны в одну строчку Адрес записан в не полном формате

(отсутствуют области, районы, рады и т.п.)

Не произведено административно-территориальное деление адреса

Адресные данные после использования Informatica Data Quality:

Адреса приведены в единый формат Адрес записан в полном формате (области, районы, рады и т.п.) Отсутствующие данные были обогащены Добавлены типы населенных пунктов и типы улиц Произведено административно-территориальное

Профилирование результата

Быстрый анализа данных (профилирование)Создание правил проверки данныхОтслеживание обработки данных на каждом этапеОтчетность по качеству данныхКонсолидация мастер-данных в автоматизированном режиме

Ответст-венный за

данные

Informatica Identity Resolution (IIR)

Процесс идентификации может приводить к серьезным ошибкам и вариациям

Сведения могут содержать многоязычные данные

Используемые техники идентификации не находят дублей либо находят их слишком много

Используемые техники идентификации чересчур сложны и ресурсоемки

Очистка данных не позволяет полностью решить проблему

Примеры

Хундай, Хенде, Хендэ, Хендай, Хуиндай, Хёндай, Hunday, Hounday, Hyundai….

Алексей Ципинюк,

Ципинюк А.,

А. А. Ципинюк,

г-н Ципинюк Алексей Александрович,

Oleksii Tsipiniuk,

Alex Tsipinyuk…

Алексей, Алекс, Алеша, Алёша, Леха…

Informatica PowerCenter

Наглядность отображения процессов трансформации данных

Возможность проследить способ формирования каждого значения и влияния каждого из полей на результирующее значение

Informatica PowerCenter

Уменьшение нагрузки на систему-источник за счет проведения одновременной записи обработанных данных, в несколько таблиц-приемников

Параллелизация расчетов для увеличения производительности

Любые режимы работы процессов: по расписанию, по запросу, в реальном времени

Informatica PowerCenter

Онлайн-мониторинг выполнения процессов обработки данных

Остановка, перезапуск, восстановление процессов

Одновременное выполнение любого числа процессов

31

Преимуществаплатформы INFORMATICA

Мощная высокопроизводительная промышленная платформа масштаба предприятия для интеграции и обеспечения качества данных

Высокоэффективное решение любых задач обеспечения качества данных для любого типа проектов

Обработка любых типов данных из любых систем на любых языках

Скорость выполнения проекта 3-10 раз Выполнение проекта в срок Успешный опыт применения в крупнейших

мировых компаниях, а также в России и странах СНГ

Преимущества Informatica

33

Финансовые институты

Телекоммуникации

Машиностроение

Розничные услуги

Здравоохране-ние и фармацевтика

ТЭК

Государственные и публичные учреждения

Транспорт

Мировые компании выбирают Informatica

04073, г. Киев, ул. Марка Вовчка, 18А(+38) 044-390-09-11, 390-09-19

dep_itsm@pronet.uawww.pronet.ua

Спасибо за внимание!

Пожалуйста, задавайте вопросы

34