View
500
Download
0
Category
Preview:
Citation preview
Решения по управлению данными от Informatica
www.pronet.ua
О фирме ProNET
15 лет на ИТ-рынке Украины
Законченные проекты, отмеченные
наградами и дипломами
Партнерские отношения с вендорами
Сертифицированные специалисты
Индивидуальный подход к Заказчику
Гибкая ценовая политика
Автоматизированное управление
обработкой сервисных заявок
О корпорации INFORMATICA
• Основана 1993 год
• Выручка 2011 $780+ млн.
• Среднегодовой рост за последние 18% в год 5 лет
• Заказчики 4,500+
• 84 of Fortune 100
• 87%+ of Dow Jones
• Правительства более 20 стран
• Сотрудники 2,500+
$0
$100
$200
$300
$400
$500
$600
$700
2007 2008 2009 2010
$800
2011
Независимый лидер рынка интеграции данных и Обеспечения качества данных (25%+ мирового рынка)
Компании СНГ выбирают Informatica
Традиционный подход
Хранилище данных
Миграция данных
Архивация данных и
управление средами
Управление НСИ
Синхро-низацияданных
Обмен данными
B2B
Консолидацияданных
Обработкакомплексных
событий
Приложения Данные партнеров
SWIFT NACHA HIPAA …
Данные вне компании ФайлыБазы данных
Ручное программирование, использование различных разрозненных решений
большие затраты, = долгая реализация, сложная поддержка
План проекта управления данными
Первоначальный план
Разработка
Развитие
Видимая стоимость
Скрытые расходы
Как правило недооцениваются
на 100%
Отслеживание узких мест
Необходимость проверять правила между системами
Повторное использование
в других проектах
Постоянное изменение и усложнение
инфраструктуры
Предполагаемое
Функциони-рование
Проблемы качества данных осознаны слишком поздно
Необходим доступ к большему количеству
систем для полной картины данных
Постоянное бремя
поддержки
Первоначальный план проекта – всего лишь вершина айсберга
Подход Informatica
Данные вне компании
Хранилище данных
Миграция данных
Архивация данных иуправление средами
Управление НСИ
Синхронизацияданных
Обмен даннымиB2B
Консолидацияданных
Обработкакомплексныхсобытий
Аудит и анализ влияния данных в проекте
Архивирование, Создание тестовых копий, Обезличивание данных
Data Profiling
Оценка качества
Data Quality
Очистка данных
PowerCenter
Трансформация и Интеграция
B2B Exchange
Доставка
PowerExchange
B2B Exchange
Доступ
Приложения Данные партнеров
SWIFT NACHA HIPAA …
ФайлыБазы данных
Мониторинг
Разработка + Управление
Задачи, решаемые при помощи продуктов INFORMATICA
Миграция данных
Преимущества использования решений Informatica при миграции данных:Короткие сроки миграцииОпределение состава необходимых
данных для миграцииПодключение новых источников для
обогащения данныхОбеспечение качества данных в новой
системеРеконсиляция загруженных данныхСинхронизация систем при
одновременной работе
Старые системы
Физическая интеграция и обеспечение качества
Новая система
Понимание процесса миграции
Реальность
ПредположенияАктуальные
данные
Плохое качество данных
Несколько исходных
систем
Намного больше
исходных систем
Опреде-ленный формат данных
Данные в неизвестных
форматах
Все данные
доступны
Нужные данные утеряны
Задокументи-рованные
интерфейсы между
системами
Неизвестные интерфейсы
“Задача миграции не просто перенос данных…. Главная задача – обеспечить работоспособность
данных в целевой системе.”
Обеспечение качества данных
Мощнейшее средство реконсиляции данных на базе платформы Informatica:
Сравнение данных различных систем
Определение достоверности хранимых данных
Отчеты о результатах реконсиляции в форме, требуемой заказчиком
Выявление случае отсутствия данных и определение источников для обогащения
Результатысравнения
Cравнение данных
АРМ 1 Фронт-офисная система
АРМ 2
Архивация данных
Активные данные
0–1 год
Историческиеданные
2–5 лет
Файловый архив
Более 5 лет
Oracle UOA
Symantec EV EMC Documentum
EMC Centera Hitachi HCAP
Повышение производительности
Вывод из эксплуатации
До
сту
п
Подключение к данным
Средства управленияконтентом
Единый доступ к данным
Просмотр данных
Формирование хранилищ данных
Построение хранилищ данных на базе Informatica для выполнения следующих задач:Построение управленческой
отчетностиПостроение регуляторной
отчетностиПостроение финансовой
отчетностиПостроение аналитической
отчетностиОнлайн-мониторинг для
руководстваОнлайн-аналитика данныхДанные для внедрения новых
систем
Средства отчетности
Физическая интеграция
Хранилище данных
АРМ 1 Система АРМ 2
Управление Справочной Информацией
Создание единных справочных систем на базе Informatica позволит:Сформировать единный
взгляд на данные из различных систем
Содержит мощную MDM-систему в составе решения
Обеспечит качество справочной информации автоматически и вручную
Унифицирует, устранит дубликаты
Обогатить и консолидировать информацию из различных источников
Не зависит от типа данных и платформы
SaaSФронт-офисная
система
Поддержкаграждан
АРМ
ERP
Финансоваясистема
Справочник граждан, услуг и т.п.
ПравилаХранилищеданных
Синхронизация данных
Возможности Informatica при синхронизации данных:
Онлайн-синхронизация и по расписанию
Независимость от типов синхронизируемых систем
Кросс-платформенные процессы
Прямая интеграция со средствами интеграции приложений
Обеспечение качества данных в процессе синхронизации
Подключение произвольных источников
СУБД
Источникданных
Lotus Notes
ORACLE E Business
SAP NetWeaver
SAS
MS SQL Server
MS Access
Книги Excel
MS SQL
MS SSAS
Oracle
Teradata
Sybase
Informix
DB2
Текстовые файлы
Технолог. стандарты
Неструктуриров. Данные
..более 100 разл. источников
ХД
Приклад.системы
Неструктурированные данные
17
Сложности миграции данных и последствия их игнорирования
Сложности в миграции данных
1. Отсутствие опыта в проведении миграции данных
2. Неупорядоченная документация
3. Несовместимые, неактуальные, некачественные исходные данные
4. Постоянно изменяющаяся целевая система
5. Многочисленные инструменты и проектные команды
6. Постоянный возврат к начальным фазам миграции
Риски в проекте миграции данных
1. Общий провал проекта или его частей
2. Значительное превышение рамок бюджета
3. Выход за временные рамки проекта
4. Высокие стоимости поддержки и внесения изменений
Процесс миграции
ЗагрузкаАнализИзвлечение/
ПреобразованиеВалидация
Средство 1 Средство 2 Средство 3 Средство 4
Проект по миграции данных
Миграция данных представляется как 4-х ступенчатый процесс…
Миграция НЕ линейный процесс
Практически все предположения о данных ошибочны (около 35% предполагаемых затрат на проект )
Проблемы с данными требуют большего анализа и извлечения – 40% затрат от предполагаемого плана проекта
Извлечение/Преобразование потребует гораздо большего анализа данных – 75%
ВСЕГО = 150% от изначально предполагаемых затрат на проект (как минимум)
Длительность > 50% или Затраты > 50%
Загрузка
Анализ
Извлечение/Преобразование
Валидация
Опыт Informatica в проектах миграции
Сбор лучших практик из реальных проектов миграции данных у заказчиков
Определение тенденций и проблем
Дополнение Методологии наилучшей практикой
Включение необходимой
функциональности в продукты Informatica
Analyze
Extract/Transform
Validate
Load
AnalyzeExtract/
Transform
ValidateЗагрузкаАнализ Извлечение/трансформация
Проверка
Единая платформа для миграции данных для максимального сокращения цикла итераций (до 2-3 итераций)
23
Дополнительные возможности платформы INFORMATICA
Informatica Data Quality
Обработка данных, требующих синтаксического разбора: Имена Адреса Телефоны Товарные номенклатуры Паспортные данные Налоговые номера Банковские реквизиты Любая другая информация
Стандартизация и проверка данных Сравнение и поиск дубликатов записей
вероятностными методами Мониторинг качества данных Визуальные средства Informatica Analyst
и Developer для создания процессов обеспечения и оценки качества данных
Sources
Runtime
DQ Dashboard
Business Applications
Designer
RealtimeSDK
IDQServer
Repository
Data Integration/ Quality Services
SAPSiebelOracle
InformaticaPowerCenter
Runtime
Результат Informatica Data Quality
м. Торез, вул. Енгельса, 126м. Шахтарськ, вул. Дзержинського, 13м. Ясиновата, вул. Заводська, 92Смт. Олександрівка, вул. Радянської конституції, 21 м.Амвросіївка, вул.Артема,8м. В-Новоселківка, вул. Пушкіна, 30 м. Волноваха, пров. Енергетичний,3 смт.Володарське, вул. Леніна, 98
Донецька область м Торез Вулиця Енгельса 126Донецька область м Шахтарськ Вулиця Дзержинського 13Донецька область м Ясинувата Вулиця Заводська 92Донецька область Олександрівський р-н Олександрівська селищна рада смт Олександрі Вулиця Радянської Конституції 21Донецька область Амвросіївський р-н м Амвросіївк Вулиця Артема 8Донецька область Волноваський р-н м Волноваха Провулок Енергетичний 3Донецька область Володарський р-н Володарська селищна рада смт Володарськ Провулок Леніна 98
Адресные данные до использования Informatica Data Quality:
Адреса записаны в одну строчку Адрес записан в не полном формате
(отсутствуют области, районы, рады и т.п.)
Не произведено административно-территориальное деление адреса
Адресные данные после использования Informatica Data Quality:
Адреса приведены в единый формат Адрес записан в полном формате (области, районы, рады и т.п.) Отсутствующие данные были обогащены Добавлены типы населенных пунктов и типы улиц Произведено административно-территориальное
Профилирование результата
Быстрый анализа данных (профилирование)Создание правил проверки данныхОтслеживание обработки данных на каждом этапеОтчетность по качеству данныхКонсолидация мастер-данных в автоматизированном режиме
Ответст-венный за
данные
Informatica Identity Resolution (IIR)
Процесс идентификации может приводить к серьезным ошибкам и вариациям
Сведения могут содержать многоязычные данные
Используемые техники идентификации не находят дублей либо находят их слишком много
Используемые техники идентификации чересчур сложны и ресурсоемки
Очистка данных не позволяет полностью решить проблему
Примеры
Хундай, Хенде, Хендэ, Хендай, Хуиндай, Хёндай, Hunday, Hounday, Hyundai….
Алексей Ципинюк,
Ципинюк А.,
А. А. Ципинюк,
г-н Ципинюк Алексей Александрович,
Oleksii Tsipiniuk,
Alex Tsipinyuk…
Алексей, Алекс, Алеша, Алёша, Леха…
Informatica PowerCenter
Наглядность отображения процессов трансформации данных
Возможность проследить способ формирования каждого значения и влияния каждого из полей на результирующее значение
Informatica PowerCenter
Уменьшение нагрузки на систему-источник за счет проведения одновременной записи обработанных данных, в несколько таблиц-приемников
Параллелизация расчетов для увеличения производительности
Любые режимы работы процессов: по расписанию, по запросу, в реальном времени
Informatica PowerCenter
Онлайн-мониторинг выполнения процессов обработки данных
Остановка, перезапуск, восстановление процессов
Одновременное выполнение любого числа процессов
31
Преимуществаплатформы INFORMATICA
Мощная высокопроизводительная промышленная платформа масштаба предприятия для интеграции и обеспечения качества данных
Высокоэффективное решение любых задач обеспечения качества данных для любого типа проектов
Обработка любых типов данных из любых систем на любых языках
Скорость выполнения проекта 3-10 раз Выполнение проекта в срок Успешный опыт применения в крупнейших
мировых компаниях, а также в России и странах СНГ
Преимущества Informatica
33
Финансовые институты
Телекоммуникации
Машиностроение
Розничные услуги
Здравоохране-ние и фармацевтика
ТЭК
Государственные и публичные учреждения
Транспорт
Мировые компании выбирают Informatica
04073, г. Киев, ул. Марка Вовчка, 18А(+38) 044-390-09-11, 390-09-19
dep_itsm@pronet.uawww.pronet.ua
Спасибо за внимание!
Пожалуйста, задавайте вопросы
34
Recommended