Upload
alex-tsipiniuk
View
485
Download
1
Embed Size (px)
Citation preview
Хранилища данных на базе платформы Informatica
www.pronet.ua
О фирме ProNET
15 лет на ИТ-рынке Украины
Законченные проекты, отмеченные
наградами и дипломами
Партнерские отношения с вендорами
Сертифицированные специалисты
Индивидуальный подход к Заказчику
Гибкая ценовая политика
Автоматизированное управление
обработкой сервисных заявок
Как принимаются решения?
Base: 675 US and European business executives and managers
Source: BusinessWeek Research Services
Интуитивные решения
Всегда
75% случаев
50% случаев
25% случаев
Никогда
Количество неверных
решений принятых
менеджерами по причине
некорректной информации
Интуитивные решения принимаются >60% менеджеров в >50% случаев
Доступность информации для принятия важных решений
Почти достаточно (но не всегда)
Слишком много
41% 22%
38%
Мало 77%
Знаете ли ВЫ что?
Знаете ли Вы что около 70-80% затрат при построении аналитической системы идет на интеграцию и очистку данных?
Задачи бизнеса
Повысить эффективность, оптимизация затраты
Повышение конкурентоспособности
Улучшение качества обслуживания клиентов
Выполнение требований регуляторов
Прогнозирование, аналитика данных
Использование всех данных для принятия
правильных решенийДанные (информация) – один из самых ценных активов любой организации, если они (она) доступны,
корректны, своевременны, достаточны и не противоречивы.
Основные проекты для задач бизнеса
Улучшение принятия решений и выполнениетребований регулирующих органов
Улучшение бизнеса
Повышение эффективностии снижениезатрат
Улучшениеобслуживания клиентови операционнойэффективности
Аутсорсингнеосновныхфункций
Повышениеэффективностисети партнеров
Поддержка слияний и поглощений
Бизнес-задачи
Управленческая и регуляторная
отчетность
Внедрение новых
приложений
Information Lifecycle
Management
Хабсправочных
данных
Управление бизнес-
процессами и интеграция
по требованию
Интеграция B2B
Консолидация приложений
ИТ-инициативы
Хранилища данных
Миграцияданных
Архивация и управление
тестовыми средами
УправлениеНСИ
Синхронизацияданных
Обмен данными B2B
Консолидацияданных
ИТ-проекты
Зачем строить хранилище данных?
В финансовом секторе возможны выделить основные виды задач, для которых требуется построение хранилищ данных:
Формировании отчетности о деятельности организации для ТОП-менеджеров, инвесторов, контролирующих органов, владельцев и т.п.
Оперативный анализ данных об активности клиентов, поступающие через различные контакт-центры (Call-центр, веб-портал и т.п.)
Обеспечение данными системы по управлению рисками
Обеспечение аудита и прозрачности данных в банке
Хранилище данных
Миграция данных
Архивация данных и
управление средами
Управление НСИ
Синхро-низацияданных
Обмен данными
B2B
Консолидацияданных
Обработкакомплексных
событий
Подход Informatica
Приложения Данные партнеров
SWIFT NACHA HIPAA …
Данные вне компании ФайлыБазы данных
Что такое Хранилище Данных?
Что такое Хранилище Данных?
Хранилище данных (Data Warehouse) — предметно-ориентированная информационная база данных, специально разработанная и предназначенная для подготовки отчётов и бизнес-анализа с целью поддержки принятия решений в организации.
Представление данных в Хранилище Данных радикально отличается от представление в транзакционных системах
Хранилище данных не привносит новой информации и ограниченно данными операционных систем
Основные задачи ХД
Предоставление «правдивой» информации для принятия решений
Участие в процессе извлечения знаний «Данные->Информация -> Знания -> Полученные решения» (в соотв. с потребностями пользователя)
Доставка чистых консолидированных данных для отчетности и аналитики
Анализ данных из различных корпоративных систем
Формирование отчетности без понимания структур операционных систем
Доступность любых данных из любых систем для бизнес- пользователей
Минимальное влияние средств отчетности на системы-источники
Первый шаг – простая отчетность
Отчеты без агрегации
данных
Операционная система
Слабые возможности анализа данных, невозможность анализа консолидированных данных
Высокая стоимость и ресурсоемкость разработки, поддержки и сопровождения
Высокая нагрузка на операционные системы
Необходимость привлечения различных специалистов для разработки отчетов из разных систем
Несовпадение данных в отчетах
Рамки – Пользователь, сотрудники Департамента
Поддерживаемые приложения - Отчетность Гибкость – заранее определенный набор
данных ИТ-пользователи – программисты Бизнес-пользователи – небольшая группа
аналитиков
Следующий шаг – витрина данных
Операционная система
Витрина данных
Операционная система
Отдельная витрина для каждой бизнес-сущности
Различные варианты внедрений для разных витрин
Различные команды для разных систем-источников
Высокая стоимость внедрения
Рамки – задачи уровня Департаментов Бизнес-приложения - Отчетность Гибкость – Набор заранее предопределенных
данных ИТ-пользователи – ETL-разработчики, архитекторы Бизнес-пользователи – небольшой набор аналитиков
ХД – все данные организации в одном месте
Системы-источники
Операционная система
Операционная система
Операционная система
Оперативное хранилище
данных (ODS)
Оперативная отчетность
Центральное Хранилище
Данных
Анализ,отчеты
Отчеты
Витрины данных
Анализ, отчеты
Рамки проекта – Компания в целом Бизнес-приложения – Все типы,
включая BI, CRM, ERP, OLTP Гибкость – Независимость от типов
данных, СУБД, приложений Пользователи – Разработчики,
архитекторы, аналитики Бизнес-пользователи – Все
Преимущества ХД при построение отчетности
Корреляция информации из нескольких операционных систем
Постоянное наличие оперативных данных
Снижение нагрузки на операционные системы
Упрощение создания новых отчетов и модификации старых
Повышение качества данных, возможность очистки данных
Снижение трудоемкости разработки за счет бизнес-ориентированной структуры данных
Ускорение формирования отчетов за счет агрегации
Любой уровень детализации данных
Преимущества ХД при анализе данных
Корреляция информации из нескольких операционных систем
Постоянное наличие оперативных данных
Снижение нагрузки на операционные системы
Упрощение создания новых отчетов и модификации старых
Повышение качества данных, возможность очистки данных
Снижение трудоемкости разработки за счет бизнес-ориентированной структуры данных
Ускорение формирования отчетов за счет агрегации
Любой уровень детализации данных
Пример BI-решения
Analysis Services
Integration Services
Источникиданных
Загрузка данныхЗагрузка данных
Reporting Services
ПользовательКуб данныхХрани лище
Разработчик
отчетность
аналитика
СУБД
18
Платформа интеграции данных INFORMATICA?
Использование INFORMATICA PowerCenter
Системы,файлы
• Informatica PowerCenter обеспечивает начальную загрузку данных
• Informatica PowerCenter обеспечивает загрузку изменений и распространение мастер-
данных различными способами: пакетно, на основе сообщений, в реальном времени
• Informatica Data Quality очищает, стандартизирует, обогащает данные и ведет
мониторинг качества
• Identity Resolution (Identity Match Option) выявляет дубликаты и связывает сущности
Базы данных
Единый справочник клиентов
Подключение произвольных источников
СУБД
Источникданных
Lotus Notes
ORACLE E Business
SAP NetWeaver
SAS
MS SQL Server
MS Access
Книги Excel
MS SQL
MS SSAS
Oracle
Teradata
Sybase
Informix
DB2
Текстовые файлы
Технолог. стандарты
Неструктуриров. Данные
..более 100 разл. источников
ХД
Приклад.системы
Неструктурированные данные
Metadata Manager
Полная визуализация зависимостей
Обеспечение качества данных
Качество данных
1. Профилирование данных 2. Определение критериев качества данных
3. Проектирование и разработка и правил
качества
4. Внедрение сервисов качества данных
6. Мониторинг качества данных
5. Выявление исключений
2. Определение критериев качества данных
3. Проектирование и разработка и правил
качества
4. Внедрение сервисов качества данных
Разовые, периодические и онлайн-процессы по обеспечению качества данныхКлиенты, продукты и любые другие типы данныхКак отдельный проект или в составе любого интеграционного проектаЗначительные наработки правил для стран СНГ
Профилирование данных
• Определение параметров данных– Статистика по полям, форматам– Определение уникальности, полноты, дубликатов значений,
соответствия форматам и т.д.• Структурный и функциональный анализ
– Функциональные зависимости полей и записей– Расширенный анализ структур данных источников– Проверка целостности ссылочных данных
• Возможность просмотра результатов профилирования• Использование собственных функций для анализа данных
Приложения
Базы данных
Файлы
• Список проблем и недостатков исходных данных
• Анализ зависимостей
• Отчеты и заключения по качеству данных
• Метаданные• Данные
• Метаданные• Данные
Платформа Informatica
Informatica Data Quality
Обработка данных, требующих синтаксического разбора: Имена Адреса Телефоны Товарные номенклатуры Паспортные данные Налоговые номера Банковские реквизиты Любая другая информация
Стандартизация и проверка данных Сравнение и поиск дубликатов записей
вероятностными методами Мониторинг качества данных Визуальные средства Informatica Analyst
и Developer для создания процессов обеспечения и оценки качества данных
Sources
Runtime
DQ Dashboard
Business Applications
Designer
RealtimeSDK
IDQServer
Repository
Data Integration/ Quality Services
SAPSiebelOracle
InformaticaPowerCenter
Runtime
Informatica PowerCenter
Наглядность отображения процессов трансформации данных
Возможность проследить способ формирования каждого значения и влияния каждого из полей на результирующее значение
Informatica PowerCenter
Уменьшение нагрузки на систему-источник за счет проведения одновременной записи обработанных данных, в несколько таблиц-приемников
Параллелизация расчетов для увеличения производительности
Любые режимы работы процессов: по расписанию, по запросу, в реальном времени
Integration Service
Масштабируемость
Clie
ntAdministration Development Operations
Repository Service Repository
Provider Thread Consumer Thread
Параллелизация в памяти сервера Informatica PowerCenter
Partition Point
Transformation Threads
Увеличение производительности платформы PowerCenter путем распараллеливания процессов обработки данных различными методами
Динамическое и статическое распределение потоков на основе числа процессоров, серверов или особенностей источника данных
Эффективная работа с большими объемами данных
29
Почему платформа INFORMATICA?
INFORMATICA – лидер интеграции данных
Informatica – один из лидеров Квадранта Gartner в области интеграции данных
данных за 2011 год
Как один из наиболее общепризнанных поставщиков в области интеграции данных , Informatica продолжает увеличивать свое присутствие и сохранять позицию на рынке, отражающуюся в отчетах в большей степени, чем у других вендоров
Платформа предлагает некую федерацию данных, которая сводит интеграцию данных и качество в единую архитектуру, что является технологическим трендом
Заказчики Informatica используют единую платформу для решений большего количества задач, чем заказчики конкурентов.
Клиенты Informatica продолжают выражать высокую степень удовлетворения работой по таким параметрам как скорость внедрения, производительность, техническая поддержка, доступность обучения.
31
Компании стран СНГ выбирают Informatica
Преимущества INFORMATICA
Мощная высокопроизводительная промышленная платформа масштаба предприятия для интеграции и обеспечения качества данных
Высокоэффективное решение любых задач обеспечения качества данных для любого типа проектов – от локальных систем до глобальных хранилищ данных
Обработка любых типов данных из любых систем на любых языках
Визуальность, прозрачность, самодокументирование
Успешный опыт применения в крупнейших мировых компаниях, а также в России и странах СНГ, быстрый time-to-market проектов
Развитые наработки и наличие обученных специалистов и команд внедрения
04073, г. Киев, ул. Марка Вовчка, 18А(+38) 044-390-09-11, 390-09-19
Спасибо за внимание!
Пожалуйста, задавайте вопросы
33