Иван Тимофев, HP. Архивация баз данных и миграция устаревших приложений cиспользованием Structured Data Manager

© Copyright 2013 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

Архивация баз данных и миграция устаревших приложенийc использованием продукта

Structured Data Manager

Тимофеев Иван

HP Big Data


2

Роль базы данных

• БД – хранилище структурированных данных дляприложений

• Уровень БД нужен для серверов приложений исерверов пакетной обработки

• БД может иметь копии для резервноговосстановления

• БД может часто клонироваться для тестирования иразработки

– Обычно 3-5 копий, иногда до 25

– Все эти копии требуют места на диске

HA Copy

data

Test/Dev Copies

Production

Batch Processes


3

Проблемы, связанные с ростом БД

• Сложность поддержки приложения

– Ухудшение производительности при росте БД

– Увеличение окна РК и восстановления

– Длительные простои при апгрейде

• Увеличение стоимости владения

– Необходимы сложные и дорогие СХД

– Необходимость поддержки и сохранения инфраструктурыустаревших приложений

• Юридические требования к хранению информации

– Финансовые данные

– Длительный срок хранения

Dat

a G

row

thО

бщ

ий

об

ъе

мд

анн

ых

Время


4

С другой стороны – стадии жизни данных

Высокая

Рекламации

Внутренний аудит

Изменен заказ

Частичная отгрузка

Полная отгрузка

Заказ на продажу закрыт

Срок использования Срок хранения

Тренды продаж

Низкая

Частота

доступа

Транзакции Отчетность Юридические требования

Создан заказ

Уничтожение

e-discovery событие

Конец стадиитранзакций

Частичная оплата

Время


5

BKUPTRAIN DEV2

UATDEV1TEST

2 34

Year

Активные и неактивные данные

• Доля активных данных существенно ниже

• Темп роста активных данных ниже

1Основная

БД

Dat

a G

row

thО

бщ

ий

об

ъем

дан

ны

х

Используемые данные

Время

Производительность

Стабильность


6

PRODUCTION

Приложение

ARCHIVEPRODUCTION


Backup

Ежемесячно

CompressedActive

Backup Backup

Недельный полныйНедельный полный

Месячныйполный

ВосстановлениеВосстановление

Восстановление

ПОСЛЕДО

Оптимизация бэкапа (пример)

HP and P&G Confidential


7

Основные возможности SDM

• HP SDM предоставляет:

– Архивирование в БД или в файл XML,CSV

– Прозрачный доступ к архивным данным

– Централизованное управление БД разных приложений

– WEB-интерфейс управления

– Миграция устаревших приложений

– Удобный конструктор для настройки правил

– Индексирование IDOL для поиска

• Поддержка

– Поддержка Oracle, MS SQL, Sybase, DB2

– Общий JDBC коннектор для других БД

http://images.google.co.uk/imgres?imgurl=http://www.webnack.ca/images/Microsoft_SQL_Server_Logo12.png&imgrefurl=http://www.webnack.ca/developers.html&h=179&w=640&sz=55&hl=en&start=1&um=1&tbnid=z0Ot1WFZvOO-LM:&tbnh=38&tbnw=137&prev=/images?q=sql+server+logo&svnum=10&um=1&hl=en

http://images.google.co.uk/imgres?imgurl=http://www.webnack.ca/images/Microsoft_SQL_Server_Logo12.png&imgrefurl=http://www.webnack.ca/developers.html&h=179&w=640&sz=55&hl=en&start=1&um=1&tbnid=z0Ot1WFZvOO-LM:&tbnh=38&tbnw=137&prev=/images?q=sql+server+logo&svnum=10&um=1&hl=en

http://www.oracle.com/index.html

http://www.oracle.com/index.html

http://www.google.co.uk/imgres?imgurl=http://dertompson.com/wp-content/uploads/2007/08/java-logo-thumb.png&imgrefurl=http://dertompson.com/2008/01/03/bigdecimal-and-jdbc-since-java-50/&usg=__IKgu47R1TtnAiamiOwv4IFcQMfg=&h=150&w=94&sz=20&hl=en&start=3&zoom=1&itbs=1&tbnid=IgwbDdJXw-kpvM:&tbnh=96&tbnw=60&prev=/images?q=JDBC+logo&hl=en&gbv=2&tbs=isch:1

http://www.google.co.uk/imgres?imgurl=http://dertompson.com/wp-content/uploads/2007/08/java-logo-thumb.png&imgrefurl=http://dertompson.com/2008/01/03/bigdecimal-and-jdbc-since-java-50/&usg=__IKgu47R1TtnAiamiOwv4IFcQMfg=&h=150&w=94&sz=20&hl=en&start=3&zoom=1&itbs=1&tbnid=IgwbDdJXw-kpvM:&tbnh=96&tbnw=60&prev=/images?q=JDBC+logo&hl=en&gbv=2&tbs=isch:1

http://images.google.co.uk/imgres?imgurl=http://www.pegasoft.cz/img_novinky/new_velka/windows.logo.jpg&imgrefurl=http://www.pegasoft.cz/eng/firmy/62/&h=320&w=420&sz=13&hl=en&start=14&um=1&tbnid=nQCFn3mzD5hvtM:&tbnh=95&tbnw=125&prev=/images?q=windows+logo&svnum=10&um=1&hl=en&sa=X

http://images.google.co.uk/imgres?imgurl=http://www.pegasoft.cz/img_novinky/new_velka/windows.logo.jpg&imgrefurl=http://www.pegasoft.cz/eng/firmy/62/&h=320&w=420&sz=13&hl=en&start=14&um=1&tbnid=nQCFn3mzD5hvtM:&tbnh=95&tbnw=125&prev=/images?q=windows+logo&svnum=10&um=1&hl=en&sa=X


8

Возможные варианты архивирования

1. DB2DB

• Перенос из активной БД в архивную

• Сохранение доступа приложения к обеим базам

2. DB2F

• Перенос из активной БД в файлы XML, CSV

• Обычно используется для длительного хранениянеиспользуемых данных

• Используется для отказа от устаревших приложений(Application Retirement)

3. Много-уровневые решения

DB DB

DB XML

DB DBDB XML

DB DBXML DBLoad

DB DB

XMLCopy


9

Стратегия управления архивными данными

Production

Неактивныеданные

Активныеданные

Транзакц

ии

Отчетн

ость

Хранение

12 месяцев

12-36 месяцев

36-120 месяцев

Пример


10

Транзакц

ии

Отчетн

ость

Хранение

Использование соответствующего оборудования

Production

Малобюджетные решения

Hi-endСервера и СХД

Средний класс




11

Low-Tier Archive / Worm

Com

plian

ceTran

sactiveR

epo

rting

Сохранение доступа ко всем данным

ProductionHighest class

Servers and Storage

Mid-Tier class


Обычный доступ

Расширенный доступ

Отчетность / BI




12

Архитектура для базовых приложений

• Данные помещаются в архивную БД

• Работа с активной частью продолжается как

и раньше

• Через дополнительный ярлык приложения

мы получаем доступ и к архивным данным

и к рабочей базе.


13

Архитектура для Oracle EBS

• Данные помещаются в архивную БД

• На уровне приложения без создания

дополнительных ярлыков выбирается

вариант доступа – только к активной части

или к обеим.


14

HA Copy

Test/Dev Copies

Production

Data cloned

Эффект от не архивирования


15

HA Copy

Test/Dev Copies

Production

Data cloned

Эффект от архивирования

T2/3 Storage


16

Визуальный редактор правил

Наглядный графический интерфейс для

моделирования правил архивирования,

правил work flow

Преднастроенные правила для Oracle E-

Business Suite и PeopleSoft

Автоматическое создание архивной

документации

Автоматическое создание необходимых

действий по работе с БД


18

Talkline deployed HP Database Archiving software to ensure appropriate performance levels as their customer base grew while legislation required them to retain data for longer. Additionally a major version upgrade was pending - the DBA group estimates they saved 50% of unavoidable downtime during the upgrade.

Tektronix (NYSE: TEK) deployed HP Database Archiving across multiple Oracle E-Business database. Implemented archiving to improve performance and meet compliance across 27 countries. Using XML archiving for compliance and sunsetting.

Agilent (NYSE: A) deployed HP Database Archiving within a year of initial rollout of the applications due to excessive growth rate and test/dev footprint. Agilent has experienced performance improvements, stability and storage saving in their worldwide rollout.

Customer Examples


19

Насколько решение масштабируется?

IT отдел HP архивирует БД с помощью

HP SDMс ноября 2009

• Время запроса уменьшено на 89%

• Объем хранилища уменьшен на 48%

• Окно полного бэкапа уменьшено на 37%

• HPIT отказался от 50% приложений с БД

• Апгрейды приложений теперь от 3 до 5 раз быстрее

К июлю 2014 - 122 БД, 836 db-db заданий, 57млрд строк заархивировано


20

Смысловой поиск– интеграция с IDOLПоиск в приложениях, обычный способ

• Структурированный запрос

• Поиск в каждой БД с использованием одного приложения


21

Активные данные Архив

• Запрос всех БД

• Активные и архивные данныеВовлечение смыслового иконцептуального поиска дляданных

Смысловой поиск– интеграция с IDOLПоиск в приложениях, новый и более правильный способ


Спасибо за внимание!

Technology

Иван Тимофев, HP. Архивация баз данных и миграция устаревших приложений cиспользованием Structured Data Manager