Храним Большие Данные

Методы и технологии FUJITSU

1 Copyright 2012 FUJITSU

Огромные объемы хранимых данных При этом наблюдается постоянный

рост хранимых данных

Различные типы данных Структурированные Неструктурированные Частично структурированные

Множество источников данных Часто физически разнесенных на

большие расстояния

Высокая скорость генерации новых данных Часто данные генерируются

автоматически и непрерывно

Анализ и принятие решений необходимо производить в режиме реального времени

Добро пожаловать в мир Больших Данных

2

Новые типы источников данных

Copyright 2012 FUJITSU

Многообразие источников Транзакционные системы (ERP,

CRM) Логи IT-систем, письма Web данные, блоги, «click streams» Социальные сети Аудио, видео, фото Интеллектуальные сети Медицинские данные RFID метки (отслеживание

местонахождения товара) Геофизические данные / GPS Информация со спутников …

Непрерывный сбор новых данных Автоматически генерируемые

данные

3

Тенденции на рынке

Copyright 2012 FUJITSU Copyright 2012 FUJITSU

4

Резервное копирование и архивирование

Резервное копирование Архивирование Копирование информации Первичные данные

Используется для восстановления Используется для поиска и выдачи информации

Повышает уровень доступности, поскольку утраченные данные можно вернуть к определенной точке восстановления

Повышает эффективность работы, поскольку информация, которая не требуется для ежедневной деятельности, хранится отдельно от рабочих сред.

Обычно краткосрочные: Дни или недели

Обычно долгосрочные: Месяцы, года, десятилетия

Данные регулярно (ежедневно, еженедельно) перезаписываются

Данные сохраняются для последующего анализа или проверки на соответствие

Не пригодно для обеспечения соответствия

Пригодно для обеспечения соответствия требованиям законодательства (compliance)

Copyright 2012 FUJITSU

5

Архивирование — это не резервное копирование

Оперативные и архивные данные записываются на разных этапах жизненного цикла информации и хранятся раздельно

Архивирование не может полностью заменить мероприятия по защите данных Архивным данным тоже требуется защита Использование резервных копий в качестве архивных данных делает их

незащищенными Распределение корпоративной информации по этапам жизненного цикла

Этап 1. Динамические текущие данные в работе

Этап 2. Постоянные текущие данные в работе

Этап 3. Постоянные неактивные оперативные и полуоперативные данные

Этап 4. Постоянные неактивные неиспользуемые и заархивированные данные

10%

15%

70% +

<5%

Архивирование

Источник: Enterprise Strategy Group, Inc.

Copyright 2012 FUJITSU

6

Лавинообразный рост данных

2005 2006 2007 2008 2009 2010 2011 2012 2013 2014 2015

Рост данных 60%

Copyright 2012 FUJITSU

7

Жесткие диски – разрыв увеличивается

2005 2006 2007 2008 2009 2010 2011 2012 2013 2014 2015

Емкость жесткого диска

Рост данных 60%

2008 – первый диск 1.5 TB 2009 – первый диск 2 TB 2010 – первый диск 3 TB

2013 – первый диск 4 TB 2014 – первый диск 5 TB

Copyright 2012 FUJITSU

8

Дедупликация – технология, сокращающая разрыв

2005 2006 2007 2008 2009 2010 2011 2012 2013 2014 2015

Емкость диска

Рост данных 60%

Рост данных при дедупликации 1:3

Copyright 2012 FUJITSU

9

Лента возвращается

2005 2006 2007 2008 2009 2010 2011 2012 2013 2014 2015

Емкость диска

Рост данных 60%

Рост данных при дедупликации 1:3

Емкость лент LTO

2008 – LTO4 – 800 GB native 2010 – LTO5 – 1.5 TB

2012 – LTO6 – 3.2 TB 2014 – LTO7 – 6.4 TB

Copyright 2012 FUJITSU

10

Новая иерархия уровней хранения

Для эффективного хранения данные должны быть записаны на носителях соответствующего уровня хранения

Уровень Скорость

Емкость (носитель/

вся система) Цена (€)/GB

DRAM 200,000× 16 GB/4 TB 25

Flash Memory 200× 1 TB/4 TB 15

SAS Disk Drive 1× 1 TB/120 TB 1

NL-SAS Disk Drive 33% 3 TB/360 TB 0.2

Tape 1× 3 TB/1,500 TB 0.05

Copyright 2012 FUJITSU

11

Стратегия Fujitsu для хранения и защиты данных

Copyright 2010 FUJITSU

Copyright 2012 FUJITSU LIMITED

Продукты Fujitsu

System Size

High-end

Mid-range

Volume-range

Mainframe UNIX Servers Linux/Windows Servers

[MSP/XSP]

[Solaris]

[Linux/Windows]

GS21／ PRIMEFORCE

SPARC Enterprise

PRIMEQUEST

PRIMERGY

Storage

ETERNUS DX8000

ETERNUS DX60/DX80/DX90

ETERNUS DX400

Для эффективного решения любых задач Наиболее подходящее по цене, производительности и эффетивности

Широкий спектр серверов и систем хранения

12

13

Дисковые системы ETERNUS DX

Большая продуктовая линейка систем хранения От систем начального уровня по

привлекательной цене до массивов уровня предприятия с рекордными возможностями масштабирования

Действительно собственная разработка 40 лет успешной истории на Японском рынке No 1 на Японском рынке No 1 по качеству (Nikkei Magazine survey)

ETERNUS DX – наилучший выбор на рынке дисковых систем

13 Copyright 2012 FUJITSU

14

Преимущества: единая продуктовая линейка Действительно единая продуктовая линейка, а не

лоскутное одеяло от разных вендоров Единое ПО для управления. Действительно единое, а

не просто с одинаковым названием Возможность репликации между всеми моделями

А так ли это важно? Возможность апгрейда от системы начального уровня

до High-End позволяет эффективно сохранять начальные инвестиции

Единое управление для всех моделей : выучил одну – знаешь все

Единая продуктовая линейка – залог эффективности использования

14 Cop

15

Возможности для роста

15

Рост

ем

кост

и

Функциональность, Масштабируемость, Производительность

DX60 S2

DX80 S2

DX90 S2

DX400 S2 series

DX8000 S2* series High-End

Средний уровень

Начальный уровень

Единая продуктовая линейка позволяет системе расти вместе с ростом Вашего бизнеса ETERNUS DX – прекрасная масштабируемость в рамках одной модели ETERNUS DX – возможность апгрейда на более старшие модели Данные на дисках остаются, меняются только контроллеры

Макимальная защита инвестиций, быстрая миграция

Copyright 2012 FUJITSU

16

Единая продуктовая линейка существенно увеличивает гибкость любого решения

16

ETERNUS позволяет копировать данные между различными моделями Это позволяет организовать копирование нескольких маленьких системна одну большую

Основная площадка Резервная площадка

ETERNUS DX410 S2

ETERNUS DX440

ETERNUS DX8000

SAN SAN

ETERNUS DX90 S2

ETERNUS DX90 S2

WAN

Единая продуктовая линейка – непревзойденная гибкость для любого сценария использования

Copyright 2012 FUJITSU

17

Что делает ETERNUS DX S2 быстрее

Новые многоядерные процессоры Intel XEON

Большее количество кэша • до 96 ГБ

Новый внутренний интерфейс межсоединений 6GB SAS Back-End

• Внутренняя полоса пропускания увеличилась вдвое

Более быстрые интерфейсы подключения к серверам

• 10g Ethernet, 8g FC

17 Copyright 2012 FUJITSU

Расширение интерфейсов подключения

Поддержка любых изменений инфраструктуры

ETERNUS DX80 S2/DX90 S2

FC(4 ports)

ETERNUS DX80 S2/DX90 S2

FC(8 ports)

CM

CM: Controller Module CA: Channel Adapter I/F: Interface

ETERNUS DX80 S2/DX90 S2

FC(4 ports)+ iSCSI(4 ports)

CA

CM

CA

FC

CM CM

CA CA CA CA

FC

CM CM

iSCSI FC

CA CA CA CA

Возможность увеличения FC, FCoE, iSCSI, и SAS портов Переход от 2/4 к 4/8 ports просто добавлением CA

Можно смешивать различные типы интерфейсов

New!

Улучшено DX80 S2 DX90 S2

18 Copyright 2012 FUJITSU

19

Простые ответы на сложные вопросы

Простые решения ETERNUS CS High End —

радикально упрощает защиту данных в ЦОД

ETERNUS CS800 — полностью оптимизированное решение для резервного копирования на диск

Сложные вопросы Как упростить разрастающуюся

инфраструктуру и управление ей? Как консолидировать системы

резервного копирования данных? Как защитить резервные копии и

архивы от катастроф? Как использовать единую

инфраструктуру как для резервного копирования, так и архивирования?

Как увеличить эффективность локального резервного копирования данных?

Как снизить стоимость резервного копирования на диск?

Как интегрировать локальное резервное копирование в ЦОД?

Copyright 2012 FUJITSU

20

ETERNUS CS800

Copyright 2010 FUJITSU

21

ETERNUS CS800 — ключевые характеристики

ETERNUS CS800 — устройство защиты данных, оптимизирующее резервное копирование данных на дисковое хранилище

Простое резервное копирование на диск благодаря функциональности NAS

Сокращение объема хранилища до 95% благодаря передовой технологии дедупликации

Защита от сбоев для резервных копий встроенная функция репликации автоматически

копирует резервные копии на удаленные хранилища

Интеграция удаленных хранилищ дедупликация до 20 раз уменьшает объем

данных, копируемых на удаленные хранилища локальные резервные копии сохраняются на

центральных системах, что позволяет экономить на поддержке сети

ETERNUS CS800

Copyright 2012 FUJITSU

Резервное копирование на диск

(NAS / VTL)

Дедупликация

Репликация

22

Защита от аварийных ситуаций с помощью ETERNUS CS800 Незначительные усилия Простое управление резервными

копиями Устройство, выполняющее

дедупликацию и репликацию для резервирования данных

Двунаправленная репликация для двусторонней защиты данных

Автоматическое шифрование при репликации

Снижение зависимости от сменных носителей данных

Аварийное восстановление с двух сетевых узлов

CS800 CS800

ETERNUS CS800 сохраняет данные локально для более быстрого планового восстановления и удаленно — для восстановления после

сбоев Copyright 2012 FUJITSU

23

ETERNUS CS800 для распределенных вычислительных центров Поддержка резервного копирования и

аварийного восстановления для разных местоположений

Дедупликация данных в филиалах компании

Репликация аварийного восстановления в центральном узле

Дедупликация позволяет в 20 и более раз сузить типовую полосу пропускания при передаче данных в глобальной сети

Данные для аварийного восстановления и резервные копии автоматически шифруются и передаются в удаленные хранилища

Сокращается объем носителей данных для инфраструктур, расположенных рядом друг с другом

Аварийное восстановление для всех распределенных узлов проводится в полностью автоматическом режиме

Copyright 2012 FUJITSU

24

Хранение данных на ленточных носителях

Доступный способ долговременного хранения данных Резервные копии, переданные в устройство ETERNUS CS800,

передаются в ленточное хранилище Совместимость с приложениями для резервного копирования Сохранение на ленту для прикладного программного

интерфейса Symantec openStorage (OST) NetBackup

Сохранение на ленту для VTL NetBackup, NetWorker и др.

Приложение резервного копирования

OST или VTL

Ленточная библиотека

Привод Привод

Том Том Том Том

25

Представляем ETERNUS CS High-End

Радикальное упрощение защиты данных в ЦОД

Copyright 2012 FUJITSU

26

Упрощенная схема среды для защиты данных

ЦОД

Филиалы

Серверы ПО резервного копирования/

архивирования

Системы резервного копирования/

архивирования

Мэйнфреймы Ленточная библиотека

Тип X

Серверы UNIX Ленточная

библиотека Тип Y

Серверы стандартной архитектуры

Дисковая система

ПО Х

ПО Y

ПО Z

Сложная инфраструктура, высокая стоимость, сложность обслуживания.

Copyright 2012 FUJITSU

27

Филиалы

ЦОД

Мэйнфреймы

Серверы UNIX

Серверы стандартно

й архитектур

ы

Узкие места в защите данных

Серверы ПО резервного копирования/

архивирования

Системы резервного копирования/

архивирования

Ленточная библиотека

Тип X

Ленточная библиотека

Тип Y

Дисковая система

ПО Х

ПО Y

ПО Z

Как консолидировать системы резервного копирования данных?

Как защитить резервные копии и архивы от катастроф?

Как использовать единую инфраструктуру как для резервного копирования, так И архивирования?

Как упростить разрастающуюся инфраструктуру и управление ей?

Как увеличить эффективность локального резервного копирования

данных?

Как снизить стоимость резервного копирования на диск?

Как интегрировать локальное резервное копирование в ЦОД?

Copyright 2012 FUJITSU

28

Как применение ETERNUS CS повышает надежность защиты данных

Распределенная архитектура ETRENUS CS позволяет разместить хранилища в 2 разных местоположениях Клиентам доступна функция аварийного восстановления для защиты данных Гибкая работа с ленточными библиотеками, расположенными в различных

подразделениях Поддержка расстояний до 10 000 км

Площадка B Площадка A

Copyright 2012 FUJITSU

29

Пример: Lufthansa Systems

«С помощью решения ETERNUS CS мы не только экономим, но и можем обращаться к важным данным еще быстрее, благодаря распараллеливанию функций для ускорения процессов резервного копирования».

Курт Борщел (Curt Borschel), Руководитель подразделения управления

корпоративными системами, Lufthansa Systems

Задачи Консолидация среды защиты данных для

гетерогенных серверных систем Потребность в решении аварийного

восстановления

Решение ETERNUS CS High End на двух площадках Резервное ленточное хранилище STK SL8500 ПО для резервного копирования Symantec

NetBackup

Преимущества Отказоустойчивое решение для защиты данных Быстрая и гибкая адаптация под потребности

пользователя Защита данных на основе установленных правил, с

использованием недорогого ленточного хранилища Сокращение расходов на инфраструктуру Эксплуатация уже имеющихся ленточных

библиотек

Copyright 2012 FUJITSU

30

ETERNUS CS — масштабируемая распределенная архитектура

22 процессорных узла

16 дисковых RAID-массивов 3 млн томов / 2 млрд файлов

10 целевых систем (например, для

дедупликации, 160 ТБ/система, всего до

1,6 ПБ)

10 целевых систем например, для дедупликации, используется 160 ТБ на систему, всего до 1,6 ПБ)

например, ленточные библиотеки, 1 экзабайт каждая = 10 эксабайт

Copyright 2012 FUJITSU

31

Резервное копирование и архивирование выполняются с помощью одной инфраструктуры Консолидация и централизация Упрощение администрирования Экономия на покупке оборудования Поддержка всех приложений для

архивирования Автоматическое управление

разнотипными носителями данных

Автоматизация Для резервного копирования

архивных данных Для реорганизации ленточных

хранилищ Для изменения типа носителей

данных при долговременном хранении

Резервное копирование и архивирование выполняются одним и тем же устройством То же самое аппаратное обеспечение,

но с логическим разделением Различные уровни обслуживания

Резервное копирование

Мэйнфреймы Ленточная библиотека

(Типы X, Y, Z)

Серверы UNIX

Дисковая система

Серверы стандартной архитектуры

Дедуплицированный диск

Архивирование

Copyright 2012 FUJITSU

32