Embed Size (px)
Citation preview
В ПОИСКЕ ИДЕАЛЬНОГО
СРЕДСТВА РЕЗЕРВНОГО
КОПИРОВАНИЯ ДЛЯ
ВИРТУАЛЬНЫХ СРЕД.
Верчѐнов Сергей
ИНЖЕНЕР КОМПАНИИ КРОК
Огромные темпы роста объемов информации
Компании желают защитить больше данных
Увеличение времени, затрачиваемого на резервное копирование
Трудности при резервном копировании, связанные с ненадежностью и низкой скоростью ленточных накопителей
Рост объемов данных, расположенных в удаленных офисах
Специфические проблемы при резервном копировании, создаваемые виртуальными машинами
3
ПРОБЛЕМЫ В ОБЛАСТИ ЗАЩИТЫ ДАННЫХ С
ПРИХОДОМ ВИРТУАЛИЗАЦИИ
Virtual
Server A
Virtual
Server B
Virtual
Server C
Традиционный подход
Физическая среда: Общее использование
ресурсов серверов зачастую весьма мало
Использование виртуализации
Виртуальная среда: Использование
компонент системы затрудняет решение
«дежурных» задач, в т.ч. и бэкапа
Активно используется порядка
20% ресурсов
100%
80
%
40%
0%
60%
20%У
ти
ли
за
ци
я C
PU
100%
80
%
40%
0%
60%
20%
Ути
ли
за
ци
я C
PU
Server A Server B Server C
ESXServer
Hardware
Shared Physical Resources
ПРОБЛЕМА 1. СУЩЕСТВЕННАЯ НЕХВАТКА
«СВОБОДНЫХ» РЕСУРСОВ ДЛЯ БЭКАПА
Активно используется порядка
80% ресурсов
Resource
Pool
VMware Virtualization Layer
x86 Architecture
~200% изменяемых данных еженедельно (на 1 виртуальную машину)
Ленточные накопители
• Традиционный подход к бэкапу не эффективен
• Копируемые данные при еженедельном полном бэкапе и ежедневных
инкрементальных достигают 200% от первоначального объема за
неделю
• Не решаются задачи по устранению «узких мест»: нагрузка на сеть,
сервер бэкапа или целевое устройство хранения
OS OS
Сервер резервного копирования
~200% изменяемых данных еженедельно (на 1 виртуальную машину)
ПРОБЛЕМА 2. РОСТ ОБЪЕМОВ КОПИРУЕМЫХ
ДАННЫХ
Данные разбиваются на атомы
Передается только один экземпляр атома
Хранилище копий
…до 300 раз снижаются объем ежедневных копий
На уровне источника—Сократить объем данных до передачи по сети
На уровне хранилища—Координированная дедупликация между
сайтами, серверами и во времени
Гранулированная—Маленькие блоки переменной длинные гарантируют
наиболее эффективный результат
O H
O
H H
O
H H
O
H H
O
H H
O
H H
ДЕДУПЛИКАЦИЯ – ОЧЕВИДНОЕ РЕШЕНИЕ
Сайт 1
Точная копия
Уже все скопировано, сохраняется только ID (20 байтный указатель)
ЦОД
A B C D
Avamar Server (резервные копии)
Копируются только уникальные блоки
E
E
AB
CD
Оригинал
Сайт 2
Измененная
Идентификация нового блока данных и его сохранение
ДЕДУПЛИКАЦИЯ ПРИ ПЕРВОМ КОПИРОВАНИИ
EMC AVAMAR: ДЕДУПЛИКАЦИЯ ОТ EMC
• Дедупликаиция на источнике• Существенное уменьшение
копируемых данных виртуальных
машин
• До 10х ускоряется резервное
копирование
• RAIN-архитектура (Redundant
Array of Independent Nodes)
• Высокая доступность и
отказоустойчивость
между узлами
Avamar Software Avamar Virtual Edition for VMware
Avamar
VM
Resource
Pool
VMware Virtualization Layer
x86 Architecture
Avamar
VM
Avamar
VM
Avamar Data Store
Avamar:~2% в неделю
Традиционный подход к бэкапу: ~200% в неделю
Resource
Pool
VMware Virtualization Layer
x86 Architecture
Resource
Pool
VMware Virtualization Layer
x86 Architecture
EMC AVAMAR: РАСШИРЕННЫЕ ВОЗМОЖНОСТИ
• Снижение нагрузки при резервном копировании
• Уменьшение времени резервного копирования
• Сокращение нагрузки на серверы
• Сокращение нагрузки на сеть
• Снижение стоимости резервного копирования
• Копия занимает значительно меньше места
• Меньше требования к пространству хранилища
• Централизованное удаленное копирование
• Использование низкоскоростных каналов
передачи данных
• Централизация средств резервного копирования
для удаленных офисов
• На удаленных площадках больше не требуется
инфраструктура
и персонал для резервного копирования
• Агент Avamar находится на каждой из
виртуальных машин
• Данные дедуплицируются на каждой
виртуальной машине (так, как будто
бы это физические сервера)
• Передается мнимальный объем
данных
• Уменьшается использование
ресурсов сервера и ускоряет бэкап
• Обеспечивает пофайловое
восстановление для многих ОС:
Windows, Linux, Solaris
Resource
Pool
VMware Virtualization Layer
x86 Architecture
EMC AVAMAR: БЭКАП ГОСТЕВЫХ ОС
ВИРТУАЛЬНЫХ МАШИН
• Агент Avamar находится на
прокси-сервере
• Deduplicates within and
across VMDK files
• Поддерживает как
пофайловое (только
Windows) восстановление,
так и ВМ целикром
• Репликация данных
обеспечивает
восстановление после
сбоев
PhysicalServer
Virtual Machines
SANStorage
vStorage API proxy server with Avamar agent
Avamarserver
CentralizedData Mover
= Avamar Software Agent
EMC AVAMAR: ИСПОЛЬЗОВАНИЕ VCB И
КОПИРОВАНИЕ ФАЙЛОВ ВИРТУЛЬНЫХ
МАШИН
• Использует существующую
инфраструктуру
• iSCSI, SAN или DAS
• Репликация снимает необходимость
транспортировки лент
• Также возможна репликация между
virtual Avamar и физическими
серверами Avamar
• Быстрое внедрение
• Поддерживает VMotion
• До 2х Avamar Virtual Edition на ESX
server
Avamar
VM
Resource
Pool
VMware Virtualization Layer
x86 Architecture
Avamar
VM
Avamar
VM
EMC AVAMAR VIRTUAL EDITION: ПРЕИМУЩЕСТВА
EMC AVAMAR VE: ПРИМЕР РЕШЕНИЯAvamar Virtual Edition
Distributed Remote Facility with VMware
Resource
Pool
ESX Server
Hardware
Avamar
VM
= Avamar Software Agent
Avamar Virtual Edition
Resource
Pool
ESX Server
Hardware
Avamar
VM
Репликация данныхAvamar Data Store
VMware Data Center с резервным копированием гостевого уровня
Удаленные офисы без VMwareУдаленные офисы с VMware
VMware Data Center с резервированием уровня VCB
Avamar-агент передает данные на Avamar Virtual Edition for VMware; данные реплицируются в data center
Avamar-агент передает данные на Avamar Single Node сервер; данные реплицируются в Data Center или Avamar-агент резервирует в Data Center по WAN
WAN
LAN/SAN SAN
VCB Proxy Server
шифрование шифрование
шифрование
Hardware
ESX Server
DiskNICMemoryCPU
Avamar VM
Operating System
Application
Operating System
x86 Architecture
VMware Virtualization Layer
App
OS
App
OS
App
OS
App
OS
App
OS
App
OS
App
OS
App
OS
App
OS
App
OS
App
OS
App
OS
DiskNICMemoryCPU
x86 Architecture
VMware Virtualization Layer
App
OS
App
OS
App
OS
App
OS
App
OS
App
OS
App
OS
App
OS
App
OS
App
OS
App
OS
App
OS
DiskNICMemoryCPU
x86 Architecture
VMware Virtualization Layer
App
OS
App
OS
App
OS
App
OS
App
OS
App
OS
App
OS
App
OS
App
OS
App
OS
App
OS
App
OS
DiskNICMemoryCPU
x86 Architecture
VMware Virtualization Layer
App
OS
App
OS
App
OS
App
OS
App
OS
App
OS
App
OS
App
OS
App
OS
App
OS
App
OS
App
OS
DiskNICMemoryCPU
x86 Architecture
VMware Virtualization Layer
App
OS
App
OS
App
OS
App
OS
App
OS
App
OS
App
OS
App
OS
App
OS
App
OS
App
OS
App
OS
DiskNICMemoryCPU
x86 Architecture
VMware Virtualization Layer
App
OS
App
OS
App
OS
App
OS
App
OS
App
OS
App
OS
App
OS
App
OS
App
OS
App
OS
App
OS
DiskNICMemoryCPU
EMC AVAMAR VE: ОБЩЕЕ РЕШЕНИЕ
ПОЧЕМУ EMC NETWORKER?• Система резервного копирования
масштаба организации
• Масштабируемость
• Надежность
• Высокая производительность
• Единая консоль управления
• Открытость
• Exchange, Oracle, SAP, SQL Server,
EMC Documentum, DB2, Lotus Notes,
Sybase, Microsoft Applications и т.д.
• UNIX, Windows, Linux, VMware
• SAN, NAS, CAS, DAS
• Простота управления
• Поддержка «визардов»
• Поддержка копирования на диск и
мгновенных копий
Avamar NetWorker
• Дедупликация через интеграцию
NetWorker и Avamar — в источнике и
хранилище
• Один клиент NetWorker—двойные
возможности
• Управление в NetWorker Management
Console
• Единый клиент
• Единые расписания и политики
• Наблюдение и отчетность
• Хранение полного индекса
(метаинформации)
• Восстановление через интерфейс
NetWorker (GUI и CLI)Server and Storage
Disk, VTL, Tape
NetWorker
ServerManagement
Console
StorageNode
Clients
ДЕДУПЛИКАЦИЯ
В EMC NETWORKER
• Полная интеграция с VMWare
Virtual Center
• Auto-discovery серверов
VMWare и виртуальных машин в
окружении
• Отслеживание изменений,
интеграция с VMotion и Dynamic
Resource Scheduling (DRS)
• Поддержка всех методов
резервного копирования
VMWare: Support for Guest, VCB
and Console backup options
ИСПОЛЬЗОВАНИЕ ДЛЯ БЭКАПА
ВИРТУАЛЬНЫХ СРЕД
• Непосредственное копирование каждой виртуальной машины
– Аналогично бэкапу физического хоста
– NetWorker клиенты и модули устанавливаются отдельно на каждой виртуальной машине
– Копируемые данные передаются по LAN серверу РК или storage node
• Простая интеграция, привычный процесс бэкапа.
• Как традиционный, так и дедуплицированный бэкап
• Использование модулей увеличивает эффективность бэкапа приложений
• Эффективная дедупликация данных на файловом уровне
EMC NETWORKER – VMWARE GUEST
BACKUP
PhysicalServer
NetWorker
Storage Node
Disk, VTL, Tape
• Централизованный бэкап с
использованием прокси-сервера для
VMware Infrastructure
• Предусматривает использование
NetWorker Interoperability Module
для VMware
• Уменьшение нагрузки на ESX сервер
во время бэкапа
• Уменьшение нагрузки на LAN за счет
передачи данных по SAN
• Существенное уменьшение затрат на
лицензии
• Как традиционный, так и бэкап с
дедупликацией
EMC NETWORKER – VMWARE
CONSOLIDATED BACKUP
• NetWorker клиентское
приложение устанавливается на
VMware console OS (Linux)
• Позволяет осуществлять бэкап
на уровне образов виртуальных
машин (.vmdk)
• Данные передаются по LAN
серверу РК или storage node
• Не предусмотрен бэкап по
SAN или через proxy
• Не предусмотрен бэкап на
файловом уровне
• Как традиционный, так и бэкап с
использованием дедупликации
EMC NETWORKER – VMWARE CONSOLE
BACKUP
NetWorker
Storage Node
Disk, VTL, Tape
PhysicalServer
EMC BACKUP ADVISOR – ЕДИНАЯ ТОЧКА
АНАЛИЗА СРЕДЫ РЕЗЕРВНОГО КОПИРОВАНИЯ
Приложения
Клиенты
Системы хранения
(source/target)
SAN и LAN
Приложения резервного копирования
BACKUP ADVISOR
+ Virtualization option
EMC BACKUP ADVISOR: РЕШАЕМЫЕ ЗАДАЧИ
МониторингОтслеживание ошибок и предупреждений до того, как они
приведут к необратимым последствиям
ТраблшутингАнализ компонент инфраструктуры бэкапа
и поиск сбоев
ОптимизацияОпределение «узких мест» и
увеличение производительности бэкапа
Планирование объемовРасчеты темпов использования пространства,
используемого на дисках, VTL, ленточных носителях
ОтчѐтыБолее 400 стандартных отчѐтов, SLA, гибкая настройка
Дает понимание:
Что произошло?
Что происходит?
Что произойдет?
И, пожалуй, самое главное – почему?
EMC DATA PROTECTION ADVISOR:
VIRTUALIZATION OPTIONПозволяет повысить наглядность и
управляемость РК виртуальной
среды за счет: Упрощения и централизации управления
резервным копированием виртуальных машин
– Позволяет отследить резервное копирование каждого компонента виртуальной среды
– Существенно упростить управление бэкапамипри «нетривиальных» решениях в виртуальных средах
– Мониторинг, устранение проблем, оптимизация и построение отчетов, так или иначе затрагивающих процесс резервного копирования в вашей среде
Осуществления сбора данных с vCenter и ESX серверов
Resource
Pool
VMware
Hardware
NetWorker
7.4.1
NetWorker
7.4.1
NetWorker
7.4.1
Resource
Pool
VMware
Hardware
NetWorker
7.4.1
NetWorker
7.4.1
NetWorker
7.4.1
Resource
Pool
VMware
Hardware
NetWorker
7.4.1
NetWorker
7.4.1
NetWorker
7.4.1
Целостное решение для бэкап/восстановления с использованием дедупликации
Дедупликация на источнике/таргете при любом методе бэкапа (Guest, VCB, or Service Console)
Fast, daily full backups
Простота процедур восстановления
Решение высокой доступности(RAIN)
Avamar Virtual Edition for VMware
Решение enterprise уровня, бэкап большого количества приложений, БД
Интеграция с Avamar и другими технологиями защиты данных от EMC
NetWorkerAvamar
Мониторинг в среде копирования данных
Поиск узких мест и неполадок при бэкапе
Отслеживание и анализ занимаемого пространства на всех носителях
Гибкая и настраиваемая система отчѐтности
Data
Protection
Advisor
СВОД РЕШЕНИЙ EMC ДЛЯ РЕЗЕРВНОГО
КОПИРОВАНИЯ VMWARE
ЕЩЕ ОДНО НАПРАВЛЕНИЕ РАЗВИТИЯ:
ДИСКОВЫЕ МАССИВЫ
• Недавний опрос Enterprise Strategy Group (ESG) показал, что
большинство пользователей планируют замену ленточных
библиотек, используемых для архивирования и резервного
копирования, на дисковые массивы
• Например, 18% респондентов уже заменили некоторые из
ленточных библиотек,
а 58% собираются
сделать это.
Из них 80% планируют
произвести замену в
течение ближайших
двух лет:
1000 к 1
1990
2 к 1
Сегодня
Стоимость ГБ: Диск vs Лента
$950
$700
$200
$1$1$2$2$2$2$3$3$3$6$6
$4 000
$2 000
$110 $50$3$4$10$20
$0
$500
$1 000
$1 500
$2 000
$2 500
$3 000
$3 500
$4 000
$4 500
1992 1993 1994 1995 1996 1997 1998 1999 2000 2001 2002
YEARS: FROM 1992 TO 2002
DO
LL
AR
S P
ER
GB
Лента ATA Диск
ЭКОНОМИКА ХРАНЕНИЯ РЕЗЕРВНЫХ КОПИЙ
EMC DATA DOMAIN – ПРОСТО И ОТКРЫТО
Репликация
CIFS, NFS,
NDMP, OpenStorage
Ethernet
VTL over FC
Backup and Archive
Applications
10 Gb and 1 Gb Ethernet
4 Gb Fibre Channel
RAID-6
5.4 до 71 TB используемая емкость
Data Domain DD880 Appliance
• Бесшовная инсталляция в существующую IT-инфраструктуру
• Поддержка большинства приложений резервного копирования
и архивирования
DATA DOMAIN И ОБЫЧНЫЙ B2D
12 TB raw space
160 TB usable space
120 TB raw space
80 TB usable space
- Энергопотребление
- Охлаждение
- Место в стойках
- Поддержка
- Управление
- Вероятность сбоя
Продуктивные данные 5 TB, храним 14 копий1 неделя Fulls и Incrementals = 5.5 TB
8 недельных + 6 месячных копий = 74 TB
• Автоматическая репликация резервных копий
• Передаются только уникальные блоки данных
• Все резервные копии доступны на двух сайтах
Копия Реплика200 GB
write
200 GB
200 GB
write
ПРОСТАЯ БЫСТРАЯ РЕПЛИКАЦИЯ
Backup
Server A
10 TB
Backup
Server B
10 TB
Site A Site B
10 TB10 TB
10 TB10 TB
10 TB
10 TB10 TB
10 TB10 TB
10 TB
ШИРОКАЯ ПРОДУКТОВАЯ
ЛИНЕЙКА
DD500
Appliance Series
DDX Array Series
Software Options:
OpenStorage, VTL, Replicator & Retention Lock
Up to 16 Controllers
Internal or External Storage
DD120 DD510 DD530 DD565 DD660 DD690 DD880 DDX Array
Speed (GB/hr) 300 435 540 1.1 TB/hr 2 TB/hr 2.7 TB/hr 5.4 TB/hr 86.4 TB/hr
Logical Cap. (TB) 7-18 55-135 110-285 320-810 520-1.31 PB 710-1.7 PB 1.4-3.5 PB 22.6-56.7 PB
Usable Cap. (TB) .373 Up to 2.7 Up to 5.7 Up to 16.2 Up to 26.1 Up to 35.3 Up to 71 Up to 1.13 PB
DD120
Remote Office Appliance
Gateway Series
DD690g
DD600
Appliance Series
DD880
Expanded
New
ПРЕИМУЩЕСТВА EMC DATA DOMAIN• Дедупликация в реальном времени (inline)
• Минимизация требуемого пространства в десять раз и более по
сравнению с обычными системами
• Эффективная репликация по низкоскоростным каналам
• Предсказуемая производительность и простота управления
• Правильная архитектура• Производительность – максимальна даже при неполной набивке
дисками
• Надежность - сквозная проверка целостности
• Открытость – поддержка любых данных и ПО резервного копирования
• Зрелость решения• 10000 систем установлено
• Средний уровень дедупликации 17.4:1
• В среднем одна открытая эскалация в службе техподдержки
• Система, которая «просто работает»
• Агент Avamar находится на
виртуальной машине
• Данные дедуплицируются
на каждой виртуальной
машине (так, как будто бы
это физические сервера)
• Передается мнимальный
объем данных
РЕЗЕРВНОЕ КОПИРОВАНИЕ В ГЕТЕРОГЕННОЙ
ИНФРАСТРУКТУРЕ C ИСПОЛЬЗОВАНИЕМ
ЛОКАЛЬНОЙ РЕПЛИКАЦИИ
Networker Server
NetWorker DataZone
―Replication Manager‖ ―Metro‖
1) Создание реплики без прерывания приложения
(TF clone)
2) Монтирование реплик целевому
(резервному) серверу
3) Резервное копирование
данных (возможны 2 варианта)
Ленточные/дисковые устройства хранения
ЭФФЕКТИВНОСТЬ ДЕДУПЛИКАЦИИ
Тип данных
РазмерпервогоBackup
Ежедневный Backup
Степень дедупликации
Файловые системы Windows 3,573 GB 6.1 GB 586:1
Файловые системы Windows, Linux, UNIX 5,097 GB 11.7 GB 436:1
Файлы, расположенные на NAS (NDMP backups)
3,265 GB 24.2 GB 135:1
20% СУБД, 80% файловые системы(Windows и UNIX)
9,583 GB 80.0 GB 120:1
Файловые системы Linux и СУБД 7,831 GB 104.2 GB 75:1
Реальный пример:
Тип данныхОригинальныйобъем
Внутри AvamarDataStore
Степень дедупликации
Файлы MS Office на ноутбуках 4,7 TB 240 GB 20:1
