Embed Size (px)
Citation preview
Строим сеть датацентра Mail.Ru
Рекомендации вендоров
Условия
-Максимальная надежность -Одни и те же вланы пересекают несколько Access устройств; -Устойчивость к burst’ам трафика; -Разумная стоимость.
Уровень доступа
-Типовой ряд = 10 стоек, но есть не типовые ряды; -СКС выводит патч-панели с каждой стойки на боковой кросс рядом с крайней стойкой; -Коммутаторы доступа находятся в этой крайней стойке и занимают ее эксклюзивно.
Уровень доступа: мы любим
стеки
Коммутаторы доступа, обслуживающие ряд, мы объединяем в стек - логически одно устройство из нескольких физических -снижает расход 10GE портов и, в нашем случае, делает уровень агрегации бесполезным; -легко защитить сервер и подключение к магистрали от выхода из строя одного из коммутаторов.
Магистраль
-Подавляющее большинство трафика от коммутаторов уровня доступа идет в Интернет – включаем их прямо в магистраль; -Раз трафик направляется в Интернет, там же работает BGP и включаем операторов; -Есть “клиенты” – компании входящие в Mail.RU Group, которым предоставляем сервисы (transit, L2/L3 VPNs).
Магистраль
Требование о пересечении одним вланом нескольких устройств доступа при сохранении резервирования ограничивает спектр решений: -STP в каждом влане – требует манипуляций stp костами для баллансировки, что может быть сложно в изменяющейся обстановке; при одном влане или преобладании трафика в одном влане, резервный порт простаивает; -LAG – Наш выбор.
Магистраль
Существуют два принципиально разных варианта LAG с двумя устройствами (мы эксплуатируем оба): -VSS (тот же стек) – Catalyst 6500; -MC-LAG (две независимые коробки создают LAG) – Juniper MX.
Схема сети Датацентра
Схема нашей лабы
Hardware сборка стека EX4200
Сборка стека EX4200
После соединения стековых кабелей и сборки стека, смотрим как собрался стек: > show virtual-chassis Virtual Chassis ID: 37f7.d100.b3ab Mastership Neighbor List Member ID Status Serial No Model priority Role ID Interface 0 (FPC 0) Prsnt BP0211386635 ex4200-48t 128 Master* 1 vcp-0 1 vcp-1 1 (FPC 1) Prsnt BP0211315660 ex4200-48t 128 Backup 0 vcp-0 0 vcp-1
Настройка быстрого failover
Делаем mastership предсказуемым: # set virtual-chassis member 0 mastership-priority 255 # set virtual-chassis member 1 mastership-priority 250
Включаем синхронизацию конфигурации при каждом коммите: #set system commit synchronize
Включаем GRES # set chassis redundancy graceful-switchover
Проверяем резервирование
Заходим на backup: > request session member 1
Проверяем его готовность стать мастером: > show system switchover Graceful switchover: On Configuration database: Ready Kernel database: Ready Peer state: Steady State
MX: ICCP
ICCP - Internet Chassis Control Protocol, протокол необходимый для обмена информацией (синхронизация mac таблиц, arp таблиц) между шасси, образующему MC-LAG Для транспорта использует TCP, для проверки доступности соседа – BFD.
MX: настраиваем ICCP
Для надежной связи между двумя шасси MX настраиваем между ними LAG и IP-доступность. Настраиваем и проверяем ICCP. peer 192.168.249.50 { local-ip-addr 192.168.249.49; redundancy-group-id-list 1; liveness-detection { minimum-interval 1000; multiplier 3; transmit-interval { minimum-interval 1000; } } }
MX: ICL
ICL - Interchassis link, L2 соединение между шасси, образующими MC-LAG, необходимое для сохранения связанности при отказе одного из портов MC-LAG или для связанности с уникальным(находящимся только на одном шасси) Access-устройством.
MX: настраиваем MC-LAG
Создаем ICL; Настраиваем MC-LAG: > show configuration interfaces ae5 aggregated-ether-options lacp { active; system-id 4D:61:69:6C:52:75; # Виртуальное LACP system-id admin-key 1; #LACP administrative key } mc-ae { mc-ae-id 5; # ID MC-LAG’а. Должен совпадать на обоих шасси redundancy-group 1; # Ссылаемся на ICL chassis-id 0; # 1 на другом шасси mode active-active; # именно это, а не active-standby мы хотим status-control active; # standby на другом шасси. Имеет смысл при aсtive-standby. }
MX: Бридж и VRRP
Для коммутации между стеками создаем bridge-domain и добавляем в него интерфейсы; Создаем L3 интерфейс представляющий бридж (irb); Обеспечиваем двойной default-gateway c помощью VRRP.
Заканчиваем настройку
-Настраиваем OSFP к “остальной сети”, объявляя в нее сеть с “сервером”; -Конфигурируем LAG от аксесов к MX’ам; -Конфигурируем LAG от аксесов к серверу; -Проверяем все ping’ом.
Различные варианты
аварий
-отказ линков; -отказ коммутатора доступа; -отказ центрального маршрутизатора.
Выключаем линки
Выключаем коммутатор
Выключаем маршрутизатор
