Эксплуатация high-load системы AdRiver

1

Содержание:

Особенности эксплуатации высоконагруженных системЯнварь 2011

Обслуживание

Архитектура

Производительность

Отказоустойчивость

Мониторинг

Поддержка пользователей

Уровни

Чем поможем?

Особенности эксплуатации высоконагруженных систем

2

ОбслуживаниеАрхитектураПроизводительностьОтказоустойчивостьМониторинг

3


О системе• Баннерная крутилка

• Гибкая платформа для построения коммерческих продуктов

• Высоконагруженная реалтаймовая система

• Универсальный инструмент для статистики- Неагрегированные данные доступны за 1 год- Real-time счетчики- Подробная статистика по всем объектам- 20Tb данных только для логов за год

4


Компоненты real-time системы

• 15 взаимосвязанных компонентов, обеспечивающих работу кластера

• Real-time часть сервиса 45 серверов- Intel 5670, 12 ядер по 3Ghz, 48Gb RAM

5

Архитектура платформы

Выборка баннераОтгрузка контента

6


Выборка баннера

ad.adriver.ru ad-serverad-serverad-serverad-serveralg_module

ad.adriver.rualg_modulealg_modulealg_modulealg_modulealgorithm

trait uu xp

dbserver

trait uu xp

dbserverdbserverdbserverdbserverdbserverhistoryhistoryhistoryhistoryhistoryhistoryhistory

statstatstatstatstatstatstatstatstatstat

browser

7


1 запрос на показ это...

• Запрос к 20 внутренним базам

• Реалтаймовое обновление нескольких десятков счетчиков

• Строка ~400 символов в логах

8


Отгрузка контента

ad.adriver.ru

banner storagebanner storagebanner storagebanner storagebanner storagebanner storagebanner storagebanner storagebanner storagebanner storagebanner storagebanner storagebanner storagebanner storagebanner storagebanner storagebanner storagebanner storage

browser

9


10



• Весь real-time софт написан в компании

• http сервер - до 20.000 запросов/сек

• algorithm module - до 10.000 запросов/сек

• Общая производительность- время ответа в среднем 50мкс (0.00005сек)- десятки тысяч запросов без предвыборки- обновление информации о событии на всех серверах выборки <0.5сек

11


Живьем

6000 баннеров пока вы моргаете

12


Масштабируемость

• Возможность установки региональных прокси-серверов

• Почти линейная масштабируемость кластера

• Гибкие возможности балансировки с обратной связью- Внешние компоненты- Вычислительные модули- Справочники

13

Отказоустойчивость

14


Отказоустойчивость. Концепция.• Обратная связь в системах балансировки

- keepalived- load average based

• Схемы N+N, N+1

• Надёжные дата-центры

• uptime не меньше 99.9885%

• Резервирование каналов- х4 по входящему трафику- х5 выдача контента на Россию- х100 выдача контента на Белорусь

• Резервные копии- основная база - каждые 5 минут + по автоматически по сигналу- справочники - каждые 60 минут- время хранения логов показов 1 год

15


Пример отказоустойчивого сервиса. history.• Данные за 2 недели - 6х

• Данные за 9 месяцев - 3х

• Данные за 9-12 месяцев - 1.5х

• Можем хранить и больше, если это будет востребовано

16


Отказоустойчивость. Выдача контента.• Баннер показывается только после закачки на большую часть

зеркал

• Закачка на зеркала за 1-3 минуты

• Весь контент с зеркал кешируется благодаря правильным http header-ам

• Ограничения на размер баннера установлены с 3х запасом от типовых размеров

17


Отказоустойчивость. Sostware.

• Использование linux платформы собственной сборки

• Тестирование всего софта

• Обкатка на резервном кластере

18


Отказоустойчивость. Hardware.

• Все сервера с данными используют RAID массивы

• Все железо проходит проверку- память, диски, сетевые карты- сервер основной базы работает на тесте минимум 1 месяц

19

Мониторинг

20


Мониторинг - оповещения

• 1255 точек мониторинга с SMS информированием

• Критичных около 30

• Проверка ответов системы с 4 серверов из других городов

21


Мониторинг - визуализация

• >10 параметров на

каждый сервер в

кактусе

• Сводные графики

• Любые параметры

22


Пример анализа нагрузки

23


Мониторинг от А до Я

• Доступность сервисов

• Общесистемные параметры

• Очередь баннеров

• Наличие резервных копий

• Терпература в серверной

• Плазменная панель с критичными параметрами

• Баланс на sms-шлюзе :)

24


Плановые операции

• Проверка производительности

• Проверка выдачи баннеров с мирроров

• Проверка доступности мирроров из регионов

• Проверка целостности резервных копий

25

Поддержка пользователей

УровниЧем поможем?

26


Наша служба и опасна и трудна

27


Уровни

1. Документация, демо-ролики2. Отдел технической поддержки3. Разработчики

28


Документация

• Четкая структура

• Написана под задачи

• Поддерживается в актуальном состоянии

• Обратная связь

29


Демо-ролики

• Объясняют работу с интерфейсом

• Показывают базовые возможности интерфейса

30


Миссия отдела поддержки

• Мы стараемся дать вам то, что вам действительно нужно, а не только что, что вы просите.

31


Постулаты

• Вопросы - это нормально. Плохо, если их нет.

• Мы терпеливо объясним вам как вы сможете достичь результата, но не всегда сможем сделать это за вас.

32


Ещё о поддержке

• Сотрудники прошли профессиональные тренинги

• Им не всё равно

33


Если даже нам нужна помощь...

• Близость разработчиков позволяет оперативно решать любые вопросы

• Клиент всегда получит ответ

34


Типовой вопрос разработчикам

Jan 12 00:00:00 127.0.0.1 algorithm[0]: A0[0]: s*erle*0*123992*0*0*0*0*0*0*0*0*421249*16*20*14*79.111.80.140*0*'Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US) AppleWebKit/532.0 (KHTML, like Gecko) Chrome/3.0.197.11 Safari/532.0'*'http://www.interfax.ru/society/txt.asp?id=172678/'*7*38*1*0*0*1294779600*''*0.000470****0.000008*3048D95B48.4D12C16E.3063*1813388126*Почему в 18-м поле 0?

35


Мы готовы помочь

Ждём вас на [email protected]

36

mailto:[email protected]



А тем временем...

За время рассказа AdRiver показал ~55млн баннеров

37

Система управления интернет-рекламойwww.adriver.ru

Владимир Мосин[email protected]Директор департамента эксплуатации

38

http://www.adriver.ru

http://www.adriver.ru



Technology

Эксплуатация high-load системы AdRiver