World of tanks: высокие нагрузки

WORLD OF TANKS: ВЫСОКИЕ НАГРУЗКИ

МАКСИМ МЕЛЬНИКОВ

КТО Я

I Wargaming.netI Order of WarI Order of War: ChallengeI World of Tanks developer

I Linux Mobile hobbyistI OpenmokoI systemdI telepathyI Gentoo

World of Tanks: высокие нагрузки, Максим Мельников

WORLD OF TANKS СЕГОДНЯ

I 800k одновременно играющих в пикеI 8M сообщений в секундуI 300 серверов для обслуживания игрыI 60M посещений игрового портала в месяцI 5PB (петабайт) на установку и обновления игрового клиента в месяц


СОДЕРЖАНИЕ

Вступление

Фрагменты архитектурыИгровой cерверСетевой трафикМетакластерВебОбновление клиента

Заключение


АРХИТЕКТУРА WORLD OF TANKS

I клиент игры — тонкий клиент, плеерI сервер — расчёт игрового мираI кластер — сотни процессов работающих как единое целое (сервер)I игровой мир — пошаговый, шаги очень маленькие


АРХИТЕКТУРА КЛАСТЕРА

Storage*

I MySQLI MySQL*I RabbitMQ

NodesI BaseAppI CellAppI LoginApp

Managers

I BaseAppMgrI CellAppMgrI DbMgr


АРХИТЕКТУРА КЛАСТЕРА II

BaseApp

I AccountI ChatChannelI ClanI AdminI SysMessengerI Node

CellApp

I ArenaI AvatarI VehicleI TeamBaseI AreaDestructiblesI Node


РАЗРАБОТКА СЕРВЕРА

1. обычный Python2. GC выключен3. немного C++4. RPC - на базе сообщений5. UDP-based протокол с гарантией доставки


ОТКАЗОУСТОЙЧИВОСТЬ

I объекты только в памятиI репликация объектов на случай отказа


СЕТЕВОЙ ТРАФИК

1. 8M уникальных UDP пакетов в секунду2. 16 Gbps на 800k пользователей


НЕРАВНОМЕРНЫЙ ТРАФИК

I 800k пакетов в 1msI 10k пакетов в следующие 99ms


ПРОБЛЕМЫ РОСТА

I совсем не угадали размер аудитории на стартеI постоянный рост аудиторииI недоработки и нехватка оборудованияI постоянный авралI предел масштабирования кластера


ПЕРЕЕЗДЕЦ

I много кластеровI быстрое перемещение между кластерамиI выделенный кластер для хранения данных


АРХИТЕКТУРА МЕТАКЛАСТЕРА

Центр

I постоянное хранилищеI аккаунты (proxy)I взаимодействие с web-ом

Периферия RU1, RU2, ...

I временное хранилищеI аккаунтыI бои


ПРEИМУЩЕСТВА МЕТАКЛАСТЕРА

1. масштабируемость2. гео-распределённость3. отказоустойчивость4. независимость


ВЕБ

I регистрацияI новостиI статьи и описанияI медиа контентI платёжная формаI обработка платежей

I раздача обновленийI управление пользователямиI профиль игрокаI статистикаI рейтингиI ...


ИНТЕГРАЦИЯ С ИГРОВЫМ СЕРВЕРОМ

I AMQP — протокол взаимодействия с игровым серверомI XML-RPC обёртка над AMQPI реплика данных игры в реляционном виде


СЕРВИСНАЯ АРХИТЕКТУРА

I множество различных проектовI протоколы взаимодействия: AMQP, HTTP, SQL, XML-RPC


СТЭК ТЕХНОЛОГИЙ

LNAMPMRI LinuxI nginxI Apache (mod_wsgi)I MySQLI Python (Django)I memcachedI RabbitMQ

Другое

I uwsgiI TwistedI PhpI RubyI PostgreSQLI MongoDBI Redis


ОБНОВЛЕНИЕ КЛИЕНТА

I отдельный процесс который занимается обновлениямиI поддержка http и torrent протоколовI 2M игроковI размер обновления 1GBI нет возможности раздавать обновление заранееI короткая сессия участия игроков в раздаче


CБОР СТАТИСТИКИ

1. LauncherI файлI размерI времяI протоколI источник

2. tracker3. CDN


РЕШЕНИЕ

I наши torrent сервера — всегда в top-еI web seed-ы


ИДЕИ

I главное — скорость и простота разработкиI не стоит боятся гетерогенной средыI синхронный подход везде где можноI асинхронный — только там, где это необходимоI AMQP — отличный протокол для реализации RPCI работа с объектами в памяти самая быстрая


СПАСИБО ЗА ВНИМАНИЕ. ВОПРОСЫ

Максим Мельниковmailto:[email protected]://plus.google.com/114669104565190507739/https://twitter.com/max_posedonhttp://wargaming.com

mailto:[email protected]

https://plus.google.com/114669104565190507739/

https://twitter.com/max_posedon

http://wargaming.com

Technology

World of tanks: высокие нагрузки