Архитектура растущего проекта на примере ВКонтакте / Алексей Акулович (ВКонтакте)

Архитектура растущего проекта на примере ВКонтакте

Алексей Акуловичvk.com

161108#7

Развитие БД

Развитие PHP

Примеры из жизни

О чём поговорим?

Nginx

PHP + Apache

MySQL

Memcached

Всё начинается с малого

Nginxstateless, ставим еще

PHP + Apache

MySQL

Memcached

Как расти?


PHP + Apachestateless, ставим еще

MySQL

Memcached

Как расти?


PHP + Apachestateless, ставим еще

MySQLнужно решать

Memcachedнужно решать

Как расти?





ВертикальноеПросто, но не долго

Масштабирование БД

ВертикальноеПросто, но не долго

ГоризонтальноеСложнее, но ограничено лишь реализацией

Масштабирование БД

Уменьшение связностиСкажем “нет” внешним ключам и join’ам

Горизонтальное масштабирование


Разнос таблиц по разным серверамСначала можно логически



Разнос таблиц по разным серверамСначала можно логически

Шардирование самих таблицВиртуальные шарды


Кэширование

Предварительное создание кэша



Просроченный кэш




Великий рандом




Великий рандом

Негативное кэширование


There are only two hard things in Computer Science: cache invalidation and naming things.

Phil Karlton


БД в огне

Свои решения. Первая кровь

Самописные велосипеды узкозаточенные БД

audiofpfriendhintsimageletterslikeslistslogsmemcachedmeowdb


newsphotopmemcachedsandboxsearchseqmapsetstatsxtasks...

Текстовый memcached протокол



Кластеры



Кластеры

Доступ к кластеру как единому целому


Я разработчик, я не хочу думать,я хочу *-* и в продакшен!

$mc = chooseServer('cluster_name');$mc->get('fooBar');


Обычный запрос

$mc->set("key", $value)


Превращается в

$mc->set("letter[{$delay}[,{$task_id}]]",$letter

)


А иногда и в

$mc->increment("counter$cnt_id[:$subcnt_id]#$uid[#$sex$age$status$polit$section;$city;$region;$country;$source]")


Подключение к кластерам через прокси


Выбор движков в кластере на основе запроса

$mc->set("prefix4tail", $val)

hash("prefix4tail") % N

"prefix4tail" % N


twemproxy от Twitter

https://github.com/twitter/twemproxy

Подобное решение



Набор командget, set, delete, ...

Ограничения MC протокола


Размер ключей250 байт



Размер ключей250 байт

Экранирование бинарных данных

Избыточность формата


Ближайший аналог - protobufhttps://github.com/google/protobuf

Не путать с msgpack, bson - они schemaless

Свой бинарный протокол TL proto

https://github.com/google/protobuf

https://github.com/google/protobuf

Произвольный набор команд и параметров

Работа по TCP и UDP

Шифрование

Мультиплексирование и асинхронщина

Свой бинарный протокол TL proto

Еще есть, но мало

MySQL

Еще есть, но мало

video_files_icva_chestnoe_slovo_last

MySQL





Медленный

PHP

Медленный

Со слабой динамической типизацией

PHP

Медленный

Со слабой динамической типизацией

Популярный

PHP

Как на PHP обработать миллион запросов в секунду?

PHP

Да никак *

PHP

* если у вас нет 100500 серверов

Транслятор PHP → C++

KPHP: Kitten PHP


Частичная реализация PHP 5

KPHP: Kitten PHP



Выведение типов в нативные C++ типы

KPHP: Kitten PHP



Выведение типов в нативные C++ типы

Проверки типов при компиляции

KPHP: Kitten PHP

Бинарник HTTP сервера

Однопоточный с epoll

Пачка процессов на машину

KPHP: Kitten PHP





Где хранить и как обновлять?

0. Хранение конфигурации

Персистентный memcache

Master-slave репликация

Slave ноды на каждом сервере с кодомконтроль отставания от мастера

0. Хранение конфигурации

К чему может привести запрос?


1. Операция “Снежный ком”

К чему может привести запрос?


Ляжет весь сайт


Константный ключ → один движок

Движок не смог

Прокси начали копить очередь

Прокси не смогли

Сайт упал


Что делать?

Не писать такой код

Размазывать нагруженные ключи

Выполнять запросы с вероятностью


Проблема: сайт тормозит

2. Разделяй и властвуй


Выяснили: выросла нагрузка на кластер общего кэша

Кто виноват?



Выяснили: выросла нагрузка на кластер общего кэша

Кто виноват?

А фиг его знает


Скажем “нет” общим кластерам

Каждой задаче - свой кластер

Выросла нагрузка - знаем точно кто

Кластер упал - не упало остальное


Проблема: массовые 50x от kphp

3. Разделяй и властвуй #2

Проблема: массовые 50x от kphp

Выяснили: новый функционал

Что делать?


Группы kphp машинновости, профиль, api и т.п.

Проблема раздела другие разделы не волнует


Группы kphp машинновости, профиль, api и т.п.

Проблема раздела другие разделы не волнует

Несколько попыток nginx → kphp


Какие нагрузки, такие и решения

Выводы


Нестандартные решения - нестандартная поддержка

Выводы


Нестандартные решения - нестандартная поддержка

Как держать нагрузку? Размазывать

Выводы

Презентация:https://ater.me/conf/hl2016_arch.pdf

Для вопросов после:https://vk.com/ac

Вот и всё

https://ater.me/conf/hl2016_audfp.pdf

https://ater.me/conf/hl2016_audfp.pdf

https://vk.com/ac

https://vk.com/ac

Engineering

Архитектура растущего проекта на примере ВКонтакте / Алексей Акулович (ВКонтакте)