«Как 200 строк на Go помогли нам освободить 15 серверов» – Паша Мурзаков (Badoo)

Как 200 строк на Go освободили 15 серверов

Pavel Murzakov

Badoo — это

✦ 320 млн пользователей

✦ 400 тыс регистраций каждый день

✦ ~3000 серверов

✦ 70 тыс клиентских запросов на бэкенды в секунду

Grigoriy

Igor

Diego

✦ 4 больших отдела: Features, Billing, Back Office, Platform

✦ В каждом по ~10-25 человек (разделены на команды)

✦ Вопроса о выборе языка не встаёт (есть куча других важных проблем!)

PHP в Badoo

PHP в Badoo

Здесь может быть твоё фото

Go в Badoo

Go в Badoo

первый демон на GO в продакшене - 2014 г.

Go в Badoo

http://goo.gl/cGU1gU

http://goo.gl/cGU1gU

Go в Badoo

PHP в Badoo

Go в BadooЗдесь может быть

твоё фото

О чём доклад


✦ Задача, которую мы решали



✦ Прежняя реализация на PHP



✦ Прежняя реализация на PHP

✦ Релаизация на Go

Задача

Профайл

Блок Friends

Блок Friends

Блок Friends

Блок Friends

✦ Основан на друзьях из Facebook

Блок Friends


✦ Общие друзья

Блок Friends


✦ Общие друзья

✦ Особенно интересны не зарегистрированные на Badoo

Общие друзья

A

X

Y

Мы


A B

X

Y

Z

Y

Мы Кого мы смотрим


A B

X

Y

Z

Y

Мы Кого мы смотрим

Общий друг

Реализация #1

✦ Заранее скачиваем с FB друзей текущего пользователя

A X Y



✦ Заранее скачиваем с FB друзей просматриваемого пользователя

A X Y BZ Y




✦ Пересекаем списки в момент показа

A X Y BZ Y




✦ Пересекаем списки в момент показа

✦ PROFIT!!!!

A X Y BZ Y

Апдейт FB API v2.0

Апдейт FB API v2.0Было

Friends endpoint

* Зарегистрированные (дали доступ Badoo на FB) * Незарегистрированные

Апдейт FB API v2.0Было Стало

Friends endpoint

* Зарегистрированные * Незарегистрированные

Friends endpoint

* Только зарегистрированные

Апдейт FB API v2.0Было Стало

Friends endpoint

* Зарегистрированные * Незарегистрированные

All Mutual Friends endpoint

* Зарегистрированные * Незарегистрированные * Нужно 2 fb_id

Friends endpoint

* Только зарегистрированные

Реализация #1 — крах

✦ Предварительно скачать всех друзей мы не можем

✦ => Надо получать общих друзей в онлайне


✦ Предварительно скачиваем списки зарегистрированных друзей



✦ В клиентском запросе на профайл делаем HTTP-запрос в Facebook за общими друзьями

Время на запросы к FB

Время на запросы к FBГрубо ~1 сек



✦ В клиентском запросе на профайл делаем HTTP-запрос в Facebook за общими друзьями

Мы не можем ждать 1с на отрисовку профиля!



✦ В клиентском запросе на профайл отдельном асинхронном запросе делаем HTTP-запрос в Facebook за общими друзьями

PHP

PHP-FPMMaster process

Child process 1

Child process 2

Child process 3

Child process 4

Child process N

Client 1

Client 2

✦ 100 воркеров PHP-FPM на сервер



✦ 100 серверов




✦ => 100 * 100 = 10 000 воркеров




✦ => 100 * 100 = 10 000 воркеров

✦ нагрузка 1 000 rps




✦ => 100 * 100 = 10 000 воркеров


✦ FB “подтупляет" и начинает отвечать по 10 сек




✦ => 100 * 100 = 10 000 воркеров


✦ FB “подтупляет" и начинает отвечать по 10 сек

✦ через 10 сек 1 000 * 10 = 10 000 => все воркеры будут заняты


100 воркеров на сервер



✦ CPU-bound нагрузка (обычно)

✦ Память

✦ Context Switch’es

✦ Непредсказуемость времени ответа от Facebook (нужно “перезакладываться” в десятки раз)

Воркеры — ограничения

Время на запросы к FBНепредсказуемо


✦ В клиентском запросе на профайл отдельном запросе делаем HTTP-запрос в Facebook за общими друзьями

Мы не можем себе позволить долгие запросы!(вообще)


PHProxyd

Долгий скриптКороткие запросы



✦ В коротком клиентском запросе запускаем скрипт в PHProxyd



✦ Клиент перепроверяет (поллит) результаты




✦ В скрипте в PHProxyd делаем HTTP-запрос к FB + небольшая бизнес логика





Теперь точно PROFIT!!!!!!!

Теперь точно PROFIT!!!!!!!


60M per day => 1000 rps в пике











Прага Майами




XHProf

PHProxyd — замена

✦ Создание воркера на новый запрос (phproxyd)



Не работает



✦ Преподготовить заранее кучу воркеров (php-fpm)




Не работает




✦ Что-то асинхронное (nodejs, React PHP)





Мы любим PHP…





… но НЕТ!

Мы любим PHP…





✦ Go = пишешь “синхронный” код, работает асинхронно





✦ Go = пишешь “синхронный” код, работает асинхронно

+ “сложились звёзды”

Реализация на Go





Реализация #4 (предыдущая)




✦ В скрипте в PHProxyd делаем HTTP-запрос к FB + небольшая бизнес логика (походы в MySQL, memcache итд)

Реализация #4 (предыдущая)

Реализация #5 — отличия

✦ Принимает на вход “образ” http/https запроса



✦ Отвечает “in progress”, начинает исполнять запрос асинхронно




✦ На повторные реквесты отвечает “in progress” либо данными




✦ На повторные реквесты отвечает “in progress” либо данными

✦ Всю остальную бизнес-логику (базы, мемкеши) оставляем снаружи


✦ Глобальный map с заданиями и результатами



✦ HTTP-сервер, принимает “json” образ запроса, шлёт его в канал




✦ N горутин читают из канала, шлют запрос в FB





✦ После получения результата пишут его в глобальный map






✦ Повторный запрос отдаёт результат из этого map






✦ Повторный запрос отдаёт результат из этого map

Дублируем продакшен-трафик!!!

Pprof

Keep-Alive


+ демон на GO + демон на GO

Вписываем в инфраструктуру


✦ JSON over HTTP -> “homemade” proto (GPB/JSON over TCP)



✦ Tests



✦ Tests

✦ Build / Deploy



✦ Tests

✦ Build / Deploy

✦ Statistics / monitoring

Было Стало

Заключение

✦ Badoo, Фича Friends



✦ PHP, PHP-FPM, долгие запросы, запросы к внешним сервисам



✦ PHP, PHP-FPM, долгие запросы, запросы к внешним сервисам

✦ Go: прототип, pprof, keep-alive


✦ Изолируйте проблему

Выводы

Выводы


✦ Делайте прототипы

Выводы


✦ Делайте прототипы

✦ Не бойтесь экспериментировать

Спасибо!

Internet

«Как 200 строк на Go помогли нам освободить 15 серверов» – Паша Мурзаков (Badoo)