Кластеризация социального графа

Предпосылки• Стремительный рост социального графа

Возросшие требования к аппаратной части (сервера с большим объемом RAM)

• Необходимость обеспечения стабильности всей системы Устойчивость к выходу из строя нескольких серверов

Техническое задание• Линейно маштабируемая система–Увеличение производительности–Рост базы

• Устойчивость к выходу из строя нескольких серверов–Сохранения полной работоспособной базы–Быстрое переключение на реплики

Разбиение базы

• n непересекающихся частей• Равномерное распределение

вершин• Хранение прямых и обратных связей

n 1

...

4 3

2

Резервирование данных

m

m1

m2

m3

mk

.

.

.player

Monitoring

1

4

3

6

5

2

update(2PC)

select

2 3

5 6

4 5

1 2

6 1

3 4

FrontEndClient

4 5 6

3 4 5

6 1 2

5 6 1

1 2 3

2 3 4

Monitoring

FrontEnd

4 5 6

3 4 5

6 1 2

5 6 1

1 2 3

2 3 4

FrontEnd Monitoring

Сложные запросы

Cluster

.

.

.

...player

Lite BackEnds

...

...

путь

общиедрузья

друзьядрузей

ТТХ кластера• 6 непересекающихся частей• Размер одной части – 6.5 млн. пользователей• Предельная производительность– Селекты - 150.000 rps– Апдейты - 75.000 rps

• Время холодного старта – 90с• Среднее время выполнения запроса - 0.8мс

Спасибо за внимание! Вопросы?