Embed Size (px)
DESCRIPTION
В докладе я расскажу о том, как мы строили систему расчета статистики в Яндексе и как она эволюционировала в процессе своего существования. Я постараюсь рассказать о достоинствах и недостатках сильно централизованной монолитной системы и децентрализованной модульной системы, а также расскажу о некоторых технологических решениях, которые использовались для увеличения производительности системы.
Citation preview
От Статистики до Статистики
Яндекс
Докладчик: Юхно Олег
руководитель группы администрированияemail: [email protected]
11
О чем я хочу рассказать?
Развитии системы статистики
2
Проблемах и их решении
Зачем нужна система расчета статистики
3
Почему нужна система расчета статистики
4
Много проектовМного данныхПотребовалось считать статистику регулярно и единообразно
5
6
Сначала данных и проектов было мало
< 10Gb в сутки
8
9
Данных и проектов еще было мало
< 100Gb в сутки
11
Когда данных стало 200-300Гб в сутки
12
Вторая попытка масштабирования
14
Пределы экстенсивного роста
Финальное решение
16
17
18
Сейчас ежесуточно статистика обрабатывает 2-3Тб данных
19
А будет еще больше…
21Рост в 3-4 раза каждый год!
Итог:
25
Децентрализация системы
Специализация компонентов
Автономностькомпонентов
«Простота»компонентов
Отказоустойчивость Производительность
Простота в обслуживаниии высокая эффективность
