Upload
yandex
View
341
Download
2
Embed Size (px)
DESCRIPTION
Илья Шаров "Земля в коробочке: хранят и показывают Яндекс.Карты" Я.Субботник в Новосибирске О докладе: Современные карты – это сотни миллионов небольших объектов. Разумеется, так было не всегда. Мы расскажем, как мы хранили наш первый миллион тайлов, с какими сложностями столкнулись во время роста, как их решили и где храним все наши карты сейчас. Также мы обсудим, почему иногда полезно оглядываться назад и какие выводы можно сделать из опыта четырехлетней давности. Немного упомянем о том, как не бояться первых тысяч пользовательских запросов в секунду, и поговорим о волшебном слове «кеширование».
Citation preview
Я.Субботник, Новосибирск, 19 ноября 2011 года
Руководитель группы администрирования геоинформационных сервисов
Илья Шаров
Земля в коробочке:хранят и показывают Яндекс.Карты
• Хранить много файлов
• Быстро раздавать много файлов
О чем вообще идет речь?
2
Из чего сделаны карты?
3
Тайлы
Э
4
Версионирование
&v=1.27.0& &v=1.29.0&
5
Такие похожие,
но все-таки разные
6
Давайте сложим на FS?
7
Вариации для хранения на FS
ISO9660 LVM+Snapshots
8
• Неудобно делать версионирование
• Больше объектов - ниже скорость ответа
• Неудобно раскладывать на кластер
Минусы хранения на FS
9
Кстати, о цифрах
~300млн*5 ~200млн*3
10
Key-value storage: Elliptics
Э
11
• Масштабируемость (DHT)
• Скорость (Eblob)
• Отказоустойчивость
• Удобство использования (HTTP REST)
• Одна точка входа
Elliptics: бочка меда
12
• Один объект — один запрос
• Долгая перебалансировка кластера
• Версии в имени файла или сбоку
Elliptics: ложка дегтя
13
Opensource:
попробуйте его сами
на elliptics.ru
Э
14
Схема: рисуем на лету
Э
15
• Генерация картинки по описанию
• Легкое внесение изменений
• Слои с небольшим TTL (пробки)
• Возможность создания стилей
• Локализация
Online rendering хорош...
16
• Основной ресурс - CPU
• Количество RPS зависит от информативности тайла
...но сильно прожорлив
17
Online rendering:
работает закон Мура
Э
18
Похвальное слово кэшу
19
Схема >80%
Э
20
Спутник ~ 50%
Э
21
• На панорамах лучше не применять
• Слои с небольшим TTL
• UGC слои: особая схема кэширования
Остальные слои
22
Региональная программа(CDN):
делаем контент ближе
23
• Анонс ip на местных IX
• Выигрываем от 30 до 120ms
• Выгодно отдавать только схему
Региональная программа (CDN)
Несколько фактов:
24
Статистика кэша: действительна и для региональной программы
Э
25
А как вы храните свои карты?
Э
26
Илья Шаров
Руководитель группы эксплуатации геоинформационных сервисов
@iliya_sharov