20081006 Highload2008 Postgresql самохвалов

Производительность PostgreSQL

Николай Самохваловhttp://postgresmen.ru

http://samokhvalov.com/files/20081006_highload2008_postgresql.pdf

PostgreSQL

• открытый исходный код;• BSD-лицензия;• надёжность, предсказуемость, ACID — главное;• высокое качество кода;


http://ru.wikipedia.org/wiki/????????_BSD

http://ru.wikipedia.org/wiki/ACID


PostgreSQL• хорошая поддержка:

• сообщество,• коммерческая;

• прозрачность процесса разработки:• http://wiki.postgresql.org/wiki/Development_information;

• большое количество проектов-спутников:• http://wiki.postgresmen.ru/index.php/Проекты-спутники_PostgreSQL;

email: pgsqlru[email protected]: [email protected]

web: http://postgresmen.ru


http://wiki.postgresql.org/wiki/Development_information

http://wiki.postgresmen.ru/index.php/???????-????????_PostgreSQL

mailto:[email protected]


http://postgresmen.ru/


PostgreSQL• богатые возможности:

• сравнение в wikipedia (англ.);• производительность:

• индексы,• «фичи», параметры настройки,• надёжная производительность;

Фото: tikaonline.de


http://en.wikipedia.org/wiki/Comparison_of_relational_database_management_systems


PostgreSQL• масштабируемость:

• партицирование таблиц,• M-S, M-M репликация,• «шардинг», кластеризация

• PL/Proxy, GridSQL.



https://developer.skype.com/SkypeGarage/DbProjects/PlProxy

http://www.enterprisedb.com/community/projects/gridsql.do


Производительность

1. Настройка2. Разработка



Настройка

Диски, RAID, ОС, ФС, postgresql.conf

С чего начать? (Совет №0)



Настройка С чего начать?



Мониторинг, анализВсе на анализы! (Без исключения)

● Непрерывное слежение● Оповещение о проблемах

● железо: contrib/pgbench, bonnie++● ОС, СУБД, web-сервер:

● ZABBIX,● Cacti/Nagios,● Staplr by Gavin Roy

● SQL-запросы: pgFouine;● pg_stat_*, reads/hits, phpPgAdmin

Где жмёт?

+ расширения


http://www.postgresql.org/docs/8.3/static/pgbench.html

http://sourceforge.net/projects/bonnie/

http://www.zabbix.com/

http://www.cacti.net/

http://www.nagios.org/

https://area51.myyearbook.com/trac.cgi/wiki/Staplr

http://postgresmen.ru/articles/view/48


Работа с памятьюЕсли не понимаете этого –

ничего не выйдет!

PostgreSQL Hardware Performance Tuningby Bruce Momjian (англ.), мастеркласс на Highload2007


http://www.postgresql.org/files/documentation/books/aw_pgsql/hw_performance/

http://momjian.us/main/writings/pgsql/performance.pdf


Мониторинг — главный друг DBA

Переход 8.2 8.3→




Начинаем использовать pgBouncer (разные проекты)




БД «сидит» в RAM: наблюдаем только запись на диск




«Тревожный звонок»: уменьшение объёма кэша ОС → скачок LA

* FreeBSD node



Настройка: о чём помнитьСовет №1: не оставляйте настройки «по умолчанию»!

● shared_buffers● work_mem● max_connections● effective_cache_size● рутинные задачи

VACUUM, FSM, сбор статистики, checkpoints● Все 187 параметров в 3-часовой экскурсии от

Джоша Беркуса (Josh Berkus)

Почитать на русском: коротко, подробнее


http://www.pgcon.org/2008/schedule/events/104.en.html

http://postgresmen.ru/articles/view/38

http://oc.cs.msu.su/club/html/


Настройка: о чём помнитьСовет №2: используйте PgBouncer


https://developer.skype.com/SkypeGarage/DbProjects/PgBouncer


Настройка: о чём помнитьСовет №3 (может быть «вредным»):

statement_timeout = 90s

Для «важных» транзакций и для задач обслуживания:

SET statement_timeout TO 0;

илиALTER USER maintanance_user SET statement_timeout TO 0;



Настройка: о чём помнитьСовет №3: следим за «здоровьем»

SELECT datname, CASE WHEN blks_read = 0 THEN 0 ELSE blks_hit / blks_read END AS ratio FROM pg_stat_database;

SELECT indexrelname, idx_tup_read, idx_tup_fetch, (idx_tup_read - idx_tup_fetch), CASE WHEN idx_tup_read = 0 THEN 0 ELSE (idx_tup_read::float4 -idx_tup_fetch) / idx_tup_read END as rFROM pg_stat_user_indexesORDER BY r desc;... и т.д.

Настраиваем предупреждения в системе мониторинга и когда надо – реагируем(перенастройка, чистка, пересоздание индексов и т.д.)




Разработка

Схема БД, SQL-запросы, индексы, триггеры, масштабирование, асинхронность

С чего начать? (Совет №0)



Разработка С чего начать?

Точно!



Разработка: анализ1. Понимаем, что происходит «внутри»:

● размеры БД, таблиц, индексов,● статистика использования (индексов, hit/read),● EXPLAIN ANALYZE;

2. PgFouine



PgFouine● выявляет самые медленные [обобщённые] запросы:

● см. вкладку Queries that took up the most time (N),● показывает распределение по часам,● если > 1h — нужна оптимизация!

● определяет, на что потрачено время СУБД и когда;



PgFouine● показывает профиль нагрузки

● у вас тоже 80-90% —чтение? ;-)● агрегирует и SQL-ошибки;● рисует TPS-графики



PgFouine● анализ VACUUM VERBOSE

● FSM● статистика по базам/схемам, таблицам

● Tsung: симуляция нагрузки


http://tsung.erlang-projects.org/


PgFouinepostgresql.conf:

log_min_duration_statement = 100ms

Важно: изменяем значение — меняется картина!

Начинаем с 1s, постепенно спускаемся до 100ms

pgFouine— на PHP (sic!). Осторожно, «любит» RAM.



Разработка: о чём помнитьСовет №1: обязательно изучите все возможности индексов в PostgreSQL

● B-Tree, GiST, R-Tree, GIN;● Многоколоночные:

● btree по 2 и более столбцам,● экзотика: btree_gist+rtree, rtree+ btree_gist+GiST(полнотекст.поиск) и т.п. в 1 (!) индексе

● Функциональные:CREATE INDEX idx ON t1 (substr(name, 6));

● ЧастичныеCREATE INDEX ids ON t1 WHERE status=1;



Разработка: о чём помнитьСовет №2: избегайте заведомо медленных операций

● OUTER (LEFT/RIGHT) JOIN● GROUP BY, DISTINCT, DISTINCT ON, UNION (без ALL)● ... OFFSET 100000;● SELECT COUNT(1) FROM t1 WHERE ... AND ... AND ...;



Разработка: о чём помнитьСовет №2: избегайте заведомо медленных операций.

Подробнее о списках (постраничный вывод информации):● Зло №1: медленный count() («всего найдено: 1000000 человек»):

— используем приближённые значения (парсим вывод EXPLAIN SELECT ...);

● Зло №2: большие значения OFFSET:— меньше сортировок, больше фильтров (учимся у GMail),— возможно, ограничиваем максимальный номер страницы.



Разработка: о чём помнитьСовет №3: подумайте о масштабировании раньше

● избегайте чрезмерно сложных SQL-запросов;● «Разделяй и властвуй»; ● изучите решения для масштабирования:

● Slony-I (масштабируем чтение),● SkyTools, PL/Proxy,● GridSQL.

Завтра: посетите доклады!● Аско Оя — о решениях Skype;● Гевин Рой — об опыте myYearbook.com.


http://www.slony.info/

https://developer.skype.com/SkypeGarage/DbProjects/SkyTools

https://developer.skype.com/SkypeGarage/DbProjects/PlProxy

http://www.enterprisedb.com/community/projects/gridsql.do


30 минут — это очень мало.

вопросы?

а) прямо сейчас;б) сегодня вечером в 19:00 на встрече PostgreSQL-сообщества;в) в любое время.

email: pgsqlru[email protected]: [email protected]

web: http://postgresmen.ru




http://postgresmen.ru/

Technology

20081006 Highload2008 Postgresql самохвалов