No Mueras De Exito

No Mueras de Éxito

Victor Jimenez <vjimenez@warp.es>Giuseppe Maxia <datacharmer@sun.com>

Hola, soy Víctor Jimenez, y voy a ser vuestro ponente durante los próximos 40 minutos.Tenemos el honor de contar con el único, el inigualable, el domador de bytes, el encantador de datos... Giuseppe Maxia, que nos acompaña en esta presentación.

Decimos que una aplicación ha muerto de éxito, cuando se hace popular y de repente recibe más visitas de las que puede soportar.Como la gallina de los huevos de oro, todo el mundo quería tocarle los huevos...

... y dijo "Ya no puedo más".Igual hace nuestro servidor, cuando recibe muchos usuarios de vez, dice "Ya no más" y se cuelga.

Pasos para no morir de éxito:

•Optimizar la aplicación

•Optimizar la base de datos

•Escalar fácilmente

Si queremos que nuestra aplicación no muera de éxito, tenemos que seguir estos pasos en orden.Optimizar la aplicación: Normalmente nuestro primer código no suele ser muy óptimo.Optimizar la base de datos: Hacer que nuestra base de datos no sea un cuello de botella.Escalar fácilmente: Prepararnos para crecer en un futuro.

Optimización

•Hacer más con lo mismo

•Objetivo: Aumentar consultas/sec

•¿Cómo?: Menor tiempo de ejecución

Optimizar es hacer más con lo mismo que ya tenemos.Aplicado a la base de datos, vamos a querer aumentar la cantidad de consultas que un servidor puede ejecutar.Para ello, intentaremos reducir el tiempo de ejecución de las consultas.

Optimización

0s 1s 2s 3s 4s 5s 6s 7s 8s 9s

Tenemos una consulta que tarda 2,5 segundos en ejecutarse si se ejecuta sola.Pero lo normal es que esa consulta se ejecute en varios procesos en paralelo.

Optimización

0s 1s 2s 3s 4s 5s 6s 7s 8s 9s

Dado que la máquina tiene más recursos ocupados, es posible que tarde más en ejecutarse.En este caso, se ha ejecutado la consulta cinco veces en paralelo, cada una un segundo más tarde que la anterior.

Optimización

0s 1s 2s 3s 4s 5s 6s 7s 8s 9s

En un momento se están ejecutando 5 consultas a la vez.El servidor necesita poder soportar estos picos.

Optimización

0s 1s 2s 3s 4s 5s 6s 7s 8s 9s

C max = 1

Si optimizamos esas consultas para que tarden medio segundo...

Optimización

0s 1s 2s 3s 4s 5s 6s 7s 8s 9s

C max = 1

... sólo se ejecuta una consulta cada vez.Reduciendo el nivel de concurrencia que tiene que soportar el servidor.

Optimización

0s 1s 2s 3s 4s 5s 6s 7s 8s 9s

Dejando muchos más recursos libres.

Optimización•Normalización

•Índices

•Cachés

•Buffers

•Actualizaciones de Software

•Mantenimiento

•Motor de Bases de datos

Hay muchas cosas que se pueden hacer para optimizar una base de datos, vamos a hablar sobre algunas de ellas.

Índicestable.MYI

table.MYD

Los índices nos permiten acceder más rápido a los datos.Si indexamos una columna, se guarda una copia aparte, ordenada en una estructura de árbol.Buscar por un índice es la forma más rápida de llegar a una fila.

Índices InnoDB

En Innodb los índices apuntan a la clave primaria,por tanto hay que elegir la clave primaria con sabiduría.

Cachés

•MyISAM Key Cache

•Query Cache

MySQL usa varias cachés que nos permiten cargar parte de los datos en memoria,y así no leer del disco duro.

MySQL server

Query Cache

ParseOptimization

Execution

MyISAM InnoDB Memory

Tablas

De normal, cuando un usuario ejecuta una consulta en MySQL,MySQL tiene que interpretarla, saber qué quiere el usuario.Luego la optimiza para ver cuál es la mejor manera de ejecutarla, usar un índice u otro, aplicar una condición antes que otra...Y por último la ejecuta, para ello delega en los motores de bases de datos que interactúan directamente con los datos.Todo ello supone una cantidad considerable de trabajo.

MySQL server

Query Cache

ParseOptimization

Execution

Tablas

SELECT

MySQL server

Query Cache

ParseOptimization

Execution

Tablas

SELECT

result

MySQL server

Query Cache

ParseOptimization

Execution

Tablas

Si activamos la Query Cache,la primera vez que ejecutemos la consulta seguirá los mismos pasos.Con un paso adicional, a la vez que se devuelven los datos al usuario, se guarda una copia en la caché de consultas.

MySQL server

Query CacheSELECT

Query Cache

ParseOptimization

Execution

Tablas

MySQL server

Query CacheSELECT

result

Query Cache

ParseOptimization

Execution

Tablas

MySQL server

Query Cache

SELECT result

SELECT

result

Query Cache

ParseOptimization

Execution

Tablas

MySQL server

Query Cache

SELECT resultQuery Cache

ParseOptimization

Execution

Tablas

La próxima vez que se ejecute la misma consulta,se obtendrán los datos diréctamente de la cache.Lo que es un proceso casi instantáneo.

MySQL server

Query Cache

SELECT result

SELECT

Query Cache

ParseOptimization

Execution

Tablas

MySQL server

Query Cache

SELECT result

SELECT

result

Query Cache

ParseOptimization

Execution

Tablas

MySQL server

Query Cache

ParseOptimization

Execution

Tablas

¿Estos datos están siempre actualizados?Sí, porque si se modifican los datos subyacentes, la caché se limpia.

MySQL server

Query CacheUPDATE

ParseOptimization

Execution

Tablas

MySQL server

Query CacheUPDATE

ParseOptimization

Execution

Tablas

MySQL server

Query CacheUPDATE

ParseOptimization

Execution

Tablas

MySQL server

Query CacheUPDATE

Query Cache

ParseOptimization

Execution

Tablas

MySQL server

Query Cache

ParseOptimization

Execution

Tablas

Query Cache!"#$%&'()&$*+,-./0102,/345,$6$7$8$9:;7$8$9:;7<

!='>$%&'()&$!#)#?!$&@A"$B*0102,CB<DEEEEEEEEEEEEEEEEEEEEEEEEEDEEEEEEEEEDF$G1-41HI,/J1K,$$$$$$$$$$$F$G1I+,$$$FDEEEEEEEEEEEEEEEEEEEEEEEEEDEEEEEEEEEDF$L0102,/M-,,/HIN0O3$$$$$$F$9$$$$$$$F$F$L0102,/M-,,/K,KN-.$$$$$$F$79PQR77$F$F$L0102,/24S3$$$$$$$$$$$$$F$:$$$$$$$F$F$L0102,/4J3,-S3$$$$$$$$$$F$:$$$$$$$F$F$L0102,/INTK,K/U-+J,3$$$$F$:$$$$$$$F$F$L0102,/JNS/0102,V$$$$$$$F$:$$$$$$$F$F$L0102,/*+,-4,3/4J/0102,$F$:$$$$$$$F$F$L0102,/SNS1I/HIN0O3$$$$$F$9$$$$$$$F$DEEEEEEEEEEEEEEEEEEEEEEEEEDEEEEEEEEED

Para activar la caché de consultas, le asignamos un tamaño en la variable...Disponemos de varias variables de estado de la query cache.Importante, la Qcache_hits, que son las veces que una consulta se lee de la caché.

Query Cache

?31W,$6$L0102,/24S3$X$YL0102,/24S3$D$Z'[/3,I,0S\

!='>$%&'()&$!#)#?!$&@A"$BL0102,/24S3B<DEEEEEEEEEEEEEEEEEEEEEEEEEDEEEEEEEEEDF$L0102,/24S3$$$$$$$$$$$$$F$:$$$$$$$F$DEEEEEEEEEEEEEEEEEEEEEEEEEDEEEEEEEEED

!='>$%&'()&$!#)#?!$&@A"$BZ'[/3,I,0SB<DEEEEEEEEEEEEEEEDEEEEEEEDF$ZNK/3,I,0S$$$$F$;$$$$$F$DEEEEEEEEEEEEEEEDEEEEEEED

La variable de estado COM_select muestra las consultas que se han ejecutado completamente.Así que dividiendo los aciertos de la cache entre el total de consultas que se ejecutan, obtenemos el uso de la cache.

Buffers

Los bu!ers son areas de memoria que MySQL reserva temporalmente para hacer algunas operaciones,como por ejemplo ordenar los resultados de una consulta.

MySQL server

Hard Disk

MyISAM

table on Disk

Buffers

Al ejecutar una consulta con un ORDER BYSe leen los datos de la tabla, y se crea un bu!er en memoria para ordenar los resultados.

MySQL server

Hard Disk

MyISAM

table on Disk

BuffersSELECT ... ORDER BY ...

MySQL server

Hard Disk

MyISAM

table on Disk

Sort Buffer

MySQL server

Hard Disk

MyISAM

table on Disk

R ESU L T

MySQL server

Hard Disk

MyISAM

table on Disk

Sort Buffer

R E S U L T

Una vez ordenados, se devuelven al usuario.

MySQL server

Hard Disk

MyISAM

table on Disk

Sort Buffer

R E S U L T

result

MySQL server

Hard Disk

MyISAM

table on Disk

Sort Buffer

Buffers

Sort Buffer

MySQL server

Hard Disk

MyISAM

table on Disk

Buffers

Si el bu!er es más reducido

Sort Buffer

MySQL server

Hard Disk

MyISAM

table on Disk

Buffers

puede que mysql no tenga espacio suficiente para realizar la ordenación

Sort Buffer

MySQL server

Hard Disk

MyISAM

table on Disk

ER SU L T

Sort Buffer

MySQL server

Hard Disk

MyISAM

table on Disk

ER SU L T

MySQL server

Hard Disk

MyISAM

table on Disk

R ESU L T

Sort Buffer

teniendo que mover los datos al disco, que es mucho más lento.Esto influirá negativamente en el rendimiento.

MySQL server

Hard Disk

MyISAM

table on Disk

R E S U L T

Sort Buffer

MySQL server

Hard Disk

MyISAM

table on Disk

result

R E S U L T

Sort Buffer

Buffers

El tamaño del bu!er está gobernado por la variable sort_bu!er_size.Por defecto es de 2MB.Cuidado con este tamaño, ya que se creará por cada consulta que debe ser ordenada.

Buffers!"#$%&'()&$3N-S/H+MM,-/345,$6$];$8$9:;7<

^^$#1K1_N$UN-$ZNJ3+IS1$``

Actualizaciones

Source: http://datacharmer.blogspot.com/2009/04/mysql-54-performance-with-logging.html

Algunas actualizaciones de software aumentan el rendimiento,como es el caso de MySQL 5.4, que escala mejor en máquinas con varios núcleos

Actualizaciones

Source: http://dev.mysql.com/tech-resources/articles/mysql-54.html

x 1.59

Y que en algunos casos puede ser hasta un 59% más rápido que 5.1

Actualizaciones

Actualizar de 5.1 a 5.4 es algo muy sencillo que puede hacer el mono de la empresa.

Herramientas

•Slow-queries log

•EXPLAIN

•Enterprise Manager

Sabemos solucionar algunos problemas,¿pero cómo sabemos qué problemas tenemos?Vamos a ver algunas herramientas para detectar problemas.

Slow-queries log

•Tiempo de ejecución alto

•Consultas que no están utilizando índices

El registro de consultas lentas...

aK.3*IVbINWE3INTE*+,-4,3INJW/*+,-./S4K,$6$9INWE*+,-4,3EJNSE+34JWE4JV,c,3

d$K.3*IV+KU3INT$X+3-XIN01IXK.3*IXK.3*I/3INTeINW

Slow-queries log

El log de consultas lentas se activa con las opciones de configuración...long_query_time son los segundos que tiene que tardar una consulta para que se considere lenta. Por defecto son 10 segundos.Podemos ver resumido el log de consultas lentas con mysqldumpslow

EXPLAIN

Con el comando EXPLAIN podemos saber qué va a hacer el optimizador...

EXPLAINTN-IVf$"gh&)@i$!"&"Z#$ZNV,j$i1K,$$$$$$$$$$$$$$$$$$$$kl'[$ZN+JS-.$$$$$$$$$$$$$$$$$$$$>="l"$ZNJS4J,JS$6$B"+-NU,Bm%888888888888888888888$9e$-NT$888888888888888888888$$$$$$$$$$$4Vn$9$$3,I,0S/S.U,n$!@[h&"$$$$$$$$S1HI,n$ZN+JS-.$$$$$$$$$S.U,n$)&&UN334HI,/O,.3n$i?&&$$$$$$$$$$O,.n$i?&&$$$$$$O,./I,Jn$i?&&$$$$$$$$$$-,Mn$i?&&$$$$$$$$$-NT3n$;o;$$$$$$$$"cS-1n$?34JW$T2,-,

Con el comando EXPLAIN podemos saber qué va a hacer el optimizador...En este caso se han seleccionado los países de Europa. Explain nos dice que se va a Escanear toda la tabla (type: ALL), que no se van a utilizar todas las claves (key: NULL), y que se van a leer 252 filas (rows: 252).Si estuvieramos ordenando y usáramos el disco para ello, lo marcaría en el campo Extra como "using filesort".

EXPLAINTN-IVf$"gh&)@i$!"&"Z#$ZNV,j$i1K,$$$$$$$$$$$$$$$$$$$$kl'[$ZN+JS-.$$$$$$$$$$$$$$$$$$$$>="l"$ZNV,$&@A"$B)CBm%888888888888888888888$9e$-NT$888888888888888888888$$$$$$$$$$$4Vn$9$$3,I,0S/S.U,n$!@[h&"$$$$$$$$S1HI,n$ZN+JS-.$$$$$$$$$S.U,n$-1JW,UN334HI,/O,.3n$hl@[)lp$$$$$$$$$$O,.n$hl@[)lp$$$$$$O,./I,Jn$]$$$$$$$$$$-,Mn$i?&&$$$$$$$$$-NT3n$9q$$$$$$$$"cS-1n$?34JW$T2,-,

Con esta otra consulta podemos ver que se va a usar un índice...Seleccionamos países cuyo código empieza por A.No escaneamos toda la tabla, sino un rango (type: range), los países entre Axx y Bxx.Usamos la clave primaria (key: PRIMARY), que es la columna Code.Se van a escanear sólo 18 filas (rows: 18). Que es un 5% de las consultas anteriores.

Enterprise Monitor

•Disponible con MySQL Enterprise

•Monitorización de servidores

•Solución de problemas

•Query Analizer

Otra herramienta para detectar errores es el MySQL Enterprise Monitor.El Enterprise Monitor monitoriza el estado de nuestros servidores MySQL.Una de las partes del EM es Query Analizer, que analiza todas las consultas que se ejecutan en un servidor y detecta las que pueden ser problemáticas...

Enterprise Monitor

MySQL Enterprise Monitor

MySQL ServerApplication

MySQL Server

Consultas SQL

Estado Servidores

¿Cómo funciona el Enterprise Manager?En un servidor tenemos la aplicación Enterprise Monitor.Por cada servidor MySQL tendremos un agente que lo irá monitorizando y enviará los datos al Enterprise Monitor.

Enterprise Monitor

MySQL Server

Consultas SQL

Estado Servidores

Enterprise Monitor

MySQL Server

Consultas SQL

Estado Servidores

Enterprise Monitor

(Query Analizer)

MySQL ServerApplication Agent(Proxy)

MySQL ServerAgent(Proxy)

Consultas SQL

Estado Servidores Estadísticas Consultas

Para filtrar las consultas que se ejecutan en un servidor, el Agente actúa como un proxy.

Enterprise Monitor

(Query Analizer)

Consultas SQL

Enterprise Monitor

(Query Analizer)

Consultas SQL

Escalabilidad

•Hacer más con más hardware

•Objetivo: Aumentar consultas/sec

•¿Cómo?: Aumentar concurrencia

Cuando ya no podemos sacarle más rendimiento a lo que tenemos, es hora de cambiar.Entendemos como escalabilidad al hecho de obtener más rendimiento ampliando el hardware.

Escalabilidad

2GHz CPUx2 cores

2 GB RAM

100 GB HDD

Hay dos formas de escalar.La primera consiste en mejorar el servidor de la aplicación.

Escalabilidad

2GHz CPUx2 cores

2 GB RAM

100 GB HDD

3GHz CPUx8 cores

8 GB RAM

Escalado Vertical 500 GB HDDx2 (RAID)

Hay dos formas de escalar.La primera consiste en mejorar el servidor de la aplicación.

Escalabilidad

2GHz CPUx2 cores

2 GB RAM

100 GB HDD

De nuevo, comprar una máquina más grande es algo tan sencillo, que puede hacerlo el mono de la empresa.

Escalabilidad

2GHz CPUx2 cores

2 GB RAM

100 GB HDD

Otra forma de escalar consiste en comprar más máquinas igules a las que ya tenemos.Y sobre ellas, ejecutar algún servicio que aproveche varias máquinas.Como la replicación.

Escalabilidad

2GHz CPUx2 cores

2 GB RAM

100 GB HDD

Escalado Horizontal

2GHz CPU

x2 cores

2 GB RAM

2GHz CPUx2 cores

2 GB RAM

100 GB HDD 100 GB HDD

Escalabilidad

2GHz CPUx2 cores

2 GB RAM

100 GB HDD

Escalado Horizontal

2GHz CPU

x2 cores

2 GB RAM

2GHz CPUx2 cores

2 GB RAM

100 GB HDD 100 GB HDD

MySQL Master MySQL Slave MySQL Slave

Replicación

MySQL Master

Binary Log

MySQL Slave

Tenemos un servidor Maestro y uno esclavo.Se inserta en el maestro, y se registra en el log binarioPeriódicamente, el esclavo pedirá los últimos cambios al MaestroConforme los reciba, los aplicará en sus tablasEl resultado es que tanto el maestro como el esclavo mantienen los mismos datos

Replicación

MySQL Master

INSERT

Binary Log

MySQL Slave

TablaINSERT

Replicación

MySQL Master

INSERT

Binary Log

INSERT

MySQL Slave

TablaINSERT

Replicación

MySQL Master

Binary Log

INSERT

MySQL Slave

TablaINSERT

Replicación

MySQL Master

Binary Log

INSERT

MySQL Slave

TablaINSERT INSERT

Replicación

MySQL Master

Binary Log

INSERT

MySQL Slave

TablaINSERT INSERT

ReplicaciónMySQL Master

MySQL Slave

Podemos aplicar la replicación en el caso de una aplicación con mucha carga de lectura.En ese caso, tendremos un esclavo donde se realizarán las modificaciones de datos.Y varios esclavos para consultar datos.

ReplicaciónMySQL MasterINSERT

MySQL Slave

ReplicaciónMySQL Master

MySQL Slave

SELECT

Replicación Circular

1MySQL Master for 2MySQL Slave for 3

Se puede realizar una replicación circular si un esclavo replica cambios a un maestro.Así podríamos soportar aplicaciones con cargas altas de escritura y lectura,o podemos distribuír geográficamente nuestros datos.

MySQL Cluster

Otra forma de escalar horizontalmente es MySQL Cluster...Tenemos los nodos de datos... Un nodo de gestión... Varios servidores MySQL...Al insertar una fila... es el servidor MySQL en encargado de guardada en el cluster.MySQL Cluster nos deja escalar añadiendo nodos en caliente...MySQL Cluster escala muy bien y ofrece muy alta disponibilidad, pero requiere muchas máquinas para funcionar.

MySQL ClusterMySQL Cluster

NDBNDB

Management

NDBNDB

Management

NDBNDB

Management

INSERT

INSERT INSERT

NDBNDB

Management

INSERT

INSERT INSERT

NDBNDB

Hemos visto muchas cosas para optimizar un servidor mysql...Un consejo... ¡¡¡ No toques el servidor de producción !!!Por muchos motivos...

¡¡¡ No toques producción !!!

Hemos visto muchas cosas para optimizar un servidor mysql...Un consejo... ¡¡¡ No toques el servidor de producción !!!Por muchos motivos...

Preparar la migración

•Entorno de pruebas

•Posibilidad de volver atrás

Lo recomendable es probar las cosas siempre en un entorno controlado donde podamos volver atrás.Para este entorno de pruebas, podemos usar MySQL Sandbox.

MySQL Sandbox•one (unix) host

•many database servers

•single or multiple sandboxes

•installs IN SECONDS

•Free software (GPL)

http://mysqlsandbox.net

MySQL Sandbox is a tool that installs an additional MySQL server in a few seconds.You can have more than one database servers in your host, all of them independent from each other. Installing a new server with MySQL Sandbox is a matter of seconds. You can install either a single sandbox or a system including multiple ones.It is free software, and it works on most every unix system.http://www.slideshare.net/datacharmer/mysql-sandbox-quick-demo

1 host - many servers

When you need to test enterprise software, the database is a core component. For this, it's important to be able to have test database servers in your host. You want to be able to test in di!erent conditions, possibly with di!erent versions.With MySQL Sandbox, it's easy to create single servers of di!erent versions, or a replicated system with master and salves, or a group of servers with various versions, or a circular replication system. You can have all of them, one by one , or all at once, and they will not interfere with each other.

5.0.83

single

5.0.83

single

5.1.35

single

5.0.83

single

5.1.35

single

5.4.1single

5.0.83

single

5.1.35

single

5.4.1single

master

slave slave

5.0.82

standardreplication

5.0.825.0.82

5.0.83

single

5.1.35

single

5.4.1single

5.1.35

5.4.15.0.83

master

slave slave

5.0.82

standardreplication

5.0.825.0.82

5.0.83

single

5.1.35

single

5.4.1single

5.1.34

5.1.345.1.34

circularreplication

5.1.35

5.4.15.0.83

master

slave slave

5.0.82

standardreplication

5.0.825.0.82

5.0.83

single

5.1.35

single

5.4.1single

5.1.34

5.1.345.1.34

circularreplication

5.1.35

5.4.15.0.83

master

slave slave

5.0.82

standardreplication

5.0.825.0.82

INDEPENDENT

Installation

•as root

!"#$%&"'()*+,,)%&-./0

Installing MySQL Sandbox is easy. It is a Perl module. Getting it in your server is just a matter of typing one commend as root.If you want, you can also install in the user space. The reference manual explains how to do it.

Creating a single sandbox

•as normal user

!"1%2345%&-./0"6