Instalación en diferentes ambientes
• Cómo todo proyecto Open Source (versiones pares son las estables)• 2.4, 2.6 (2.5 es desarrollo de los features que tendrá la versión 2.6)
• En producción solamente las versiones pares y la última subversión (2.6.7)
• Mongodb se puede descargar tanto binarios como código fuente y compilar
• 32 bits o 64 bits y para cualquier plataforma
Instalación en windows
• www.mongodb.org/downloads
• Necesario dbpath (default: \data\db)
• Puerto por defecto: 27017
• Instalar como servicio:• "C:\mongodb\bin\mongod.exe" --config "C:\mongodb\mongod.cfg" --install
• Eliminar como servicio• mongod.exe --remove
Instalación en Linux (ubuntu)
- sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv 7F0CEB10
- echo 'deb http://downloads-distro.mongodb.org/repo/ubuntu-upstart dist 10gen' | sudo tee /etc/apt/sources.list.d/mongodb.list
- sudo apt-get update
- sudo apt-get install -y mongodb-orgmongodb-orgThis package is a metapackage that will automatically install the four component packages listed below.mongodb-org-serverThis package contains the mongod daemon and associated configuration and init scripts.mongodb-org-mongosThis package contains the mongos daemon.mongodb-org-shellThis package contains the mongo shell.mongodb-org-toolsThis package contains the following MongoDB tools: mongoimportbsondump, mongodump, mongoexport, mongofiles, mongooplog, mongoperf, mongorestore, mongostat, and mongotop.
Parámetros de configuración
• http://docs.mongodb.org/manual/reference/configuration-options/
Comandos básicos del Shell de mongodb
• help Muestra ayuda• db.help() Muestra ayuda para db• db.<collection>.help() muestra ayuda para cualquier colección• show dbs Muetra las dbs• use <db> Cambia la db que se usa• show collections Lista todas las colecciones de una db• show users Muestra los usuarios de una db• show roles Muestra los roles de la db• show profile Muestra los queries que demoraron más de 1 milisegundo• show databases = show dbs
Comandos básicos del Shell de mongodb
• db.cloneDatabase(<host>) Clona la db actual al host especificado, el host no puede tener seguridad.
• db.copyDatabase(<from>, <to>, <host>) Copia la db <from> desdeel <host a la db que se especifique.
• db.fromColl.renameCollection(<toColl>) Renombra la co.
• db.repairDatabase() Repara y compacta la db. Es lento y bloquea la db
• db.createUser( <user>, <pwd> ) Agrega un usuario a la db actual
• db.getCollectionNames() Lista las colecciones de la db actual.
• db.dropDatabase() borra la db actual.
Creación y administración de usuarios
• Por defecto no autorización ni autenticación
• 2 formas de habilitarlo• Antes de iniciar servicio con auth
• Iniciar servicio con auth y aprovechar el localhost exception (no recomendado para armar replicasets/sharing)
Authorization
• Si el servicio corre standalone habilitando el flag auth
• Si el servicio corre como parte de un replication set o un shard es necesario un keyfile (compartido) como mínimo• MongoDB soporta 2 mecanismos en su versión no paga: password base
(keyfile) y certificados x.509
openssl rand -base64 741 > mongodb-keyfile
chmod 600 mongodb-keyfile
Authentication
• Un usuario pertenece a una db y sobre estas puede tener todos los roles que quiera
• Existen 2 bases de datos especiales en mongodb (admin y local) y los usuarios de esas bases de datos pueden realizar operaciones en otrasbases de datos siempre y cuando se les den acceso
use admindb.createUser(
{user: “root",pwd: "password",roles: [ { role: "userAdminAnyDatabase", db:
"admin" } ]}
)
use admindb.createUser(
{user: “god",pwd: "password",roles: [ “root”]
})db.runCommand({rolesInfo: “god", showPrivileges: true});db.runCommand({rolesInfo: { role: "dbAdmin", db: "blog" } , showPrivileges: true});
Roles
• A nivel de datos de bases de datos:• read• readWrite
• A nivel de administración de bases de datos:• dbAdmin• dbOwner• userAdmin
• Lista completa de roles predefinidos:http://docs.mongodb.org/manual/reference/built-in-roles/#built-in-roles
• Lista completa de las funciones que se pueden hacer con roles:http://docs.mongodb.org/manual/reference/command/#role-management-commands
db.createUser({
user: "accountUser",pwd: "password",roles: [ "readWrite", "dbAdmin" ]
})db.runCommand({connectionStatus:1});db.updateUser(“usuario”, doc)
Comandos útiles para creación y manipulación de usuariosdb.createUser({
user: "siteUserAdmin",
pwd: "password",
roles: [ { role: "userAdminAnyDatabase", db: "admin" } ] })
db.createUser({
user: "superuser",
pwd: "12345678",
roles: [ "root" ]})
db.updateUser("user123",{
pwd: "KNlZmiaNUp0B",
customData: { title: "Senior Manager" }})
db.changeUserPassword("reporting", "SOh3TbYhxuLiW8ypJPxmt1oOfL")
db.getUser(“”)
db.getRole( "readWrite", { showPrivileges: true } )
db.grantRolesToUser(
"reportsUser",
[{ role: "readWrite", db: "products" } ,
{ role: "readAnyDatabase", db:"admin" }])
db.revokeRolesFromUser(
"reportsUser",
[{ role: "readWrite", db: "accounts" }]
)
db.createRole({
role: "manageOpRole",
privileges: [{ resource: { cluster: true }, actions: [ "killop", "inprog" ] },
{ resource: { db: "", collection: "" }, actions: [ "killCursors" ] }],
roles: []})
Conceptos a conocer de mongodbMemory Mapped Files• Todos los archivos de datos son memory mapped a la memoria virtual
del OS
• MongoDB lee y escribe en RAM y el filesystem hace el resto
• Virtual Process size: suma de los tamaños de los arhivos + overhead (heap, conexiones)
• Si el journal está activo el tamaño de la memoria virtual será casi el doble
Conceptos a conocer de mongodbJournal• Los cambios en los archivos mapeados en memoria no se aplican en
orden y diferentes partes de un archivo pueden ser de diferentesmomentos
• Si algo sucedió y mongodb se cierra inesperadamente queremos volver a tener un estado consistente.
Conceptos a conocer de mongodbArchivos
drwxr-xr-x 136 Nov 19 10:12 journal
-rw------- 16777216 Oct 25 14:58 test.0
-rw------- 134217728 Oct 25 14:58 test.1
-rw------- 268435456 Oct 25 14:58 test.2
-rw------- 536870912 Oct 25 14:58 test.3
-rw------- 1073741824 Oct 25 14:58 test.4
-rw------- 2146435072 Oct 25 14:58 test.5
-rw------- 16777216 Oct 25 14:58 test.ns
Conceptos a conocer de mongodbArchivosdrwxr-xr-x 136 Nov 19 10:12 journal
-rw------- 16777216 Oct 25 14:58 test.0
-rw------- 134217728 Oct 25 14:58 test.1
-rw------- 268435456 Oct 25 14:58 test.2
-rw------- 536870912 Oct 25 14:58 test.3
-rw------- 1073741824 Oct 25 14:58 test.4
-rw------- 2146435072 Oct 25 14:58 test.5
-rw------- 16777216 Oct 25 14:58 test.ns
--directoryperdb--smallfiles–nopreallocate para muchas base de datos
Conceptos a conocer de mongodbIndices
Conceptos a conocer de mongodbStats > db.Sessions.stats(){
"ns" : "SessionState.Sessions",
"count" : 2720,
"size" : 16509440,
"avgObjSize" : 6069,
"storageSize" : 58408960,
"numExtents" : 8,
"nindexes" : 2,
"lastExtentSize" : 20643840,
"paddingFactor" : 1,
"systemFlags" : 1,
"userFlags" : 1,
"totalIndexSize" : 351568,
"indexSizes" : {"_id_" : 212576,"Expires_1" : 138992},
"ok" : 1}
> db.stats(){"db" : "SessionState","collections" : 4,"objects" : 3504,"avgObjSize" : 4996.649543378995,"dataSize" : 17508260,"storageSize" : 59473920,"numExtents" : 11,"indexes" : 2,"indexSize" : 351568,"fileSize" : 67108864,"nsSizeMB" : 16,"dataFileVersion" : {"major" : 4, "minor" : 5},"extentFreeList" : {"num" : 0,"totalSize" : 0},"ok" : 1}
Replica Sets
Replica Set – Initialize
Replica Set – Failure
Replica Set – Failover
Replica Set – Recovery
Replica Set – Recovered
> conf = {
_id : "mySet",
members : [
{_id : 0, host : “host:20717”, priority : 3},
{_id : 1, host : “host:27018", priority : 2},
{_id : 2, host : “host:27019”},
{_id : 4, host : "E", hidden : true, slaveDelay : 3600}
]
}
> rs.initiate(conf)
Configuration Options
> conf = {
_id : "mySet",
members : [“host:20717”,
“host:27018", “host:27019”],
{_id : 4, host : "E", hidden : true, slaveDelay : 3600}
}
> rs.initiate(conf)
Desarrollando con replica setsAlta consistencia de datos
Desarrollando con replica setsBaja consistencia de datos
Write Concern
• Network acknowledgement
• Wait for error
• Wait for journal sync
• Wait for replication
Unacknowledged
MongoDB Acknowledged (wait for error)
Wait for Journal Sync
Wait for Replication
Tagging• Controla desde donde y hacia donde leer y escribir
• Cada miembro puede tener uno o más tags• tags: {dc: "ny"}
• tags: {dc: "ny", subnet: "192.168", rack: "row3rk7"}
• Replica Sets definen las reglas de write concern
• Las reglas pueden cambiar sin afectar el desarrollo ya realizado
Un ejemplo
• {
• _id : "mySet",
• members : [
• {_id : 0, host : "A", tags : {"dc": "ny"}},
• {_id : 1, host : "B", tags : {"dc": "ny"}},
• {_id : 2, host : "C", tags : {"dc": "sf"}},
• {_id : 3, host : "D", tags : {"dc": "sf"}},
• {_id : 4, host : "E", tags : {"dc": "cloud"}}],
• settings : {
• getLastErrorModes : {
• allDCs : {"dc" : 3},
• someDCs : {"dc" : 2}} }
• }
• > db.blogs.insert({...})
• > db.runCommand({getLastError : 1, w : "someDCs"})
Wait for Replication (Tagging)
Modos de lectura• 5 modes
• primary (only) - Default
• primaryPreferred
• secondary
• secondaryPreferred
• Nearest
Cuando más de un nodo es posible de elegir el más cercano es el usado
Mantenimiento y upgrade• No downtime
• Hacer mantenimiento/upgrade– Empezar con los nodos secundarios
– Dejar para el final de primario
Replica Set – 1 Data CenterSingle datacenter
Puntos de falla:– Power
– Network
– Data center
– Que fallen 2 nodos
Replica Set – 2 Data CentersMulti data center
Un nodo en otro DC
No es posible durabilidadya que si se cae el DC1 no podrá hacerse comoprimary (falta al menos 1 member más)
Replica Set – 3 Data Centers3 data centers
Cómo funciona internamente
• Heartbeat cada 2 segundos• Times-out en 10 segundos
• Local DB (not replicated)– system.replset
– oplog.rs
• Capped collection donde se almacenan lasoperaciones realizadas en el nodo
Replica Set commands
• rs.initiate(config) -> inicializa la replicaset• Config=> doc con members
• rs.status() -> status
• rs.isMaster() -> devuelve info de quien es master
• rs.config()
• rs.reconfig(config)
• rs.add( { "_id": 3, "host": "mongodbd3.example.net:27017", "priority": 0 } )
• rs.stepDown()
• rs.freeze() -> no elegirme como primario por x n segundos
• rs.remove()
• rs.slaveOk()
• db.isMaster()
• rs.syncFrom()
Sharding
Vertical Scalability (Scale Up)
Horizontal Scalability (Scale Out)
Particionado
• Los usuarios definen el shard key
• Los shard keys definen un rango de datos
• Los keys son como puntos en una línea
• El rango es un segment de esa línea
Distribución de la información
• Inicialmente 1 chunk (64mb)
• MongoDB automáticamente divide y migra los chunks when el máximo es alcanzado
Balanceo y ruteo
• Las consultas rutean a los shards específicos
• MongoDB balancea el cluster
• MongoDB migra automáticamente a nuevos nodos
Architecture
• Juguemos con un sharding de pruebamongo –nodbcluster = new ShardingTest({"shards" : 3, "chunksize" : 1})db = (new Mongo("localhost:30999")).getDB("test")for (var i=0; i<100000; i++) {db.users.insert({"username" : "user"+i, "created_at" : new Date()});}db.users.count()sh.status()sh.enableSharding("test")db.users.ensureIndex({"username" : 1})sh.shardCollection("test.users", {"username" : 1})
db.users.find({username: "user12345"}).explain()db.users.find().explain()cluster.stop()
Qué es un shard?
• Shard es un nodo del cluster
• Un shard puede ser un simple mongod o una replica set
Meta Data Storage
• Config servers• Almacena cluster chunk ranges and locations
• O 1 o 3 (en producción tienen que ser 3)
• No son replica sets (almacenan lo mismo por separado)
Routing y balanceo
• Mongos• Actúan como routers/balanceadores
• No tienen información local (persiste la info en los config servers)
• Puede ser como mínimo uno o más (pueden correr en los mismos server que los config servers)
infrastructura Sharding
Iniciar un servidor de configuración
• mongod –configsvr default port (27019)
mongos Router
• mongos --configdb <hostname>:27019
• Para 3 servidores de configuración
mongos --configdb <host1>:<port1>,<host2>:<port2>,<host3>:<port3>
• Siempre se puede agregar un nuevo mongos por más que el cluster esté andando
Arrancar un shard
• mongod --shardsvr
• Arranca un mongod con el
Puerto por defecto (27018)
• Shard no es parte del
cluster
• Shard puede haber corrido
en producción
Agregar el Shard
• On mongos: • sh.addShard(‘<host>:27018’)
• Adding a replica set: • sh.addShard(‘<host>:<port>’) de un nodo del replica set
Verificar que un shard se haya agregado
db.runCommand({ listshards:1 })
Habilitar Sharding
sh.enableSharding(“<dbname>”)
sh.shardCollection(“<dbname>.people”,{“country”:1})
sh.shardCollection(“<dbname>.cars”,{“year”:1, ”uniqueid”:1}) -> key
compuesto para evitar duplicados
Chunk es una sección de un rango másgrande
Separando Chunks
• Un chunk es dividido solamente cuando exceed su máximo tamaño
• Si los shard key tienen el mismo valor no se pueden dividir
• La division de un Chunk es una operación lógica (no hay movimientode información)
Balanceo• Mongos corren los balanceos
• Cuando la diferencias de chunks entre los shards más densos y los menos densos llega al punto máximo comienza la migración
Ronda de balanceo
• Un mongos toma el Balancer lock
• Statususe config
db.locks.find(
{ _id: “balancer” })
Mover chunks
• Mongos envía un moveChunk al shard de origen
• El shard de origen notifica al shard de destino
• El shard de destino toma el documento desde el origen
Listo, documento en Nuevo shard
• El shard de destino actualiza el servidor de configuración
Ruteo de consultas: Consultas puntuales
Ruteo de consultas: Consultas puntualesrecibimos pedido
Ruteo de consultas: Consultas puntualesSabemos donde está la info
Ruteo de consultas: Consultas puntualesel shard devuelve lo solicitado
Mongos devuelve la info al cliente
Ruteo de queries más complejas (mapping)
Consulta compleja recibida
Enviamos el pedido a todos los shards
Devuelven la info que solicitamos
Mongos devuelve al cliente
Mismo caso con sort
Shard Key
• Shard key es immutable
• Los valores de los Shard key son immutables
• Tienen que estar indexados
• Shard key limitado a 512 bytes
• Shard key usado como route query• Elegir un campo comunmente usado en consultas
Consideraciones
• Cardinalidad
• Distribución de escritura
• Query Isolation
• Disponibilidad
• Localidad de los índices
Optimizar el ruteoMinimizar tráfico innecesarioPermitir el mejor escalamiento
Métodos de Backup
• 3 posibilidades:• LVM snapshots
• mongodump -> mongorestore
• MMS backup service
Métodos de BackupLVM snapshots• Consiste en hacer un snapshot de todo el volumen donde está
montada la db• La base de datos debe estar en un estado válido al momento del snapshot
• Si hay documentos que se están escribiendo puede quedar en un estado inconsistente
• Si se usa journaling el journal tiene que residir en el mismo volumen
• No se puede capturar el backup incremental
Métodos de Backupmongodump-mongorestore• Para poder hacer un dump el usuario como mínimo rol de backup o
dbAdmin• Algunos parámetros necesarios
• mongodump –u <usuario> -p <pwd> --authenticationDatabase <db> --host <host><:port> -d <database> -c <collection> -o <path> --oplog --journal
• Para hacer restore el procedimiento es similar• mongorestore –u <usuario> -p <pwd> --authenticationDatabase <db> --host
<host><:port> -d <database> -c <collection> -o <path> --oplogReplay –oplogLimit<timestamp>
mongodump
• options:
• --help produce help message
• -v [ --verbose ] be more verbose (include multiple times for more verbosity e.g. -vvvvv)
• -h [ --host ] arg mongo host to connect to ( <set name>/s1,s2 for sets)
• --port arg server port. Can also use --host hostname:port
• --ipv6 enable IPv6 support (disabled by default)
• -u [ --username ] arg username
• -p [ --password ] arg password
• --dbpath arg directly access mongod database files in the given path, instead of connecting to a mongod server - needs to lock the data directory, so cannot be used if a mongod is currently accessing the same path
• --directoryperdb if dbpath specified, each db is in a separate directory
• -d [ --db ] arg database to use
• -c [ --collection ] arg collection to use (some commands)
• -o [ --out ] arg (=dump) output directory or "-" for stdout
• -q [ --query ] arg json query
• --oplog Use oplog for point-in-time snapshotting
• --repair try to recover a crashed database
mongorestore
options:
--help produce help message
-v [ --verbose ] be more verbose (include multiple times for more verbosity e.g. -vvvvv)
-h [ --host ] arg mongo host to connect to ( <set name>/s1,s2 for sets)
--port arg server port. Can also use --host hostname:port
--ipv6 enable IPv6 support (disabled by default)
-u [ --username ] arg username
-p [ --password ] arg password
--dbpath arg directly access mongod database files in the given path, instead of connecting to a mongod server - needs to lock the data directory, so cannot be used if a mongod is currently accessing the same path
--directoryperdb if dbpath specified, each db is in a separate directory
-d [ --db ] arg database to use
-c [ --collection ] arg collection to use (some commands)
--objcheck validate object before inserting
--filter arg filter to apply before inserting
--drop drop each collection before import
--oplogReplay replay oplog for point-in-time restore
Métodos de BackupMMS backup service• Servicio hosteado por la gente de 10gen (mongodb)
• Incremental backup
Métodos de BackupIncremental backups• https://github.com/EqualExperts/Tayra/
• https://github.com/reverb/wordnik-oss
• MMS
Importando y exportando collecciones
mongoimport --host localhost --db myDB --collection myCollection --type csv --file data.csv --headerline –upsert
mongoexport --host localhost --db myDB --collection myCollection --csv –out data.csv
Algunas otras cosas
• Capped Collections• db.createCollection( "log", { capped: true, size: 100000 , max:1000} )
• db.collection.isCapped()
• db.runCommand({"convertToCapped": "mycoll", size: 100000});
• Ttl collections• db.log_events.ensureIndex( { "createdAt": 1 }, { expireAfterSeconds: 3600 } )
Notas para llegar a producción
• Redes • Connection pooling
• db.runCommand({ connPoolStats: 1 } )
• Hardware• SSD cuando sea posible• CPU y suficiente RAM para manejar el volumen o carga• Disco
• Obviar NFS cuando sea posible• Separar journals/databases en diferentes volúmenes
• ReplicaSet o Sharding
• Definir el nivel de Write concern que se requiera
SeguridadExposición en redes y seguridad
- wire protocol
- bind_ip: intentar que la exposición sea únicamente hacia adentro
- port: si bien el 27017 es el default de mongo no viene mal cambiarlo
- desde que redes pueden llegar? Filtremos lo más posible
SeguridadChecklist de seguridad
• Siempre con authorization y authentication
• Collection-level Access control• db.createRole( {
role: "collectionInventario",
privileges: [ { resource: { db: "products", collection: "inventory" },
actions: [ "find", "update", "insert" ] },
{ resource: { db: "products", collection: "orders" },
actions: [ "find" ] } ] , roles: [] })
db.grantRolesToUser( "usuario", [ "collectionInventario" ] )
db.getUser(“usuario”)
• http://docs.mongodb.org/v2.6/MongoDB-security-guide.pdf
MonitoreoQué y con qué?
• Working sets• db.stats()• db.runCommand( { serverStatus: 1, workingSet: 1 } )
• Oplog replication lag• rs.printSlaveReplicationInfo()
• IOPS• Cantidad de conexiones
• db.runCommand ({connPoolStats: 1})
• Disponibilidad en el storage• Memoria• Uso de CPU (+70% empezamos a complicarnos, queries no optimizadas, etc)• Capacidad de redes/Traffic IN/OUT• Pages faults
• db.adminCommand({"serverStatus" : 1}).recordStats -> cantidad de veces que tuvimos que haceswap de páginas
MonitoreoQué y con qué?
• iostat
• vmstat
• mongotop
• mongostat
• mongoperf echo “{nTheards:12, fileSizeMB:1024, r:true}” | mongoperf
• Mirar las slow queries (
• db.setProfilingLevel(1, 100)
• db.system.profile.find().limit(10).sort( { ts : -1 } ).pretty()
• Mucho mejor con - http://mongolab.org/dex/
MonitoreoHerramientas de monitoreoIntegrando con otras herramientas
Tool Plugin Description
Ganglia mongodb-ganglia
Python script to report operations per second, memory usage, btree statistics, master/slave status and current connections.
Ganglia gmond_python_modulesParses output from the serverStatusand replSetGetStatus commands.
Motop None
Realtime monitoring tool for MongoDB servers. Shows current operations ordered by durations every second.
mtop None A top like tool.
Munin mongo-munin Retrieves server statistics.
Munin mongomonRetrieves collection statistics (sizes, index sizes, and each (configured) collection count for one DB).
Munin munin-plugins Ubuntu PPASome additional munin plugins not in the main distribution.
Nagios nagios-plugin-mongodbA simple Nagios check script, written in Python.
Zabbix mikoomi-mongodbMonitors availability, resource utilization, health, performance and other important metrics.
http://docs.mongodb.org/manual/administration/monitoring/#self-hosted-monitoring-tools
Operando mongodb
• db.currentOp() – o filtrar por cualquier parte del documento
• db.killOp()
• db.system.profile.find().pretty()
Complementos
• Herramientas varias para trabajar con mongodb• Rockmongo
• MMS overview
Disaster recovery
• Procedimientos y prácticas
Consideraciones finales
• Procedimientos y prácticas
Recommended
