Oficina Puppet latinoware

Gerência de Configurações c/ PuppetPatrocínio: 4Linux

José Augusto (Guto) Carvalhogutocarvalho@4linux.com.br

Thursday, October 25, 12

- Desenvolvimento- Soluções e Aplicativos- Treinamento

Baseados em:- Softwares Livres- Open Source- Padrões Abertos

Para construir sua infraestrutura de TI e criar novas soluções de negócio.

Prestação de serviços em:- Consultoria- Suporte- Projetos

Consultor/SysAdmin (LPIC-3) na 4Linux

12 anos de experiência com tecnologias FOSS

Blogueiro FOSS há 6 anos no site gutocarvalho.net

Atuação em vários projetos de Governo no MDA, MINC, EBC/RADIOBRÁS, MPS/DATAPREV, ITI/PR, CEF, MD/SIPAM, DETRAN/DF, CAIXA

Há 2 anos trabalhando com gerência de configurações em ambientes virtualizados e clouds privadas em Brasília

whoami

Oficina PuppetThursday, October 25, 12

Plano de Trabalho

50 min de apresentação GC & Puppet

60 min hands on puppet serverless

60 min hands on puppet master

10 min para perguntas

AgendaApresentando Cenários

Gerência de Configurações e Infraestrutura como Código

Puppet como solução de Gerência de Configurações

Hands On: Puppet Serverless

Hands On: Puppet Master

Hands On: Puppet Dashboard

Perguntas

Virtualização - Tendência

Virt. e seus BenefíciosMenor consumo de energia

Melhor aproveitamento de espaço físico

Melhor aproveitamento de hardware (sem hw ocioso)

Maior segurança com isolamento de ambientes

Pode-se trabalhar disponibilidade e balanceamento

Facilidade de provisionamento e gerenciamento

Cloud Computing - Tendência

Cloud e seus BenefíciosHiper escalável

Rápida e elástica

Abstração de hardware

Infraestrutura dinâmica

Alta disponibilidade

Investimento atraente para projetos emergentes

ProvisionamentoPodemos criar 500 VM’s em

poucos minutos

Como Administrar 500 VM’s?

Configuração Manual?

Acesso Secure Shell (ssh)?

Host a Host?

Quantos SysAdmins são necessários para administrar 500 servidores?

Qual a velocidade nas mudanças em seu ambiente?

Qual a probabilidade de falhas decorrentes de mudanças manuais?

Você consegue manter todo o seu ambiente padronizado?

Seu custo com manutenção e equipes técnicas está aumentando?

Está difícil colocar suas configurações nos trilhos?

Como resolver isto?Como obtenho controle e

padronização em meu ambiente ?

Gerência de Configurações

Padronização

Automatização

Controle

Integridade

Desempenho

Agilidade nas mudanças

PuppetFerramenta de nova geração que implementa gerência de

configurações para seu ambiente.

Visão Rápida

Framework Open Source para Gerência de Configurações

Oferece um cojunto de ferramentas para manipular estados

Nos permite trabalhar a Infraestrutura como código

Funciona localmente ou via rede

Oferece uma linguagem declarativa para descrever configurações de sistemas e serviços

Sobre a ferramenta

Suporte a Linux, BSDs, Solaris e Windows (19 tipos de OS)

Criado por Luke Kaines (CEO e Fundador Puppetlabs)

Empresa PuppetLabs mantém a Ferramenta

Ferramenta OpenSource (Licença Apache)

Recebeu grandes investimentos

Empresa oferece Suporte Corporativo e Versão Enterprise

Feito por um SysAdmin para SysAdmins

Eficiente para uso DevOps

Especificações

Escrito em Ruby

Extensível usando código Ruby

Funciona em modo Autônomo (serverless)

Funciona em modo Cliente/Servidor usando API REST

Provê comunicação segura usando SSL

Quem usa o Puppet?

ArquiteturaComo funciona o Puppet?

Resource Abstraction Layer

Puppet: RAL

Resource Abstraction Layer = RAL

Camada de Abstração de Recursos

Fale o que você quer que seja feito

Não se preocupe em como será feito

O Puppet sabe como fazer

Instale Pacote X

Remova usuário Z

(Re)inicie serviço Y

Tratamento de Informações

O grande diferencial do Puppet é a forma como ele trata as informações de seus nodes

Tratamento de informações

No Puppet tudo é modelado e tratado como ‘dados’

O estado atual de um node (servidor) é um dado

Um pacote instalado em um node é um dado

Um usuário em um servidor é um dado

Os dados são inseridos em catálogos para serem utilizadosO catálogo é processado pelo node e as modificações

são aplicadas de acordo com o que foi declarado.

Processamento do Catálogo

1) Agente Requisita Catálogo1.1) Agente envia Fatos para Master2) Master Processa Fatos e Compara2.1) Master Produz e envia Catálogo3) Node Recebe, Compara e Aplica4) Node informa estado atual ao Master5) Sistema reflete catálogo

Idempotência

ConfiguraçõesVoláteis e Dados

Puppet MasterMódulos Estáticos

Ambiente Puppet

LDAP DNS MONIT SYSLOG

JBOSS APACHE MYSQL PGSQL

Puppet Agents

Camada de Aplicação

Camada de Serviços Estruturantes

Administração Instâncias

Administrar Cloud IaaS ou uma infra Virtualizada não é difícil

Escalabilidade automática é um recurso fantástico na Cloud

Balanceamento e Alta disponibiliade são recursos nativos de Virt.

Criar novos servidores é muito fácil tanto na Cloud quanto em Virt.

Administrar centenas de nodes? Aqui começa a complicar.

Quando seu ambiente começar a crescer demais você vai perceber administrá-lo não é tão simples.

Adicionando Nodes

ZABBIX

POSTGRESQL

MEMCACHED

Adicionando Nodes

ZABBIX

POSTGRESQL

MEMCACHED

Adicionar um novo node representa N mudanças

Adicionando Nodessysadmin-utilszabbix-agent

ntpconflocaleshostsusers

localmtasmtpdvimrc

backup-agentapt-repos

ZABBIX

POSTGRESQL

MEMCACHED

Como o Puppet pode ajudar?

Automatizando todo o seu ambiente

Provendo maior produtividade com menor esforço

Padronizando seus nodes logo após a criação e instalação

Modificando configurações de forma controlada

Mantendo o estado declarado para cada node/instância

Insira o Puppet na imagem de instalação de seus nodes.

Pare de administrar e começe a desenvolver sua infra

Não tenha medo de realizar atualizações, o puppet faz pra você!

Você pode fazer deploy de sua APPVocê pode controlar a versão de sua APP

Como funciona o modo cliente/servidor?

Puppet Visão em Rede

Puppet Master

Puppet Client

8140 TCPClient

puppetd -t

8139 TCPServer

puppetrunSSL

Arquitetura Cliente/Servidor

O agente gera um certificado digital

O master precisa autorizar o certificado

Sem autorização o agente não pode se comunicar

Toda a comunicação entre agente e master é segura

Fluxo Cliente/Servidor

Instalação do node

Inicialização do puppet

Geração de Certificado

Envio de Certificado

Master Assina Certificado

Agente Sincroniza

Modalidades de Assinatura de CertificadoAssinatura pode ser manualAssinatura pode ser automática por domínioAssinatura pode ser automática em qualquer requisição

O agente se comunica com o master a cada N minutos

E quais os recursos disponíveis para gerenciar sistemas e serviços?

Como manipulo estados do meu ambiente?

Recursos do Puppet

Resource Types

Parâmetros e Meta-parâmetros

Templates e Definições

Classes e Módulos

Funções e Condicionais

Puppet Resource Types

Arquivos e Diretórios

Usuários

Pacotes

Serviços

Yum Repos

Augeas

O puppet oferece 38 tipos de recursos nativos, e você pode estendê-lo.

Resource Type: PackagesSuporte a 23 tipos de provedores de pacotes

Faz a abstração do OS

Declare se o pacote deve estar presente ou ausente

Declare se o pacote deve sempre estar em sua última versão

Resource Type: ServicesSuporta 11 tipos de sistemas INIT para inicializar serviços

Declare se um serviço deve estar sempre rodando

Declare se um serviço deve ser carregado no boot

Declare se um serviço depende de um pacote ou arquivo

Resource Type: FileEspecifique permissões e owners

Declare arquivos, diretórios e links

Controle de mudanças usando até 15 tipos de checksums

ExemplosThursday, October 25, 12

Instala, Configura e Inicia

# aptitude install apache2

# update-rc.d -f apache2 defaults

# cp ~/httpd.conf /etc/apache2/

# invoke-rc.d apache2 start

debian-way

package { 'apache2':ensure => present,}

service { 'apache2':

ensure => running,enable => true,}

file { 'httpd.conf':path => “/etc/apache2/httpd.conf”,source => “/etc/puppet/files/httpd.conf”,}

package { 'apache2':ensure => present,}

service { 'apache2':

ensure => running,enable => true,}

file { 'httpd.conf':path => “/etc/apache2/httpd.conf”,source => “/etc/puppet/files/httpd.conf”,}

resource typeparameter

titlevalue

Base Classclass linux-server { include sysadmin-utils include zabbix-agent include ntpconf include locales include hosts include users include localmta include vimrc include backup-agent include apt-repos}

Declarando um nodenode “servidor.dominio” { include linux-server include module}

node “balancer.dominio” { include linux-server include cyrus::backend include postfix::hub include haproxy::mailproxy}

Variáveis e FatosFatos (facter)

vimpackage => vim-puppet,

apacheservice => apache2,

ntpconfrhel => ntp.conf.rhel,

Variáveisdomainfqdnhostnameinterfacesipaddress_eth0ipaddress_eth1ipaddress_lolsbdistidlsbdistrelease

=> hacklab,=> puppetmaster.hacklab,=> puppetmaster,=> eth0,eth1,lo,=> 10.0.2.15,=> 192.168.56.150,=> 127.0.0.1,=> debian,=> 6.0.5,

Condicionaiscase $operatingsystem { CentOS,RedHat: { $package_name = 'ntp', $service_name = 'ntpd', $conf_file = 'ntp.conf.el', } Debian,Ubuntu: { $package_name = 'ntp', $service_name = 'ntp', $conf_file = 'ntp.conf.debian', }}....

Definiçõesproxy::squid { 'ProxyFilial' : http_port squid_mode squid_hostname cache_mem maximum_object_size_in_memory maximum_object_size memory_replacement_policy cache_replacement_policy cache_dir cache_mgr cache_effective_user cache_effective_group dns_nameservers ips_squid }

=> '3128',=> 'transparent',=> 'proxy.4linux',=> '2 GB',=> '6 MB',=> '128 MB',=> 'heap GDSF',=> 'heap LFUDA',=> 'aufs /var/spool/squid 1024 16 256',=> 'monitora@4linux.com.br',=> 'proxy',=> 'proxy',=> '127.0.0.1 10.61.12.2 172.16.1.1',=> '127.0.0.1 192.168.12.3',

Templates

myorigin = <%= hostname %>mydestination = $myhostname, ..., localhost, <%= fqdn %>

Trecho do template postfix/main.cf

myorigin = servidor.dominiomydestination = $myhostname, ..., localhost, servidor.dominio

Substituição de variáveis por fatos

E como acompanho mudanças?

Puppet Dashboard

Posso fazer mudanças em tempo real?

Marionette Collective

Orquestrador de nodes

Execução de Tarefas Paralelas

Interação com centenas de nodes

Inventário descentralizado

Leitura de meta-dados do Puppet

Similar a Fabric e Capistrano

Hands On: Puppet Serverless

http://gutocarvalho.net/dokuwiki

Cenário

1 VM - Debian 64bits - para PuppetServerless (local)

instalando puppet

Resource Types

Parameters

Meta-parameters

Provedores

RAL: Modifica & Sincroniza

Verifica o estado atual de um recurso

Compara dados coletados

Aplica mudanças

Recursos

tipo { 'título': param1 => 'valor', param2 => 'valor', param3 => 'valor', metaparam1 => 'valor', metaparam2 => 'valor', function1 => 'valor', function2 => 'valor',}

Exemplo de Recurso

Exemplo de Recurso: User

user { 'gutocarvalho': ensure => 'present', gid => '500', home => '/home/gutocarvalho', password => '$6$BE6a/5SJ...KfCy0', password_max_age => '99999', password_min_age => '0', shell => '/bin/bash', uid => '500',}

Recurso, Título, Atributos

puppet resourcevamos manipular estados

usando o comando resource

puppet resource user{

puppet resource package

puppet resource service

resource typesvamos aprender a utilizar tipos distintos de recursos, inserí-los

em manifests e aplicá-los

manifest

puppet apply manifest.pp

resource type: file

resource type: package

resource type: service

resource type: exec

resource type: cron

resource type: host

meta-parâmetrosvamos aprender a utilizar os meta-

parâmetros, eles podem ser utilizados com praticamente todos os resource

types do puppet

meta-parameter: require

meta-parameter: notify

meta-parameter: alias

meta-parameter: subscribe

configuração em trio

package { 'pacote': ensure => present, } service { 'servico': ensure => running, enable => true, hasrestart => true, hasstatus => true, require => Package['pacote'], } file { 'main.cf': path => "/etc/pacote/pacote.conf", source => "/root/puppet/pacote.conf", owner => 'root', group => 'root', mode => 644, require => Package['pacote'], notify => Service['servico'], }

Exemplo Conceitual Trio

Exemplo Real Trio: Postfixpackage { 'postfix': ensure => present,} service { 'postfix': ensure => running, enable => true, hasrestart => true, hasstatus => true, require => Package['postfix'],} file { 'main.cf': path => "/etc/postfix/main.cf", source => '/root/puppet/main.cf', owner => 'root', group => 'root', mode => 644, require => Package['postfix'], notify => Service['postfix'],}

Variáveis, Fatos e Condicionais

Vamos aprender a trabalhar com variáveis, fatos e

condicionais dentro de nossos manifests no puppet

variáveis

condições

seletores

ClassesVamos aprender a agrupar

configurações dentro de classes

TemplatesVamos aprender a trabalhar com arquivos dinâmicos que

utilizam variáveis e fatos

filebucket local

cenários para uso de puppet serverless

Hands On: Puppet Master

http://gutocarvalho.net/dokuwiki

Cenário

1 VM - Debian 64bits - para PuppetMaster (servidor)

1 VM - Debian 64bits - para PuppetAgent (node)

1 VM - Debian 64bits - para PuppetDashBoard (dashboard)

PuppetMaster: Teoria

API REST

TCP/IP

Certificados Digitais

Instalando puppetmaster

DNS, Host, Hostname

Estrutura do Master

Instalando PuppetAgent

DNS, Host, Hostname

Estrutura do Agent

Primeiro Contato Agent/Master

Manipulando Certificados no PuppetMaster

NodesVamos entender o que é um

node e como declaramos uma configuração para ele.

Empurrando uma Configuração

ClassesVamos aprender a trabalhar

com classes em modo master/agent.

DefiniçõesVamos aprender a trabalhar com classes parametrizadas

em modo master/agent.

MódulosVamos aprender a trabalhar

com módulos no puppet.

Organizando o Master

EscalandoVamos aprender a substituir o

Webrick pelo Apache com ModPassenger para que o

puppet Escale.

instalando puppetmaster-passenger

Hands On: Puppet Dashboard

instalando o dashboard

integrando master ao dashboard

habilitando reports nos agents

Qual o resultado concreto?

Documentação Instantânea

Restore e backup de mudanças

Processos bem definidos

Ambiente Padronizado

Tarefas Automatizadas

Quais os Benefícios Reais?Thursday, October 25, 12

Benefícios ReaisMaior produtividade em menor tempo

Poucos SysAdmins para muitos nodes

Diminuição de falhas humanas

Maior controle de todo o seu parque

Diminuição do tempo gasto em mudanças

Diminuição do custo de manutenção

Tecnologia trabalhando para você

Puppet & Cloud IaaSCloud Tools (FOSS) Cloud Hosts

Ganeti

Boas PráticasThursday, October 25, 12

Use API do fornecedor

Desenvolva sua Infra

Versione suas configurações

Reaproveite Código

GitHub & PuppetForge

Pesquise!

Puppet em números

727 pessoas online no canal #puppet da irc.freenode.net

8.500 repositórios no GitHub

450 módulos no PuppetForge

4457 usuários ativos na lista puppet-users com 7795 tópicos de discussão

Dados coletados em 2012-08-06 às 10:34 PMThursday, October 25, 12

Site/Bloghttp://www.puppetlabs.comhttp://www.puppetlabs.com/blog/http://puppet-br.org/

Twitter@puppetlabs

GitHubhttp://www.github.com/puppelabs

Puppet na rede

Google GroupsPuppet-camp,puppet-users,puppet-users-br,puppet-dev

IRCirc.freenode.org#puppet#puppet-br

4Linux & PuppetLabs1o Parceiro no Brasil

Consultores Especializados

Cases no Governo Federal

Suporte Puppet Enterprise

Treinamentos Puppet Master

Perguntas?Thursday, October 25, 12

Obrigado!

Twitter @4linuxBR

Facebook /4Linux

Twitter @gutocarvalhogutocarvalho@4linux.com.br

4linux na rede Contato

slideshare.net/gutocarvalhohttp://gutocarvalho.net

Oficina Puppet latinoware

Technology

Puppet Round 1

Vagrant + Puppet

Mix de Linguagens - Latinoware 2013

Guerra cibernética 2.0 - Latinoware

Latinoware 2012 - Desenvolvendo Interfaces com Holy

Introduçao ao Arduino e Domótica - Latinoware 2012

Puppet overview

Por que Python? - Latinoware 2009

[LatinoWare 2012] Mini Curso PHP 5.4 + MongoDB

Latinoware 2016

Balanceamento de Carga Latinoware

Puppet Camp Duesseldorf 2014: Kris Buytaert - Monitoring (with) Puppet

Puppet Teluxmeet

Kursus pembinaan puppet

Por que Python? Latinoware 2011

Puppet show

Puppet slides

Finger Puppet

Palestra garimpando com pentaho data mining latinoware

Palestra de Alexandro Silva - Alexos na Latinoware