Ministrio do Planejamento, Oramento e Gesto SLTI Secretaria de Logstica e Tecnologia da Informao DSI Departamento de Integrao de Sistemas de Informao

Guia de Estruturao e Administrao do Ambiente de Cluster e Grid

1.0

Braslia DF

Presidente da Repblica Luiz Incio Lula da Silva

Vice-Presidente da Repblica Jos de Alencar Gomes da Silva

Ministro de Estado do Planejamento, Oramento e Gesto Paulo Bernardo Silva

Ministro de Estado da Casa Civil Comit Executivo de Governo Eletrnico Dilma Roussef

Secretrio de Logstica e Tecnologia da Informao Secretrio Executivo de Governo Eletrnico Rogrio Santanna dos Santos

Guia de Estruturao e Administrao do Ambiente de Cluster e Grid. Braslia, 2006. 454 p. : il. Inclui Bibliograa. 1. Cluster e Grid. 2. Governo Eletrnico. 3. Tecnologias da

Informao e Comunicao.

4. Agregados Computacionais.

A menos que modiquemos a nossa maneira de pensar, no seremos capazes de resolver os problemas causados pela forma como nos acostumamos a ver o mundo".

Albert Einstein

Realizao:

G UIA DE C LUSTER

CoordenaoSecretaria de Logstica e Tecnologia da Informao - SLTI Ministrio do Planejamento, Oramento e Gesto

Colaborao Tcnico-Administrativa Claudete Bezerra da Silva Diego Sacramento Fernando Mazoni

Especialistas Convidados Alice Brito Adenauer Yamin Augusto Ovelar Csar A. F. De Rose Daniel Darlen Corra Ribeiro Elizeu Santos-Neto Fernando Ike Lucius Trindade Curado e Silva Marco Sinhoreli Mario Dantas Philippe O. A. Navaux Reinaldo J. Moreira Rodrigo Neves Calheiros Roberto Pires de Carvalho Tiaraj Asmuz Diverio Walfredo Cirne

Consultores Tcnicos Alex Sandro Soares Elias Otvio de Paula Mussi Leonardo Rodrigues de Mello

VERSAO

1.0

PGINA V

G UIA DE C LUSTER

Consultor Responsvel Elias Otvio de Paula Mussi

Coordenao do Projeto de Cluster e Grid Corinto Meffe Elias Otvio de Paula Mussi Leonardo Rodrigues de Mello

Coordenao Executiva Corinto Meffe Jos Antnio Borba Soares Leandro Corte

Coordenao Geral Rogrio Santanna dos Santos

VERSAO

1.0

PGINA VI

G UIA DE C LUSTER

Participao da SociedadeA complexidade das tecnologias tratadas neste Guia requer a participao freqente da sociedade. Este dilogo auxilia no aperfeioamento do contedo tcnico, na insero de dados e ferramentas relacionados com a temtica e na correo de possveis inconsistncias tcnicas. O intuito de contar com a participao de especialistas, desde a primeira verso do Guia, surge em funo da grande quantidade de tecnologias envolvidas, do grau de complexidade das mesmas e pela necessidade de atingir as solues mais estveis e utilizadas nas organizaes. No seria possvel manter as informaes atualizadas e inserir o que h de mais moderno em Cluster e Grid sem a participao da Sociedade. Para tanto alguns colaboradores que encaminharam contedo merecem destaque por atenderem as caractersticas descritas acima, so eles:

Contribuies registradas Adenauer Yamin Augusto Ovelar Daniel Darlen Corra Ribeiro Elizeu Santos-Neto Lucius Trindade Curado e Silva Marco Sinhoreli Roberto Pires de Carvalho Walfredo Cirne

VERSAO

1.0

PGINA VII

G UIA DE C LUSTER

Histrico do DocumentoData Verso 01/12/05 0.0 01/02/06 0.1 10/02/06 0.1.5 Autor Elias Mussi Trabalhos provindos equipe interna da SLTI. Elias Mussi Alterao Estruturao do Sumrio Verso inicial de desenvolvimento de contedo. Proposta do Sistema de consulta e contribuio on-line para o Guia de Cluster Sesses sobre Paralelismo e Sistema de Imagem nica (SSI).

da

05/05/06 0.2

17/06/06 0.3

Contribuies do Prof. Adenauer Yamin (PPAD), de Lucius Curado (SSI). Mais trabalhos da equipe da SLTI Elias Mussi

14/08/06 0.3.5

Equipe SLTI

14/08/06 0.4 01/09/06 0.4.5 04/10/06 0.5

Contribuio de Walfredo Cirne e Elizeu Santos-Neto. Equipe SLTI Contribuio de Marco Sinhoreli e trabalhos da Equipe SLTI Contribuio de Roberto Pires de Carvalho e trabalhos da Equipe SLTI Equipe SLTI Equipe SLTI

Disponibilizao do Sistema de Consulta e Colaborao do Guia de Cluster no endereo http://guialivre. governoeletronico. gov.br/guiaonline/ guiacluster/ Expanso do contedo do documento, principalmente na parte III. Captulo Grid Computing. Expanso de contedo, principalmente da Parte II. Captulo sobre Virtualizao; Expanso de contedo, principalmente da Parte III Sesso de Armazenamento Distribudo. Expanso do contedo do documento e correes. Expanso do contedo e correes.

22/10/06 0.6

24/11/06 0.7 01/04/07 1.0

VERSAO

1.0

PGINA VIII

G UIA DE C LUSTER

Nota Tcnica da Comisso de RedaoEste Guia foi elaborado pela equipe da Gerncia de Inovaes Tecnolgicas (GIT), do Departamento de Integrao de Sistemas de Informao (DSI), da Secretaria de Logstica e Tecnologia da Informao (SLTI), do Ministrio do Planejamento, Oramento e Gesto (MP). As diretrizes que compem este documento tm como base as denies do Governo Eletrnico Brasileiro e respaldo legal no Sistema de Administrao dos Recursos de Informao e Informtica - SISP, institudo atravs do DECRETO no 1.048, de 21 de janeiro de 1994. As orientaes tcnicas so fundamentadas em pesquisadores brasileiros e nas principais tecnologias pertinentes aos ambientes de Cluster e Grid. A tecnologia de Cluster e Grid, embora recente, possui um amplo acervo de arquiteturas, modelos, ferramentas, middlewares e aplicativos. A equipe tcnica responsvel pela elaborao deste documento conta com a colaborao da Comunidade Acadmica e de Software Livre para suprir lacunas originadas pela complexidade e pela abrangncia do contedo do Guia de Cluster. O lanamento desta verso nal representa a consolidao dos trabalhos de insero de contedo e a devoluo sociedade do resultado do trabalho at este instante, o qual j conta com importantes colaboraes de membros da comunidade acadmica brasileira. Colaboraes para este documento podem ser feitas atravs do stio http:// guialivre.governoeletronico.gov.br/guiacluster/ e pelo e-mail: .

VERSAO

1.0

PGINA IX

G UIA DE C LUSTER

DistribuioSecretaria de Logstica e Tecnologia da Informao. Secretaria de Logstica e Tecnologia da Informao. Secretaria de Logstica e Tecnologia da Informao. Secretaria de Logstica e Tecnologia da Informao. Verso 0.5 Verso 0.6 Verso 0.7 Verso 1.0

Lanamentos PblicosVerso 0.5 Encontro Mineiro de Software Livre 2006. O Encontro Mineiro de Software Livre 2006, realizado na cidade de Ouro Preto - MG entre os dias 10-12 de outubro de 2006 http://emsl.softwarelivre.org/. ParGov SBAC-PAD 2006. The 18th International Symposium on Computer Architeture and High Performance Computing", realizado na cidade de Ouro Preto - MG entre os dias 17-20 de outubro de 2006 http://www.sbc.org.br/sbac/2006/. III Frum Goiano de Software Livre. Realizado na cidade de Goiania - GO entre os dias 27-28 de outubro de 2006. IV CONISLI - Congresso Internacional de Software Livre. IV Congresso Internacional de Software Livre, realizado na cidade de So Paulo - SP entre os dias 03-05 de novembro de 2006 http://www.conisli.org. III LatinoWare 2006 - III CONFERNCIA LATINOAMERICANA DE SOFTWARE LIVRE. Realizado na cidade de Foz do Iguau - PR entre os dias 16 e 17 de Novembro de 2006. 8 FISL - 8 Frum Internacional Software Livre. Realizado na cidade de Porto Alegre - RS entre os dias 12 e 14 de abril de 2007.

Verso 0.5

Verso 0.5

Verso 0.6

Verso 0.6

Verso 1.0

VERSAO

1.0

PGINA X

G UIA DE C LUSTER

Direitos AutoraisGoverno Brasileiro a reproduo em parte ou totalmente autorizada desde que a fonte seja reconhecida, de acordo com as orientaes da CC-GNU GPL1 .

Figura 1: Creative Commons

1

General Public License cujo contedo est disponibilizado no Apndice A.1.0 PGINA XI

VERSAO

Sumrio

Sumrio

xi

Lista de guras

xxiv

Lista de tabelas

xxviii

1 Prefcio 1.1 1.2 1.3 1.4

xxxi

Abreviaes e Terminologia . . . . . . . . . . . . . . . . . . . . . . . xxxi Pblico . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xxxii Autores . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xxxii Agradecimentos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xxxiii

I Diretrizes Gerais2 Governo Eletrnico e Novas Concepes Tecnolgicas 2.1 A Informtica Pblica Brasileira . . . . . . . . . . . . . . . . . . . . . 2.1.1VERSAO

12 2 5

A Sociedade da Informao e a Inovao Tecnolgica . . . .

1.0

PGINA XII

G UIA DE C LUSTER

SUMRIO

2.2

Governo Eletrnico Brasileiro . . . . . . . . . . . . . . . . . . . . . . 2.2.1 2.2.2 2.2.3 2.2.4 Diretrizes do Governo Eletrnico Brasileiro . . . . . . . . . . Padres de Interoperabilidade de Governo Eletrnico . . . . As Diretrizes do Governo Eletrnico e o Software Livre . . . A Arquitetura de Cluster e Grid e as Diretrizes do Governo Eletrnico . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

8 10 11 14

17 18 25 26 27 28 30 30 33

2.3

As Novas Demandas Computacionais . . . . . . . . . . . . . . . . . 2.3.1 2.3.2 Computao sob Demanda . . . . . . . . . . . . . . . . . . . Aproveitamento de Ciclos Ociosos . . . . . . . . . . . . . . .

2.4

Dois Paradigmas Computacionais . . . . . . . . . . . . . . . . . . . 2.4.1 2.4.2 2.4.3 2.4.4 Computao de Grande Porte . . . . . . . . . . . . . . . . . . Computao Distribuda . . . . . . . . . . . . . . . . . . . . . Comparao: Grande Porte e Distribuda . . . . . . . . . . . As Geraes da Computao Distribuda . . . . . . . . . . .

II Aspectos Gerenciais3 Introduo 3.1 3.2 Vantagens Tcnicas de Utilizao de Cluster e Grid . . . . . . . . . Arquitetura para sistemas crticos online em N Camadas . . . . . . 3.2.1VERSAO

3536 39 40 41

Camada de Aplicao . . . . . . . . . . . . . . . . . . . . . .

1.0

PGINA XIII

G UIA DE C LUSTER

SUMRIO

3.2.2 3.2.3 3.2.4 3.2.5 3.3

Camada de Banco de Dados . . . . . . . . . . . . . . . . . . . Camada de Armazenamento . . . . . . . . . . . . . . . . . . Diagrama da arquitetura proposta . . . . . . . . . . . . . . . Consideraes sobre a arquitetura . . . . . . . . . . . . . . .

41 41 42 43 43 46 48 50 52 54

Possibilidades de Aplicaes Prticas de Cluster e Grid . . . . . . . 3.3.1 3.3.2 3.3.3 3.3.4 3.3.5 Cenrio - Aplicaes WEB . . . . . . . . . . . . . . . . . . . . Cenrio - Minerao de Dados . . . . . . . . . . . . . . . . . Cenrio - Processamento de Alto Desempenho . . . . . . . . Cenrio - Alta Disponibilidade . . . . . . . . . . . . . . . . . Cenrio - Banco de Dados . . . . . . . . . . . . . . . . . . . .

4 Viso Geral 4.1 4.2 A sensibilizao . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Os Recursos Humanos Envolvidos . . . . . . . . . . . . . . . . . . . 4.2.1 4.2.2 4.3 Aperfeioamento dos Tcnicos . . . . . . . . . . . . . . . . . Consultoria . . . . . . . . . . . . . . . . . . . . . . . . . . . .

56 56 57 57 57 58 59

O Projeto de Cluster . . . . . . . . . . . . . . . . . . . . . . . . . . . 4.3.1 O que deve ser observado . . . . . . . . . . . . . . . . . . . .

5 Processamento Paralelo: Sua Difuso e Uso 5.1VERSAO

69 70

Aspectos para a Adoo do Processamento Paralelo . . . . . . . . .

1.0

PGINA XIV

G UIA DE C LUSTER

SUMRIO

5.1.1

Barreiras ao Crescimento da Freqncia de Operao dos Processadores . . . . . . . . . . . . . . . . . . . . . . . . . . . Largura de Banda no Acesso Memria . . . . . . . . . . . . Paralelismo Intrnseco do Mundo Real . . . . . . . . . . . . . A Relao Custo-Benefcio dos Processadores de ltima Gerao . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Aplicaes Extremamente Complexas . . . . . . . . . . . . . Suporte Tolerncia a Falhas . . . . . . . . . . . . . . . . . . Crescimento Modular . . . . . . . . . . . . . . . . . . . . . . Disponibilidade de Software Aplicativo . . . . . . . . . . . . Relao entre a Teoria e a Tecnologia . . . . . . . . . . . . . .

70 71 72

5.1.2 5.1.3 5.1.4

72 73 74 74 76 77

5.1.5 5.1.6 5.1.7 5.1.8 5.1.9

III Aspectos Tcnicos6 Conceitos Bsicos 6.1 Arquiteturas Computacionais . . . . . . . . . . . . . . . . . . . . . . 6.1.1 6.1.2 6.1.3 6.1.4

7879 79

A Classicao de Flynn para Arquiteturas de Computadores 80 Multiprocessadores . . . . . . . . . . . . . . . . . . . . . . . . Multicomputadores . . . . . . . . . . . . . . . . . . . . . . . Multiprocessadores Simtricos (Symmetric Multiprocessors SMP) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ccNUMA . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86 87

87 88

6.1.5VERSAO

1.0

PGINA XV

G UIA DE C LUSTER

SUMRIO

6.1.6 6.1.7 6.1.8 6.1.9 6.2

Processadores Massivamente Paralelos - MPP . . . . . . . . Sistemas Distribudos . . . . . . . . . . . . . . . . . . . . . . Clusters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Grids . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

88 89 90 90 90 91 92 94 95 98 99

Dependabilidade . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6.2.1 6.2.2 6.2.3 Ameaas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Meios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Atributos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

6.3 6.4 6.5 6.6

Escalonamento . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Alta Disponibilidade . . . . . . . . . . . . . . . . . . . . . . . . . . . Balanceamento de Carga . . . . . . . . . . . . . . . . . . . . . . . . .

Redes de Comunicaes . . . . . . . . . . . . . . . . . . . . . . . . . 100 6.6.1 6.6.2 6.6.3 6.6.4 A Importncia da Rede de Comunicao . . . . . . . . . . . 100 Redes de Interconexo Utilizadas em Arquiteturas Paralelas 100 Topologias da Rede de Interconexo . . . . . . . . . . . . . . 103 Dispositivos de interconexo . . . . . . . . . . . . . . . . . . 106

6.7

Protocolos de Comunicao . . . . . . . . . . . . . . . . . . . . . . . 111 6.7.1 6.7.2 Frame Relay . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111 Asynchronous Transfer Mode . . . . . . . . . . . . . . . . . . . 111PGINA XVI

VERSAO

1.0

G UIA DE C LUSTER

SUMRIO

6.7.3 6.7.4 6.7.5 6.7.6 6.7.7 6.7.8 6.7.9

FDDI . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112 Modelo OSI . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112 Protocolo IP . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113 Transmission Control Protocol . . . . . . . . . . . . . . . . . . . 113 User Datagram Protocol . . . . . . . . . . . . . . . . . . . . . . 114 Real-time Transport Protocol . . . . . . . . . . . . . . . . . . . . 114 Virtual Router Redundancy Protocol . . . . . . . . . . . . . . . 114

7 Cluster de Armazenamento 7.1 7.2

117

Introduo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 117 Block Devices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 118 7.2.1 7.2.2 7.2.3 7.2.4 7.2.5 Arranjo Redundante de Discos - RAID . . . . . . . . . . . . 119 RAID via Hardware e via Software . . . . . . . . . . . . . . . 120 Distributed Replicated Block Device - DRBD . . . . . . . . . . . 121 Global Network Block Device - GNBD . . . . . . . . . . . . . . 125 Internet SCSI - iSCSI . . . . . . . . . . . . . . . . . . . . . . . 127

7.3

Sistemas de Arquivos Distribudos . . . . . . . . . . . . . . . . . . . 130 7.3.1 7.3.2 7.3.3 Conceitos Bsicos . . . . . . . . . . . . . . . . . . . . . . . . . 130 Servios Oferecidos pelos SADs . . . . . . . . . . . . . . . . 133 Algumas Caractersticas Desejadas em SADs . . . . . . . . . 137PGINA XVII

VERSAO

1.0

G UIA DE C LUSTER

SUMRIO

7.3.4 7.3.5 7.3.6 7.3.7 7.4

Network File System - NFS . . . . . . . . . . . . . . . . . . . 146 Andrew File System - AFS . . . . . . . . . . . . . . . . . . . . 150 Constant Data Availability - CODA . . . . . . . . . . . . . . 154 Lustre . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 158

Sistemas de Arquivos Paralelos . . . . . . . . . . . . . . . . . . . . . 159 7.4.1 7.4.2 Parallel Virtual Filesystem Version 1 - PVFS . . . . . . . . . . . 159 Parallel Virtual Filesystem Version 2 - PVFS2 . . . . . . . . . . 163

8 Cluster de Aplicao 8.1

169

Linux Virtual Server - LVS . . . . . . . . . . . . . . . . . . . . . . . . . 170 8.1.1 8.1.2 8.1.3 8.1.4 Nomenclatura e abreviaes . . . . . . . . . . . . . . . . . . 171 Tipos de Cluster LVS . . . . . . . . . . . . . . . . . . . . . . . 172 Algoritmos de escalonamento . . . . . . . . . . . . . . . . . . 176 Casos de uso de LVS . . . . . . . . . . . . . . . . . . . . . . . 180

8.2

Cluster Tomcat . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 181 8.2.1 8.2.2 Balanceamento de carga . . . . . . . . . . . . . . . . . . . . . 184 Compartilhamento de sesses . . . . . . . . . . . . . . . . . . 187

8.3 8.4

Heartbeat . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 188 Zope Cluster . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 189

9 Cluster de Banco de DadosVERSAO

194PGINA XVIII

1.0

G UIA DE C LUSTER

SUMRIO

9.1 9.2 9.3

Banco de Dados Distribudos . . . . . . . . . . . . . . . . . . . . . . 199 Replicao de Banco de Dados . . . . . . . . . . . . . . . . . . . . . 199 PostgreSQL . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 201 9.3.1 9.3.2 9.3.3 PGpool . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 201 PGcluster . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 204 Slony . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 207

9.4

Mysql . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 208 9.4.1 9.4.2 Replicao em MySQL . . . . . . . . . . . . . . . . . . . . . . 208 MySQL Cluster . . . . . . . . . . . . . . . . . . . . . . . . . . 211

9.5

Middlewares independentes de Banco de Dados . . . . . . . . . . . . 212 9.5.1 9.5.2 Middleware Sequoia . . . . . . . . . . . . . . . . . . . . . . . 212 ParGRES . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 221

10 Alta Capacidade de Processamento - HPC

223

10.1 Beowulf . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 223 10.2 Sistema de Imagem nica - SSI . . . . . . . . . . . . . . . . . . . . . 224 10.2.1 As Principais Caractersticas de um Cluster SSI . . . . . . . 225 10.2.2 Os Principais Benefcios de um Sistema SSI . . . . . . . . . . 227 10.2.3 Memria Distribuda Compartilhada - DSM . . . . . . . . . 228 10.2.4 OpenMosix . . . . . . . . . . . . . . . . . . . . . . . . . . . . 229VERSAO

1.0

PGINA XIX

G UIA DE C LUSTER

SUMRIO

10.2.5 Kerrighed . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 232

11 Ferramentas de Programao Paralela

235

11.1 Troca de Mensagens (Message Passing) . . . . . . . . . . . . . . . . . 235 11.1.1 Parallel Virtual Machine - PVM . . . . . . . . . . . . . . . . . . 236 11.1.2 Message Passing Interface - MPI . . . . . . . . . . . . . . . . . 237 11.2 Relaes Entre o Hardware e o Software para Explorao do Paralelismo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 239 11.2.1 Relao entre Algoritmos e Arquiteturas Paralelas . . . . . . 240 11.2.2 Propriedades de um Modelo de Programao para o Processamento Paralelo . . . . . . . . . . . . . . . . . . . . . . . 244 11.3 A Explorao do Paralelismo: Nveis de Abstrao e Modelos . . . 249 11.3.1 Modelos nos quais o Paralelismo Explorado de Forma Totalmente Implcita . . . . . . . . . . . . . . . . . . . . . . . . 249 11.3.2 Modelos com Assinalamento do Paralelismo Explcito . . . 254 11.3.3 Modelos com Assinalamento e Decomposio do Paralelismo Explcitos . . . . . . . . . . . . . . . . . . . . . . . . . . 257 11.3.4 Modelos com Assinalamento, Decomposio e Mapeamento do Paralelismo Explcitos . . . . . . . . . . . . . . . . 259 11.3.5 Modelos com Assinalamento, Decomposio, Mapeamento e Comunicao Explcitos . . . . . . . . . . . . . . . . . . . . 261 11.3.6 Modelos nos quais o Paralelismo Explorado de Forma Totalmente Explcita . . . . . . . . . . . . . . . . . . . . . . . . . 262VERSAO

1.0

PGINA XX

G UIA DE C LUSTER

SUMRIO

12 Escalonadores de Tarefas

264

12.1 OpenPBS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 265 12.2 TORQUE . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 266 12.3 MAUI . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 267 12.4 Crono . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 268

13 Grids Computacionais

269

13.1 Introduo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 269 13.2 Grids de Servios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 274 13.2.1 Acesso a Servios . . . . . . . . . . . . . . . . . . . . . . . . . 274 13.2.2 Descoberta de Servios . . . . . . . . . . . . . . . . . . . . . . 276 13.2.3 Autenticao e Autorizao . . . . . . . . . . . . . . . . . . . 280 13.2.4 Privacidade de Dados . . . . . . . . . . . . . . . . . . . . . . 281 13.2.5 Composio de Servio . . . . . . . . . . . . . . . . . . . . . 282 13.2.6 Disponibilizao de Servios . . . . . . . . . . . . . . . . . . 284 13.2.7 Padronizao . . . . . . . . . . . . . . . . . . . . . . . . . . . 290 13.3 Grids para Alto Desempenho . . . . . . . . . . . . . . . . . . . . . . 294 13.3.1 Plataformas para Processamento Paralelo . . . . . . . . . . . 294 13.3.2 Execuo Remota . . . . . . . . . . . . . . . . . . . . . . . . . 300 13.3.3 Escalonamento . . . . . . . . . . . . . . . . . . . . . . . . . . 300VERSAO

1.0

PGINA XXI

G UIA DE C LUSTER

SUMRIO

13.3.4 Imagem do Sistema . . . . . . . . . . . . . . . . . . . . . . . . 313 13.3.5 Segurana . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 314 13.4 Estudos de Caso . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 318 13.4.1 Globus . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 318 13.4.2 MyGrid . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 327 13.4.3 OurGrid . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 331 13.4.4 Condor . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 335 13.5 Integrao de clusters em grids . . . . . . . . . . . . . . . . . . . . . 337 13.5.1 Globus GRAM . . . . . . . . . . . . . . . . . . . . . . . . . . 339 13.5.2 Alocao transparente de recursos . . . . . . . . . . . . . . . 339 13.6 Tendncias em Grids Computacionais . . . . . . . . . . . . . . . . . 340

14 Virtualizao de recursos

342

14.1 Principais tipos de virtualizao . . . . . . . . . . . . . . . . . . . . 342 14.1.1 Virtualizao por software . . . . . . . . . . . . . . . . . . . . 343 14.1.2 Virtualizao nativa . . . . . . . . . . . . . . . . . . . . . . . 344 14.2 XEN - Xen virtual machine monitor . . . . . . . . . . . . . . . . . . . . 345 14.2.1 Comparao . . . . . . . . . . . . . . . . . . . . . . . . . . . . 346 14.2.2 Sistema Operacional nativo versus virtualizao com Xen . 347 14.2.3 Paravirtualizao no Xen . . . . . . . . . . . . . . . . . . . . 348VERSAO

1.0

PGINA XXII

G UIA DE C LUSTER

SUMRIO

IV ApndicesA Licena CC-GNU GPL

350351

B Marcas Registradas

361

C Lista de Abreviaturas

363

D Tecnologias

368

E Glossrio

371

F O Ambiente LabCluster F.1 F.2 F.3 F.4 F.5

380

Histrico do LabCluster . . . . . . . . . . . . . . . . . . . . . . . . . 381 Misso do LabCluster . . . . . . . . . . . . . . . . . . . . . . . . . . . 383 Descrio do Ambiente LabCluster . . . . . . . . . . . . . . . . . . . 383 Infra-estrutura de Hardware . . . . . . . . . . . . . . . . . . . . . . . 384 Poltica de Utilizao do Ambiente LabCluster . . . . . . . . . . . . 384

G Outros Documentos Produzidos

386

Referncias Bibliogrcas

387

VERSAO

1.0

PGINA XXIII

Lista de Figuras1 Creative Commons . . . . . . . . . . . . . . . . . . . . . . . . . . . . xi

2.1

Evoluo da carga de processamento e a utilizao da computao de grande porte. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29

2.2

Evoluo da carga de processamento e a utilizao da soluo de processamento distribudo. . . . . . . . . . . . . . . . . . . . . . . . 31

3.1

Evoluo da utilizao de Arquiteturas de alto desempenho. Fonte Top500.org . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37 37

3.2 3.3 3.4 3.5

Evoluo da utilizao de S.O. Fonte Top500.org . . . . . . . . . . .

Evoluo da utilizao por segmento de mercado. Fonte Top500.org 38 Esquema do modelo de cluster proposto. . . . . . . . . . . . . . . . Sistema de alta disponibilidade com dois servidores sendo acessados por 4 clientes. Um dos servidores Primrio(ativo) e outro Secundrio(passivo) . . . . . . . . . . . . . . . . . . . . . . . . . . . 42

54

5.1

Relao Carga X Custo de investimento, para plataforma Baixa X Alta . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

75

6.1VERSAO

Blocos bsicos dos computadores seqenciais . . . . . . . . . . . . .

79

1.0

PGINA XXIV

G UIA DE C LUSTER

LISTA DE FIGURAS

6.2 6.3

Arquitetura genrica de multiprocessador de memria . . . . . . . Arquitetura genrica de multiprocessador de memria compartilhada . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Arquitetura genrica sncrona matricial . . . . . . . . . . . . . . . .

81

83 86

6.4 6.5 6.6 6.7 6.8 6.9

Alternativas para conectar o processador a rede de interconexo . . 102 Topologia em barramento . . . . . . . . . . . . . . . . . . . . . . . . 104 Topologia em malha . . . . . . . . . . . . . . . . . . . . . . . . . . . 104 Topologia em hipercubo . . . . . . . . . . . . . . . . . . . . . . . . . 105 Topologia em rvore . . . . . . . . . . . . . . . . . . . . . . . . . . . 106

6.10 Esquema de funcionamento de um sistema VRRP . . . . . . . . . . 115

7.1 7.2

Viso do nvel conceitual de funcionamento do DRBD. . . . . . . . 123 Fluxo de intercomunicao entre as camadas dos dispositivos Linux - repare que o DRBD no tem como noticar o mdulo do sistema de arquivos - mas o oposto ocorre. . . . . . . . . . . . . . . 124 Exemplo de cenrio GNBD . . . . . . . . . . . . . . . . . . . . . . . 127 Exemplo de uma rvore de diretrios . . . . . . . . . . . . . . . . . 131 Estrutura de diretrios distribuda . . . . . . . . . . . . . . . . . . . 136 Volumes, VSGs e AVSGs . . . . . . . . . . . . . . . . . . . . . . . . . 155 Viso Geral do PVFS . . . . . . . . . . . . . . . . . . . . . . . . . . . 161 Clientes acessando o PVFS . . . . . . . . . . . . . . . . . . . . . . . . 162 Fluxo de dados pelo kernel . . . . . . . . . . . . . . . . . . . . . . . 162PGINA XXV

7.3 7.4 7.5 7.6 7.7 7.8 7.9VERSAO

1.0

G UIA DE C LUSTER

LISTA DE FIGURAS

8.1 8.2 8.3 8.4 8.5 8.6 8.7 8.8 8.9

Esquema geral de um Linux Virtual Server . . . . . . . . . . . . . . 171 LVS-NAT . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 173 LVS-DR . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 175 LVS-Tun . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 176 Viso geral de um cluster Tomcat . . . . . . . . . . . . . . . . . . . . 183 Balanceamento de carga via DNS Round-Robin . . . . . . . . . . . . 185 Balanceamento de carga via Apache mod_jk . . . . . . . . . . . . . 186 DNS round-robin . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 191 ZEO/ZODB + LVS+OCFS2 . . . . . . . . . . . . . . . . . . . . . . . 193

9.1 9.2 9.3 9.4 9.5 9.6 9.7 9.8 9.9

Arquitetura PG-pool . . . . . . . . . . . . . . . . . . . . . . . . . . . 204 Sistema de balanceamento de carga . . . . . . . . . . . . . . . . . . . 205 Sistema de alta disponibilidade . . . . . . . . . . . . . . . . . . . . . 206 Princpio do Sequoia . . . . . . . . . . . . . . . . . . . . . . . . . . . 215 Exemplo de RAIDb-0 . . . . . . . . . . . . . . . . . . . . . . . . . . . 217 Exemplo de RAIDb-1 . . . . . . . . . . . . . . . . . . . . . . . . . . . 218 Exemplo de RAIDb-2 . . . . . . . . . . . . . . . . . . . . . . . . . . . 219 Exemplo de RAIDb-1-0 . . . . . . . . . . . . . . . . . . . . . . . . . . 220 Exemplo de RAIDb-0-1 . . . . . . . . . . . . . . . . . . . . . . . . . . 220

11.1 Modelo Para Computao Paralela . . . . . . . . . . . . . . . . . . . 244VERSAO

1.0

PGINA XXVI

G UIA DE C LUSTER

LISTA DE FIGURAS

11.2 Nmeros de Fibonacci em Programao Funcional . . . . . . . . . . 250 11.3 Fontes de Paralelismo na Programao em Lgica . . . . . . . . . . 253

13.1 Acesso transparente a servios e recursos . . . . . . . . . . . . . . . 270 13.2 Acessando um servio usando RMI . . . . . . . . . . . . . . . . . . . 275 13.3 Acessando um servio usando CORBA [14] . . . . . . . . . . . . . . . 276 13.4 Interao entre cliente e provedor (Web Services) [345] . . . . . . . 277 13.5 Ilustrao da arquitetura OurGrid [36] . . . . . . . . . . . . . . . . . 289 13.6 Relacionamento entre OGSA, OGSI e Globus [345] . . . . . . . . . . . 292 13.7 Arquitetura multiprocessada . . . . . . . . . . . . . . . . . . . . . . 296 13.8 Arquitetura de um MPP . . . . . . . . . . . . . . . . . . . . . . . . . 296 13.9 Arquitetura de uma N O W . . . . . . . . . . . . . . . . . . . . . . . . 297 13.10Arquitetura de um Grid Computacional . . . . . . . . . . . . . . . . 298 13.11Ilustrao de um cenrio composto de vrios escalonadores . . . . 302 13.12Jacobi executando em quatro processadores em um MPP . . . . . . 305 13.13Escalonamento feito pelo Jacobi AppLes . . . . . . . . . . . . . . . . 307 13.14Desempenho do WQR . . . . . . . . . . . . . . . . . . . . . . . . . . . 309 13.15Desperdcio de ciclos com a replicao . . . . . . . . . . . . . . . . . 310 13.16Sumrio do desempenho de Storage Afnity comparado com outras heursticas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 311VERSAO

1.0

PGINA XXVII

G UIA DE C LUSTER

LISTA DE FIGURAS

13.17Sumrio do desperdcio de recursos por Storage Afnity comparado com outras heursticas . . . . . . . . . . . . . . . . . . . . . . . . . . 312 13.18Arquitetura do GRAM [133] . . . . . . . . . . . . . . . . . . . . . . . 321 13.19Delegao entre escalonadores de aplicao [133] . . . . . . . . . . . 322 13.20Exemplo do uso de escalonadores no Globus [133] . . . . . . . . . . 323 13.21Arquitetura do Globus [345] . . . . . . . . . . . . . . . . . . . . . . . 327 13.22Arquitetura do MyGrid . . . . . . . . . . . . . . . . . . . . . . . . . 329 13.23Condor protocol [85] . . . . . . . . . . . . . . . . . . . . . . . . . . . 336 13.24Utilizao de clusters em grids. . . . . . . . . . . . . . . . . . . . . . 338

A.1 Creative Commons . . . . . . . . . . . . . . . . . . . . . . . . . . . . 351

VERSAO

1.0

PGINA XXVIII

Lista de Tabelas

2.1

Diferenas entre computao de grande porte e distribuda

. . . .

32

3.1

Tabela Cenrio 1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

46

6.1 6.2

Formas bsicas de tolerncia falhas. Fonte DANTAS [136] . . . . Nveis de Alta Disponibilidade . . . . . . . . . . . . . . . . . . . . .

93 99

8.1

Exemplos de Stios que utilizam LVS . . . . . . . . . . . . . . . . . . 181

11.1 Relao entre as caractersticas do hardware e do software paralelo . 241

13.1 Comparao entre as plataformas de execuo para aplicaes paralelas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 300 13.2 Grid Machine Interface . . . . . . . . . . . . . . . . . . . . . . . . . . 328

B.1 Tabela de Referncia de Marcas Registradas . . . . . . . . . . . . . . 362

C.1 Lista de Abreviaturas . . . . . . . . . . . . . . . . . . . . . . . . . . . 367

D.1 Tabela de referncias de tecnologias . . . . . . . . . . . . . . . . . . 370VERSAO

1.0

PGINA XXIX

G UIA DE C LUSTER

LISTA DE TABELAS

F.1

Tabela de Hardware . . . . . . . . . . . . . . . . . . . . . . . . . . . . 384

VERSAO

1.0

PGINA XXX

Captulo 1 Prefcio

1.1 Abreviaes e TerminologiaSempre que possvel, na primeira vez em que uma abreviao for usada, ser includa tambm a verso por extenso. No Apndice E encontra-se um glossrio de termos tcnicos utilizados. O Termo cluster utilizado neste documento se referindo as diversas implementaes de compartilhamento de recursos computacionais. Tipicamente, um cluster utiliza os recursos de dois ou mais dispositivos de computao1 em conjunto para um propsito comum. Exemplos de cluster so: Cluster de Processamento de Alto Desempenho ou HPC, Cluster de Balanceamento de Carga e Alta Disponibilidade, Cluster de Banco de Dados e Cluster de Armazenamento. Um outro termo comumente usado o de aglomerado de computadores, utilizado com frequncia pela comunidade acadmica brasileira. Muitas vezes estes ambientes clusterizados"so construdos a partir de computadores convencionais (estaes de trabalho), ou seja, vrios computadores comuns ligados em rede que se comunicam e trabalham como se fosse uma mquina de grande porte, com capacidade de suportar um ambiente de grande demanda computacional.1

Estes dispositivos tambm podem funcionar separadamente1.0 PGINA XXXI

VERSAO

G UIA DE C LUSTER

1.2 - P BLICO

O Grid Computacional (The Computational Grid), uma rede de execuo de aplicaes paralelas em recursos geogracamente dispersos e pertencentes a mltiplas organizaes. A tecnologia de grids cria a oportunidade de oferecer servios sob demanda. Assim,Grid onde se torna possvel prover sob demanda qualquer servio computacional (no somente servios para computao de alto desempenho). Os termos Software de Fonte Aberta (Open Source Software) e Software Livre (Free Software) tem seus defensores e suas diferenas conceituais e jurdicas. Neste trabalho, usaremos o termo Software Livre por se tratar de uma poltica estratgica do governo e pela inteno de destacar as caractersticas que o diferenciam do Software de Fonte Aberta, especialmente sua disponibilizao no modelo da Licena Pblica Geral (GPL). Os termos do Sistema Operacional, como nomes de arquivos, sero apresentados desta forma: Nome de arquivo. Cdigos de programas sero apresentados da forma: Cdigo.

1.2 PblicoEste Documento dirigido aos gerentes e tcnicos de Tecnologia da Informao (TI) de todo o Governo Federal Brasileiro, e pode ser utilizado nos outros poderes: Executivo, Legislativo e Judicirio; servindo tambm como referncia para os governos estaduais e municipais que tenham interesse em conhecer e utilizar tecnologias de cluster e grid.

1.3 AutoresOs autores deste documentos so principalmente membros da equipe da Gerncia de Inovaes Tecnolgicas (GIT), do Departamento de Integrao de Sistemas (DSI), da Secretria de Logstica e Tecnologia da Informao (SLTI) do Ministrio do Planejamento, Oramento e Gesto.VERSAO

1.0

PGINA XXXII

G UIA DE C LUSTER

1.4 - A GRADECIMENTOS

Muitas contribuies de pessoas e instituies externas tambm foram includas neste Guia e esto devidamente registradas na parte inicial deste documento.

1.4 AgradecimentosAgradecemos a todos as pessoas que participaram da construo deste documento, em especial aquelas que nos enviaram contribuies. A grande maioria dessas pessoas esto citadas na sesso Coordenao e Participao da Sociedade, no incio deste documento. A Coordenao Executiva agradece ao apoio do Secretrio de Logstica e Tecnologia da Informao, Rogrio Santanna dos Santos, pela condio de ser o grande incentivador para a insero desta tecnologia na Administrao Pblica Federal (APF); ao Diretor do Departamento de Integrao de Sistemas de Informao, Leandro Crte e ao ex-diretor Jos Antnio Borba Soares pelo apoio permanente. Agradecimentos especiais pelos materiais cedidos para o Guia, para os colaboradores: Adenauer Yamin, Daniel Darlen Corra Ribeiro, Elizeu Santos-Neto, Lucius Trindade Curado e Silva, Marco Sinhoreli, Roberto Pires de Carvalho e Walfredo Cirne.

VERSAO

1.0

PGINA XXXIII

Parte I Diretrizes Gerais

VERSAO

1.0

PGINA 1

Captulo 2 Governo Eletrnico e Novas Concepes Tecnolgicas

2.1 A Informtica Pblica Brasileira

As primeiras empresas de informtica pblica surgiram em 1964, inseridas num cenrio onde o pas ainda buscava desenvolver a economia sustentada no setor agrrio. Naquela poca, o termo corrente para designar o que hoje conhecemos comumemente como informtica era processamento de dados" , termo que no incorporava ainda os recursos de comunicao presentes no cenrio da chamada informtica" atual. Ademais, as polticas de informao eram estritamente relacionadas ao tema da segurana do Estado (Torres [134]). Nos anos seguintes, em especial na dcada de 70, o Brasil experimentou taxas de crescimento expressivas, apoiadas na forte presena do investimento estatal. Ao nal deste perodo o domnio da tecnologia foi apontado como um fator determinante, dentre outros, para a superao do problema de gerao de dcits persistentes, tornando o clima propcio para a intensicao dos investimentos pblicos em informtica, ao lado de uma poltica protecionista indstria nacional(Torres [134]). Um exemplo desta poltica protecionista foi a Poltica Nacional de Informtica (PNI), Lei 7.232, aprovada em 29 de Outubro de 1984 pelo Congresso Nacional,VERSAO

1.0

PGINA 2

G UIA DE C LUSTER

2.1 - A I NFORMTICA P BLICA B RASILEIRA

com prazo de vigncia previamente estabelecido em 8 anos. A Lei tinha como objetivo estimular o desenvolvimento da indstria de informtica no Brasil, por meio do estabelecimento de uma reserva de mercado para as empresas de capital nacional. Apesar da importncia neste perodo do domnio nacional da tecnologia, almejando a utilizao de tecnologias consideradas na poca de ponta", o Estado Brasileiro acabou por se tornar, de certa forma, um vido consumidor tecnolgico. Um grande parque computacional heterogneo foi estruturado baseado no paradigma da computao de grande porte, num momento em que as tecnologias computacionais eram desenvolvidas por empresas multinacionais e, posteriormente internalizadas no governo, sem um estmulo de pesquisa s universidades brasileiras, bem como ao mercado das empresas nacionais. Neste paradigma computacional, a grande capacidade de processamento de transaes simultneas e alta disponibilidade dos servios esto diretamente relacionadas ao hardware especializado produzido por poucas empresas no mundo. Este modelo amplamente adotado, consolidou a base do processo de automatizao e estruturao de sistemas e implementao de servios, que hoje atinge todos os segmentos do Setor Pblico. A falta de padres abertos e o hardware especializado acabam por tornar o processo de negociao do governo para a aquisio de novos equipamentos e servios uma atividade limitada e desproporcional. Com poucas empresas capazes de produzir e/ou prestar os servios para o atendimento das demandas e algumas vezes a ausncia de concorrncia de empresas na oferta de bens e servios ao governo, desenvolveram-se diversas relaes de dependncia tecnolgica com os fornecedores. Isto ocorre em funo das caractersticas deste paradigma computacional, onde as tecnologias de computao de grande porte possuem um elevado custo total de propriedade, serem utilizados majoritariamente em grandes projetos e sistemas do governo. A informtica dentro do setor pblico brasileiro estruturou-se de maneira fragmentada e isolada, tendo criado, diversas ilhas tecnolgicas e sistemas sem padres transversais, o que diculta e algumas vezes inviabiliza a integrao, sendo esta realizada, parcialmente, atravs de pontes", como por exemplo SERPRO11 O Servio Federal de Processamento de Dados (SERPRO) a maior empresa pblica de prestao de servios em tecnologia da informao do Brasil, maiores informaes em:

VERSAO

1.0

PGINA 3

G UIA DE C LUSTER

2.1 - A I NFORMTICA P BLICA B RASILEIRA

e DATAPREV 2 , responsveis pela interligao destas diversas ilhas tecnolgicas heterogneas. Ademais, as iniciativas de governo eletrnico, a presso e a cobrana da sociedade brasileira pela transparncia e otimizao do uso de recursos pblicos, bem como, o combate corrupo e fraude so cada vez mais inuentes, aumentando a necessidade de integrao dos sistemas e o poder computacional necessrio para realizar anlises complexas de imensas bases de dados existentes no governo. As aes de modernizao da mquina pblica desde o Plano Nacional de Desburocratizao3 at a Reforma Administrativa [175] , no foram capazes de atingir os ambientes de tecnologia da informao e comunicao e os sistemas de informao do governo. Isto ocorreu pela dissociao entre a reformulao dos processos administrativos e o modelo de informatizao proposto. Realizar estas mudanas e atender a necessria otimizao da mquina pblica, de forma a melhor atender o cidado, dicultado ou inviabilizado no paradigma da computao de grande porte, seja por conta dos recursos e investimentos necessrios para se estabelecer esse processo, seja pela diculdade para se integrar sistemas, imposta pela falta de padres. Diante deste cenrio se faz necessria a busca por alternativas computacionais inovadoras interoperveis, plenamente auditveis, independentes de fornecedor, economicamente sustentveis para sistemas crticos governamentais e que fomentem o desenvolvimento e pesquisa de novas tecnologias. Buscando reverter este quadro de dependncia tecnolgica o governo brasileiro tem investido, atravs do Ministrio da Cincia e Tecnologia e de parcerias entre empresas pblicas e universidades, no desenvolvimento de tecnologias de Cluster e Grid, baseadas em software livre e voltadas para aplicao de governo eletrnico. Estas tecnologias de Cluster e Grid tm sido largamente utilizadas em instituies de pesquisa e empresas privadas e estatais, alguns exemplos so: Pehttp://www.serpro.gov.br/.

A Empresa de Processamento de Dados da Previdncia Social (Dataprev), ela a responsvel pelo processamento da maior folha de pagamento do pas, alcanando mais de 20 milhes de benecirios/ms. Maiores informaes em: http://www.dataprev.gov.br. 3 O Programa Nacional de Desburocratizao da Secretaria de Gesto do Ministrio do Planejamento, Oramento e Gesto, Decreto no 3335, de 11 de janeiro de 2000, que previa: Desburocratizar a Administrao Pblica fundamental para preparar o pas aos novos desaos. imperativo que o Estado se mostre gil e competente no atendimento de seus cidados, como tambm imprescindvel que esses no se intimidem ao procurar os servios pblicos e que tenham certeza da boa qualidade e da ecincia do servio prestado".VERSAO

2

1.0

PGINA 4

G UIA DE C LUSTER

2.1.1 - A S OCIEDADE DA I NFORMAO E A I NOVAO T ECNOLGICA

trobras, Sistema Nacional de Processamento de Alto Desempenho (SINAPAD), Instituto de Pesquisas Espaciais (INPE), Laboratrio Nacional de Computao Cientca (LNCC), Google, HP, IBM, Sun, Itautec, Departamento de Defesa Americano (DOD), National Center for Supercomputing Applications (NCSA), entre outros. importante salientar que um fator decisivo para a adoo de tecnologias de cluster e grid no governo brasileiro est relacionada possibilidade de reverter o quadro de consumismo tecnolgico desenvolvido ao longo das ltimas 2 (duas) dcadas e promover o domnio e independncia tecnolgica do Estado Brasileiro. Existe uma mudana de paradigma entre as tecnologias de computao distribuda e de computao de grande porte. Na computao distribuda o importante no a capacidade de processamento"de um nico equipamento, mas sim a capacidade de processamento coletiva" de um conjunto de equipamentos. Nesta abordagem vrios equipamentos com pouca capacidade podem formar um ambiente com grande capacidade de processamento e caso ocorra a falha de um equipamento, o outro assumir a sua funo sem prejuzo para a execuo do sistema. Desta forma, existe a reduo da necessidade de equipamentos com hardware especco, tolerante a falhas e com redundncia. Atravz da utilizao de hardware padro x86 (pc) e sem a necessidade de redundncias e dispositivos especiais no hardware possvel construir sistemas com hardware de baixo custo, compatvel com padres abertos e internacionais, reduzindo a dependncia de fornecedores. Com o emprego de solues baseadas em software livre possvel ainda eliminar a dependncia tecnolgica e estimular o desenvolvimento de solues pelos centros de pesquisa, universidades, rgos de governo e empresas privadas, devido as caractersticas de licenciamento do software livre que permitem utilizar o software para qualquer m, com liberdade para distribuio, alterao e cpia.

2.1.1 A Sociedade da Informao e a Inovao TecnolgicaPara a insero neste novo cenrio mundial da economia voltada informao e tecnologia, cada pas desenvolveu estratgias que levou em considerao o seu grau de desenvolvimento tecnolgico conjugado com as suas peculiaridades. NoVERSAO

1.0

PGINA 5

G UIA DE C LUSTER

2.1.1 - A S OCIEDADE DA I NFORMAO E A I NOVAO T ECNOLGICA

Brasil, o marco inicial desse processo foi a criao do programa Sociedade da Informao, por meio do Decreto no 3.294, de 15 de dezembro de 1999, com o objetivo de viabilizar a nova gerao da Internet e suas aplicaes em benefcio da Sociedade Brasileira4 ", estruturado em sete linhas de ao:

Mercado, trabalho e oportunidades; Universalizao de servios para a cidadania; Educao na sociedade da informao; Contedos e identidade cultural; Governo ao alcance de todos; P&D, tecnologias-chave e aplicaes; Infra-estrutura avanada e novos servios.

Esse programa busca contribuir, de forma efetiva, para:

a construo de uma sociedade mais justa, em que sejam observados princpios e metas relativos preservao de nossa identidade cultural, fundada na riqueza da diversidade; a sustentabilidade de um padro de desenvolvimento que respeite as diferenas e busque o equilbrio regional; a efetiva participao social, sustentculo da democracia poltica.

Com tal esforo, em setembro de 2000, o Governo brasileiro produziu, dentre outros documentos, o chamado Livro Verde"[135], que identicou o conjunto das aes estabelecidas para impulsionar a Sociedade da Informao no Brasil, contemplando ampliao do acesso Internet, meios de conectividade, formao de recursos humanos, incentivo pesquisa e ao crescimento, comrcio eletrnico e desenvolvimento de novas aplicaes (Guia Livre [151]).4 O objetivo do Programa Sociedade da Informao integrar, coordenar e fomentar aes para a utilizao de tecnologias de informao e comunicao, de forma a contribuir para que a economia do pas tenha condies de competir no mercado global e, ao mesmo tempo, contribuir para a incluso social de todos os brasileiros na nova sociedade" disponvel em http://www.socinfo.org.br/sobre/programa.htm.

VERSAO

1.0

PGINA 6

G UIA DE C LUSTER

2.1.1 - A S OCIEDADE DA I NFORMAO E A I NOVAO T ECNOLGICA

A sociedade da informao no um modismo. Representa uma profunda mudana na organizao da sociedade e da economia, havendo quem a considere um novo paradigma tcnico-econmico. um fenmeno global, com elevado potencial transformador das atividades sociais e econmicas, uma vez que a estrutura e a dinmica dessas atividades inevitavelmente sero, em alguma medida, afetadas pela infra-estrutura de informaes disponvel. tambm acentuada sua dimenso poltico-econmica, decorrente da contribuio da infra-estrutura de informaes para que as regies sejam mais ou menos atraentes em relao aos negcios e empreendimentos (Livro Verde [135]). Na sociedade da informao, o cenrio econmico transforma-se de tal modo que a inovao e a converso de conhecimento em vantagem competitiva passam a constituir importantes diferenciais. Da rapidez na gerao e difuso de inovaes, decorrem a drstica diminuio da vida til dos produtos e a necessidade de modernizao contnua da produo e da comercializao de bens e servios. Da converso do conhecimento surgem as possibilidades de se incorporar os benefcios da tecnologia com maior agilidade. Para a nova economia, no basta dispor de uma infra-estrutura moderna de comunicao; preciso competncia para transformar informao em conhecimento. A educao um elemento-chave para a construo de uma sociedade da informao e condio essencial para que pessoas e organizaes estejam aptas a lidar com o novo, a criar e, assim, garantir seu espao de liberdade e autonomia. O desao, portanto, duplo: superar antigas decincias e criar as competncias requeridas pela nova economia. O governo, nos nveis federal, estadual e municipal, tem o papel de assegurar o acesso universal s tecnologias da informao e comunicao e a seus benefcios, independentemente da localizao geogrca e da situao social do cidado, garantindo nveis bsicos de servios, estimulando a interoperabilidade de tecnologias e de redes. A sociedade civil deve zelar para que o interesse pblico seja resguardado, buscando organizar-se para monitorar e inuenciar, sistematicamente, os poderes pblicos e as organizaes privadas (Livro Verde [135]). Assim desaos da sociedade da informao demandam cada vez mais uma grande quantidade de recursos computacionais, devido a ampla difuso de servios e aplicaes ao pblico geral, em especial aos cidados. Neste contexto, o Livro Verde" aponta uma srie de tecnologias consideradas chave para o desenVERSAO

1.0

PGINA 7

G UIA DE C LUSTER

2.2 - G OVERNO E LETRNICO B RASILEIRO

volvimento deste processo, dentre estas tecnologias encontra-se o Processamento de Alto Desempenho, abordado no captulo 8, que ilustra os seguintes tipos de aplicaes: Genoma humano, Disperso de poluio, Biologia estrutural, Previso meteorolgica, Modelagens de Informao. Esta tecnologia pode ainda ser largamente aplicada para aperfeioar a prpria gesto do governo - coordenao, planejamento, execuo e controle de aes, contabilidade pblica, etc. - e suas transaes comerciais com o setor privado. O conjunto dessas demandas e das Diretrizes de Governo Eletrnico, de utilizao da WEB para prestao da maior parte destes servios, estes que tm uma grande demanda computacional, com grande quantidade de acesso, usurios simultneos e alta demanda de processamento, acabam trazendo tona as arquiteturas de cluster e grid computacional. Existem outros exemplos do uso das tecnologias de informao e comunicao pela mquina administrativa pblica, dentre eles: a prestao de informaes ligadas aos servios pblicos, o acompanhamento das aes de governo e conduo dos negcios pblicos (por ex. compras governamentais), o acesso direto aos governantes e representantes eleitos. O setor governamental o principal indutor de aes estratgicas rumo Sociedade da Informao. Primeiramente, porque cabe ao governo denir o quadro regulatrio dentro do qual projetos e iniciativas concretas podero ser formuladas. Segundo, porque como regra o governo o maior comprador/contratador de bens e servios em tecnologias de informao e comunicao em um pas. Assim, uma deciso do governo em apoio a uma tecnologia ou servio pode abrir algumas avenidas de atividades ao setor privado, bem como conduzir outras a becos sem sada. Terceiro, porque o governo, com o uso exemplar de tecnologias de informao e comunicao em suas atividades, pode acelerar grandemente o uso dessas tecnologias em toda a economia, em funo da maior ecincia e transparncia de suas prprias aes"(Livro Verde [135]).

2.2 Governo Eletrnico BrasileiroO Governo Eletrnico foi concebido como instrumento de transformao da sociedade brasileira, estabelecendo diretrizes e parmetros para a criao de uma sociedade digital.VERSAO

1.0

PGINA 8

G UIA DE C LUSTER

2.2 - G OVERNO E LETRNICO B RASILEIRO

Com o passar do tempo, a chamada Sociedade da Informao apresentou novos paradigmas que mereciam igualmente a ateno do Governo Eletrnico. Assim, em suas diretrizes, foram explicitados:

[...] O papel do Estado neste mundo em transformao continua fundamental como agente estratgico para o atendimento da demanda de maior participao direta dos cidados e, ao mesmo tempo, a tomada de decises centrais estratgicas e rpidas. O crescimento das informaes em rede, o aumento da transparncia, e a conseqente diminuio da burocracia estatal, aumentaro o controle social sobre o Estado, o que contribuir para a democratizao do processo decisrio e para uma maior efetividade da ao governamental. Neste ambiente de transformaes, o Governo Eletrnico pretende ser um agente democrtico, estratgico, socialmente justo e ao mesmo tempo eciente na prestao de servios aos seus cidados.(Vide stio do Governo Eletrnico [6]) "

Com a preocupao de melhor adequar o Pas a esse cenrio, foram criados, por meio de decreto de 29 de outubro de 2003, comits tcnicos especcos no mbito do Comit Executivo do Governo Eletrnico: Implementao de Software Livre, Incluso Digital, Integrao de Sistemas, Sistemas Legados e Licenas de Software, Gesto de Stios e Servios On-Line, Infra-Estrutura de Rede, Governo para Governo (G2G), Gesto de Conhecimento e Informao Estratgica. Segundo o stio do Governo Eletrnico[6], as principais linhas de ao do Poder Executivo Federal em tecnologia da informao e comunicao esto estruturadas na direo a um governo eletrnico que procura promover: a universalizao do acesso aos servios, a transparncia das suas aes, a integrao de redes e o alto desempenho dos seus sistemas. Neste sentido o governo vem atuando em trs frentes fundamentais: a interao com o cidado, a melhoria da sua prpria gesto interna, e a integrao com parceiros e fornecedores. Neste processo importante o compartilhamento de recursos do governo, a unicidade e troca de informaes entre aplicaes, e a responsabilizao e credenciamento de gestores da informao, que permita uma integrao das redes de governo, com independncia, respeitando as peculiaridades setoriais dos rgos.VERSAO

1.0

PGINA 9

G UIA DE C LUSTER

2.2.1 - D IRETRIZES DO G OVERNO E LETRNICO B RASILEIRO

2.2.1 Diretrizes do Governo Eletrnico BrasileiroEm decorrncia do Decreto de 29 de outubro de 2003, a implementao do Governo Eletrnico passou a ser realizada segundo sete princpios, que foram assim concebidos5 :

[...] como referncia geral para estruturar as estratgias de interveno, adotadas como orientaes para todas as aes de Governo Eletrnico, gesto do conhecimento e gesto da TI no governo federal[6]: 1. A prioridade do Governo Eletrnico a promoo da cidadania. 2. A Incluso Digital indissocivel do Governo Eletrnico. 3. O Software Livre um recurso estratgico para a implementao do Governo Eletrnico. 4. A gesto do conhecimento um instrumento estratgico de articulao e gesto das polticas pblicas do Governo Eletrnico. 5. O Governo Eletrnico deve racionalizar o uso de recursos. 6. O Governo Eletrnico deve contar com um arcabouo integrado de polticas, sistemas, padres e normas. 7. Integrao das aes de Governo Eletrnico com outros nveis de governo e outros poderes.

Nesse novo contexto, a atuao do Governo Eletrnico pretende melhorar a prestao de servios aos cidados, com aumento da transparncia e diminuio da burocracia, contribuindo para a democratizao do processo decisrio, a efetividade das aes governamentais e a promoo da incluso digital. Para dar suporte a toda demanda computacional que gerada por esses princpios, que se prope a utilizao de arquiteturas computacionais baseadas em Cluster e Grids no governo, como forma de criar um ambiente computacional robusto, de alto grau de conana e de baixo custo.5 Ocinas de Planejamento Estratgico. RELATRIO CONSOLIDADO. Comit Executivo do Governo Eletrnico. Maio de 2004. pg 8.

VERSAO

1.0

PGINA 10

G UIA DE C LUSTER

2.2.2 - PADRES DE I NTEROPERABILIDADE DE G OVERNO E LETRNICO

2.2.2 Padres de Interoperabilidade de Governo EletrnicoCom a inteno de estruturar mecanismos capazes de promover a ecincia da Administrao Pblica no contexto da Sociedade da Informao, articulada s aes estabelecidas para implantao do Governo Eletrnico, o Governo brasileiro elaborou um conjunto de premissas, polticas e especicaes tcnicas regulamentadoras para utilizao da Tecnologia da Informao e da Comunicao, denominada Arquitetura e-PING Padres de Interoperabilidade6 de Governo Eletrnico". A Arquitetura e-PING dene um conjunto mnimo de premissas, polticas e especicaes tcnicas, que regulamentam a utilizao da Tecnologia de Informao e Comunicao (TIC) no Governo Federal, estabelecendo as condies de interao com os demais poderes e esferas de governo e com a sociedade em geral. As reas cobertas pela e-PING, esto segmentadas em: Interconexo; Segurana; Meios de Acesso; Organizao e Intercmbio de Informaes e reas de Integrao para Governo Eletrnico. Assim, pela e-PING,

A existncia de uma infra-estrutura de Tecnologia da Informao e Comunicao (TIC) que se preste como o alicerce para a criao dos servios de governo eletrnico o pr-requisito para o fornecimento de melhores servios sociedade, a custos mais baixos. Um governo moderno e integrado exige sistemas igualmente modernos e integrados, interoperveis, trabalhando de forma ntegra, segura e coerente em todo o setor pblico. Polticas e especicaes claramente denidas para interoperabilidade e gerenciamento de informaes so fundamentais para propiciar a conexo do governo, tanto no mbito interno como no contato com a sociedade e, em maior nvel de abrangncia, com o resto do mundo. A e-PING concebida como uma estrutura bsica para a estratgia de governo eletrnico, e permite racionalizar investimentos em TIC, por meio do compartilhamento, reutilizao e intercmbio de recursos tecnolgicos."

A e-PING apresenta, em cada um dos seus segmentos, polticas tcnicas norte6 Os conceitos de interoperabilidade adotados nesta arquitetura esto evidenciados no Documento de Referncia, disponvel em http://www.eping.e.gov.br.

VERSAO

1.0

PGINA 11

G UIA DE C LUSTER

2.2.2 - PADRES DE I NTEROPERABILIDADE DE G OVERNO E LETRNICO

adoras para estabelecimento das especicaes de seus componentes, que so fundamentadas em algumas polticas gerais. Para este trabalho, as principais polticas gerais levantadas pela e-Ping, que atingem e/ou norteiam o desenvolvimento de sistemas de Cluster e Grid so (e-PING verso 1.9 [2] - pg: 9) :

Alinhamento com a INTERNET: todos os sistemas de informao da administrao pblica devero estar alinhados com as principais especicaes usadas na Internet e com a World Wide Web; Adoo do XML como padro primrio de intercmbio de dados; Desenvolvimento e adoo de um Padro de Metadados do Governo Eletrnico - e-PMG, baseado em padres internacionalmente aceitos; Escalabilidade: as especicaes selecionadas devero ter a capacidade de atender alteraes de demanda no sistema, tais como, mudanas em volumes de dados, quantidade de transaes ou quantidade de usurios. Os padres estabelecidos no podero ser fator restritivo, devendo ser capazes de fundamentar o desenvolvimento de servios que atendam desde necessidades mais localizadas, envolvendo pequenos volumes de transaes e de usurios, at demandas de abrangncia nacional, com tratamento de grande quantidade de informaes e envolvimento de um elevado contingente de usurios; Adoo Preferencial de Padres Abertos: a e-PING dene que, sempre que possvel, sero adotados padres abertos nas especicaes tcnicas. Padres proprietrios so aceitos, de forma transitria, mantendo-se as perspectivas de substituio assim que houver condies de migrao. Sem prejuzo dessas metas, sero respeitadas as situaes em que haja necessidade de considerao de requisitos de segurana e integridade de informaes. Quando disponveis, solues em Software Livre so consideradas preferenciais.

Em sua segunda parte, Especicao Tcnica dos Componentes da e-PING", vrios pontos so levantados de interesse para novos projetos de sistemas de informtica e informao. Principalmente no que se pode caracterizar como computao distribuda, com a utilizao de Web Services e de Arquitetura Orientada Servios (SOA).VERSAO

1.0

PGINA 12

G UIA DE C LUSTER

2.2.2 - PADRES DE I NTEROPERABILIDADE DE G OVERNO E LETRNICO

Com a utilizao de Web Services para a interligao, integrao e interoperabilidade de sistemas. Da sesso 6.1. Interconexo: Polticas Tcnicas":

6.1.7. Sempre que possvel, deve ser utilizada tecnologia baseada na web em aplicaes que utilizaram Emulao de Terminal anteriormente." 6.1.8. A tecnologia de Web Services recomendada como padro de interoperabilidade da e- PING." 6.1.9. Os Web Services devero ser registrados e estar localizados em estruturas de diretrio compatveis com o padro UDDI. O protocolo de acesso a essa estrutura dever ser o HTTP." 6.1.10. O protocolo SOAP recomendado para comunicao entre os clientes e os Web Services e a especicao do servio dever utilizar a linguagem WSDL."

Na e-PING, Web Service"est denido como:

Os Web Services so aplicaes de software, identicadas por uma URI (Uniform Resource Identier), cujas interfaces e ligaes so capazes de serem denidas, descritas e descobertas por artefatos baseados em XML. Alm disso, possuem suporte para integrao direta com outras aplicaes de software, utilizando, como padro de interoperabilidade, mensagens escritas em XML e encapsuladas em protocolos de aplicao padro da Internet. A necessidade de integrao entre os diversos sistemas de informao de governo, implementados em diferentes tecnologias, s vezes de forma simultnea e em tempo real, implica na adoo de um padro de interoperabilidade que garanta escalabilidade e facilidade de uso. A tecnologia de Web Services adequada para atender tais necessidades, alm de ser independente em relao aos Sistemas Operacionais e s Linguagens de Programao. O uso de Web Services contempla tanto transferncias de documentos entre Instituies, quanto solicitaes para execuo de servios remotos."

E em conjunto so recomendados as seguintes especicaes: Protocolo de troca de informaes: SOAP v1.2, como denido pela W3C;VERSAO

1.0

PGINA 13

G UIA DE C LUSTER

2.2.3 - A S D IRETRIZES DO G OVERNO E LETRNICO E O S OFTWARE L IVRE

Infra-estrutura de registro:Especicao UDDI v3.0.2 (Universal Description, Discovery and Integration) denida pela OASIS; Linguagem de denio do servio: WSDL 1.1 (Web Service Description Language) como denido pelo W3C.

Um outro fator importante observado na sesso de Integrao para Governo Eletrnico, onde se dene as diretrizes tcnicas para o segmento, dela (a sesso 10.1 reas de Integrao para Governo Eletrnico: Polticas Tcnicas") se tem:.

A partir do entendimento de que a materializao do uso de XML Schemas se d atravs de servios interoperveis: Recomenda-se que a Arquitetura Orientada a Servios - SOA - e as polticas tcnicas relacionadas ao Segmento Interconexo sejam observadas no projeto e implementao de aplicaes baseadas nos XML Schemas referidos; O segmento passa a referenciar a iniciativa Arquitetura Referencial de Interoperao dos Sistemas Informatizados de Governo - AR", que um modelo de Arquitetura Orientada a Servios, adaptado realidade dos Sistemas Informatizados de Governo e que, oportunamente poder ser acessada em http://guialivre.governoeletronico.gov.br/ ar/"

Assim, com essas polticas de padronizao, o governo cria mecanismos para que os projetos em computao distribuda entre os rgos do Governo possam a ser estruturados e obtenham maiores vantagens das arquiteturas de Cluster e Grid. Essas padronizaes j so as bases para tecnologias existentes na rea, que hoje so maduras e utilizadas pela indstria.

2.2.3 As Diretrizes do Governo Eletrnico e o Software LivreAs diretrizes do Programa Brasileiro de Governo Eletrnico demonstram que a Gesto do Conhecimento e o uso de Padres Abertos e Software Livre so instrumentos estratgicos de articulao e gesto de polticas pblicas porque possibilitam a produo compartilhada e colaborativa de conhecimento, assegurandoVERSAO

1.0

PGINA 14

G UIA DE C LUSTER

2.2.3 - A S D IRETRIZES DO G OVERNO E LETRNICO E O S OFTWARE L IVRE

assim, a habilidade de criar, organizar e compartilhar solues e conhecimentos estratgicos para o Estado Brasileiro. O Guia Livre - Referncia de Migrao para Software Livre do governo federal", documento norteador para a migrao e utilizao de Software Livre na APF, explicita os benefcios obtidos pelo Estado ao se optar por este tipo de tecnologia. Como por exemplo:

Nesse cenrio, a losoa do Software Livre surge como oportunidade para disseminao do conhecimento e nova modalidade de desenvolvimento tecnolgico, em funo do novo paradigma que se estabelece na relao de quem produz o software (sejam empresas, sejam programadores autnomos) com a tecnologia propriamente dita."

e

Assim, a adoo do Software Livre por parte do Estado amparada principalmente pelos princpios de Impessoalidade, Ecincia e Razoabilidade7 , visando melhoria na qualidade dos servios prestados e promoo dos desenvolvimentos tecnolgico e social. Portanto, o Estado se benecia diretamente com a adoo do Software Livre, tanto no aspecto de sua estruturao para atendimento s demandas sociais, como no seu papel de promover desenvolvimento. Desse modo, possibilitamos a integrao das polticas de modernizao administrativa, incluso social baseadas na Tecnologia da Informao e no desenvolvimento industrial. A questo do Software Livre est contextualizada em amplo cenrio integrado, composto por aes de desenvolvimento tecnolgico, insero adequada do Pas na chamada Sociedade da Informao, promoo da cidadania, incluso digital e racionalizao de recursos. "

O Guia Livre"dene como principais razes para o uso de Software Livre:7 O artigo 37 da Constituio da Repblica apresenta os Princpios Basilares da Administrao Pblica: legalidade, impessoalidade, moralidade, publicidade e ecincia. O princpio da razoabilidade possui fundamentao implcita, sendo evidenciado em algumas Constituies Estaduais.

VERSAO

1.0

PGINA 15

G UIA DE C LUSTER

2.2.3 - A S D IRETRIZES DO G OVERNO E LETRNICO E O S OFTWARE L IVRE

Necessidade de adoo de padres abertos para o Governo Eletrnico (eGov); Nvel de segurana proporcionado pelo Software Livre; Eliminao de mudanas compulsrias que os modelos proprietrios impem periodicamente a seus usurios, em face da descontinuidade de suporte a verses ou solues; Independncia tecnolgica; Desenvolvimento de conhecimento local; Possibilidade de auditabilidade dos sistemas; Independncia de fornecedor nico. So apresentados os motivos pelos quais no basta ter acesso ao cdigo aberto, mas preciso desenvolver comunidades capazes de contribuir para a evoluo dos cdigos e algoritmos disponibilizados, criando inovaes, gerando melhorias e aperfeioando os mesmos. As motivaes no podem ser apenas econmicas, mas tambm devem ser orientadas pelas possibilidades de criao e de avanos nas reas de produo, do conhecimento e de novas tecnologias, assim estimulando o desenvolvimento de todo um conjunto de reas relacionadas ao software, ao conhecimento e gesto do Estado Brasileiro. O software livre, por princpio, depende do emprego de padres abertos. Tal uso vem a facilitar tambm aes relacionadas com integrao de sistemas, otimizao de processos, reutilizao de cdigos e adoo de arquiteturas computacionais abertas. O compartilhamento da informao e a adoo do software livre por muitos rgos pblicos e privados contribui para que o produto se mantenha atualizado e ganhe um corpo muito superior ao que cada instituio isoladamente poderia fazer e, sobretudo, se sustente no apenas por ser uma licena de software livre adequada, mas tambm pela criao de uma comunidade que venha a zelar para o seu desenvolvimento, compartilhando saberes e solues. A comunidade contribui para manter o software vivo, corrigindo seus defeitos, aperfeioando seu funcionamento, introduzindo inovaes e fazendo com que o produto se consolide mais robusto e a cada dia se torne mais conhecido por um conjunto maior de prossionais do setor e por diferentes segmentos da sociedade.VERSAO

1.0

PGINA 16

G UIA DE C LUSTER

2.2.4 - A A RQUITETURA DE C LUSTER E G RID E AS D IRETRIZES DO G OVERNO E LETRNICO

A razo pela escolha preferencial do software livre no governo federal motivado pelos resultados obtidos com o seu compartilhamento junto sociedade. O software livre tambm possibilita ao cidado o direito de acesso aos servios pblicos e ao conhecimento sem obrig-lo a usar uma plataforma especca. A utilizao de software livre em solues de Cluster e Grid" uma tendncia clara que vem se estabelecendo nos ltimos anos: De acordo com o top500.org8 , 72% dos computadores mais rpidos do mundo so clusters, e o Linux j est presente em 73% destes. Os principais desaos de utilizao de software livre no desenvolvimento de solues em Cluster e Grid" para a construo de sistemas crticos governamentais consistem na possibilidade de se aproveitar a grande quantidade de solues e softwares disponveis para os ambientes de Cluster e Grid", bem como na perspectiva de compartilhamento dos sistemas desenvolvidos com outros rgos e instituies pblicas, dentro da perspectiva conceitual do software pblico (vide [270]).

2.2.4 A Arquitetura de Cluster e Grid e as Diretrizes do Governo EletrnicoAs principais razes pela escolha preferencial por arquiteturas de cluster e grid no governo federal esto embasadas nas diretrizes de governo eletrnico de utilizao de software livre e racionalizao de recursos e encontram-se descritas abaixo:

independncia tecnolgica; independncia de fornecedor; integrao de processos de inovao tecnolgica nas estruturas de informtica pblica, como instrumento de melhoria da qualidade de servios, competividade e ecincia; estmulo ao desenvolvimento de tecnologias nacionais e a Poltica Nacional de Informtica;8

http://www.top500.org/stats1.0 PGINA 17

VERSAO

G UIA DE C LUSTER

2.3 - A S N OVAS D EMANDAS C OMPUTACIONAIS

adoo de padres abertos de hardware9 e software; interoperabilidade como um fator preponderante no desenvolvimento de sistemas e arquiteturas computacionais no governo; aproveitamento dos potenciais disponibilizados pela ampla estrutura de redes computacionais do governo federal. O presente documento apresenta as possibilidades, tecnologias e cenrios de utilizao de cluster e grid no Governo Federal, tendo como objetivo ampliar seu uso interno no governo de maneira a melhor atender as novas demandas computacionais da Sociedade da Informao que, segundo a diretriz de modernizao da mquina pblica, encontram-se cada vez mais internalizadas no governo brasileiro.

2.3 As Novas Demandas ComputacionaisAs atividades econmicas que utilizam redes eletrnicas como plataforma tecnolgica tm sido denominadas negcios eletrnicos (e-business). Essa expresso engloba os diversos tipos de transaes comerciais, administrativas e contbeis, que envolvem governo, empresas e consumidores. O comrcio eletrnico (e-commerce) a principal atividade dessa nova categoria de negcios. Os atores institucionais envolvidos nos servios governamentais so o prprio Governo (G), Instituies Externas (B, de business), e o Cidado (C), que interagem entre si de vrias maneiras. H cinco tipos de relaes entre esses atores em aplicaes governamentais:

B2B (business-to-business): transaes entre empresas, exemplos: EDI, portais verticais de negcios; B2C/C2B (business-to-consumer/consumer-to-business): transaes entre empresas e consumidores, exemplos: lojas e shoppings virtuais;9 Tambm conhecido como hardware commodity, trata-se de hardware padro de mercado fornecido por diversas empresas que concorrem entre si para oferecer as melhores condies de suporte, qualidade e preo para o governo

VERSAO

1.0

PGINA 18

G UIA DE C LUSTER

2.3 - A S N OVAS D EMANDAS C OMPUTACIONAIS

B2G/G2B (business-to-government/government-to-business): transaes envolvendo empresas e governo, exemplos: EDI, portais, compras. Corresponde a aes do Governo que envolvem interao com entidades externas. O exemplo mais concreto deste tipo a conduo de compras, contrataes, licitaes, etc, via meios eletrnicos; C2C (consumer-to-consumer): transaes entre consumidores nais (exemplos: sites de leiles, classicados on-line); G2C/C2G (government-to-consumer/consumer-to-government): transaes envolvendo governo e o cidado (consumidores nais dos servios do Governo), exemplos: pagamento de impostos, servios de comunicao). Corresponde a aes do Governo de prestao (ou recebimento) de informaes e servios ao cidado via meios eletrnicos. O exemplo mais comum deste tipo a veiculao de informaes em um website de um rgo do governo, aberto a todos os interessados; G2G (government-to-government): transaes entre instituies do governo em qualquer nvel ou esfera do Poder. Corresponde a funes que integram aes do Governo horizontalmente, exemplo: no nvel Federal, ou dentro do Executivo; ou verticalmente, exemplo: entre o Governo Federal e um Governo Estadual.

A informatizao de operaes internas e de servios prestados pelo Governo remete necessidade de se planejar, implementar e operar grandes aplicaes de tecnologias de informao e comunicao, envolvendo o desenvolvimento de pacotes de software de grande complexidade, para execuo em plataformas usualmente bastante heterogneas de computadores e redes. Tais aplicaes, especialmente as de escala nacional, que costumam tratar de imensas quantidades de dados, que perpassaro inmeras geraes tecnolgicas, so to carregadas de variveis e condicionantes que, tipicamente, so descritos e caracterizados como sistemas complexos":

tm dimenses gigantescas, tais como milhes de usurios, centenas de funes, etc.;VERSAO

1.0

PGINA 19

G UIA DE C LUSTER

2.3 - A S N OVAS D EMANDAS C OMPUTACIONAIS

tm especicao dinmica, isto , se modica ao longo do tempo, para acomodar novas necessidades, reviso de prioridades, etc.; nunca terminam de ser implementados, como conseqncia natural das duas caractersticas anteriores.

Assim os softwares desenvolvidos pela administrao pblica tm de optar pelas tecnologias adequadas e compatveis, seguindo as diretrizes de Governo Eletrnico e os padres de interoperabilidade j denidos pela e-PING. A adoo de padres tcnicos e sua institucionalizao so fundamentais para assegurar que aplicaes governamentais, mesmo resultando de uma mirade de iniciativas descentralizadas e descoordenadas de desenvolvimento, possam interoperar e se integrarem. A idia de desenvolvimento em espiral de sistemas bastante antiga e est na base da estrutura de se ter uma seqncia de verses para um servio. Muitas vezes, as verses so impostas pela evoluo tecnolgica. Mas especialmente no caso de software, o desenvolvimento em espiral utilizado como estratgia defensiva para o projeto de sistemas complexos. Aplicaes governamentais, mais do que quaisquer outras, demandam uma abordagem em espiral. Contudo, com demasiada freqncia, elas so concebidas na forma de processos lineares com viso demasiadamente simplista, com cronogramas irrealistas e sem um plano de evoluo de longo prazo. Os desaos da Sociedade da Informao" apresentados no Livro Verde, a insero do Brasil neste processo Global, a disseminao do acesso a Internet e as pesquisas do meio acadmico, convergiram em novas possibilidades de aplicao da tecnologia da informao na disponibilizao de servios e informaes aos cidados. Existe uma percepo no governo e uma presso da sociedade em torno da melhoria da qualidade dos servios prestados aos cidados, bem como para o aumento substancial da transparncia dos processos governamentais e o combate fraude e corrupo. Para atender estas demandas se faz necessrio atingir um nvel maior de integrao entre os sistemas governamentais e criar novos sistemas de inteligncia capazes de transformar o imenso volume de dados atual em informao til e agregada, atravs da utilizao de sistemas de Business InteliVERSAO

1.0

PGINA 20

G UIA DE C LUSTER

2.3 - A S N OVAS D EMANDAS C OMPUTACIONAIS

gence (BI) e de Enterprise Resource Planning (ERP) [272]. Alm da iminente necessidade de integrao e atribuio de valor agregado aos dados transformando-os em informao, importante salientar que a quantidade de servios e portais agregadores destas informaes e de interao com os cidados tambm dever crescer conjuntamente com a democratizao do acesso Internet, e sua conseqente utilizao como meio de comunicao entre governo e cidados, no contexto de desenvolvimento do Governo Eletrnico. A ampliao e a melhoria da qualidade dos processos internos e dos servios prestados pelo governo reetem-se na necessidade de aumento da capacidade computacional do setor pblico e, por se tratarem de servios crticos, possuem como caractersticas principais de demandas computacionais: alta disponibilidade; suporte a milhes de usurios simultneos; alta capacidade de processamento; capacidade de trabalhar com bancos de dados da ordem de milhes de registros; tolerncia a falhas de hardware e software; facilidade de integrao e interoperabilidade; adoo de padres abertos de hardware e software; armazenamento massivo da ordem de TeraBytes de dados; A necessidade de ampliao da malha computacional, atendendo as caractersticas expostas acima, deve superar um conjunto de restries ou problemas que esto relacionados com a utilizao de computao de grande porte para o efetivo atendimento das novas demandas, sendo eles: Limitao nanceira dos investimentos pblicos e a crescente necessidade de racionalizao do uso de recursos pblicos em TI, que muitas vezes impossibilitam o desenvolvimento ou implementao de um novo sistema diante do custo total de propriedade envolvido na aquisio de hardware e software para computao de grande porte.VERSAO

1.0

PGINA 21

G UIA DE C LUSTER

2.3 - A S N OVAS D EMANDAS C OMPUTACIONAIS

Diculdade de aumentar ou diminuir a capacidade computacional de acordo com a demanda atual de cada instituio. Normalmente, servidores de computao de grande porte possuem uma capacidade mxima de expanso limitada por srie ou modelo do equipamento. Quando uma instituio atinge a capacidade mxima do modelo que utilizado, torna-se necessrio realizar a troca do equipamento em operao por um modelo de capacidade maior. Geralmente, os custos para a troca de modelo de equipamento por um de maior capacidade so elevados. Dependncia tecnolgica e de fornecedor devido utilizao de hardware altamente especializado no modelo da computao de grande porte", os quais somente a empresa que comercializa o equipamento ou o software capaz de prestar suporte, realizar manuteno ou a venda de novos componentes. Isso leva ao controle do preo do mercado e enfraquece as relaes de negociao entre governo e empresas para a obteno da melhor soluo pelo menor custo possvel, inuenciada pela reduo da competio entre empresas no mercado. Sistemas e hardwares heterogneos: existe no governo um parque computacional extremamente heterogneo. Encontram-se em uso hardwares e softwares dos mais variados fornecedores, muitas vezes incompatveis entre si, devido ao emprego de padres fechados ou arquiteturas proprietrias. Diculdade de integrao e interoperabilidade entre os sistemas devido abundncia de padres proprietrios, segmentados e divergentes, conjugados com a falta de padres abertos. A Administrao Pblica obrigada a construir ou adquirir brokers10 , que funcionam como pontes entre tecnologias incompatveis, envolvendo muitas vezes o pagamento de licenas para desenvolvimento das arquiteturas proprietrias utilizadas. Estes fatores dicultam e muitas vezes retardam o processo de integrao nas arquiteturas computacionais baseadas em mainframe e computadores de grande porte.

Neste cenrio o Governo Brasileiro tem desenvolvido diversos projetos objetivando maior transparncia nas aes governamentais, otimizao do uso de recursos pblicos, construo de processos democrticos entre governo, empresas e cidados. Alguns exemplos so:10

Midlerware de integrao e comunicao.1.0 PGINA 22

VERSAO

G UIA DE C LUSTER

2.3 - A S N OVAS D EMANDAS C OMPUTACIONAIS

Sistema eleitoral com votao e apurao atravs da utilizao de urnas eletrnicas; Portal de Compras Governamentais11 e o Sistema Integrado de Administrao de Servios Gerais - SIASG, que so um conjunto de ferramentas para operacionalizar internamente o funcionamento sistmico das atividades inerentes ao Sistema de Servios Gerais12 , responsveis pelas compras governamentais13 . Arrecadao Fazendria: esta uma das reas mais avanadas em servios de governo eletrnico no Brasil. A maioria dos servios e sistemas de arrecadao fazendria esto disponveis na Internet. A declarao de imposto de renda de pessoa fsica disponibilizada por meio eletrnico atravs da Internet e por disquete foi responsvel por 98,2% [256] do total de declaraes no ano de 2005. Projeto I 3 Gov 14 : O Projeto I3 -Gov uma implementao da arquitetura referencial de interoperao de sistemas - e-PING, atravs dele possvel acessar os Sistemas Estruturadores de Governo, obtendo informaes de forma automtica e interopervel. So disponibilizadas as seguintes informaes e servios: i) Em Informao, possvel ver, por exemplo, o resultado dos gastos pblicos com Sade, Educao e outros, sob a tica dos Programas e Aes de Governo15 , ii) Em Inteligncia, esto registrados, de maneira padronizada, os macroprocessos de gesto administrativa de Governo. Um exemplo ohttp://www.comprasnet.gov.br O Sistema Integrado de Administrao de Servios Gerais - SIASG, um conjunto informatizado de ferramentas para operacionalizar internamente o funcionamento sistmico das atividades inerentes ao Sistema de Servios Gerais - SISG, quais sejam: gesto de materiais, edicaes pblicas, veculos ociais, comunicaes administrativas, licitaes e contratos, do qual o Ministrio do Planejamento, Oramento e Gesto - MP o rgo central normativo. 13 O Governo Federal economizou R$ 637,8 milhes com a utilizao do prego eletrnico de janeiro a julho de 2006. Esta modalidade foi responsvel por 47,3% do total de bens e servios adquiridos pelo governo durante este perodo. Um estudo recente realizado pelo Banco Mundial na rea de compras pblicas eletrnicas demonstra a ecincia do sistema de aquisies eletrnicas do Governo Federal Brasileiro. Segundo a avaliao do Banco Mundial, o Comprasnet obteve pontuao mxima nos indicadores que avaliaram a transparncia na divulgao das licitaes e de seus respectivos resultados e na utilizao de mtodos competitivos conforme recomendado pela lei. 14 Integrao e Inteligncia em Informaes de Governo 15 O PPA, plano Plurianual estabelece, de forma regionalizada, as diretrizes, os objetivos e as metas da Administrao Pblica Federal, e o principal instrumento de planejamento, por conseguinte, de mudana econmica e social com vistas ao desenvolvimento do Pas. O PPA organiza a atuao governamental em programas e aes, inserindo na administrao pblica a orientao do gasto pblico para resultados na sociedade.12VERSAO

11

1.0

PGINA 23

G UIA DE C LUSTER

2.3 - A S N OVAS D EMANDAS C OMPUTACIONAIS

uxo de aquisio de bens e de servios, iii) Em Integrao, ao implementar a Arquitetura Referencial de Interoperao, so organizados os servios dos Sistemas Estruturadores de Governo. O acesso s informaes utiliza metodologia e arquitetura padronizadas que garantem a interoperao transparente e automtica16 . Neste projeto esto envolvidas tecnologias de webservices, data warehouse, OLAP, ETL e integrao de dados/sistemas. Projeto de Qualidade de Informaes Sociais: O software de gesto de qualidade de dados permite limpar, padronizar e cruzar os cadastros que utilizam dados como nome, data de nascimento, nome de pai e me e nmero de documento de identicao.Tambm possibilita identicar erros de digitao e fazer comparaes por similaridade. Reconhece, por exemplo, a existncia de dois cadastros para uma nica pessoa que possui um registro com o nome completo e outro com apenas o ltimo sobrenome. Ou no caso de uma mulher que se registrou no sistema com o nome de solteira e, depois, com o nome de casada. As rotinas atuais no consideram essas diferenas e permitem que uma pessoa receba duas vezes o mesmo benefcio. Projeto Interlegis: O Interlegis um programa desenvolvido pelo Senado Federal, em parceria com o Banco Interamericano de Desenvolvimento (BID), de modernizao e integrao do Poder Legislativo nos seus nveis federal, estadual e municipal e de promoo da maior transparncia e interao desse Poder com a sociedade. Os meios utilizados so as novas tecnologias de informao (Internet, videoconferncia e transmisso de dados) que permitem a comunicao e a troca de experincias entre as Casas Legislativas e os legisladores e entre o Poder Legislativo e o pblico, visando aumentar a participao da populao. Em funo das nalidades do Programa o cadastro no Portal Interlegis aberto a qualquer pessoa, dando a oportunidade a essas pessoas adicionarem contedo ao stio (pginas, imagens, links,notcias, ...), que sero avaliados pelos administradores de contedo do Portal, para depois serem divulgados. O link Ajuda do Portal"foi feito para facilitar a compreenso de como uma pessoa pode se cadastrar, acessar e manusear os contedos que o Portal disponibiliza para ela.16 Ligao mquina a mquina sem interferncia de um operador (pessoa), com periodicidades programadas e, se for o caso, com latncia zero. Rotinas administrativas de cadastro e habilitao em servios disponibilizados mquina a mquina sem interferncia de um operador (pessoa), com periodicidades programadas e, se for o caso, com latncia zero.

VERSAO

1.0

PGINA 24

G UIA DE C LUSTER

2.3.1 - C OMPUTAO SOB D EMANDA

Estes projetos desenvolvidos pelo governo possuem uma ou mais das seguintes caractersticas:

Necessidade de Alta Capacidade de Processamento; Suporte a Milhares de Usurios Simultneos; Alta Capacidade de Armazenamento; Alta Disponibilidade; Segurana; Utilizao de padres abertos; Necessidade de integrao de sistemas e bases de dados.

Os grandes"sistemas utilizados pelo governo em sua maioria, como alguns dos descritos anteriormente, so desenvolvidos para a utilizao em sistemas baseados em Computao de Grande Porte". A seo 2.4 apresenta uma descrio sobre o paradigma computacional atualmente utilizado e a defesa de utilizao do paradigma computacional de cluster e grid para atingir os mesmos resultados com maiores vantagens para a Administrao Pblica.

2.3.1 Computao sob DemandaVrios sistemas de governo possuem demandas utuantes, ou seja, durante um momento convivem com pouca ou nenhuma carga de processamento e em outro momento especco possuem uma elevada carga de processamento. Um exemplo deste perl o sistema de declarao de imposto de renda. Durante um perodo do ano ativada a entrada de dados no sistema para a realizao de declaraes de imposto de renda. Quanto mais se aproxima o nal deste perodo, maior a quantidade de declaraes e, conseqentemente, a capacidade computacional necessria para o funcionamento do sistema. O mesmo ocorre com o SIAPE, s que neste caso a utilizao para processamento e entrada de dados no sistema ocorre com maior concentrao durante alguns dias do ms.VERSAO

1.0

PGINA 25

G UIA DE C LUSTER

2.3.2 - A PROVEITAMENTO DE C ICLOS O CIOSOS

A arquitetura da computao de grande porte no possui capacidade para que facilmente se aumente ou diminua seu poder computacional, sem esbarrar nas barreiras impostas por seu hardware especializado e proprietrio, por conta de seu alto custo total de propriedade e a diculdade de aquisio destes equipamentos. Em funo desta relao de dependncia, a administrao pblica obrigada a adquirir um hardware com maior capacidade de processamento para atender a demanda de pico de processamento do sistema. Durante quase toda a sua vida til, o equipamento adquirido possuir capacidade de processamento ociosa, devido s caractersticas de demandas utuantes de processamento desses sistemas governamentais. Em resumo, a administrao alocar na maior parte do tempo recursos nanceiros em um equipamento subutilizado, quando este recurso poderia ser utilizado em reas com demandas mais urgentes. Para equacionar questes como essas, a administrao pblica est em busca de alternativas computacionais baseadas em Cluster e Grid que auxiliem na resoluo desse desao de computao sob demanda, minimizando a capacidade de processamento ociosa existente dentro da administrao pblica, bem como a alocao de recursos nanceiros desnecessrios.

2.3.2 Aproveitamento de Ciclos OciososEstima-se que a administrao pblica direta possua um parque computacional em torno de 300 mil estaes de trabalho, que adotam um padro de uso comum. Este padro consiste numa maior utilizao destes equipamentos durante os horrios de expediente comercial de trabalho. Entretanto, at mesmo durante os horrios de maior utilizao destes equipamentos existem grandes perodos de ociosidade do uso de processamento dos mesmos. Este imenso recurso computacional ocioso poderia ser amplamente aproveitado atravs do emprego de paradigmas de computao probabilstica e Grid Computing. Alguns possveis usurios desta capacidade de processamento seriam: o governo atravs do processamento e exe