Distributed Databases

Universidade Federal do Estado de Alagoas Instituto de Computação - Campus A. C. Simões

Bancos de Dados DistribuídosVisão Geral, Características e Conceitos Associados

Michel Alves dos Santos:: Antônio Carlos Fernandes

Universidade Federal de Alagoas, Campus A. C. SimõesTabuleiro do Martins - Maceió - AL, CEP: 57072-970

Docente Responsável: Prof. Dr. Patrick Brito{michel.mas,afds.carlos}@gmail.com

22 de Junho 2011

Disciplina Banco de Dados II - Prof. Dr. Patrick Brito BDD: Visão Geral, Características e Conceitos Associados


Sumário

Tópicos Centrais da Explanação

1 Histórico, Motivação e Introdução.2 O Conceito de Sistemas Distribuídos.

O que é um Sistema Distribuído?Principais Desafios Impostos aos Sistemas Distribuídos.

3 O Conceito de Banco de Dados Distribuídos.O que é um Banco de Dados Distribuído?Comparação entre Tecnologia Paralela e Distribuída.Diferentes Arquiteturas de Sistemas de Banco de Dados.Prós e Contras dos Bancos de Dados Distribuídos.Funções Adicionais de Bancos de Dados Distribuídos.Fragmentação, Replicação e Alocação.Tipos de Sistemas de Banco de Dados Distribuídos.

4 Conclusões a Respeito da Área.5 Sugestões de Leitura: Periódicos e Livros.



Sumário








Sumário








Sumário








Sumário








Sumário








Sumário








Sumário








Sumário








Sumário








Sumário








Sumário








Sumário








Sumário








Sumário








Histórico

Antes: anos 70 e início dos anos 80

Processamento de Arquivos Tradicional

Cada programa deveria possuir o conjunto de descrição física dosdados e o mecanismo de acesso e manipulação dos mesmos.



Histórico






Histórico






Histórico

Final dos anos 80

Processamento de Banco de Dados

Independência de Dados

Mais descentralização e autonomia de processamento.



Histórico

Final dos anos 80






Histórico

Final dos anos 80






Histórico

Final dos anos 80






Motivação

Atualmente

Avanços no processamento e na computação distribuída ocorreramna área de sistemas operacionais.

Organizações tem estado muito interessadas em maiordescentralização do processamento (no nível de sistema) enquantoobtêm integração de recursos de informação (no nível lógico).

Surgimento de sistemas geograficamente distribuídos de bancos dedados, aplicações e usuários.



Motivação

Atualmente






Motivação

Atualmente






Motivação

Atualmente






Introdução

O que iremos discutir hoje?

Iremos discutir a respeito de Banco de Dados Distribuídos.

Tecnologia de Bancos de Dados + Tecnologia de Rede e Comunicação.

Mas antes de discutir a respeito de Bancos de Dados Distribuídosdevemos entender o que é um Sistema Distribuído.



Introdução







Introdução







Introdução







O Conceito de Sistema Distribuído

O que é um Sistema Distribuído?

Segundo (Coulouris, 2008): coleção de computadores autônomosinterligados através de uma rede e equipados com software que permite o

compartilhamento de recursos(hardware, software e dados).

Comunicam e coordenam suas ações através da transferência demensagens.


















Sistema de Computação Distribuída - Características

Consiste em vários elementos de processamento:

Não necessariamente homogêneos;Interconectados por um rede de computadores;Cooperam na execução de tarefas;Dividem um problema grande e intratável em partes menores;

































Principais Desafios dos Sistemas Distribuídos.

Desafios Relacionados a sua Implementação

Heterogeneidade, Transparência, Abertura, Concorrência,Segurança, Escalabilidade, Recuperação de Falhas.



Principais Desafios dos Sistemas Distribuídos.

Desafios Relacionados a sua Implementação

Heterogeneidade, Transparência, Abertura, Concorrência,Segurança, Escalabilidade, Recuperação de Falhas.



O Conceito de Banco de Dados Distribuídos

O que é um Sistema de Banco de Dados Distribuído?

SBDD = BDD + SGBDD

Banco de Dados Distribuído (BDD)É uma coleção de diversas bases de dados, interligadaslogicamente através de uma rede de computadores

Sistema Gerenciador de Banco de Dados Distribuído (SGBDD)É o software que possibilita o gerenciamento do BDD e lidacom aspectos de transparência para o usuário





SBDD = BDD + SGBDD







SBDD = BDD + SGBDD







SBDD = BDD + SGBDD






Fusão de Tecnologias

Integração 6= Centralização




Fusão de Tecnologias

Integração 6= Centralização




Principais características de um SGBDD

Autonomia local(moderada ou total);Independência de um nó central;Operação contínua;Transparência e independência de localidade;Independência de fragmentação;Independência de replicação;Processamento de consultas distribuído;Gerenciamento de transações distribuídas;Independência de hardware;Independência de sistema operacional.






















































Comparação entre Tecnologia Paralela e Distribuída.

Existem dois tipos principais de arquiteturas de sistemamultiprocessador

Arquitetura de Memória Compartilhada(fortemente acoplada);Múltiplos processadores compartilham armazenamentosecundário(disco) e também primário(memória).

Arquitetura de Disco Compartilhado(fracamente acoplada);Múltiplos processadores compartilham armazenamentosecundário(disco) mas cada um possui sua memória primária.

Os processadores se comunicam sem a sobrecarga da troca de mensagens em rede!





































Arquitetura de Memória Compartilhada(fortemente acoplada)





Arquitetura de Memória Compartilhada(fortemente acoplada)





Arquitetura de Disco Compartilhado(fracamente acoplada)





Arquitetura de Disco Compartilhado(fracamente acoplada)





Sistema Paralelo Vs. Sistema Distribuído

Os sistemas de gerenciamento que utilizam tão somente a tecnologia paralela sãochamados sistemas paralelos de gerenciamento de banco de dados, diferente dos

SGBDD, neles ocorre simetria e homogeneidade de nodos.


















Diferentes Arquiteturas de Sistemas de Banco de Dados.

Arquitetura ‘Nada Compartilhada’





Arquitetura ‘Nada Compartilhada’





Arquitetura em Rede com Banco de Dados Centralizado





Arquitetura em Rede com Banco de Dados Centralizado





Arquitetura de Banco de Dados Verdadeiramente Distribuída





Arquitetura de Banco de Dados Verdadeiramente Distribuída




Vantagens dos Bancos de Dados Distribuídos.

Gerenciamento de Dados Distribuídos com Diferentes Níveis deTransparência;

Transparência de Distribuição ou de Rede;Transparência de Replicação;Transparência de Fragmentação (horizontal, vertical ou mista).

Melhoria na Confiabilidade e na Disponibilidade;Maior probabilidade de que o sistema esteja operante;Maior probabilidade de que o sistema esteja continuamente disponível;

Melhoria de Desempenho;Manter dados mais próximos de onde eles são necessários;

Expansão Facilitada.Acréscimo de Dados ou de Nós;Influência Direta na Escalabilidade.
















































































































Desvantagens dos Bancos de Dados Distribuídos.

Aumento da Complexidade de Design dos Banco de Dados;Trabalho extra para garantir transparência de distribuição;Trabalho extra para manter múltiplos sistemas diferentes;Design das bases deve considerar: fragmentação, alocação e replicação.

Maiores Investimentos em Infraestrutura;Infraestrura mais extensa significa custo extra de trabalho.

Maiores Investimentos em Segurança;Proteção dos dados contra falsificação/adulteração;Proteção dos links de comunicação entre os nós.

Difícil Manutenção da Integridade;Reforçar integridade em rede exige muitos recursos.

Padronização Ainda Não Consolidada.Escassez de metodologias, ferramentas e grandes casos de uso.

























































































































Funções Adicionais dos Bancos de Dados Distribuídos.

Rastreamento de Dados;Rastrear Distribuição;Rastrear Fragmentação;Rastrear Replicação.

Processamento de Consultas Distribuídas;Acessar nós remotos e transmitir consultas e dados;

Gerenciamento de Transações Distribuídas;Conceber estratégias de execução de transações, sincronizar acesso aos dados distribuídos emanter integridade global;

Gerenciamento de Dados Replicados;Decidir qual cópia será acessada;Manter consistência das cópias.

Segurança;Gerenciamento dos privilégios de autorização/acesso de usuários.

Gerenciamento de Diretório/Catálogo Distribuído;Política de gerenciamento de metadados: global (para o BDD inteiro) ou local (para cada nó).


























































































































































Fragmentação, Replicação e Alocação.

Fragmentação: particionamento do banco em unidades lógicas;Fragmentaçao Horizontal: subconjunto de tuplas de uma relaçãoFragmentaçao Vertical: divide uma relação ‘verticalmente’ em colunasFragmentaçao Mista: adota as duas estratégias anteriores.

Replicação: armazenamento de dados em mais de um nó;Útil na melhoria da disponibilidade dos dados;Caso extremo ocorre na replicação total do banco em cada nó;Replicação total melhora desempenho de recuperação;Replicação total reduz velocidade de operações de atualização;Outro extremo é a alocação não-redundante: fragmentos disjuntos;Replicação Parcial é uma abordagem menos extremista.

Alocação: processo de atribuição de um fragmento a um nó;Escolha dos nós e o grau de replicação dependem dos objetivos dedesempenho e disponibilidade.































































































Exemplos de Fragmentação

Horizontal • Vertical • Mista




Exemplos de Fragmentação

Horizontal • Vertical • Mista




Replicação e Alocação

O grau de replicação de um BDD traduz um compromisso entre ocusto de acesso a dados remotos e o custo de atualizar cópias

múltiplas.

Um resumo desta discussão encontra-se na tabela abaixo:

Percentagem de Exceções Tamanho do Arquivo Método de Distribuição— pequeno replicaçãoPequena moderado particionamentoAlta grande centralização

Tabela: Percentagem de Exceções refere-se à freqüência com que umatransação necessita de dados que não estão armazenados localmente.






múltiplas.









múltiplas.









múltiplas.







Tipos de Sistemas de Banco de Dados Distribuídos.

Quanto ao Grau de Homogeneidade

Banco de Dados Distribuído Homogêneo

Banco de Dados Distribuído Heterogêneo

Quanto ao Grau de Autonomia

Sem Autonomia Local Total

Com Autonomia Local (Multibases e Federados)

































































Sistema de Banco de Dados Distribuído Homogêneo





Sistema de Banco de Dados Distribuído Homogêneo





Sistema de Banco de Dados Distribuído Heterogêneo





Sistema de Banco de Dados Distribuído Heterogêneo




Integrando Bases de Dados Heterogêneas

Atualmente o que é empregado para facilitar a integração?

Middleware: camada de software que provê uma interface comum entreuma consulta/comando/requisição e múltiplas bases distribuídas.



































Alguns Exemplos de Ferramentas

O que está disponível hoje no mercado?

Mas devemos ressaltar que a maioria dos sistemas gerenciadoresatuais não oferecem suporte completo e irrestrito aos conceitos

relacionados a um banco de dados puramente distribuído.



Alguns Exemplos de Ferramentas

O que está disponível hoje no mercado?

Mas devemos ressaltar que a maioria dos sistemas gerenciadoresatuais não oferecem suporte completo e irrestrito aos conceitos

relacionados a um banco de dados puramente distribuído.



Conclusões a Respeito da Área

Algumas Conclusões

Trata-se de um tópico muito amplo.

Sua adoção possui muitas vantagens em relação aarquitetura centralizada.

Porém carrega consigo muitos desafios. O custo de otimização deoperações está intrisecamente relacionado com o custo decomunicação entre nós e a estrutura dos enlaces de dados.

A maioria das ferramentas oferece suporte ‘semi-total’e por isso ainda existe muito espaço para evolução.




Algumas Conclusões








Algumas Conclusões








Algumas Conclusões








Algumas Conclusões







Terminando...

Algumas Sugestões de Periódicos

Periódico Publicações CitaçõesIEEE Transactions on Parallel and Distributed Systems 2449 27469ACM Transactions on Computer Systems 489 26025Journal of Parallel and Distributed Computing 2878 22294Parallel Computing 2418 13573Distributed Computing 550 10112

Tabela: Ranking do Microsoft Academic Research em Junho de 2011.



Terminando...

Algumas Sugestões de Periódicos

Periódico Publicações CitaçõesIEEE Transactions on Knowledge and Data Engineering 2412 30214ACM Transactions on Database Systems 935 36375Management Information Systems Quarterly 566 34640Information Systems Research 610 15594Distributed and Parallel Databases 317 4991

Tabela: Ranking do Microsoft Academic Research em Junho de 2011.



Terminando...

Algumas Sugestões de Leitura

Como também: Halsaal(1996), Stallings(1997), Comer(1997),entre outras referências.



Terminando...


Como também: Halsaal(1996), Stallings(1997), Comer(1997),entre outras referências.



Terminando...


E milhares de outras disponíveis em livrarias e na internet...

Escolha a sua e mãos a obra!



Terminando...






Terminando...






Isso é Tudo Pessoal!



Agradecimentos

Grato Pela Atenção!Michel Alves dos Santos - [email protected]

Antônio Carlos Fernandes - [email protected]



Referências Bibliográficas

Microsoft academic research, Juny 2011.URL http://academic.research.microsoft.com/.

S. Ceri and G. Pelagatti.Distributed Databases: Principles and Systems, volume 1.McGraw-Hill, 1984.

G. Coulouris, J. Dollimore, and T. Kindberg.Sistemas Distribuídos: Conceitos e Projeto, volume 1.Bookman, 4 edition, 2008.

R. Elmasri and S. B. Navathe.Sistemas de Banco de Dados, volume 1.Pearson Education, 4 edition, 2005.URL http://www.am.com/elmasri_br.

M. T. Ozsu and P. Valduriez.Principles of Distributed Database Systems, volume 1.Prentice-Hall, 2 edition, 1999.

A. S. Tanenbaum and M. V. Steen.Sistemas Distribuídos: Princípios e Paradigmas, volume 1.Pearson Education, 2 edition, 2010.


http://academic.research.microsoft.com/

http://www.am.com/elmasri_br