MPPI Um modelo de procedência para subsidiar processos de ...gbd.dc.ufscar.br/download/files/courses/SpatialAndBiologicalDB_2010/... · MPPI Um modelo de procedência para subsidiar

MPPI

Um modelo de procedência para

subsidiar processos de integração

Bruno Tomazela

Orientadora: Profª Drª Cristina Dutra de Aguiar Ciferri

05/02/2010

MPPI: um modelo de procedência para


Bruno TomazelaSumário

Contextualização e Motivação

Fundamentação Teórica

Trabalhos Correlatos

Proposta

Testes

Conclusão

Roteiro







Proposta

Testes

Conclusão

Roteiro



Bruno TomazelaContextualização e Motivação

Integração de instâncias

visa a resolução de conflitos existentes entre

dados de fontes heterogêneas

Procedência dos dados

metadados para identificar as fontes e as

transformações aplicadas aos dados

Contextualização




Procedência para integração

reproduzir decisões de integração nos quais as

fontes podem ser atualizadas somente por seus

proprietários

Motivação




Fontes apenas para leitura

Fonte 1

Fonte N





Fonte 1

Fonte N

Processo de

Integração





Fonte 1

Fonte N

Processo de

Integração

Decisões do usuário

sobre inconsistências





Fonte 1

Fonte N

Processo de

Integração


sobre inconsistênciasFonte 1

Integrada

Fonte N

Integrada





Fonte 1

Fonte N

Processo de

Integração



Cópias locais

Fonte 1

Integrada

Fonte N

Integrada





Fonte 1

Fonte N

Processo de

Integração



Cópias locaisProcesso de integração

não atualiza as fontes

com dados integrados

Fonte 1

Integrada

Fonte N

Integrada





Fonte 1

Fonte N

Processo de

Integração






Fonte 1

Integrada

Fonte N

Integrada

Necessidade de retomada de decisões entre

processos de integração distintos




Procedência para integração

reproduzir decisões de integração nos quais as

fontes podem ser atualizadas somente por seus

proprietários

Retomada de decisões

tempo de integração crescente

decisões inconsistentes entre processos

Motivação




Modelo MPPI

modelo de procedência para subsidiar

processos de integração

Requisitos

sistemas com fontes apenas para leitura

suporte à reaplicação de decisões de

integração

Proposta







Proposta

Testes

Conclusão

Roteiro



Bruno TomazelaFundamentação Teórica

Procedência dos Dados

O que coletar? Como coletar? Como armazenar? Como consultar?

Quatro aspectos




Definição dos dados de procedência que são

necessários para uma determinada aplicação

fonte, transformação, usuário, ...

Granularidade

atributo, tupla, relação, ...

Operações

diferentes tipos de dados e granularidade

O que coletar?




Como

manual x automática

Quando

lazy

procedência é coletada apenas quando requisitada

eager

procedência é coletada conforme os dados são gerados

Como coletar?




Ligação entre dado e procedência

junto do dado

separado do dado

Técnicas de armazenamento

como manter a história de um dado

Como armazenar?




Consulta tipo rastreamento

Consultar os dados e verificar a procedência dos mesmos

“Como esse relatório foi gerado?”

Consulta tipo filtro

Consultar os dados filtrando por um determinado critério de procedência

“Gerar um relatório apenas com dados advindos de currículos Lattes de docentes”

Como consultar?







Proposta

Testes

Conclusão

Roteiro



Bruno TomazelaTrabalhos Correlatos

Objetivo

rastrear resultados de integração

Aspectos

o que coletar?

operações em nível de atributo

como coletar?

eager e automática

como armazenar?

separado do dado

como consultar?

tipo rastreamento e filtro

Sistema CHIME




Objetivo

otimizar o armazenamento da procedência

Aspectos

o que coletar?

operações em nível de atributo ou de objeto

como coletar?

eager e automática

como armazenar?

separado do dado

quatro técnicas para otimizar o armazenamento

como consultar?

tipo rastreamento

Sistema CPDB




Objetivo

estimar a qualidade de dados incertos

Aspectos

o que coletar?

fonte dos dados em nível de tupla

como coletar?

eager e automática

como armazenar?

junto do dado

como consultar?


Sistema Trio




Objetivo

rastrear resultados de integração em mediadores

Aspectos

o que coletar?

fonte dos dados em nível de atributo

como coletar?

eager e automática

como armazenar?

separado do dado

como consultar?

tipo rastreamento

Sistema ELIT




Não oferecem suporte para reaplicação de

decisões

Necessidade de tratamento

decisões previamente tomadas pelo usuário

retomada de decisão

decisões que se sobrepõem

inconsistência

alterações nas fontes entre processos

fontes autônomas

Limitações nos trabalhos correlatos







Proposta

Testes

Conclusão

Roteiro



Bruno TomazelaProposta

Solução

um modelo de procedência dos dados

para subsidiar processos de integração

de dados de fontes heterogêneas

Proposta do modelo MPPI




Cenário de Integração

Fonte 1

Fonte N

Processo de

Integração






Fonte 1

Integrada

Fonte N

Integrada





Fontes podem prover

os mesmos dados

inconsistentes

Fonte 1

Fonte N

Processo de

Integração



Cópias locais

Fonte 1

Integrada

Fonte N

Integrada





Fontes podem prover

os mesmos dados

inconsistentes

Operações

Fonte 1

Fonte N

Processo de

Integração



Cópias locais

Fonte 1

Integrada

Fonte N

Integrada





Fontes podem prover

os mesmos dados

inconsistentes

Processo de

Reaplicação

Operações

Fonte 1

Fonte N

Processo de

Integração



Cópias locais

Fonte 1

Integrada

Fonte N

Integrada





Fontes podem prover

os mesmos dados

inconsistentes

Processo de

Reaplicação

Operações

Cópias Locais

Fonte 1

Reaplicada

Fonte N

Reaplicada

Fonte 1

Fonte N

Processo de

Integração



Cópias locais

Fonte 1

Integrada

Fonte N

Integrada





Fontes podem prover

os mesmos dados

inconsistentes

Processo de

Reaplicação

Operações

Cópias Locais

Fonte 1

Reaplicada

Fonte N

Reaplicada

Fonte 1

Fonte N

Processo de

Integração



Cópias locais

Fonte 1

Integrada

Fonte N

Integrada

Fontes de dados

coleção de objetos identificados por atributos chave




Características do modelo MPPI

OperaçõesTratamento de operações

de sobreposiçãoValidação Reaplicação




Edição

Cópia

Remoção

Inserção







Exemplo de operaçõesFonte: João

artigo

titulo: „Integrating…‟

ano: „2009‟

congresso: „SBBD‟

paginas: „260-275

local: „Campinas, SP‟

autor

nome: „João‟

ordemCitacao: „1‟

autor

nome: „Luis‟


Fonte: Luis

artigo

titulo: „Integration…‟

ano: „Aceito‟

congresso: „Simpósio…‟

paginas: „260-275

local: „ Campinas„

autor

nome: „João‟


autor

nome: „Luis‟


autor

nome: „Maria‟


Fonte: Maria

artigo


ano: „2010‟

congresso: „Congresso…‟

paginas: „1-15‟

local: „Campinas‟

autor

nome: „João‟


autor

nome: „Luis‟


autor

nome: „Maria‟


autor

nome: „Joaquim‟





EdiçãoFonte: João

artigo

titulo: ‘Integration…’

ano: „2009‟


paginas: „260-275


autor

nome: „João‟


autor

nome: „Luis‟


Fonte: Luis

artigo


ano: „Aceito‟


paginas: „260-275


autor

nome: „João‟


autor

nome: „Luis‟


autor

nome: „Maria‟


Fonte: Maria

artigo


ano: „2010‟


paginas: „1-15‟


autor

nome: „João‟


autor

nome: „Luis‟


autor

nome: „Maria‟


autor

nome: „Joaquim‟

ordemCitacao: „4‟Operação

id op origem destino idObjeto atributo valorOrigem valorDestino

1 ed null João artigo[titulo=Integrating...] titulo Integration... Integrating...




CópiaFonte: João

artigo


ano: ‘2009’


paginas: „260-275


autor

nome: „João‟


autor

nome: „Luis‟


Fonte: Luis

artigo


ano: ‘2009’


paginas: „260-275


autor

nome: „João‟


autor

nome: „Luis‟


autor

nome: „Maria‟


Fonte: Maria

artigo


ano: „2010‟


paginas: „1-15‟


autor

nome: „João‟


autor

nome: „Luis‟


autor

nome: „Maria‟


autor

nome: „Joaquim‟

ordemCitacao: „4‟Operação


2 cp João Luis artigo[titulo=Integration...] ano 2009 Aceito




Operação


3 ed null Mariaartigo[titulo=Integration...] /

autor[nome=Joaquim]ordemCitacao null 4

4 rm null Mariaartigo[titulo=Integration...] /

autor[nome=Joaquim]null null null

RemoçãoFonte: João

artigo


ano: „2009‟


paginas: „260-275


autor

nome: „João‟


autor

nome: „Luis‟


Fonte: Luis

artigo


ano: „2009‟


paginas: „260-275


autor

nome: „João‟


autor

nome: „Luis‟


autor

nome: „Maria‟


Fonte: Maria

artigo


ano: „2010‟


paginas: „1-15‟


autor

nome: „João‟


autor

nome: „Luis‟


autor

nome: „Maria‟


autor

nome: ‘Joaquim’

ordemCitacao: ‘4’




InserçãoFonte: João

artigo


ano: „2009‟


paginas: „260-275


autor

nome: „João‟


autor

nome: „Luis‟


autor

nome: ‘Maria’


Fonte: Luis

artigo


ano: „2009‟


paginas: „260-275


autor

nome: „João‟


autor

nome: „Luis‟


autor

nome: ‘Maria’


Fonte: Maria

artigo


ano: „2010‟


paginas: „1-15‟


autor

nome: „João‟


autor

nome: „Luis‟


autor

nome: „Maria‟


Operação


6 in Luis Joãoartigo[titulo=Integration…] /

autor[nome=Maria]null null null

7 cp Luis Joãoartigo [titulo=Integration…] /

autor[nome=Maria]ordemCitacao 3 null




Repositório de operações

Operação








5 cp João Luis artigo[titulo=Integration...] congresso Simpósio... SBBD

6 cp João Maria artigo[titulo=Integration…] paginas 260-275 1-15





9 cp Maria Joãoartigo [titulo=Integration…] /

autor[nome=João]ordemCitacao 2 1


autor[nome=Luis]ordemCitacao 1 2

11 cp Luis Maria artigo [titulo=Integration...] ano 2009 2010

12 cp Luis Maria artigo[titulo=Integration…] congresso Simpósio... Congresso…





Blind

Restrict

Undo

Redo






Operações de sobreposição

Uma operação que sobrepõe o resultado de

outra operação

Operação


…

5 cp João Luis artigo[titulo=Integration...] congresso Simpósio… SBBD

…

12 cp Luis Maria artigo[titulo=Integration…] congresso Simpósio… Congresso…

13 ed null João artigo[titulo=Integration...] congresso XXIV Simpósio… Simpósio…

Repositório

Nova operação






outra operação

Operação


…


…



Repositório

Nova operação

operação de sobreposição






outra operação

Operação


…


…



Repositório

Nova operação


operação sobreposta






outra operação

Operação


…


…



Repositório

Nova operação


operação sobreposta

operação transitiva (5 12)




Política blind

Operação de sobreposição (13) inserida

Operação


...


...


13 ed null João artigo[titulo=Integration...] congresso XXIV Simpósio... Simpósio...

Não trata operações de sobreposição

Repositório




Política restrict

Operação


…


…



Operação de sobreposição (13) não inserida

Não permite operações de sobreposição

Repositório




Política undo

Operação


…


…




Desfaz e remove operações afetadas pela


Repositório




Política undo

Operação


…


…




Operação sobreposta (5) desfeita e removida



Repositório




Política undo

Operação


…


…




Operação sobreposta (5) desfeita e removida

Operação transitiva (12) desfeita e removida



Repositório




Política redo

Operação


…


…




Refaz operações afetadas pela operação de

sobreposição e as move para o fim do repositório

Repositório




Política redo

Operação


…


…




Operação sobreposta (5) refeita e movida

5 cp João Luis artigo[titulo=Integration...] congresso XXIV Simpósio... SBBD



Repositório




Política redo

Operação


…


…




Operação sobreposta (5) refeita e movida

Operação transitiva (12) refeita e movida

12 cp Luis Maria artigo[titulo=Integration…] congresso XXIV Simpósio... Congresso…

5 cp João Luis artigo[titulo=Integration...] congresso XXIV Simpósio... SBBD



Repositório




Restrict e redo

garantem que todas as inconsistências resolvidas

pelos usuários sejam mantidas

mais adequadas para processos de integração

Blind

armazena todas as operações

Undo

não toma decisões automaticamente

Políticas de operações de sobreposição

Flexibilidade para o usuário





Verificar se as fontes utilizadas em uma operação foram alteradas

entre dois processos de integração

Validação da origem

Validação do destino

Validação completa

Sem validação






Definição de uma operação

Fontes Inconsistentes Fontes Consistentes

Integração com

Decisões do Usuário

Operações

Fonte: João

artigo


ano: „2009‟

paginas: „260-275‟

Fonte: Luis

artigo


ano: „Aceito‟

paginas: „1-15‟

Fonte: João

artigo


ano: „2009‟

paginas: „260-275‟

Fonte: Luis

artigo


ano: „Aceito‟

paginas: „260-275‟

Operação


6 cp João Luis artigo[titulo=Integration…] paginas 260-275 1-15





Fontes Consistentes Fontes Inconsistentes

Reaplicação

Operações

Fonte: João

Artigo


ano: „2009‟

paginas: „1-15‟

Fonte: Luis

artigo


ano: „Aceito‟

paginas: „1-15‟

Fonte: João

Artigo


ano: „2009‟

paginas: „1-15‟

Fonte: Luis

artigo


ano: „Aceito‟

paginas: „260-275‟

Operação



(a) Processo de

integração subsequente

Origem foi alterada

Consistente com o destino

(b) Reaplicação





Fontes Consistentes Fontes Inconsistentes

Reaplicação

Operações

Fonte: João

Artigo


ano: „2009‟

paginas: „1-15‟

Fonte: Luis

artigo


ano: „Aceito‟

paginas: „1-15‟

Fonte: João

Artigo


ano: „2009‟

paginas: „1-15‟

Fonte: Luis

artigo


ano: „Aceito‟

paginas: „260-275‟

Operação



(a) Processo de


(b) Reaplicação

Origem foi alterada

Consistente com o destino

Introduz a anomalia das fontes consistentes






Reaplicação

Operações

Fonte: João

Artigo


ano: „2009‟

paginas: „260-275‟

Fonte: Luis

artigo


ano: „Aceito‟

paginas: „30-47‟

Fonte: João

Artigo


ano: „2009‟

paginas: „260-275‟

Fonte: Luis

artigo


ano: „Aceito‟

paginas: „260-275‟

Operação



(a) Processo de


(b) Reaplicação

Destino foi alterado






Reaplicação

Operações

Fonte: João

Artigo


ano: „2009‟

paginas: „260-275‟

Fonte: Luis

artigo


ano: „Aceito‟

paginas: ‟30-47‟

Fonte: João

Artigo


ano: „2009‟

paginas: „260-275‟

Fonte: Luis

artigo


ano: „Aceito‟

paginas: „260-275‟

Operação



(a) Processo de


(b) Reaplicação

Destino foi alterado

Introduz a anomalia do destino sobrescrito





validação da origem e do destino

não gera anomalias

Sem validação

sem validação da origem e do destino

pode gerar ambas as anomalias

Demais tipos de validação





validação da origem e do destino

não gera anomalias

Sem validação

sem validação da origem e do destino

pode gerar ambas as anomalias

Demais tipos de validação





Método VRS

Método VRT

Reordenação segura






Validate and Reapply in Separate

Método VRS

Primeira Etapa – Validação

Validação da

Origem

Operações

Operações

Válidas

Fontes

Fontes

Reconciliadas

Validação do

Destino e

Reaplicação

Segunda Etapa – Reaplicação

Fontes

Operações

Válidas




Validate and Reapply in Separate

Método VRS

Primeira Etapa – Validação

Validação da

Origem

Operações

Operações

Válidas

Fontes

Fontes

Reconciliadas

Validação do

Destino e

Reaplicação

Segunda Etapa – Reaplicação

Fontes

Operações

Válidas

Problema de operações transitivas

Problema de operações que alteram a chave





Fonte: Luis

artigo


ano: „Aceito‟



…


...


Fonte: João

artigo


ano: „2009‟

congresso: „Simpósio...‟

Fonte: Luis

artigo


ano: „Aceito‟


Fonte: Maria

artigo


ano: „2010‟


tem

po

t1

t2

cópia

(id = 5)

cópia

(id = 12)

Definição das operações






…


...


Resultado das operações

Fonte: João

artigo


ano: „2009‟


Fonte: Luis

artigo


ano: „Aceito‟


Fonte: Maria

artigo


ano: „2010‟







…


...


Processos de integração subsequentes

Fonte: João

artigo


ano: „2009‟


Fonte: Luis

artigo


ano: „Aceito‟


Fonte: Maria

artigo


ano: „2010‟







…


...


Resultado de integrações subsequentes

Fonte: João

artigo


ano: „2009‟


Fonte: Luis

artigo


ano: „Aceito‟


Fonte: Maria

artigo


ano: „2010‟


Reaplicação incorreta

Operação invalidada incorretamente




Validate and Reapply in Tandem

Método VRT

Etapa Única – Validação e Reaplicação em Conjunto

Validação da

Origem

Operações

Fontes

Fontes

Reconciliadas

Fontes

Operação

Válida

Validação do

Destino e

Reaplicação




Validate and Reapply in Tandem

Não apresenta os problemas de

operações transitivas

operações que alteram a chave

Método VRT

Etapa Única – Validação e Reaplicação em Conjunto

Validação da

Origem

Operações

Fontes

Fontes

Reconciliadas

Fontes

Operação

Válida

Validação do

Destino e

Reaplicação




Definição

reordenação das operações do repositório que não

altera a ordem de operações transitivas, de operações

que alteram a chave e nem de operações de

sobreposição

Objetivo

reduzir o número de vezes que cada fonte é

carregada durante a reaplicação pelo método VRT

diminuir o tempo de execução desse método





Repositório de operações

Operação




















Fonte Luis carregada 4 vezes





Operação




















Fonte Luis carregada 3 vezes







Proposta

Testes

Conclusão

Roteiro



Bruno TomazelaTestes


0

1

2

50

0

15

00

25

00

35

00

45

00

55

00

65

00

75

00

85

00

95

00

Te

mp

o (

s)

Número de operações no repositório

0

1

2

50

0

15

00

25

00

35

00

45

00

55

00

65

00

75

00

85

00

95

00

Te

mp

o (

s)

Número de operações no repositório

(b) Transitivas indiretas(a) Transivitas diretas

0,00002,0000

blind restrict redo undo

Escalabilidade do número de

operações no repositório

78





0

1

2

0 5 10 15 20 25 30

Te

mp

o (

s)

Número de operações transitivas

0

1

2

0 5 10 15 20 25 30

Te

mp

o (

s)

Número de operações transitivas

(b) Transitivas indiretas(a) Transivitas diretas

0,00002,0000

blind restrict redo undo


operações transitivas

79




Reaplicação

0

2.100

4.200

50

0

15

00

25

00

35

00

45

00

55

00

65

00

75

00

85

00

95

00

Te

mp

o (

s)

Número de operações

0

30

60

50

0

15

00

25

00

35

00

45

00

55

00

65

00

75

00

85

00

95

00

Te

mp

o (

s)


(c) Inserção

(a) Edição

95,50%

93,00%

0

30

60

50

0

15

00

25

00

35

00

45

00

55

00

65

00

75

00

85

00

95

00

Te

mp

o (

s)

Número de Operações

0

30

60

50

0

15

00

25

00

35

00

45

00

55

00

65

00

75

00

85

00

95

00

Te

mp

o (

s)

Número de Operações

(b) Cópia

(d) Remoção

89,42%

97,74%


operações realizadas

80

0,0390,0780,0

Coleta Reaplicação (VRT)




0

390

780

15

45

75

10

5

Te

mp

o (

s)

Número de fontes

0

390

780

15

45

75

10

5

Te

mp

o (

s)

Número de fontes

0

415

830

15

45

75

10

5

Te

mp

o (

s)

Número de fontes

Reaplicação

(c) Inserção (d) Remoção

98,91%

(b) Cópia(a) Edição

0

390

780

15

45

75

10

5

Te

mp

o (

s)

Número de fontes

99,41% 99,82%

99,91%

Escalabilidade do número

de fontes

81

0,0390,0780,0





ReaplicaçãoSimulação de caso real

0

400

800

15

45

75

10

5

Te

mp

o (

s)

Número de fontes

99,30%

(a) Simulação caso real

Operação Porcentagem (%)

Cópia 75

Edição 15

Inserção 9

Remoção 1

(b) Porcentagem de cada

operação

82





Reordenação seguraEscalabilidade do número de

operações

0

128

256

50

0

15

00

25

00

35

00

45

00

55

00

65

00

75

00

85

00

95

00

Te

mp

o (

s)


96,15%

(a) Reaplicação

83

Não reordenado Reordenado




Reordenação seguraEscalabilidade do número de

fontes

0

5

10

15

45

75

10

5

Te

mp

o (

s)

Número de fontes

94,58%

(a) Reaplicação

84

Não reordenado Reordenado





pior caso linear no número de operações

transitivas

Testes

85






transitivas

Método VRT

pior caso linear no número de operações do

repositório

Testes

86






transitivas

Método VRT


repositório


melhora o desempenho do método VRT

Testes

87






transitivas

Método VRT


repositório


melhora o desempenho do método VRT

Testes

Os métodos propostos se mostraram

viáveis de serem implementados em

sistemas de integração

88







Proposta

Testes

Conclusão

Roteiro



Bruno TomazelaConclusão

Objetivo

reaplicar operações

Aspectos

o que coletar?

operações em nível de atributo

como coletar?

eager e automática

como armazenar?

separado do dado

como consultar?


O modelo MPPI




Conclusão

O modelo MPPI






Conclusão

elimina a ocorrência de decisões inconsistentes entre

processos de integração

reduz o tempo de integração do usuário, reaplicando

automaticamente as decisões

O modelo MPPI





Bruno TomazelaConclusão

Extensão do modelo para integração de

esquema

Definição de novas operações para integração

baseada em clusters

Propagação de decisões de integração para

objetos similares

Enfoque em outros cenários de integração, tal

como bancos de dados biológicos

Trabalhos Futuros

MPPI

Um modelo de procedência para


Bruno Tomazela

Orientadora: Profª Drª Cristina Dutra de Aguiar Ciferri

Perguntas

Documents

MPPI Um modelo de procedência para subsidiar processos de ...gbd.dc.ufscar.br/download/files/courses/SpatialAndBiologicalDB_2010/... · MPPI Um modelo de procedência para subsidiar