MPPI Um modelo de procedência para subsidiar processos de...

Preview:

Citation preview

MPPI

Um modelo de procedência para

subsidiar processos de integração

Bruno Tomazela

Orientadora: Profª Drª Cristina Dutra de Aguiar Ciferri

05/02/2010

MPPI: um modelo de procedência para

subsidiar processos de integração

Bruno TomazelaSumário

Contextualização e Motivação

Fundamentação Teórica

Trabalhos Correlatos

Proposta

Testes

Conclusão

Roteiro

MPPI: um modelo de procedência para

subsidiar processos de integração

Bruno TomazelaSumário

Contextualização e Motivação

Fundamentação Teórica

Trabalhos Correlatos

Proposta

Testes

Conclusão

Roteiro

MPPI: um modelo de procedência para

subsidiar processos de integração

Bruno TomazelaContextualização e Motivação

Integração de instâncias

visa a resolução de conflitos existentes entre

dados de fontes heterogêneas

Procedência dos dados

metadados para identificar as fontes e as

transformações aplicadas aos dados

Contextualização

MPPI: um modelo de procedência para

subsidiar processos de integração

Bruno TomazelaContextualização e Motivação

Procedência para integração

reproduzir decisões de integração nos quais as

fontes podem ser atualizadas somente por seus

proprietários

Motivação

MPPI: um modelo de procedência para

subsidiar processos de integração

Bruno TomazelaContextualização e Motivação

Fontes apenas para leitura

Fonte 1

Fonte N

MPPI: um modelo de procedência para

subsidiar processos de integração

Bruno TomazelaContextualização e Motivação

Fontes apenas para leitura

Fonte 1

Fonte N

Processo de

Integração

MPPI: um modelo de procedência para

subsidiar processos de integração

Bruno TomazelaContextualização e Motivação

Fontes apenas para leitura

Fonte 1

Fonte N

Processo de

Integração

Decisões do usuário

sobre inconsistências

MPPI: um modelo de procedência para

subsidiar processos de integração

Bruno TomazelaContextualização e Motivação

Fontes apenas para leitura

Fonte 1

Fonte N

Processo de

Integração

Decisões do usuário

sobre inconsistênciasFonte 1

Integrada

Fonte N

Integrada

MPPI: um modelo de procedência para

subsidiar processos de integração

Bruno TomazelaContextualização e Motivação

Fontes apenas para leitura

Fonte 1

Fonte N

Processo de

Integração

Decisões do usuário

sobre inconsistências

Cópias locais

Fonte 1

Integrada

Fonte N

Integrada

MPPI: um modelo de procedência para

subsidiar processos de integração

Bruno TomazelaContextualização e Motivação

Fontes apenas para leitura

Fonte 1

Fonte N

Processo de

Integração

Decisões do usuário

sobre inconsistências

Cópias locaisProcesso de integração

não atualiza as fontes

com dados integrados

Fonte 1

Integrada

Fonte N

Integrada

MPPI: um modelo de procedência para

subsidiar processos de integração

Bruno TomazelaContextualização e Motivação

Fontes apenas para leitura

Fonte 1

Fonte N

Processo de

Integração

Decisões do usuário

sobre inconsistências

Cópias locaisProcesso de integração

não atualiza as fontes

com dados integrados

Fonte 1

Integrada

Fonte N

Integrada

Necessidade de retomada de decisões entre

processos de integração distintos

MPPI: um modelo de procedência para

subsidiar processos de integração

Bruno TomazelaContextualização e Motivação

Procedência para integração

reproduzir decisões de integração nos quais as

fontes podem ser atualizadas somente por seus

proprietários

Retomada de decisões

tempo de integração crescente

decisões inconsistentes entre processos

Motivação

MPPI: um modelo de procedência para

subsidiar processos de integração

Bruno TomazelaContextualização e Motivação

Modelo MPPI

modelo de procedência para subsidiar

processos de integração

Requisitos

sistemas com fontes apenas para leitura

suporte à reaplicação de decisões de

integração

Proposta

MPPI: um modelo de procedência para

subsidiar processos de integração

Bruno TomazelaSumário

Contextualização e Motivação

Fundamentação Teórica

Trabalhos Correlatos

Proposta

Testes

Conclusão

Roteiro

MPPI: um modelo de procedência para

subsidiar processos de integração

Bruno TomazelaFundamentação Teórica

Procedência dos Dados

O que coletar? Como coletar? Como armazenar? Como consultar?

Quatro aspectos

MPPI: um modelo de procedência para

subsidiar processos de integração

Bruno TomazelaFundamentação Teórica

Definição dos dados de procedência que são

necessários para uma determinada aplicação

fonte, transformação, usuário, ...

Granularidade

atributo, tupla, relação, ...

Operações

diferentes tipos de dados e granularidade

O que coletar?

MPPI: um modelo de procedência para

subsidiar processos de integração

Bruno TomazelaFundamentação Teórica

Como

manual x automática

Quando

lazy

procedência é coletada apenas quando requisitada

eager

procedência é coletada conforme os dados são gerados

Como coletar?

MPPI: um modelo de procedência para

subsidiar processos de integração

Bruno TomazelaFundamentação Teórica

Ligação entre dado e procedência

junto do dado

separado do dado

Técnicas de armazenamento

como manter a história de um dado

Como armazenar?

MPPI: um modelo de procedência para

subsidiar processos de integração

Bruno TomazelaFundamentação Teórica

Consulta tipo rastreamento

Consultar os dados e verificar a procedência dos mesmos

“Como esse relatório foi gerado?”

Consulta tipo filtro

Consultar os dados filtrando por um determinado critério de procedência

“Gerar um relatório apenas com dados advindos de currículos Lattes de docentes”

Como consultar?

MPPI: um modelo de procedência para

subsidiar processos de integração

Bruno TomazelaSumário

Contextualização e Motivação

Fundamentação Teórica

Trabalhos Correlatos

Proposta

Testes

Conclusão

Roteiro

MPPI: um modelo de procedência para

subsidiar processos de integração

Bruno TomazelaTrabalhos Correlatos

Objetivo

rastrear resultados de integração

Aspectos

o que coletar?

operações em nível de atributo

como coletar?

eager e automática

como armazenar?

separado do dado

como consultar?

tipo rastreamento e filtro

Sistema CHIME

MPPI: um modelo de procedência para

subsidiar processos de integração

Bruno TomazelaTrabalhos Correlatos

Objetivo

otimizar o armazenamento da procedência

Aspectos

o que coletar?

operações em nível de atributo ou de objeto

como coletar?

eager e automática

como armazenar?

separado do dado

quatro técnicas para otimizar o armazenamento

como consultar?

tipo rastreamento

Sistema CPDB

MPPI: um modelo de procedência para

subsidiar processos de integração

Bruno TomazelaTrabalhos Correlatos

Objetivo

estimar a qualidade de dados incertos

Aspectos

o que coletar?

fonte dos dados em nível de tupla

como coletar?

eager e automática

como armazenar?

junto do dado

como consultar?

tipo rastreamento e filtro

Sistema Trio

MPPI: um modelo de procedência para

subsidiar processos de integração

Bruno TomazelaTrabalhos Correlatos

Objetivo

rastrear resultados de integração em mediadores

Aspectos

o que coletar?

fonte dos dados em nível de atributo

como coletar?

eager e automática

como armazenar?

separado do dado

como consultar?

tipo rastreamento

Sistema ELIT

MPPI: um modelo de procedência para

subsidiar processos de integração

Bruno TomazelaTrabalhos Correlatos

Não oferecem suporte para reaplicação de

decisões

Necessidade de tratamento

decisões previamente tomadas pelo usuário

retomada de decisão

decisões que se sobrepõem

inconsistência

alterações nas fontes entre processos

fontes autônomas

Limitações nos trabalhos correlatos

MPPI: um modelo de procedência para

subsidiar processos de integração

Bruno TomazelaSumário

Contextualização e Motivação

Fundamentação Teórica

Trabalhos Correlatos

Proposta

Testes

Conclusão

Roteiro

MPPI: um modelo de procedência para

subsidiar processos de integração

Bruno TomazelaProposta

Solução

um modelo de procedência dos dados

para subsidiar processos de integração

de dados de fontes heterogêneas

Proposta do modelo MPPI

MPPI: um modelo de procedência para

subsidiar processos de integração

Bruno TomazelaProposta

Cenário de Integração

Fonte 1

Fonte N

Processo de

Integração

Decisões do usuário

sobre inconsistências

Cópias locaisProcesso de integração

não atualiza as fontes

com dados integrados

Fonte 1

Integrada

Fonte N

Integrada

MPPI: um modelo de procedência para

subsidiar processos de integração

Bruno TomazelaProposta

Cenário de Integração

Fontes podem prover

os mesmos dados

inconsistentes

Fonte 1

Fonte N

Processo de

Integração

Decisões do usuário

sobre inconsistências

Cópias locais

Fonte 1

Integrada

Fonte N

Integrada

MPPI: um modelo de procedência para

subsidiar processos de integração

Bruno TomazelaProposta

Cenário de Integração

Fontes podem prover

os mesmos dados

inconsistentes

Operações

Fonte 1

Fonte N

Processo de

Integração

Decisões do usuário

sobre inconsistências

Cópias locais

Fonte 1

Integrada

Fonte N

Integrada

MPPI: um modelo de procedência para

subsidiar processos de integração

Bruno TomazelaProposta

Cenário de Integração

Fontes podem prover

os mesmos dados

inconsistentes

Processo de

Reaplicação

Operações

Fonte 1

Fonte N

Processo de

Integração

Decisões do usuário

sobre inconsistências

Cópias locais

Fonte 1

Integrada

Fonte N

Integrada

MPPI: um modelo de procedência para

subsidiar processos de integração

Bruno TomazelaProposta

Cenário de Integração

Fontes podem prover

os mesmos dados

inconsistentes

Processo de

Reaplicação

Operações

Cópias Locais

Fonte 1

Reaplicada

Fonte N

Reaplicada

Fonte 1

Fonte N

Processo de

Integração

Decisões do usuário

sobre inconsistências

Cópias locais

Fonte 1

Integrada

Fonte N

Integrada

MPPI: um modelo de procedência para

subsidiar processos de integração

Bruno TomazelaProposta

Cenário de Integração

Fontes podem prover

os mesmos dados

inconsistentes

Processo de

Reaplicação

Operações

Cópias Locais

Fonte 1

Reaplicada

Fonte N

Reaplicada

Fonte 1

Fonte N

Processo de

Integração

Decisões do usuário

sobre inconsistências

Cópias locais

Fonte 1

Integrada

Fonte N

Integrada

Fontes de dados

coleção de objetos identificados por atributos chave

MPPI: um modelo de procedência para

subsidiar processos de integração

Bruno TomazelaProposta

Características do modelo MPPI

OperaçõesTratamento de operações

de sobreposiçãoValidação Reaplicação

MPPI: um modelo de procedência para

subsidiar processos de integração

Bruno TomazelaProposta

Edição

Cópia

Remoção

Inserção

Características do modelo MPPI

OperaçõesTratamento de operações

de sobreposiçãoValidação Reaplicação

MPPI: um modelo de procedência para

subsidiar processos de integração

Bruno TomazelaProposta

Exemplo de operaçõesFonte: João

artigo

titulo: „Integrating…‟

ano: „2009‟

congresso: „SBBD‟

paginas: „260-275

local: „Campinas, SP‟

autor

nome: „João‟

ordemCitacao: „1‟

autor

nome: „Luis‟

ordemCitacao: „2‟

Fonte: Luis

artigo

titulo: „Integration…‟

ano: „Aceito‟

congresso: „Simpósio…‟

paginas: „260-275

local: „ Campinas„

autor

nome: „João‟

ordemCitacao: „2‟

autor

nome: „Luis‟

ordemCitacao: „1‟

autor

nome: „Maria‟

ordemCitacao: „3‟

Fonte: Maria

artigo

titulo: „Integration…‟

ano: „2010‟

congresso: „Congresso…‟

paginas: „1-15‟

local: „Campinas‟

autor

nome: „João‟

ordemCitacao: „2‟

autor

nome: „Luis‟

ordemCitacao: „1‟

autor

nome: „Maria‟

ordemCitacao: „3‟

autor

nome: „Joaquim‟

ordemCitacao: „4‟

MPPI: um modelo de procedência para

subsidiar processos de integração

Bruno TomazelaProposta

EdiçãoFonte: João

artigo

titulo: ‘Integration…’

ano: „2009‟

congresso: „SBBD‟

paginas: „260-275

local: „Campinas, SP‟

autor

nome: „João‟

ordemCitacao: „1‟

autor

nome: „Luis‟

ordemCitacao: „2‟

Fonte: Luis

artigo

titulo: „Integration…‟

ano: „Aceito‟

congresso: „Simpósio…‟

paginas: „260-275

local: „ Campinas„

autor

nome: „João‟

ordemCitacao: „2‟

autor

nome: „Luis‟

ordemCitacao: „1‟

autor

nome: „Maria‟

ordemCitacao: „3‟

Fonte: Maria

artigo

titulo: „Integration…‟

ano: „2010‟

congresso: „Congresso…‟

paginas: „1-15‟

local: „Campinas‟

autor

nome: „João‟

ordemCitacao: „2‟

autor

nome: „Luis‟

ordemCitacao: „1‟

autor

nome: „Maria‟

ordemCitacao: „3‟

autor

nome: „Joaquim‟

ordemCitacao: „4‟Operação

id op origem destino idObjeto atributo valorOrigem valorDestino

1 ed null João artigo[titulo=Integrating...] titulo Integration... Integrating...

MPPI: um modelo de procedência para

subsidiar processos de integração

Bruno TomazelaProposta

CópiaFonte: João

artigo

titulo: „Integration…‟

ano: ‘2009’

congresso: „SBBD‟

paginas: „260-275

local: „Campinas, SP‟

autor

nome: „João‟

ordemCitacao: „1‟

autor

nome: „Luis‟

ordemCitacao: „2‟

Fonte: Luis

artigo

titulo: „Integration…‟

ano: ‘2009’

congresso: „Simpósio…‟

paginas: „260-275

local: „ Campinas„

autor

nome: „João‟

ordemCitacao: „2‟

autor

nome: „Luis‟

ordemCitacao: „1‟

autor

nome: „Maria‟

ordemCitacao: „3‟

Fonte: Maria

artigo

titulo: „Integration…‟

ano: „2010‟

congresso: „Congresso…‟

paginas: „1-15‟

local: „Campinas‟

autor

nome: „João‟

ordemCitacao: „2‟

autor

nome: „Luis‟

ordemCitacao: „1‟

autor

nome: „Maria‟

ordemCitacao: „3‟

autor

nome: „Joaquim‟

ordemCitacao: „4‟Operação

id op origem destino idObjeto atributo valorOrigem valorDestino

2 cp João Luis artigo[titulo=Integration...] ano 2009 Aceito

MPPI: um modelo de procedência para

subsidiar processos de integração

Bruno TomazelaProposta

Operação

id op origem destino idObjeto atributo valorOrigem valorDestino

3 ed null Mariaartigo[titulo=Integration...] /

autor[nome=Joaquim]ordemCitacao null 4

4 rm null Mariaartigo[titulo=Integration...] /

autor[nome=Joaquim]null null null

RemoçãoFonte: João

artigo

titulo: „Integration…‟

ano: „2009‟

congresso: „SBBD‟

paginas: „260-275

local: „Campinas, SP‟

autor

nome: „João‟

ordemCitacao: „1‟

autor

nome: „Luis‟

ordemCitacao: „2‟

Fonte: Luis

artigo

titulo: „Integration…‟

ano: „2009‟

congresso: „Simpósio…‟

paginas: „260-275

local: „ Campinas„

autor

nome: „João‟

ordemCitacao: „2‟

autor

nome: „Luis‟

ordemCitacao: „1‟

autor

nome: „Maria‟

ordemCitacao: „3‟

Fonte: Maria

artigo

titulo: „Integration…‟

ano: „2010‟

congresso: „Congresso…‟

paginas: „1-15‟

local: „Campinas‟

autor

nome: „João‟

ordemCitacao: „2‟

autor

nome: „Luis‟

ordemCitacao: „1‟

autor

nome: „Maria‟

ordemCitacao: „3‟

autor

nome: ‘Joaquim’

ordemCitacao: ‘4’

MPPI: um modelo de procedência para

subsidiar processos de integração

Bruno TomazelaProposta

InserçãoFonte: João

artigo

titulo: „Integration…‟

ano: „2009‟

congresso: „SBBD‟

paginas: „260-275

local: „Campinas, SP‟

autor

nome: „João‟

ordemCitacao: „1‟

autor

nome: „Luis‟

ordemCitacao: „2‟

autor

nome: ‘Maria’

ordemCitacao: ‘3’

Fonte: Luis

artigo

titulo: „Integration…‟

ano: „2009‟

congresso: „Simpósio…‟

paginas: „260-275

local: „ Campinas„

autor

nome: „João‟

ordemCitacao: „2‟

autor

nome: „Luis‟

ordemCitacao: „1‟

autor

nome: ‘Maria’

ordemCitacao: ‘3’

Fonte: Maria

artigo

titulo: „Integration…‟

ano: „2010‟

congresso: „Congresso…‟

paginas: „1-15‟

local: „Campinas‟

autor

nome: „João‟

ordemCitacao: „2‟

autor

nome: „Luis‟

ordemCitacao: „1‟

autor

nome: „Maria‟

ordemCitacao: „3‟

Operação

id op origem destino idObjeto atributo valorOrigem valorDestino

6 in Luis Joãoartigo[titulo=Integration…] /

autor[nome=Maria]null null null

7 cp Luis Joãoartigo [titulo=Integration…] /

autor[nome=Maria]ordemCitacao 3 null

MPPI: um modelo de procedência para

subsidiar processos de integração

Bruno TomazelaProposta

Repositório de operações

Operação

id op origem destino idObjeto atributo valorOrigem valorDestino

1 ed null João artigo[titulo=Integrating...] titulo Integration... Integrating...

2 cp João Luis artigo[titulo=Integration...] ano 2009 Aceito

3 ed null Mariaartigo[titulo=Integration...] /

autor[nome=Joaquim]ordemCitacao null 4

4 rm null Mariaartigo[titulo=Integration...] /

autor[nome=Joaquim]null null null

5 cp João Luis artigo[titulo=Integration...] congresso Simpósio... SBBD

6 cp João Maria artigo[titulo=Integration…] paginas 260-275 1-15

7 in Luis Joãoartigo[titulo=Integration…] /

autor[nome=Maria]null null null

8 cp Luis Joãoartigo [titulo=Integration…] /

autor[nome=Maria]ordemCitacao 3 null

9 cp Maria Joãoartigo [titulo=Integration…] /

autor[nome=João]ordemCitacao 2 1

10 cp Maria Joãoartigo [titulo=Integration…] /

autor[nome=Luis]ordemCitacao 1 2

11 cp Luis Maria artigo [titulo=Integration...] ano 2009 2010

12 cp Luis Maria artigo[titulo=Integration…] congresso Simpósio... Congresso…

MPPI: um modelo de procedência para

subsidiar processos de integração

Bruno TomazelaProposta

Características do modelo MPPI

Blind

Restrict

Undo

Redo

OperaçõesTratamento de operações

de sobreposiçãoValidação Reaplicação

MPPI: um modelo de procedência para

subsidiar processos de integração

Bruno TomazelaProposta

Operações de sobreposição

Uma operação que sobrepõe o resultado de

outra operação

Operação

id op origem destino idObjeto atributo valorOrigem valorDestino

5 cp João Luis artigo[titulo=Integration...] congresso Simpósio… SBBD

12 cp Luis Maria artigo[titulo=Integration…] congresso Simpósio… Congresso…

13 ed null João artigo[titulo=Integration...] congresso XXIV Simpósio… Simpósio…

Repositório

Nova operação

MPPI: um modelo de procedência para

subsidiar processos de integração

Bruno TomazelaProposta

Operações de sobreposição

Uma operação que sobrepõe o resultado de

outra operação

Operação

id op origem destino idObjeto atributo valorOrigem valorDestino

5 cp João Luis artigo[titulo=Integration...] congresso Simpósio… SBBD

12 cp Luis Maria artigo[titulo=Integration…] congresso Simpósio… Congresso…

13 ed null João artigo[titulo=Integration...] congresso XXIV Simpósio… Simpósio…

Repositório

Nova operação

operação de sobreposição

MPPI: um modelo de procedência para

subsidiar processos de integração

Bruno TomazelaProposta

Operações de sobreposição

Uma operação que sobrepõe o resultado de

outra operação

Operação

id op origem destino idObjeto atributo valorOrigem valorDestino

5 cp João Luis artigo[titulo=Integration...] congresso Simpósio… SBBD

12 cp Luis Maria artigo[titulo=Integration…] congresso Simpósio… Congresso…

13 ed null João artigo[titulo=Integration...] congresso XXIV Simpósio… Simpósio…

Repositório

Nova operação

operação de sobreposição

operação sobreposta

MPPI: um modelo de procedência para

subsidiar processos de integração

Bruno TomazelaProposta

Operações de sobreposição

Uma operação que sobrepõe o resultado de

outra operação

Operação

id op origem destino idObjeto atributo valorOrigem valorDestino

5 cp João Luis artigo[titulo=Integration...] congresso Simpósio… SBBD

12 cp Luis Maria artigo[titulo=Integration…] congresso Simpósio… Congresso…

13 ed null João artigo[titulo=Integration...] congresso XXIV Simpósio… Simpósio…

Repositório

Nova operação

operação de sobreposição

operação sobreposta

operação transitiva (5 12)

MPPI: um modelo de procedência para

subsidiar processos de integração

Bruno TomazelaProposta

Política blind

Operação de sobreposição (13) inserida

Operação

id op origem destino idObjeto atributo valorOrigem valorDestino

...

5 cp João Luis artigo[titulo=Integration...] congresso Simpósio… SBBD

...

12 cp Luis Maria artigo[titulo=Integration…] congresso Simpósio… Congresso…

13 ed null João artigo[titulo=Integration...] congresso XXIV Simpósio... Simpósio...

Não trata operações de sobreposição

Repositório

MPPI: um modelo de procedência para

subsidiar processos de integração

Bruno TomazelaProposta

Política restrict

Operação

id op origem destino idObjeto atributo valorOrigem valorDestino

5 cp João Luis artigo[titulo=Integration...] congresso Simpósio… SBBD

12 cp Luis Maria artigo[titulo=Integration…] congresso Simpósio… Congresso…

13 ed null João artigo[titulo=Integration...] congresso XXIV Simpósio… Simpósio…

Operação de sobreposição (13) não inserida

Não permite operações de sobreposição

Repositório

MPPI: um modelo de procedência para

subsidiar processos de integração

Bruno TomazelaProposta

Política undo

Operação

id op origem destino idObjeto atributo valorOrigem valorDestino

5 cp João Luis artigo[titulo=Integration...] congresso Simpósio... SBBD

12 cp Luis Maria artigo[titulo=Integration…] congresso Simpósio... Congresso…

13 ed null João artigo[titulo=Integration...] congresso XXIV Simpósio… Simpósio…

Operação de sobreposição (13) inserida

Desfaz e remove operações afetadas pela

operação de sobreposição

Repositório

MPPI: um modelo de procedência para

subsidiar processos de integração

Bruno TomazelaProposta

Política undo

Operação

id op origem destino idObjeto atributo valorOrigem valorDestino

5 cp João Luis artigo[titulo=Integration...] congresso Simpósio... SBBD

12 cp Luis Maria artigo[titulo=Integration…] congresso Simpósio... Congresso…

13 ed null João artigo[titulo=Integration...] congresso XXIV Simpósio… Simpósio…

Operação de sobreposição (13) inserida

Operação sobreposta (5) desfeita e removida

Desfaz e remove operações afetadas pela

operação de sobreposição

Repositório

MPPI: um modelo de procedência para

subsidiar processos de integração

Bruno TomazelaProposta

Política undo

Operação

id op origem destino idObjeto atributo valorOrigem valorDestino

5 cp João Luis artigo[titulo=Integration...] congresso Simpósio... SBBD

12 cp Luis Maria artigo[titulo=Integration…] congresso Simpósio... Congresso…

13 ed null João artigo[titulo=Integration...] congresso XXIV Simpósio… Simpósio…

Operação de sobreposição (13) inserida

Operação sobreposta (5) desfeita e removida

Operação transitiva (12) desfeita e removida

Desfaz e remove operações afetadas pela

operação de sobreposição

Repositório

MPPI: um modelo de procedência para

subsidiar processos de integração

Bruno TomazelaProposta

Política redo

Operação

id op origem destino idObjeto atributo valorOrigem valorDestino

5 cp João Luis artigo[titulo=Integration...] congresso Simpósio... SBBD

12 cp Luis Maria artigo[titulo=Integration…] congresso Simpósio... Congresso…

13 ed null João artigo[titulo=Integration...] congresso XXIV Simpósio… Simpósio…

Operação de sobreposição (13) inserida

Refaz operações afetadas pela operação de

sobreposição e as move para o fim do repositório

Repositório

MPPI: um modelo de procedência para

subsidiar processos de integração

Bruno TomazelaProposta

Política redo

Operação

id op origem destino idObjeto atributo valorOrigem valorDestino

5 cp João Luis artigo[titulo=Integration...] congresso Simpósio... SBBD

12 cp Luis Maria artigo[titulo=Integration…] congresso Simpósio... Congresso…

13 ed null João artigo[titulo=Integration...] congresso XXIV Simpósio… Simpósio…

Operação de sobreposição (13) inserida

Operação sobreposta (5) refeita e movida

5 cp João Luis artigo[titulo=Integration...] congresso XXIV Simpósio... SBBD

Refaz operações afetadas pela operação de

sobreposição e as move para o fim do repositório

Repositório

MPPI: um modelo de procedência para

subsidiar processos de integração

Bruno TomazelaProposta

Política redo

Operação

id op origem destino idObjeto atributo valorOrigem valorDestino

5 cp João Luis artigo[titulo=Integration...] congresso Simpósio... SBBD

12 cp Luis Maria artigo[titulo=Integration…] congresso Simpósio... Congresso…

13 ed null João artigo[titulo=Integration...] congresso XXIV Simpósio… Simpósio…

Operação de sobreposição (13) inserida

Operação sobreposta (5) refeita e movida

Operação transitiva (12) refeita e movida

12 cp Luis Maria artigo[titulo=Integration…] congresso XXIV Simpósio... Congresso…

5 cp João Luis artigo[titulo=Integration...] congresso XXIV Simpósio... SBBD

Refaz operações afetadas pela operação de

sobreposição e as move para o fim do repositório

Repositório

MPPI: um modelo de procedência para

subsidiar processos de integração

Bruno TomazelaProposta

Restrict e redo

garantem que todas as inconsistências resolvidas

pelos usuários sejam mantidas

mais adequadas para processos de integração

Blind

armazena todas as operações

Undo

não toma decisões automaticamente

Políticas de operações de sobreposição

Flexibilidade para o usuário

MPPI: um modelo de procedência para

subsidiar processos de integração

Bruno TomazelaProposta

Características do modelo MPPI

Verificar se as fontes utilizadas em uma operação foram alteradas

entre dois processos de integração

Validação da origem

Validação do destino

Validação completa

Sem validação

OperaçõesTratamento de operações

de sobreposiçãoValidação Reaplicação

MPPI: um modelo de procedência para

subsidiar processos de integração

Bruno TomazelaProposta

Definição de uma operação

Fontes Inconsistentes Fontes Consistentes

Integração com

Decisões do Usuário

Operações

Fonte: João

artigo

titulo: „Integration…‟

ano: „2009‟

paginas: „260-275‟

Fonte: Luis

artigo

titulo: „Integration…‟

ano: „Aceito‟

paginas: „1-15‟

Fonte: João

artigo

titulo: „Integration…‟

ano: „2009‟

paginas: „260-275‟

Fonte: Luis

artigo

titulo: „Integration…‟

ano: „Aceito‟

paginas: „260-275‟

Operação

id op origem destino idObjeto atributo valorOrigem valorDestino

6 cp João Luis artigo[titulo=Integration…] paginas 260-275 1-15

MPPI: um modelo de procedência para

subsidiar processos de integração

Bruno TomazelaProposta

Validação da origem

Fontes Consistentes Fontes Inconsistentes

Reaplicação

Operações

Fonte: João

Artigo

titulo: „Integration…‟

ano: „2009‟

paginas: „1-15‟

Fonte: Luis

artigo

titulo: „Integration…‟

ano: „Aceito‟

paginas: „1-15‟

Fonte: João

Artigo

titulo: „Integration…‟

ano: „2009‟

paginas: „1-15‟

Fonte: Luis

artigo

titulo: „Integration…‟

ano: „Aceito‟

paginas: „260-275‟

Operação

id op origem destino idObjeto atributo valorOrigem valorDestino

6 cp João Luis artigo[titulo=Integration…] paginas 260-275 1-15

(a) Processo de

integração subsequente

Origem foi alterada

Consistente com o destino

(b) Reaplicação

MPPI: um modelo de procedência para

subsidiar processos de integração

Bruno TomazelaProposta

Validação da origem

Fontes Consistentes Fontes Inconsistentes

Reaplicação

Operações

Fonte: João

Artigo

titulo: „Integration…‟

ano: „2009‟

paginas: „1-15‟

Fonte: Luis

artigo

titulo: „Integration…‟

ano: „Aceito‟

paginas: „1-15‟

Fonte: João

Artigo

titulo: „Integration…‟

ano: „2009‟

paginas: „1-15‟

Fonte: Luis

artigo

titulo: „Integration…‟

ano: „Aceito‟

paginas: „260-275‟

Operação

id op origem destino idObjeto atributo valorOrigem valorDestino

6 cp João Luis artigo[titulo=Integration…] paginas 260-275 1-15

(a) Processo de

integração subsequente

(b) Reaplicação

Origem foi alterada

Consistente com o destino

Introduz a anomalia das fontes consistentes

MPPI: um modelo de procedência para

subsidiar processos de integração

Bruno TomazelaProposta

Validação do destino

Fontes Inconsistentes Fontes Consistentes

Reaplicação

Operações

Fonte: João

Artigo

titulo: „Integration…‟

ano: „2009‟

paginas: „260-275‟

Fonte: Luis

artigo

titulo: „Integration…‟

ano: „Aceito‟

paginas: „30-47‟

Fonte: João

Artigo

titulo: „Integration…‟

ano: „2009‟

paginas: „260-275‟

Fonte: Luis

artigo

titulo: „Integration…‟

ano: „Aceito‟

paginas: „260-275‟

Operação

id op origem destino idObjeto atributo valorOrigem valorDestino

6 cp João Luis artigo[titulo=Integration…] paginas 260-275 1-15

(a) Processo de

integração subsequente

(b) Reaplicação

Destino foi alterado

MPPI: um modelo de procedência para

subsidiar processos de integração

Bruno TomazelaProposta

Validação do destino

Fontes Inconsistentes Fontes Consistentes

Reaplicação

Operações

Fonte: João

Artigo

titulo: „Integration…‟

ano: „2009‟

paginas: „260-275‟

Fonte: Luis

artigo

titulo: „Integration…‟

ano: „Aceito‟

paginas: ‟30-47‟

Fonte: João

Artigo

titulo: „Integration…‟

ano: „2009‟

paginas: „260-275‟

Fonte: Luis

artigo

titulo: „Integration…‟

ano: „Aceito‟

paginas: „260-275‟

Operação

id op origem destino idObjeto atributo valorOrigem valorDestino

6 cp João Luis artigo[titulo=Integration…] paginas 260-275 1-15

(a) Processo de

integração subsequente

(b) Reaplicação

Destino foi alterado

Introduz a anomalia do destino sobrescrito

MPPI: um modelo de procedência para

subsidiar processos de integração

Bruno TomazelaProposta

Validação completa

validação da origem e do destino

não gera anomalias

Sem validação

sem validação da origem e do destino

pode gerar ambas as anomalias

Demais tipos de validação

MPPI: um modelo de procedência para

subsidiar processos de integração

Bruno TomazelaProposta

Validação completa

validação da origem e do destino

não gera anomalias

Sem validação

sem validação da origem e do destino

pode gerar ambas as anomalias

Demais tipos de validação

MPPI: um modelo de procedência para

subsidiar processos de integração

Bruno TomazelaProposta

Características do modelo MPPI

Método VRS

Método VRT

Reordenação segura

OperaçõesTratamento de operações

de sobreposiçãoValidação Reaplicação

MPPI: um modelo de procedência para

subsidiar processos de integração

Bruno TomazelaProposta

Validate and Reapply in Separate

Método VRS

Primeira Etapa – Validação

Validação da

Origem

Operações

Operações

Válidas

Fontes

Fontes

Reconciliadas

Validação do

Destino e

Reaplicação

Segunda Etapa – Reaplicação

Fontes

Operações

Válidas

MPPI: um modelo de procedência para

subsidiar processos de integração

Bruno TomazelaProposta

Validate and Reapply in Separate

Método VRS

Primeira Etapa – Validação

Validação da

Origem

Operações

Operações

Válidas

Fontes

Fontes

Reconciliadas

Validação do

Destino e

Reaplicação

Segunda Etapa – Reaplicação

Fontes

Operações

Válidas

Problema de operações transitivas

Problema de operações que alteram a chave

MPPI: um modelo de procedência para

subsidiar processos de integração

Bruno TomazelaProposta

Problema de operações transitivas

Fonte: Luis

artigo

titulo: „Integration…‟

ano: „Aceito‟

congresso: „SBBD‟

id op origem destino idObjeto atributo valorOrigem valorDestino

5 cp João Luis artigo[titulo=Integration...] congresso Simpósio... SBBD

...

12 cp Luis Maria artigo[titulo=Integration…] congresso Simpósio... Congresso…

Fonte: João

artigo

titulo: „Integration…‟

ano: „2009‟

congresso: „Simpósio...‟

Fonte: Luis

artigo

titulo: „Integration…‟

ano: „Aceito‟

congresso: „Simpósio...‟

Fonte: Maria

artigo

titulo: „Integration…‟

ano: „2010‟

congresso: „Congresso…‟

tem

po

t1

t2

cópia

(id = 5)

cópia

(id = 12)

Definição das operações

MPPI: um modelo de procedência para

subsidiar processos de integração

Bruno TomazelaProposta

Problema de operações transitivas

id op origem destino idObjeto atributo valorOrigem valorDestino

5 cp João Luis artigo[titulo=Integration...] congresso Simpósio... SBBD

...

12 cp Luis Maria artigo[titulo=Integration…] congresso Simpósio... Congresso…

Resultado das operações

Fonte: João

artigo

titulo: „Integration…‟

ano: „2009‟

congresso: „Simpósio...‟

Fonte: Luis

artigo

titulo: „Integration…‟

ano: „Aceito‟

congresso: „Simpósio…‟

Fonte: Maria

artigo

titulo: „Integration…‟

ano: „2010‟

congresso: „Simpósio…‟

MPPI: um modelo de procedência para

subsidiar processos de integração

Bruno TomazelaProposta

Problema de operações transitivas

id op origem destino idObjeto atributo valorOrigem valorDestino

5 cp João Luis artigo[titulo=Integration...] congresso Simpósio... SBBD

...

12 cp Luis Maria artigo[titulo=Integration…] congresso Simpósio... Congresso…

Processos de integração subsequentes

Fonte: João

artigo

titulo: „Integration…‟

ano: „2009‟

congresso: „Simpósio...‟

Fonte: Luis

artigo

titulo: „Integration…‟

ano: „Aceito‟

congresso: „SBBD‟

Fonte: Maria

artigo

titulo: „Integration…‟

ano: „2010‟

congresso: „Congresso…‟

MPPI: um modelo de procedência para

subsidiar processos de integração

Bruno TomazelaProposta

Problema de operações transitivas

id op origem destino idObjeto atributo valorOrigem valorDestino

5 cp João Luis artigo[titulo=Integration...] congresso Simpósio... SBBD

...

12 cp Luis Maria artigo[titulo=Integration…] congresso Simpósio... Congresso…

Resultado de integrações subsequentes

Fonte: João

artigo

titulo: „Integration…‟

ano: „2009‟

congresso: „Simpósio...‟

Fonte: Luis

artigo

titulo: „Integration…‟

ano: „Aceito‟

congresso: „Simpósio…‟

Fonte: Maria

artigo

titulo: „Integration…‟

ano: „2010‟

congresso: „Congresso…‟

Reaplicação incorreta

Operação invalidada incorretamente

MPPI: um modelo de procedência para

subsidiar processos de integração

Bruno TomazelaProposta

Validate and Reapply in Tandem

Método VRT

Etapa Única – Validação e Reaplicação em Conjunto

Validação da

Origem

Operações

Fontes

Fontes

Reconciliadas

Fontes

Operação

Válida

Validação do

Destino e

Reaplicação

MPPI: um modelo de procedência para

subsidiar processos de integração

Bruno TomazelaProposta

Validate and Reapply in Tandem

Não apresenta os problemas de

operações transitivas

operações que alteram a chave

Método VRT

Etapa Única – Validação e Reaplicação em Conjunto

Validação da

Origem

Operações

Fontes

Fontes

Reconciliadas

Fontes

Operação

Válida

Validação do

Destino e

Reaplicação

MPPI: um modelo de procedência para

subsidiar processos de integração

Bruno TomazelaProposta

Definição

reordenação das operações do repositório que não

altera a ordem de operações transitivas, de operações

que alteram a chave e nem de operações de

sobreposição

Objetivo

reduzir o número de vezes que cada fonte é

carregada durante a reaplicação pelo método VRT

diminuir o tempo de execução desse método

Reordenação segura

MPPI: um modelo de procedência para

subsidiar processos de integração

Bruno TomazelaProposta

Repositório de operações

Operação

id op origem destino idObjeto atributo valorOrigem valorDestino

1 ed null João artigo[titulo=Integrating...] titulo Integration... Integrating...

2 cp João Luis artigo[titulo=Integration...] ano 2009 Aceito

3 ed null Mariaartigo[titulo=Integration...] /

autor[nome=Joaquim]ordemCitacao null 4

4 rm null Mariaartigo[titulo=Integration...] /

autor[nome=Joaquim]null null null

5 cp João Luis artigo[titulo=Integration...] congresso Simpósio... SBBD

6 cp João Maria artigo[titulo=Integration…] paginas 260-275 1-15

7 in Luis Joãoartigo[titulo=Integration…] /

autor[nome=Maria]null null null

8 cp Luis Joãoartigo [titulo=Integration…] /

autor[nome=Maria]ordemCitacao 3 null

9 cp Maria Joãoartigo [titulo=Integration…] /

autor[nome=João]ordemCitacao 2 1

10 cp Maria Joãoartigo [titulo=Integration…] /

autor[nome=Luis]ordemCitacao 1 2

11 cp Luis Maria artigo [titulo=Integration...] ano 2009 2010

12 cp Luis Maria artigo[titulo=Integration…] congresso Simpósio... Congresso…

Fonte Luis carregada 4 vezes

MPPI: um modelo de procedência para

subsidiar processos de integração

Bruno TomazelaProposta

Reordenação segura

Operação

id op origem destino idObjeto atributo valorOrigem valorDestino

1 ed null João artigo[titulo=Integrating...] titulo Integration... Integrating...

2 cp João Luis artigo[titulo=Integration...] ano 2009 Aceito

5 cp João Luis artigo[titulo=Integration...] congresso Simpósio... SBBD

3 ed null Mariaartigo[titulo=Integration...] /

autor[nome=Joaquim]ordemCitacao null 4

4 rm null Mariaartigo[titulo=Integration...] /

autor[nome=Joaquim]null null null

6 cp João Maria artigo[titulo=Integration…] paginas 260-275 1-15

7 in Luis Joãoartigo[titulo=Integration…] /

autor[nome=Maria]null null null

8 cp Luis Joãoartigo [titulo=Integration…] /

autor[nome=Maria]ordemCitacao 3 null

9 cp Maria Joãoartigo [titulo=Integration…] /

autor[nome=João]ordemCitacao 2 1

10 cp Maria Joãoartigo [titulo=Integration…] /

autor[nome=Luis]ordemCitacao 1 2

11 cp Luis Maria artigo [titulo=Integration...] ano 2009 2010

12 cp Luis Maria artigo[titulo=Integration…] congresso Simpósio... Congresso…

Fonte Luis carregada 3 vezes

MPPI: um modelo de procedência para

subsidiar processos de integração

Bruno TomazelaSumário

Contextualização e Motivação

Fundamentação Teórica

Trabalhos Correlatos

Proposta

Testes

Conclusão

Roteiro

MPPI: um modelo de procedência para

subsidiar processos de integração

Bruno TomazelaTestes

Operações de sobreposição

0

1

2

50

0

15

00

25

00

35

00

45

00

55

00

65

00

75

00

85

00

95

00

Te

mp

o (

s)

Número de operações no repositório

0

1

2

50

0

15

00

25

00

35

00

45

00

55

00

65

00

75

00

85

00

95

00

Te

mp

o (

s)

Número de operações no repositório

(b) Transitivas indiretas(a) Transivitas diretas

0,00002,0000

blind restrict redo undo

Escalabilidade do número de

operações no repositório

78

MPPI: um modelo de procedência para

subsidiar processos de integração

Bruno TomazelaTestes

Operações de sobreposição

0

1

2

0 5 10 15 20 25 30

Te

mp

o (

s)

Número de operações transitivas

0

1

2

0 5 10 15 20 25 30

Te

mp

o (

s)

Número de operações transitivas

(b) Transitivas indiretas(a) Transivitas diretas

0,00002,0000

blind restrict redo undo

Escalabilidade do número de

operações transitivas

79

MPPI: um modelo de procedência para

subsidiar processos de integração

Bruno TomazelaTestes

Reaplicação

0

2.100

4.200

50

0

15

00

25

00

35

00

45

00

55

00

65

00

75

00

85

00

95

00

Te

mp

o (

s)

Número de operações

0

30

60

50

0

15

00

25

00

35

00

45

00

55

00

65

00

75

00

85

00

95

00

Te

mp

o (

s)

Número de operações

(c) Inserção

(a) Edição

95,50%

93,00%

0

30

60

50

0

15

00

25

00

35

00

45

00

55

00

65

00

75

00

85

00

95

00

Te

mp

o (

s)

Número de Operações

0

30

60

50

0

15

00

25

00

35

00

45

00

55

00

65

00

75

00

85

00

95

00

Te

mp

o (

s)

Número de Operações

(b) Cópia

(d) Remoção

89,42%

97,74%

Escalabilidade do número de

operações realizadas

80

0,0390,0780,0

Coleta Reaplicação (VRT)

MPPI: um modelo de procedência para

subsidiar processos de integração

Bruno TomazelaTestes

0

390

780

15

45

75

10

5

Te

mp

o (

s)

Número de fontes

0

390

780

15

45

75

10

5

Te

mp

o (

s)

Número de fontes

0

415

830

15

45

75

10

5

Te

mp

o (

s)

Número de fontes

Reaplicação

(c) Inserção (d) Remoção

98,91%

(b) Cópia(a) Edição

0

390

780

15

45

75

10

5

Te

mp

o (

s)

Número de fontes

99,41% 99,82%

99,91%

Escalabilidade do número

de fontes

81

0,0390,0780,0

Coleta Reaplicação (VRT)

MPPI: um modelo de procedência para

subsidiar processos de integração

Bruno TomazelaTestes

ReaplicaçãoSimulação de caso real

0

400

800

15

45

75

10

5

Te

mp

o (

s)

Número de fontes

99,30%

(a) Simulação caso real

Operação Porcentagem (%)

Cópia 75

Edição 15

Inserção 9

Remoção 1

(b) Porcentagem de cada

operação

82

Coleta Reaplicação (VRT)

MPPI: um modelo de procedência para

subsidiar processos de integração

Bruno TomazelaTestes

Reordenação seguraEscalabilidade do número de

operações

0

128

256

50

0

15

00

25

00

35

00

45

00

55

00

65

00

75

00

85

00

95

00

Te

mp

o (

s)

Número de operações

96,15%

(a) Reaplicação

83

Não reordenado Reordenado

MPPI: um modelo de procedência para

subsidiar processos de integração

Bruno TomazelaTestes

Reordenação seguraEscalabilidade do número de

fontes

0

5

10

15

45

75

10

5

Te

mp

o (

s)

Número de fontes

94,58%

(a) Reaplicação

84

Não reordenado Reordenado

MPPI: um modelo de procedência para

subsidiar processos de integração

Bruno TomazelaTestes

Operações de sobreposição

pior caso linear no número de operações

transitivas

Testes

85

MPPI: um modelo de procedência para

subsidiar processos de integração

Bruno TomazelaTestes

Operações de sobreposição

pior caso linear no número de operações

transitivas

Método VRT

pior caso linear no número de operações do

repositório

Testes

86

MPPI: um modelo de procedência para

subsidiar processos de integração

Bruno TomazelaTestes

Operações de sobreposição

pior caso linear no número de operações

transitivas

Método VRT

pior caso linear no número de operações do

repositório

Reordenação segura

melhora o desempenho do método VRT

Testes

87

MPPI: um modelo de procedência para

subsidiar processos de integração

Bruno TomazelaTestes

Operações de sobreposição

pior caso linear no número de operações

transitivas

Método VRT

pior caso linear no número de operações do

repositório

Reordenação segura

melhora o desempenho do método VRT

Testes

Os métodos propostos se mostraram

viáveis de serem implementados em

sistemas de integração

88

MPPI: um modelo de procedência para

subsidiar processos de integração

Bruno TomazelaSumário

Contextualização e Motivação

Fundamentação Teórica

Trabalhos Correlatos

Proposta

Testes

Conclusão

Roteiro

MPPI: um modelo de procedência para

subsidiar processos de integração

Bruno TomazelaConclusão

Objetivo

reaplicar operações

Aspectos

o que coletar?

operações em nível de atributo

como coletar?

eager e automática

como armazenar?

separado do dado

como consultar?

tipo rastreamento e filtro

O modelo MPPI

MPPI: um modelo de procedência para

subsidiar processos de integração

Bruno TomazelaProposta

Conclusão

O modelo MPPI

OperaçõesTratamento de operações

de sobreposiçãoValidação Reaplicação

MPPI: um modelo de procedência para

subsidiar processos de integração

Bruno TomazelaProposta

Conclusão

elimina a ocorrência de decisões inconsistentes entre

processos de integração

reduz o tempo de integração do usuário, reaplicando

automaticamente as decisões

O modelo MPPI

OperaçõesTratamento de operações

de sobreposiçãoValidação Reaplicação

MPPI: um modelo de procedência para

subsidiar processos de integração

Bruno TomazelaConclusão

Extensão do modelo para integração de

esquema

Definição de novas operações para integração

baseada em clusters

Propagação de decisões de integração para

objetos similares

Enfoque em outros cenários de integração, tal

como bancos de dados biológicos

Trabalhos Futuros

MPPI

Um modelo de procedência para

subsidiar processos de integração

Bruno Tomazela

Orientadora: Profª Drª Cristina Dutra de Aguiar Ciferri

Perguntas

Recommended