MPPI
Um modelo de procedência para
subsidiar processos de integração
Bruno Tomazela
Orientadora: Profª Drª Cristina Dutra de Aguiar Ciferri
05/02/2010
MPPI: um modelo de procedência para
subsidiar processos de integração
Bruno TomazelaSumário
Contextualização e Motivação
Fundamentação Teórica
Trabalhos Correlatos
Proposta
Testes
Conclusão
Roteiro
MPPI: um modelo de procedência para
subsidiar processos de integração
Bruno TomazelaSumário
Contextualização e Motivação
Fundamentação Teórica
Trabalhos Correlatos
Proposta
Testes
Conclusão
Roteiro
MPPI: um modelo de procedência para
subsidiar processos de integração
Bruno TomazelaContextualização e Motivação
Integração de instâncias
visa a resolução de conflitos existentes entre
dados de fontes heterogêneas
Procedência dos dados
metadados para identificar as fontes e as
transformações aplicadas aos dados
Contextualização
MPPI: um modelo de procedência para
subsidiar processos de integração
Bruno TomazelaContextualização e Motivação
Procedência para integração
reproduzir decisões de integração nos quais as
fontes podem ser atualizadas somente por seus
proprietários
Motivação
MPPI: um modelo de procedência para
subsidiar processos de integração
Bruno TomazelaContextualização e Motivação
Fontes apenas para leitura
Fonte 1
Fonte N
MPPI: um modelo de procedência para
subsidiar processos de integração
Bruno TomazelaContextualização e Motivação
Fontes apenas para leitura
Fonte 1
Fonte N
Processo de
Integração
MPPI: um modelo de procedência para
subsidiar processos de integração
Bruno TomazelaContextualização e Motivação
Fontes apenas para leitura
Fonte 1
Fonte N
Processo de
Integração
Decisões do usuário
sobre inconsistências
MPPI: um modelo de procedência para
subsidiar processos de integração
Bruno TomazelaContextualização e Motivação
Fontes apenas para leitura
Fonte 1
Fonte N
Processo de
Integração
Decisões do usuário
sobre inconsistênciasFonte 1
Integrada
Fonte N
Integrada
MPPI: um modelo de procedência para
subsidiar processos de integração
Bruno TomazelaContextualização e Motivação
Fontes apenas para leitura
Fonte 1
Fonte N
Processo de
Integração
Decisões do usuário
sobre inconsistências
Cópias locais
Fonte 1
Integrada
Fonte N
Integrada
MPPI: um modelo de procedência para
subsidiar processos de integração
Bruno TomazelaContextualização e Motivação
Fontes apenas para leitura
Fonte 1
Fonte N
Processo de
Integração
Decisões do usuário
sobre inconsistências
Cópias locaisProcesso de integração
não atualiza as fontes
com dados integrados
Fonte 1
Integrada
Fonte N
Integrada
MPPI: um modelo de procedência para
subsidiar processos de integração
Bruno TomazelaContextualização e Motivação
Fontes apenas para leitura
Fonte 1
Fonte N
Processo de
Integração
Decisões do usuário
sobre inconsistências
Cópias locaisProcesso de integração
não atualiza as fontes
com dados integrados
Fonte 1
Integrada
Fonte N
Integrada
Necessidade de retomada de decisões entre
processos de integração distintos
MPPI: um modelo de procedência para
subsidiar processos de integração
Bruno TomazelaContextualização e Motivação
Procedência para integração
reproduzir decisões de integração nos quais as
fontes podem ser atualizadas somente por seus
proprietários
Retomada de decisões
tempo de integração crescente
decisões inconsistentes entre processos
Motivação
MPPI: um modelo de procedência para
subsidiar processos de integração
Bruno TomazelaContextualização e Motivação
Modelo MPPI
modelo de procedência para subsidiar
processos de integração
Requisitos
sistemas com fontes apenas para leitura
suporte à reaplicação de decisões de
integração
Proposta
MPPI: um modelo de procedência para
subsidiar processos de integração
Bruno TomazelaSumário
Contextualização e Motivação
Fundamentação Teórica
Trabalhos Correlatos
Proposta
Testes
Conclusão
Roteiro
MPPI: um modelo de procedência para
subsidiar processos de integração
Bruno TomazelaFundamentação Teórica
Procedência dos Dados
O que coletar? Como coletar? Como armazenar? Como consultar?
Quatro aspectos
MPPI: um modelo de procedência para
subsidiar processos de integração
Bruno TomazelaFundamentação Teórica
Definição dos dados de procedência que são
necessários para uma determinada aplicação
fonte, transformação, usuário, ...
Granularidade
atributo, tupla, relação, ...
Operações
diferentes tipos de dados e granularidade
O que coletar?
MPPI: um modelo de procedência para
subsidiar processos de integração
Bruno TomazelaFundamentação Teórica
Como
manual x automática
Quando
lazy
procedência é coletada apenas quando requisitada
eager
procedência é coletada conforme os dados são gerados
Como coletar?
MPPI: um modelo de procedência para
subsidiar processos de integração
Bruno TomazelaFundamentação Teórica
Ligação entre dado e procedência
junto do dado
separado do dado
Técnicas de armazenamento
como manter a história de um dado
Como armazenar?
MPPI: um modelo de procedência para
subsidiar processos de integração
Bruno TomazelaFundamentação Teórica
Consulta tipo rastreamento
Consultar os dados e verificar a procedência dos mesmos
“Como esse relatório foi gerado?”
Consulta tipo filtro
Consultar os dados filtrando por um determinado critério de procedência
“Gerar um relatório apenas com dados advindos de currículos Lattes de docentes”
Como consultar?
MPPI: um modelo de procedência para
subsidiar processos de integração
Bruno TomazelaSumário
Contextualização e Motivação
Fundamentação Teórica
Trabalhos Correlatos
Proposta
Testes
Conclusão
Roteiro
MPPI: um modelo de procedência para
subsidiar processos de integração
Bruno TomazelaTrabalhos Correlatos
Objetivo
rastrear resultados de integração
Aspectos
o que coletar?
operações em nível de atributo
como coletar?
eager e automática
como armazenar?
separado do dado
como consultar?
tipo rastreamento e filtro
Sistema CHIME
MPPI: um modelo de procedência para
subsidiar processos de integração
Bruno TomazelaTrabalhos Correlatos
Objetivo
otimizar o armazenamento da procedência
Aspectos
o que coletar?
operações em nível de atributo ou de objeto
como coletar?
eager e automática
como armazenar?
separado do dado
quatro técnicas para otimizar o armazenamento
como consultar?
tipo rastreamento
Sistema CPDB
MPPI: um modelo de procedência para
subsidiar processos de integração
Bruno TomazelaTrabalhos Correlatos
Objetivo
estimar a qualidade de dados incertos
Aspectos
o que coletar?
fonte dos dados em nível de tupla
como coletar?
eager e automática
como armazenar?
junto do dado
como consultar?
tipo rastreamento e filtro
Sistema Trio
MPPI: um modelo de procedência para
subsidiar processos de integração
Bruno TomazelaTrabalhos Correlatos
Objetivo
rastrear resultados de integração em mediadores
Aspectos
o que coletar?
fonte dos dados em nível de atributo
como coletar?
eager e automática
como armazenar?
separado do dado
como consultar?
tipo rastreamento
Sistema ELIT
MPPI: um modelo de procedência para
subsidiar processos de integração
Bruno TomazelaTrabalhos Correlatos
Não oferecem suporte para reaplicação de
decisões
Necessidade de tratamento
decisões previamente tomadas pelo usuário
retomada de decisão
decisões que se sobrepõem
inconsistência
alterações nas fontes entre processos
fontes autônomas
Limitações nos trabalhos correlatos
MPPI: um modelo de procedência para
subsidiar processos de integração
Bruno TomazelaSumário
Contextualização e Motivação
Fundamentação Teórica
Trabalhos Correlatos
Proposta
Testes
Conclusão
Roteiro
MPPI: um modelo de procedência para
subsidiar processos de integração
Bruno TomazelaProposta
Solução
um modelo de procedência dos dados
para subsidiar processos de integração
de dados de fontes heterogêneas
Proposta do modelo MPPI
MPPI: um modelo de procedência para
subsidiar processos de integração
Bruno TomazelaProposta
Cenário de Integração
Fonte 1
Fonte N
Processo de
Integração
Decisões do usuário
sobre inconsistências
Cópias locaisProcesso de integração
não atualiza as fontes
com dados integrados
Fonte 1
Integrada
Fonte N
Integrada
MPPI: um modelo de procedência para
subsidiar processos de integração
Bruno TomazelaProposta
Cenário de Integração
Fontes podem prover
os mesmos dados
inconsistentes
Fonte 1
Fonte N
Processo de
Integração
Decisões do usuário
sobre inconsistências
Cópias locais
Fonte 1
Integrada
Fonte N
Integrada
MPPI: um modelo de procedência para
subsidiar processos de integração
Bruno TomazelaProposta
Cenário de Integração
Fontes podem prover
os mesmos dados
inconsistentes
Operações
Fonte 1
Fonte N
Processo de
Integração
Decisões do usuário
sobre inconsistências
Cópias locais
Fonte 1
Integrada
Fonte N
Integrada
MPPI: um modelo de procedência para
subsidiar processos de integração
Bruno TomazelaProposta
Cenário de Integração
Fontes podem prover
os mesmos dados
inconsistentes
Processo de
Reaplicação
Operações
Fonte 1
Fonte N
Processo de
Integração
Decisões do usuário
sobre inconsistências
Cópias locais
Fonte 1
Integrada
Fonte N
Integrada
MPPI: um modelo de procedência para
subsidiar processos de integração
Bruno TomazelaProposta
Cenário de Integração
Fontes podem prover
os mesmos dados
inconsistentes
Processo de
Reaplicação
Operações
Cópias Locais
Fonte 1
Reaplicada
Fonte N
Reaplicada
Fonte 1
Fonte N
Processo de
Integração
Decisões do usuário
sobre inconsistências
Cópias locais
Fonte 1
Integrada
Fonte N
Integrada
MPPI: um modelo de procedência para
subsidiar processos de integração
Bruno TomazelaProposta
Cenário de Integração
Fontes podem prover
os mesmos dados
inconsistentes
Processo de
Reaplicação
Operações
Cópias Locais
Fonte 1
Reaplicada
Fonte N
Reaplicada
Fonte 1
Fonte N
Processo de
Integração
Decisões do usuário
sobre inconsistências
Cópias locais
Fonte 1
Integrada
Fonte N
Integrada
Fontes de dados
coleção de objetos identificados por atributos chave
MPPI: um modelo de procedência para
subsidiar processos de integração
Bruno TomazelaProposta
Características do modelo MPPI
OperaçõesTratamento de operações
de sobreposiçãoValidação Reaplicação
MPPI: um modelo de procedência para
subsidiar processos de integração
Bruno TomazelaProposta
Edição
Cópia
Remoção
Inserção
Características do modelo MPPI
OperaçõesTratamento de operações
de sobreposiçãoValidação Reaplicação
MPPI: um modelo de procedência para
subsidiar processos de integração
Bruno TomazelaProposta
Exemplo de operaçõesFonte: João
artigo
titulo: „Integrating…‟
ano: „2009‟
congresso: „SBBD‟
paginas: „260-275
local: „Campinas, SP‟
autor
nome: „João‟
ordemCitacao: „1‟
autor
nome: „Luis‟
ordemCitacao: „2‟
Fonte: Luis
artigo
titulo: „Integration…‟
ano: „Aceito‟
congresso: „Simpósio…‟
paginas: „260-275
local: „ Campinas„
autor
nome: „João‟
ordemCitacao: „2‟
autor
nome: „Luis‟
ordemCitacao: „1‟
autor
nome: „Maria‟
ordemCitacao: „3‟
Fonte: Maria
artigo
titulo: „Integration…‟
ano: „2010‟
congresso: „Congresso…‟
paginas: „1-15‟
local: „Campinas‟
autor
nome: „João‟
ordemCitacao: „2‟
autor
nome: „Luis‟
ordemCitacao: „1‟
autor
nome: „Maria‟
ordemCitacao: „3‟
autor
nome: „Joaquim‟
ordemCitacao: „4‟
MPPI: um modelo de procedência para
subsidiar processos de integração
Bruno TomazelaProposta
EdiçãoFonte: João
artigo
titulo: ‘Integration…’
ano: „2009‟
congresso: „SBBD‟
paginas: „260-275
local: „Campinas, SP‟
autor
nome: „João‟
ordemCitacao: „1‟
autor
nome: „Luis‟
ordemCitacao: „2‟
Fonte: Luis
artigo
titulo: „Integration…‟
ano: „Aceito‟
congresso: „Simpósio…‟
paginas: „260-275
local: „ Campinas„
autor
nome: „João‟
ordemCitacao: „2‟
autor
nome: „Luis‟
ordemCitacao: „1‟
autor
nome: „Maria‟
ordemCitacao: „3‟
Fonte: Maria
artigo
titulo: „Integration…‟
ano: „2010‟
congresso: „Congresso…‟
paginas: „1-15‟
local: „Campinas‟
autor
nome: „João‟
ordemCitacao: „2‟
autor
nome: „Luis‟
ordemCitacao: „1‟
autor
nome: „Maria‟
ordemCitacao: „3‟
autor
nome: „Joaquim‟
ordemCitacao: „4‟Operação
id op origem destino idObjeto atributo valorOrigem valorDestino
1 ed null João artigo[titulo=Integrating...] titulo Integration... Integrating...
MPPI: um modelo de procedência para
subsidiar processos de integração
Bruno TomazelaProposta
CópiaFonte: João
artigo
titulo: „Integration…‟
ano: ‘2009’
congresso: „SBBD‟
paginas: „260-275
local: „Campinas, SP‟
autor
nome: „João‟
ordemCitacao: „1‟
autor
nome: „Luis‟
ordemCitacao: „2‟
Fonte: Luis
artigo
titulo: „Integration…‟
ano: ‘2009’
congresso: „Simpósio…‟
paginas: „260-275
local: „ Campinas„
autor
nome: „João‟
ordemCitacao: „2‟
autor
nome: „Luis‟
ordemCitacao: „1‟
autor
nome: „Maria‟
ordemCitacao: „3‟
Fonte: Maria
artigo
titulo: „Integration…‟
ano: „2010‟
congresso: „Congresso…‟
paginas: „1-15‟
local: „Campinas‟
autor
nome: „João‟
ordemCitacao: „2‟
autor
nome: „Luis‟
ordemCitacao: „1‟
autor
nome: „Maria‟
ordemCitacao: „3‟
autor
nome: „Joaquim‟
ordemCitacao: „4‟Operação
id op origem destino idObjeto atributo valorOrigem valorDestino
2 cp João Luis artigo[titulo=Integration...] ano 2009 Aceito
MPPI: um modelo de procedência para
subsidiar processos de integração
Bruno TomazelaProposta
Operação
id op origem destino idObjeto atributo valorOrigem valorDestino
3 ed null Mariaartigo[titulo=Integration...] /
autor[nome=Joaquim]ordemCitacao null 4
4 rm null Mariaartigo[titulo=Integration...] /
autor[nome=Joaquim]null null null
RemoçãoFonte: João
artigo
titulo: „Integration…‟
ano: „2009‟
congresso: „SBBD‟
paginas: „260-275
local: „Campinas, SP‟
autor
nome: „João‟
ordemCitacao: „1‟
autor
nome: „Luis‟
ordemCitacao: „2‟
Fonte: Luis
artigo
titulo: „Integration…‟
ano: „2009‟
congresso: „Simpósio…‟
paginas: „260-275
local: „ Campinas„
autor
nome: „João‟
ordemCitacao: „2‟
autor
nome: „Luis‟
ordemCitacao: „1‟
autor
nome: „Maria‟
ordemCitacao: „3‟
Fonte: Maria
artigo
titulo: „Integration…‟
ano: „2010‟
congresso: „Congresso…‟
paginas: „1-15‟
local: „Campinas‟
autor
nome: „João‟
ordemCitacao: „2‟
autor
nome: „Luis‟
ordemCitacao: „1‟
autor
nome: „Maria‟
ordemCitacao: „3‟
autor
nome: ‘Joaquim’
ordemCitacao: ‘4’
MPPI: um modelo de procedência para
subsidiar processos de integração
Bruno TomazelaProposta
InserçãoFonte: João
artigo
titulo: „Integration…‟
ano: „2009‟
congresso: „SBBD‟
paginas: „260-275
local: „Campinas, SP‟
autor
nome: „João‟
ordemCitacao: „1‟
autor
nome: „Luis‟
ordemCitacao: „2‟
autor
nome: ‘Maria’
ordemCitacao: ‘3’
Fonte: Luis
artigo
titulo: „Integration…‟
ano: „2009‟
congresso: „Simpósio…‟
paginas: „260-275
local: „ Campinas„
autor
nome: „João‟
ordemCitacao: „2‟
autor
nome: „Luis‟
ordemCitacao: „1‟
autor
nome: ‘Maria’
ordemCitacao: ‘3’
Fonte: Maria
artigo
titulo: „Integration…‟
ano: „2010‟
congresso: „Congresso…‟
paginas: „1-15‟
local: „Campinas‟
autor
nome: „João‟
ordemCitacao: „2‟
autor
nome: „Luis‟
ordemCitacao: „1‟
autor
nome: „Maria‟
ordemCitacao: „3‟
Operação
id op origem destino idObjeto atributo valorOrigem valorDestino
6 in Luis Joãoartigo[titulo=Integration…] /
autor[nome=Maria]null null null
7 cp Luis Joãoartigo [titulo=Integration…] /
autor[nome=Maria]ordemCitacao 3 null
MPPI: um modelo de procedência para
subsidiar processos de integração
Bruno TomazelaProposta
Repositório de operações
Operação
id op origem destino idObjeto atributo valorOrigem valorDestino
1 ed null João artigo[titulo=Integrating...] titulo Integration... Integrating...
2 cp João Luis artigo[titulo=Integration...] ano 2009 Aceito
3 ed null Mariaartigo[titulo=Integration...] /
autor[nome=Joaquim]ordemCitacao null 4
4 rm null Mariaartigo[titulo=Integration...] /
autor[nome=Joaquim]null null null
5 cp João Luis artigo[titulo=Integration...] congresso Simpósio... SBBD
6 cp João Maria artigo[titulo=Integration…] paginas 260-275 1-15
7 in Luis Joãoartigo[titulo=Integration…] /
autor[nome=Maria]null null null
8 cp Luis Joãoartigo [titulo=Integration…] /
autor[nome=Maria]ordemCitacao 3 null
9 cp Maria Joãoartigo [titulo=Integration…] /
autor[nome=João]ordemCitacao 2 1
10 cp Maria Joãoartigo [titulo=Integration…] /
autor[nome=Luis]ordemCitacao 1 2
11 cp Luis Maria artigo [titulo=Integration...] ano 2009 2010
12 cp Luis Maria artigo[titulo=Integration…] congresso Simpósio... Congresso…
MPPI: um modelo de procedência para
subsidiar processos de integração
Bruno TomazelaProposta
Características do modelo MPPI
Blind
Restrict
Undo
Redo
OperaçõesTratamento de operações
de sobreposiçãoValidação Reaplicação
MPPI: um modelo de procedência para
subsidiar processos de integração
Bruno TomazelaProposta
Operações de sobreposição
Uma operação que sobrepõe o resultado de
outra operação
Operação
id op origem destino idObjeto atributo valorOrigem valorDestino
…
5 cp João Luis artigo[titulo=Integration...] congresso Simpósio… SBBD
…
12 cp Luis Maria artigo[titulo=Integration…] congresso Simpósio… Congresso…
13 ed null João artigo[titulo=Integration...] congresso XXIV Simpósio… Simpósio…
Repositório
Nova operação
MPPI: um modelo de procedência para
subsidiar processos de integração
Bruno TomazelaProposta
Operações de sobreposição
Uma operação que sobrepõe o resultado de
outra operação
Operação
id op origem destino idObjeto atributo valorOrigem valorDestino
…
5 cp João Luis artigo[titulo=Integration...] congresso Simpósio… SBBD
…
12 cp Luis Maria artigo[titulo=Integration…] congresso Simpósio… Congresso…
13 ed null João artigo[titulo=Integration...] congresso XXIV Simpósio… Simpósio…
Repositório
Nova operação
operação de sobreposição
MPPI: um modelo de procedência para
subsidiar processos de integração
Bruno TomazelaProposta
Operações de sobreposição
Uma operação que sobrepõe o resultado de
outra operação
Operação
id op origem destino idObjeto atributo valorOrigem valorDestino
…
5 cp João Luis artigo[titulo=Integration...] congresso Simpósio… SBBD
…
12 cp Luis Maria artigo[titulo=Integration…] congresso Simpósio… Congresso…
13 ed null João artigo[titulo=Integration...] congresso XXIV Simpósio… Simpósio…
Repositório
Nova operação
operação de sobreposição
operação sobreposta
MPPI: um modelo de procedência para
subsidiar processos de integração
Bruno TomazelaProposta
Operações de sobreposição
Uma operação que sobrepõe o resultado de
outra operação
Operação
id op origem destino idObjeto atributo valorOrigem valorDestino
…
5 cp João Luis artigo[titulo=Integration...] congresso Simpósio… SBBD
…
12 cp Luis Maria artigo[titulo=Integration…] congresso Simpósio… Congresso…
13 ed null João artigo[titulo=Integration...] congresso XXIV Simpósio… Simpósio…
Repositório
Nova operação
operação de sobreposição
operação sobreposta
operação transitiva (5 12)
MPPI: um modelo de procedência para
subsidiar processos de integração
Bruno TomazelaProposta
Política blind
Operação de sobreposição (13) inserida
Operação
id op origem destino idObjeto atributo valorOrigem valorDestino
...
5 cp João Luis artigo[titulo=Integration...] congresso Simpósio… SBBD
...
12 cp Luis Maria artigo[titulo=Integration…] congresso Simpósio… Congresso…
13 ed null João artigo[titulo=Integration...] congresso XXIV Simpósio... Simpósio...
Não trata operações de sobreposição
Repositório
MPPI: um modelo de procedência para
subsidiar processos de integração
Bruno TomazelaProposta
Política restrict
Operação
id op origem destino idObjeto atributo valorOrigem valorDestino
…
5 cp João Luis artigo[titulo=Integration...] congresso Simpósio… SBBD
…
12 cp Luis Maria artigo[titulo=Integration…] congresso Simpósio… Congresso…
13 ed null João artigo[titulo=Integration...] congresso XXIV Simpósio… Simpósio…
Operação de sobreposição (13) não inserida
Não permite operações de sobreposição
Repositório
MPPI: um modelo de procedência para
subsidiar processos de integração
Bruno TomazelaProposta
Política undo
Operação
id op origem destino idObjeto atributo valorOrigem valorDestino
…
5 cp João Luis artigo[titulo=Integration...] congresso Simpósio... SBBD
…
12 cp Luis Maria artigo[titulo=Integration…] congresso Simpósio... Congresso…
13 ed null João artigo[titulo=Integration...] congresso XXIV Simpósio… Simpósio…
Operação de sobreposição (13) inserida
Desfaz e remove operações afetadas pela
operação de sobreposição
Repositório
MPPI: um modelo de procedência para
subsidiar processos de integração
Bruno TomazelaProposta
Política undo
Operação
id op origem destino idObjeto atributo valorOrigem valorDestino
…
5 cp João Luis artigo[titulo=Integration...] congresso Simpósio... SBBD
…
12 cp Luis Maria artigo[titulo=Integration…] congresso Simpósio... Congresso…
13 ed null João artigo[titulo=Integration...] congresso XXIV Simpósio… Simpósio…
Operação de sobreposição (13) inserida
Operação sobreposta (5) desfeita e removida
Desfaz e remove operações afetadas pela
operação de sobreposição
Repositório
MPPI: um modelo de procedência para
subsidiar processos de integração
Bruno TomazelaProposta
Política undo
Operação
id op origem destino idObjeto atributo valorOrigem valorDestino
…
5 cp João Luis artigo[titulo=Integration...] congresso Simpósio... SBBD
…
12 cp Luis Maria artigo[titulo=Integration…] congresso Simpósio... Congresso…
13 ed null João artigo[titulo=Integration...] congresso XXIV Simpósio… Simpósio…
Operação de sobreposição (13) inserida
Operação sobreposta (5) desfeita e removida
Operação transitiva (12) desfeita e removida
Desfaz e remove operações afetadas pela
operação de sobreposição
Repositório
MPPI: um modelo de procedência para
subsidiar processos de integração
Bruno TomazelaProposta
Política redo
Operação
id op origem destino idObjeto atributo valorOrigem valorDestino
…
5 cp João Luis artigo[titulo=Integration...] congresso Simpósio... SBBD
…
12 cp Luis Maria artigo[titulo=Integration…] congresso Simpósio... Congresso…
13 ed null João artigo[titulo=Integration...] congresso XXIV Simpósio… Simpósio…
Operação de sobreposição (13) inserida
Refaz operações afetadas pela operação de
sobreposição e as move para o fim do repositório
Repositório
MPPI: um modelo de procedência para
subsidiar processos de integração
Bruno TomazelaProposta
Política redo
Operação
id op origem destino idObjeto atributo valorOrigem valorDestino
…
5 cp João Luis artigo[titulo=Integration...] congresso Simpósio... SBBD
…
12 cp Luis Maria artigo[titulo=Integration…] congresso Simpósio... Congresso…
13 ed null João artigo[titulo=Integration...] congresso XXIV Simpósio… Simpósio…
Operação de sobreposição (13) inserida
Operação sobreposta (5) refeita e movida
5 cp João Luis artigo[titulo=Integration...] congresso XXIV Simpósio... SBBD
Refaz operações afetadas pela operação de
sobreposição e as move para o fim do repositório
Repositório
MPPI: um modelo de procedência para
subsidiar processos de integração
Bruno TomazelaProposta
Política redo
Operação
id op origem destino idObjeto atributo valorOrigem valorDestino
…
5 cp João Luis artigo[titulo=Integration...] congresso Simpósio... SBBD
…
12 cp Luis Maria artigo[titulo=Integration…] congresso Simpósio... Congresso…
13 ed null João artigo[titulo=Integration...] congresso XXIV Simpósio… Simpósio…
Operação de sobreposição (13) inserida
Operação sobreposta (5) refeita e movida
Operação transitiva (12) refeita e movida
12 cp Luis Maria artigo[titulo=Integration…] congresso XXIV Simpósio... Congresso…
5 cp João Luis artigo[titulo=Integration...] congresso XXIV Simpósio... SBBD
Refaz operações afetadas pela operação de
sobreposição e as move para o fim do repositório
Repositório
MPPI: um modelo de procedência para
subsidiar processos de integração
Bruno TomazelaProposta
Restrict e redo
garantem que todas as inconsistências resolvidas
pelos usuários sejam mantidas
mais adequadas para processos de integração
Blind
armazena todas as operações
Undo
não toma decisões automaticamente
Políticas de operações de sobreposição
Flexibilidade para o usuário
MPPI: um modelo de procedência para
subsidiar processos de integração
Bruno TomazelaProposta
Características do modelo MPPI
Verificar se as fontes utilizadas em uma operação foram alteradas
entre dois processos de integração
Validação da origem
Validação do destino
Validação completa
Sem validação
OperaçõesTratamento de operações
de sobreposiçãoValidação Reaplicação
MPPI: um modelo de procedência para
subsidiar processos de integração
Bruno TomazelaProposta
Definição de uma operação
Fontes Inconsistentes Fontes Consistentes
Integração com
Decisões do Usuário
Operações
Fonte: João
artigo
titulo: „Integration…‟
ano: „2009‟
paginas: „260-275‟
Fonte: Luis
artigo
titulo: „Integration…‟
ano: „Aceito‟
paginas: „1-15‟
Fonte: João
artigo
titulo: „Integration…‟
ano: „2009‟
paginas: „260-275‟
Fonte: Luis
artigo
titulo: „Integration…‟
ano: „Aceito‟
paginas: „260-275‟
Operação
id op origem destino idObjeto atributo valorOrigem valorDestino
6 cp João Luis artigo[titulo=Integration…] paginas 260-275 1-15
MPPI: um modelo de procedência para
subsidiar processos de integração
Bruno TomazelaProposta
Validação da origem
Fontes Consistentes Fontes Inconsistentes
Reaplicação
Operações
Fonte: João
Artigo
titulo: „Integration…‟
ano: „2009‟
paginas: „1-15‟
Fonte: Luis
artigo
titulo: „Integration…‟
ano: „Aceito‟
paginas: „1-15‟
Fonte: João
Artigo
titulo: „Integration…‟
ano: „2009‟
paginas: „1-15‟
Fonte: Luis
artigo
titulo: „Integration…‟
ano: „Aceito‟
paginas: „260-275‟
Operação
id op origem destino idObjeto atributo valorOrigem valorDestino
6 cp João Luis artigo[titulo=Integration…] paginas 260-275 1-15
(a) Processo de
integração subsequente
Origem foi alterada
Consistente com o destino
(b) Reaplicação
MPPI: um modelo de procedência para
subsidiar processos de integração
Bruno TomazelaProposta
Validação da origem
Fontes Consistentes Fontes Inconsistentes
Reaplicação
Operações
Fonte: João
Artigo
titulo: „Integration…‟
ano: „2009‟
paginas: „1-15‟
Fonte: Luis
artigo
titulo: „Integration…‟
ano: „Aceito‟
paginas: „1-15‟
Fonte: João
Artigo
titulo: „Integration…‟
ano: „2009‟
paginas: „1-15‟
Fonte: Luis
artigo
titulo: „Integration…‟
ano: „Aceito‟
paginas: „260-275‟
Operação
id op origem destino idObjeto atributo valorOrigem valorDestino
6 cp João Luis artigo[titulo=Integration…] paginas 260-275 1-15
(a) Processo de
integração subsequente
(b) Reaplicação
Origem foi alterada
Consistente com o destino
Introduz a anomalia das fontes consistentes
MPPI: um modelo de procedência para
subsidiar processos de integração
Bruno TomazelaProposta
Validação do destino
Fontes Inconsistentes Fontes Consistentes
Reaplicação
Operações
Fonte: João
Artigo
titulo: „Integration…‟
ano: „2009‟
paginas: „260-275‟
Fonte: Luis
artigo
titulo: „Integration…‟
ano: „Aceito‟
paginas: „30-47‟
Fonte: João
Artigo
titulo: „Integration…‟
ano: „2009‟
paginas: „260-275‟
Fonte: Luis
artigo
titulo: „Integration…‟
ano: „Aceito‟
paginas: „260-275‟
Operação
id op origem destino idObjeto atributo valorOrigem valorDestino
6 cp João Luis artigo[titulo=Integration…] paginas 260-275 1-15
(a) Processo de
integração subsequente
(b) Reaplicação
Destino foi alterado
MPPI: um modelo de procedência para
subsidiar processos de integração
Bruno TomazelaProposta
Validação do destino
Fontes Inconsistentes Fontes Consistentes
Reaplicação
Operações
Fonte: João
Artigo
titulo: „Integration…‟
ano: „2009‟
paginas: „260-275‟
Fonte: Luis
artigo
titulo: „Integration…‟
ano: „Aceito‟
paginas: ‟30-47‟
Fonte: João
Artigo
titulo: „Integration…‟
ano: „2009‟
paginas: „260-275‟
Fonte: Luis
artigo
titulo: „Integration…‟
ano: „Aceito‟
paginas: „260-275‟
Operação
id op origem destino idObjeto atributo valorOrigem valorDestino
6 cp João Luis artigo[titulo=Integration…] paginas 260-275 1-15
(a) Processo de
integração subsequente
(b) Reaplicação
Destino foi alterado
Introduz a anomalia do destino sobrescrito
MPPI: um modelo de procedência para
subsidiar processos de integração
Bruno TomazelaProposta
Validação completa
validação da origem e do destino
não gera anomalias
Sem validação
sem validação da origem e do destino
pode gerar ambas as anomalias
Demais tipos de validação
MPPI: um modelo de procedência para
subsidiar processos de integração
Bruno TomazelaProposta
Validação completa
validação da origem e do destino
não gera anomalias
Sem validação
sem validação da origem e do destino
pode gerar ambas as anomalias
Demais tipos de validação
MPPI: um modelo de procedência para
subsidiar processos de integração
Bruno TomazelaProposta
Características do modelo MPPI
Método VRS
Método VRT
Reordenação segura
OperaçõesTratamento de operações
de sobreposiçãoValidação Reaplicação
MPPI: um modelo de procedência para
subsidiar processos de integração
Bruno TomazelaProposta
Validate and Reapply in Separate
Método VRS
Primeira Etapa – Validação
Validação da
Origem
Operações
Operações
Válidas
Fontes
Fontes
Reconciliadas
Validação do
Destino e
Reaplicação
Segunda Etapa – Reaplicação
Fontes
Operações
Válidas
MPPI: um modelo de procedência para
subsidiar processos de integração
Bruno TomazelaProposta
Validate and Reapply in Separate
Método VRS
Primeira Etapa – Validação
Validação da
Origem
Operações
Operações
Válidas
Fontes
Fontes
Reconciliadas
Validação do
Destino e
Reaplicação
Segunda Etapa – Reaplicação
Fontes
Operações
Válidas
Problema de operações transitivas
Problema de operações que alteram a chave
MPPI: um modelo de procedência para
subsidiar processos de integração
Bruno TomazelaProposta
Problema de operações transitivas
Fonte: Luis
artigo
titulo: „Integration…‟
ano: „Aceito‟
congresso: „SBBD‟
id op origem destino idObjeto atributo valorOrigem valorDestino
…
5 cp João Luis artigo[titulo=Integration...] congresso Simpósio... SBBD
...
12 cp Luis Maria artigo[titulo=Integration…] congresso Simpósio... Congresso…
Fonte: João
artigo
titulo: „Integration…‟
ano: „2009‟
congresso: „Simpósio...‟
Fonte: Luis
artigo
titulo: „Integration…‟
ano: „Aceito‟
congresso: „Simpósio...‟
Fonte: Maria
artigo
titulo: „Integration…‟
ano: „2010‟
congresso: „Congresso…‟
tem
po
t1
t2
cópia
(id = 5)
cópia
(id = 12)
Definição das operações
MPPI: um modelo de procedência para
subsidiar processos de integração
Bruno TomazelaProposta
Problema de operações transitivas
id op origem destino idObjeto atributo valorOrigem valorDestino
…
5 cp João Luis artigo[titulo=Integration...] congresso Simpósio... SBBD
...
12 cp Luis Maria artigo[titulo=Integration…] congresso Simpósio... Congresso…
Resultado das operações
Fonte: João
artigo
titulo: „Integration…‟
ano: „2009‟
congresso: „Simpósio...‟
Fonte: Luis
artigo
titulo: „Integration…‟
ano: „Aceito‟
congresso: „Simpósio…‟
Fonte: Maria
artigo
titulo: „Integration…‟
ano: „2010‟
congresso: „Simpósio…‟
MPPI: um modelo de procedência para
subsidiar processos de integração
Bruno TomazelaProposta
Problema de operações transitivas
id op origem destino idObjeto atributo valorOrigem valorDestino
…
5 cp João Luis artigo[titulo=Integration...] congresso Simpósio... SBBD
...
12 cp Luis Maria artigo[titulo=Integration…] congresso Simpósio... Congresso…
Processos de integração subsequentes
Fonte: João
artigo
titulo: „Integration…‟
ano: „2009‟
congresso: „Simpósio...‟
Fonte: Luis
artigo
titulo: „Integration…‟
ano: „Aceito‟
congresso: „SBBD‟
Fonte: Maria
artigo
titulo: „Integration…‟
ano: „2010‟
congresso: „Congresso…‟
MPPI: um modelo de procedência para
subsidiar processos de integração
Bruno TomazelaProposta
Problema de operações transitivas
id op origem destino idObjeto atributo valorOrigem valorDestino
…
5 cp João Luis artigo[titulo=Integration...] congresso Simpósio... SBBD
...
12 cp Luis Maria artigo[titulo=Integration…] congresso Simpósio... Congresso…
Resultado de integrações subsequentes
Fonte: João
artigo
titulo: „Integration…‟
ano: „2009‟
congresso: „Simpósio...‟
Fonte: Luis
artigo
titulo: „Integration…‟
ano: „Aceito‟
congresso: „Simpósio…‟
Fonte: Maria
artigo
titulo: „Integration…‟
ano: „2010‟
congresso: „Congresso…‟
Reaplicação incorreta
Operação invalidada incorretamente
MPPI: um modelo de procedência para
subsidiar processos de integração
Bruno TomazelaProposta
Validate and Reapply in Tandem
Método VRT
Etapa Única – Validação e Reaplicação em Conjunto
Validação da
Origem
Operações
Fontes
Fontes
Reconciliadas
Fontes
Operação
Válida
Validação do
Destino e
Reaplicação
MPPI: um modelo de procedência para
subsidiar processos de integração
Bruno TomazelaProposta
Validate and Reapply in Tandem
Não apresenta os problemas de
operações transitivas
operações que alteram a chave
Método VRT
Etapa Única – Validação e Reaplicação em Conjunto
Validação da
Origem
Operações
Fontes
Fontes
Reconciliadas
Fontes
Operação
Válida
Validação do
Destino e
Reaplicação
MPPI: um modelo de procedência para
subsidiar processos de integração
Bruno TomazelaProposta
Definição
reordenação das operações do repositório que não
altera a ordem de operações transitivas, de operações
que alteram a chave e nem de operações de
sobreposição
Objetivo
reduzir o número de vezes que cada fonte é
carregada durante a reaplicação pelo método VRT
diminuir o tempo de execução desse método
Reordenação segura
MPPI: um modelo de procedência para
subsidiar processos de integração
Bruno TomazelaProposta
Repositório de operações
Operação
id op origem destino idObjeto atributo valorOrigem valorDestino
1 ed null João artigo[titulo=Integrating...] titulo Integration... Integrating...
2 cp João Luis artigo[titulo=Integration...] ano 2009 Aceito
3 ed null Mariaartigo[titulo=Integration...] /
autor[nome=Joaquim]ordemCitacao null 4
4 rm null Mariaartigo[titulo=Integration...] /
autor[nome=Joaquim]null null null
5 cp João Luis artigo[titulo=Integration...] congresso Simpósio... SBBD
6 cp João Maria artigo[titulo=Integration…] paginas 260-275 1-15
7 in Luis Joãoartigo[titulo=Integration…] /
autor[nome=Maria]null null null
8 cp Luis Joãoartigo [titulo=Integration…] /
autor[nome=Maria]ordemCitacao 3 null
9 cp Maria Joãoartigo [titulo=Integration…] /
autor[nome=João]ordemCitacao 2 1
10 cp Maria Joãoartigo [titulo=Integration…] /
autor[nome=Luis]ordemCitacao 1 2
11 cp Luis Maria artigo [titulo=Integration...] ano 2009 2010
12 cp Luis Maria artigo[titulo=Integration…] congresso Simpósio... Congresso…
Fonte Luis carregada 4 vezes
MPPI: um modelo de procedência para
subsidiar processos de integração
Bruno TomazelaProposta
Reordenação segura
Operação
id op origem destino idObjeto atributo valorOrigem valorDestino
1 ed null João artigo[titulo=Integrating...] titulo Integration... Integrating...
2 cp João Luis artigo[titulo=Integration...] ano 2009 Aceito
5 cp João Luis artigo[titulo=Integration...] congresso Simpósio... SBBD
3 ed null Mariaartigo[titulo=Integration...] /
autor[nome=Joaquim]ordemCitacao null 4
4 rm null Mariaartigo[titulo=Integration...] /
autor[nome=Joaquim]null null null
6 cp João Maria artigo[titulo=Integration…] paginas 260-275 1-15
7 in Luis Joãoartigo[titulo=Integration…] /
autor[nome=Maria]null null null
8 cp Luis Joãoartigo [titulo=Integration…] /
autor[nome=Maria]ordemCitacao 3 null
9 cp Maria Joãoartigo [titulo=Integration…] /
autor[nome=João]ordemCitacao 2 1
10 cp Maria Joãoartigo [titulo=Integration…] /
autor[nome=Luis]ordemCitacao 1 2
11 cp Luis Maria artigo [titulo=Integration...] ano 2009 2010
12 cp Luis Maria artigo[titulo=Integration…] congresso Simpósio... Congresso…
Fonte Luis carregada 3 vezes
MPPI: um modelo de procedência para
subsidiar processos de integração
Bruno TomazelaSumário
Contextualização e Motivação
Fundamentação Teórica
Trabalhos Correlatos
Proposta
Testes
Conclusão
Roteiro
MPPI: um modelo de procedência para
subsidiar processos de integração
Bruno TomazelaTestes
Operações de sobreposição
0
1
2
50
0
15
00
25
00
35
00
45
00
55
00
65
00
75
00
85
00
95
00
Te
mp
o (
s)
Número de operações no repositório
0
1
2
50
0
15
00
25
00
35
00
45
00
55
00
65
00
75
00
85
00
95
00
Te
mp
o (
s)
Número de operações no repositório
(b) Transitivas indiretas(a) Transivitas diretas
0,00002,0000
blind restrict redo undo
Escalabilidade do número de
operações no repositório
78
MPPI: um modelo de procedência para
subsidiar processos de integração
Bruno TomazelaTestes
Operações de sobreposição
0
1
2
0 5 10 15 20 25 30
Te
mp
o (
s)
Número de operações transitivas
0
1
2
0 5 10 15 20 25 30
Te
mp
o (
s)
Número de operações transitivas
(b) Transitivas indiretas(a) Transivitas diretas
0,00002,0000
blind restrict redo undo
Escalabilidade do número de
operações transitivas
79
MPPI: um modelo de procedência para
subsidiar processos de integração
Bruno TomazelaTestes
Reaplicação
0
2.100
4.200
50
0
15
00
25
00
35
00
45
00
55
00
65
00
75
00
85
00
95
00
Te
mp
o (
s)
Número de operações
0
30
60
50
0
15
00
25
00
35
00
45
00
55
00
65
00
75
00
85
00
95
00
Te
mp
o (
s)
Número de operações
(c) Inserção
(a) Edição
95,50%
93,00%
0
30
60
50
0
15
00
25
00
35
00
45
00
55
00
65
00
75
00
85
00
95
00
Te
mp
o (
s)
Número de Operações
0
30
60
50
0
15
00
25
00
35
00
45
00
55
00
65
00
75
00
85
00
95
00
Te
mp
o (
s)
Número de Operações
(b) Cópia
(d) Remoção
89,42%
97,74%
Escalabilidade do número de
operações realizadas
80
0,0390,0780,0
Coleta Reaplicação (VRT)
MPPI: um modelo de procedência para
subsidiar processos de integração
Bruno TomazelaTestes
0
390
780
15
45
75
10
5
Te
mp
o (
s)
Número de fontes
0
390
780
15
45
75
10
5
Te
mp
o (
s)
Número de fontes
0
415
830
15
45
75
10
5
Te
mp
o (
s)
Número de fontes
Reaplicação
(c) Inserção (d) Remoção
98,91%
(b) Cópia(a) Edição
0
390
780
15
45
75
10
5
Te
mp
o (
s)
Número de fontes
99,41% 99,82%
99,91%
Escalabilidade do número
de fontes
81
0,0390,0780,0
Coleta Reaplicação (VRT)
MPPI: um modelo de procedência para
subsidiar processos de integração
Bruno TomazelaTestes
ReaplicaçãoSimulação de caso real
0
400
800
15
45
75
10
5
Te
mp
o (
s)
Número de fontes
99,30%
(a) Simulação caso real
Operação Porcentagem (%)
Cópia 75
Edição 15
Inserção 9
Remoção 1
(b) Porcentagem de cada
operação
82
Coleta Reaplicação (VRT)
MPPI: um modelo de procedência para
subsidiar processos de integração
Bruno TomazelaTestes
Reordenação seguraEscalabilidade do número de
operações
0
128
256
50
0
15
00
25
00
35
00
45
00
55
00
65
00
75
00
85
00
95
00
Te
mp
o (
s)
Número de operações
96,15%
(a) Reaplicação
83
Não reordenado Reordenado
MPPI: um modelo de procedência para
subsidiar processos de integração
Bruno TomazelaTestes
Reordenação seguraEscalabilidade do número de
fontes
0
5
10
15
45
75
10
5
Te
mp
o (
s)
Número de fontes
94,58%
(a) Reaplicação
84
Não reordenado Reordenado
MPPI: um modelo de procedência para
subsidiar processos de integração
Bruno TomazelaTestes
Operações de sobreposição
pior caso linear no número de operações
transitivas
Testes
85
MPPI: um modelo de procedência para
subsidiar processos de integração
Bruno TomazelaTestes
Operações de sobreposição
pior caso linear no número de operações
transitivas
Método VRT
pior caso linear no número de operações do
repositório
Testes
86
MPPI: um modelo de procedência para
subsidiar processos de integração
Bruno TomazelaTestes
Operações de sobreposição
pior caso linear no número de operações
transitivas
Método VRT
pior caso linear no número de operações do
repositório
Reordenação segura
melhora o desempenho do método VRT
Testes
87
MPPI: um modelo de procedência para
subsidiar processos de integração
Bruno TomazelaTestes
Operações de sobreposição
pior caso linear no número de operações
transitivas
Método VRT
pior caso linear no número de operações do
repositório
Reordenação segura
melhora o desempenho do método VRT
Testes
Os métodos propostos se mostraram
viáveis de serem implementados em
sistemas de integração
88
MPPI: um modelo de procedência para
subsidiar processos de integração
Bruno TomazelaSumário
Contextualização e Motivação
Fundamentação Teórica
Trabalhos Correlatos
Proposta
Testes
Conclusão
Roteiro
MPPI: um modelo de procedência para
subsidiar processos de integração
Bruno TomazelaConclusão
Objetivo
reaplicar operações
Aspectos
o que coletar?
operações em nível de atributo
como coletar?
eager e automática
como armazenar?
separado do dado
como consultar?
tipo rastreamento e filtro
O modelo MPPI
MPPI: um modelo de procedência para
subsidiar processos de integração
Bruno TomazelaProposta
Conclusão
O modelo MPPI
OperaçõesTratamento de operações
de sobreposiçãoValidação Reaplicação
MPPI: um modelo de procedência para
subsidiar processos de integração
Bruno TomazelaProposta
Conclusão
elimina a ocorrência de decisões inconsistentes entre
processos de integração
reduz o tempo de integração do usuário, reaplicando
automaticamente as decisões
O modelo MPPI
OperaçõesTratamento de operações
de sobreposiçãoValidação Reaplicação
MPPI: um modelo de procedência para
subsidiar processos de integração
Bruno TomazelaConclusão
Extensão do modelo para integração de
esquema
Definição de novas operações para integração
baseada em clusters
Propagação de decisões de integração para
objetos similares
Enfoque em outros cenários de integração, tal
como bancos de dados biológicos
Trabalhos Futuros
MPPI
Um modelo de procedência para
subsidiar processos de integração
Bruno Tomazela
Orientadora: Profª Drª Cristina Dutra de Aguiar Ciferri
Perguntas