View
0
Download
0
Category
Preview:
Citation preview
Técnicas para Identificação de
Manipulações Baseadas em
Inconsistências do Processo de
Aquisição
Fernando Roberti de Siqueira – 070885
Talita Ferraz Roberti – 086877
Série de Seminários
Disciplina de Análise Forense de
Documentos Digitais
Prof. Dr. Anderson Rochaanderson.rocha@ic.unicamp.br
http://www.ic.unicamp.br/~rocha
Organização
Seminários – Análise Forense de Documentos Digitais, 2010 4
Organização
‣ Introdução
‣ Estado da Arte
‣ Conclusão
Introdução
Seminários – Análise Forense de Documentos Digitais, 2010 6
Introdução
‣ Diversas imagens estão sendo adulteradas e
apresentadas como verdadeiras para incriminar
ou levar as pessoas a acreditar em uma
informação falsa.
‣ A olho nu pode ser muito difícil de determinar se
a imagem foi ou não adulterada.
‣ Algoritmos foram propostos para tentar encontrar
inconsistências em imagens adulteradas e expô-
las.
Seminários – Análise Forense de Documentos Digitais, 2010
Estado da Arte
Seminários – Análise Forense de Documentos Digitais, 2010 8
Estado da Arte
‣ Exposing digital forgeries in color filter array
interpolated images
[Popescu & Farid. 2005]
‣ Detecting doctored images using camera
response normality and consistency
[Lin et al. 2005]
Seminários – Análise Forense de Documentos Digitais, 2010
Exposing digital forgeries in CFA
‣ Uma imagem digital consiste de três canais que
contém amostras do espectro de cor, por
exemplo, vermelho, verde e azul.
‣ Na maioria das câmeras, apenas uma cor é
guardada em cada posição de pixel, as outras
duas cores devem ser estimadas de acordo com
seus pixels vizinhos para que seja possível obter
os três canais de cores da imagem.
9
Seminários – Análise Forense de Documentos Digitais, 2010
Exposing digital forgeries in CFA
‣ Os autores apresentam diversos modelos de
interpolação de cores como, por exemplo,
combinação linear de um pixel com seus
vizinhos.
10
Seminários – Análise Forense de Documentos Digitais, 2010
Exposing digital forgeries in CFA
11
‣ Os autores assumem um modelo linear simples,
onde cada pixel interpolado é correlacionado com
uma soma de diferentes pesos em uma pequena
vizinhança.
‣ Utilizou-se um algoritmo de Maximização da
Esperança (EM) para determinar as amostras
que são correlacionadas com seus vizinhos, e
como estes se relacionam.
Seminários – Análise Forense de Documentos Digitais, 2010
Exposing digital forgeries in CFA
12
© A
. P
opescu
© A
. P
ope
scu
Seminários – Análise Forense de Documentos Digitais, 2010
Exposing digital forgeries in CFA
13
‣ Nas imagens anteriores, as colunas da esquerda
mostram exemplos de fotos de câmeras que utilizam
os algoritmos de interpolação citados no artigo.
‣ As colunas do meio mostram as probabilidades
estimadas para o canal de cor verde (semelhante
para os canais vermelho e azul).
‣ As colunas da direita mostram a magnitude da
Transformada de Fourier aplicada nos mapas de
probabilidade. Os picos nas imagens correspondem
as correlações periódicas de CFA.
Seminários – Análise Forense de Documentos Digitais, 2010
Exposing digital forgeries in CFA
14
‣ Os autores também mostram como utilizar essas
características de interpolação para detectar
inconsistências nas imagens causadas por
falsificações.
© A
. P
ope
scu
Seminários – Análise Forense de Documentos Digitais, 2010 15
Estado da Arte
‣ Exposing digital forgeries in color filter array
interpolated images
[Popescu & Farid. 2005]
‣ Detecting doctored images using camera
response normality and consistency
[Lin et al. 2005]
Seminários – Análise Forense de Documentos Digitais, 2010
Detecting doctored images using
camera response
16
‣ Existem muitas maneiras de se alterar uma
imagem sendo, em alguns casos, com objetivos
maliciosos.
‣ Na maioria das vezes é difícil identificar uma
imagem adulterada.
Seminários – Análise Forense de Documentos Digitais, 2010
Detecting doctored images using
camera response
17
‣ Imagens falsificadas podem ser detectadas em vários níveis.
• No nível mais alto, analisa-se o que está contido na
imagem usando a relação entre os objetos. Como, por
exemplo, Getúlio Vargas não estaria em uma foto com o
D. Pedro II.
• Em um nível intermediário, poderíamos identificar
inconsistências na imagem como tamanho de objetos,
cor, sombra, etc.
• No mais baixo nível, temos características locais como
nível de ruído e qualidade da junção de bordas.
Seminários – Análise Forense de Documentos Digitais, 2010
Detecting doctored images using
camera response
18
‣ Humanos são bons com os níveis alto e
intermediário. E tem alguma habilidade com o
nível mais baixo.
‣ Computadores são ruins na análise do nível mais
alto, e possuem um bom desempenho nos níveis
intermediário e baixo.
Seminários – Análise Forense de Documentos Digitais, 2010
Detecting doctored images using
camera response
19
‣ Os autores propõe um novo método para
detecção de imagens falsificadas por meio da
função de resposta da câmera.
‣ Selecionam-se blocos ao longo das bordas da
imagem.
‣ Se a imagem é real, então diferentes blocos
devem possuir a mesma função de resposta.
Caso contrário, a imagem pode ter sido
adulterada.
Seminários – Análise Forense de Documentos Digitais, 2010
Função de Resposta da Câmera
20
‣ A função de resposta da câmera é uma função de
mapeamento da irradiância (luz incidente) em um
ponto da imagem para o valor do pixel
correspondente àquele ponto.
‣ Em câmeras com sensor de cor CCD, cada um
dos canais de cor (RGB) possui uma função de
resposta.
Seminários – Análise Forense de Documentos Digitais, 2010
Função de Resposta da Câmera
21
© S
. Lin
Seminários – Análise Forense de Documentos Digitais, 2010
Função de Resposta da Câmera
22
‣ Em (a), na figura acima, a primeira e a segunda coluna
de pixels formam uma região de radiância R1, a última
coluna da imagem tem radiância R2, e a terceira coluna
contém pixels da junção das duas regiões.
‣ Em (b), a irradiância das primeiras duas colunas
mapeiam para o ponto I1, enquanto a última coluna
mapeia para I2. A terceira coluna é uma combinação
linear de I1 e I2.
‣ Em (c), a função de resposta da câmera f, transforma o
segmento de reta de (b) em uma curva.
Seminários – Análise Forense de Documentos Digitais, 2010
Função de Resposta da Câmera
23
‣ Os sensores ópticos funcionam quase linearmente,
contudo os pixels resultantes não são proporcionais
à quantidade de luz incidente. Algumas das razões
para isso seriam:
• A conversão de analógico para digital pode não
ser feita linearmente.
• Possíveis pós-processamentos (correção
Gamma, balanceamento de brancos, etc.), em
câmeras que salvam a imagem em JPEG, TIFF.
Seminários – Análise Forense de Documentos Digitais, 2010
Função de Resposta da Câmera
24
‣ Computa-se uma aproximação para a função
inversa da resposta da câmera, g = f -1, para mapear
as cores de RGB de volta para a irradiância, de
forma que a relação linear nas bordas é recuperada
da melhor maneira possível.
‣ Para cada bloco de borda da imagem com regiões
de cor M1 e M2. A função inversa g deve mapear a
cor medida em cada ponto p do bloco, de cor Mp,
em uma linha.
Seminários – Análise Forense de Documentos Digitais, 2010
Função de Resposta da Câmera
25
© S
. Lin
Seminários – Análise Forense de Documentos Digitais, 2010
Função de Resposta da Câmera
26
‣ A função g satisfaz essa propriedade se a distância
se de g(Mp) até a linha g(M1)g(M2) é zero, formula-
se como:
‣ Onde × é um produto vetorial.
Seminários – Análise Forense de Documentos Digitais, 2010
Função de Resposta da Câmera
27
‣ Define-se Ω = {<M1, M2, Mp>} como o conjunto de
triplas de cor de um bloco. Para uma imagem, a
distância total é da forma:
‣ Então, tem-se como objetivo a função g que
minimiza a distância total.
Seminários – Análise Forense de Documentos Digitais, 2010
Função de Resposta da Câmera
28
‣ Para que Ω seja formado é necessário que:
• As áreas das duas regiões particionadas pela borda
(regiões de cores M1 e M2), devem ser as mais
próximas possíveis entre si.
• A variância das cores dentro das regiões deve ser a
menor possível.
• A diferença entre as cores médias das regiões
particionadas pela borda deve ser a maior possível.
• As cores dos pixels dentro da região de borda devem
estar entre M1 e M2.
Seminários – Análise Forense de Documentos Digitais, 2010
Função de Resposta da Câmera
29
‣ Estes blocos podem ser escolhidos
automaticamente ou por interferência do usuário
em alguma imagem suspeita.
‣ A seleção manual é preferida, pois a seleção
automática pode ignorar blocos em regiões de
oclusão e os resultados podem não ser os
melhores possíveis de acordo com o alto nível.
Seminários – Análise Forense de Documentos Digitais, 2010
Função de Resposta da Câmera
30
‣ Para realizar a minimização de D(g; Ω), utiliza-se
uma estimativa Bayesiana.
‣ Com base em um conhecimento prévio de função
de resposta de câmeras reais a partir de
Database of Response Functions (DoRF).
Seminários – Análise Forense de Documentos Digitais, 2010
DoRF database
31
‣ O DoRF database é um banco de dados
organizado por Michael D. Grossberg & Shree K.
Nayar ([Grossberg & Nayar. DoRF 2003]).
‣ Trata-se de 201 funções de respostas de
câmeras de imagem e vídeo diferentes.
Seminários – Análise Forense de Documentos Digitais, 2010
DoRF database
© M
. D
. G
rossberg
32
Seminários – Análise Forense de Documentos Digitais, 2010
DoRF database
33
‣ Grossberg & Nayar fizeram uso do algoritmo de
PCA em cima de uma base de treinamento
nomeada como Empirical Model of Response
(EMoR), contendo 175 curvas, as outras 26 foram
deixadas para o conjunto de teste.
‣ Foram escolhidos os auto-vetores associados aos
quatro maiores auto-valores.
‣ Os primeiros três auto-valores correspondiam a
cerca de 99,5% da energia.
Seminários – Análise Forense de Documentos Digitais, 2010
DoRF database
34
© M
. D
. G
rossberg
Seminários – Análise Forense de Documentos Digitais, 2010
Função de Resposta da Câmera
35
‣ Lin et al. utilizaram o mesmo modelo de
Grossberg & Nayar, mas selecionando os auto-
vetores associados aos cinco maiores auto-
valores, formando a matriz H.
‣ Então, representa-se a inversa da função de
resposta, g, como:
g = g0 + cH
Seminários – Análise Forense de Documentos Digitais, 2010
Função de Resposta da Câmera
36
‣ Onde g0 = [gR0, gG0, gB0]T é a média da inversa da
função de resposta, c = [cR, cG, cB]T é um vetor de
coeficientes que representam a função g em R3×5.
‣ Computa-se então uma estimativa maximum a
posteriori (MAP).
Seminários – Análise Forense de Documentos Digitais, 2010
MAP
37
‣ Deseja-se estimar uma população não-observada θ. Se f
é uma distribuição de x então:
‣ É uma função de verossimilhança (likelihood). Assumindo
que uma distribuição a priori g sobre θ existe, tem-se, a
partir de uma aplicação direta do Teorema de Bayes:
‣ Onde argmax de f(x | θ) é a máxima função de
verossimilhança .
Seminários – Análise Forense de Documentos Digitais, 2010
Função de Resposta da Câmera
38
‣ Então, agora calcula-se a distribuição a priori e a função de
verossimilhança.
‣ Distribuição a priori, obtida através do DoRF database
modelada com uma mistura de modelos Gaussianos, onde
são calculadas K = 5 Gaussianas através de um algoritmo de
EM:
‣ Em que αi define um peso, µi a média e Ʃi a covariância para
a i-ésima Gaussiana.
Seminários – Análise Forense de Documentos Digitais, 2010
Função de Resposta da Câmera
39
‣ Função de verossimilhança, modelada como uma
exponencial, pois g deve ter um valor baixo de
distância total (Distância é baixa para elementos
com alta similaridade):
‣ Onde λ é uma constante utilizada como 104 e Z é
uma constante de normalização.
Seminários – Análise Forense de Documentos Digitais, 2010
Função de Resposta da Câmera
40
‣ Aplicando os parâmetros p(g) e p(Ω | g), na
estimativa MAP:
‣ Aplicando log na função, g* pode ser reescrita
como:
‣ Onde g* é a solução ótima de E(g).
Seminários – Análise Forense de Documentos Digitais, 2010
Função de Resposta da Câmera
41
‣ Finalmente, a minimização é calculada pelo
método de Levenberg-Marquardt.
‣ Após a convergência do algoritmo, o resultado é
refinado utilizando um algoritmo de busca guloso.
‣ Dessa maneira, tem-se calculada uma
aproximação para a inversa da função de
resposta.
Seminários – Análise Forense de Documentos Digitais, 2010
Detecting doctored images using
camera response
42
‣ As funções de resposta, normalmente, possuem as
seguintes propriedades:
• Devem ser monotonicamente crescentes.
• Após uma suavização, deve ter no máximo um
ponto de inflexão.
• Os três canais de cor devem ser próximos entre
si.
‣ Estas propriedades também valem para as inversas
das funções de resposta.
Seminários – Análise Forense de Documentos Digitais, 2010
Detecting doctored images using
camera response
43
‣ Então, para avaliar as funções de resposta,
define-se as seguintes funções:
Seminários – Análise Forense de Documentos Digitais, 2010
Detecting doctored images using
camera response
44
‣ O objetivo é fazer com que os resultados das
funções acima seja mínimo.
‣ fmono penaliza as funções não-monotônicas
crescentes.
‣ ffluc aumenta para funções com mais do que um
ponto de inflexão.
‣ fdiv tenta aproximar os canais de cor entre si o
máximo possível.
Seminários – Análise Forense de Documentos Digitais, 2010
Detecting doctored images using
camera response
45
‣ Treina-se um classificador SVM utilizando um
vetor 3D (fmono, ffluc, fdiv) da seguinte maneira:
• Positivo – Treinado com exemplos do DoRF
database.
• Negativo – As curvas coletadas pelo algoritmo
em imagens adulteradas.
‣ SVM retorna como resultado o nível de confiança
c.
Seminários – Análise Forense de Documentos Digitais, 2010
Detecting doctored images using
camera response
46
‣ Quanto maior |c|, maior a confiança.
‣ Um c negativo indica anormalidade, enquanto c
positivo indica normalidade.
Seminários – Análise Forense de Documentos Digitais, 2010
Resultados
47
‣ Nas imagens a seguir, serão mostradas
diferentes estratégias de seleção de blocos.
‣ Onde a imagem (a1) é a imagem original e (a2) é
um exemplo de seleção dos blocos.
‣ F, S e B são, respectivamente, objeto, bordas
suspeitas e fundo. E c é a resposta do
classificador SVM.
Seminários – Análise Forense de Documentos Digitais, 2010
Resultados
48
© Z
. Lin
Seminários – Análise Forense de Documentos Digitais, 2010
Resultados
49©
Z.
Lin
Seminários – Análise Forense de Documentos Digitais, 2010
Resultados
50
‣ As imagens a seguir são um exemplo de imagens
adulteradas.
‣ A imagem (b1) é a imagem adulterada.
‣ A imagem (b2) é um exemplo de seleção de
blocos de borda.
Seminários – Análise Forense de Documentos Digitais, 2010
Resultados
51
© Z
. Lin
Seminários – Análise Forense de Documentos Digitais, 2010
Resultados
52©
Z.
Lin
Seminários – Análise Forense de Documentos Digitais, 2010
Resultados
53
‣ Os resultados apresentados abaixo são de
imagens que foram adulteradas utilizando Lazy
Snapping.
‣ Lazy Snapping é uma ferramenta em que o
usuário seleciona o objeto a ser segmentado e o
fundo da imagem próximo ao objeto selecionado.
‣ O fundo foi facilmente detectado como normal e
as regiões de borda foram identificadas como
anormais.
Seminários – Análise Forense de Documentos Digitais, 2010
Resultados
54
© Z
. Lin
© Z
. Lin
Seminários – Análise Forense de Documentos Digitais, 2010
Resultados
55
© Z
. Lin
© Z
. Lin
Seminários – Análise Forense de Documentos Digitais, 2010
Resultados
56
© Z
. Lin
© Z
. Lin
Seminários – Análise Forense de Documentos Digitais, 2010
Limitações
57
‣ As imagens devem ter contraste alto para que o
intervalo de cores dos blocos selecionados seja
grande o suficiente.
‣ Também deve conter várias bordas cujas regiões
sejam homogêneas, para uma maior seleção de
blocos.
‣ Ainda assim, o algoritmo pode falhar se a
composição for feita com imagens de uma
mesma câmera.
Seminários – Análise Forense de Documentos Digitais, 2010
Limitações
58
‣ Caso a composição da imagem tenha sido feita por
câmeras não documentadas no DoRF, a imagem
pode ser mal analisada.
‣ Deve-se balancear a distribuição dos blocos
selecionados entre objeto, fundo e bordas suspeitas.
‣ Finalmente, se a função de resposta da câmera
variar pela imagem, como acontece com algumas
câmeras (HP photosmart e câmeras utilizando
sensor CMOS), a detecção ficaria comprometida.
Conclusões
Seminários – Análise Forense de Documentos Digitais, 2010
Conclusões
60
‣ Os autores apresentam uma interessante
ferramenta de detecção de inconsistências,
possivelmente causadas por adulterações, em uma
imagem através da função de resposta da câmera.
‣ O artigo porém não apresenta muitos resultados,
sendo assim difícil de concluir se o algoritmo
apresentado realmente tem resultados consistentes
em um grande número de imagens.
Seminários – Análise Forense de Documentos Digitais, 2010
Conclusões
61
‣ Não são apresentados o volume de dados de
treinamento e teste, bem como o número de falso-
positivos e falso-negativos do algoritmo de
classificação.
‣ É necessária constante intervenção do usuário para
uma maior confiabilidade do algoritmo.
Referências
Seminários – Análise Forense de Documentos Digitais, 2010 63
Referências
1.[Lin et al. 2004] S. Lin, J. Gu, S. Yamazaki, and H.-Y. Shum. (2004). Radiometric Calibration from a
Single Image. In Proceedings of CVPR , pp. 938-945.
2.[Grossberg & Nayar. 2003] M.D. Grossberg and S.K. Nayar. (2003). What Is the Space of Camera
Response Functions? In Proceedings of CVPR, pp.II: 602-609.
3.[Lin et al. 2005] Z. Lin, R. Wang, X. Tang, and H.-Y. Shum. (2005). Detecting doctored images using
camera response normality and consistency. In Intl. Conference on Computer Vision and Pattern
Recognition (CVPR), New York, USA.
4.[Popescu & Farid. 2005] Alin C. Popescu and Hany Farid. (2005) Exposing digital forgeries in color filter
array interpolated images. IEEE Transactions on Signal Processing (TSP), 53(10):3948-3959.
5.[Grossberg & Nayar. 2004] Michael D. Grossberg and Shree K. Nayar. (2004). Modeling the Space of
Camera Response Functions. IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 26, no.
10.
6.[Grossberg & Nayar. DoRF 2003] Michael D. Grossberg and Shree K. Nayar. (2003). DoRF database.
http://www.cs.columbia.edu/CAVE/software/softlib/dorf.php
Obrigado!
Recommended