Embed Size (px)
Citation preview
A Tattoo Image Database Applicationa Case Study on Soft Biometrics
Adriano M. de Miranda, João M. SalomãoPrograma de Pós-graduação em Engenharia Elétrica
IFES Campus VitóriaVitória/ES, Brasil
[email protected], [email protected]
Karin S. KomatiCoordenação de Informática
IFES Campus SerraSerra/ES, Brasil
Abstract—This work presents an application of Content-Based Image Retrieval (CBIR) in a database of tattoo images. The goal is to help in the identification of criminals using their tattoos. The algorithm used is based on the ASIFT, it extracts feature points of tattoo images, then uses these feature points for image matching to retrieve images of the database. We used sixteen pairs of tattoo images for the tests, sixteen images for the database indexing and sixteen images to search for their correspondent pairs. The database was tested and showed good performance at recognizing the tattoos, even when the view angle changes, but it does not seems to scale well since the time spent at the search gets too high at large databases. Thus the search method must be improved for the application in real tattoo database.
Keywords— ASIFT; Content-Based Image Retrieval; Tattoo Image Database; Soft Biometrics.
I. INTRODUÇÃO
O termo “Biometria Suave” ou “Biometria Leve” (Soft Biometrics) trata das características biométricas que fornecem algumas informações de identificação sobre um indivíduo, mas não é o suficiente para diferenciar dois indivíduos de forma indubitável. Traços suaves biométricos ajudam a estreitar a identidade de um suspeito ou uma vítima em investigações forenses [1]. Uma biometria suave, por exemplo, é a tatuagem.
De acordo com os dados de 2012 da “Cartilha de Orientação Policial” da Secretaria de Segurança Pública do Estado da Bahia [2], estima-se que na população carcerária do Brasil, mais de 60% dos presos do sexo masculino tenham algum tipo de desenho estampado no corpo. De acordo com o tenente Alden Silva, autor da cartilha, em geral, as tatuagens possuem um significado, tais como hierarquia, acontecimentos pessoais e tipos de crimes realizados.
No Brasil, a “Identificação Criminal” é o termo utilizado para a reunião de informações visando individualizar uma determinada pessoa sujeita a um processo criminal ou ao inquérito policial, com objetivo de auxiliar o sistema penal propiciando aos seus órgãos informações válidas e confiáveis. Essa reunião se dá por meio da coleta e arquivamento de um conjunto de informações como impressões digitais, dados referentes a identificação física, do modus operandi, fotografia frente e de perfil, além de fotografias de sinais peculiares, tais como tatuagens, cicatrizes e marcas [3]. Embora previsto em lei no Brasil pela Lei 12.037/09, a única notícia d
e criação de uma base de dados encontrada foi do Sistema Phoenix da Secretaria de Segurança Pública de São Paulo [4].
Nos Estados Unidos, o BCOE (Biometric Center of Excellence – Centro Biométrico de Excelência) do FBI (Federal Bureau of Investigation), mais conhecido por sua impressão digital e serviços de identificação de DNA, investe no desenvolvimento de aplicações e banco de dados de biometria baseada em voz, íris e outras características de identificação. Dentre elas, o reconhecimento de tatuagem faz parte do programa de identificação [5]. A caracterização de tatuagens é quase única, pois mesmo que duas pessoas tenham a mesma tatuagem, a unicidade de cada uma é praticamente garantida, pois são feitas a mão.
Em termos acadêmicos, os trabalhos liderados pelo pesquisador Anil K. Jain da Universidade Estadual de Michigan (Michigan State University) [6, 7, 8, 9, 10] tem lhe rendido publicidade desde 2007, como consta em [11]. O sistema, chamado de Tattoo-ID, é um sistema que faz uso tanto da pesquisa por palavras-chave quanto pelo CBIR (Content-Based Image Retrieval – Recuperação de Imagens por Conteúdo) [12]. O projeto utiliza uma variação do SIFT (Scale-invariant Feature transform – Transformada de Características Invariante a Escala) [13] e é financiado pelo FBI.
A proposta deste trabalho é desenvolver uma aplicação CBIR para um banco de dados de imagens de tatuagens, utilizando “Simulação de Pontos de Vista”, técnica proposta por Morel e Yu [14] para estender o popular SIFT a fim de incluir a invariância à mudanças moderadas do ponto de vista do observador. Morel e Yu propuseram o algoritmo ASIFT (affine-SIFT) para implementação da técnica. O ASIFT herda os benefícios do SIFT, sendo também invariante à escala, rotação e translação.
No caso da identificação de tatuagens, é muito provável que os pontos de vista a partir do qual foram tiradas as fotos das tatuagens sejam diferentes, portanto para este trabalho o descritor também deverá ser moderadamente invariável neste aspecto. Foi necessário criar a base de dados de tatuagens, pois não se encontrou base de dados pública para testes.
O trabalho está estruturado da seguinte forma: na seção 2 detalha-se a solução proposta, na seção seguinte descreve-se os experimentos realizados, por fim, apresenta-se os resultados obtidos e as considerações finais.
II. A SOLUÇÃO PROPOSTA
No ASIFT, os pontos característicos são extraídos a fim de descrever a imagem e os objetos contidos nela de forma invariante em escala, rotação, oclusão parcial, problemas de iluminação e mudanças moderadas do ponto de vista do usuário. Tais características são armazenadas em vários vetores, que por sua vez são armazenados em um banco de dados. Um objeto é reconhecido em uma nova imagem, comparando-se individualmente cada característica com o banco de dados e achando as possíveis correspondências entre dois descritores por distância.
Os pontos característicos (ou pontos de interesse ou pontos chave) são regiões representativas da imagem que podem ser usados para procurar regiões repetitivas em quadros consecutivos. Mede-se a variação de intensidade utilizando uma pequena janela (tipicamente, 3x3 ou 5x5 pixels), para percorrer a imagem pixel a pixel, usando as oito direções principais do pixel central (horizontal, vertical, e as quatro diagonais). Um método possível de uso é o detector de Harris [15], que usa o segundo momento da matriz, também chamado matriz de autocorrelação, para a detecção de características e para descrever estruturas locais na imagem. Esta matriz descreve a distribuição do gradiente na vizinhança local de um ponto.
O detector de Harris-Laplace [16] combina o método tradicional de Harris com o conceito de representação espaço-escala Gaussiano [17] para se gerar um detector invariante à escala. A escolha da escala é dado pelos valores máximos da derivada normalizada (o Laplaciano). Com a escala selecionada, define o desvio padrão da gaussiana de desfoque, isto é, σ. A Fig. 1 mostra as as características locais encontradas para a escala selecionada.
Fig. 1.Pontos característicos locais plotadas na imagem.
Cada ponto de interesse é definido pela sua posição, pela orientação e pela escala: (x, y, orientação, σ). Para se calcular o parâmetro que falta, cada região ao redor de um ponto chave é dividida em sub-regiões retangulares. Em seguida, os gradientes da intensidade são calculados e suas orientações são acumuladas num histograma para cada sub-região separadamente (ver Fig. 2). Cada ponto ganha um peso dependendo da magnitude do gradiente e da distância ao centro da região.
Fig. 2.Descritor de regiões características ao redor de um ponto chave. (a) Pontos chaves, (b) direção de intensidade do gradiente em sub-regiões 3x3, (c) histogramas de acumulação, retirado de [18].
Os picos na orientação do histograma correspondem a direções dominantes para os gradientes locais. O maior pico no histograma são aqueles acima de uma margem escolhida e serão usados para se definir a orientação de cada ponto chave. No caso de se ter múltiplos picos de magnitudes similares, são criados diferentes pontos chaves na mesma localização, mas com diferentes orientações.
Na comparação dos descritores, pode-se usar a distância euclidiana. Por fim as imagens comparadas têm seus pontos característicos comuns ligados por uma linha assim como mostra a Fig. 3.
Fig. 3.A mesma tatuagem sobre pontos de vista diferentes têm seus pontos característicos comuns ligados.
III. EXPERIMENTOS
Nesta seção são descritos os experimentos realizados com o algoritmo ASIFT descrito anteriormente, o código utilizado foi o criado por Artiom Kovnatsky [19]. O algoritmo em si foi criado com propósitos apenas acadêmicos, para estudantes que se interessassem por extração de características e reconhecimento de objetos. Ajustes quanto ao desempenho foram feitos afim de que o sistema apresente menor tempo de resposta. Os experimentos são subdivididos na ordem em que foram desenvolvidos.
A. A Base de Dados de Tatuagens
O banco de tatuagens tem como objetivo guardar as tatuagens de criminosos que teriam fotos tiradas de suas tatuagens em sua primeira passagem pela polícia. Dessa forma na investigação de um crime, quando fosse possível identificar uma tatuagem no criminoso, por meio de uma câmera de vigilância por exemplo. Essa imagem seria usada na busca de um criminoso reincidente no banco. Portanto essas duas imagens teriam, em sua maioria, grandes diferenças de iluminação, escala e principalmente ângulo de visão.
No entanto houve grande dificuldade na obtenção de imagens para um banco de testes que apresentassem essas diferenças, já que todas as imagens utilizadas tinham que ter uso irrestrito livre. Dessa forma foram utilizadas imagens publicadas em sites e grupos de redes sociais de domínio público, especializados em compartilhamento de tatuagens de seus usuários e membros.
O banco foi formado essencialmente, de tatuagens que apresentam boa qualidade, mesma iluminação e ângulos de vista diferentes de seus pares, a Fig. 4 mostra um dos pares utilizados. Foram 16 pares de tatuagens, sendo 16 imagens indexadas no banco e 16 utilizadas para buscar seu respectivo par.
B. Extração de Características
Para efeito de comparação, a máquina utilizada durante os testes tinha as seguintes especificações:
• Processador AMD Phenom(tm) II N850 Tiple-Core Processor 2.20 GHz.
• Mémoria (RAM) de 4,00 GB.
• Sistema Operacional Windows 7 de 32 Bits.
• Placa de Aceleração Gráfica ATI Mobility Radeon HD 4200 Series
O tempo de processamento para obter o descritor usando SIFT é alto. Portanto, o banco de imagens além de armazenar as próprias imagens, deve também armazenar os descritores destas, a fim de se economizar o processamento de extração. Essa foi a principal alteração feita no algoritmo utilizado Kovnatsky, por ser um algoritmo com fins acadêmicos ele realizava as etapas de extração e comparação de uma só vez, o que prolongava as buscas em aproximadamente 1 minuto por imagem.
Assim, todas as imagens da base de dados foram processadas pelo algoritmo de geração dos vetores de características, e armazenando esta informação na mesma entidade da imagem. Para cada imagem, criou-se uma matriz,
onde cada coluna é um ponto de interesse e cada linha representam os dados (x, y, orientação, σ).
O tempo total de processamento para indexar os vetores de características das 32 imagens foi de 409,7 segundos, aproximadamente 13 segundos por imagem. O tempo varia de acordo com o tamanho da imagem, já que quanto maior imagem, maior a quantidade de pixels a serem processados.
C. Busca e Comparação
O algoritmo de busca percorre a matriz armazenada durante a indexação do banco de dados, comparando-o com o descritor da imagem que se quer procurar. Em cada comparação o numero de pontos característicos comuns é guardado, ao final do algoritmo é gerado um ranking das imagens mais semelhantes de acordo com o número de pontos característicos encontrados.
Foram feitas buscas para cada par de tatuagens, procurando observar para cada busca o número de pontos característicos encontrados para a mesma tatuagem e para tatuagens diferentes, assim como o tempo despendido.
Fig. 4.A mesma tatuagem de pontos de vistas diferentes.
IV. RESULTADOS E DISCUSSÃO
A Tabela I mostra para cada imagem pesquisada seu respectivo número de pontos característicos comuns para cada imagem da base de dados. A tabela foi formada apenas com os oito pares de imagens. Como pode-se notar, para o mesmo par, a imagem retornou mais pontos característicos, como esperado. Mesmo em tatuagens diferentes alguns pontos característicos comuns são encontrados, esses falsos positivos são comuns em aplicações CBIR, no entanto, não chegam a atrapalhar, pois são desprezíveis comparados com os números encontrados para os pares de tatuagens. A comparação é feita pela faixa de valores que varia de 0 a 4 pontos característicos comuns, existente fora da diagonal principal da matriz, contra a faixa de valores da diagonal principal, que varia de 34 a 143 pontos.
Na Fig. 5 apresenta-se um caso típico de sucesso. Nota-se que características apresentam correspondências entre as duas imagens, mesmo em ângulos de visão diferentes. No entanto, nem todos os resultados foram favoráveis. Em dois casos não foram encontrados pontos característicos suficientes, um destes dois casos de falha é mostrado na Fig. 6. Entre os motivos para a tatuagem que apresentou falha, mostrada na Fig. 6, é que o par de imagens apresentou o maior grau de diferença no ângulo de visão entre uma imagem e outra. Pode-se compará-la com a Fig. 5, que apresentou menor diferença de ponto de vista. Outro motivo pode ser a mudança no posicionamento do braço, está esticado na primeira imagem e dobrado na segunda imagem. O outro par de tatuagens que não obteve sucesso apresenta os mesmos problemas.
A Tabela II mostra os tempos registrados durante a fase de experimentos. Como se pode observar, para um banco com apenas 16 imagens os tempos de busca variaram entre 1.429 e 6.654 segundos. A variação do tempo de busca é proporcional à quantidade de vetores característicos extraídos pelo ASIFT. A ultima coluna da Tabela 2 foi obtida dos tempos de buscas da segunda coluna, fatorados pelo número de pontos de interesse encontrados na tatuagem.
ΤΑΒΕΛΑ Ι. NÚMERO DE PONTOS CARACTERÍSTICOS COMUNS
Imagens buscadas
Imagens do Banco de Imagens
1 2 3 4 5 6 7 8
1 34 1 2 1 0 1 2 2
2 4 58 1 0 1 3 0 1
3 3 1 44 0 1 2 1 1
4 1 2 0 64 2 1 2 1
5 1 0 0 1 79 0 2 1
6 5 2 2 0 1 143 0 2
7 0 2 0 1 0 0 96 0
8 1 2 4 0 0 0 2 73
ΤΑΒΕΛΑ ΙΙ. TEMPO DE PESQUISA PARA CADA IMAGEM
Tatuagem pesquisada
Tempo da pesquisa
(segundos)
Tempo da pesquisa/Números de pontos de
interesse(mili segundos)
Tatuagem 01 1.457 3.282
Tatuagem 02 4.203 3.233
Tatuagem 03 1.429 1.431
Tatuagem 04 3.622 3.602
Tatuagem 05 2.045 4.463
Tatuagem 06 3.457 4.556
Tatuagem 07 2.457 1.190
Tatuagem 08 3.234 2.464
Tatuagem 09 2.275 3.516
Tatuagem 10 1.723 2.78
Tatuagem 11 4.449 3.23
Tatuagem 12 6.654 3.880
Tatuagem 13 2.386 1.735
Tatuagem 14 1.520 2.471
Tatuagem 15 3.376 3.386
Tatuagem 16 3.117 3.132
V. CONSIDERAÇÕES FINAIS
A solução proposta demonstrou ser invariante à escala e à rotação e moderadamente invariável à diferentes ângulos de visão. A acurácia foi de 87,5% dos testes.
Em termos de trabalhos futuros, pretende-se aumentar a base de dados com imagens reais de tatuagens de criminosos, pois a base de dados inicial utilizada neste trabalho é pequena. Com uma base de dados maior, testes de robustez e de escalabilidade poderão ser realizados. Acredita-se que, com isso, seja possível também obter grande variação de qualidade das tatuagens, dado que boa parte das tatuagens são feitas em cárcere sem profissional qualificado.
Espera-se implementar outras formas de buscas, que melhorem o tempo de resposta e a sua eficácia em encontrar as tatuagens. Outra possibilidade seria converter a busca em um sistema de processamento paralelo, diminuindo o tempo de pesquisa.
A categorização das imagens dentro do banco de imagens, tal como é feito em [6, 7, 8, 9, 10] com palavras-chaves, também irá reduzir consideravelmente o tempo de busca. No entanto, conforme citado nos trabalhos, as palavras-chaves estão propensos a erros humanos durante o cadastro.
AGRADECIMENTOS
Os autores agradecem ao IFES Campus Vitória e ao IFES Campus Serra pelo apoio ao trabalho.
REFERÊNCIAS
[1] G. B. de Souza; A. N. Marana. "Reconhecimento de pessoas em imagens de vídeo utilizando características biométricas leves". Em: Anais do VI Workshop de Visão Computacional (WVC 2010).
[2] A. J. L. da Silva. Tatuagem: Desvendando Segredos. Salvador: Magic Gráfica, 2012. Disponível em: <https://087d82cb-a-62cb3a1a-s-sites.googlegroups.com/site/abordagemlivros/tatuagem_desvendando_segredos.pdf?attachauth=ANoY7crP3ncJtto8muZ65xC8C8PAbwCLmI38FlbPw5XlatdWX9TfNIZ-PUV9Wz_zaYkX51Cy8JhjOJAcNPsVNKs53rhqIOoluJbU2rWBiKemEbgeG-g4F5OBS9gPkWYk4vk9s4Hcvlqy3WzORmf9Ems3SH5Hnv7HUs9eH1abSlvyPeClS_XMrtOBo_q_AoNlwwvZQaPLu3LHW3Hhf4IXCzqyD1mnMznBGDaTvmilr9RvwCEglMbpK9U%3D&attredirects=0>.
[3] E. H. Alferes. “ Lei nº 12.037/09: novamente a velha identificação criminal”. [online]. Jus Navigandi, nº 2554. 2010. Disponível em: <http://jus.com.br/revista/texto/15124>. [Acessado em: 01 dezembro 2012].
[4] E. L. Grosso. "A tecnologia a disposição da Polícia Judiciária". [online]. 2012. Disponível em: <http://www.conteudojuridico.com.br/artigo,a-tecnologia-a-disposicao-da-policia-judiciaria,35927.html>. [Acessado em 01 de dezembro de 2012].
[5] InformationWeekBrasil. “FBI adiciona tatuagens às capacidades de identificação biométricas”. 2012. [online]. Disponível em: < http://informationweek.itweb.com.br/9372/fbi-adiciona-tatuagens-as-capacidades-de-identificacao-biometricas/>. [Acessado em 01 de dezembro de 2012].
[6] A. K. Jain, J.-E. Lee, R. Jin. “Tattoo-ID: Automatic Tattoo Image Retrieval for Suspect & Victim Identification”. Lecture Notes in Computer Science, vol. 4810, pp. 256-265, 2007.
[7] J.-E. Lee, A. Jain, R. Jin. "Scars, Marks and Tattoos (SMT):Soft Biometric for Suspect and Victim Identification". Em: Biometrics Symposium, pp. 1-8, 2008.
[8] A. K. Jain, J.-E. Lee, R. Jin, N. Gregg. “Content-based Image Retrieval: An Application to Tattoo Images”. Em: Proceedings of the 16th IEEE international conference on Image processing (ICIP 2009), pp 2745-2748, 2009.
[9] A. K. Jain, R. Jin, J.-E. Lee, 2012. “Tattoo Image Matching and Retrieval”. Computer, vol.45, no.5, pp.93-96, 2012.
[10] J.-E. Lee, R. Jin, A. K. Jain, W. Tong. “Image Retrieval in Forensics: Tattoo Image Database Application”. IEEE MultiMedia, vol. 19, nº 1, pp. 40-49, 2012.
[11] Michigan State University Board of Trustees, 2008. [online]. Disponível em: <http://www.cse.msu.edu/?Pg=50&Col=3&Inc=1&Nid=221>. [Acesso em 01 de dezembro de 2012].
[12] T. Kato. Database architecture for content-based image retrieval. Em: Proceedings of SPIE Image Storage and Retrieval Systems. A. A. Jambardino and W. R. Niblack, editors, vol. 1662, pp. 112–123, San Jose, CA, USA, February 1992.
[13] D. G. Lowe. "Object recognition from local scale-invariant features". Em: Proceedings of the International Conference on Computer Vision, vol. 2. pp. 1150–1157, 1999. doi:10.1109/ICCV.1999.790410.
[14] J. M. Morel and G. Yu, “ASIFT, A new framework for fully affine invariant image comparison”. SIAM Journal on Imaging Sciences, 2(2):438-469 (2009). DOI:10.1137/080732730.
[15] C. Harris, M. Stephens. "A combined corner and edge detector". Em: Proceedings of the 4th Alvey Vision Conference. pp. 147–151, 2011.
[16] Mikolajczyk, K.; Schmid, C. “Scale and Affine Invariant Interest Point Detectors”. International Journal of Computer Vision, Springer Netherlands. Vol. 60 (1). pp. 63-86. Oct (2004).
[17] Lindeberg, t. Scale-space theory: A basic tool for analyzing structures at different scales. J. of Applied Statistics, vol. 21(2): pp. 224–270. (1994).
[18] Guillermo Á. P. L. “Aforapro: Reconhecimento de Objetos Invariante sob Transformações Afins”. Dissertação apresentada à Escola Politécnica da Universidade de São Paulo para obtenção do Título de Mestre em Engenharia Elétrica. 2011.
[19] A. Kovnatsky. “Feature points in image, Keypoint extraction”. 2010. [Online]. Disponível em: <http://www.mathworks.com/matlabcentral/fileexchange/29004-feature-points-in-image-keypoint-extraction>. [Acesso em 01 de dezembro de 2012].
Fig. 5.Caso de sucesso - 31 pontos característicos comuns entre duas imagens da mesma tatuagem.
Fig. 6.Caso de falha - 4 Pontos característicos comuns entre duas imagens da mesma tatuagem, sendo que alguns dos pontos são falsos positivos.
