DESENVOLVIMENTO DE UMA PLATAFORMA COMPUTACIONAL PARA OBTENÇÃO DA FORMA 3D DE OBJECTOS USANDO TÉCNICAS DE VISÃO ACTIVA Teresa C. S. Azevedo, João Manuel

DESENVOLVIMENTO DE UMA PLATAFORMA COMPUTACIONAL PARA OBTENÇÃO DA

FORMA 3D DE OBJECTOS USANDO TÉCNICAS DE VISÃO ACTIVA



Teresa C. S. Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz

FEUP – Faculdade de Engenharia da Universidade do PortoLOME – Laboratório de Óptica e Mecânica Experimental

Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz 2

Índice

I. Introdução: Visão Computacional; Exemplos; Técnicas de Visão 3D; Objectivos do projecto; Metodologia considerada.

II. Plataforma Computacional em Desenvolvimento;

III. Alguns resultados experimentais obtidos;

IV. Conclusões;

V. Trabalho futuro.


Visão Computacional

Interesse da Visão: ~50% do cérebro humano está dedicado à Visão; O sistema de Visão reflecte a percepção do mundo exterior.

Introdução

Plataforma

Conclusões

Trabalho Futuro

Resultados

Porquê a Visão Computacional: Abundância de imagens digitais no dia-a-dia; Inúmeras aplicações possíveis; Obter informações úteis a partir de imagens de forma o mais semelhante possível à realizada pelo homem.


Aplicações: exemplos

Medicina: planeamento de cirurgiasIntrodução

Plataforma

Conclusões

Trabalho Futuro

Resultados

Determinação da pose de órgãos ou de estruturas anatómicas


Aplicações : exemplos

Medicina: reconstrução 3DIntrodução

Plataforma

Conclusões

Trabalho Futuro

Resultados



Arquitectura: reconstrução de estruturasIntrodução

Plataforma

Conclusões

Trabalho Futuro

Resultados

Modelação 3D de edifícios



Sistemas de navegaçãoIntrodução

Plataforma

Conclusões

Trabalho Futuro

Resultados

Controlo de robots


Técnicas

Introdução

Plataforma

Conclusões

Trabalho Futuro

Resultados

Em Visão Computacional, existem várias técnicas para recuperar a estrutura 3D de uma cena ou de um objecto:


Objectivos e Metodologia

Partindo de uma sequência de imagens não calibradas, pretende-se extrair o movimento e a calibração da(s) câmara(s) considerada(s), assim como obter a geometria 3D do objecto em causa.

Sequência de imagens

Extracção de pontos fortes

Emparelhamento de pontos fortes

Extracção da geometria epipolar

Auto-calibração / Estimativa da Pose

Emparelhamento denso

Reconstrução 3D

Introdução

Plataforma

Conclusões

Trabalho Futuro

Resultados

Objectivo do projecto:

Obtenção de modelos 3D de cenas ou de objectos reais.

Metodologia utilizada: estrutura a partir do movimento reconstrução de cenas/objectos a partir de movimento relativo; pretende-se não impor qualquer tipo de restrição ao movimento.


Plataforma Computacional

Introdução

Plataforma

Conclusões

Trabalho Futuro

Resultados

Integração de funções disponibilizadas em várias bibliotecas de domínio público:

OpenCV; Peter’s Matlab Functions for Computer Vision and Image Analysis (portada para C); Torr’s Matlab Toolkit (portada para C); KLT; Projective Rectification without Epipolar Geometry; Depth Discontinuities by Pixel-to-Pixel Stereo.

Desenvolvimento modular;

Interface gráfica adequada para o utilizador;

Linguagem: C++;

Sistema operativo: Microsoft Windows.


Funções incluídas

As funções incluídas abrangem várias técnicas de Visão Activa:Introdução

Plataforma

Conclusões

Trabalho Futuro

Resultados

O utilizador pode escolher o algoritmo que pretende usar, assim como definir comodamente os seus parâmetros.

extracção de pontos fortes (pontos característicos); emparelhamento de pontos fortes entre imagens; cálculo da geometria epipolar; rectificação; emparelhamento denso.


Introdução

Plataforma

Conclusões

Trabalho Futuro

Resultados

Extracção de pontos fortes

Funções disponíveis para a extracção de

pontos fortes

São pontos que reflectem discrepâncias relevantes entre os seus valores de intensidades e os dos seus vizinhos; A sua extracção permite posteriormente correlacioná-los sequencialmente noutras imagens (emparelhamento).

Utilizaram-se pares de imagens estéreo (540x612 píxeis), capturadas usando uma câmara digital convencional.


Exemplos obtidos pelas técnicas integradas:Introdução

Plataforma

Conclusões

Trabalho Futuro

Resultados

Pontos fortes - resultados

Peter

Torr

OpenCV

KLT



Introdução

Plataforma

Conclusões

Trabalho Futuro

Resultados

Coordenadas dos pontos fortes da

primeira imagem

Funções disponíveis para o

emparelhamento de pontos fortes

Identificação dos pontos nas várias imagens que resultem da projecção do mesmo ponto da cena (matching); Um reduzido número de pontos de correspondência, é suficiente para se poder determinar a relação geométrica entre as duas imagens (matriz fundamental).



Introdução

Plataforma

Conclusões

Trabalho Futuro

Resultados

Coordenadas dos pontos

emparelhados da segunda imagem

Matriz fundamental


Emparelhamento - resultados

Introdução

Plataforma

Conclusões

Trabalho Futuro

Resultados

Exemplos obtidos pelas técnicas integradas:


Geometria epipolar

Introdução

Plataforma

Conclusões

Trabalho Futuro

Resultados

Funções disponíveis para o

cálculo da geometria epipolar

Obtém-se informação da pose relativa entre vistas da mesma cena.

Exemplo obtido pelas técnicas integradas:


Rectificação

Introdução

Plataforma

Conclusões

Trabalho Futuro

Resultados

Função disponível para a

rectificação

Traduz-se em alterar as imagens de forma a colocar as linhas epipolares paralelas ao eixo horizontal da imagem; Facilita o problema do emparelhamento de pontos entre imagens.

Exemplo obtido pelas técnicas integradas:


Mapa de disparidade

Introdução

Plataforma

Conclusões

Trabalho Futuro

Resultados

Funções disponíveis para o emparelhamento

denso

Cálculo do mapa de disparidade, que codifica em níveis de cinzento a distância dos objectos em relação à(s) câmara(s), ou seja, pontos muitos distantes têm disparidade zero (preto) e pontos muito próximos terão a máxima disparidade (branco); Um mapa de disparidade dá a percepção das descontinuidades em termos de profundidade de uma cena;

Um dos algoritmos disponíveis também retorna um mapa de descontinuidades, definido pelos píxeis que fazem fronteira entre uma mudança de pelo menos dois níveis de disparidade.


Mapa de disparidade - resultados

Introdução

Plataforma

Conclusões

Trabalho Futuro

Resultados

Imagens originais

Mapa de disparidade Mapa de descontinuidades

Exemplos obtidos pelas técnicas integradas:


Conclusões

Introdução

Plataforma

Conclusões

Trabalho Futuro

Resultados

As funções analisadas obtêm bons resultados experimentais quando aplicadas em objectos que apresentam características fortes;

Os resultados experimentais obtidos com menor qualidade, geralmente estão relacionados com a determinação dos pontos característicos nas imagens a considerar (pontos fortes);

Esta debilidade, das técnicas analisadas e integradas na plataforma computacional, é tanto maior, quanto menor as variações da forma dos objectos em causa.


Trabalho futuro

Introdução

Plataforma

Conclusões

Trabalho Futuro

Resultados

Posteriormente, pretende-se utilizar a plataforma computacional apresentada na reconstrução e caracterização de formas 3D anatómicas exteriores.

consideração de técnicas de “escavação” do espaço tridimensional - space carving - para a reconstrução do objecto; os pontos característicos serão determinados utilizando um reduzido número de marcadores nos objectos, por forma a referenciar o objecto no espaço 3D; integração de uma técnica de calibração da(s) câmara(s), assim como de algoritmos de obtenção da pose e do movimento relativo.

As próximas etapas deste projecto irão concentrar-se no sentido de melhorar os resultados obtidos quando os objectos a reconstruir apresentam formas contínuas e suaves:


Trabalho futuro

Introdução

Plataforma

Conclusões

Trabalho Futuro

Resultados

Space carving:

determinar o volume inicial V, que englobe o objecto 3D;

para cada voxel de V:

• projectá-lo nas imagens capturadas;

• removê-lo se não for consistente. Exemplos de

Resultados:





Teresa C. S. Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz

FEUP – Faculdade de Engenharia da Universidade do PortoLOME – Laboratório de Óptica e Mecânica Experimental

Documents

DESENVOLVIMENTO DE UMA PLATAFORMA COMPUTACIONAL PARA OBTENÇÃO DA FORMA 3D DE OBJECTOS USANDO TÉCNICAS DE VISÃO ACTIVA Teresa C. S. Azevedo, João Manuel