View
213
Download
0
Category
Preview:
Citation preview
Um MUm Méétodo Projetivo para todo Projetivo para CCáálculo de Dimensões de Caixas lculo de Dimensões de Caixas
em Tempo Realem Tempo Real
Leandro A. F. FernandesLeandro A. F. Fernandeslaffernandes@inf.ufrgs.br
Manuel M. OliveiraManuel M. Oliveiraoliveira@inf.ufrgs.br
(orientador)
Grupo de Computação Gráfica e Processamento de Imagens
2
MediMediçções a Partir de Imagensões a Partir de Imagens
1
2
3
4
5
6
7
8
9
10
11
12
13
0
1
2
3
4
5
6
7
8
9
10
11
12
13
0
1
2
3
4
5
6
7
8
9
10
11
12
13
0
1
2
3
0
1 2 30
1
2
3
0
1
2
3
0
1 2 30 1 2 30
3
Caixas Estão em Toda ParteCaixas Estão em Toda Parte
Companhias ACompanhias Aééreasreas
CorreiosCorreios
ArmazArmazéénsns
4
Desafios da PesquisaDesafios da Pesquisa
•• MMéétodo para calcular de dimensões de caixastodo para calcular de dimensões de caixas
•• RequisitosRequisitos
–– AutomAutomááticotico
–– Tempo realTempo real
–– MediMediçções a partir de ões a partir de uma uma úúnica imagemnica imagem
–– RobustoRobusto àà presenpresençça dea de textura nas caixastextura nas caixas e e oclusões parciaisoclusões parciais
–– MaisMais acuradoacurado e e precisopreciso posspossíívelvel
6
ContribuiContribuiççõesões
•• Algoritmo para o Algoritmo para o ccáálculo das dimensõeslculo das dimensões de caixasde caixas
–– A partir de imagens, automA partir de imagens, automáático e em tempo realtico e em tempo real
•• Algoritmo para Algoritmo para extraextraçção de silhuetasão de silhuetas de caixasde caixas
–– Que trata a oclusão parcial das caixasQue trata a oclusão parcial das caixas
•• Modelo estatModelo estatíístico para stico para detecdetecçção do fundo da cenaão do fundo da cena
–– Independente das condiIndependente das condiçções de iluminaões de iluminaççãoão
•• Esquema de votaEsquema de votaççãoão para a transformada de Houghpara a transformada de Hough
–– Mais rMais ráápido que o mpido que o méétodo convencionaltodo convencional
7
Estrutura da ApresentaEstrutura da Apresentaççãoão
•• Abordagem DesenvolvidaAbordagem Desenvolvida
–– TTéécnica Propostacnica Proposta
–– RemoRemoçção do Fundoão do Fundo
–– Transformada de HoughTransformada de Hough
•• ResultadosResultados
•• ConclusõesConclusões
•• Trabalhos FuturosTrabalhos Futuros
22aa parteparte
11aa parteparte
8
•• Como calcular as dimensões de caixasComo calcular as dimensões de caixas
•• Como eliminar a Como eliminar a ambigambigüüidade projetivaidade projetiva??
•• Como identificar a Como identificar a silhuetasilhueta e os e os vvéértices da caixartices da caixa??
Abordagem DesenvolvidaAbordagem Desenvolvida
Plano de ImagemPlano de Imagem
d
E
F
G
H
W
X
Y
Z
CaixaCaixa
CâmeraCâmeraPinholePinhole
d’ e’f’
g’
h’
x
y
z
9
Inserindo uma Distância ConhecidaInserindo uma Distância Conhecida
Z
Normal da Face
Câmera
Feixes de Laser
X
α
α
dld
dlb
Caixa
L
NL
Vista SuperiorVista Superior
MarcaçõesLaser
P1P0
3D
10
•• MarcaMarcaçções laser na imagemões laser na imagem
Encontrando as MarcaEncontrando as Marcaçções Laserões Laser
P1P0P1P0
11
Identificando a Silhueta da CaixaIdentificando a Silhueta da Caixa
•• Objetos sobrepostos e texturas arbitrObjetos sobrepostos e texturas arbitrááriasrias
Cor Conhecida
12
Marcações
Sen
tido
do C
onto
rno
Identificando a Silhueta da CaixaIdentificando a Silhueta da Caixa
•• Contorno dos objetos em cenaContorno dos objetos em cena [Gauch, 2003][Gauch, 2003]
13
Identificando a Silhueta da CaixaIdentificando a Silhueta da Caixa
•• Subdivisão do contorno Subdivisão do contorno [Lowe, 1987][Lowe, 1987]
Segmentos de reta mais perceptSegmentos de reta mais perceptííveisveis
a
l
k
j
o
n
m
p
e
q
d
g
bc
f
r
i
h
14
•• Removendo os segmentos nos limites da imagemRemovendo os segmentos nos limites da imagem
Identificando a Silhueta da CaixaIdentificando a Silhueta da Caixa
a
l
k
j
o
n
m
p
e
q
d
g
bc
f
r
15
Identificando a Silhueta da CaixaIdentificando a Silhueta da Caixa
o
p
e
q
d
c
•• Removendo os segmentos não visRemovendo os segmentos não visííveis pelas marcaveis pelas marcaçções laserões laser
16
Identificando a Silhueta da CaixaIdentificando a Silhueta da Caixa
•• Agrupando segmentos candidatos para a silhuetaAgrupando segmentos candidatos para a silhueta
BA
17
Encontrando os VEncontrando os Véértices na Silhuetartices na Silhueta
•• Linhas suporte para arestas na silhuetaLinhas suporte para arestas na silhueta
e0
e1
e2
e3
e4
e5
18
Encontrando os VEncontrando os Véértices na Silhuetartices na Silhueta
•• VVéértices na silhuetartices na silhueta
v1
v2
v3
v4
v5
v0
e0
e1
e2
e3
e4
e5
19
Estimando o VEstimando o Véértice Internortice Interno
•• VVéértice internortice internoPonto de Fuga
e0
e1
e2
e3
e4
e5
v1
v2
v3
v4
v5
m0
v0
Vértice Próximoao Ponto de Fuga
20
Linha de Fuga
Linhas e Pontos de FugaLinhas e Pontos de Fuga
ω2
ω1
λ1
Ponto de Fuga
Ponto de Fuga
21
Estimando o VEstimando o Véértice Internortice Interno
•• VVéértice internortice interno
e0
e1
e2
e3
e4
e5
v1
v2
v3
v4
v5
m0
v0
22
Estrutura da ApresentaEstrutura da Apresentaççãoão
•• Abordagem DesenvolvidaAbordagem Desenvolvida
– Técnica Proposta
–– RemoRemoçção do Fundoão do Fundo
– Transformada de Hough
• Resultados
• Conclusões
• Trabalhos Futuros
23
RemoRemoçção do Fundoão do FundoColorColor MattingMatting
[Smith & [Smith & BlinnBlinn 1996]1996]
ACM SIGGRAPHACM SIGGRAPH
Modelo por PixelModelo por Pixel[[HorprasertHorprasert et al. 1999]et al. 1999]
IEEE ICCVIEEE ICCV
Modelo de Modelo de SegmentaSegmentaçção ão
PropostoProposto
24
Estrutura da ApresentaEstrutura da Apresentaççãoão
•• Abordagem DesenvolvidaAbordagem Desenvolvida
– Técnica Proposta
– Remoção do Fundo
–– Transformada de HoughTransformada de Hough
• Resultados
• Conclusões
• Trabalhos Futuros
25
ρθθ =+ )sin()cos( yx
•• Explora Explora dualidade entre pontos e linhasdualidade entre pontos e linhas
•• EquaEquaçção normalão normal da retada reta
e0
e1
e2
e3
e4
e5
Transformada de HoughTransformada de Hough[Duda & Hart, 1972][Duda & Hart, 1972]Comm. of the ACMComm. of the ACM740 740 citacitaçções ões ((GoogleGoogle Scholar)Scholar)
Linhas suporte para arestas na silhuetaLinhas suporte para arestas na silhueta
26
ρθθ =+ )sin()cos( yx
•• Explora Explora dualidade entre pontos e linhasdualidade entre pontos e linhas
•• EquaEquaçção normalão normal da retada reta
Transformada de HoughTransformada de Hough
EspaEspaçço da Imagemo da Imagem EspaEspaçço de Parâmetroso de Parâmetros
x
y
ρ
θ
r
r’p
qs
s’
p’ q’
[Duda & Hart, 1972][Duda & Hart, 1972]Comm. of the ACMComm. of the ACM740 740 citacitaçções ões ((GoogleGoogle Scholar)Scholar)
27
Mapa de VotosMapa de Votos
EspaEspaçço da Imagemo da Imagem EspaEspaçço de Parâmetroso de Parâmetros
Transformada de Hough ConvencionalTransformada de Hough Convencional[Duda & Hart, 1972][Duda & Hart, 1972]
28
Transformada de Hough ConvencionalTransformada de Hough Convencional[Duda & Hart, 1972][Duda & Hart, 1972]
MMéétodo de Votatodo de Votaçção Eficienteão Eficiente
EspaEspaçço da Imagemo da Imagem EspaEspaçço de Parâmetroso de Parâmetros
MMéétodo Propostotodo Proposto
E
G
D
H
F
B
A
C
+E
G
D
HF
B
A
+C
VotaVotaçção por Pixelão por Pixel VotaVotaçção por Grupo de Pixelsão por Grupo de Pixels
10x mais r10x mais ráápido!pido!
29
Outras ImagensOutras Imagens
1280
×96
0
960×
960
512×
512
1280
×96
0
960×
960
512×
512
1600
×12
00
960×
960
512×
512
1280
×96
0
960×
960
512×
512
768×
1024
768×
768
512×
512
1024
×76
8
768×
768
512×
512
869×
1167
800×
800
512×
512
0
50
100
150
200
250
300
350
BeachBuildingChurchBoardWallChess Road
VotePeaks
LinkSubdivideKernelVotePeaks
GHT
KHT
Tim
e (m
s)
33
30
Estrutura da ApresentaEstrutura da Apresentaççãoão
• Abordagem Desenvolvida
– Técnica Proposta
– Remoção do Fundo
– Transformada de Hough
•• ResultadosResultados
•• ConclusõesConclusões
•• Trabalhos FuturosTrabalhos Futuros
31
ResultadosResultados
•• Foi construFoi construíído o do o protprotóótipo de um scannertipo de um scanner
–– Uma câmera firewire coloridaUma câmera firewire colorida
–– Dois apontadores laser paralelosDois apontadores laser paralelos
–– Um mUm móódulo de softwaredulo de software
•• ~39 ~39 fpsfps em um computador de 2.8 GHz, em um computador de 2.8 GHz,
imagens com resoluimagens com resoluçção de 640x480ão de 640x480
32
ValidaValidaçção do Protão do Protóótipotipo
Caixa Sintética
Caixa de Madeira
Caixas Convencionais
AnAnáálise Estatlise Estatíísticastica
•• Comprimento MComprimento Méédiodio
•• Intervalo de ConfianIntervalo de Confianççaa
•• Erro RelativoErro Relativo
33
γ = 99,5%tγ = 3,038n = 30
0,40 ≤ σ ≤ 4,31
AnAnáálise Estatlise Estatíísticastica
•• Intervalo de confianIntervalo de confiançça para caixas reaisa para caixas reais
a a a
b
b
b
c
c
c
a
b
c
d
d
d
e
ee
d
e
34
AnAnáálise Estatlise Estatíísticastica
•• Erro relativo para caixas reaisErro relativo para caixas reaisx → Valor estimadoxv→ Valor verdadeiro
MMéédia dos Erros Relativosdia dos Erros Relativos3,81%3,81%
Caixas DeformadasCaixas Deformadas
35
PropagaPropagaçção da Incertezaão da Incerteza
•• Incerteza nas variIncerteza nas variááveis de entrada propagam para resultadosveis de entrada propagam para resultados
MediMediççõesões++
IncertezaIncerteza
DadosDados
IncertezaIncerteza
DadosDados
IncertezaIncerteza
+
+ Transformações
Transformações
36
PropagaPropagaçção da Incertezaão da Incerteza
•• Incerteza com base em Incerteza com base em uma uma úúnica imagemnica imagem
•• Evita amostragemEvita amostragem
•• Intervalos de confianIntervalos de confiançça equivalentes aos amostraisa equivalentes aos amostrais
37
•• Aumento dos erros em funAumento dos erros em funçção da distânciaão da distância
CondiCondiçções Desfavorões Desfavorááveisveis
±± 1,321,32 ±± 1,611,61±± 1,291,29 ±± 1,331,33±± 1,321,32 ±± 1,581,58±± 1,361,36 ±± 1,661,66±± 1,261,26 ±± 1,341,34±± 1,211,21 ±± 1,381,38
Distância: ~ 1,8 metrosDistância: ~ 1,8 metros Distância: ~ 3,5 metrosDistância: ~ 3,5 metros
38
•• Aumento dos erros em funAumento dos erros em funçção da inclinaão da inclinaçção das arestasão das arestas
CondiCondiçções Desfavorões Desfavorááveisveis
Vista Superior Vista Superior
X
Z
X
Z
Caixa
Caixa
39
ConclusõesConclusões
•• OtimizaOtimizaççãoão dos procedimentos de medidos procedimentos de mediççãoão
•• VantagensVantagens
–– Scanner de Scanner de ffáácil utilizacil utilizaççãoão
–– MMéétodo todo automautomááticotico e em e em tempo realtempo real
–– MMéétodo todo acuradoacurado ee precisopreciso
–– Cenas complexasCenas complexas são tratadassão tratadas
•• RestriRestriççãoão
–– Fundo de cor conhecidaFundo de cor conhecida
40
PublicaPublicaççõesões
•• SIBGRAPISIBGRAPI’’20052005
•• JBCS 12:2, SBC, 2006JBCS 12:2, SBC, 2006
•• ACM SIGGRAPHACM SIGGRAPH’’2006 (Sketch)2006 (Sketch)
•• CTDCTD’’20072007
•• PR 41:1, PR 41:1, ElsevierElsevier, 2008, 2008
•• WTD SIBGRAPIWTD SIBGRAPI’’20072007
•• CSDA, CSDA, ElsevierElsevier
41
Trabalhos FuturosTrabalhos Futuros
•• Transformada de Hough otimizada para Transformada de Hough otimizada para detecdetecçção de curvasão de curvas
•• Tratamento de cenas com Tratamento de cenas com fundo arbitrfundo arbitrááriorio
Recommended