29
1 CALIBRAÇÃO DE UM SISTEMA POLI-DIÓPTRICO COM INJUNÇÕES DE ESTABILIDADE DA ORIENTAÇÃO RELATIVA MARIANA BATISTA CAMPOS ANTONIO MARIA GARCIA TOMMASELLI JOSÉ MARCATO JUNIOR EIJA HONKAVAARA

CALIBRAÇÃO DE UM SISTEMA POLI-DIÓPTRICO COM … · system and (j) ricoh theta m15. introduÇÃo sistema campo metodologia resultados consideraÇÕes finais agradecimentos sistemas

  • Upload
    others

  • View
    0

  • Download
    0

Embed Size (px)

Citation preview

Page 1: CALIBRAÇÃO DE UM SISTEMA POLI-DIÓPTRICO COM … · system and (j) ricoh theta m15. introduÇÃo sistema campo metodologia resultados consideraÇÕes finais agradecimentos sistemas

1

CALIBRAÇÃO DE UM SISTEMA POLI-DIÓPTRICO COM INJUNÇÕES DEESTABILIDADE DA ORIENTAÇÃO RELATIVA

MARIANA BATISTA CAMPOSANTONIO MARIA GARCIA TOMMASELLI

JOSÉ MARCATO JUNIOREIJA HONKAVAARA

Page 2: CALIBRAÇÃO DE UM SISTEMA POLI-DIÓPTRICO COM … · system and (j) ricoh theta m15. introduÇÃo sistema campo metodologia resultados consideraÇÕes finais agradecimentos sistemas

2

(a) (b) (c)

(f)

(d) (e)

(g) (h) (i)

(j)

(a) Giroptic 360cam, (b) Go Pro 360°, (c) Lady bug2, (d)CentrCamera CEO, (e)

360°fly, (f) Kodak PixPro SP360, (g)V360°, (h) Lady bug5, (i) Google Jump

system and (j) Ricoh Theta M15.2

INTRODUÇÃO SISTEMA RESULTADOS CONSIDERAÇÕES FINAIS AGRADECIMENTOSCAMPO METODOLOGIA

SISTEMAS POLI-DIOPTRICOS:

MULTIPLAS CÂMARAS ARRANJANDAS NA

MESMA ESTRUTURA PARA COBRIR UM

CAMPO DE VISÃO 360° (MAAS, 2008).

MOTIVAÇÃO:

• AMPLO CAMPO DE VISADA

• BAIXO CUSTO

• DESIGN – PESO E TAMANHO

• PROCESSAMENTO INTUITIVO

APLICAÇÕES FOTOGRAMETRIA À

CURTA DISTÂNCIA

• ROBÓTICA: NAVEGAÇÃO

• MAPEAMENTO DE INTERIORES

• MAPEAMENTO URBANO

• MAPEAMENTO FLORESTA

OBJETIVO: DETERMINAR

EXPERIMENTALMENTE UMA METODOLOGIA

PARA A CALIBRAÇÃO DE UM SISTEMA POLI-

DIOPTRICO DE BAIXO CUSTO

Page 3: CALIBRAÇÃO DE UM SISTEMA POLI-DIÓPTRICO COM … · system and (j) ricoh theta m15. introduÇÃo sistema campo metodologia resultados consideraÇÕes finais agradecimentos sistemas

33

INTRODUÇÃO SISTEMA RESULTADOS CONSIDERAÇÕES FINAIS AGRADECIMENTOSCAMPO

CALIBRAÇÃO DE CÂMARAS

αPs.

x

y

z

GEO

MET

RIA

DA

S LE

NTE

S FI

SHEY

E

DESAFIOS:

METODOLOGIA

GEO

MET

RIA

PER

SPEC

TIV

A

αPs.

P

x

y

z

P

Page 4: CALIBRAÇÃO DE UM SISTEMA POLI-DIÓPTRICO COM … · system and (j) ricoh theta m15. introduÇÃo sistema campo metodologia resultados consideraÇÕes finais agradecimentos sistemas

44

INTRODUÇÃO SISTEMA RESULTADOS CONSIDERAÇÕES FINAIS AGRADECIMENTOSCAMPO

DESAFIOS:

METODOLOGIA

SISTEMA MULTI-CÂMERAS:

• MAIS DE UM CONJUNTO DE POI

• PARÂMETROS DE ORIENTAÇÃO RELATIVA

OFFSETS

OFFSETS:

• ANGULARES

• LINEARES

TRABALHOS RELACIONADOS

MATLAB TOOLBOX:

Scaramuzza et al., (2006);

Kannala et al., (2006) ;

Bouguet et al. (2002).

PROGRAMAS COMERCIAS:

PhotoScan (Agisoft, 2016)

PhotoModeler (EOS Systems, 2014).

CALIBRAÇÃO SIMULTÂNEA DOS POI E POR

Page 5: CALIBRAÇÃO DE UM SISTEMA POLI-DIÓPTRICO COM … · system and (j) ricoh theta m15. introduÇÃo sistema campo metodologia resultados consideraÇÕes finais agradecimentos sistemas

55

INTRODUÇÃO SISTEMA RESULTADOS CONSIDERAÇÕES FINAIS AGRADECIMENTOSCAMPO METODOLOGIA

Page 6: CALIBRAÇÃO DE UM SISTEMA POLI-DIÓPTRICO COM … · system and (j) ricoh theta m15. introduÇÃo sistema campo metodologia resultados consideraÇÕes finais agradecimentos sistemas

66

INTRODUÇÃO SISTEMA RESULTADOS CONSIDERAÇÕES FINAIS AGRADECIMENTOSCAMPO METODOLOGIA

AQUISIÇÃO DINAMICADUAL-VIDEO29 frames/s

AQUISIÇÃO ESTÁTICA IMAGEM PANORÂMICA

1 frames/8s

Page 7: CALIBRAÇÃO DE UM SISTEMA POLI-DIÓPTRICO COM … · system and (j) ricoh theta m15. introduÇÃo sistema campo metodologia resultados consideraÇÕes finais agradecimentos sistemas

AGRADECIMENTOS

77

INTRODUÇÃO SISTEMA RESULTADOS CONSIDERAÇÕES FINAISCAMPO METODOLOGIA

CAMPOS et al, 2018SENSORS - MDPI

Page 8: CALIBRAÇÃO DE UM SISTEMA POLI-DIÓPTRICO COM … · system and (j) ricoh theta m15. introduÇÃo sistema campo metodologia resultados consideraÇÕes finais agradecimentos sistemas

INTRODUÇÃO SISTEMA METODOLOGIA RESULTADOS CONSIDERAÇÕES FINAIS AGRADECIMENTOSCAMPO

160 alvos codificados - ARUCO (21cm x 21cm) - Detecção automática (MUÑOZ-SALINAS, 2012)

Page 9: CALIBRAÇÃO DE UM SISTEMA POLI-DIÓPTRICO COM … · system and (j) ricoh theta m15. introduÇÃo sistema campo metodologia resultados consideraÇÕes finais agradecimentos sistemas

INTRODUÇÃO SISTEMA RESULTADOS CONSIDERAÇÕES FINAIS AGRADECIMENTOSCAMPO METODOLOGIA

Page 10: CALIBRAÇÃO DE UM SISTEMA POLI-DIÓPTRICO COM … · system and (j) ricoh theta m15. introduÇÃo sistema campo metodologia resultados consideraÇÕes finais agradecimentos sistemas

INTRODUÇÃO SISTEMA RESULTADOS CONSIDERAÇÕES FINAIS AGRADECIMENTOSCAMPO METODOLOGIA

AQUISIÇÃO DOS DADOS MODELO MATEMÁTICO

PARÂMETROS DE ORIENTAÇÃO INTERIOR

PARÂMETROS DE ORIENTAÇÃO RELATIVA

RECONTRUÇÃO 3D

SENSOR 1: 20 IMAGENSSENSOR 2: 16 IMAGENS

13 IMAGENS SIMULTÂNEAS

GSD MÉDIO4 mm - 6 mm

OBSERVAÇÕES NA IMAGEM: ACURÁCIA SUBPIXELCOORDENADAS DE TERRENO: ACURÁCIA DE 5 mm

EOP INICIALX0, Y0, Z0 – 0.5 Metros

ω, ϕ, κ – 10°

DATA SET:

Page 11: CALIBRAÇÃO DE UM SISTEMA POLI-DIÓPTRICO COM … · system and (j) ricoh theta m15. introduÇÃo sistema campo metodologia resultados consideraÇÕes finais agradecimentos sistemas

INTRODUÇÃO SISTEMA RESULTADOS CONSIDERAÇÕES FINAIS AGRADECIMENTOSCAMPO METODOLOGIA

QUESTÕES:

Qual o modelo matemático mais adequado para reproduzir os feixes de raios formadores das imagens geradas pela Ricoh Theta S?

AQUISIÇÃO DOS DADOS MODELO MATEMÁTICO

PARÂMETROS DE ORIENTAÇÃO INTERIOR

PARÂMETROS DE ORIENTAÇÃO RELATIVA

RECONTRUÇÃO 3D

Page 12: CALIBRAÇÃO DE UM SISTEMA POLI-DIÓPTRICO COM … · system and (j) ricoh theta m15. introduÇÃo sistema campo metodologia resultados consideraÇÕes finais agradecimentos sistemas

121212

INTRODUÇÃO SISTEMA RESULTADOS CONSIDERAÇÕES FINAIS AGRADECIMENTOSCAMPO METODOLOGIA

MODELO MATEMÁTICO

Page 13: CALIBRAÇÃO DE UM SISTEMA POLI-DIÓPTRICO COM … · system and (j) ricoh theta m15. introduÇÃo sistema campo metodologia resultados consideraÇÕes finais agradecimentos sistemas

13

DESVIO PADRÃOrproj – rimg

EQUIDISTANTE = 0,05 mm

ESTEREOGRÁFICA = 0,07mm

EQUISÓLIDA=0,1 mm

ORTOGONAL= 0,22 mm

INTRODUÇÃO SISTEMA RESULTADOS CONSIDERAÇÕES FINAIS AGRADECIMENTOSCAMPO METODOLOGIA

MODELO MATEMÁTICO

Page 14: CALIBRAÇÃO DE UM SISTEMA POLI-DIÓPTRICO COM … · system and (j) ricoh theta m15. introduÇÃo sistema campo metodologia resultados consideraÇÕes finais agradecimentos sistemas

MODELO CONRADY-BROWN

PROJEÇÃO EQUIDISTANTE

14

INTRODUÇÃO SISTEMA RESULTADOS CONSIDERAÇÕES FINAIS AGRADECIMENTOSCAMPO METODOLOGIA

MODELO MATEMÁTICO

CMC (Calibração Multi-Camaras)

( MARCATO et al, 2015)

Page 15: CALIBRAÇÃO DE UM SISTEMA POLI-DIÓPTRICO COM … · system and (j) ricoh theta m15. introduÇÃo sistema campo metodologia resultados consideraÇÕes finais agradecimentos sistemas

INTRODUÇÃO SISTEMA RESULTADOS CONSIDERAÇÕES FINAIS AGRADECIMENTOSCAMPO METODOLOGIA

QUESTÕES:

Qual o modelo matemático mais adequado para reproduzir as imagens geradas pela Ricoh Theta S?

Qual o conjunto de parâmetros de orientação interior que pode ser considerado significante?

AQUISIÇÃO DOS DADOS MODELO MATEMÁTICO

PARÂMETROS DE ORIENTAÇÃO INTERIOR

PARÂMETROS DE ORIENTAÇÃO RELATIVA

RECONTRUÇÃO 3D

Page 16: CALIBRAÇÃO DE UM SISTEMA POLI-DIÓPTRICO COM … · system and (j) ricoh theta m15. introduÇÃo sistema campo metodologia resultados consideraÇÕes finais agradecimentos sistemas

INTRODUÇÃO SISTEMA RESULTADOS CONSIDERAÇÕES FINAIS AGRADECIMENTOSCAMPO METODOLOGIA

PARÂMETROS DE ORIENTAÇÃO INTERIOR

SE:

MAGNITUDE DO PARÂMETRO > QUE O DESVIO PADRÃO

EFEITO DO PARÂMETRO > QUE O ERRO DE MEDIDA

Page 17: CALIBRAÇÃO DE UM SISTEMA POLI-DIÓPTRICO COM … · system and (j) ricoh theta m15. introduÇÃo sistema campo metodologia resultados consideraÇÕes finais agradecimentos sistemas

INTRODUÇÃO SISTEMA RESULTADOS CONSIDERAÇÕES FINAIS AGRADECIMENTOSCAMPO METODOLOGIA

QUESTÕES:

Qual o modelo matemático mais adequado para reproduzir as imagens geradas pela Ricoh Theta S?

Qual o conjunto de parâmetros de orientação interior que pode ser considerado significante?

A diferença entre os POI de cada sensor é relevante?

AQUISIÇÃO DOS DADOS MODELO MATEMÁTICO

PARÂMETROS DE ORIENTAÇÃO INTERIOR

PARÂMETROS DE ORIENTAÇÃO RELATIVA

RECONTRUÇÃO 3D

Page 18: CALIBRAÇÃO DE UM SISTEMA POLI-DIÓPTRICO COM … · system and (j) ricoh theta m15. introduÇÃo sistema campo metodologia resultados consideraÇÕes finais agradecimentos sistemas

RMSE

0.0144 mm/ 2.88 pixels

6x o erro de medida

ZROT (HABIB et al., 2006)

18

INTRODUÇÃO SISTEMA RESULTADOS CONSIDERAÇÕES FINAIS AGRADECIMENTOSCAMPO METODOLOGIA

PARÂMETROS DE ORIENTAÇÃO RELATIVA

A diferença entre os POI de cada sensor é relevante?

Page 19: CALIBRAÇÃO DE UM SISTEMA POLI-DIÓPTRICO COM … · system and (j) ricoh theta m15. introduÇÃo sistema campo metodologia resultados consideraÇÕes finais agradecimentos sistemas

INTRODUÇÃO SISTEMA RESULTADOS CONSIDERAÇÕES FINAIS AGRADECIMENTOSCAMPO METODOLOGIA

QUESTÕES:

Qual o modelo matemático mais adequado para reproduzir as imagens geradas pela Ricoh Theta S?

Qual o conjunto de parâmetros de orientação interior que pode ser considerado significante?

A diferença entre os POI de cada sensor é relevante?

Quais injunções podem melhorar a estimativa dos POR?

AQUISIÇÃO DOS DADOS MODELO MATEMÁTICO

PARÂMETROS DE ORIENTAÇÃO INTERIOR

PARÂMETROS DE ORIENTAÇÃO RELATIVA

RECONTRUÇÃO 3D

Page 20: CALIBRAÇÃO DE UM SISTEMA POLI-DIÓPTRICO COM … · system and (j) ricoh theta m15. introduÇÃo sistema campo metodologia resultados consideraÇÕes finais agradecimentos sistemas

20

MATRIZ DE ORIENTAÇÃO RELATIVA:

DISTÂNCIA ENTRE OS CENTROS PERSPECTIVOS:

ELEMENTOS DE BASE:

INTRODUÇÃO SISTEMA RESULTADOS CONSIDERAÇÕES FINAIS AGRADECIMENTOSCAMPO METODOLOGIA

PARÂMETROS DE ORIENTAÇÃO RELATIVA

Page 21: CALIBRAÇÃO DE UM SISTEMA POLI-DIÓPTRICO COM … · system and (j) ricoh theta m15. introduÇÃo sistema campo metodologia resultados consideraÇÕes finais agradecimentos sistemas

Experimento A – Calibração de câmara individual sem injunções

Experimento B - Calibração de câmara simultânea sem injunções

Experimento C - Calibração de câmara simultânea com injunções de estabilidade na matriz de orientação

relativa e de distância.

Experimento D - Calibração de câmara simultânea com injunções de estabilidade na matriz de orientação

relativa e nos elementos de base.

21

INTRODUÇÃO SISTEMA RESULTADOS CONSIDERAÇÕES FINAIS AGRADECIMENTOSCAMPO METODOLOGIA

PARÂMETROS DE ORIENTAÇÃO RELATIVA Quais injunções podem

melhorar a estimativa dos POR?

Page 22: CALIBRAÇÃO DE UM SISTEMA POLI-DIÓPTRICO COM … · system and (j) ricoh theta m15. introduÇÃo sistema campo metodologia resultados consideraÇÕes finais agradecimentos sistemas

INTRODUÇÃO SISTEMA RESULTADOS CONSIDERAÇÕES FINAIS AGRADECIMENTOSCAMPO METODOLOGIA

QUESTÕES:

Qual o modelo matemático mais adequado para reproduzir as imagens geradas pela Ricoh Theta S?

Qual o conjunto de parâmetros de orientação interior que pode ser considerado significante?

A diferença entre os POI de cada sensor é relevante?

Quais injunções podem melhorar a estimativa dos POR?

Qual o impacto na reconstrução 3D dos objetos?

AQUISIÇÃO DOS DADOS MODELO MATEMÁTICO

PARÂMETROS DE ORIENTAÇÃO INTERIOR

PARÂMETROS DE ORIENTAÇÃO RELATIVA

RECONTRUÇÃO 3D

Page 23: CALIBRAÇÃO DE UM SISTEMA POLI-DIÓPTRICO COM … · system and (j) ricoh theta m15. introduÇÃo sistema campo metodologia resultados consideraÇÕes finais agradecimentos sistemas

23

MODELO PERSPECTIVO

MODELO EQUIDISTÂNTE

INTRODUÇÃO SISTEMA RESULTADOS CONSIDERAÇÕES FINAIS AGRADECIMENTOSCAMPO METODOLOGIA

GANHO DO MODELO UTILIZADO COM RELAÇÃO AS ABORDAGENS CLÁSSICAS DE CALIBRAÇÃO:

Page 24: CALIBRAÇÃO DE UM SISTEMA POLI-DIÓPTRICO COM … · system and (j) ricoh theta m15. introduÇÃo sistema campo metodologia resultados consideraÇÕes finais agradecimentos sistemas

24

INTRODUÇÃO SISTEMA RESULTADOS CONSIDERAÇÕES FINAIS AGRADECIMENTOSCAMPO METODOLOGIA

GANHO DA UTILIZAÇÃO DE INJUNÇÕES DE ESTABILIDADE NA ESTIMATIVA DOS POR:

Exp. Δω (σ) Δϕ (σ) Δk (σ) DPC (σ) mm Bx (σ) mm By (σ) mm Bz (σ)mm

D0.0149°(0.025ˮ)

0.0526°(0.024ˮ)

179.66°(0.025ˮ)

19.08(0.37)

-0.79 (0.22 )

0.41 (0.45)

19.04 (0.36 )

Page 25: CALIBRAÇÃO DE UM SISTEMA POLI-DIÓPTRICO COM … · system and (j) ricoh theta m15. introduÇÃo sistema campo metodologia resultados consideraÇÕes finais agradecimentos sistemas

25

INTRODUÇÃO SISTEMA RESULTADOS CONSIDERAÇÕES FINAIS AGRADECIMENTOSCAMPO METODOLOGIA

ESTATÍSTICAS :

CONTROLE DE QUALIDADE POR DISTÂNCIAS:

EXPERIMENTOS A-D

Page 26: CALIBRAÇÃO DE UM SISTEMA POLI-DIÓPTRICO COM … · system and (j) ricoh theta m15. introduÇÃo sistema campo metodologia resultados consideraÇÕes finais agradecimentos sistemas

26

EXEMPLO: RECONTRUÇÃO 3D

MODELO EQUIDISTANTE

SEMI-ESFERA

CMC

INTRODUÇÃO SISTEMA RESULTADOS CONSIDERAÇÕES FINAIS AGRADECIMENTOSCAMPO METODOLOGIA

Page 27: CALIBRAÇÃO DE UM SISTEMA POLI-DIÓPTRICO COM … · system and (j) ricoh theta m15. introduÇÃo sistema campo metodologia resultados consideraÇÕes finais agradecimentos sistemas

27

INTRODUÇÃO SISTEMA RESULTADOS CONSIDERAÇÕES FINAIS AGRADECIMENTOSCAMPO METODOLOGIA

MODELO MATEMÁTICO → PROJEÇÃO EQUIDISTANTE + O MODELO DE DISTORÇÃO CONRADY BROWN

COM RELAÇÃO AS INJUNÇÕES DE ESTABILIDADE → NÃO HÁ NECESSIDADE DE MEDIDAS DIRETAS DOS ROP EDE INJUNÇÃO ABSOLUTA.

OS RESULTADOS APRESENTADOS MOSTRARAM QUE ESTES SISTEMAS DE BAIXO CUSTO ASSOCIADOS A UMMODELO MATEMÁTICO ADEQUADO E BOAS PRÁTICAS, PODEM FORNECER RESULTADOS ACEITÁVEIS PARAAPLICAÇÕES FOTOGRAMÉTRICAS, COMO O MAPEAMENTO MÓVEL E ORIENTAÇÃO ROBÓTICA.

ESSA METODOLOGIA PODE SER APLICADA PARA OUTROS SISTEMA OMNIDERECTIONAIS, COMO A SAMSUNGGEAR E A NIKON 360°.

MAIS DETALHES: Campos, M. B., Tommaselli, A. M. G., Marcato Junior, J., & Honkavaara, E. (2018). Geometricmodel and assessment of a dual‐fisheye imaging system. The Photogrammetric Record. (on line athttps://onlinelibrary.wiley.com/doi/abs/10.1111/phor.12240)

Page 28: CALIBRAÇÃO DE UM SISTEMA POLI-DIÓPTRICO COM … · system and (j) ricoh theta m15. introduÇÃo sistema campo metodologia resultados consideraÇÕes finais agradecimentos sistemas

28

INTRODUÇÃO SISTEMA RESULTADOS CONSIDERAÇÕES FINAIS AGRADECIMENTOSCAMPO METODOLOGIA

[email protected]

Page 29: CALIBRAÇÃO DE UM SISTEMA POLI-DIÓPTRICO COM … · system and (j) ricoh theta m15. introduÇÃo sistema campo metodologia resultados consideraÇÕes finais agradecimentos sistemas

29

INTRODUÇÃO SISTEMA RESULTADOS CONSIDERAÇÕES FINAIS AGRADECIMENTOSCAMPO METODOLOGIA

PARÂMETROS ESTIMADOS :

PARÂMETROS DE ORIENTAÇÃO INTERIOR :

PARÂMETROS DE ORIENTAÇÃO RELATIVA :