Progetto di un sistema di georeferenziazione evisualizzazione di flussi video

Alessandro NassisiRelatore: Giovanni Malnati

Politecnico di Torino

20 Aprile, 2009

Alessandro Nassisi (Politecnico di Torino) 20 Aprile, 2009 1 / 26

institution-logo

Sommario

1 IntroduzioneIl problemaScopoSoluzione adottata

2 Il modello di geolocalizzazionePosizione del veicoloIl vettore di vistaIntersezione ellissoidaleIntersezione realeTest & Fonti di errore

3 Implementazione softwareStruttura

4 Sviluppi futuri

Alessandro Nassisi (Politecnico di Torino) 20 Aprile, 2009 2 / 26

institution-logo

Introduzione

La disponibilita di aerei senza pilota abasso costo rende possibili numeroseapplicazioni civili e militari basatesull’elaborazione di flussi video.

Missioni di salvataggio in territori impervi

Controllo del traffico

Sorveglianza

Prevenzione e gestione degli incendi

Alessandro Nassisi (Politecnico di Torino) 20 Aprile, 2009 3 / 26

institution-logo

Introduzione

La disponibilita di aerei senza pilota abasso costo rende possibili numeroseapplicazioni civili e militari basatesull’elaborazione di flussi video.

Missioni di salvataggio in territori impervi

Controllo del traffico

Sorveglianza

Prevenzione e gestione degli incendi

Alessandro Nassisi (Politecnico di Torino) 20 Aprile, 2009 3 / 26

institution-logo

Il problemaDove si trova su una mappa quello che stiamo guardando?

Scenario comune

Operatore in una stazione a terra

Velivolo guidato a distanza

Videocamera

Alessandro Nassisi (Politecnico di Torino) 20 Aprile, 2009 4 / 26

institution-logo

Scopo della tesi

Obiettivi

Progetto, implementazione e testing di una libreria digeolocalizzazione

Applicazione graficaI Visualizzazione videoI Pilotare la direzione della telecamera (brandeggio e alzata)I Localizzare e disegnare su una mappa quello che viene inquadrato dalla

telecamera

Alessandro Nassisi (Politecnico di Torino) 20 Aprile, 2009 5 / 26

institution-logo

Soluzione adottata

Geolocalizzazione via GPS/INS

Questa tecnica permette di geolocalizzare un obiettivo utilizzando soloinformazioni di telemetria riguardanti

Posizione del velivolo

Assetto del velivolo

Assetto della telecamera

Morfologia del terreno su cui si opera

Requisiti HW

Piattaforma inerzialeI 3 giroscopiI 3 accelerometriI 3 magnetometri

Ricevitore GPS

Requisiti SW

Mappa digitale del terreno

Alessandro Nassisi (Politecnico di Torino) 20 Aprile, 2009 6 / 26

institution-logo

Soluzione adottata

Geolocalizzazione via GPS/INS

Questa tecnica permette di geolocalizzare un obiettivo utilizzando soloinformazioni di telemetria riguardanti

Posizione del velivolo

Assetto del velivolo

Assetto della telecamera

Morfologia del terreno su cui si opera

Requisiti HW

Piattaforma inerzialeI 3 giroscopiI 3 accelerometriI 3 magnetometri

Ricevitore GPS

Requisiti SW

Mappa digitale del terreno

Alessandro Nassisi (Politecnico di Torino) 20 Aprile, 2009 6 / 26

institution-logo

Soluzione adottata

Geolocalizzazione via GPS/INS

Questa tecnica permette di geolocalizzare un obiettivo utilizzando soloinformazioni di telemetria riguardanti

Posizione del velivolo

Assetto del velivolo

Assetto della telecamera

Morfologia del terreno su cui si opera

Requisiti HW

Piattaforma inerzialeI 3 giroscopiI 3 accelerometriI 3 magnetometri

Ricevitore GPS

Requisiti SW

Mappa digitale del terreno

Alessandro Nassisi (Politecnico di Torino) 20 Aprile, 2009 6 / 26

institution-logo

Il modello di geolocalizzazione

L’intero modello puo essere suddiviso in 4 blocchi fondamentali

Alessandro Nassisi (Politecnico di Torino) 20 Aprile, 2009 7 / 26

institution-logo

Il modello di geolocalizzazione

L’intero modello puo essere suddiviso in 4 blocchi fondamentali

Alessandro Nassisi (Politecnico di Torino) 20 Aprile, 2009 8 / 26

institution-logo

Il modello di geolocalizzazione

L’intero modello puo essere suddiviso in 4 blocchi fondamentali

Alessandro Nassisi (Politecnico di Torino) 20 Aprile, 2009 9 / 26

institution-logo

Il modello di geolocalizzazione

L’intero modello puo essere suddiviso in 4 blocchi fondamentali

Alessandro Nassisi (Politecnico di Torino) 20 Aprile, 2009 10 / 26

institution-logo

Posizione del velivolo

E fornita dal ricevitore GPS in termini di latitudine, longitudine ealtitudine. Scopo di questo blocco e quello di riportare la posizione su unsistema di coordinate ECEF (earth centered, earth fixed) fissato sulla Terra

Origine: centro di massadella Terra

Asse Z: positivo verso il polonord

Asse X: in direzione delmeridiano di Greenwich

Asse Y: completa la ternadestrorsa

Alessandro Nassisi (Politecnico di Torino) 20 Aprile, 2009 11 / 26

institution-logo

Il vettore di vista

Direzione verso cui e rivolto l’obiettivo della telecamera

q =[C T g

C T bg T v

b T Iv

]pIobj

Alessandro Nassisi (Politecnico di Torino) 20 Aprile, 2009 12 / 26

institution-logo

Intersezione ellissoidale

Scopo:

Calcolare l’intersezione tra il vettore di vista precedentemente individuato el’equazione dell’ellissoide terrestre

x2

a2 + y2

a2 + z2

b2 = 1

x = x0 + kVx

y = y0 + kVy

z = z0 + kVz

a: semiasse terrestremaggiore

b: semiasse terrestre minore

x0, y0, z0 : posizione delveicolo nello spazio

Vx , Vy , Vz : componenti delvettore di vista dellatelecamera

Alessandro Nassisi (Politecnico di Torino) 20 Aprile, 2009 13 / 26

institution-logo

Intersezione col terreno

Scopo:

calcolare un’intersezione chetenga conto della morfologiadel suolo e quindi risulti lazona realmente inquadrata dallatelecamera

Il processo parte dal punto calcolato precedentemente e prosegue per itera-zioni successive interrogando un modello digitale del territorio

Alessandro Nassisi (Politecnico di Torino) 20 Aprile, 2009 14 / 26

institution-logo

Test

Primo approccio

Virtualizzazione e riconoscimentovisivo della zona inquadrata

Secondo approccio

Calcolo delle coordinate di untarget inquadrato di cui siconosca a priori la posizionegeografica

Strumenti

Matlab

Google Maps

Alessandro Nassisi (Politecnico di Torino) 20 Aprile, 2009 15 / 26

institution-logo

Test

Vista di un digital elevationmodel utilizzando Matlab.

Alessandro Nassisi (Politecnico di Torino) 20 Aprile, 2009 16 / 26

institution-logo

Test

Alessandro Nassisi (Politecnico di Torino) 20 Aprile, 2009 17 / 26

institution-logo

Test

Alessandro Nassisi (Politecnico di Torino) 20 Aprile, 2009 18 / 26

institution-logo

Test

Risultato senza tenere contodella morfologia del territorio

Risultato con lamorfologia del territorio

Alessandro Nassisi (Politecnico di Torino) 20 Aprile, 2009 19 / 26

institution-logo

Fonti di errore

Matrici:I T g

c , dipende dalla posizione del centro di massa dell’aereo rispettoall’origine del sistema di coordinate fissato sulla telecamera. L’erroreassociato e nell’ordine dei millimetri.

I T vb , introduce errore dovuto al calcolo dell’assetto del velivolo. Gli angoli

di Eulero sono calcolati mediante giroscopi, i quali soffrono di problemidi deriva che causano l’accumularsi di errori in γ

I C , la matrice di calibrazione dipende da alcuni parametri intrinseci dellatelecamera, ovvero distanza focale e risoluzione. La distanza focale vienemisurata dagli strumenti interni della telecamera, sulla bonta dei qualinon esiste un feedback

GPS:I Le imprecisioni introdotte dal GPS derivano da una serie di sorgenti

diverse e portano ad un errore di circa 10m sul piano orizzontale. Passaread un segnale DGPS ridurrebbe l’errore ad un paio di metri

Alessandro Nassisi (Politecnico di Torino) 20 Aprile, 2009 20 / 26

institution-logo

Fonti di errore

Matrici:I T g

c , dipende dalla posizione del centro di massa dell’aereo rispettoall’origine del sistema di coordinate fissato sulla telecamera. L’erroreassociato e nell’ordine dei millimetri.

I T vb , introduce errore dovuto al calcolo dell’assetto del velivolo. Gli angoli

di Eulero sono calcolati mediante giroscopi, i quali soffrono di problemidi deriva che causano l’accumularsi di errori in γ

I C , la matrice di calibrazione dipende da alcuni parametri intrinseci dellatelecamera, ovvero distanza focale e risoluzione. La distanza focale vienemisurata dagli strumenti interni della telecamera, sulla bonta dei qualinon esiste un feedback

GPS:I Le imprecisioni introdotte dal GPS derivano da una serie di sorgenti

diverse e portano ad un errore di circa 10m sul piano orizzontale. Passaread un segnale DGPS ridurrebbe l’errore ad un paio di metri

Alessandro Nassisi (Politecnico di Torino) 20 Aprile, 2009 20 / 26

institution-logo

Fonti di errore

Matrici:I T g

c , dipende dalla posizione del centro di massa dell’aereo rispettoall’origine del sistema di coordinate fissato sulla telecamera. L’erroreassociato e nell’ordine dei millimetri.

I T vb , introduce errore dovuto al calcolo dell’assetto del velivolo. Gli angoli

di Eulero sono calcolati mediante giroscopi, i quali soffrono di problemidi deriva che causano l’accumularsi di errori in γ

I C , la matrice di calibrazione dipende da alcuni parametri intrinseci dellatelecamera, ovvero distanza focale e risoluzione. La distanza focale vienemisurata dagli strumenti interni della telecamera, sulla bonta dei qualinon esiste un feedback

GPS:I Le imprecisioni introdotte dal GPS derivano da una serie di sorgenti

diverse e portano ad un errore di circa 10m sul piano orizzontale. Passaread un segnale DGPS ridurrebbe l’errore ad un paio di metri

Alessandro Nassisi (Politecnico di Torino) 20 Aprile, 2009 20 / 26

institution-logo

Fonti di errore

Matrici:I T g

c , dipende dalla posizione del centro di massa dell’aereo rispettoall’origine del sistema di coordinate fissato sulla telecamera. L’erroreassociato e nell’ordine dei millimetri.

I T vb , introduce errore dovuto al calcolo dell’assetto del velivolo. Gli angoli

di Eulero sono calcolati mediante giroscopi, i quali soffrono di problemidi deriva che causano l’accumularsi di errori in γ

I C , la matrice di calibrazione dipende da alcuni parametri intrinseci dellatelecamera, ovvero distanza focale e risoluzione. La distanza focale vienemisurata dagli strumenti interni della telecamera, sulla bonta dei qualinon esiste un feedback

GPS:I Le imprecisioni introdotte dal GPS derivano da una serie di sorgenti

diverse e portano ad un errore di circa 10m sul piano orizzontale. Passaread un segnale DGPS ridurrebbe l’errore ad un paio di metri

Alessandro Nassisi (Politecnico di Torino) 20 Aprile, 2009 20 / 26

institution-logo

Implementazione software

Specifiche:

immediatezza e semplicita di utilizzo

controllo accurato

scalabilita/modularita

multipiattaforma

Implementazione in C++ con l’utilizzo delle librerie grafiche Qt

Alessandro Nassisi (Politecnico di Torino) 20 Aprile, 2009 21 / 26

institution-logo

Struttura

L’applicazione puo essere divisa in 4 blocchi principali:

Front end graficoI Finestra per visualizzare le informazioni sensibili, il video e il pannello di

comandoI Finestra per visualizzare la mappa e disegnare la zona inquadrata dalla

telecamera

Back end di comunicazioneI Thread di lettura e scrittura per la comunicazione con la telecameraI Buffer circolareI Thread per il parsing dei dati estratti dal buffer circolare

Libreria per l’interazione con i modelli digitali del territorio

Libreria di geolocalizzazione

Alessandro Nassisi (Politecnico di Torino) 20 Aprile, 2009 22 / 26

institution-logo

Front end

Alessandro Nassisi (Politecnico di Torino) 20 Aprile, 2009 23 / 26

institution-logo

Back end

Alessandro Nassisi (Politecnico di Torino) 20 Aprile, 2009 24 / 26

institution-logo

Sviluppi futuri

Breve termine

Passare a OpenGL e supportare un rendering grafico in 3D

Modificare l’algoritmo di localizzazione eliminando l’intersezioneellissoidale

Migliorare l’interfaccia per il controllo della videocamera

Medio termine

Utilizzare il flusso video per estrarre immagini georeferenziate utili perla costruzione di mappe personalizzate

Automatizzare il sistema di raccolta delle informazioni di missione

Alessandro Nassisi (Politecnico di Torino) 20 Aprile, 2009 25 / 26

institution-logo

GRAZIE

Alessandro Nassisi (Politecnico di Torino) 20 Aprile, 2009 26 / 26