1

Estratto della tesi di laurea

Valutazione della performance chirurgica mediante elaborazione delle

immagini laparoscopiche.

Estratto dalla tesi di laurea in Ingegneria Biomedica, discussa da Virginia Mamone, relatore prof. Vincenzo Ferrari, co-relatore Dott.ssa Rosanna Maria Viglialoro Università di Pisa Corso di Laurea in Ingegneria dell’Informazione

Motivazione

La tesi nasce dal rapido cambiamento che la chirurgia ha subito negli ultimi anni grazie alla diffusione

delle tecniche in chirurgia minimamente invasiva. Se da una parte l’introduzione di tali tecniche ha apportato innumerevoli benefici al paziente, dall’altra ha introdotto una serie di difficoltà che possono portare ad errori gravi quando a eseguirle sono mani inesperte. Le vecchie modalità di apprendimento

che si basavano sull’osservazione del chirurgo esperto sono ormai obsolete ed è indispensabile che gli apprendisti si allenino sui simulatori prima di intervenire sul paziente. La tesi risponde quindi a una

duplice necessità: da una parte, fornire un aiuto concreto ai chirurghi nell’apprendimento delle abilità essenziali per la corretta esecuzione degli interventi in laparoscopia. D’altra parte, si pone a salvaguardia del paziente, offrendo dei parametri oggettivi per discernere i chirurghi che hanno appreso le

competenze necessarie, da quelli che hanno bisogno di ulteriore allenamento prima di passare ad operare

sul paziente.

Introduzione

La tecnica laparoscopia e la colecistectomia

Ad oggi, il numero di procedure eseguite in laparoscopia è andato aumentando, coinvolgendo un

numero via via maggiore di distretti anatomici, grazie anche all’ausilio di tecnologie sempre più sofisticate. La diffusione di questa tecnica può essere attribuita alla concomitanza di due aspetti: da una

parte la riduzione di alcuni fattori di rischio associati alla sola procedura standard e dall’altra la significativa diminuzione del costo dell’intervento, si pensi ad esempio al decremento dei giorni di ospedalizzazione.

Sulla base di quanto detto finora, è necessario indagare con maggiore dettaglio i benefici reali e misurabili

introdotti dalla laparoscopia. Il tempo di recupero più veloce, e un ritorno ad una vita normale e

all’attività lavorativa in tempi brevi sono associati a una considerevole riduzione del trauma a cui si sottopone la cute, diminuendo di conseguenza le medicazioni necessarie, e le complicanze intra- e post-

operatorie. Il chirurgo esegue piccole incisioni, del diametro massimo di qualche centimetro riducendo

2

al contempo il dolore post-operatorio e l’entità delle cicatrici. Sebbene il lavoro di tesi sia applicabile nell’ambito di diversi interventi in laparoscopia, il test del modulo sviluppato è eseguito nel contesto dell’intervento di colecistectomia, di cui a seguire verranno esposte le nozioni base. La colecistectomia è stata individuata come una tecnica adatta al training chirurgico in quanto, assieme

all’appendicectomia, rappresenta il primo intervento eseguito dagli specializzandi. L’intervento consiste nell'asportazione chirurgica della colecisti, un piccolo organo situato tra il fegato e il pancreas (Figura 1),

in cui si riversa la bile prodotta dal fegato.

Il medico può ritenere opportuno ricorrere all’intervento quando una persona sia soggetta a una continua formazione di calcoli biliari o nel caso di colecistiti ricorrenti. L'intervento di colecistectomia per via

laparoscopica prevede che il chirurgo esegua tre o quattro piccole incisioni, del diametro di 0.5 1 cm,

nell'addome del paziente. Esse fungono da via d'accesso per l'inserimento di apposite cannule a tenuta

stagna, dette trocar, al cui interno scorrono gli strumenti chirurgici utilizzati nell'operazione. A seguire

si inserisce il laparoscopio nell'addome. Questo strumento è fornito di un sistema di illuminazione e di

un sistema ottico, che permette un’esplorazione visiva della regione addominale interna attraverso l’apposito schermo sulla colonna laparoscopica. Sotto questa guida visiva si effettua l’esposizione del campo operatorio. La tecnica utilizzata ricalca quella dell’operazione a cielo aperto, a differenza che nella procedura tradizionale lo specialista può utilizzare prevalentemente la mano dominante, in quanto può

accedere facilmente ai tessuti. Nella chirurgia laparoscopica, invece, le mani guidano strumento lunghi

tra i 36 e i 39 cm attraverso i trocar che agisce come un fulcro fisso limitando considerevolmente la libertà

di movimento. In questo caso, inoltre, la mano sinistra è di vitale importanza in quanto, modificando il

grado e la direzione della trazione, consente la visualizzazione di aree diverse per la dissezione. La

manovra permette di identificare ed isolare il dotto cistico e l’arteria cistica racchiusi in una regione denominata triangolo di Calot: uno spazio anatomico virtuale, la cui corretta identificazione e dissezione

costituisce la sfida più impegnativa della procedura poiché il tessuto connettivo nasconde le strutture,

aumentando il rischio di lesioni durante la fase di dissezione. Dopo aver interrotto il flusso dei fluidi

corporei applicando delle clip metalliche o, in alternativa, eseguendo la legatura dei vasi, è possibile

eseguire il distacco della colecisti dal letto epatico ed estrarla attraverso uno dei trocar.

Il training chirurgico

La colecistectomia è solo uno degli interventi che vengono di norma eseguiti in laparoscopia. Per

garantire un elevato standard di affidabilità e sicurezza, data la difficile manovrabilità degli strumenti,

Figura 1. Anatomia delle regioni interessate dall’operazione di colecistectomia.

3

l’assenza di percezione tattile diretta ed il ristretto ambiente di lavoro, il training diventa un aspetto cruciale. Le soluzioni per allenare la coordinazione psicomotoria necessaria sono molteplici e spaziano

dai simulatori virtuali fino a quelli fisici, passando per quelli che utilizzano una tecnologia ibrida. Diversi

studi hanno ormai dimostrato come le abilità necessarie per questo tipo di operazione possano essere

sensibilmente migliorate tramite l’allenamento nei simulatori [1]. I simulatori ibridi nello specifico cercano di integrare i benefici dei simulatori reali e virtuali attraverso funzionalità di realtà aumentata.

Questi sistemi non hanno bisogno di attuatori per la riproduzione del feedback tattile in quanto

dispongono di strutture reali con le quali l’utente può interagire. È inoltre possibile modificare la difficoltà dei task, variando il numero di informazioni che l’operatore ha a disposizione durante l’esecuzione della procedura. La loro doppia natura si adatta bene alla necessità di ottenere misurazioni automatiche sulle performance chirurgiche. Il simulatore di colecistectomia sviluppato presso il Centro

EndoCAS per la chirurgia assistita dal calcolatore dell’Università di Pisa appartiene a questa classe e nel corso del lavoro di tesi è stato integrato con un modulo per la valutazione delle performance chirurgiche.

Il sistema è un simulatore in realtà aumentata per il training delle fasi fondamentali nella procedura di

colecistectomia: esposizione della colecisti, dissezione del triangolo di Calot, identificazione dell’arteria cistica e del dotto cistico [2]. A livello strutturale il simulatore è composto da uno scheletro esterno che

ricrea gli spazi prodotti dal pneumoperitoneo nell’addome del paziente. Come evidenziato in Figura 2, la struttura contiene al suo interno una riproduzione fedele degli organi interessati dall’intervento: fegato, colecisti, pancreas, stomaco, duodeno, dotti biliari, vie arteriose e tessuto connettivo.

Diverse analisi hanno dimostrato che i simulatori possono essere utilizzati come strumenti per la

valutazione delle abilità laparoscopiche [3] e sempre più studi sono in grado di mostrare empiricamente

come le abilità chirurgiche apprese attraverso i simulatori vengano trasferite in sala operatoria [4].

Recementemente è stato introdotto un nuovo concetto nel training delle abilità chirurgiche basato sulla

competenza: la durata della formazione dipende dal raggiungimento di prestazioni comparabili con

quelle di chirurghi esperti. Nella pratica si misurano i punteggi ottenuti dagli esperti che costituiscono

l’obbiettivo degli studenti: l’allenamento termina quando è stato raggiunto un adeguato livello di competenza. Questa metodologia di training permette l’acquisizione delle abilità chirurgiche in minor tempo rispetto ad altre tipologie non strutturate o basate su un numero fisso di ripetizioni,

massimizzando l’efficienza e la qualità dell’apprendimento [5].

Figura 2. Fotografia degli organi riprodotti per lo sviluppo del simulatore in realtà aumentata del centro EndoCAS

4

I parametri per la valutazione della performance chirurgica

Il prerequisito per l’utilizzo di metodi basati sulla competenza, è l’utilizzo di un simulatore in grado di misurare in maniera accurata e oggettiva le abilità tecniche attraverso specifici parametri. Ciò fornisce

un’ulteriore beneficio costituito dal feedback oggettivo che l’apprendista riceve: attraverso i parametri forniti al completamento del task lo studente può constatare i propri progressi nell’esecuzione della tecnica e tentare di migliorarsi focalizzandosi sui propri difetti. Tali parametri sono stati individuati in

letteratura, sulla base della loro capacità di discernere tra esperti e apprendisti nell’adempimento di un task.

Il parametro più semplice è il tempo impiegato per il completamento dell’esercizio, T [6]. Questo parametro è in grado di appurare i miglioramenti nell’esecuzione di un task e non necessita di alcuna elaborazione per essere determinato. Con la pratica, infatti, lo studente acquisisce familiarità con le

difficoltà della tecnica riuscendo a portare a termine lo stesso task in un tempo inferiore. Tuttavia non

fornisce alcuna indicazione riguardo la qualità della performance: facendo riferimento all’operazione di colecistectomia potrebbe accadere che uno studente completi il task più velocemente, causando però

delle lesioni ai vasi biliari o sanguigni. È sempre consigliabile quindi, combinare questo indicatore con

un punteggio relativo agli errori commessi durante l’operazione. I parametri ricavabili dall’analisi del movimento degli strumenti chirurgici, che nella letteratura si sono già dimostrati in grado di discernere

tra chirurghi esperti e novizi [7] sono riportati di seguito.

La pathlength, ovvero la lunghezza totale del cammino percorso dalla punta dello strumento chirurgico,

si è dimostrata in grado di discernere gruppi di chirurghi con diversa esperienza sulla base della loro

capacità di identificare e raggiungere la zona da trattare con lo strumento chirurgico. I chirurghi esperti

sviluppano nel tempo una buona coordinazione occhio-mano che gli permette di raggiungere il punto di

interesse nel campo operatorio attraverso un percorso che si avvicina a quello rettilineo. Le loro

performance sono quindi in genere caratterizzate da una pathlength minore rispetto agli apprendisti [8].

Questa quantità viene calcolata come:

Dove T corrisponde al tempo per il completamento dell’esercizio. La smoothness indica la fluidità di movimento dello strumento chirurgico [9] ed è volto alla valutazione

della fermezza e del controllo con cui viene maneggiato. Viene stimato a partire dalle variazioni

nell’accelerazione dell’estremità distale dello strumento, tramite il calcolo del jerk normalizzato: Infine il tempo di permanenza fuori dal campo di vista della telecamera, indica il periodo di tempo

complessivo in cui il marker non è stato visibile nella scena. Questo indicatore è risultato essere

significativo nel caso di esercizi complessi che richiedono, oltre alla dimestichezza con le difficoltà della

tecnica laparoscopica, la capacità di lavorare in maniera efficiente e controllata alla manipolazione dei

tessuti corporei [10].

+

+

=T

dtdt

Z

dt

Y

dt

XD

0

222 )()()(

dttd

Zd

td

Yd

td

Xd

D

TJerk

T

norm

++=

0

2

3

32

3

32

3

3

2

5

)()()(2

5

Si intuisce che per la stima di questi parametri è necessario localizzare lo strumento chirurgico nel campo

operatorio. Per avere misurazioni oggettive bisogna quindi definire un sistema di riferimento

tridimensionale nel quale riportare le coordinate della punta al variare del tempo. A seguire si illustrerà

la metodologia di tracking che è stata adottata.

Tracking ottico e calibrazione della telecamera

In letteratura sono stati indagati diversi approcci per effettuare la localizzazione degli strumenti

chirurgici, tuttavia i metodi più in uso nelle procedure mediche prevedono l’impiego di sensori elettromagnetici [11] o marker ottici [12].

Il tracking elettromagnetico si basa sulla localizzazione di piccole antenne poste all’interno di un campo magnetico. Il vantaggio principale della tecnica elettromagnetica è che permette di svincolarsi dalle

restrizioni imposte dalla visuale: il tracking procede anche se i sensori rimangono nascosti. D’altra parte, questo metodo è sensibile alle distorsioni prodotte da oggetti metallici nelle vicinanze e presenta una

precisione ed un’accuratezza inferiore rispetto al tracking ottico [13]. Il tracking ottico fa uso di telecamere per la localizzazione di oggetti, detti marker, nelle tre dimensioni.

In generale è necessario utilizzare più telecamere simultaneamente per ricavare la posizione 3D dei

marker, tuttavia, ricorrendo a marker strutturati nei quali è possibile identificare più punti

geometricamente vincolati tra di loro, è possibile determinare la posa del marker utilizzando anche una

sola telecamera. Poiché durante l’intervento un’ampia porzione degli strumenti è sempre visibile, si è scelto di eseguire un tracking ottico dalle immagini riprese dall'endoscopio. Questa tecnica, oltre ad

offrire una localizzazione più accurata rispetto al tracking elettromagnetico, si presta maggiormente al

tracking di strutture soggette a movimenti rapidi e incostanti. Può contare infatti, su una maggiore

frequenza di aggiornamento. Per contenere i costi e limitare le modifiche strutturali da apportare al

simulatore, si è scelto di effettuare il tracking a partire dalle immagini laparoscopiche, che vengono

acquisite necessariamente durante l’esecuzione di interventi in laparoscopia. La tecnica consolidata per questo tipo di localizzazione consiste nel tracking di un pattern altamente strutturato. Il pattern più

frequentemente utilizzato consiste in una griglia rettangolare che alterna quadrati neri e bianchi. Oggetti

di questo tipo però, risultano d’ostacolo sia per quanto riguarda l’ingombro che l’occlusione della visuale sul campo operatorio, per questo motivo sono state indagate tecniche alternative.

A prescindere dalla metodologia utilizzata, l’operazione su cui si basano tutte le tecniche di tracking ottico consiste nella calibrazione della telecamera che fornisce le immagini da elaborare. Questo passo

consente infatti di determinare i parametri coinvolti nella formazione dell’immagine, che saranno utilizzati per stimare la posizione dell’oggetto del tracking. Si distinguono in particolare: la matrice dei parametri intrinseci, i coefficienti di distorsione e la matrice dei parametri estrinseci. Il processo di

calibrazione costituisce uno step fondamentale nella machine vision poiché tramite i parametri ottenuti è

possibile ricavare informazioni geometriche dalle immagini.

Per agevolare l'analisi del processo di formazione dell'immagine si adottano dei modelli di sintesi che ci

permettono di studiare il problema con un approccio matematico. Il pinhole model è un'idealizzazione

nel caso di apertura della lente che tende a zero. Quando si utilizza un modello di questo tipo, il processo

mediante cui le strutture 3-D vengono mappate su una superficie bidimensionale viene chiamato

proiezione prospettica: si suppone che la luce viaggi lungo un percorso rettilineo attraverso un foro di

piccole dimensioni che costituisce il centro di proiezione CP. La luce viene quindi focalizzata sul piano

del sensore, producendo un immagine capovolta. Il centro di proiezione rappresenta l’origine del sistema

6

di riferimento della telecamera. L’asse Z è scelto perpendicolare al piano immagine e lo interseca in un punto detto Punto Principale PP. La distanza tra il centro di proiezione e il piano focale è chiamata

Lunghezza Focale f.

Dati i sistemi di riferimento in Figura 3, si esprime in forma matriciale la trasformazione dal sistema di

riferimento della telecamera a quello in coordinate omogenee1 dell’immagine, attraverso le proprietà dei triangoli simili:

f è la lunghezza focale ovvero la distanza tra il piano immagine e il centro di proiezione. Le variabili xPP

e yPP sono state introdotte poiché l’origine del sistema di riferimento sull’immagine è in genere posta nell’angolo superiore sinistro della stessa. Esse rappresentano le coordinate del punto principale nel sistema di riferimento solidale al piano immagine e idealmente corrispondono alla metà delle dimensioni

del sensore.

Poiché stiamo trattando un’immagine digitale, le unità di misura in gioco sono i pixel. Scaliamo quindi la matrice di un fattore pari alla densità di pixel nella direzione x e y del sensore, ottenendo i parametri

px, py e cx, cy. La prima coppia corrisponde alla lunghezza focale della telecamera nella direzione x e y,

la seconda corrisponde alle coordinate del punto principale. Si introduce infine il parametro di skew, k,

che contempla la possibilità che a seguito del processo di digitalizzazione i pixel risultino inclinati. Sulla

base dei parametri esposti, la trasformazione proiettiva dal sistema di riferimento tridimensionale della

telecamera a quello 2-D dell'immagine si esprime come:

1 In geometria proiettiva si utilizzano le coordinate omogenee poiché consentono la linearizzazione del problema. Con questa tecnica

è inoltre possibile rappresentare le traslazioni in forma matriciale. Date le coordinate di un punto nell’immagine (x1, x2)T il modo più semplice per ottenere le sue coordinate omogenee è assegnare un valore unitario alla terza componente: (x1, x2, 1)T.

Figura 3. Proiezione prospettica del punto P sul piano immagine non invertito

=

C

C

C

PP

PP

Z

Y

X

yf

xf

w

y

x

100

0

0

=

C

C

C

yy

xx

Z

Y

X

cp

ckp

y

x

100

0

1

7

Il pinhole model, pur consentendo una semplice formulazione matematica della relazione tra l’oggetto e la sua proiezione nell’immagine, trascura completamente il contributo delle lenti. Le lenti utilizzate nelle telecamere reali introducono infatti delle distorsioni: a causa dei vincoli cui è soggetto il processo di

fabbricazione è possibile che linee dritte della scena vengano mappate su linee curve del piano immagine

producendo distorsione radiale e tangenziale dell’immagine. La distorsione radiale può presentarsi sotto forma di deformazione a barile quando l'immagine si gonfia procedendo verso l'interno, oppure come

deformazione a cuscino se l'immagine si restringe nel centro (Figura 4).

Per correggere la distorsione radiale si allontanano o avvicinano i punti dell’immagine in direzione radiale rispetto al centro della distorsione. Indicando con r la distanza tra un punto dell’immagine e il centro della distorsione, si esprime la funzione di correzione nella forma:

I coefficienti possono essere stimati misurando la curvatura di linee dell'immagine che sono dritte nella

scena reale. La deformazione tangenziale ha luogo quando il sensore non è parallelo al piano immagine

e può essere corretta come:

Per effettuare la stima dei parametri della telecamera è necessario mettere in relazione i punti della scena

con i loro corrispondenti nell’immagine prodotta dalla telecamera. Queste relazioni si ottengono tramite l’utilizzo di un oggetto di calibrazione noto. E’ possibile classificare le tecniche di calibrazione in base alle dimensioni dell’oggetto utilizzato che può esporre pattern 1D, 2D o 3D. L’algoritmo di calibrazione che è stato utilizzato in questo lavoro di tesi è messo a disposizione dal Toolbox di Computer Vision della

piattaforma MATLAB.

Una volta effettuata la calibrazione, la tecnica standard per il tracking ottico prevede l’utilizzo di pattern strutturati che, grazie alla geometria altamente organizzata, risultano facilmente identificabili all’interno di un’immagine. Nell’ambito della simulazione della procedura laparoscopica l’utilizzo di questo tipo di pattern non risulta ottimale. Trattandosi di pattern bidimensionali infatti, necessitano di un supporto

rigido per il loro utilizzo che ostacola la libertà di movimento del chirurgo all’interno dello spazio operatorio. Inoltre, per essere rilevato dalla telecamera, il marker strutturato non deve superare

determinati range di posizione e orientamento. Per questo motivo sono state cercate soluzioni alternative.

)1(

)1(

6

3

4

2

2

1

6

3

4

2

2

1

rkrkrkyy

rkrkrkxx

corretta

corretta

+++=

+++=

Figura 4. In alto: deformazione a barile di una griglia quadrata. In basso: deformazione a cuscino di una griglia quadrata

]2)2([

)]2(2[

2

22

1

22

21

xypyrpyy

xrpxypxx

corretta

corretta

+++=

+++=

8

Materiali e Metodi

Il software per la valutazione della performance chirurgica è stato sviluppato in ambiente di sviluppo

Visual Studio e linguaggio C++ che garantisce ottime prestazioni e può essere concettualmente suddiviso

in due parti, la prima si occupa dell’identificazione dei profili degli strumenti chirurgici e determina la loro posizione spaziale. La seconda esegue la stima dei parametri per la valutazione precedentemente

selezionati dallo state dell’arte.

Tracking degli strumenti chirurgici: identificazione dei profili

La fase di tracking degli strumenti chirurgici è volta a determinarne la posa al variare del tempo. Come

passo base è necessario tuttavia identificare lo strumento all’interno dell’immagine: al fine di identificarne i profili si applicano a cascata gli algoritmi di segmentazione dell’immagine, applicazione del Canny detector e labeling delle componenti connesse. Tramite il processo di segmentazione viene

assegnata un’etichetta ad ogni pixel nell’immagine in modo che i pixel con la stessa etichetta condividano determinate caratteristiche comuni. Il risultato è un gruppo di aree che collettivamente ricoprono l’intera immagine senza sovrapporsi. I pixel appartenenti allo stesso gruppo sono assimilabili per colore,

intensità o texture. Nelle telecamere il colore di un pixel si ottiene sommando i diversi contributi dei

canali rosso, verde e blu. Tuttavia nell’ambito della machine vision può essere conveniente spostare l’analisi in spazi di colori differenti. Nel caso specifico si utilizza lo spazio di colori HSV (colore, saturazione, intensità), visualizzato in Figura 5, che per sua stessa natura consente di ridurre l’influenza dell’illuminazione della scena.

La segmentazione implementata dall’algoritmo utilizza un metodo a soglia che produce un’immagine binaria. Tale immagine contiene tutte le informazioni essenziali riguardo posizione e forma dell’oggetto d’interesse. Inoltre, la complessità dei dati viene notevolmente ridotta permettendo di semplificare e velocizzare le operazioni successive. Per effettuare l’operazione è necessario scegliere una soglia T. I pixel di un’immagine in scala di grigi assumono valore 1 se superano la soglia, valore 0 altrimenti:

Nel caso di immagini a colori la tecnica viene ripetuta su ciascun canale e l’immagine finale è il risultato di un and logico tra le immagini ottenute da ogni canale. L’immagine binaria in uscita dal passaggio di

Figura 5. Trasformazione dalla scala di colori RGB, a geometrica cubica, alla scala HSV, a geometria cilindrica.

Tvuf

Tvufvug

⎯→⎯⎯→⎯

=),(0

),(1),(

9

segmentazione presenta insiemi disgiunti di pixel. Attraverso il labelling si identificano, etichettandoli

in maniera univoca, i sottoinsiemi costituiti da componenti connesse. Successivamente si applica un

algoritmo per la rilevazione dei contorni presenti nell’immagine, denominato Canny detector che attraverso una serie di filtri e trasformazioni restituisce i contorni sotto forma di immagine binaria.

Sebbene il Canny detector restituisca l’immagine dei contorni, non si ottiene alcuna informazione riguardo alle loro caratteristiche d’insieme. Si applica quindi a trasformata di Hough, una tecnica di feature extraction in grado di riconoscere istanze imperfette di oggetti appartenenti a una determinata

classe di forme. Le forme che l’algoritmo è in grado di riconoscere possono essere arbitrare ma le più comunemente utilizzate sono rette, cerchi o ellissi. Per i nostri scopi è utile ricondurre i profili dello

strumento a due rette. Si illustra quindi il funzionamento dell’algoritmo in questo caso particolare. Nel piano cartesiano una retta generica è rappresentata dall’equazione:

Essa corrisponde a un punto di coordinate (r, θ) nello spazio parametrico, in cui r è la distanza della retta dall’origine degli assi e θ è l’angolo tra l’asse x e la sua perpendicolare passante per l’origine. E’ quindi possibile associare ad ogni retta una coppia r, θ . Il piano r-θ costituisce lo spazio di Hough per l’insieme delle rette in dimensioni. L’algoritmo per il calcolo della trasformata di Hough utilizza un array bidimensionale, denominato accumulatore, per ispezionare l’esistenza di una retta nell’immagine. In particolare per ogni pixel determina se c’è sufficiente evidenza che una retta lo attraversi. Se una o più rette risultano passare da quel punto, l’algoritmo calcola i parametri delle rette in questione ed incrementa l’accumulatore in corrispondenza dei valori di r e θ trovati. Il risultato della trasformata è una matrice bidimensionale che ha come dimensioni i valori degli angoli θ e delle distanze r, quantizzati. La Figura 6 illustra a titolo di esempio l’applicazione successiva degli algoritmi di segmentazione, labeling, Canny detector e Hough transform su un’immagine acquisita dal laparoscopio.

Figura 6. L’immagine ottenuta dal laparoscopio viene segmentata e presenta degli artefatti a causa della riflessione. L’algoritmo di labeling discerne le aree topologicamente separate ed è possibile ottenere la maskera binaria del solo

marker. A quest’ultima si applica il Canny detector per l’identificazione dei contorni. Infine, l’applicazione della trasformata di Hough permette l’identificazione delle rette candidate come profili dell’immagine

sincos yxr +=

10

Teoricamente le due rette con valore maggiore nell’accumulatore dovrebbero corrispondere ai profili del marker estratti tramite il Canny detector ma acausa dell’elevata disomogeneità del campo operatorio simulato, può però accadere che le rette con trasformata maggiore siano relative a un unico profilo dello

strumento (Figura 7).

Per non incappare in questo genere di errori si introduce un ulteriore modifica rispetto allo stato dell’arte. Per evitare che errori nella determinazione delle rette corrispondenti ai profili del marker si ripercuotano

sulla stima della sua posizione e orientamento e quindi sulla valutazione della performance chirurgica è

stato introdotto un controllo. Si assume che la retta con valore più alto dell’accumulatore approssimi effettivamente uno dei due profili. Successivamente si trova la sua perpendicolare passante per il

baricentro del marker e se ne individuano i punti di intersezione con le altre rette individuate

dall’algoritmo. Si ottiene quindi un gruppo di punti che tramite il K-mean2 viene suddiviso in due sottoinsiemi. Si distinguono in particolare i punti costituiti dalle rette appartenenti a un profilo piuttosto

che a un altro: la retta corrispondente al secondo profilo sarà quella con trasformata di Hough maggiore

tra quelle non appartenenti al gruppo di punti relativi al primo (Figura 8).

2Il K- ea è u algo it o di luste i g volto al agg uppa e to degli ele e ti o oge ei i u i sie e di dati. Gli algo it i di luste i g si asa o su isu e elative alla so iglia za t a ele e ti, elativa i uesto aso alla posizio e dei dati ello spazio 2D.

Figura 7. Errore nell’individuazione dei profili dello strumento: entrambe le rette individuate corrispondono

ad un unico profilo.

Figura 8. Individuazione dei profili corretti dello strumento in seguito al clustering.

11

Tracking degli strumenti chirurgici: stima della posa

Una volta identificati i profili dello strumento si passa alla determinazione della sua posizione nello

spazio. La figura 9 mostra una rappresentazione dello strumento chirurgico a cui è applicato il marker

colorato e illustra la sua proiezione prospettica sul piano immagine non invertito. Definito sul piano

immagine = [ 1] il punto medio del segmento , la posizione di ′ = [ ], punto medio del suo corrispondente ′ ′ nello spazio D, si ricava dall’equazione matriciale del modello pinhole:

Per ottenere la coordinata Z si ricorre alla proprietà fondamentale del modello, secondo cui la lunghezza

apparente di ogni linea parallela al piano immagine è proporzionale alla sua distanza dalla telecamera:

′ ′ corrisponde al diametro effettivo del marker e d’ora in avanti verrà indicato con d. E’ inoltre possibile esplicitare il diametro apparente del marker riferendosi alle coordinate dei punti =[ 1] e = [ 1]: Si ottiene per :

AZ

AA

f

AA 2121 =

y

AyAA

x

AxAA

p

ZcvY

p

ZcuX

−=

−=

)(

)(

( ) 2221 )( 2121 AAAA vvuuAA −+−=

22 )()(2121 xAAyAA

yx

A

pvvpuu

ffdZ

−−

=

12

Attraverso lo stesso procedimento si ricavano le coordinate di ′ = [ ]. In virtù della geometria cilindrica degli strumenti chirurgici i segmenti ′ ′ e ′ ′ risulteranno sempre paralleli al

piano immagine. In generale però l’asse dello strumento avrà una certa inclinazione: il vettore che ne identifica direzione e verso è quello congiungente i punti ′ e ′ appena calcolati. In virtù della geometria

cilindrica degli strumenti, la retta cui appartiene il vettore ′ ′→

costituisce l’asse dello strumento chirurgico e la punta dello strumento si troverà su tale retta. La distanza del punto P, corrispondente alla

punta dello strumento, dagli estremi del vettore, denominata l, è nota ed è quindi possibile risalire alle

sue coordinate spaziali (Figura 10):

L’elevata simmetria del marker costituisce la base su cui si fonda il metodo di tracking in quanto fornisce una struttura facilmente riconoscibile dal software tramite tecniche di feature exctration. Come

conseguenza però, l’algoritmo non è in grado di distinguere un verso per l’asse dello strumento. Non è quindi possibile definire a priori dove si trovi la punta dello strumento chirurgico rispetto al

marker. Per ovviare a questo problema si è ricorso alla geometria e ai vincoli caratteristici delle operazioni

laparoscopiche. I punti di ingresso dei trocar sono fissi e gli strumenti entrano lateralmente nella scena.

L’ipotesi che sta alla base della distinzione dei punti A e B nell’immagine è che lo strumento contraddistinto dal marker verde raggiunga il campo operatorio da sinistra verso destra e quindi la retta

mediana intersechi la maschera del marker prima in A e successivamente in B. Viceversa vale per lo

strumento con il marker blu che entra nella scena da destra verso sinistra.

Scelta dei marker colorati

Si accennano alcune scelte riguardanti l’applicazione dei marker colorati sugli strumenti. Il marker ideale presenta una superficie lambertiana caratterizzata da bassa specularità e colorazione omogenea. Nella

pratica, il marker è stato realizzato applicando, sulla porzione terminale dello strumento da localizzare,

un primo strato di vernice bianca e un secondo di vernice fluorescente. I colori fluorescenti oltre a

riflettere la luce incidente, sono in grado di emetterla secondo una determinata lunghezza d’onda. Nello specifico si verifica l’assorbimento delle radiazioni elettromagnetiche nell'ultravioletto. Questo evento causa la transizione della molecola ad uno stato energetico maggiore instabile, per cui l’energia assorbita

lBABP +=

Figura 10. Stima della posizione della punta dello strumento chirurgico nello spazio tridimensionale

13

viene ri-emessa velocemente. Durante il processo di assorbimento-emissione si perde energia e la

radiazione emessa presenta una lunghezza d’onda inferiore. Gli effetti di questo comportamento si traducono in una maggiore luminosità della sostanza di interesse che in seguito alla re-emissione

isotropica dell’energia si avvicina al concetto ideale di superficie lambertiana [14].

Ai fini del corretto funzionamento dell’algoritmo è stato necessario identificare con buona accuratezza la posizione relativa della punta di ciascuno strumento rispetto al marker.

La scelta dei colori delle vernici è stata effettuata sulla base dell’istogramma del campo operatorio [15] in Figura 11. Si osserva che in media la scena è dominata dalle tonalità nei pressi del rosso e in misura

minore dalle gradazioni del celeste. Sebbene il colore prevalente vari in funzione della porzione del

campo operatorio inquadrata, la varianza dei picchi inferiori è minima. Sulla base di queste informazioni

si è scelto di applicare agli strumenti chirurgici un marker di colore verde e uno blu (Figura 12).

I parametri per la valutazione vengono determinati a partire dalle coordinate tridimensionali di P estratte

nella fase precedente. Ne risulta che eventuali errori nel tracking si ripercuotono sulla valutazione della

performance. Per evitare che ciò accada sono state introdotte delle verifiche sulla distanza percorsa tra

Figura 12. Strumenti chirurgici in seguito all’applicazione della banda colorata.

Figura 11. Istogramma del canale Hue (scala HSV) delle immagini del campo operatorio (background). I valori in prossimità dei picchi massimi presentano un elevata varianza

poiché dipendono fortemente dalla zona del campo operatorio inquadrata.

14

un frame e il successivo e sul massimo valore di coordinata Z di P. Il primo controllo si basa sul fatto che

la velocità massima con cui può muoversi la punta degli strumenti laparoscopici è limitata. Uno studio

che ha compreso 45 operazioni di colecistectomia laparoscopica eseguite su modelli animali, ha rilevato

una velocità media di circa 24,2 [mm/s] e deviazione standard di 4.3 [mm/s]. Considerando che per una

distribuzione normale il 99% dei dati cade nell’intervallo media 2.57 * devstd, è plausibile assumere come valore massimo della velocità: 35.3 [mm/s]. Data quindi la velocità e la frequenza dei frame si riesce

a risalire al percorso massimo ammissibile tra due frame. Per il secondo controllo si è fatto riferimento

allo spazio di lavoro degli strumenti chirurgici, circoscritto dallo scheletro del simulatore e dagli organi

interni. La pathlength viene aggiornata in real time aggiungendo di volta in volta lo spostamento tra i

singoli frame. Lo stesso vale per il tempo di permanenza fuori dal campo di vista della telecamera. Si è

scelto invece di provvedere al calcolo della smoothness alla fine dell’acquisizione. Poiché la sua valutazione implica lo sviluppo di derivate terze, il risultato viene fortemente influenzato dal rumore.

Prima di procedere alla stima della smoothness, si applica quindi un filtro di Butterwoth passa basso di

ordine 4. La frequenza di taglio è stata impostata in base alla formula [16]:

Dove con fc ed fs si indicano rispettivamente la frequenza di taglio del filtro passa basso e il frame-rate

nell’acquisizione delle immagini.

Risultati

Validazione del metodo di tracking

La procedura di tracking è stata validata confrontando i risultati ottenuti con quelli relativi al tracking di

una griglia. Questo pattern, precedentemente discusso per la calibrazione della telecamera, costituisce il

modello di riferimento per il tracking tramite le librerie OpenCV. Per realizzare la validazione, la griglia

è stata applicata su un supporto in plastica. Come evidenziato in Figura 13, quest’ultimo è stato fissato allo strumento chirurgico in modo da non nascondere il marker colorato.

Per conoscere la posizione della punta dello strumento chirurgico rispetto alla griglia è stato utilizzato il

metodo del pivot. Questa tecnica non richiede all’utente di eseguire misurazioni e consente di

2)1532.04845.1( SC ff +=

Figura 13. Strumento chirurgico modificato per effettuare la validazione.

15

determinare la posizione del puntatore imponendo un vincolo al suo movimento. In particolare, si fissa

la punta permettendo allo strumento solo rotazioni attorno alla stessa.

Le immagini acquisite vengono elaborate al fine di identificare i riferimenti sulla griglia in ciascun frame.

In seguito, si procede al calcolo dei parametri estrinseci da cui si ricavano le matrici di roto-traslazione

dal sistema di riferimento della telecamera a quello mobile della griglia. Queste informazioni

costituiscono i dati di ingresso dell’algoritmo che restituisce in uscita le coordinate del puntatore nel sistema di riferimento della griglia.

Una volta determinata la posizione relativa del puntatore rispetto alla griglia, si è proceduto

all’acquisizione di cento frame in condizioni quasi statiche, per effettuare il confronto in modo ottimale. Le immagini sono state elaborate da entrambe gli algoritmi, ciascuno dei quali ha fornito le coordinate

della punta dello strumento in ogni frame.

Nella Figura 14 si ha modo di apprezzare come si vadano a distribuire i punti relativi alla posizione della

punta dello strumento chirurgico ricavati tramite il tracking del marker(in colore blu) e della griglia (in

colore rosa . Per valutare l’accuratezza del metodo di tracking implementato si analizzano i parametri statistici dell’errore ottenuto rispetto ai risultati provenienti dal tracking della griglia:

X Y Z

Media 2.06 [mm] 2.06 [mm] 2.44 [mm]

Deviazione standard 4.76 [mm] 5.07 [mm] 20.08 [mm]

Buona parte della variabilità dei dati è da attribuire all’errore nella coordinata Z. Sebbene l’errore medio risulti comparabile, infatti, la deviazione standard lungo Z è superiore a quella rilevata nelle

altre direzioni. Ciò è dovuto alle diverse modalità con cui la profondità viene stimata: mentre il calcolo

dell’ascissa e dell’ordinata di un punto nello spazio D dipende in maniera diretta dalla sua posizione nell’immagine, la Z viene stimata sulla base del diametro apparente agli estremi del marker. Ne deriva che l’errore nella stima della profondità di un punto è superiore a quello presente nel calcolo della sua ascissa e ordinata.

Figura 14. Risultati della validazione del metodo di tracking: I punti rosa corrispondono alle stime ottenute tramite l’utilizzo della griglia, I punti blu, alle stime tramite l’utilizzo dei marker.

16

Test sperimentali

Al fine di analizzare l’effettiva adeguatezza del sistema per il training e la valutazione dei chirurghi nell’intervento di colecistectomia laparoscopica, è stato eseguito un test sperimentale. Le prove, che hanno coinvolto due chirurghi, riproducono una fra le diverse fasi che costituiscono l’operazione di colecistectomia laparoscopica. Durante la loro esecuzione, è stato inoltre possibile testare la stabilità

dell’algoritmo in condizioni di funzionamento standard. L’esercizio consiste nella legatura del dotto cistico che precede la sua separazione e l’asportazione della cistifellea. Le prove hanno richiesto l’utilizzo di due pinze chirurgiche, a cui sono stati applicati i marker colorati per la loro identificazione.

I chirurghi hanno eseguito la procedura simulata visualizzando il campo operatorio sullo schermo di un

computer portatile ed hanno utilizzato gli strumenti chirurgici modificati tramite l’applicazione dei marker. Per il corretto funzionamento del metodo di tracking è previsto che lo strumento contraddistinto

dal marker verde venga manovrato con la mano sinistra. La mano destra controlla invece lo strumento

contrassegnato dal marker blu.

Nelle prove effettuate per il test del sistema i chirurghi hanno utilizzato due pinze ricurve per eseguire

la legatura del dotto cistico. In Figura 15 si riporta una delle immagini elaborate dall’algoritmo. I dati estratti dal marker sono stati utilizzati per ricostruire la posizione e l’orientamento degli strumenti chirurgici nel sistema di riferimento della telecamera. Le frecce sul piano immagine corrispondono ai

vettori →

individuati per ciascuno strumento a partire dal processing dell’immagine. La figura mette in evidenza il procedimento seguito per la localizzazione dei punti ′ e ′ nello spazio. In particolare, sono state evidenziate (in nero) le rette su cui risiedono tali punti. La stima della coordinata Z permette di

localizzare ′ e ′ nello spazio, individuando i vettori ′ ′→

rappresentatati nei colori verde e blu in base

al marker tracciato. Le punte degli strumenti chirurgici si trovano sulle rette individuate da tali vettori e

sono identificati dai punti Psx e Pdx.

La prova ha inizio quando uno dei due strumenti entra nella scena. Da questo momento in poi l’algoritmo implementato esegue il tracking dei marker ed estrae i dati necessari alla determinazione dei parametri

Figura 15. Immagine estratta dai test: si evidenzia il processo di ricostruzione della posizione 3-D a partire dall’identificazione dei marker nell’immagine

17

per la valutazione della performance chirurgica. La figura 16 mostra i punti salienti della legatura del

dotto cistico.

Questa operazione richiede una discreta precisione poiché gli strumenti devono coordinarsi in

movimenti brevi e ben definiti, senza perdere la presa sul laccio. Tuttavia, l’elevata varianza del rumore sulla coordinata Z provoca l’instaurarsi di tratti nella direzione perpendicolare al piano immagine. Il disturbo nelle direzioni X ed Y non ha invece un entità tale da risultare apprezzabile in rapporto al

segnale nella totalità del movimento.

I risultati della validazione hanno evidenziato che il rumore sulle 3 componenti ha media prossima allo

zero. Si esegue quindi un filtraggio passa basso che elimina buona parte di questo disturbo. La figura 17

mostra in alto, l’andamento delle componenti X, Y e Z della posizione della punta dello strumento identificato dal marker verde al variare del tempo. La linea verde rappresenta i dati estratti dal metodo

di tracking, la linea tratteggiata visualizza invece l’andamento degli stessi in seguito al filtraggio di Butterworth di ordine . L’applicazione del filtro consente di limitare i disturbi introdotti dal rumore lungo le 3 dimensioni: visualizzando i dati così ottenuti nello spazio 3D è possibile apprezzare il cammino

percorso dallo strumento chirurgico nella fase in esame (Figura 17).

Figura 17. In alto: filtraggio dei dati lungo le tre direzioni spaziali. In basso: Effetti del filtraggio sulla stima del tragitto percorso dalla punta dello strumento

Figura 16. Immagini estratte dai test: tecnica per la formazione del nodo chirurgico.

18

La valutazione della performance chirurgica nella prova di legatura del dotto cistico, eseguita da

entrambe i chirurghi, ha fornito i seguenti risultati:

Prova 1 Prova 2

Marker Verde Blu Verde Blu

Pathlenght 3530 [mm] 3790 [mm] 1580 [mm] 1360 [mm]

Tempo fuori dal FOV 0.5 [s] 8.5 [s] 0.5 [s] 1.0 [s]

Jerk normalizzato 51036.9 61019.1 51056.8 51050.6 Tempo 106[s] 78[s]

Si osserva che il chirurgo che ha impiegato meno tempo per portare a termine l’esercizio ha anche percorso distanze minori con entrambe gli strumenti chirurgici e ha svolto il task con una migliore

fluidità di movimento.

Conclusioni e sviluppi futuri

L’obiettivo di questa tesi è stato dotare un simulatore ibrido di colecistectomia di un modulo per acquisire dati che permettano la valutazione della performance del chirurgo.

È stata implementata una tecnica di tracking ottico non ingombrante, in grado di effettuare la

localizzazione degli strumenti chirurgici a partire dalle immagini stesse del laparoscopio. I dati ottenuti

sono stati elaborati e filtrati per ottenere i parametri di valutazione della performance chirurgica.

L’algoritmo di tracking si è basato su tecniche presenti nello stato dell’arte, che sono state modificate per consentire il funzionamento robusto nell’ambiente realistico fornito dai simulatori ibridi. Inoltre, il software implementato in questo lavoro di tesi è stato ottimizzato per alleggerire il carico computazionale

e velocizzare l’esecuzione, così da ottenere una valutazione in real-time della performance chirurgica. Il lavoro ha permesso di integrare un simulatore di colecistectomia ibrido di un modulo per la valutazione

della performance chirurgica robusto, in grado di funzionare nonostante l’estrema eterogeneità della scena inquadrata.

Il metodo implementato è risultato in grado di localizzare i movimenti della punta dello strumento

chirurgico con una precisione comparabile agli studi condotti in letteratura, con una leggera discrepanza

relativa alla deviazione standard dell’errore sulla coordinata Z. Bisogna evidenziare in proposito che, nelle prove realizzate in questo lavoro, che mira ad estendere la valutazione della performance chirurgica

in simulatori che riproducono l’anatomia dell’addome, i dati sono soggetti al rumore prodotto dall’ambiente realistico della simulazione. Al contrario, gli studi in letteratura, utilizzano set-up specifici per ridurre questi disturbi. Le analisi effettuate hanno rivelato che è possibile minimizzare la media e la

varianza dell’errore, migliorando la qualità della telecamera utilizzata in termini di profondità di campo e tempo di esposizione ed utilizzando vernici meno riflettenti per la banda colorata. La robustezza

dell’algoritmo è stata verificata mediante una prova sperimentale nella quale due chirurghi hanno eseguito la legatura del dotto cistico. Da un punto di vista ingegneristico il modulo sviluppato è risultato

soddisfacente ma saranno necessarie nuove prove in cui si mettano a confronto i risultati ottenuti da

19

novizi e da chirurghi esperti durante le diverse fasi dell’operazione di colecistectomia. In questo modo sarà possibile identificare le differenze statisticamente significative per discernere i due gruppi.

Sebbene il software sia stato sviluppato per il simulatore di colecistectomia realizzato nel centro

EndoCAS, esso può essere facilmente applicato su simulatori diversi, semplicemente ripetendo la

calibrazione della telecamera integrata nello specifico laparoscopio.

Tra gli sviluppi futuri, ci si propone di sfruttare il tracking degli strumenti chirurgici mostrando in realtà

aumentata alcuni effetti delle azioni compiute dall’utente. Ad esempio, nel caso in cui il chirurgo incida per errore un vaso sanguigno sarebbe possibile visualizzare la conseguente perdita di sangue nella

posizione corrispondente.

In conclusione, il software sviluppato è in grado di estrarre i parametri necessari per valutare la

performance chirurgica in simulatori ibridi, con strutture complesse e realistiche nello scenario chirurgico

simulato. Il sistema non intralcia la strumentazione già presente nel set-up, richiedendo la sola

calibrazione della telecamera del laparoscopio e l’applicazione di due marker non ingombranti sugli strumenti.

20

Bibliografia

1) Condino S., C. M. (2011). How to build patient-specific synthetic abdominal anatomies. An innovative approach from physical toward hybrid surgical simulators. The International Journal of Medical Robotics and Computer Assisted Surgery, 202-2013.

2) Viglialoro R., F. V. (2012). A physical patient specific simulator for cholecystectomy training. Computer Assisted Radiology and Surgery.

3) Panait L., H. N.J. (2011). Completion of a Novel, Virtual-Reality-Based, Advanced Laparoscopic Curriculum Improves Advanced Laparoscopic Skills in Senior Residents. Journal of Surgical Education 68(2), 121-125.

4) Samset E., S. D. (2008). Augmented reality in surgical procedures. Human Vision and Electronic Imaging

5) Sierra R., K. J. (2005). Proficiency-based training: a new standard for laparoscopic simulation. Surgical Endoscopy.

6) Korndorffer J.K., C. J. (2005). Multicenter construct validity for Southwestern laparoscopic videotrainer stations. Surgical Resources, 114-119.

7) Oropesa I., C. M. (2012). Relevance of Motion-Related Assessment Metrics in Laparoscopic Surgery. Surgical Innovation, 299-312.

8) Chmarra M.K., K. W. (2007). The influence of experience and camera holding on laparoscopic instrument movements measured with the TrEndo tracking system. Surgical Endoscopy, 2069-2075.

9) Pellen M.G., H. L. (2009). Construct validity of the ProMIS laparoscopic simulator. Surgical Endoscopy, 130-139.

10) Horeman T., D. J. (2014). Assessment of laparoscopic skills based on force and motion parameters. Transactions on Biomedical Engineering, 805-813.

11) Yaniv Z., W. E. (2009). Electromagnetic tracking in the clinical environment. Medical Physics, 876 892.

12) Elfring R., D. L. (2010). Assessment of optical localizer accuracy for computer aided surgery systems. Computer Aided Surgery, 1-12.

13) Franz A.M., H. T. (2014). Electromagnetic Tracking in Medicine A Review of Technology, Validation, and Applications. Transactions on Medical Imaging.

14) Treibitz T., M. Z. (2012). Shape From Fluorescence. Proc. ECCV, vol. 7, 292 306

15) Sural S, Q. G. (2002). Segmentation and histogram generation using the HSV color space for image retrieval. Computer Science and Engineering.

16) Yu B. (1982). Determination of the appropriate cutoff frequency in the digital filter data smoothing procedure. B.S. Peking Institute of Physical Education.