Tesis Belén Estebanez - Diseño e Implantación de un Sistema Multimodal para un Asistente Quirúrgico

DISEÑO E IMPLANTACIÓN DE UN SISTEMA MULTIMODAL

PARA UN ASISTENTE QUIRÚRGICO

DEFENSA DE TESIS DOCTORAL

María Belén Estebanez Campos

Director: D. Víctor F. Muñoz MartínezCodirectora: Dña. Isabel García Morales

DEPARTAMENTO DE INGENIERÍA DE SISTEMAS Y AUTOMÁTICAUNIVERSIDAD DE MÁLAGA

Mayo 2013

Índice de Contenidos

1. Introducción

2. Objetivo

3. Modelado y Reconocimiento de Maniobras Quirúrgicas

4. Interfaz Multimodal y Colaboración de un Asistente Robótico

5. Implantación y Experimentos

6. Conclusiones y Líneas Futuras

1. Introducción

Introducción Objetivos Modelado y Reconocimiento Interfaz Multimodal Implantación y Experimentos

Cirugía Ortopédica Neurocirugía

ROBODOC NEUROMATE

Radioterapia

CYBERKNIFE

La Robótica en la Medicina

Conclusiones y Líneas Futuras

Cirugía Mínimamente Invasiva

1


AUTÓNOMOS COOPERATIVOS

TELEOPERADOS

Clasificación de Robots por Modos de Funcionamiento

ASISTENTES SEMI-AUTÓNOMOS


1


Robots en Cirugía Laparoscópica

TELE-OPERADOSASISTENTES

SEMI-AUTÓNOMOS


MULTI-BRAZOS CAMARÓGRAFOS

1


Robots en Cirugía Laparoscópica

TELE-OPERADOSASISTENTES

SEMI-AUTÓNOMOS


CÁMARA Y HERRAMIENTA DE

APOYO

1


LAPMAN de Medsys (Polet, 2004)

Robot ERM (Muñoz, 2006)

Da VINCI (Niemeyer, 2000)

Face MOUSe (Nishikawa, 2003)

Interfaz de Comunicación Persona-Máquina


1


Colaboración en Tareas Quirúrgicas


• Conocimiento estructurado de la intervención y sus tareas.

• Capacidad para extraer e interpretar información durante laintervención.

• Capacidad para realizar tareas de forma automática sin órdenesdirectas del cirujano.

CIRUJANO: Corta

YO: Sujeto

KalAR System (Ko, 2007)

1

2. Objetivo


Aportaciones

1. Sistema de reconocimiento de maniobras quirúrgicas.

2. Sistema de predicción de la localización del instrumental.

3. Interfaz multimodal con reconocimiento de maniobrasquirúrgicas y de voz para el manejo de un asistente semi-autónomo.

Diseñar una interfaz de comunicación persona-máquina para unrobot asistente semi-autónomo que colabore con el cirujanodurante las tareas quirúrgicas laparoscópicas, de manera intuitiva ynatural.

Objetivo


2

3. Modelado y Reconocimiento de Maniobras Quirúrgicas


Información de la intervención:

• Número de participantes.

• Tipos de instrumentos.

• Gestos realizados con los instrumentos.

• Trayectorias de los extremos de los instrumentos.

• Estado de apertura de las pinzas.

• Fuerzas y momentos en el extremo de la herramienta.

• Movimientos del cirujano: ojos, brazos, manos y gestos faciales.

Estudio de los Procedimientos Quirúrgicos

Movimientos de las dos herramientasquirúrgicas que maneja el cirujano.


3


INTERVENCIÓN

MANIOBRAS

INTERACCIONES DEL

INSTRUMENTAL

Comportamiento del Cirujano

Conjunto de modelos que permiten representar de formamatemática: la intervención y las maniobras quirúrgicas que laforman.


3


La interacción del instrumental se define como lalocalización relativa entre las dos herramientas y lasvelocidades de sus extremos en un instante de tiempo.

e1 e5 e7

INTERACCIÓN 1 INTERACCIÓN 5 INTERACCIÓN 7

Cada interacción representada con una etiqueta ei denominadacaracterística observable.

Interacción del Instrumental


3


Maniobra

Una maniobra es una secuencia determinada deinteracciones del instrumental.

INTERACCIONES

Interacción1

Interacción 2

Interacción 3

Interacción 4

Interacción 5

Interacción 6

MANIOBRAS

Maniobra 1

Maniobra 2

Maniobra 3

Maniobra 4

e1

e5

e2

e4

e3

e6

e1 e2 e3 e6

e2 e4 e5

e4 e3 e6e2

e4e5 e2e5

e6 e2 Maniobra 5


3


Intervención

La intervención es una secuencia de maniobras que, deforma ideal, tienen que completarse para finalizar laoperación.

INICIO

EXPONER CONDUCTO

PONER CLIP/NUDO EN CONDUCTO

CORTAR CONDUCTO

SEPARAR VESÍCULA

RECOGER VESÍCULA

FIN

ELEVAR / SUJETAR VESÍCULA

COLECISTECTOMÍA


3


Modelo de la Intervención

INICIO

FIN

Maniobra β0

T1

T2

T3T5,i

T4

i<=2

T7,i

i<=2 T6

T8

T9

Modelo determinista de la intervención

DM = {Δ,Tk, β0, βF}

• Δ : Conjunto de maniobras quirúrgicas:

{β0, β1, …, βF}.

• Tk : Transición entre maniobras.

• β0 : Maniobra inicial.

• βF : Maniobra final.

Maniobra β1

Maniobra β2

Maniobra β3

Maniobra β4

Maniobra βF

COLECISTECTOMÍA


3


Modelo de la Maniobra

Maniobra PATRÓN β3

Maniobra REAL β3

Maniobra REAL β3


Técnicas y herramientas para el modelado de maniobras:

3


Modelo de la Maniobra

Modelo Oculto de Markov (HMM)

λ= {SQ,E,A,B,π}

• Conjunto SQ de estados:

{q0,q1,…,qN}

• Matriz A:

A={aij}, aij=P[qt+1=qj|qt=qi]

• Conjunto E de características:

{e0,e1,…,eM}

• Matriz B:

B={bj(ek)}, bj(ek)=P[ek en t |qt=qi]

• Matriz inicial π


q1

a12

q2

q3

q4

a13

a24

a34

a23a32

a22

a33

e1

e2e4

e3

a11

a44

b2(e2)

b1(e1)

b4(e4)

b3(e3)3


Modelo de la Maniobra : Funcionamiento del HMM

e1


a11

a44

q1

a12

q2

q3

q4

a13

a24

a34

a23a32

a22

a33

e1

b1(e1)

3



e1

e2


q1

a12

q2

q3

q4

a13

a24

a34

a23a32

a22

a33

e2

a11

a44

b2(e2)

3



e1

e2

e3


q1

a12

q2

q3

q4

a13

a24

a34

a23a32

a22

a33e3

a11

a44

b3(e3)

3



e1 e2 e3

P O|λ = Pi O|λ

n

i=1

P1 O|λ = a11b1 e1 ∙ a12b2 e2 ∙ a13b3 e3

O =


q1

a12

q2

q3

q4

a13

a24

a34

a23a32

a22

a33

a11

a44

e1

b1(e1)

e2

b2(e2)

e3

b3(e3)

AlgoritmoForward-Backward

3


Reconocimiento de Maniobras Quirúrgicas

LIBRERÍA DE MANIOBRAS

P O|λ1 P O|λ2 P O|λ3 P O|λ4 P O|λ5

O = Maniobra real β3

λ1 λ2 λ3 λ4 λ5


3


Entrenamiento de Modelos de Maniobras

e1 e2 e3 e4 e5 e6

Matriz A Matriz B

q1 q2 q3 q4

q1

q2

q3

q4

0.2 0.2 0.2 0.2

0.1 0.3 0.2 0.4

0 0.2 0.6 0.2

0.3 0.3 0.2 0.2

0.1 0.2 0.2 0.1

0 0.1 0 0

0 0.2 0.1 0.6

0.3 0.3 0 0

0.2 0.2

0.5 0.4

0 0.1

0.1 0.3

q1

q2

q3

q4


Matriz A

Matriz B

Topología :

AlgoritmoBaum-Welch

3


Obtención de la Característica Observable ei

CODIFICADO

DE DATOS

PROCESADO DE DATOS

PREPROCESADO

DE DATOS

Localización de Herramientasdel Cirujano

CaracterísticaObservable

eiVCi

VCi = [c1 c2 c3 c4] i=1…M

M= nc1·nc2·nc3·nc4

α

D

vI vD


C1 C2

C3 C4

1

c1

20°100°

234

5

AlgoritmoK-Means

ei

3


• Velocidades de los extremos de las dos herramientas.

• Tiempo medio de duración de la próxima maniobra quirúrgica.

Umbralvv ID 22

maxmin, ttm UUt

Umbral

0 t

Umbral

mintU maxtU

e5 e1 e6 e5 e8 e2 e7

INICIO FIN

e5

Extracción de la Secuencia de la Maniobra del Flujo Quirúrgico

e6 e1


3


PROCESO FUERA DE LÍNEA

PROCESO EN LÍNEA

HMMs de lasmaniobras{λ 1, λ 2, …}

SISTEMA DE RECONOCIMIENTO

ALGORITMO

FORWARD-BACKWARD

SISTEMA DE ENTRENAMIENTO

ALGORITMO

BAUM-WELCH

MODELO DE

INTERVENCIÓN

CODIFICADO

DE DATOS

PROCESADO DE DATOS

PREPROCESADO

DE DATOS

MODELO DEL COMPORTAMIENTO DEL

CIRUJANO

Localización de Herramientasdel Cirujano


ei

Maniobra más probableen cada instante

Secuencia de Características Observables[e2 e1 e40 e5 …]

VCi

Secuencia de Características Observables[e2 e1 e40 e5 …]


ei

Maniobraβk

HMMs de lasmaniobras{λ 1, λ 2, …}

TransiciónTk

LIBRERÍA DE

MANIOBRAS

Interpretación de Maniobras Quirúrgicas

SELECTOR DE SECUENCIASVD , VI

Tiempo medio de βk

Maniobra Reconocida


3

4. Interfaz Multimodal y Colaboración de un Asistente Robótico


Modelo de la Intervención


Link video

SUTURA LAPAROSCÓPICA CON TÉCNICA ROSSER

4

Videos/SuturaRosser.wmv


FASE 1: INSERCIÓN DE LA AGUJAModelo de la Intervención


FASE 2

FASE 1

FASE 3

FASE 4

β 2

β 3

β 4β 5

β 6

β 8

β 9

β 7

β 11β 10

β 12 β 13

β 14

T1

T2

T3

T4

T5

T6

T7

T8T9

T10 i = 3

i < 3

T11

T12

T13

T14

β 1

β 0

T0

T15

Robot Cirujano

FASE 2: PUNCIÓN DE LA AGUJA

FASE 3: ANUDADO DEL HILO

FASE 4: CORTE DEL HILO

β k β k+1

Tk-1Tk

1

1

k

kEk

kE

Tk+1

k

kE

1

1k

kE

4


Interfaz Multimodal Propuesto

Comandode Voz

TrayectoriaPlanificada

MODELO DE LA

INTERVENCIÓN

INTERACCIÓN

AUTO-GUIADA

ManiobraReconocida

Estado Sk

Tk

Señal videoFuerzas yPares

LocalizaciónHerramienta

del Robot

LocalizaciónHerramientadel Cirujano

Señal de Audio

RECONOCIMIENTO

DE VOZ

PREDICCIÓN DE

LOCALIZACIÓN

CIRUJANO ROBOT

Tk o Ek

IDENTIFICACIÓN DE

MANIOBRAS LocalizaciónPredicha

Maniobra Más Probable

PRIORIDAD DE

COMANDOS

INTERFAZ MULTIMODAL


4


Interfaz Multimodal:Reconocimiento de Voz

SISTEMA DE RECONOCIMIENTO

ALGORITMO

FORWARD-BACKWARD

CLASIFICACIÓN

DE VECTORES

PROCESADO DE DATOS

EXTRACCIÓN DE

CARACTERÍSTICAS

MODELO DEL COMPORTAMIENTO DEL

CIRUJANO

Señal de Audio

Coeficientescepstrales

Secuencia de Características

Observablesei

HMMs de los comandos{λ 1, λ 2, …}

LIBRERÍA DE

COMANDOS

Comando de VozReconocida

LIBRERÍA DE

VECTORESCaracterísticaObservable

ei


0 0.5 1 1.5 2 2.5

x 104

-0.2

-0.1

0

0.1

0.2

Tiempo (segundos)

Señal de a

udio

Comando de voz: Siguiente

0 500 1000 1500 2000 2500 3000-0.2

-0.1

0

0.1

0.2

Tiempo (segundos)

Señal de a

udio

Comando de voz: Siguiente. Eliminación de silencios

4


Interfaz Multimodal:Predicción de la Localización de la Herramienta

FUNCIONES DE

ESTIMACIÓN

{fr , fθ}Vθ0 Localización

Herramientadel Cirujano

Predicha

Vr0

LocalizaciónHerramientadel Cirujano

Maniobra βMás Probable

CONSTRUCTOR DE

VECTORES HISTÓRICOS

{Vr0, Vθ0}r, θ


Vr0

Vr0

4

5. Implantación y Experimentos


Modelado y Reconocimiento de Maniobras

SIMULADOR

DE PACIENTE

SISTEMA DE

MODELADO Y

RECONOCIMIENTO

SENSOR 3D

TORRE LAPAROSCÓPICA

HERRAMIENTAS DEL

CIRUJANO CON

MARCAS PASIVAS

ROBOT ERM

CAPTURADORA

VIDEO

FUENTE LUZ FRÍA

SENSOR 3D

CÁMARA


5


TRASLADAR

Link video

SUJETAR TEJIDO

Link video

CLIPAR CONDUCTO

Link video

DISECCIÓN

Link video

CORTAR CONDUCTO

Link video


SUTURA

Link video


5

Videos/M1_Trasladar.wmv

Videos/M2_Sujetar.wmv

Videos/M3_Clipar.wmv

Videos/M5_Diseccion.wmv

Videos/M4_Cortar.wmv

Videos/belen_knot1.avi



ENTRENAMIENTO DE MANIOBRAS:

• Maniobras: 6

• Participantes: 2

• Nivel de destreza de los participantes:

- 1 cirujano experto

- 1 persona no experta

• Repeticiones de cada maniobra:

- 10 repeticiones (cirujano experto)

- 20 repeticiones (persona no experta)

• Topología del modelo de la maniobra (HMM):

-Matriz A: combinada (izquierda-derecha con posibilidad de retroceso)

- 50 estados y 2000 características observables

q1 q2 q3 q4

q1

q2

q3

q4

Matriz A combinada


5



TRASLADAR SUJETAR TEJIDO CLIPAR CONDUCTO

DISECCIÓNCORTAR CONDUCTO SUTURA

Pro

bab

ilid

ad

Pro

bab

ilid

ad

Pro

bab

ilid

ad

Pro

bab

ilid

ad

Pro

bab

ilid

ad

Pro

bab

ilid

ad

Estados Estados Estados

Estados Estados Estados


5



TRASLADAR SUJETAR TEJIDO CLIPAR CONDUCTO

DISECCIÓNCORTAR CONDUCTO SUTURA

Pro

bab

ilid

ad

Pro

bab

ilid

ad

Pro

bab

ilid

ad

Pro

bab

ilid

ad

Pro

bab

ilid

ad

Pro

bab

ilid

ad


5



RESULTADOS

Maniobra %Aciertos

Trasladar 95.00 %

Sujetar tejido 100.00 %

Clipar 100.00 %

Cortar conducto 50.00 %

Diseccionar 90.00 %

Suturar 100.00 %

RECONOCIMIENTO DE MANIOBRAS:

• Maniobras: 6

• Participantes: 2

• Nivel de destreza de los participantes:

- 2 personas no expertas

• 20 repeticiones de cada maniobra por

cada participante.


Maniobra ejecutada: Cortar conducto

Suturar Clipar Cortarconducto

Cortartejido

Sujetar Trasladar

dm

Log

[P(O

|λ)]

Suturar Clipar Cortarconducto

Cortartejido

Sujetar Trasladar

Maniobra ejecutada: Clipar Conducto

dm

Log

[P(O

|λ)]

5


Asistencia a la Sutura

BRAZO HERRAMIENTABRAZO CÁMARA

SIMULADOR PACIENTE

TORRE DE LAPAROSCOPIA

SENSOR 3D

HERRAMIENTA

CIRUJANO

CÁMARA

PLATAFORMA Y ENTORNO QUIRÚRGICO

LUZ FRÍA


5


Experimento 1: Módulo de Voz

Comando %Aciertos

Sutura 95.00 %

Siguiente 100.00 %

Repetir 100.00 %

Parar 80.00 %

Abrir 95.00 %

Cerrar 90.00 %

Comando %Aciertos

Sutura 90.00 %

Siguiente 80.00 %

Repetir 85.00 %

Retroceder 80.00 %

Arriba 75.00 %

Abajo 95.00 %

Izquierda 75.00 %

Derecha 80.00 %

Introducir 90.00 %

Extraer 55.00 %

Abrir 75.00 %

Cerrar 75.00 %

Parar 80.00 %

Participantes: 1

Repeticiones para el entrenamiento: 30

Repeticiones para la validación: 20

Topología de la matriz A: izquierdas-derechas

RESULTADOS


6 comandos

RESULTADOS

13 comandos


5


Maniobras T medio Utmin Utmax %Aciertos

β2 6.64 s 4.25 s 9.02 s 100.00 %

β4 15.36 s 11.19 s 19.53 s 100.00 %

β6 3.79 s 3.38 s 4.21 s 50.00 %

β8,i=1 8.75 s 7.79 s 9.72 s 90.00 %

β8,i=2 8.40 s 6.66 s 10.14 s 100.00 %

β8,i=3 8.69 s 7.78 s 9.59 s 100.00 %

β11 8.99 s 6.70 s 11.28 s 100.00 %

β13 7.33 s 6.36 s 8.30 s 100.00 %

Experimento 2: Módulo de Estimación de Maniobras

Número de participantes: 1

Repeticiones de cada maniobra βk para el entrenamiento: 5

Repeticiones de cada maniobra βk para el reconocimiento : 10

Topología combinada


RESULTADOS


5


Experimento 3: Módulo de Predicción de la Localización


Posición del extremo de la herramienta del cirujano en β4

Número de características observables


Lo

g [

P(O

|λ)]

Lo

g [

P(O

|λ)]

Sin predicciones

Con predicciones


5


Experimento 4: Sutura con Asistente Robótico



Fase 1: Inserción de la aguja.

Lo

g [

P(O

|λ)]

*** Maniobra β2

*** Maniobra β4

*** Maniobra β6

*** Maniobra β8,i=1

••• Maniobra β8,i=2

••• Maniobra β11



Reconocimiento de la maniobra β2

Link video 5

Videos/SuturaCISOBOTInsercion.wmv


Fase 2: Punción de la aguja.




Lo

g [

P(O

|λ)]

*** Maniobra β2

*** Maniobra β4

*** Maniobra β6







Link video 5

Videos/SuturaCISOBOTPuncion.wmv


Fase 3: Anudado del hilo.




Link video

Lo

g [

P(O

|λ)]

*** Maniobra β2

*** Maniobra β4

*** Maniobra β6






Reconocimiento de la maniobra β8,1

5

Videos/SuturaCISOBOTAnudado.wmv


Fase 3: Anudado del hilo.




Lo

g [

P(O

|λ)]

*** Maniobra β2

*** Maniobra β4

*** Maniobra β6






Lo

g [

P(O

|λ)]


*** Maniobra β2

*** Maniobra β4

*** Maniobra β6







Link video 5

Videos/SuturaCISOBOTAnudado.wmv


Fase 4: Corte del hilo.




Lo

g [

P(O

|λ)]

*** Maniobra β2

*** Maniobra β4

*** Maniobra β6







Lo

g [

P(O

|λ)]

*** Maniobra β2

*** Maniobra β4

*** Maniobra β6







Link video 5

Videos/SuturaCISOBOTCorte.wmv


RECONOCIMIENTO DE MANIOBRAS

Maniobras %Aciertos

β2 83.33 %

β4 100.00 %

β6 50.00 %

β8,i=1 100.00 %

β8,i=2 100.00 %

β8,i=3 100.00 %

β11 83.33 %

β13 100.00 %

Comandos% Aciertos

Sutura 60.00 %

Cerrar 85.71 %

Parar 60.00 %

Siguiente 100.00 %

RECONOCIMIENTO DE VOZ

Sutura Tiempo medioDesviación

típica

Con robot 190.6 s 12.5 s

Sin robot 115.5 s 21.5 s

PROCEDIMIENTO DE SUTURA




5

6. Conclusiones y Líneas Futuras


• Sistema para la identificación de maniobras quirúrgicas deforma aislada y en el contexto del protocolo.

• Sistema para la predicción de la localización del instrumentaldurante sombras de pequeña duración.

• Interfaz Multimodal que ofrece una “Comunicación más natural”.

• Automatización del procedimiento de sutura con el objetivo deobtener la colaboración que plantea el concepto “co-worker”.


Conclusiones

6


Aumentar la información que contienen las característicasobservables que describen las interacciones del instrumental.

Utilizar Dynamic Time Warping para el modelado de lasmaniobras quirúrgicas, además de contemplar la posibilidad decombinar HMM con otras modelos matemáticos.

Añadir la tolerancia a fallos al interfaz multimodal.

Predecir las maniobras en las zonas de sombras mediante el usode técnicas de aprendizaje.

Desarrollar un algoritmo de sutura más colaborativo.

Adaptar el interfaz multimodal a las técnicas SILS y HALS.


Líneas Futuras

6

Revistas (1+1)

Artículos Internacionales (4+1)

Artículos Nacionales (9)

B. Estebanez, P. del Saz-Orozco, I. García-Morales, V.F. Muñoz. “Interfaz multimodal para un asistenterobótico quirúrgico: uso de reconocimiento de maniobras quirúrgicas”. Revista Iberoamericana deAutomática e Informática Industrial (2010), Vol. 8, Núm. 2. ISSN: 1697-7912. ( En revisión ) B. Estebanez, P. del Saz-Orozco, I. García-Morales, V.F. Muñoz. “A Multimodal HMI forSurgical Robotic Assistant in Laparoscopic Surgery”. Transactions on Biomedical Engineering (2013).

B. Estebanez, G. Jiménez-Ruiz, V.F. Muñoz, E. Bauzano, J. Molina-Pérez. “Minimally invasive surgerymaneuver recognition based on surgeon’smodel”. IEEE/RSJ International Conference on Intelligent Robotsand Systems. (2009). ISBN: 978-1-4244-3804-4.B. Estebanez, P. del Saz-Orozco, V.F. Muñoz. ”Maneuvers recognition system for laparoscopic surgery”.International Workshop on Robotics in Alpe-Adria-Danube Region- RAAD (2010). B. Estebanez, E. Bauzano, V.F. Muñoz. “Surgical Tools Pose Estimation for a Multimodal HMI of a SurgicalRobotic Assistant”. IEEE/RSJ International Conference on Intelligent Robots and Systems (2011). ISBN: 978-1-61284-454-1. B. Estebanez, P. del Saz-Orozco, I. Rivas, E. Bauzano, V.F. Muñoz, I. García-Morales. “Maneuversrecognition in laparoscopic surgery: Artificial Neural Network and Hidden Markov model approaches”.International Conference on Biomedical Robotics and Biomechatronics, BioRob 2012. ISBN: 978-1-4577-1199-2. ( En revisión ) E. Bauzano, B. Estebanez, I. Garcia-Morales and V.F. Muñoz-Martinez. “Robot CollaborativeAssistance for Suture Procedures via Minimally Invasive Surgery”. IEEE/RSJ International Conference onIntelligent Robots and Systems (2013).

Aportaciones

DISEÑO E IMPLANTACIÓN DE UN SISTEMA MULTIMODAL

PARA UN ASISTENTE QUIRÚRGICO

DEFENSA DE TESIS DOCTORAL

María Belén Estebanez Campos

Director: D. Víctor F. Muñoz MartínezCodirectora: Dña. Isabel García Morales

DEPARTAMENTO DE INGENIERÍA DE SISTEMAS Y AUTOMÁTICAUNIVERSIDAD DE MÁLAGA

Mayo 2013

Health & Medicine

Tesis Belén Estebanez - Diseño e Implantación de un Sistema Multimodal para un Asistente Quirúrgico