52
Proyecto de Excelencia P07 - TEP - 02897 ROBOT ASISTENTE SEMIAUTÓNOMO DE DOS BRAZOS PARA INTERVENCIONES DE CIRUGÍA LAPAROSCÓPICA Enrique Bauzano Núñez D EPARTAMENTO DE I NGENIERÍA DE S ISTEMAS Y A UTOMÁTICA U NIVERSIDAD DE M ÁLAGA D EFENSA DE T ESIS D OCTORAL Directores: Dr. Víctor F. Muñoz Martínez Dra. Isabel García Morales

Tesis Enrique Bauzano - Robot Asistente Semiautónomo de dos Brazos para Intervenciones de Cirugía Laparoscópica

Embed Size (px)

Citation preview

Proyecto de Excelencia P07-TEP-02897

ROBOT ASISTENTE SEMIAUTOacuteNOMO DE

DOS BRAZOS PARA INTERVENCIONES DE

CIRUGIacuteA LAPAROSCOacutePICA

Enrique Bauzano Nuacutentildeez

DEPARTAMENTO DE INGENIERIacuteA DE SISTEMAS Y AUTOMAacuteTICA

UNIVERSIDAD DE MAacuteLAGA

DEFENSA DE TESIS DOCTORAL

Directores Dr Viacutector F Muntildeoz Martiacutenez

Dra Isabel Garciacutea Morales

IacuteNDICE

1 Introduccioacuten la roboacutetica en la cirugiacutea laparoscoacutepica

2 Contribuciones de la tesis

3 Control EMP para la navegacioacuten laparoscoacutepica de muntildeecas activas

4 Auto-Guiado planificacioacuten de caminos para evitar obstaacuteculos

5 Asistencia semiautoacutenoma a la sutura

6 Implantacioacuten en la plataforma CISOBOT

7 Resultados experimentales

8 Conclusiones y trabajos futuros

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CIRUGIacuteA LAPAROSCOacutePICA

Instrumental

Instrumental

Punto de

Fulcro

Columna de

Laparoscopia

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CIRUGIacuteA LAPAROSCOacutePICA PROBLEMAS

Ventajas para el pacientehellip

Menor tiempo de recuperacioacuten

Limitacioacuten de complicaciones post-operatorias

Cicatrices maacutes pequentildeas

hellipProblemas para el cirujano

Visioacuten

Imagen 2D

Iluminacioacuten con luz friacutea

Reduccioacuten del campo de visioacuten

Resolucioacuten y fidelidad de la imagen

Movilidad

Inversioacuten del movimiento

Escalado

Peacuterdida de tacto

Coordinacioacuten

Estabilidad de la caacutemara

Limpieza de la oacuteptica

Instrumental extra

SOLUCIOacuteN Usar la roboacutetica como herramienta para mitigar los problemas de la cirugiacutea laparoscoacutepica

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CLASIFICACIOacuteN DE ROBOTS QUIRUacuteRGICOS

bull Cirugiacutea remota

bull Sistemas maestro-

esclavo

bull Aumento de

capacidades del

cirujano

bull hellip

bull Comandados por el

cirujano

bull Guiado visual

bull Realidad

aumentada

bull hellip

bull Biopsias

bull Auto-guiado del instrumental

bull Maniobras quiruacutergicas automaacuteticas

bull hellip

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

TELECIRUGIacuteA Y ROBOTS TELE-ASISTIDOS

SISTEMA ZEUS

SE Butner M Ghodoussi ldquoTransforming a Surgical Robot for Human Telesurgeryrdquo IEEE Transactions

on Robotics and Automation Vol 19 no 5 2003

GS Guthart JK Salisbury ldquoThe Intuitive Telesurgery System Overview and Applicationrdquo

IEEE ICRA 2000 San Francisco CA (USA)

SISTEMA DA VINCI

J Dumpert et al ldquoSemi-autonomous Surgical Tasks Using

a Miniature In Vivo Surgical Robotrdquo IEEE EMBS 2009

Minneapolis MI (USA)

MINI ROBOT PARA NOTES

DJ Abbott et al ldquoDesign of an Endoluminal

NOTES Robotic Systemrdquo IEEE-RSJ IROS

2007 San Diego CA (USA)

SISTEMA VIACATH

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

ROBOTS CAMAROacuteGRAFOS

SISTEMA ERM

VF Muntildeoz et al ldquoControl movement scheme based on

manipulability concept for a surgical robotic assistantrdquo

IEEE ICRA 2006 Orlando FL (USA)

SISTEMA AESOP

P Chatzilias et al ldquoRobotic control in hand-assisted

laparoscopic nepherctomy in humans- a pilot studyrdquo IEEE

EMBS 2004 San Francisco CA (USA)

SISTEMA LAPMAN

R Polet J Donnez ldquoUsing a Laparoscope Manipulator

(LAPMAN) in Laparoscopic Gynecological Surgeryrdquo Surgical

Technology International pp 187-191

ΜROBOT PARA

COLONOSCOPIAS

G Chen MT Pham ldquoA Semi-autonomous Micro-robotic

System for Colonoscopyrdquo IEEE International Conference

on Robotics and Biomimetics 2009 Bangkok (Tailandia)

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

ROBOTS AUTOacuteNOMOS

SISTEMA PARA EXTIRPAR TUMORES DE PECHO

V Mallapragada et al ldquoToward a Robot-Assisted Breast

Intervention Systemrdquo IEEE Transactions on Mechatronics

vol 16 no 6 2011

SISTEMA ENDOBOT

H Kang JT Wen ldquoRobotic Assistants Aid Surgeons

During Minimally Invasive Proceduresrdquo IEEE

Engineering in Medicine and Biology 2001

ΜROBOT PARA BIOPSIAS

SR Platt et al ldquoVision and Task Assistance Using

Modular Wireless In Vivo Surgical Robotsrdquo IEEE

Transactions on Biomedical Engineering 2001

IMPLANTE COCLEAR

LB Kratchman et al ldquoDesign of a Bone-Attached

Parallel Robot for Percutaneous Cochlear Implantationrdquo

IEEE Transactions on Biomedical Engineering 2011

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CONTRIBUCIONES DE LA TESIS

PRINCIPAL OBJETIVO

Desarrollo de un robot quiruacutergico que asista al cirujano de forma semiautoacutenoma y

facilite alcanzar la cirugiacutea en solitario

CONTRIBUCIONES

1 Navegacioacuten Laparoscoacutepica Control EMP para muntildeecas de actuacioacuten directa

2 Sistema de auto-guiado basado en comportamientos

3 Asistencia semiautoacutenoma a la sutura

Implantacioacuten en el sistema de dos brazos CISOBOT

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

PROBLEMA 1 NAVEGACIOacuteN ESFEacuteRICA

Base del Robot

B

Brazo Robot

Muntildeeca

Punto de

Fulcro

I

Endoscopio

Y

X

Z

Z

Y

X

Abdomen

β

α

ρ

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

NAVEGACIOacuteN ESFEacuteRICA MECANISMOS

MUNtildeECA PASIVA CENTRO DE ROTACIOacuteN REMOTO ACTUACIOacuteN DIRECTA

No ejerce fuerzas en abdomen

Incertidumbre debido a la

holgura en el trocar

No ejerce fuerzas en abdomen

(previa calibracioacuten)

Requiere instrumental especiacutefico

Mecanismo voluminoso

No requiere instrumental especiacutefico

Poco volumen ocupado

Puede ejercer fuerzas en el

abdomen

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

MUNtildeECAS ACTIVAS NAVEGACIOacuteN

1 Rotacioacuten alrededor del fulcro estimado IDesplaza el fulcro real I sobre el abdomen

2 Simulacioacuten de muntildeeca pasivaRotacioacuten de la herramienta alrededor de la muntildeeca hasta

eliminar el desplazamiento del fulcro

3 Correccioacuten del aacutengulo de altitudSeguir recorrido hasta orientar la herramienta con el

aacutengulo deseado inicialmente

I

LL-L

XI

ZI

I0

I

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

1 Equilibrio de fuerzas y pares

2 Equilibrio de pares con F y Fβ

3 Aproximacioacuten geomeacutetrica de separacioacuten eβ

4 Aacutengulo de compensacioacuten φr

MUNtildeECAS ACTIVAS ESTIMACIOacuteN DEL FULCRO

fFIX

IZsFsM

F

B

r

I I

e

0

F

A

0I

M

0

ws

F

s

)d(WrM

WF

f

f

FρFρ

FF

sinF

M

eF

re

cos

sinFr

cos

sinFF

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

MUNtildeECAS ACTIVAS ESQUEMA DE CONTROL

CONTROL EMP

CONTROL ESFEacuteRICO

CAPA-2

CAPA-3

CAPA-1Aacutengulo

deseado

Fuerzas y

Pares

CONTROL

CARTESIANO

BRAZO ROBOT

Referencia esfeacuterica pasiva

Referencia esfeacuterica activa

Referencia

articular

ESTIMADOR

DEL FULCRO

Posicioacuten

articular

Distancia Exterior

estimada

Aacutengulo actual

CONTROLADOR MUNtildeECA ACTIVA

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CAPA 3 CONTROL CARTESIANO

CONTROL CARTESIANO

Planificador

Cartesiano

+

ndash xK)(kTX r

)(kTX r

++

BRAZO

ROBOT)(1 J

)(kTr

)(F

)(kT

)(kTX

Conversioacuten

Cartesiano a Arco

recorrido

T

)(kTLr

)(kTL

Ley de Control rxr XXKJ ~)(1

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CAPA 2 CONTROL EMP

CONTROL EMP

ControlPI

Estimador del Fulcro

ndash+

Sensor de Fuerzas

2T

)( rr

)( 2kT

))(( 2kT

1dF )( 2kTFr )( 2kTr+

ndash

)( 2kTr )( 2kTLr

ndash

+

ndash

+

)( 2kTFc

)( 2kTFs)( 2kTF

)( 2kT

)( 2kTW

)( 2kTL

CAPA-3

1

221

1TI

eK

)1(

)1(

22

2

T

T

Pe

eK

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CAPA 1 CONTROL ESFEacuteRICO

CAPA-2

+ndash

L)( dd

)( rr

)(

Control PI

)( cc

Generador de

trayectorias

)( ff

)1(

11

1

1

1

1

1

1

T

T

P

TI

e

eK

eK

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

ESTABILIDAD DEL CONTROLADOR

15

20

25

15

20

25

0

02

04

06

08

1

Distancia real (cm)Distancia estimada K (cm)

05

1

15

2

05

1

15

2

0

05

1

Rigidez real (Nmm)Rigidez estimada (Nmm)

Criterio Los autovalores son inferiores a 1

2 50

Capa 1 Control Esfeacuterico Capa 2 Control EMP

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

DEMO CONTROL EMP

time (sec)fo

rce

s (N

)30

2

-2

0

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

PROBLEMA 2 PLANIFICACIOacuteN DE CAMINOS

Herramienta del

Robot

Caacutemara Herramienta del

Cirujano

Abdomen

Trayectoria

del Robot

Objetivo

Campo de Visioacuten

C

rp ro

O

GS

GC

GR

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SISTEMA DE MOVIMIENTO AUTO-GUIADO

SELECTOR DE

COMPORTAMIENTOS

PLANIFICADOR

LOCAL

CORRECCIOacuteN DE

VELOCIDAD

SEGUIMIENTO

DEL CIRUJANO

pv

1v1c

2v2c

3v3c

or

1c

2c

3c

Objetivo

Trayectoria Planificada

Herramienta del Cirujano

Herramienta del Robot

sv

rv

s1+

+

+

pr

kT

Tk

kT

Tkdtcccdt

)1(332211r

)1(prp vvvrvrr

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SELECTOR DE COMPORTAMIENTOS

67

3 2

Esfera de direcciones

14

58

rv

C CY

CX

CZ

sv

vr

vs

1 2 3 4 5 6 7 8

1 A L ML L C L ML L

2 L A L ML L C L ML

3 C MC A L C MC C L

4 MC C L A MC C L C

5 C L ML L A L ML L

6 L C L ML L A L ML

7 C MC C L C MC A L

8 MC C L C MC C L A

c1

c2

c3

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

COMPORTAMIENTO 1 PLANIFICADOR LOCAL

atrFrepF

RM SMf

RM

O

RG

SG

L

l

i

repatr UU i

repatr1 FFF

0

02

0

0

2

ˆˆ11

2

F

rF

rep

fatr

f

rep

atr

rK

L

l

K

dt

m1

11

Fv

Proceso Planificador_Local

1) Localizar el punto guiacutea MR2) Calcular el objetivo asociado al punto guiacutea MfR3) Calcular la fuerza F1 =gt Velocidad del punto guiacutea v14) Calcular la velocidad en el efector final del robot

5) Ejecutar movimiento del robot

6) Si no se ha alcanzado el objetivo O con el extremo de la herramienta volver a 1)

Fin de Procedimiento

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

COMPORTAMIENTO 2 CORRECCIOacuteN DE VELOCIDAD

Recta de

Colisioacuten

CP

RG

SG

SP

rv

sv

)( cR tP)( cS tP

RP

r2 vv 2K

dc

tc

Cero Baja Media Lejos Muy Lejos

Cero Maacutex Maacutex Muy Alta Muy Alta Alta

Bajo Maacutex Muy Alta Alta Alta Media

Medio Muy Alta Alta Media Media Poca

Bastante Muy Alta Alta Media Poca Nula

Mucho Alta Media Poca Nula Nula

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

COMPORTAMIENTO 3 SEGUIMIENTO DEL CIRUJANO

GR GS

s3 vF 3B dt

m

Bs3 vv

1

3

3

Proceso Auto_Guiado

1) Calcular los pesos de cada comportamiento c1 c2 c32) Calcular las velocidades de los tres comportamientos v1 v2 v3 3) Ponderar cada velocidad con su peso sumar e integrar =gt siguiente punto del camino rp4) Ejecutar movimiento del robot

5) Si el robot no ha llegado al objetivo ro volver a 1)

Fin de Procedimiento

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

DEMO MOVIMIENTO AUTO-GUIADO

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

PROBLEMA 3 ASISTENCIA A LA SUTURA

EndoscopioHerramienta del

cirujano

Herramienta

auxiliar

Sujecioacuten

del hiacutegado

Escenario de Colecistectomiacutea

Protocolo

1 Elevar hiacutegado para exponer la

vesiacutecula

2 Cortar triaacutengulo de Calot y exponer

arteria y conducto ciacutesticos

3 Suturar arteria y conducto ciacutesticos

para aislar un punto intermedio

4 Cortar arteria y conducto ciacutesticos

5 Separar vesiacutecula

6 Extraer vesiacutecula del paciente

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA CONCEPTOS PREVIOS

bull Gesto Accioacuten identificable maacutes elemental de las herramientas

laparoscoacutepicas (tirar del hilo de sutura presionar tejidohellip)

bull Maniobra Secuencia de gestos que componen una actuacioacuten

definible sobre el paciente (puncioacuten corte anudadohellip)

bull Procedimiento Maniobra o secuencia de maniobras que completan

una tarea propuesta por un protocolo quiruacutergico

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA MEacuteTODO DE ROSSER (I)

Laparoscopic Suturing httpwwwyoutubecomwatchv=PmdPAVFgNXU

1 Insertar aguja y centrar Agarrar aguja

2 Presionar tejido Posicionar aguja para puncioacuten

3 Agarrar aguja tras puncioacuten Puncioacuten mediante giro de 60deg-90deg

4 Extraer aguja y tirar del hilo Soltar aguja y sostener tejido

5 Colocar aguja a la sutura Desplazar herramienta sobre el hilo

6 Mantener posicioacuten Girar 2x sentido horario

7 Tensar hilo en sentido nordeste Agarrar extremo del hilo y mantener

MANO IZQUIERDA MANO DERECHA

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA MEacuteTODO DE ROSSER (II)

Problemas

Gran cantidad de gestos entre las dos manos

Compleja sincronizacioacuten entre las herramientas laparoscoacutepicas

Solucioacuten

Asistir al cirujano manejando una herramienta con un robot

Ventajas

Menor tiempo de aprendizaje en sincronizar ambas manos

La otra mano queda libre para otras tareas no automatizables

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA DIAGRAMA DE ESTADOS (I)

PUNZADA DE LA AGUJAINSERCIOacuteN DE LA AGUJA

ANUDADOCORTE DEL HILO

S0

S2

S1 S3

S4

S5

S6

S8

S9 S7

S11

S10S12

S13

S14

T1

T2

T3

T4

T5

T6

T7T8

T9T10

i = 3 i lt 3

T11T12T13T14

T0

T15

S0 Inicio y preparacioacuten de sutura

S1 Insertar y centrar aguja en pantalla

S2 Coger aguja y colocar en punto de

sutura

S3 Fijar tejido

S4 Punzar tejido extraer aguja y tirar

del hilo

S5 Separar del tejido y abrir pinza

S6 Colocar aguja en pinza izquierda

S7 Posicionar aguja

S8 Rotar alrededor del hilo

S9 Tirar del hilo y cerrar nudo

S10 Acercar aguja a punto de sutura

S11 Coger ambos extremos del hilo y

tensar

S12 Coger hilo bajo pinza derecha

S13 Cambiar herramienta y cortar hilo

S14 Extraer hilo y aguja

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA DIAGRAMA DE ESTADOS (II)

PUNZADA DE LA AGUJAINSERCIOacuteN DE LA AGUJA

ANUDADOCORTE DEL HILO

S0

S2

S1 S3

S4

S5

S6

S8

S9 S7

S11

S10S12

S13

S14

T1

T2

T3

T4

T5

T6

T7T8

T9T10

i = 3 i lt 3

T11T12T13T14

T0

T15

T0 Comando de voz ldquoSuturardquo

T1 Robot en posicioacuten

T2 Gesto de cirujano reconocido

T3 Fuerza aplicada sobre tejido

T4 Gesto de cirujano reconocido

T5 Robot en posicioacuten

T6 Gesto de cirujano reconocido

T7 Robot en posicioacuten

T8 Gesto de cirujano reconocido

T9 Fuerza aplicada sobre el hilo

T10 Robot en posicioacuten

T11 Gesto de cirujano reconocido

T12 Robot en posicioacuten + fuerza

aplicada sobre el hilo

T13 Gesto de cirujano reconocido

T14 Robot en posicioacuten

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA DIAGRAMA DE ESTADOS (III)

PUNZADA DE LA AGUJAINSERCIOacuteN DE LA AGUJA

ANUDADOCORTE DEL HILO

S0

S2

S1 S3

S4

S5

S6

S8

S9 S7

S11

S10S12

S13

S14

T1

T2

T3

T4

T5

T6

T7T8

T9T10

i = 3 i lt 3

T11T12T13T14

T0

T15

Sk+1

Sk

Tk-1

Tk

Tk+1

1k

kE

1

1

k

kE

k

kE 1

k

kE

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA ASISTENTE DE ESTADOS

ASISTENTE DE ESTADOS

INTERACCIOacuteN

AUTO-GUIADA

Trayectoria

Planificada

Localizacioacuten

Cirujano

Localizacioacuten

del Robot

INTERFAZ DE

VOZ

Fuerzas y

Pares

Posicioacuten

Aguja

Sentildeal de

Audio

Comando

de Voz

RECONOCEDOR

DE GESTOS

ASISTENTE DE SUTURA

Activacioacuten

Tk Estado Sk

Activacioacuten

Tk

Funciones

1) Alcanzar posicioacuten objetivo

2) Aplicar fuerza en tejidohilo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA INTERACCIOacuteN AUTO-GUIADA

INTERACCIOacuteN AUTO-GUIADA

SISTEMA

ROBOT+-

1

AKoF

F

pr

MOVIMIENTO

AUTO-GUIADO

cx

or

cr r

D

DI

CONTROL

PI

++

D

-+ K

er

++

xcF

co FF

coc FFx 1

AKLey de Control

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

DEMO ASISTENCIA A LA SUTURA

Maniobra 1 Insercioacuten Maniobra 2 Puncioacuten

Maniobra 3 AnudadoManiobra 4 Corte del hilo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

IMPLANTACIOacuteN PLATAFORMA CISOBOT

Brazo Instrumental

Quiruacutergico

Brazo Caacutemara

Laparoscoacutepica

Estructura Robot

Asistente

Marca 3D

Sensor de

Fuerzas

Muntildeeca Pasiva

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT ENTORNO QUIRUacuteRGICO

Columna de

Laparoscopia

Tracker 3D

Brazo Caacutemara

Laparoscoacutepica

Brazo Instrumental

Quiruacutergico

Simulador de

Paciente

Herramienta del

Cirujano

Caacutemara

Laparoscoacutepica

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT ARQUITECTURA DE CONTROL

SENSORES ENTORNOASISTENTE DE ESTADOS

CIRUJANO

INTERACCIOacuteN

AUTO-GUIADA

BRAZOS ROBOTS

CONTROL DE

BAJO NIVEL

PACIENTE

Interaccioacute

n

Ciru

jano

Herramientas Robot

Trayectoria Planificada

Localizacioacuten Cirujano

Trayectoria ControladaLo

caliz

acioacute

n R

ob

ot

ROBOT ASISTENTE

SENSOR DE

FUERZAS

INTERFAZ DE

VOZ

Esfuerzos

Imagen Laparoscoacutepica

Contacto Robot

Aguja

Herramienta Cirujano

Activacioacuten

Sentildeal de Audio

TRACKER 3D

Comando de Voz

RECONOCEDOR

DE GESTOS

MOacuteDULO DE

VISIOacuteN

ASISTENTE

DE SUTURA Activacioacuten

Nuevo Estado

Nuevo Estado

ADQUISICIOacuteN

AUDIO

Voz del cirujano

Gesto Quiruacutergico

SIST

EMA

TOLE

RA

NTE

AFA

LLO

S

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT SISTEMA TOLERANTE A FALLOS

Evento Deteccioacuten Actuacioacuten

Fallo Hardware - Sentildeal de Fallo Hardware Parar el sistema

Colisioacuten entre brazos - Anaacutelisis de Colisioacuten cinemaacuteticaParar brazo de la caacutemara

mientras haya riesgo

Colisioacuten con herramienta

del cirujano

- Cambio inusual del Fulcro Estimado

- Herramienta del cirujano cerca del robotParar robot mientras haya riesgo

Colisioacuten con tejidooacuterganos- Cambio inusual del Fulcro Estimado

- Herramienta del cirujano lejos del robotExtraer herramienta del robot

Fallo de sensores- Medicioacuten anoacutemala y constante

independiente de la actuacioacuten

Mensaje de alerta y parar si

persiste

0 2 4 6 8 10 12 14 16 180

20

40

60

80

100

Dis

tan

cia

s (

mm

)

Distancia Robot-Objetivo

Distancia Robot-Cirujano

0 2 4 6 8 10 12 14 16 18-10

-5

0

5

10

15

20

Tiempo (segundos)

Fu

erz

as (

N)

Fx

Fy

Fz

0 2 4 6 8 10 12 14 16 18 200

20

40

60

80

100

Dis

tan

cia

s (

mm

)

Distancia Robot-Objetivo

Distancia Robot-Cirujano

0 2 4 6 8 10 12 14 16 18 20-20

-15

-10

-5

0

5

10

Tiempo (segundos)

Fu

erz

as (

N)

Fx

Fy

Fz

Co

lisioacute

n c

on

herr

am

ien

ta

Colisioacuten con tejido

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT EXPERIMENTOS PROPUESTOS

1 Movimiento esfeacuterico mediante la aplicacioacuten del control EMP

2 Movimiento auto-guiado con la herramienta del cirujano en

movimiento

3 Procedimiento de sutura Insercioacuten Puncioacuten Anudado y Corte

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 1 MOVIMIENTO ESFEacuteRICO

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 2 MOVIMIENTO AUTO-GUIADO

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (I)

Maniobra 1 Insercioacuten

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (II)

Maniobra 2 Puncioacuten

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (III)

Maniobra 3 Anudado

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (IV)

Maniobra 4 Corte del Hilo

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CONCLUSIONES

El gran esfuerzo investigador en torno a la roboacutetica quiruacutergica la destaca

como una herramienta de gran utilidad en cirugiacutea laparoscoacutepica

Tres grupos de robots quiruacutergicos tele-manipuladores camaroacutegrafos y

sistemas autoacutenomos

En un punto intermedio los robots semiautoacutenomos se perfilan como los

candidatos para la cirugiacutea en solitario

Contribuciones de esta tesis para los robots semiautoacutenomos

1 Movimiento esfeacuterico del instrumental mediante muntildeecas activas

2 Sistema auto-guiado para la planificacioacuten de movimientos en el interior

de la cavidad abdominal

3 Asistencia semiautoacutenoma al procedimiento laparoscoacutepico de sutura

Implantacioacuten de las contribuciones en el prototipo CISOBOT

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

LIacuteNEAS DE INVESTIGACIOacuteN FUTURAS

Ampliar la asistencia al cirujano en otros procedimientos ademaacutes de la

sutura corte transporte agarrehellip

Modelar complicaciones producidas con mayor frecuencia durante la

ejecucioacuten de los procedimientos anteriores (error en corte limpieza de

sangradohellip)

Modificar el robot para manejar instrumental a traveacutes de un solo orificio en

teacutecnicas SILS (Single Input Laparoscopic Surgery)

Eliminar la hipoacutetesis de herramientas riacutegidas para mejorar la localizacioacuten del

punto de fulcro e interaccioacuten con el cirujano y el paciente

Cambiar el modo secuencial del diagrama de estados de la sutura para

permitir una interaccioacuten simultaacutenea con el cirujano

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

APORTACIONES CIENTIacuteFICAS

CONGRESOS INTERNACIONALES (6) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoActive Wrists Endoscope Navigation in Robotized Laparoscopic

Surgeryrdquo IEEE International Conference on Mechatronics (ICM) Abril 2009 Maacutelaga (Espantildea) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoThree-Layer Control for Active Wrists in Robotized Laparoscopic

Surgeryrdquo IEEE International Conference on Intelligent Robots and Systems (IROS) Octubre 2009 St Louis (EEUU) B Estebanez G Jimeacutenez VF Muntildeoz I Garciacutea-Morales E Bauzano J Molina ldquoMinimally Invasive Surgery Maneuver

Recognition Based on Surgeon Modelrdquo IEEE International Congerence on Intelligent Robots and Systems (IROS) Octubre 2009 St Louis (EEUU)

E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoA Multi-Behavior Algorithm for Auto-Guided Movements in Surgeon Assistancerdquo IEEE International Workshop on Robotics in Alpe-Adria-Danube Region (RAAD) Junio 2010 Budapest (Hungriacutea)

Premio al mejor artiacuteculo de estudiante (Best Paper Award) E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoAuto-Guided Movements on Minimally Invasive Surgery for Surgeon Assistancerdquo

IEEE International Conference on Intelligent Robots and Systems (IROS) Octubre 2010 Taipei (Taiwaacuten) B Estebanez E Bauzano VF Muntildeoz ldquoSurgical Tools Pose Estimation for a Multimodal HMI of a Surgical Robot Assistantrdquo IEEE

International Conference on Intelligent Robots and Systems (IROS) Septiembre 2011 San Francisco (EEUU)

LIBROS Y REVISTAS (2) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoControl Methodologies for Endoscope Navigation in Robotized

Laparoscopic Surgeryrdquo Research and Education in Robotics Ed Springer-Verlag (Berliacuten Heidelberg) 2010 Vol 82 pp 11-22 ISBN 978-3-642-16369

E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoA Multi-Behavior Algorithm for Auto-Guided Movements in Surgeon Assistancerdquo International Journal of Mechanics and Control (JoMaC) Ed Levrotto amp Bella (Torino Italia) 2011 Vol 12 no 1 ISSN 1590-8844

CONGRESOS NACIONALES (10) ndash POSTERS Y WORKSHOPS

Proyecto de Excelencia P07-TEP-02897

ROBOT ASISTENTE SEMIAUTOacuteNOMO DE

DOS BRAZOS PARA INTERVENCIONES DE

CIRUGIacuteA LAPAROSCOacutePICA

Enrique Bauzano Nuacutentildeez

DEPARTAMENTO DE INGENIERIacuteA DE SISTEMAS Y AUTOMAacuteTICA

UNIVERSIDAD DE MAacuteLAGA

DEFENSA DE TESIS DOCTORAL

Directores Dr Viacutector F Muntildeoz Martiacutenez

Dra Isabel Garciacutea Morales

IacuteNDICE

1 Introduccioacuten la roboacutetica en la cirugiacutea laparoscoacutepica

2 Contribuciones de la tesis

3 Control EMP para la navegacioacuten laparoscoacutepica de muntildeecas activas

4 Auto-Guiado planificacioacuten de caminos para evitar obstaacuteculos

5 Asistencia semiautoacutenoma a la sutura

6 Implantacioacuten en la plataforma CISOBOT

7 Resultados experimentales

8 Conclusiones y trabajos futuros

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CIRUGIacuteA LAPAROSCOacutePICA

Instrumental

Instrumental

Punto de

Fulcro

Columna de

Laparoscopia

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CIRUGIacuteA LAPAROSCOacutePICA PROBLEMAS

Ventajas para el pacientehellip

Menor tiempo de recuperacioacuten

Limitacioacuten de complicaciones post-operatorias

Cicatrices maacutes pequentildeas

hellipProblemas para el cirujano

Visioacuten

Imagen 2D

Iluminacioacuten con luz friacutea

Reduccioacuten del campo de visioacuten

Resolucioacuten y fidelidad de la imagen

Movilidad

Inversioacuten del movimiento

Escalado

Peacuterdida de tacto

Coordinacioacuten

Estabilidad de la caacutemara

Limpieza de la oacuteptica

Instrumental extra

SOLUCIOacuteN Usar la roboacutetica como herramienta para mitigar los problemas de la cirugiacutea laparoscoacutepica

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CLASIFICACIOacuteN DE ROBOTS QUIRUacuteRGICOS

bull Cirugiacutea remota

bull Sistemas maestro-

esclavo

bull Aumento de

capacidades del

cirujano

bull hellip

bull Comandados por el

cirujano

bull Guiado visual

bull Realidad

aumentada

bull hellip

bull Biopsias

bull Auto-guiado del instrumental

bull Maniobras quiruacutergicas automaacuteticas

bull hellip

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

TELECIRUGIacuteA Y ROBOTS TELE-ASISTIDOS

SISTEMA ZEUS

SE Butner M Ghodoussi ldquoTransforming a Surgical Robot for Human Telesurgeryrdquo IEEE Transactions

on Robotics and Automation Vol 19 no 5 2003

GS Guthart JK Salisbury ldquoThe Intuitive Telesurgery System Overview and Applicationrdquo

IEEE ICRA 2000 San Francisco CA (USA)

SISTEMA DA VINCI

J Dumpert et al ldquoSemi-autonomous Surgical Tasks Using

a Miniature In Vivo Surgical Robotrdquo IEEE EMBS 2009

Minneapolis MI (USA)

MINI ROBOT PARA NOTES

DJ Abbott et al ldquoDesign of an Endoluminal

NOTES Robotic Systemrdquo IEEE-RSJ IROS

2007 San Diego CA (USA)

SISTEMA VIACATH

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

ROBOTS CAMAROacuteGRAFOS

SISTEMA ERM

VF Muntildeoz et al ldquoControl movement scheme based on

manipulability concept for a surgical robotic assistantrdquo

IEEE ICRA 2006 Orlando FL (USA)

SISTEMA AESOP

P Chatzilias et al ldquoRobotic control in hand-assisted

laparoscopic nepherctomy in humans- a pilot studyrdquo IEEE

EMBS 2004 San Francisco CA (USA)

SISTEMA LAPMAN

R Polet J Donnez ldquoUsing a Laparoscope Manipulator

(LAPMAN) in Laparoscopic Gynecological Surgeryrdquo Surgical

Technology International pp 187-191

ΜROBOT PARA

COLONOSCOPIAS

G Chen MT Pham ldquoA Semi-autonomous Micro-robotic

System for Colonoscopyrdquo IEEE International Conference

on Robotics and Biomimetics 2009 Bangkok (Tailandia)

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

ROBOTS AUTOacuteNOMOS

SISTEMA PARA EXTIRPAR TUMORES DE PECHO

V Mallapragada et al ldquoToward a Robot-Assisted Breast

Intervention Systemrdquo IEEE Transactions on Mechatronics

vol 16 no 6 2011

SISTEMA ENDOBOT

H Kang JT Wen ldquoRobotic Assistants Aid Surgeons

During Minimally Invasive Proceduresrdquo IEEE

Engineering in Medicine and Biology 2001

ΜROBOT PARA BIOPSIAS

SR Platt et al ldquoVision and Task Assistance Using

Modular Wireless In Vivo Surgical Robotsrdquo IEEE

Transactions on Biomedical Engineering 2001

IMPLANTE COCLEAR

LB Kratchman et al ldquoDesign of a Bone-Attached

Parallel Robot for Percutaneous Cochlear Implantationrdquo

IEEE Transactions on Biomedical Engineering 2011

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CONTRIBUCIONES DE LA TESIS

PRINCIPAL OBJETIVO

Desarrollo de un robot quiruacutergico que asista al cirujano de forma semiautoacutenoma y

facilite alcanzar la cirugiacutea en solitario

CONTRIBUCIONES

1 Navegacioacuten Laparoscoacutepica Control EMP para muntildeecas de actuacioacuten directa

2 Sistema de auto-guiado basado en comportamientos

3 Asistencia semiautoacutenoma a la sutura

Implantacioacuten en el sistema de dos brazos CISOBOT

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

PROBLEMA 1 NAVEGACIOacuteN ESFEacuteRICA

Base del Robot

B

Brazo Robot

Muntildeeca

Punto de

Fulcro

I

Endoscopio

Y

X

Z

Z

Y

X

Abdomen

β

α

ρ

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

NAVEGACIOacuteN ESFEacuteRICA MECANISMOS

MUNtildeECA PASIVA CENTRO DE ROTACIOacuteN REMOTO ACTUACIOacuteN DIRECTA

No ejerce fuerzas en abdomen

Incertidumbre debido a la

holgura en el trocar

No ejerce fuerzas en abdomen

(previa calibracioacuten)

Requiere instrumental especiacutefico

Mecanismo voluminoso

No requiere instrumental especiacutefico

Poco volumen ocupado

Puede ejercer fuerzas en el

abdomen

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

MUNtildeECAS ACTIVAS NAVEGACIOacuteN

1 Rotacioacuten alrededor del fulcro estimado IDesplaza el fulcro real I sobre el abdomen

2 Simulacioacuten de muntildeeca pasivaRotacioacuten de la herramienta alrededor de la muntildeeca hasta

eliminar el desplazamiento del fulcro

3 Correccioacuten del aacutengulo de altitudSeguir recorrido hasta orientar la herramienta con el

aacutengulo deseado inicialmente

I

LL-L

XI

ZI

I0

I

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

1 Equilibrio de fuerzas y pares

2 Equilibrio de pares con F y Fβ

3 Aproximacioacuten geomeacutetrica de separacioacuten eβ

4 Aacutengulo de compensacioacuten φr

MUNtildeECAS ACTIVAS ESTIMACIOacuteN DEL FULCRO

fFIX

IZsFsM

F

B

r

I I

e

0

F

A

0I

M

0

ws

F

s

)d(WrM

WF

f

f

FρFρ

FF

sinF

M

eF

re

cos

sinFr

cos

sinFF

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

MUNtildeECAS ACTIVAS ESQUEMA DE CONTROL

CONTROL EMP

CONTROL ESFEacuteRICO

CAPA-2

CAPA-3

CAPA-1Aacutengulo

deseado

Fuerzas y

Pares

CONTROL

CARTESIANO

BRAZO ROBOT

Referencia esfeacuterica pasiva

Referencia esfeacuterica activa

Referencia

articular

ESTIMADOR

DEL FULCRO

Posicioacuten

articular

Distancia Exterior

estimada

Aacutengulo actual

CONTROLADOR MUNtildeECA ACTIVA

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CAPA 3 CONTROL CARTESIANO

CONTROL CARTESIANO

Planificador

Cartesiano

+

ndash xK)(kTX r

)(kTX r

++

BRAZO

ROBOT)(1 J

)(kTr

)(F

)(kT

)(kTX

Conversioacuten

Cartesiano a Arco

recorrido

T

)(kTLr

)(kTL

Ley de Control rxr XXKJ ~)(1

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CAPA 2 CONTROL EMP

CONTROL EMP

ControlPI

Estimador del Fulcro

ndash+

Sensor de Fuerzas

2T

)( rr

)( 2kT

))(( 2kT

1dF )( 2kTFr )( 2kTr+

ndash

)( 2kTr )( 2kTLr

ndash

+

ndash

+

)( 2kTFc

)( 2kTFs)( 2kTF

)( 2kT

)( 2kTW

)( 2kTL

CAPA-3

1

221

1TI

eK

)1(

)1(

22

2

T

T

Pe

eK

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CAPA 1 CONTROL ESFEacuteRICO

CAPA-2

+ndash

L)( dd

)( rr

)(

Control PI

)( cc

Generador de

trayectorias

)( ff

)1(

11

1

1

1

1

1

1

T

T

P

TI

e

eK

eK

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

ESTABILIDAD DEL CONTROLADOR

15

20

25

15

20

25

0

02

04

06

08

1

Distancia real (cm)Distancia estimada K (cm)

05

1

15

2

05

1

15

2

0

05

1

Rigidez real (Nmm)Rigidez estimada (Nmm)

Criterio Los autovalores son inferiores a 1

2 50

Capa 1 Control Esfeacuterico Capa 2 Control EMP

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

DEMO CONTROL EMP

time (sec)fo

rce

s (N

)30

2

-2

0

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

PROBLEMA 2 PLANIFICACIOacuteN DE CAMINOS

Herramienta del

Robot

Caacutemara Herramienta del

Cirujano

Abdomen

Trayectoria

del Robot

Objetivo

Campo de Visioacuten

C

rp ro

O

GS

GC

GR

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SISTEMA DE MOVIMIENTO AUTO-GUIADO

SELECTOR DE

COMPORTAMIENTOS

PLANIFICADOR

LOCAL

CORRECCIOacuteN DE

VELOCIDAD

SEGUIMIENTO

DEL CIRUJANO

pv

1v1c

2v2c

3v3c

or

1c

2c

3c

Objetivo

Trayectoria Planificada

Herramienta del Cirujano

Herramienta del Robot

sv

rv

s1+

+

+

pr

kT

Tk

kT

Tkdtcccdt

)1(332211r

)1(prp vvvrvrr

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SELECTOR DE COMPORTAMIENTOS

67

3 2

Esfera de direcciones

14

58

rv

C CY

CX

CZ

sv

vr

vs

1 2 3 4 5 6 7 8

1 A L ML L C L ML L

2 L A L ML L C L ML

3 C MC A L C MC C L

4 MC C L A MC C L C

5 C L ML L A L ML L

6 L C L ML L A L ML

7 C MC C L C MC A L

8 MC C L C MC C L A

c1

c2

c3

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

COMPORTAMIENTO 1 PLANIFICADOR LOCAL

atrFrepF

RM SMf

RM

O

RG

SG

L

l

i

repatr UU i

repatr1 FFF

0

02

0

0

2

ˆˆ11

2

F

rF

rep

fatr

f

rep

atr

rK

L

l

K

dt

m1

11

Fv

Proceso Planificador_Local

1) Localizar el punto guiacutea MR2) Calcular el objetivo asociado al punto guiacutea MfR3) Calcular la fuerza F1 =gt Velocidad del punto guiacutea v14) Calcular la velocidad en el efector final del robot

5) Ejecutar movimiento del robot

6) Si no se ha alcanzado el objetivo O con el extremo de la herramienta volver a 1)

Fin de Procedimiento

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

COMPORTAMIENTO 2 CORRECCIOacuteN DE VELOCIDAD

Recta de

Colisioacuten

CP

RG

SG

SP

rv

sv

)( cR tP)( cS tP

RP

r2 vv 2K

dc

tc

Cero Baja Media Lejos Muy Lejos

Cero Maacutex Maacutex Muy Alta Muy Alta Alta

Bajo Maacutex Muy Alta Alta Alta Media

Medio Muy Alta Alta Media Media Poca

Bastante Muy Alta Alta Media Poca Nula

Mucho Alta Media Poca Nula Nula

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

COMPORTAMIENTO 3 SEGUIMIENTO DEL CIRUJANO

GR GS

s3 vF 3B dt

m

Bs3 vv

1

3

3

Proceso Auto_Guiado

1) Calcular los pesos de cada comportamiento c1 c2 c32) Calcular las velocidades de los tres comportamientos v1 v2 v3 3) Ponderar cada velocidad con su peso sumar e integrar =gt siguiente punto del camino rp4) Ejecutar movimiento del robot

5) Si el robot no ha llegado al objetivo ro volver a 1)

Fin de Procedimiento

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

DEMO MOVIMIENTO AUTO-GUIADO

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

PROBLEMA 3 ASISTENCIA A LA SUTURA

EndoscopioHerramienta del

cirujano

Herramienta

auxiliar

Sujecioacuten

del hiacutegado

Escenario de Colecistectomiacutea

Protocolo

1 Elevar hiacutegado para exponer la

vesiacutecula

2 Cortar triaacutengulo de Calot y exponer

arteria y conducto ciacutesticos

3 Suturar arteria y conducto ciacutesticos

para aislar un punto intermedio

4 Cortar arteria y conducto ciacutesticos

5 Separar vesiacutecula

6 Extraer vesiacutecula del paciente

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA CONCEPTOS PREVIOS

bull Gesto Accioacuten identificable maacutes elemental de las herramientas

laparoscoacutepicas (tirar del hilo de sutura presionar tejidohellip)

bull Maniobra Secuencia de gestos que componen una actuacioacuten

definible sobre el paciente (puncioacuten corte anudadohellip)

bull Procedimiento Maniobra o secuencia de maniobras que completan

una tarea propuesta por un protocolo quiruacutergico

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA MEacuteTODO DE ROSSER (I)

Laparoscopic Suturing httpwwwyoutubecomwatchv=PmdPAVFgNXU

1 Insertar aguja y centrar Agarrar aguja

2 Presionar tejido Posicionar aguja para puncioacuten

3 Agarrar aguja tras puncioacuten Puncioacuten mediante giro de 60deg-90deg

4 Extraer aguja y tirar del hilo Soltar aguja y sostener tejido

5 Colocar aguja a la sutura Desplazar herramienta sobre el hilo

6 Mantener posicioacuten Girar 2x sentido horario

7 Tensar hilo en sentido nordeste Agarrar extremo del hilo y mantener

MANO IZQUIERDA MANO DERECHA

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA MEacuteTODO DE ROSSER (II)

Problemas

Gran cantidad de gestos entre las dos manos

Compleja sincronizacioacuten entre las herramientas laparoscoacutepicas

Solucioacuten

Asistir al cirujano manejando una herramienta con un robot

Ventajas

Menor tiempo de aprendizaje en sincronizar ambas manos

La otra mano queda libre para otras tareas no automatizables

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA DIAGRAMA DE ESTADOS (I)

PUNZADA DE LA AGUJAINSERCIOacuteN DE LA AGUJA

ANUDADOCORTE DEL HILO

S0

S2

S1 S3

S4

S5

S6

S8

S9 S7

S11

S10S12

S13

S14

T1

T2

T3

T4

T5

T6

T7T8

T9T10

i = 3 i lt 3

T11T12T13T14

T0

T15

S0 Inicio y preparacioacuten de sutura

S1 Insertar y centrar aguja en pantalla

S2 Coger aguja y colocar en punto de

sutura

S3 Fijar tejido

S4 Punzar tejido extraer aguja y tirar

del hilo

S5 Separar del tejido y abrir pinza

S6 Colocar aguja en pinza izquierda

S7 Posicionar aguja

S8 Rotar alrededor del hilo

S9 Tirar del hilo y cerrar nudo

S10 Acercar aguja a punto de sutura

S11 Coger ambos extremos del hilo y

tensar

S12 Coger hilo bajo pinza derecha

S13 Cambiar herramienta y cortar hilo

S14 Extraer hilo y aguja

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA DIAGRAMA DE ESTADOS (II)

PUNZADA DE LA AGUJAINSERCIOacuteN DE LA AGUJA

ANUDADOCORTE DEL HILO

S0

S2

S1 S3

S4

S5

S6

S8

S9 S7

S11

S10S12

S13

S14

T1

T2

T3

T4

T5

T6

T7T8

T9T10

i = 3 i lt 3

T11T12T13T14

T0

T15

T0 Comando de voz ldquoSuturardquo

T1 Robot en posicioacuten

T2 Gesto de cirujano reconocido

T3 Fuerza aplicada sobre tejido

T4 Gesto de cirujano reconocido

T5 Robot en posicioacuten

T6 Gesto de cirujano reconocido

T7 Robot en posicioacuten

T8 Gesto de cirujano reconocido

T9 Fuerza aplicada sobre el hilo

T10 Robot en posicioacuten

T11 Gesto de cirujano reconocido

T12 Robot en posicioacuten + fuerza

aplicada sobre el hilo

T13 Gesto de cirujano reconocido

T14 Robot en posicioacuten

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA DIAGRAMA DE ESTADOS (III)

PUNZADA DE LA AGUJAINSERCIOacuteN DE LA AGUJA

ANUDADOCORTE DEL HILO

S0

S2

S1 S3

S4

S5

S6

S8

S9 S7

S11

S10S12

S13

S14

T1

T2

T3

T4

T5

T6

T7T8

T9T10

i = 3 i lt 3

T11T12T13T14

T0

T15

Sk+1

Sk

Tk-1

Tk

Tk+1

1k

kE

1

1

k

kE

k

kE 1

k

kE

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA ASISTENTE DE ESTADOS

ASISTENTE DE ESTADOS

INTERACCIOacuteN

AUTO-GUIADA

Trayectoria

Planificada

Localizacioacuten

Cirujano

Localizacioacuten

del Robot

INTERFAZ DE

VOZ

Fuerzas y

Pares

Posicioacuten

Aguja

Sentildeal de

Audio

Comando

de Voz

RECONOCEDOR

DE GESTOS

ASISTENTE DE SUTURA

Activacioacuten

Tk Estado Sk

Activacioacuten

Tk

Funciones

1) Alcanzar posicioacuten objetivo

2) Aplicar fuerza en tejidohilo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA INTERACCIOacuteN AUTO-GUIADA

INTERACCIOacuteN AUTO-GUIADA

SISTEMA

ROBOT+-

1

AKoF

F

pr

MOVIMIENTO

AUTO-GUIADO

cx

or

cr r

D

DI

CONTROL

PI

++

D

-+ K

er

++

xcF

co FF

coc FFx 1

AKLey de Control

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

DEMO ASISTENCIA A LA SUTURA

Maniobra 1 Insercioacuten Maniobra 2 Puncioacuten

Maniobra 3 AnudadoManiobra 4 Corte del hilo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

IMPLANTACIOacuteN PLATAFORMA CISOBOT

Brazo Instrumental

Quiruacutergico

Brazo Caacutemara

Laparoscoacutepica

Estructura Robot

Asistente

Marca 3D

Sensor de

Fuerzas

Muntildeeca Pasiva

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT ENTORNO QUIRUacuteRGICO

Columna de

Laparoscopia

Tracker 3D

Brazo Caacutemara

Laparoscoacutepica

Brazo Instrumental

Quiruacutergico

Simulador de

Paciente

Herramienta del

Cirujano

Caacutemara

Laparoscoacutepica

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT ARQUITECTURA DE CONTROL

SENSORES ENTORNOASISTENTE DE ESTADOS

CIRUJANO

INTERACCIOacuteN

AUTO-GUIADA

BRAZOS ROBOTS

CONTROL DE

BAJO NIVEL

PACIENTE

Interaccioacute

n

Ciru

jano

Herramientas Robot

Trayectoria Planificada

Localizacioacuten Cirujano

Trayectoria ControladaLo

caliz

acioacute

n R

ob

ot

ROBOT ASISTENTE

SENSOR DE

FUERZAS

INTERFAZ DE

VOZ

Esfuerzos

Imagen Laparoscoacutepica

Contacto Robot

Aguja

Herramienta Cirujano

Activacioacuten

Sentildeal de Audio

TRACKER 3D

Comando de Voz

RECONOCEDOR

DE GESTOS

MOacuteDULO DE

VISIOacuteN

ASISTENTE

DE SUTURA Activacioacuten

Nuevo Estado

Nuevo Estado

ADQUISICIOacuteN

AUDIO

Voz del cirujano

Gesto Quiruacutergico

SIST

EMA

TOLE

RA

NTE

AFA

LLO

S

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT SISTEMA TOLERANTE A FALLOS

Evento Deteccioacuten Actuacioacuten

Fallo Hardware - Sentildeal de Fallo Hardware Parar el sistema

Colisioacuten entre brazos - Anaacutelisis de Colisioacuten cinemaacuteticaParar brazo de la caacutemara

mientras haya riesgo

Colisioacuten con herramienta

del cirujano

- Cambio inusual del Fulcro Estimado

- Herramienta del cirujano cerca del robotParar robot mientras haya riesgo

Colisioacuten con tejidooacuterganos- Cambio inusual del Fulcro Estimado

- Herramienta del cirujano lejos del robotExtraer herramienta del robot

Fallo de sensores- Medicioacuten anoacutemala y constante

independiente de la actuacioacuten

Mensaje de alerta y parar si

persiste

0 2 4 6 8 10 12 14 16 180

20

40

60

80

100

Dis

tan

cia

s (

mm

)

Distancia Robot-Objetivo

Distancia Robot-Cirujano

0 2 4 6 8 10 12 14 16 18-10

-5

0

5

10

15

20

Tiempo (segundos)

Fu

erz

as (

N)

Fx

Fy

Fz

0 2 4 6 8 10 12 14 16 18 200

20

40

60

80

100

Dis

tan

cia

s (

mm

)

Distancia Robot-Objetivo

Distancia Robot-Cirujano

0 2 4 6 8 10 12 14 16 18 20-20

-15

-10

-5

0

5

10

Tiempo (segundos)

Fu

erz

as (

N)

Fx

Fy

Fz

Co

lisioacute

n c

on

herr

am

ien

ta

Colisioacuten con tejido

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT EXPERIMENTOS PROPUESTOS

1 Movimiento esfeacuterico mediante la aplicacioacuten del control EMP

2 Movimiento auto-guiado con la herramienta del cirujano en

movimiento

3 Procedimiento de sutura Insercioacuten Puncioacuten Anudado y Corte

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 1 MOVIMIENTO ESFEacuteRICO

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 2 MOVIMIENTO AUTO-GUIADO

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (I)

Maniobra 1 Insercioacuten

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (II)

Maniobra 2 Puncioacuten

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (III)

Maniobra 3 Anudado

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (IV)

Maniobra 4 Corte del Hilo

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CONCLUSIONES

El gran esfuerzo investigador en torno a la roboacutetica quiruacutergica la destaca

como una herramienta de gran utilidad en cirugiacutea laparoscoacutepica

Tres grupos de robots quiruacutergicos tele-manipuladores camaroacutegrafos y

sistemas autoacutenomos

En un punto intermedio los robots semiautoacutenomos se perfilan como los

candidatos para la cirugiacutea en solitario

Contribuciones de esta tesis para los robots semiautoacutenomos

1 Movimiento esfeacuterico del instrumental mediante muntildeecas activas

2 Sistema auto-guiado para la planificacioacuten de movimientos en el interior

de la cavidad abdominal

3 Asistencia semiautoacutenoma al procedimiento laparoscoacutepico de sutura

Implantacioacuten de las contribuciones en el prototipo CISOBOT

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

LIacuteNEAS DE INVESTIGACIOacuteN FUTURAS

Ampliar la asistencia al cirujano en otros procedimientos ademaacutes de la

sutura corte transporte agarrehellip

Modelar complicaciones producidas con mayor frecuencia durante la

ejecucioacuten de los procedimientos anteriores (error en corte limpieza de

sangradohellip)

Modificar el robot para manejar instrumental a traveacutes de un solo orificio en

teacutecnicas SILS (Single Input Laparoscopic Surgery)

Eliminar la hipoacutetesis de herramientas riacutegidas para mejorar la localizacioacuten del

punto de fulcro e interaccioacuten con el cirujano y el paciente

Cambiar el modo secuencial del diagrama de estados de la sutura para

permitir una interaccioacuten simultaacutenea con el cirujano

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

APORTACIONES CIENTIacuteFICAS

CONGRESOS INTERNACIONALES (6) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoActive Wrists Endoscope Navigation in Robotized Laparoscopic

Surgeryrdquo IEEE International Conference on Mechatronics (ICM) Abril 2009 Maacutelaga (Espantildea) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoThree-Layer Control for Active Wrists in Robotized Laparoscopic

Surgeryrdquo IEEE International Conference on Intelligent Robots and Systems (IROS) Octubre 2009 St Louis (EEUU) B Estebanez G Jimeacutenez VF Muntildeoz I Garciacutea-Morales E Bauzano J Molina ldquoMinimally Invasive Surgery Maneuver

Recognition Based on Surgeon Modelrdquo IEEE International Congerence on Intelligent Robots and Systems (IROS) Octubre 2009 St Louis (EEUU)

E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoA Multi-Behavior Algorithm for Auto-Guided Movements in Surgeon Assistancerdquo IEEE International Workshop on Robotics in Alpe-Adria-Danube Region (RAAD) Junio 2010 Budapest (Hungriacutea)

Premio al mejor artiacuteculo de estudiante (Best Paper Award) E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoAuto-Guided Movements on Minimally Invasive Surgery for Surgeon Assistancerdquo

IEEE International Conference on Intelligent Robots and Systems (IROS) Octubre 2010 Taipei (Taiwaacuten) B Estebanez E Bauzano VF Muntildeoz ldquoSurgical Tools Pose Estimation for a Multimodal HMI of a Surgical Robot Assistantrdquo IEEE

International Conference on Intelligent Robots and Systems (IROS) Septiembre 2011 San Francisco (EEUU)

LIBROS Y REVISTAS (2) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoControl Methodologies for Endoscope Navigation in Robotized

Laparoscopic Surgeryrdquo Research and Education in Robotics Ed Springer-Verlag (Berliacuten Heidelberg) 2010 Vol 82 pp 11-22 ISBN 978-3-642-16369

E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoA Multi-Behavior Algorithm for Auto-Guided Movements in Surgeon Assistancerdquo International Journal of Mechanics and Control (JoMaC) Ed Levrotto amp Bella (Torino Italia) 2011 Vol 12 no 1 ISSN 1590-8844

CONGRESOS NACIONALES (10) ndash POSTERS Y WORKSHOPS

Proyecto de Excelencia P07-TEP-02897

ROBOT ASISTENTE SEMIAUTOacuteNOMO DE

DOS BRAZOS PARA INTERVENCIONES DE

CIRUGIacuteA LAPAROSCOacutePICA

Enrique Bauzano Nuacutentildeez

DEPARTAMENTO DE INGENIERIacuteA DE SISTEMAS Y AUTOMAacuteTICA

UNIVERSIDAD DE MAacuteLAGA

DEFENSA DE TESIS DOCTORAL

Directores Dr Viacutector F Muntildeoz Martiacutenez

Dra Isabel Garciacutea Morales

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CIRUGIacuteA LAPAROSCOacutePICA

Instrumental

Instrumental

Punto de

Fulcro

Columna de

Laparoscopia

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CIRUGIacuteA LAPAROSCOacutePICA PROBLEMAS

Ventajas para el pacientehellip

Menor tiempo de recuperacioacuten

Limitacioacuten de complicaciones post-operatorias

Cicatrices maacutes pequentildeas

hellipProblemas para el cirujano

Visioacuten

Imagen 2D

Iluminacioacuten con luz friacutea

Reduccioacuten del campo de visioacuten

Resolucioacuten y fidelidad de la imagen

Movilidad

Inversioacuten del movimiento

Escalado

Peacuterdida de tacto

Coordinacioacuten

Estabilidad de la caacutemara

Limpieza de la oacuteptica

Instrumental extra

SOLUCIOacuteN Usar la roboacutetica como herramienta para mitigar los problemas de la cirugiacutea laparoscoacutepica

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CLASIFICACIOacuteN DE ROBOTS QUIRUacuteRGICOS

bull Cirugiacutea remota

bull Sistemas maestro-

esclavo

bull Aumento de

capacidades del

cirujano

bull hellip

bull Comandados por el

cirujano

bull Guiado visual

bull Realidad

aumentada

bull hellip

bull Biopsias

bull Auto-guiado del instrumental

bull Maniobras quiruacutergicas automaacuteticas

bull hellip

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

TELECIRUGIacuteA Y ROBOTS TELE-ASISTIDOS

SISTEMA ZEUS

SE Butner M Ghodoussi ldquoTransforming a Surgical Robot for Human Telesurgeryrdquo IEEE Transactions

on Robotics and Automation Vol 19 no 5 2003

GS Guthart JK Salisbury ldquoThe Intuitive Telesurgery System Overview and Applicationrdquo

IEEE ICRA 2000 San Francisco CA (USA)

SISTEMA DA VINCI

J Dumpert et al ldquoSemi-autonomous Surgical Tasks Using

a Miniature In Vivo Surgical Robotrdquo IEEE EMBS 2009

Minneapolis MI (USA)

MINI ROBOT PARA NOTES

DJ Abbott et al ldquoDesign of an Endoluminal

NOTES Robotic Systemrdquo IEEE-RSJ IROS

2007 San Diego CA (USA)

SISTEMA VIACATH

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

ROBOTS CAMAROacuteGRAFOS

SISTEMA ERM

VF Muntildeoz et al ldquoControl movement scheme based on

manipulability concept for a surgical robotic assistantrdquo

IEEE ICRA 2006 Orlando FL (USA)

SISTEMA AESOP

P Chatzilias et al ldquoRobotic control in hand-assisted

laparoscopic nepherctomy in humans- a pilot studyrdquo IEEE

EMBS 2004 San Francisco CA (USA)

SISTEMA LAPMAN

R Polet J Donnez ldquoUsing a Laparoscope Manipulator

(LAPMAN) in Laparoscopic Gynecological Surgeryrdquo Surgical

Technology International pp 187-191

ΜROBOT PARA

COLONOSCOPIAS

G Chen MT Pham ldquoA Semi-autonomous Micro-robotic

System for Colonoscopyrdquo IEEE International Conference

on Robotics and Biomimetics 2009 Bangkok (Tailandia)

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

ROBOTS AUTOacuteNOMOS

SISTEMA PARA EXTIRPAR TUMORES DE PECHO

V Mallapragada et al ldquoToward a Robot-Assisted Breast

Intervention Systemrdquo IEEE Transactions on Mechatronics

vol 16 no 6 2011

SISTEMA ENDOBOT

H Kang JT Wen ldquoRobotic Assistants Aid Surgeons

During Minimally Invasive Proceduresrdquo IEEE

Engineering in Medicine and Biology 2001

ΜROBOT PARA BIOPSIAS

SR Platt et al ldquoVision and Task Assistance Using

Modular Wireless In Vivo Surgical Robotsrdquo IEEE

Transactions on Biomedical Engineering 2001

IMPLANTE COCLEAR

LB Kratchman et al ldquoDesign of a Bone-Attached

Parallel Robot for Percutaneous Cochlear Implantationrdquo

IEEE Transactions on Biomedical Engineering 2011

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CONTRIBUCIONES DE LA TESIS

PRINCIPAL OBJETIVO

Desarrollo de un robot quiruacutergico que asista al cirujano de forma semiautoacutenoma y

facilite alcanzar la cirugiacutea en solitario

CONTRIBUCIONES

1 Navegacioacuten Laparoscoacutepica Control EMP para muntildeecas de actuacioacuten directa

2 Sistema de auto-guiado basado en comportamientos

3 Asistencia semiautoacutenoma a la sutura

Implantacioacuten en el sistema de dos brazos CISOBOT

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

PROBLEMA 1 NAVEGACIOacuteN ESFEacuteRICA

Base del Robot

B

Brazo Robot

Muntildeeca

Punto de

Fulcro

I

Endoscopio

Y

X

Z

Z

Y

X

Abdomen

β

α

ρ

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

NAVEGACIOacuteN ESFEacuteRICA MECANISMOS

MUNtildeECA PASIVA CENTRO DE ROTACIOacuteN REMOTO ACTUACIOacuteN DIRECTA

No ejerce fuerzas en abdomen

Incertidumbre debido a la

holgura en el trocar

No ejerce fuerzas en abdomen

(previa calibracioacuten)

Requiere instrumental especiacutefico

Mecanismo voluminoso

No requiere instrumental especiacutefico

Poco volumen ocupado

Puede ejercer fuerzas en el

abdomen

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

MUNtildeECAS ACTIVAS NAVEGACIOacuteN

1 Rotacioacuten alrededor del fulcro estimado IDesplaza el fulcro real I sobre el abdomen

2 Simulacioacuten de muntildeeca pasivaRotacioacuten de la herramienta alrededor de la muntildeeca hasta

eliminar el desplazamiento del fulcro

3 Correccioacuten del aacutengulo de altitudSeguir recorrido hasta orientar la herramienta con el

aacutengulo deseado inicialmente

I

LL-L

XI

ZI

I0

I

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

1 Equilibrio de fuerzas y pares

2 Equilibrio de pares con F y Fβ

3 Aproximacioacuten geomeacutetrica de separacioacuten eβ

4 Aacutengulo de compensacioacuten φr

MUNtildeECAS ACTIVAS ESTIMACIOacuteN DEL FULCRO

fFIX

IZsFsM

F

B

r

I I

e

0

F

A

0I

M

0

ws

F

s

)d(WrM

WF

f

f

FρFρ

FF

sinF

M

eF

re

cos

sinFr

cos

sinFF

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

MUNtildeECAS ACTIVAS ESQUEMA DE CONTROL

CONTROL EMP

CONTROL ESFEacuteRICO

CAPA-2

CAPA-3

CAPA-1Aacutengulo

deseado

Fuerzas y

Pares

CONTROL

CARTESIANO

BRAZO ROBOT

Referencia esfeacuterica pasiva

Referencia esfeacuterica activa

Referencia

articular

ESTIMADOR

DEL FULCRO

Posicioacuten

articular

Distancia Exterior

estimada

Aacutengulo actual

CONTROLADOR MUNtildeECA ACTIVA

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CAPA 3 CONTROL CARTESIANO

CONTROL CARTESIANO

Planificador

Cartesiano

+

ndash xK)(kTX r

)(kTX r

++

BRAZO

ROBOT)(1 J

)(kTr

)(F

)(kT

)(kTX

Conversioacuten

Cartesiano a Arco

recorrido

T

)(kTLr

)(kTL

Ley de Control rxr XXKJ ~)(1

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CAPA 2 CONTROL EMP

CONTROL EMP

ControlPI

Estimador del Fulcro

ndash+

Sensor de Fuerzas

2T

)( rr

)( 2kT

))(( 2kT

1dF )( 2kTFr )( 2kTr+

ndash

)( 2kTr )( 2kTLr

ndash

+

ndash

+

)( 2kTFc

)( 2kTFs)( 2kTF

)( 2kT

)( 2kTW

)( 2kTL

CAPA-3

1

221

1TI

eK

)1(

)1(

22

2

T

T

Pe

eK

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CAPA 1 CONTROL ESFEacuteRICO

CAPA-2

+ndash

L)( dd

)( rr

)(

Control PI

)( cc

Generador de

trayectorias

)( ff

)1(

11

1

1

1

1

1

1

T

T

P

TI

e

eK

eK

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

ESTABILIDAD DEL CONTROLADOR

15

20

25

15

20

25

0

02

04

06

08

1

Distancia real (cm)Distancia estimada K (cm)

05

1

15

2

05

1

15

2

0

05

1

Rigidez real (Nmm)Rigidez estimada (Nmm)

Criterio Los autovalores son inferiores a 1

2 50

Capa 1 Control Esfeacuterico Capa 2 Control EMP

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

DEMO CONTROL EMP

time (sec)fo

rce

s (N

)30

2

-2

0

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

PROBLEMA 2 PLANIFICACIOacuteN DE CAMINOS

Herramienta del

Robot

Caacutemara Herramienta del

Cirujano

Abdomen

Trayectoria

del Robot

Objetivo

Campo de Visioacuten

C

rp ro

O

GS

GC

GR

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SISTEMA DE MOVIMIENTO AUTO-GUIADO

SELECTOR DE

COMPORTAMIENTOS

PLANIFICADOR

LOCAL

CORRECCIOacuteN DE

VELOCIDAD

SEGUIMIENTO

DEL CIRUJANO

pv

1v1c

2v2c

3v3c

or

1c

2c

3c

Objetivo

Trayectoria Planificada

Herramienta del Cirujano

Herramienta del Robot

sv

rv

s1+

+

+

pr

kT

Tk

kT

Tkdtcccdt

)1(332211r

)1(prp vvvrvrr

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SELECTOR DE COMPORTAMIENTOS

67

3 2

Esfera de direcciones

14

58

rv

C CY

CX

CZ

sv

vr

vs

1 2 3 4 5 6 7 8

1 A L ML L C L ML L

2 L A L ML L C L ML

3 C MC A L C MC C L

4 MC C L A MC C L C

5 C L ML L A L ML L

6 L C L ML L A L ML

7 C MC C L C MC A L

8 MC C L C MC C L A

c1

c2

c3

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

COMPORTAMIENTO 1 PLANIFICADOR LOCAL

atrFrepF

RM SMf

RM

O

RG

SG

L

l

i

repatr UU i

repatr1 FFF

0

02

0

0

2

ˆˆ11

2

F

rF

rep

fatr

f

rep

atr

rK

L

l

K

dt

m1

11

Fv

Proceso Planificador_Local

1) Localizar el punto guiacutea MR2) Calcular el objetivo asociado al punto guiacutea MfR3) Calcular la fuerza F1 =gt Velocidad del punto guiacutea v14) Calcular la velocidad en el efector final del robot

5) Ejecutar movimiento del robot

6) Si no se ha alcanzado el objetivo O con el extremo de la herramienta volver a 1)

Fin de Procedimiento

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

COMPORTAMIENTO 2 CORRECCIOacuteN DE VELOCIDAD

Recta de

Colisioacuten

CP

RG

SG

SP

rv

sv

)( cR tP)( cS tP

RP

r2 vv 2K

dc

tc

Cero Baja Media Lejos Muy Lejos

Cero Maacutex Maacutex Muy Alta Muy Alta Alta

Bajo Maacutex Muy Alta Alta Alta Media

Medio Muy Alta Alta Media Media Poca

Bastante Muy Alta Alta Media Poca Nula

Mucho Alta Media Poca Nula Nula

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

COMPORTAMIENTO 3 SEGUIMIENTO DEL CIRUJANO

GR GS

s3 vF 3B dt

m

Bs3 vv

1

3

3

Proceso Auto_Guiado

1) Calcular los pesos de cada comportamiento c1 c2 c32) Calcular las velocidades de los tres comportamientos v1 v2 v3 3) Ponderar cada velocidad con su peso sumar e integrar =gt siguiente punto del camino rp4) Ejecutar movimiento del robot

5) Si el robot no ha llegado al objetivo ro volver a 1)

Fin de Procedimiento

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

DEMO MOVIMIENTO AUTO-GUIADO

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

PROBLEMA 3 ASISTENCIA A LA SUTURA

EndoscopioHerramienta del

cirujano

Herramienta

auxiliar

Sujecioacuten

del hiacutegado

Escenario de Colecistectomiacutea

Protocolo

1 Elevar hiacutegado para exponer la

vesiacutecula

2 Cortar triaacutengulo de Calot y exponer

arteria y conducto ciacutesticos

3 Suturar arteria y conducto ciacutesticos

para aislar un punto intermedio

4 Cortar arteria y conducto ciacutesticos

5 Separar vesiacutecula

6 Extraer vesiacutecula del paciente

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA CONCEPTOS PREVIOS

bull Gesto Accioacuten identificable maacutes elemental de las herramientas

laparoscoacutepicas (tirar del hilo de sutura presionar tejidohellip)

bull Maniobra Secuencia de gestos que componen una actuacioacuten

definible sobre el paciente (puncioacuten corte anudadohellip)

bull Procedimiento Maniobra o secuencia de maniobras que completan

una tarea propuesta por un protocolo quiruacutergico

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA MEacuteTODO DE ROSSER (I)

Laparoscopic Suturing httpwwwyoutubecomwatchv=PmdPAVFgNXU

1 Insertar aguja y centrar Agarrar aguja

2 Presionar tejido Posicionar aguja para puncioacuten

3 Agarrar aguja tras puncioacuten Puncioacuten mediante giro de 60deg-90deg

4 Extraer aguja y tirar del hilo Soltar aguja y sostener tejido

5 Colocar aguja a la sutura Desplazar herramienta sobre el hilo

6 Mantener posicioacuten Girar 2x sentido horario

7 Tensar hilo en sentido nordeste Agarrar extremo del hilo y mantener

MANO IZQUIERDA MANO DERECHA

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA MEacuteTODO DE ROSSER (II)

Problemas

Gran cantidad de gestos entre las dos manos

Compleja sincronizacioacuten entre las herramientas laparoscoacutepicas

Solucioacuten

Asistir al cirujano manejando una herramienta con un robot

Ventajas

Menor tiempo de aprendizaje en sincronizar ambas manos

La otra mano queda libre para otras tareas no automatizables

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA DIAGRAMA DE ESTADOS (I)

PUNZADA DE LA AGUJAINSERCIOacuteN DE LA AGUJA

ANUDADOCORTE DEL HILO

S0

S2

S1 S3

S4

S5

S6

S8

S9 S7

S11

S10S12

S13

S14

T1

T2

T3

T4

T5

T6

T7T8

T9T10

i = 3 i lt 3

T11T12T13T14

T0

T15

S0 Inicio y preparacioacuten de sutura

S1 Insertar y centrar aguja en pantalla

S2 Coger aguja y colocar en punto de

sutura

S3 Fijar tejido

S4 Punzar tejido extraer aguja y tirar

del hilo

S5 Separar del tejido y abrir pinza

S6 Colocar aguja en pinza izquierda

S7 Posicionar aguja

S8 Rotar alrededor del hilo

S9 Tirar del hilo y cerrar nudo

S10 Acercar aguja a punto de sutura

S11 Coger ambos extremos del hilo y

tensar

S12 Coger hilo bajo pinza derecha

S13 Cambiar herramienta y cortar hilo

S14 Extraer hilo y aguja

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA DIAGRAMA DE ESTADOS (II)

PUNZADA DE LA AGUJAINSERCIOacuteN DE LA AGUJA

ANUDADOCORTE DEL HILO

S0

S2

S1 S3

S4

S5

S6

S8

S9 S7

S11

S10S12

S13

S14

T1

T2

T3

T4

T5

T6

T7T8

T9T10

i = 3 i lt 3

T11T12T13T14

T0

T15

T0 Comando de voz ldquoSuturardquo

T1 Robot en posicioacuten

T2 Gesto de cirujano reconocido

T3 Fuerza aplicada sobre tejido

T4 Gesto de cirujano reconocido

T5 Robot en posicioacuten

T6 Gesto de cirujano reconocido

T7 Robot en posicioacuten

T8 Gesto de cirujano reconocido

T9 Fuerza aplicada sobre el hilo

T10 Robot en posicioacuten

T11 Gesto de cirujano reconocido

T12 Robot en posicioacuten + fuerza

aplicada sobre el hilo

T13 Gesto de cirujano reconocido

T14 Robot en posicioacuten

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA DIAGRAMA DE ESTADOS (III)

PUNZADA DE LA AGUJAINSERCIOacuteN DE LA AGUJA

ANUDADOCORTE DEL HILO

S0

S2

S1 S3

S4

S5

S6

S8

S9 S7

S11

S10S12

S13

S14

T1

T2

T3

T4

T5

T6

T7T8

T9T10

i = 3 i lt 3

T11T12T13T14

T0

T15

Sk+1

Sk

Tk-1

Tk

Tk+1

1k

kE

1

1

k

kE

k

kE 1

k

kE

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA ASISTENTE DE ESTADOS

ASISTENTE DE ESTADOS

INTERACCIOacuteN

AUTO-GUIADA

Trayectoria

Planificada

Localizacioacuten

Cirujano

Localizacioacuten

del Robot

INTERFAZ DE

VOZ

Fuerzas y

Pares

Posicioacuten

Aguja

Sentildeal de

Audio

Comando

de Voz

RECONOCEDOR

DE GESTOS

ASISTENTE DE SUTURA

Activacioacuten

Tk Estado Sk

Activacioacuten

Tk

Funciones

1) Alcanzar posicioacuten objetivo

2) Aplicar fuerza en tejidohilo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA INTERACCIOacuteN AUTO-GUIADA

INTERACCIOacuteN AUTO-GUIADA

SISTEMA

ROBOT+-

1

AKoF

F

pr

MOVIMIENTO

AUTO-GUIADO

cx

or

cr r

D

DI

CONTROL

PI

++

D

-+ K

er

++

xcF

co FF

coc FFx 1

AKLey de Control

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

DEMO ASISTENCIA A LA SUTURA

Maniobra 1 Insercioacuten Maniobra 2 Puncioacuten

Maniobra 3 AnudadoManiobra 4 Corte del hilo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

IMPLANTACIOacuteN PLATAFORMA CISOBOT

Brazo Instrumental

Quiruacutergico

Brazo Caacutemara

Laparoscoacutepica

Estructura Robot

Asistente

Marca 3D

Sensor de

Fuerzas

Muntildeeca Pasiva

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT ENTORNO QUIRUacuteRGICO

Columna de

Laparoscopia

Tracker 3D

Brazo Caacutemara

Laparoscoacutepica

Brazo Instrumental

Quiruacutergico

Simulador de

Paciente

Herramienta del

Cirujano

Caacutemara

Laparoscoacutepica

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT ARQUITECTURA DE CONTROL

SENSORES ENTORNOASISTENTE DE ESTADOS

CIRUJANO

INTERACCIOacuteN

AUTO-GUIADA

BRAZOS ROBOTS

CONTROL DE

BAJO NIVEL

PACIENTE

Interaccioacute

n

Ciru

jano

Herramientas Robot

Trayectoria Planificada

Localizacioacuten Cirujano

Trayectoria ControladaLo

caliz

acioacute

n R

ob

ot

ROBOT ASISTENTE

SENSOR DE

FUERZAS

INTERFAZ DE

VOZ

Esfuerzos

Imagen Laparoscoacutepica

Contacto Robot

Aguja

Herramienta Cirujano

Activacioacuten

Sentildeal de Audio

TRACKER 3D

Comando de Voz

RECONOCEDOR

DE GESTOS

MOacuteDULO DE

VISIOacuteN

ASISTENTE

DE SUTURA Activacioacuten

Nuevo Estado

Nuevo Estado

ADQUISICIOacuteN

AUDIO

Voz del cirujano

Gesto Quiruacutergico

SIST

EMA

TOLE

RA

NTE

AFA

LLO

S

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT SISTEMA TOLERANTE A FALLOS

Evento Deteccioacuten Actuacioacuten

Fallo Hardware - Sentildeal de Fallo Hardware Parar el sistema

Colisioacuten entre brazos - Anaacutelisis de Colisioacuten cinemaacuteticaParar brazo de la caacutemara

mientras haya riesgo

Colisioacuten con herramienta

del cirujano

- Cambio inusual del Fulcro Estimado

- Herramienta del cirujano cerca del robotParar robot mientras haya riesgo

Colisioacuten con tejidooacuterganos- Cambio inusual del Fulcro Estimado

- Herramienta del cirujano lejos del robotExtraer herramienta del robot

Fallo de sensores- Medicioacuten anoacutemala y constante

independiente de la actuacioacuten

Mensaje de alerta y parar si

persiste

0 2 4 6 8 10 12 14 16 180

20

40

60

80

100

Dis

tan

cia

s (

mm

)

Distancia Robot-Objetivo

Distancia Robot-Cirujano

0 2 4 6 8 10 12 14 16 18-10

-5

0

5

10

15

20

Tiempo (segundos)

Fu

erz

as (

N)

Fx

Fy

Fz

0 2 4 6 8 10 12 14 16 18 200

20

40

60

80

100

Dis

tan

cia

s (

mm

)

Distancia Robot-Objetivo

Distancia Robot-Cirujano

0 2 4 6 8 10 12 14 16 18 20-20

-15

-10

-5

0

5

10

Tiempo (segundos)

Fu

erz

as (

N)

Fx

Fy

Fz

Co

lisioacute

n c

on

herr

am

ien

ta

Colisioacuten con tejido

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT EXPERIMENTOS PROPUESTOS

1 Movimiento esfeacuterico mediante la aplicacioacuten del control EMP

2 Movimiento auto-guiado con la herramienta del cirujano en

movimiento

3 Procedimiento de sutura Insercioacuten Puncioacuten Anudado y Corte

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 1 MOVIMIENTO ESFEacuteRICO

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 2 MOVIMIENTO AUTO-GUIADO

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (I)

Maniobra 1 Insercioacuten

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (II)

Maniobra 2 Puncioacuten

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (III)

Maniobra 3 Anudado

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (IV)

Maniobra 4 Corte del Hilo

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CONCLUSIONES

El gran esfuerzo investigador en torno a la roboacutetica quiruacutergica la destaca

como una herramienta de gran utilidad en cirugiacutea laparoscoacutepica

Tres grupos de robots quiruacutergicos tele-manipuladores camaroacutegrafos y

sistemas autoacutenomos

En un punto intermedio los robots semiautoacutenomos se perfilan como los

candidatos para la cirugiacutea en solitario

Contribuciones de esta tesis para los robots semiautoacutenomos

1 Movimiento esfeacuterico del instrumental mediante muntildeecas activas

2 Sistema auto-guiado para la planificacioacuten de movimientos en el interior

de la cavidad abdominal

3 Asistencia semiautoacutenoma al procedimiento laparoscoacutepico de sutura

Implantacioacuten de las contribuciones en el prototipo CISOBOT

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

LIacuteNEAS DE INVESTIGACIOacuteN FUTURAS

Ampliar la asistencia al cirujano en otros procedimientos ademaacutes de la

sutura corte transporte agarrehellip

Modelar complicaciones producidas con mayor frecuencia durante la

ejecucioacuten de los procedimientos anteriores (error en corte limpieza de

sangradohellip)

Modificar el robot para manejar instrumental a traveacutes de un solo orificio en

teacutecnicas SILS (Single Input Laparoscopic Surgery)

Eliminar la hipoacutetesis de herramientas riacutegidas para mejorar la localizacioacuten del

punto de fulcro e interaccioacuten con el cirujano y el paciente

Cambiar el modo secuencial del diagrama de estados de la sutura para

permitir una interaccioacuten simultaacutenea con el cirujano

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

APORTACIONES CIENTIacuteFICAS

CONGRESOS INTERNACIONALES (6) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoActive Wrists Endoscope Navigation in Robotized Laparoscopic

Surgeryrdquo IEEE International Conference on Mechatronics (ICM) Abril 2009 Maacutelaga (Espantildea) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoThree-Layer Control for Active Wrists in Robotized Laparoscopic

Surgeryrdquo IEEE International Conference on Intelligent Robots and Systems (IROS) Octubre 2009 St Louis (EEUU) B Estebanez G Jimeacutenez VF Muntildeoz I Garciacutea-Morales E Bauzano J Molina ldquoMinimally Invasive Surgery Maneuver

Recognition Based on Surgeon Modelrdquo IEEE International Congerence on Intelligent Robots and Systems (IROS) Octubre 2009 St Louis (EEUU)

E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoA Multi-Behavior Algorithm for Auto-Guided Movements in Surgeon Assistancerdquo IEEE International Workshop on Robotics in Alpe-Adria-Danube Region (RAAD) Junio 2010 Budapest (Hungriacutea)

Premio al mejor artiacuteculo de estudiante (Best Paper Award) E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoAuto-Guided Movements on Minimally Invasive Surgery for Surgeon Assistancerdquo

IEEE International Conference on Intelligent Robots and Systems (IROS) Octubre 2010 Taipei (Taiwaacuten) B Estebanez E Bauzano VF Muntildeoz ldquoSurgical Tools Pose Estimation for a Multimodal HMI of a Surgical Robot Assistantrdquo IEEE

International Conference on Intelligent Robots and Systems (IROS) Septiembre 2011 San Francisco (EEUU)

LIBROS Y REVISTAS (2) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoControl Methodologies for Endoscope Navigation in Robotized

Laparoscopic Surgeryrdquo Research and Education in Robotics Ed Springer-Verlag (Berliacuten Heidelberg) 2010 Vol 82 pp 11-22 ISBN 978-3-642-16369

E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoA Multi-Behavior Algorithm for Auto-Guided Movements in Surgeon Assistancerdquo International Journal of Mechanics and Control (JoMaC) Ed Levrotto amp Bella (Torino Italia) 2011 Vol 12 no 1 ISSN 1590-8844

CONGRESOS NACIONALES (10) ndash POSTERS Y WORKSHOPS

Proyecto de Excelencia P07-TEP-02897

ROBOT ASISTENTE SEMIAUTOacuteNOMO DE

DOS BRAZOS PARA INTERVENCIONES DE

CIRUGIacuteA LAPAROSCOacutePICA

Enrique Bauzano Nuacutentildeez

DEPARTAMENTO DE INGENIERIacuteA DE SISTEMAS Y AUTOMAacuteTICA

UNIVERSIDAD DE MAacuteLAGA

DEFENSA DE TESIS DOCTORAL

Directores Dr Viacutector F Muntildeoz Martiacutenez

Dra Isabel Garciacutea Morales

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CIRUGIacuteA LAPAROSCOacutePICA PROBLEMAS

Ventajas para el pacientehellip

Menor tiempo de recuperacioacuten

Limitacioacuten de complicaciones post-operatorias

Cicatrices maacutes pequentildeas

hellipProblemas para el cirujano

Visioacuten

Imagen 2D

Iluminacioacuten con luz friacutea

Reduccioacuten del campo de visioacuten

Resolucioacuten y fidelidad de la imagen

Movilidad

Inversioacuten del movimiento

Escalado

Peacuterdida de tacto

Coordinacioacuten

Estabilidad de la caacutemara

Limpieza de la oacuteptica

Instrumental extra

SOLUCIOacuteN Usar la roboacutetica como herramienta para mitigar los problemas de la cirugiacutea laparoscoacutepica

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CLASIFICACIOacuteN DE ROBOTS QUIRUacuteRGICOS

bull Cirugiacutea remota

bull Sistemas maestro-

esclavo

bull Aumento de

capacidades del

cirujano

bull hellip

bull Comandados por el

cirujano

bull Guiado visual

bull Realidad

aumentada

bull hellip

bull Biopsias

bull Auto-guiado del instrumental

bull Maniobras quiruacutergicas automaacuteticas

bull hellip

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

TELECIRUGIacuteA Y ROBOTS TELE-ASISTIDOS

SISTEMA ZEUS

SE Butner M Ghodoussi ldquoTransforming a Surgical Robot for Human Telesurgeryrdquo IEEE Transactions

on Robotics and Automation Vol 19 no 5 2003

GS Guthart JK Salisbury ldquoThe Intuitive Telesurgery System Overview and Applicationrdquo

IEEE ICRA 2000 San Francisco CA (USA)

SISTEMA DA VINCI

J Dumpert et al ldquoSemi-autonomous Surgical Tasks Using

a Miniature In Vivo Surgical Robotrdquo IEEE EMBS 2009

Minneapolis MI (USA)

MINI ROBOT PARA NOTES

DJ Abbott et al ldquoDesign of an Endoluminal

NOTES Robotic Systemrdquo IEEE-RSJ IROS

2007 San Diego CA (USA)

SISTEMA VIACATH

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

ROBOTS CAMAROacuteGRAFOS

SISTEMA ERM

VF Muntildeoz et al ldquoControl movement scheme based on

manipulability concept for a surgical robotic assistantrdquo

IEEE ICRA 2006 Orlando FL (USA)

SISTEMA AESOP

P Chatzilias et al ldquoRobotic control in hand-assisted

laparoscopic nepherctomy in humans- a pilot studyrdquo IEEE

EMBS 2004 San Francisco CA (USA)

SISTEMA LAPMAN

R Polet J Donnez ldquoUsing a Laparoscope Manipulator

(LAPMAN) in Laparoscopic Gynecological Surgeryrdquo Surgical

Technology International pp 187-191

ΜROBOT PARA

COLONOSCOPIAS

G Chen MT Pham ldquoA Semi-autonomous Micro-robotic

System for Colonoscopyrdquo IEEE International Conference

on Robotics and Biomimetics 2009 Bangkok (Tailandia)

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

ROBOTS AUTOacuteNOMOS

SISTEMA PARA EXTIRPAR TUMORES DE PECHO

V Mallapragada et al ldquoToward a Robot-Assisted Breast

Intervention Systemrdquo IEEE Transactions on Mechatronics

vol 16 no 6 2011

SISTEMA ENDOBOT

H Kang JT Wen ldquoRobotic Assistants Aid Surgeons

During Minimally Invasive Proceduresrdquo IEEE

Engineering in Medicine and Biology 2001

ΜROBOT PARA BIOPSIAS

SR Platt et al ldquoVision and Task Assistance Using

Modular Wireless In Vivo Surgical Robotsrdquo IEEE

Transactions on Biomedical Engineering 2001

IMPLANTE COCLEAR

LB Kratchman et al ldquoDesign of a Bone-Attached

Parallel Robot for Percutaneous Cochlear Implantationrdquo

IEEE Transactions on Biomedical Engineering 2011

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CONTRIBUCIONES DE LA TESIS

PRINCIPAL OBJETIVO

Desarrollo de un robot quiruacutergico que asista al cirujano de forma semiautoacutenoma y

facilite alcanzar la cirugiacutea en solitario

CONTRIBUCIONES

1 Navegacioacuten Laparoscoacutepica Control EMP para muntildeecas de actuacioacuten directa

2 Sistema de auto-guiado basado en comportamientos

3 Asistencia semiautoacutenoma a la sutura

Implantacioacuten en el sistema de dos brazos CISOBOT

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

PROBLEMA 1 NAVEGACIOacuteN ESFEacuteRICA

Base del Robot

B

Brazo Robot

Muntildeeca

Punto de

Fulcro

I

Endoscopio

Y

X

Z

Z

Y

X

Abdomen

β

α

ρ

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

NAVEGACIOacuteN ESFEacuteRICA MECANISMOS

MUNtildeECA PASIVA CENTRO DE ROTACIOacuteN REMOTO ACTUACIOacuteN DIRECTA

No ejerce fuerzas en abdomen

Incertidumbre debido a la

holgura en el trocar

No ejerce fuerzas en abdomen

(previa calibracioacuten)

Requiere instrumental especiacutefico

Mecanismo voluminoso

No requiere instrumental especiacutefico

Poco volumen ocupado

Puede ejercer fuerzas en el

abdomen

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

MUNtildeECAS ACTIVAS NAVEGACIOacuteN

1 Rotacioacuten alrededor del fulcro estimado IDesplaza el fulcro real I sobre el abdomen

2 Simulacioacuten de muntildeeca pasivaRotacioacuten de la herramienta alrededor de la muntildeeca hasta

eliminar el desplazamiento del fulcro

3 Correccioacuten del aacutengulo de altitudSeguir recorrido hasta orientar la herramienta con el

aacutengulo deseado inicialmente

I

LL-L

XI

ZI

I0

I

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

1 Equilibrio de fuerzas y pares

2 Equilibrio de pares con F y Fβ

3 Aproximacioacuten geomeacutetrica de separacioacuten eβ

4 Aacutengulo de compensacioacuten φr

MUNtildeECAS ACTIVAS ESTIMACIOacuteN DEL FULCRO

fFIX

IZsFsM

F

B

r

I I

e

0

F

A

0I

M

0

ws

F

s

)d(WrM

WF

f

f

FρFρ

FF

sinF

M

eF

re

cos

sinFr

cos

sinFF

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

MUNtildeECAS ACTIVAS ESQUEMA DE CONTROL

CONTROL EMP

CONTROL ESFEacuteRICO

CAPA-2

CAPA-3

CAPA-1Aacutengulo

deseado

Fuerzas y

Pares

CONTROL

CARTESIANO

BRAZO ROBOT

Referencia esfeacuterica pasiva

Referencia esfeacuterica activa

Referencia

articular

ESTIMADOR

DEL FULCRO

Posicioacuten

articular

Distancia Exterior

estimada

Aacutengulo actual

CONTROLADOR MUNtildeECA ACTIVA

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CAPA 3 CONTROL CARTESIANO

CONTROL CARTESIANO

Planificador

Cartesiano

+

ndash xK)(kTX r

)(kTX r

++

BRAZO

ROBOT)(1 J

)(kTr

)(F

)(kT

)(kTX

Conversioacuten

Cartesiano a Arco

recorrido

T

)(kTLr

)(kTL

Ley de Control rxr XXKJ ~)(1

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CAPA 2 CONTROL EMP

CONTROL EMP

ControlPI

Estimador del Fulcro

ndash+

Sensor de Fuerzas

2T

)( rr

)( 2kT

))(( 2kT

1dF )( 2kTFr )( 2kTr+

ndash

)( 2kTr )( 2kTLr

ndash

+

ndash

+

)( 2kTFc

)( 2kTFs)( 2kTF

)( 2kT

)( 2kTW

)( 2kTL

CAPA-3

1

221

1TI

eK

)1(

)1(

22

2

T

T

Pe

eK

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CAPA 1 CONTROL ESFEacuteRICO

CAPA-2

+ndash

L)( dd

)( rr

)(

Control PI

)( cc

Generador de

trayectorias

)( ff

)1(

11

1

1

1

1

1

1

T

T

P

TI

e

eK

eK

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

ESTABILIDAD DEL CONTROLADOR

15

20

25

15

20

25

0

02

04

06

08

1

Distancia real (cm)Distancia estimada K (cm)

05

1

15

2

05

1

15

2

0

05

1

Rigidez real (Nmm)Rigidez estimada (Nmm)

Criterio Los autovalores son inferiores a 1

2 50

Capa 1 Control Esfeacuterico Capa 2 Control EMP

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

DEMO CONTROL EMP

time (sec)fo

rce

s (N

)30

2

-2

0

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

PROBLEMA 2 PLANIFICACIOacuteN DE CAMINOS

Herramienta del

Robot

Caacutemara Herramienta del

Cirujano

Abdomen

Trayectoria

del Robot

Objetivo

Campo de Visioacuten

C

rp ro

O

GS

GC

GR

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SISTEMA DE MOVIMIENTO AUTO-GUIADO

SELECTOR DE

COMPORTAMIENTOS

PLANIFICADOR

LOCAL

CORRECCIOacuteN DE

VELOCIDAD

SEGUIMIENTO

DEL CIRUJANO

pv

1v1c

2v2c

3v3c

or

1c

2c

3c

Objetivo

Trayectoria Planificada

Herramienta del Cirujano

Herramienta del Robot

sv

rv

s1+

+

+

pr

kT

Tk

kT

Tkdtcccdt

)1(332211r

)1(prp vvvrvrr

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SELECTOR DE COMPORTAMIENTOS

67

3 2

Esfera de direcciones

14

58

rv

C CY

CX

CZ

sv

vr

vs

1 2 3 4 5 6 7 8

1 A L ML L C L ML L

2 L A L ML L C L ML

3 C MC A L C MC C L

4 MC C L A MC C L C

5 C L ML L A L ML L

6 L C L ML L A L ML

7 C MC C L C MC A L

8 MC C L C MC C L A

c1

c2

c3

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

COMPORTAMIENTO 1 PLANIFICADOR LOCAL

atrFrepF

RM SMf

RM

O

RG

SG

L

l

i

repatr UU i

repatr1 FFF

0

02

0

0

2

ˆˆ11

2

F

rF

rep

fatr

f

rep

atr

rK

L

l

K

dt

m1

11

Fv

Proceso Planificador_Local

1) Localizar el punto guiacutea MR2) Calcular el objetivo asociado al punto guiacutea MfR3) Calcular la fuerza F1 =gt Velocidad del punto guiacutea v14) Calcular la velocidad en el efector final del robot

5) Ejecutar movimiento del robot

6) Si no se ha alcanzado el objetivo O con el extremo de la herramienta volver a 1)

Fin de Procedimiento

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

COMPORTAMIENTO 2 CORRECCIOacuteN DE VELOCIDAD

Recta de

Colisioacuten

CP

RG

SG

SP

rv

sv

)( cR tP)( cS tP

RP

r2 vv 2K

dc

tc

Cero Baja Media Lejos Muy Lejos

Cero Maacutex Maacutex Muy Alta Muy Alta Alta

Bajo Maacutex Muy Alta Alta Alta Media

Medio Muy Alta Alta Media Media Poca

Bastante Muy Alta Alta Media Poca Nula

Mucho Alta Media Poca Nula Nula

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

COMPORTAMIENTO 3 SEGUIMIENTO DEL CIRUJANO

GR GS

s3 vF 3B dt

m

Bs3 vv

1

3

3

Proceso Auto_Guiado

1) Calcular los pesos de cada comportamiento c1 c2 c32) Calcular las velocidades de los tres comportamientos v1 v2 v3 3) Ponderar cada velocidad con su peso sumar e integrar =gt siguiente punto del camino rp4) Ejecutar movimiento del robot

5) Si el robot no ha llegado al objetivo ro volver a 1)

Fin de Procedimiento

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

DEMO MOVIMIENTO AUTO-GUIADO

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

PROBLEMA 3 ASISTENCIA A LA SUTURA

EndoscopioHerramienta del

cirujano

Herramienta

auxiliar

Sujecioacuten

del hiacutegado

Escenario de Colecistectomiacutea

Protocolo

1 Elevar hiacutegado para exponer la

vesiacutecula

2 Cortar triaacutengulo de Calot y exponer

arteria y conducto ciacutesticos

3 Suturar arteria y conducto ciacutesticos

para aislar un punto intermedio

4 Cortar arteria y conducto ciacutesticos

5 Separar vesiacutecula

6 Extraer vesiacutecula del paciente

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA CONCEPTOS PREVIOS

bull Gesto Accioacuten identificable maacutes elemental de las herramientas

laparoscoacutepicas (tirar del hilo de sutura presionar tejidohellip)

bull Maniobra Secuencia de gestos que componen una actuacioacuten

definible sobre el paciente (puncioacuten corte anudadohellip)

bull Procedimiento Maniobra o secuencia de maniobras que completan

una tarea propuesta por un protocolo quiruacutergico

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA MEacuteTODO DE ROSSER (I)

Laparoscopic Suturing httpwwwyoutubecomwatchv=PmdPAVFgNXU

1 Insertar aguja y centrar Agarrar aguja

2 Presionar tejido Posicionar aguja para puncioacuten

3 Agarrar aguja tras puncioacuten Puncioacuten mediante giro de 60deg-90deg

4 Extraer aguja y tirar del hilo Soltar aguja y sostener tejido

5 Colocar aguja a la sutura Desplazar herramienta sobre el hilo

6 Mantener posicioacuten Girar 2x sentido horario

7 Tensar hilo en sentido nordeste Agarrar extremo del hilo y mantener

MANO IZQUIERDA MANO DERECHA

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA MEacuteTODO DE ROSSER (II)

Problemas

Gran cantidad de gestos entre las dos manos

Compleja sincronizacioacuten entre las herramientas laparoscoacutepicas

Solucioacuten

Asistir al cirujano manejando una herramienta con un robot

Ventajas

Menor tiempo de aprendizaje en sincronizar ambas manos

La otra mano queda libre para otras tareas no automatizables

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA DIAGRAMA DE ESTADOS (I)

PUNZADA DE LA AGUJAINSERCIOacuteN DE LA AGUJA

ANUDADOCORTE DEL HILO

S0

S2

S1 S3

S4

S5

S6

S8

S9 S7

S11

S10S12

S13

S14

T1

T2

T3

T4

T5

T6

T7T8

T9T10

i = 3 i lt 3

T11T12T13T14

T0

T15

S0 Inicio y preparacioacuten de sutura

S1 Insertar y centrar aguja en pantalla

S2 Coger aguja y colocar en punto de

sutura

S3 Fijar tejido

S4 Punzar tejido extraer aguja y tirar

del hilo

S5 Separar del tejido y abrir pinza

S6 Colocar aguja en pinza izquierda

S7 Posicionar aguja

S8 Rotar alrededor del hilo

S9 Tirar del hilo y cerrar nudo

S10 Acercar aguja a punto de sutura

S11 Coger ambos extremos del hilo y

tensar

S12 Coger hilo bajo pinza derecha

S13 Cambiar herramienta y cortar hilo

S14 Extraer hilo y aguja

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA DIAGRAMA DE ESTADOS (II)

PUNZADA DE LA AGUJAINSERCIOacuteN DE LA AGUJA

ANUDADOCORTE DEL HILO

S0

S2

S1 S3

S4

S5

S6

S8

S9 S7

S11

S10S12

S13

S14

T1

T2

T3

T4

T5

T6

T7T8

T9T10

i = 3 i lt 3

T11T12T13T14

T0

T15

T0 Comando de voz ldquoSuturardquo

T1 Robot en posicioacuten

T2 Gesto de cirujano reconocido

T3 Fuerza aplicada sobre tejido

T4 Gesto de cirujano reconocido

T5 Robot en posicioacuten

T6 Gesto de cirujano reconocido

T7 Robot en posicioacuten

T8 Gesto de cirujano reconocido

T9 Fuerza aplicada sobre el hilo

T10 Robot en posicioacuten

T11 Gesto de cirujano reconocido

T12 Robot en posicioacuten + fuerza

aplicada sobre el hilo

T13 Gesto de cirujano reconocido

T14 Robot en posicioacuten

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA DIAGRAMA DE ESTADOS (III)

PUNZADA DE LA AGUJAINSERCIOacuteN DE LA AGUJA

ANUDADOCORTE DEL HILO

S0

S2

S1 S3

S4

S5

S6

S8

S9 S7

S11

S10S12

S13

S14

T1

T2

T3

T4

T5

T6

T7T8

T9T10

i = 3 i lt 3

T11T12T13T14

T0

T15

Sk+1

Sk

Tk-1

Tk

Tk+1

1k

kE

1

1

k

kE

k

kE 1

k

kE

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA ASISTENTE DE ESTADOS

ASISTENTE DE ESTADOS

INTERACCIOacuteN

AUTO-GUIADA

Trayectoria

Planificada

Localizacioacuten

Cirujano

Localizacioacuten

del Robot

INTERFAZ DE

VOZ

Fuerzas y

Pares

Posicioacuten

Aguja

Sentildeal de

Audio

Comando

de Voz

RECONOCEDOR

DE GESTOS

ASISTENTE DE SUTURA

Activacioacuten

Tk Estado Sk

Activacioacuten

Tk

Funciones

1) Alcanzar posicioacuten objetivo

2) Aplicar fuerza en tejidohilo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA INTERACCIOacuteN AUTO-GUIADA

INTERACCIOacuteN AUTO-GUIADA

SISTEMA

ROBOT+-

1

AKoF

F

pr

MOVIMIENTO

AUTO-GUIADO

cx

or

cr r

D

DI

CONTROL

PI

++

D

-+ K

er

++

xcF

co FF

coc FFx 1

AKLey de Control

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

DEMO ASISTENCIA A LA SUTURA

Maniobra 1 Insercioacuten Maniobra 2 Puncioacuten

Maniobra 3 AnudadoManiobra 4 Corte del hilo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

IMPLANTACIOacuteN PLATAFORMA CISOBOT

Brazo Instrumental

Quiruacutergico

Brazo Caacutemara

Laparoscoacutepica

Estructura Robot

Asistente

Marca 3D

Sensor de

Fuerzas

Muntildeeca Pasiva

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT ENTORNO QUIRUacuteRGICO

Columna de

Laparoscopia

Tracker 3D

Brazo Caacutemara

Laparoscoacutepica

Brazo Instrumental

Quiruacutergico

Simulador de

Paciente

Herramienta del

Cirujano

Caacutemara

Laparoscoacutepica

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT ARQUITECTURA DE CONTROL

SENSORES ENTORNOASISTENTE DE ESTADOS

CIRUJANO

INTERACCIOacuteN

AUTO-GUIADA

BRAZOS ROBOTS

CONTROL DE

BAJO NIVEL

PACIENTE

Interaccioacute

n

Ciru

jano

Herramientas Robot

Trayectoria Planificada

Localizacioacuten Cirujano

Trayectoria ControladaLo

caliz

acioacute

n R

ob

ot

ROBOT ASISTENTE

SENSOR DE

FUERZAS

INTERFAZ DE

VOZ

Esfuerzos

Imagen Laparoscoacutepica

Contacto Robot

Aguja

Herramienta Cirujano

Activacioacuten

Sentildeal de Audio

TRACKER 3D

Comando de Voz

RECONOCEDOR

DE GESTOS

MOacuteDULO DE

VISIOacuteN

ASISTENTE

DE SUTURA Activacioacuten

Nuevo Estado

Nuevo Estado

ADQUISICIOacuteN

AUDIO

Voz del cirujano

Gesto Quiruacutergico

SIST

EMA

TOLE

RA

NTE

AFA

LLO

S

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT SISTEMA TOLERANTE A FALLOS

Evento Deteccioacuten Actuacioacuten

Fallo Hardware - Sentildeal de Fallo Hardware Parar el sistema

Colisioacuten entre brazos - Anaacutelisis de Colisioacuten cinemaacuteticaParar brazo de la caacutemara

mientras haya riesgo

Colisioacuten con herramienta

del cirujano

- Cambio inusual del Fulcro Estimado

- Herramienta del cirujano cerca del robotParar robot mientras haya riesgo

Colisioacuten con tejidooacuterganos- Cambio inusual del Fulcro Estimado

- Herramienta del cirujano lejos del robotExtraer herramienta del robot

Fallo de sensores- Medicioacuten anoacutemala y constante

independiente de la actuacioacuten

Mensaje de alerta y parar si

persiste

0 2 4 6 8 10 12 14 16 180

20

40

60

80

100

Dis

tan

cia

s (

mm

)

Distancia Robot-Objetivo

Distancia Robot-Cirujano

0 2 4 6 8 10 12 14 16 18-10

-5

0

5

10

15

20

Tiempo (segundos)

Fu

erz

as (

N)

Fx

Fy

Fz

0 2 4 6 8 10 12 14 16 18 200

20

40

60

80

100

Dis

tan

cia

s (

mm

)

Distancia Robot-Objetivo

Distancia Robot-Cirujano

0 2 4 6 8 10 12 14 16 18 20-20

-15

-10

-5

0

5

10

Tiempo (segundos)

Fu

erz

as (

N)

Fx

Fy

Fz

Co

lisioacute

n c

on

herr

am

ien

ta

Colisioacuten con tejido

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT EXPERIMENTOS PROPUESTOS

1 Movimiento esfeacuterico mediante la aplicacioacuten del control EMP

2 Movimiento auto-guiado con la herramienta del cirujano en

movimiento

3 Procedimiento de sutura Insercioacuten Puncioacuten Anudado y Corte

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 1 MOVIMIENTO ESFEacuteRICO

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 2 MOVIMIENTO AUTO-GUIADO

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (I)

Maniobra 1 Insercioacuten

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (II)

Maniobra 2 Puncioacuten

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (III)

Maniobra 3 Anudado

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (IV)

Maniobra 4 Corte del Hilo

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CONCLUSIONES

El gran esfuerzo investigador en torno a la roboacutetica quiruacutergica la destaca

como una herramienta de gran utilidad en cirugiacutea laparoscoacutepica

Tres grupos de robots quiruacutergicos tele-manipuladores camaroacutegrafos y

sistemas autoacutenomos

En un punto intermedio los robots semiautoacutenomos se perfilan como los

candidatos para la cirugiacutea en solitario

Contribuciones de esta tesis para los robots semiautoacutenomos

1 Movimiento esfeacuterico del instrumental mediante muntildeecas activas

2 Sistema auto-guiado para la planificacioacuten de movimientos en el interior

de la cavidad abdominal

3 Asistencia semiautoacutenoma al procedimiento laparoscoacutepico de sutura

Implantacioacuten de las contribuciones en el prototipo CISOBOT

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

LIacuteNEAS DE INVESTIGACIOacuteN FUTURAS

Ampliar la asistencia al cirujano en otros procedimientos ademaacutes de la

sutura corte transporte agarrehellip

Modelar complicaciones producidas con mayor frecuencia durante la

ejecucioacuten de los procedimientos anteriores (error en corte limpieza de

sangradohellip)

Modificar el robot para manejar instrumental a traveacutes de un solo orificio en

teacutecnicas SILS (Single Input Laparoscopic Surgery)

Eliminar la hipoacutetesis de herramientas riacutegidas para mejorar la localizacioacuten del

punto de fulcro e interaccioacuten con el cirujano y el paciente

Cambiar el modo secuencial del diagrama de estados de la sutura para

permitir una interaccioacuten simultaacutenea con el cirujano

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

APORTACIONES CIENTIacuteFICAS

CONGRESOS INTERNACIONALES (6) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoActive Wrists Endoscope Navigation in Robotized Laparoscopic

Surgeryrdquo IEEE International Conference on Mechatronics (ICM) Abril 2009 Maacutelaga (Espantildea) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoThree-Layer Control for Active Wrists in Robotized Laparoscopic

Surgeryrdquo IEEE International Conference on Intelligent Robots and Systems (IROS) Octubre 2009 St Louis (EEUU) B Estebanez G Jimeacutenez VF Muntildeoz I Garciacutea-Morales E Bauzano J Molina ldquoMinimally Invasive Surgery Maneuver

Recognition Based on Surgeon Modelrdquo IEEE International Congerence on Intelligent Robots and Systems (IROS) Octubre 2009 St Louis (EEUU)

E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoA Multi-Behavior Algorithm for Auto-Guided Movements in Surgeon Assistancerdquo IEEE International Workshop on Robotics in Alpe-Adria-Danube Region (RAAD) Junio 2010 Budapest (Hungriacutea)

Premio al mejor artiacuteculo de estudiante (Best Paper Award) E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoAuto-Guided Movements on Minimally Invasive Surgery for Surgeon Assistancerdquo

IEEE International Conference on Intelligent Robots and Systems (IROS) Octubre 2010 Taipei (Taiwaacuten) B Estebanez E Bauzano VF Muntildeoz ldquoSurgical Tools Pose Estimation for a Multimodal HMI of a Surgical Robot Assistantrdquo IEEE

International Conference on Intelligent Robots and Systems (IROS) Septiembre 2011 San Francisco (EEUU)

LIBROS Y REVISTAS (2) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoControl Methodologies for Endoscope Navigation in Robotized

Laparoscopic Surgeryrdquo Research and Education in Robotics Ed Springer-Verlag (Berliacuten Heidelberg) 2010 Vol 82 pp 11-22 ISBN 978-3-642-16369

E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoA Multi-Behavior Algorithm for Auto-Guided Movements in Surgeon Assistancerdquo International Journal of Mechanics and Control (JoMaC) Ed Levrotto amp Bella (Torino Italia) 2011 Vol 12 no 1 ISSN 1590-8844

CONGRESOS NACIONALES (10) ndash POSTERS Y WORKSHOPS

Proyecto de Excelencia P07-TEP-02897

ROBOT ASISTENTE SEMIAUTOacuteNOMO DE

DOS BRAZOS PARA INTERVENCIONES DE

CIRUGIacuteA LAPAROSCOacutePICA

Enrique Bauzano Nuacutentildeez

DEPARTAMENTO DE INGENIERIacuteA DE SISTEMAS Y AUTOMAacuteTICA

UNIVERSIDAD DE MAacuteLAGA

DEFENSA DE TESIS DOCTORAL

Directores Dr Viacutector F Muntildeoz Martiacutenez

Dra Isabel Garciacutea Morales

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CLASIFICACIOacuteN DE ROBOTS QUIRUacuteRGICOS

bull Cirugiacutea remota

bull Sistemas maestro-

esclavo

bull Aumento de

capacidades del

cirujano

bull hellip

bull Comandados por el

cirujano

bull Guiado visual

bull Realidad

aumentada

bull hellip

bull Biopsias

bull Auto-guiado del instrumental

bull Maniobras quiruacutergicas automaacuteticas

bull hellip

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

TELECIRUGIacuteA Y ROBOTS TELE-ASISTIDOS

SISTEMA ZEUS

SE Butner M Ghodoussi ldquoTransforming a Surgical Robot for Human Telesurgeryrdquo IEEE Transactions

on Robotics and Automation Vol 19 no 5 2003

GS Guthart JK Salisbury ldquoThe Intuitive Telesurgery System Overview and Applicationrdquo

IEEE ICRA 2000 San Francisco CA (USA)

SISTEMA DA VINCI

J Dumpert et al ldquoSemi-autonomous Surgical Tasks Using

a Miniature In Vivo Surgical Robotrdquo IEEE EMBS 2009

Minneapolis MI (USA)

MINI ROBOT PARA NOTES

DJ Abbott et al ldquoDesign of an Endoluminal

NOTES Robotic Systemrdquo IEEE-RSJ IROS

2007 San Diego CA (USA)

SISTEMA VIACATH

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

ROBOTS CAMAROacuteGRAFOS

SISTEMA ERM

VF Muntildeoz et al ldquoControl movement scheme based on

manipulability concept for a surgical robotic assistantrdquo

IEEE ICRA 2006 Orlando FL (USA)

SISTEMA AESOP

P Chatzilias et al ldquoRobotic control in hand-assisted

laparoscopic nepherctomy in humans- a pilot studyrdquo IEEE

EMBS 2004 San Francisco CA (USA)

SISTEMA LAPMAN

R Polet J Donnez ldquoUsing a Laparoscope Manipulator

(LAPMAN) in Laparoscopic Gynecological Surgeryrdquo Surgical

Technology International pp 187-191

ΜROBOT PARA

COLONOSCOPIAS

G Chen MT Pham ldquoA Semi-autonomous Micro-robotic

System for Colonoscopyrdquo IEEE International Conference

on Robotics and Biomimetics 2009 Bangkok (Tailandia)

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

ROBOTS AUTOacuteNOMOS

SISTEMA PARA EXTIRPAR TUMORES DE PECHO

V Mallapragada et al ldquoToward a Robot-Assisted Breast

Intervention Systemrdquo IEEE Transactions on Mechatronics

vol 16 no 6 2011

SISTEMA ENDOBOT

H Kang JT Wen ldquoRobotic Assistants Aid Surgeons

During Minimally Invasive Proceduresrdquo IEEE

Engineering in Medicine and Biology 2001

ΜROBOT PARA BIOPSIAS

SR Platt et al ldquoVision and Task Assistance Using

Modular Wireless In Vivo Surgical Robotsrdquo IEEE

Transactions on Biomedical Engineering 2001

IMPLANTE COCLEAR

LB Kratchman et al ldquoDesign of a Bone-Attached

Parallel Robot for Percutaneous Cochlear Implantationrdquo

IEEE Transactions on Biomedical Engineering 2011

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CONTRIBUCIONES DE LA TESIS

PRINCIPAL OBJETIVO

Desarrollo de un robot quiruacutergico que asista al cirujano de forma semiautoacutenoma y

facilite alcanzar la cirugiacutea en solitario

CONTRIBUCIONES

1 Navegacioacuten Laparoscoacutepica Control EMP para muntildeecas de actuacioacuten directa

2 Sistema de auto-guiado basado en comportamientos

3 Asistencia semiautoacutenoma a la sutura

Implantacioacuten en el sistema de dos brazos CISOBOT

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

PROBLEMA 1 NAVEGACIOacuteN ESFEacuteRICA

Base del Robot

B

Brazo Robot

Muntildeeca

Punto de

Fulcro

I

Endoscopio

Y

X

Z

Z

Y

X

Abdomen

β

α

ρ

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

NAVEGACIOacuteN ESFEacuteRICA MECANISMOS

MUNtildeECA PASIVA CENTRO DE ROTACIOacuteN REMOTO ACTUACIOacuteN DIRECTA

No ejerce fuerzas en abdomen

Incertidumbre debido a la

holgura en el trocar

No ejerce fuerzas en abdomen

(previa calibracioacuten)

Requiere instrumental especiacutefico

Mecanismo voluminoso

No requiere instrumental especiacutefico

Poco volumen ocupado

Puede ejercer fuerzas en el

abdomen

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

MUNtildeECAS ACTIVAS NAVEGACIOacuteN

1 Rotacioacuten alrededor del fulcro estimado IDesplaza el fulcro real I sobre el abdomen

2 Simulacioacuten de muntildeeca pasivaRotacioacuten de la herramienta alrededor de la muntildeeca hasta

eliminar el desplazamiento del fulcro

3 Correccioacuten del aacutengulo de altitudSeguir recorrido hasta orientar la herramienta con el

aacutengulo deseado inicialmente

I

LL-L

XI

ZI

I0

I

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

1 Equilibrio de fuerzas y pares

2 Equilibrio de pares con F y Fβ

3 Aproximacioacuten geomeacutetrica de separacioacuten eβ

4 Aacutengulo de compensacioacuten φr

MUNtildeECAS ACTIVAS ESTIMACIOacuteN DEL FULCRO

fFIX

IZsFsM

F

B

r

I I

e

0

F

A

0I

M

0

ws

F

s

)d(WrM

WF

f

f

FρFρ

FF

sinF

M

eF

re

cos

sinFr

cos

sinFF

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

MUNtildeECAS ACTIVAS ESQUEMA DE CONTROL

CONTROL EMP

CONTROL ESFEacuteRICO

CAPA-2

CAPA-3

CAPA-1Aacutengulo

deseado

Fuerzas y

Pares

CONTROL

CARTESIANO

BRAZO ROBOT

Referencia esfeacuterica pasiva

Referencia esfeacuterica activa

Referencia

articular

ESTIMADOR

DEL FULCRO

Posicioacuten

articular

Distancia Exterior

estimada

Aacutengulo actual

CONTROLADOR MUNtildeECA ACTIVA

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CAPA 3 CONTROL CARTESIANO

CONTROL CARTESIANO

Planificador

Cartesiano

+

ndash xK)(kTX r

)(kTX r

++

BRAZO

ROBOT)(1 J

)(kTr

)(F

)(kT

)(kTX

Conversioacuten

Cartesiano a Arco

recorrido

T

)(kTLr

)(kTL

Ley de Control rxr XXKJ ~)(1

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CAPA 2 CONTROL EMP

CONTROL EMP

ControlPI

Estimador del Fulcro

ndash+

Sensor de Fuerzas

2T

)( rr

)( 2kT

))(( 2kT

1dF )( 2kTFr )( 2kTr+

ndash

)( 2kTr )( 2kTLr

ndash

+

ndash

+

)( 2kTFc

)( 2kTFs)( 2kTF

)( 2kT

)( 2kTW

)( 2kTL

CAPA-3

1

221

1TI

eK

)1(

)1(

22

2

T

T

Pe

eK

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CAPA 1 CONTROL ESFEacuteRICO

CAPA-2

+ndash

L)( dd

)( rr

)(

Control PI

)( cc

Generador de

trayectorias

)( ff

)1(

11

1

1

1

1

1

1

T

T

P

TI

e

eK

eK

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

ESTABILIDAD DEL CONTROLADOR

15

20

25

15

20

25

0

02

04

06

08

1

Distancia real (cm)Distancia estimada K (cm)

05

1

15

2

05

1

15

2

0

05

1

Rigidez real (Nmm)Rigidez estimada (Nmm)

Criterio Los autovalores son inferiores a 1

2 50

Capa 1 Control Esfeacuterico Capa 2 Control EMP

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

DEMO CONTROL EMP

time (sec)fo

rce

s (N

)30

2

-2

0

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

PROBLEMA 2 PLANIFICACIOacuteN DE CAMINOS

Herramienta del

Robot

Caacutemara Herramienta del

Cirujano

Abdomen

Trayectoria

del Robot

Objetivo

Campo de Visioacuten

C

rp ro

O

GS

GC

GR

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SISTEMA DE MOVIMIENTO AUTO-GUIADO

SELECTOR DE

COMPORTAMIENTOS

PLANIFICADOR

LOCAL

CORRECCIOacuteN DE

VELOCIDAD

SEGUIMIENTO

DEL CIRUJANO

pv

1v1c

2v2c

3v3c

or

1c

2c

3c

Objetivo

Trayectoria Planificada

Herramienta del Cirujano

Herramienta del Robot

sv

rv

s1+

+

+

pr

kT

Tk

kT

Tkdtcccdt

)1(332211r

)1(prp vvvrvrr

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SELECTOR DE COMPORTAMIENTOS

67

3 2

Esfera de direcciones

14

58

rv

C CY

CX

CZ

sv

vr

vs

1 2 3 4 5 6 7 8

1 A L ML L C L ML L

2 L A L ML L C L ML

3 C MC A L C MC C L

4 MC C L A MC C L C

5 C L ML L A L ML L

6 L C L ML L A L ML

7 C MC C L C MC A L

8 MC C L C MC C L A

c1

c2

c3

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

COMPORTAMIENTO 1 PLANIFICADOR LOCAL

atrFrepF

RM SMf

RM

O

RG

SG

L

l

i

repatr UU i

repatr1 FFF

0

02

0

0

2

ˆˆ11

2

F

rF

rep

fatr

f

rep

atr

rK

L

l

K

dt

m1

11

Fv

Proceso Planificador_Local

1) Localizar el punto guiacutea MR2) Calcular el objetivo asociado al punto guiacutea MfR3) Calcular la fuerza F1 =gt Velocidad del punto guiacutea v14) Calcular la velocidad en el efector final del robot

5) Ejecutar movimiento del robot

6) Si no se ha alcanzado el objetivo O con el extremo de la herramienta volver a 1)

Fin de Procedimiento

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

COMPORTAMIENTO 2 CORRECCIOacuteN DE VELOCIDAD

Recta de

Colisioacuten

CP

RG

SG

SP

rv

sv

)( cR tP)( cS tP

RP

r2 vv 2K

dc

tc

Cero Baja Media Lejos Muy Lejos

Cero Maacutex Maacutex Muy Alta Muy Alta Alta

Bajo Maacutex Muy Alta Alta Alta Media

Medio Muy Alta Alta Media Media Poca

Bastante Muy Alta Alta Media Poca Nula

Mucho Alta Media Poca Nula Nula

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

COMPORTAMIENTO 3 SEGUIMIENTO DEL CIRUJANO

GR GS

s3 vF 3B dt

m

Bs3 vv

1

3

3

Proceso Auto_Guiado

1) Calcular los pesos de cada comportamiento c1 c2 c32) Calcular las velocidades de los tres comportamientos v1 v2 v3 3) Ponderar cada velocidad con su peso sumar e integrar =gt siguiente punto del camino rp4) Ejecutar movimiento del robot

5) Si el robot no ha llegado al objetivo ro volver a 1)

Fin de Procedimiento

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

DEMO MOVIMIENTO AUTO-GUIADO

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

PROBLEMA 3 ASISTENCIA A LA SUTURA

EndoscopioHerramienta del

cirujano

Herramienta

auxiliar

Sujecioacuten

del hiacutegado

Escenario de Colecistectomiacutea

Protocolo

1 Elevar hiacutegado para exponer la

vesiacutecula

2 Cortar triaacutengulo de Calot y exponer

arteria y conducto ciacutesticos

3 Suturar arteria y conducto ciacutesticos

para aislar un punto intermedio

4 Cortar arteria y conducto ciacutesticos

5 Separar vesiacutecula

6 Extraer vesiacutecula del paciente

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA CONCEPTOS PREVIOS

bull Gesto Accioacuten identificable maacutes elemental de las herramientas

laparoscoacutepicas (tirar del hilo de sutura presionar tejidohellip)

bull Maniobra Secuencia de gestos que componen una actuacioacuten

definible sobre el paciente (puncioacuten corte anudadohellip)

bull Procedimiento Maniobra o secuencia de maniobras que completan

una tarea propuesta por un protocolo quiruacutergico

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA MEacuteTODO DE ROSSER (I)

Laparoscopic Suturing httpwwwyoutubecomwatchv=PmdPAVFgNXU

1 Insertar aguja y centrar Agarrar aguja

2 Presionar tejido Posicionar aguja para puncioacuten

3 Agarrar aguja tras puncioacuten Puncioacuten mediante giro de 60deg-90deg

4 Extraer aguja y tirar del hilo Soltar aguja y sostener tejido

5 Colocar aguja a la sutura Desplazar herramienta sobre el hilo

6 Mantener posicioacuten Girar 2x sentido horario

7 Tensar hilo en sentido nordeste Agarrar extremo del hilo y mantener

MANO IZQUIERDA MANO DERECHA

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA MEacuteTODO DE ROSSER (II)

Problemas

Gran cantidad de gestos entre las dos manos

Compleja sincronizacioacuten entre las herramientas laparoscoacutepicas

Solucioacuten

Asistir al cirujano manejando una herramienta con un robot

Ventajas

Menor tiempo de aprendizaje en sincronizar ambas manos

La otra mano queda libre para otras tareas no automatizables

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA DIAGRAMA DE ESTADOS (I)

PUNZADA DE LA AGUJAINSERCIOacuteN DE LA AGUJA

ANUDADOCORTE DEL HILO

S0

S2

S1 S3

S4

S5

S6

S8

S9 S7

S11

S10S12

S13

S14

T1

T2

T3

T4

T5

T6

T7T8

T9T10

i = 3 i lt 3

T11T12T13T14

T0

T15

S0 Inicio y preparacioacuten de sutura

S1 Insertar y centrar aguja en pantalla

S2 Coger aguja y colocar en punto de

sutura

S3 Fijar tejido

S4 Punzar tejido extraer aguja y tirar

del hilo

S5 Separar del tejido y abrir pinza

S6 Colocar aguja en pinza izquierda

S7 Posicionar aguja

S8 Rotar alrededor del hilo

S9 Tirar del hilo y cerrar nudo

S10 Acercar aguja a punto de sutura

S11 Coger ambos extremos del hilo y

tensar

S12 Coger hilo bajo pinza derecha

S13 Cambiar herramienta y cortar hilo

S14 Extraer hilo y aguja

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA DIAGRAMA DE ESTADOS (II)

PUNZADA DE LA AGUJAINSERCIOacuteN DE LA AGUJA

ANUDADOCORTE DEL HILO

S0

S2

S1 S3

S4

S5

S6

S8

S9 S7

S11

S10S12

S13

S14

T1

T2

T3

T4

T5

T6

T7T8

T9T10

i = 3 i lt 3

T11T12T13T14

T0

T15

T0 Comando de voz ldquoSuturardquo

T1 Robot en posicioacuten

T2 Gesto de cirujano reconocido

T3 Fuerza aplicada sobre tejido

T4 Gesto de cirujano reconocido

T5 Robot en posicioacuten

T6 Gesto de cirujano reconocido

T7 Robot en posicioacuten

T8 Gesto de cirujano reconocido

T9 Fuerza aplicada sobre el hilo

T10 Robot en posicioacuten

T11 Gesto de cirujano reconocido

T12 Robot en posicioacuten + fuerza

aplicada sobre el hilo

T13 Gesto de cirujano reconocido

T14 Robot en posicioacuten

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA DIAGRAMA DE ESTADOS (III)

PUNZADA DE LA AGUJAINSERCIOacuteN DE LA AGUJA

ANUDADOCORTE DEL HILO

S0

S2

S1 S3

S4

S5

S6

S8

S9 S7

S11

S10S12

S13

S14

T1

T2

T3

T4

T5

T6

T7T8

T9T10

i = 3 i lt 3

T11T12T13T14

T0

T15

Sk+1

Sk

Tk-1

Tk

Tk+1

1k

kE

1

1

k

kE

k

kE 1

k

kE

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA ASISTENTE DE ESTADOS

ASISTENTE DE ESTADOS

INTERACCIOacuteN

AUTO-GUIADA

Trayectoria

Planificada

Localizacioacuten

Cirujano

Localizacioacuten

del Robot

INTERFAZ DE

VOZ

Fuerzas y

Pares

Posicioacuten

Aguja

Sentildeal de

Audio

Comando

de Voz

RECONOCEDOR

DE GESTOS

ASISTENTE DE SUTURA

Activacioacuten

Tk Estado Sk

Activacioacuten

Tk

Funciones

1) Alcanzar posicioacuten objetivo

2) Aplicar fuerza en tejidohilo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA INTERACCIOacuteN AUTO-GUIADA

INTERACCIOacuteN AUTO-GUIADA

SISTEMA

ROBOT+-

1

AKoF

F

pr

MOVIMIENTO

AUTO-GUIADO

cx

or

cr r

D

DI

CONTROL

PI

++

D

-+ K

er

++

xcF

co FF

coc FFx 1

AKLey de Control

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

DEMO ASISTENCIA A LA SUTURA

Maniobra 1 Insercioacuten Maniobra 2 Puncioacuten

Maniobra 3 AnudadoManiobra 4 Corte del hilo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

IMPLANTACIOacuteN PLATAFORMA CISOBOT

Brazo Instrumental

Quiruacutergico

Brazo Caacutemara

Laparoscoacutepica

Estructura Robot

Asistente

Marca 3D

Sensor de

Fuerzas

Muntildeeca Pasiva

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT ENTORNO QUIRUacuteRGICO

Columna de

Laparoscopia

Tracker 3D

Brazo Caacutemara

Laparoscoacutepica

Brazo Instrumental

Quiruacutergico

Simulador de

Paciente

Herramienta del

Cirujano

Caacutemara

Laparoscoacutepica

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT ARQUITECTURA DE CONTROL

SENSORES ENTORNOASISTENTE DE ESTADOS

CIRUJANO

INTERACCIOacuteN

AUTO-GUIADA

BRAZOS ROBOTS

CONTROL DE

BAJO NIVEL

PACIENTE

Interaccioacute

n

Ciru

jano

Herramientas Robot

Trayectoria Planificada

Localizacioacuten Cirujano

Trayectoria ControladaLo

caliz

acioacute

n R

ob

ot

ROBOT ASISTENTE

SENSOR DE

FUERZAS

INTERFAZ DE

VOZ

Esfuerzos

Imagen Laparoscoacutepica

Contacto Robot

Aguja

Herramienta Cirujano

Activacioacuten

Sentildeal de Audio

TRACKER 3D

Comando de Voz

RECONOCEDOR

DE GESTOS

MOacuteDULO DE

VISIOacuteN

ASISTENTE

DE SUTURA Activacioacuten

Nuevo Estado

Nuevo Estado

ADQUISICIOacuteN

AUDIO

Voz del cirujano

Gesto Quiruacutergico

SIST

EMA

TOLE

RA

NTE

AFA

LLO

S

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT SISTEMA TOLERANTE A FALLOS

Evento Deteccioacuten Actuacioacuten

Fallo Hardware - Sentildeal de Fallo Hardware Parar el sistema

Colisioacuten entre brazos - Anaacutelisis de Colisioacuten cinemaacuteticaParar brazo de la caacutemara

mientras haya riesgo

Colisioacuten con herramienta

del cirujano

- Cambio inusual del Fulcro Estimado

- Herramienta del cirujano cerca del robotParar robot mientras haya riesgo

Colisioacuten con tejidooacuterganos- Cambio inusual del Fulcro Estimado

- Herramienta del cirujano lejos del robotExtraer herramienta del robot

Fallo de sensores- Medicioacuten anoacutemala y constante

independiente de la actuacioacuten

Mensaje de alerta y parar si

persiste

0 2 4 6 8 10 12 14 16 180

20

40

60

80

100

Dis

tan

cia

s (

mm

)

Distancia Robot-Objetivo

Distancia Robot-Cirujano

0 2 4 6 8 10 12 14 16 18-10

-5

0

5

10

15

20

Tiempo (segundos)

Fu

erz

as (

N)

Fx

Fy

Fz

0 2 4 6 8 10 12 14 16 18 200

20

40

60

80

100

Dis

tan

cia

s (

mm

)

Distancia Robot-Objetivo

Distancia Robot-Cirujano

0 2 4 6 8 10 12 14 16 18 20-20

-15

-10

-5

0

5

10

Tiempo (segundos)

Fu

erz

as (

N)

Fx

Fy

Fz

Co

lisioacute

n c

on

herr

am

ien

ta

Colisioacuten con tejido

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT EXPERIMENTOS PROPUESTOS

1 Movimiento esfeacuterico mediante la aplicacioacuten del control EMP

2 Movimiento auto-guiado con la herramienta del cirujano en

movimiento

3 Procedimiento de sutura Insercioacuten Puncioacuten Anudado y Corte

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 1 MOVIMIENTO ESFEacuteRICO

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 2 MOVIMIENTO AUTO-GUIADO

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (I)

Maniobra 1 Insercioacuten

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (II)

Maniobra 2 Puncioacuten

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (III)

Maniobra 3 Anudado

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (IV)

Maniobra 4 Corte del Hilo

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CONCLUSIONES

El gran esfuerzo investigador en torno a la roboacutetica quiruacutergica la destaca

como una herramienta de gran utilidad en cirugiacutea laparoscoacutepica

Tres grupos de robots quiruacutergicos tele-manipuladores camaroacutegrafos y

sistemas autoacutenomos

En un punto intermedio los robots semiautoacutenomos se perfilan como los

candidatos para la cirugiacutea en solitario

Contribuciones de esta tesis para los robots semiautoacutenomos

1 Movimiento esfeacuterico del instrumental mediante muntildeecas activas

2 Sistema auto-guiado para la planificacioacuten de movimientos en el interior

de la cavidad abdominal

3 Asistencia semiautoacutenoma al procedimiento laparoscoacutepico de sutura

Implantacioacuten de las contribuciones en el prototipo CISOBOT

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

LIacuteNEAS DE INVESTIGACIOacuteN FUTURAS

Ampliar la asistencia al cirujano en otros procedimientos ademaacutes de la

sutura corte transporte agarrehellip

Modelar complicaciones producidas con mayor frecuencia durante la

ejecucioacuten de los procedimientos anteriores (error en corte limpieza de

sangradohellip)

Modificar el robot para manejar instrumental a traveacutes de un solo orificio en

teacutecnicas SILS (Single Input Laparoscopic Surgery)

Eliminar la hipoacutetesis de herramientas riacutegidas para mejorar la localizacioacuten del

punto de fulcro e interaccioacuten con el cirujano y el paciente

Cambiar el modo secuencial del diagrama de estados de la sutura para

permitir una interaccioacuten simultaacutenea con el cirujano

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

APORTACIONES CIENTIacuteFICAS

CONGRESOS INTERNACIONALES (6) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoActive Wrists Endoscope Navigation in Robotized Laparoscopic

Surgeryrdquo IEEE International Conference on Mechatronics (ICM) Abril 2009 Maacutelaga (Espantildea) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoThree-Layer Control for Active Wrists in Robotized Laparoscopic

Surgeryrdquo IEEE International Conference on Intelligent Robots and Systems (IROS) Octubre 2009 St Louis (EEUU) B Estebanez G Jimeacutenez VF Muntildeoz I Garciacutea-Morales E Bauzano J Molina ldquoMinimally Invasive Surgery Maneuver

Recognition Based on Surgeon Modelrdquo IEEE International Congerence on Intelligent Robots and Systems (IROS) Octubre 2009 St Louis (EEUU)

E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoA Multi-Behavior Algorithm for Auto-Guided Movements in Surgeon Assistancerdquo IEEE International Workshop on Robotics in Alpe-Adria-Danube Region (RAAD) Junio 2010 Budapest (Hungriacutea)

Premio al mejor artiacuteculo de estudiante (Best Paper Award) E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoAuto-Guided Movements on Minimally Invasive Surgery for Surgeon Assistancerdquo

IEEE International Conference on Intelligent Robots and Systems (IROS) Octubre 2010 Taipei (Taiwaacuten) B Estebanez E Bauzano VF Muntildeoz ldquoSurgical Tools Pose Estimation for a Multimodal HMI of a Surgical Robot Assistantrdquo IEEE

International Conference on Intelligent Robots and Systems (IROS) Septiembre 2011 San Francisco (EEUU)

LIBROS Y REVISTAS (2) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoControl Methodologies for Endoscope Navigation in Robotized

Laparoscopic Surgeryrdquo Research and Education in Robotics Ed Springer-Verlag (Berliacuten Heidelberg) 2010 Vol 82 pp 11-22 ISBN 978-3-642-16369

E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoA Multi-Behavior Algorithm for Auto-Guided Movements in Surgeon Assistancerdquo International Journal of Mechanics and Control (JoMaC) Ed Levrotto amp Bella (Torino Italia) 2011 Vol 12 no 1 ISSN 1590-8844

CONGRESOS NACIONALES (10) ndash POSTERS Y WORKSHOPS

Proyecto de Excelencia P07-TEP-02897

ROBOT ASISTENTE SEMIAUTOacuteNOMO DE

DOS BRAZOS PARA INTERVENCIONES DE

CIRUGIacuteA LAPAROSCOacutePICA

Enrique Bauzano Nuacutentildeez

DEPARTAMENTO DE INGENIERIacuteA DE SISTEMAS Y AUTOMAacuteTICA

UNIVERSIDAD DE MAacuteLAGA

DEFENSA DE TESIS DOCTORAL

Directores Dr Viacutector F Muntildeoz Martiacutenez

Dra Isabel Garciacutea Morales

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

TELECIRUGIacuteA Y ROBOTS TELE-ASISTIDOS

SISTEMA ZEUS

SE Butner M Ghodoussi ldquoTransforming a Surgical Robot for Human Telesurgeryrdquo IEEE Transactions

on Robotics and Automation Vol 19 no 5 2003

GS Guthart JK Salisbury ldquoThe Intuitive Telesurgery System Overview and Applicationrdquo

IEEE ICRA 2000 San Francisco CA (USA)

SISTEMA DA VINCI

J Dumpert et al ldquoSemi-autonomous Surgical Tasks Using

a Miniature In Vivo Surgical Robotrdquo IEEE EMBS 2009

Minneapolis MI (USA)

MINI ROBOT PARA NOTES

DJ Abbott et al ldquoDesign of an Endoluminal

NOTES Robotic Systemrdquo IEEE-RSJ IROS

2007 San Diego CA (USA)

SISTEMA VIACATH

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

ROBOTS CAMAROacuteGRAFOS

SISTEMA ERM

VF Muntildeoz et al ldquoControl movement scheme based on

manipulability concept for a surgical robotic assistantrdquo

IEEE ICRA 2006 Orlando FL (USA)

SISTEMA AESOP

P Chatzilias et al ldquoRobotic control in hand-assisted

laparoscopic nepherctomy in humans- a pilot studyrdquo IEEE

EMBS 2004 San Francisco CA (USA)

SISTEMA LAPMAN

R Polet J Donnez ldquoUsing a Laparoscope Manipulator

(LAPMAN) in Laparoscopic Gynecological Surgeryrdquo Surgical

Technology International pp 187-191

ΜROBOT PARA

COLONOSCOPIAS

G Chen MT Pham ldquoA Semi-autonomous Micro-robotic

System for Colonoscopyrdquo IEEE International Conference

on Robotics and Biomimetics 2009 Bangkok (Tailandia)

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

ROBOTS AUTOacuteNOMOS

SISTEMA PARA EXTIRPAR TUMORES DE PECHO

V Mallapragada et al ldquoToward a Robot-Assisted Breast

Intervention Systemrdquo IEEE Transactions on Mechatronics

vol 16 no 6 2011

SISTEMA ENDOBOT

H Kang JT Wen ldquoRobotic Assistants Aid Surgeons

During Minimally Invasive Proceduresrdquo IEEE

Engineering in Medicine and Biology 2001

ΜROBOT PARA BIOPSIAS

SR Platt et al ldquoVision and Task Assistance Using

Modular Wireless In Vivo Surgical Robotsrdquo IEEE

Transactions on Biomedical Engineering 2001

IMPLANTE COCLEAR

LB Kratchman et al ldquoDesign of a Bone-Attached

Parallel Robot for Percutaneous Cochlear Implantationrdquo

IEEE Transactions on Biomedical Engineering 2011

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CONTRIBUCIONES DE LA TESIS

PRINCIPAL OBJETIVO

Desarrollo de un robot quiruacutergico que asista al cirujano de forma semiautoacutenoma y

facilite alcanzar la cirugiacutea en solitario

CONTRIBUCIONES

1 Navegacioacuten Laparoscoacutepica Control EMP para muntildeecas de actuacioacuten directa

2 Sistema de auto-guiado basado en comportamientos

3 Asistencia semiautoacutenoma a la sutura

Implantacioacuten en el sistema de dos brazos CISOBOT

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

PROBLEMA 1 NAVEGACIOacuteN ESFEacuteRICA

Base del Robot

B

Brazo Robot

Muntildeeca

Punto de

Fulcro

I

Endoscopio

Y

X

Z

Z

Y

X

Abdomen

β

α

ρ

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

NAVEGACIOacuteN ESFEacuteRICA MECANISMOS

MUNtildeECA PASIVA CENTRO DE ROTACIOacuteN REMOTO ACTUACIOacuteN DIRECTA

No ejerce fuerzas en abdomen

Incertidumbre debido a la

holgura en el trocar

No ejerce fuerzas en abdomen

(previa calibracioacuten)

Requiere instrumental especiacutefico

Mecanismo voluminoso

No requiere instrumental especiacutefico

Poco volumen ocupado

Puede ejercer fuerzas en el

abdomen

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

MUNtildeECAS ACTIVAS NAVEGACIOacuteN

1 Rotacioacuten alrededor del fulcro estimado IDesplaza el fulcro real I sobre el abdomen

2 Simulacioacuten de muntildeeca pasivaRotacioacuten de la herramienta alrededor de la muntildeeca hasta

eliminar el desplazamiento del fulcro

3 Correccioacuten del aacutengulo de altitudSeguir recorrido hasta orientar la herramienta con el

aacutengulo deseado inicialmente

I

LL-L

XI

ZI

I0

I

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

1 Equilibrio de fuerzas y pares

2 Equilibrio de pares con F y Fβ

3 Aproximacioacuten geomeacutetrica de separacioacuten eβ

4 Aacutengulo de compensacioacuten φr

MUNtildeECAS ACTIVAS ESTIMACIOacuteN DEL FULCRO

fFIX

IZsFsM

F

B

r

I I

e

0

F

A

0I

M

0

ws

F

s

)d(WrM

WF

f

f

FρFρ

FF

sinF

M

eF

re

cos

sinFr

cos

sinFF

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

MUNtildeECAS ACTIVAS ESQUEMA DE CONTROL

CONTROL EMP

CONTROL ESFEacuteRICO

CAPA-2

CAPA-3

CAPA-1Aacutengulo

deseado

Fuerzas y

Pares

CONTROL

CARTESIANO

BRAZO ROBOT

Referencia esfeacuterica pasiva

Referencia esfeacuterica activa

Referencia

articular

ESTIMADOR

DEL FULCRO

Posicioacuten

articular

Distancia Exterior

estimada

Aacutengulo actual

CONTROLADOR MUNtildeECA ACTIVA

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CAPA 3 CONTROL CARTESIANO

CONTROL CARTESIANO

Planificador

Cartesiano

+

ndash xK)(kTX r

)(kTX r

++

BRAZO

ROBOT)(1 J

)(kTr

)(F

)(kT

)(kTX

Conversioacuten

Cartesiano a Arco

recorrido

T

)(kTLr

)(kTL

Ley de Control rxr XXKJ ~)(1

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CAPA 2 CONTROL EMP

CONTROL EMP

ControlPI

Estimador del Fulcro

ndash+

Sensor de Fuerzas

2T

)( rr

)( 2kT

))(( 2kT

1dF )( 2kTFr )( 2kTr+

ndash

)( 2kTr )( 2kTLr

ndash

+

ndash

+

)( 2kTFc

)( 2kTFs)( 2kTF

)( 2kT

)( 2kTW

)( 2kTL

CAPA-3

1

221

1TI

eK

)1(

)1(

22

2

T

T

Pe

eK

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CAPA 1 CONTROL ESFEacuteRICO

CAPA-2

+ndash

L)( dd

)( rr

)(

Control PI

)( cc

Generador de

trayectorias

)( ff

)1(

11

1

1

1

1

1

1

T

T

P

TI

e

eK

eK

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

ESTABILIDAD DEL CONTROLADOR

15

20

25

15

20

25

0

02

04

06

08

1

Distancia real (cm)Distancia estimada K (cm)

05

1

15

2

05

1

15

2

0

05

1

Rigidez real (Nmm)Rigidez estimada (Nmm)

Criterio Los autovalores son inferiores a 1

2 50

Capa 1 Control Esfeacuterico Capa 2 Control EMP

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

DEMO CONTROL EMP

time (sec)fo

rce

s (N

)30

2

-2

0

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

PROBLEMA 2 PLANIFICACIOacuteN DE CAMINOS

Herramienta del

Robot

Caacutemara Herramienta del

Cirujano

Abdomen

Trayectoria

del Robot

Objetivo

Campo de Visioacuten

C

rp ro

O

GS

GC

GR

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SISTEMA DE MOVIMIENTO AUTO-GUIADO

SELECTOR DE

COMPORTAMIENTOS

PLANIFICADOR

LOCAL

CORRECCIOacuteN DE

VELOCIDAD

SEGUIMIENTO

DEL CIRUJANO

pv

1v1c

2v2c

3v3c

or

1c

2c

3c

Objetivo

Trayectoria Planificada

Herramienta del Cirujano

Herramienta del Robot

sv

rv

s1+

+

+

pr

kT

Tk

kT

Tkdtcccdt

)1(332211r

)1(prp vvvrvrr

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SELECTOR DE COMPORTAMIENTOS

67

3 2

Esfera de direcciones

14

58

rv

C CY

CX

CZ

sv

vr

vs

1 2 3 4 5 6 7 8

1 A L ML L C L ML L

2 L A L ML L C L ML

3 C MC A L C MC C L

4 MC C L A MC C L C

5 C L ML L A L ML L

6 L C L ML L A L ML

7 C MC C L C MC A L

8 MC C L C MC C L A

c1

c2

c3

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

COMPORTAMIENTO 1 PLANIFICADOR LOCAL

atrFrepF

RM SMf

RM

O

RG

SG

L

l

i

repatr UU i

repatr1 FFF

0

02

0

0

2

ˆˆ11

2

F

rF

rep

fatr

f

rep

atr

rK

L

l

K

dt

m1

11

Fv

Proceso Planificador_Local

1) Localizar el punto guiacutea MR2) Calcular el objetivo asociado al punto guiacutea MfR3) Calcular la fuerza F1 =gt Velocidad del punto guiacutea v14) Calcular la velocidad en el efector final del robot

5) Ejecutar movimiento del robot

6) Si no se ha alcanzado el objetivo O con el extremo de la herramienta volver a 1)

Fin de Procedimiento

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

COMPORTAMIENTO 2 CORRECCIOacuteN DE VELOCIDAD

Recta de

Colisioacuten

CP

RG

SG

SP

rv

sv

)( cR tP)( cS tP

RP

r2 vv 2K

dc

tc

Cero Baja Media Lejos Muy Lejos

Cero Maacutex Maacutex Muy Alta Muy Alta Alta

Bajo Maacutex Muy Alta Alta Alta Media

Medio Muy Alta Alta Media Media Poca

Bastante Muy Alta Alta Media Poca Nula

Mucho Alta Media Poca Nula Nula

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

COMPORTAMIENTO 3 SEGUIMIENTO DEL CIRUJANO

GR GS

s3 vF 3B dt

m

Bs3 vv

1

3

3

Proceso Auto_Guiado

1) Calcular los pesos de cada comportamiento c1 c2 c32) Calcular las velocidades de los tres comportamientos v1 v2 v3 3) Ponderar cada velocidad con su peso sumar e integrar =gt siguiente punto del camino rp4) Ejecutar movimiento del robot

5) Si el robot no ha llegado al objetivo ro volver a 1)

Fin de Procedimiento

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

DEMO MOVIMIENTO AUTO-GUIADO

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

PROBLEMA 3 ASISTENCIA A LA SUTURA

EndoscopioHerramienta del

cirujano

Herramienta

auxiliar

Sujecioacuten

del hiacutegado

Escenario de Colecistectomiacutea

Protocolo

1 Elevar hiacutegado para exponer la

vesiacutecula

2 Cortar triaacutengulo de Calot y exponer

arteria y conducto ciacutesticos

3 Suturar arteria y conducto ciacutesticos

para aislar un punto intermedio

4 Cortar arteria y conducto ciacutesticos

5 Separar vesiacutecula

6 Extraer vesiacutecula del paciente

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA CONCEPTOS PREVIOS

bull Gesto Accioacuten identificable maacutes elemental de las herramientas

laparoscoacutepicas (tirar del hilo de sutura presionar tejidohellip)

bull Maniobra Secuencia de gestos que componen una actuacioacuten

definible sobre el paciente (puncioacuten corte anudadohellip)

bull Procedimiento Maniobra o secuencia de maniobras que completan

una tarea propuesta por un protocolo quiruacutergico

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA MEacuteTODO DE ROSSER (I)

Laparoscopic Suturing httpwwwyoutubecomwatchv=PmdPAVFgNXU

1 Insertar aguja y centrar Agarrar aguja

2 Presionar tejido Posicionar aguja para puncioacuten

3 Agarrar aguja tras puncioacuten Puncioacuten mediante giro de 60deg-90deg

4 Extraer aguja y tirar del hilo Soltar aguja y sostener tejido

5 Colocar aguja a la sutura Desplazar herramienta sobre el hilo

6 Mantener posicioacuten Girar 2x sentido horario

7 Tensar hilo en sentido nordeste Agarrar extremo del hilo y mantener

MANO IZQUIERDA MANO DERECHA

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA MEacuteTODO DE ROSSER (II)

Problemas

Gran cantidad de gestos entre las dos manos

Compleja sincronizacioacuten entre las herramientas laparoscoacutepicas

Solucioacuten

Asistir al cirujano manejando una herramienta con un robot

Ventajas

Menor tiempo de aprendizaje en sincronizar ambas manos

La otra mano queda libre para otras tareas no automatizables

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA DIAGRAMA DE ESTADOS (I)

PUNZADA DE LA AGUJAINSERCIOacuteN DE LA AGUJA

ANUDADOCORTE DEL HILO

S0

S2

S1 S3

S4

S5

S6

S8

S9 S7

S11

S10S12

S13

S14

T1

T2

T3

T4

T5

T6

T7T8

T9T10

i = 3 i lt 3

T11T12T13T14

T0

T15

S0 Inicio y preparacioacuten de sutura

S1 Insertar y centrar aguja en pantalla

S2 Coger aguja y colocar en punto de

sutura

S3 Fijar tejido

S4 Punzar tejido extraer aguja y tirar

del hilo

S5 Separar del tejido y abrir pinza

S6 Colocar aguja en pinza izquierda

S7 Posicionar aguja

S8 Rotar alrededor del hilo

S9 Tirar del hilo y cerrar nudo

S10 Acercar aguja a punto de sutura

S11 Coger ambos extremos del hilo y

tensar

S12 Coger hilo bajo pinza derecha

S13 Cambiar herramienta y cortar hilo

S14 Extraer hilo y aguja

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA DIAGRAMA DE ESTADOS (II)

PUNZADA DE LA AGUJAINSERCIOacuteN DE LA AGUJA

ANUDADOCORTE DEL HILO

S0

S2

S1 S3

S4

S5

S6

S8

S9 S7

S11

S10S12

S13

S14

T1

T2

T3

T4

T5

T6

T7T8

T9T10

i = 3 i lt 3

T11T12T13T14

T0

T15

T0 Comando de voz ldquoSuturardquo

T1 Robot en posicioacuten

T2 Gesto de cirujano reconocido

T3 Fuerza aplicada sobre tejido

T4 Gesto de cirujano reconocido

T5 Robot en posicioacuten

T6 Gesto de cirujano reconocido

T7 Robot en posicioacuten

T8 Gesto de cirujano reconocido

T9 Fuerza aplicada sobre el hilo

T10 Robot en posicioacuten

T11 Gesto de cirujano reconocido

T12 Robot en posicioacuten + fuerza

aplicada sobre el hilo

T13 Gesto de cirujano reconocido

T14 Robot en posicioacuten

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA DIAGRAMA DE ESTADOS (III)

PUNZADA DE LA AGUJAINSERCIOacuteN DE LA AGUJA

ANUDADOCORTE DEL HILO

S0

S2

S1 S3

S4

S5

S6

S8

S9 S7

S11

S10S12

S13

S14

T1

T2

T3

T4

T5

T6

T7T8

T9T10

i = 3 i lt 3

T11T12T13T14

T0

T15

Sk+1

Sk

Tk-1

Tk

Tk+1

1k

kE

1

1

k

kE

k

kE 1

k

kE

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA ASISTENTE DE ESTADOS

ASISTENTE DE ESTADOS

INTERACCIOacuteN

AUTO-GUIADA

Trayectoria

Planificada

Localizacioacuten

Cirujano

Localizacioacuten

del Robot

INTERFAZ DE

VOZ

Fuerzas y

Pares

Posicioacuten

Aguja

Sentildeal de

Audio

Comando

de Voz

RECONOCEDOR

DE GESTOS

ASISTENTE DE SUTURA

Activacioacuten

Tk Estado Sk

Activacioacuten

Tk

Funciones

1) Alcanzar posicioacuten objetivo

2) Aplicar fuerza en tejidohilo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA INTERACCIOacuteN AUTO-GUIADA

INTERACCIOacuteN AUTO-GUIADA

SISTEMA

ROBOT+-

1

AKoF

F

pr

MOVIMIENTO

AUTO-GUIADO

cx

or

cr r

D

DI

CONTROL

PI

++

D

-+ K

er

++

xcF

co FF

coc FFx 1

AKLey de Control

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

DEMO ASISTENCIA A LA SUTURA

Maniobra 1 Insercioacuten Maniobra 2 Puncioacuten

Maniobra 3 AnudadoManiobra 4 Corte del hilo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

IMPLANTACIOacuteN PLATAFORMA CISOBOT

Brazo Instrumental

Quiruacutergico

Brazo Caacutemara

Laparoscoacutepica

Estructura Robot

Asistente

Marca 3D

Sensor de

Fuerzas

Muntildeeca Pasiva

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT ENTORNO QUIRUacuteRGICO

Columna de

Laparoscopia

Tracker 3D

Brazo Caacutemara

Laparoscoacutepica

Brazo Instrumental

Quiruacutergico

Simulador de

Paciente

Herramienta del

Cirujano

Caacutemara

Laparoscoacutepica

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT ARQUITECTURA DE CONTROL

SENSORES ENTORNOASISTENTE DE ESTADOS

CIRUJANO

INTERACCIOacuteN

AUTO-GUIADA

BRAZOS ROBOTS

CONTROL DE

BAJO NIVEL

PACIENTE

Interaccioacute

n

Ciru

jano

Herramientas Robot

Trayectoria Planificada

Localizacioacuten Cirujano

Trayectoria ControladaLo

caliz

acioacute

n R

ob

ot

ROBOT ASISTENTE

SENSOR DE

FUERZAS

INTERFAZ DE

VOZ

Esfuerzos

Imagen Laparoscoacutepica

Contacto Robot

Aguja

Herramienta Cirujano

Activacioacuten

Sentildeal de Audio

TRACKER 3D

Comando de Voz

RECONOCEDOR

DE GESTOS

MOacuteDULO DE

VISIOacuteN

ASISTENTE

DE SUTURA Activacioacuten

Nuevo Estado

Nuevo Estado

ADQUISICIOacuteN

AUDIO

Voz del cirujano

Gesto Quiruacutergico

SIST

EMA

TOLE

RA

NTE

AFA

LLO

S

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT SISTEMA TOLERANTE A FALLOS

Evento Deteccioacuten Actuacioacuten

Fallo Hardware - Sentildeal de Fallo Hardware Parar el sistema

Colisioacuten entre brazos - Anaacutelisis de Colisioacuten cinemaacuteticaParar brazo de la caacutemara

mientras haya riesgo

Colisioacuten con herramienta

del cirujano

- Cambio inusual del Fulcro Estimado

- Herramienta del cirujano cerca del robotParar robot mientras haya riesgo

Colisioacuten con tejidooacuterganos- Cambio inusual del Fulcro Estimado

- Herramienta del cirujano lejos del robotExtraer herramienta del robot

Fallo de sensores- Medicioacuten anoacutemala y constante

independiente de la actuacioacuten

Mensaje de alerta y parar si

persiste

0 2 4 6 8 10 12 14 16 180

20

40

60

80

100

Dis

tan

cia

s (

mm

)

Distancia Robot-Objetivo

Distancia Robot-Cirujano

0 2 4 6 8 10 12 14 16 18-10

-5

0

5

10

15

20

Tiempo (segundos)

Fu

erz

as (

N)

Fx

Fy

Fz

0 2 4 6 8 10 12 14 16 18 200

20

40

60

80

100

Dis

tan

cia

s (

mm

)

Distancia Robot-Objetivo

Distancia Robot-Cirujano

0 2 4 6 8 10 12 14 16 18 20-20

-15

-10

-5

0

5

10

Tiempo (segundos)

Fu

erz

as (

N)

Fx

Fy

Fz

Co

lisioacute

n c

on

herr

am

ien

ta

Colisioacuten con tejido

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT EXPERIMENTOS PROPUESTOS

1 Movimiento esfeacuterico mediante la aplicacioacuten del control EMP

2 Movimiento auto-guiado con la herramienta del cirujano en

movimiento

3 Procedimiento de sutura Insercioacuten Puncioacuten Anudado y Corte

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 1 MOVIMIENTO ESFEacuteRICO

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 2 MOVIMIENTO AUTO-GUIADO

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (I)

Maniobra 1 Insercioacuten

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (II)

Maniobra 2 Puncioacuten

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (III)

Maniobra 3 Anudado

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (IV)

Maniobra 4 Corte del Hilo

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CONCLUSIONES

El gran esfuerzo investigador en torno a la roboacutetica quiruacutergica la destaca

como una herramienta de gran utilidad en cirugiacutea laparoscoacutepica

Tres grupos de robots quiruacutergicos tele-manipuladores camaroacutegrafos y

sistemas autoacutenomos

En un punto intermedio los robots semiautoacutenomos se perfilan como los

candidatos para la cirugiacutea en solitario

Contribuciones de esta tesis para los robots semiautoacutenomos

1 Movimiento esfeacuterico del instrumental mediante muntildeecas activas

2 Sistema auto-guiado para la planificacioacuten de movimientos en el interior

de la cavidad abdominal

3 Asistencia semiautoacutenoma al procedimiento laparoscoacutepico de sutura

Implantacioacuten de las contribuciones en el prototipo CISOBOT

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

LIacuteNEAS DE INVESTIGACIOacuteN FUTURAS

Ampliar la asistencia al cirujano en otros procedimientos ademaacutes de la

sutura corte transporte agarrehellip

Modelar complicaciones producidas con mayor frecuencia durante la

ejecucioacuten de los procedimientos anteriores (error en corte limpieza de

sangradohellip)

Modificar el robot para manejar instrumental a traveacutes de un solo orificio en

teacutecnicas SILS (Single Input Laparoscopic Surgery)

Eliminar la hipoacutetesis de herramientas riacutegidas para mejorar la localizacioacuten del

punto de fulcro e interaccioacuten con el cirujano y el paciente

Cambiar el modo secuencial del diagrama de estados de la sutura para

permitir una interaccioacuten simultaacutenea con el cirujano

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

APORTACIONES CIENTIacuteFICAS

CONGRESOS INTERNACIONALES (6) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoActive Wrists Endoscope Navigation in Robotized Laparoscopic

Surgeryrdquo IEEE International Conference on Mechatronics (ICM) Abril 2009 Maacutelaga (Espantildea) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoThree-Layer Control for Active Wrists in Robotized Laparoscopic

Surgeryrdquo IEEE International Conference on Intelligent Robots and Systems (IROS) Octubre 2009 St Louis (EEUU) B Estebanez G Jimeacutenez VF Muntildeoz I Garciacutea-Morales E Bauzano J Molina ldquoMinimally Invasive Surgery Maneuver

Recognition Based on Surgeon Modelrdquo IEEE International Congerence on Intelligent Robots and Systems (IROS) Octubre 2009 St Louis (EEUU)

E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoA Multi-Behavior Algorithm for Auto-Guided Movements in Surgeon Assistancerdquo IEEE International Workshop on Robotics in Alpe-Adria-Danube Region (RAAD) Junio 2010 Budapest (Hungriacutea)

Premio al mejor artiacuteculo de estudiante (Best Paper Award) E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoAuto-Guided Movements on Minimally Invasive Surgery for Surgeon Assistancerdquo

IEEE International Conference on Intelligent Robots and Systems (IROS) Octubre 2010 Taipei (Taiwaacuten) B Estebanez E Bauzano VF Muntildeoz ldquoSurgical Tools Pose Estimation for a Multimodal HMI of a Surgical Robot Assistantrdquo IEEE

International Conference on Intelligent Robots and Systems (IROS) Septiembre 2011 San Francisco (EEUU)

LIBROS Y REVISTAS (2) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoControl Methodologies for Endoscope Navigation in Robotized

Laparoscopic Surgeryrdquo Research and Education in Robotics Ed Springer-Verlag (Berliacuten Heidelberg) 2010 Vol 82 pp 11-22 ISBN 978-3-642-16369

E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoA Multi-Behavior Algorithm for Auto-Guided Movements in Surgeon Assistancerdquo International Journal of Mechanics and Control (JoMaC) Ed Levrotto amp Bella (Torino Italia) 2011 Vol 12 no 1 ISSN 1590-8844

CONGRESOS NACIONALES (10) ndash POSTERS Y WORKSHOPS

Proyecto de Excelencia P07-TEP-02897

ROBOT ASISTENTE SEMIAUTOacuteNOMO DE

DOS BRAZOS PARA INTERVENCIONES DE

CIRUGIacuteA LAPAROSCOacutePICA

Enrique Bauzano Nuacutentildeez

DEPARTAMENTO DE INGENIERIacuteA DE SISTEMAS Y AUTOMAacuteTICA

UNIVERSIDAD DE MAacuteLAGA

DEFENSA DE TESIS DOCTORAL

Directores Dr Viacutector F Muntildeoz Martiacutenez

Dra Isabel Garciacutea Morales

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

ROBOTS CAMAROacuteGRAFOS

SISTEMA ERM

VF Muntildeoz et al ldquoControl movement scheme based on

manipulability concept for a surgical robotic assistantrdquo

IEEE ICRA 2006 Orlando FL (USA)

SISTEMA AESOP

P Chatzilias et al ldquoRobotic control in hand-assisted

laparoscopic nepherctomy in humans- a pilot studyrdquo IEEE

EMBS 2004 San Francisco CA (USA)

SISTEMA LAPMAN

R Polet J Donnez ldquoUsing a Laparoscope Manipulator

(LAPMAN) in Laparoscopic Gynecological Surgeryrdquo Surgical

Technology International pp 187-191

ΜROBOT PARA

COLONOSCOPIAS

G Chen MT Pham ldquoA Semi-autonomous Micro-robotic

System for Colonoscopyrdquo IEEE International Conference

on Robotics and Biomimetics 2009 Bangkok (Tailandia)

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

ROBOTS AUTOacuteNOMOS

SISTEMA PARA EXTIRPAR TUMORES DE PECHO

V Mallapragada et al ldquoToward a Robot-Assisted Breast

Intervention Systemrdquo IEEE Transactions on Mechatronics

vol 16 no 6 2011

SISTEMA ENDOBOT

H Kang JT Wen ldquoRobotic Assistants Aid Surgeons

During Minimally Invasive Proceduresrdquo IEEE

Engineering in Medicine and Biology 2001

ΜROBOT PARA BIOPSIAS

SR Platt et al ldquoVision and Task Assistance Using

Modular Wireless In Vivo Surgical Robotsrdquo IEEE

Transactions on Biomedical Engineering 2001

IMPLANTE COCLEAR

LB Kratchman et al ldquoDesign of a Bone-Attached

Parallel Robot for Percutaneous Cochlear Implantationrdquo

IEEE Transactions on Biomedical Engineering 2011

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CONTRIBUCIONES DE LA TESIS

PRINCIPAL OBJETIVO

Desarrollo de un robot quiruacutergico que asista al cirujano de forma semiautoacutenoma y

facilite alcanzar la cirugiacutea en solitario

CONTRIBUCIONES

1 Navegacioacuten Laparoscoacutepica Control EMP para muntildeecas de actuacioacuten directa

2 Sistema de auto-guiado basado en comportamientos

3 Asistencia semiautoacutenoma a la sutura

Implantacioacuten en el sistema de dos brazos CISOBOT

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

PROBLEMA 1 NAVEGACIOacuteN ESFEacuteRICA

Base del Robot

B

Brazo Robot

Muntildeeca

Punto de

Fulcro

I

Endoscopio

Y

X

Z

Z

Y

X

Abdomen

β

α

ρ

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

NAVEGACIOacuteN ESFEacuteRICA MECANISMOS

MUNtildeECA PASIVA CENTRO DE ROTACIOacuteN REMOTO ACTUACIOacuteN DIRECTA

No ejerce fuerzas en abdomen

Incertidumbre debido a la

holgura en el trocar

No ejerce fuerzas en abdomen

(previa calibracioacuten)

Requiere instrumental especiacutefico

Mecanismo voluminoso

No requiere instrumental especiacutefico

Poco volumen ocupado

Puede ejercer fuerzas en el

abdomen

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

MUNtildeECAS ACTIVAS NAVEGACIOacuteN

1 Rotacioacuten alrededor del fulcro estimado IDesplaza el fulcro real I sobre el abdomen

2 Simulacioacuten de muntildeeca pasivaRotacioacuten de la herramienta alrededor de la muntildeeca hasta

eliminar el desplazamiento del fulcro

3 Correccioacuten del aacutengulo de altitudSeguir recorrido hasta orientar la herramienta con el

aacutengulo deseado inicialmente

I

LL-L

XI

ZI

I0

I

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

1 Equilibrio de fuerzas y pares

2 Equilibrio de pares con F y Fβ

3 Aproximacioacuten geomeacutetrica de separacioacuten eβ

4 Aacutengulo de compensacioacuten φr

MUNtildeECAS ACTIVAS ESTIMACIOacuteN DEL FULCRO

fFIX

IZsFsM

F

B

r

I I

e

0

F

A

0I

M

0

ws

F

s

)d(WrM

WF

f

f

FρFρ

FF

sinF

M

eF

re

cos

sinFr

cos

sinFF

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

MUNtildeECAS ACTIVAS ESQUEMA DE CONTROL

CONTROL EMP

CONTROL ESFEacuteRICO

CAPA-2

CAPA-3

CAPA-1Aacutengulo

deseado

Fuerzas y

Pares

CONTROL

CARTESIANO

BRAZO ROBOT

Referencia esfeacuterica pasiva

Referencia esfeacuterica activa

Referencia

articular

ESTIMADOR

DEL FULCRO

Posicioacuten

articular

Distancia Exterior

estimada

Aacutengulo actual

CONTROLADOR MUNtildeECA ACTIVA

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CAPA 3 CONTROL CARTESIANO

CONTROL CARTESIANO

Planificador

Cartesiano

+

ndash xK)(kTX r

)(kTX r

++

BRAZO

ROBOT)(1 J

)(kTr

)(F

)(kT

)(kTX

Conversioacuten

Cartesiano a Arco

recorrido

T

)(kTLr

)(kTL

Ley de Control rxr XXKJ ~)(1

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CAPA 2 CONTROL EMP

CONTROL EMP

ControlPI

Estimador del Fulcro

ndash+

Sensor de Fuerzas

2T

)( rr

)( 2kT

))(( 2kT

1dF )( 2kTFr )( 2kTr+

ndash

)( 2kTr )( 2kTLr

ndash

+

ndash

+

)( 2kTFc

)( 2kTFs)( 2kTF

)( 2kT

)( 2kTW

)( 2kTL

CAPA-3

1

221

1TI

eK

)1(

)1(

22

2

T

T

Pe

eK

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CAPA 1 CONTROL ESFEacuteRICO

CAPA-2

+ndash

L)( dd

)( rr

)(

Control PI

)( cc

Generador de

trayectorias

)( ff

)1(

11

1

1

1

1

1

1

T

T

P

TI

e

eK

eK

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

ESTABILIDAD DEL CONTROLADOR

15

20

25

15

20

25

0

02

04

06

08

1

Distancia real (cm)Distancia estimada K (cm)

05

1

15

2

05

1

15

2

0

05

1

Rigidez real (Nmm)Rigidez estimada (Nmm)

Criterio Los autovalores son inferiores a 1

2 50

Capa 1 Control Esfeacuterico Capa 2 Control EMP

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

DEMO CONTROL EMP

time (sec)fo

rce

s (N

)30

2

-2

0

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

PROBLEMA 2 PLANIFICACIOacuteN DE CAMINOS

Herramienta del

Robot

Caacutemara Herramienta del

Cirujano

Abdomen

Trayectoria

del Robot

Objetivo

Campo de Visioacuten

C

rp ro

O

GS

GC

GR

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SISTEMA DE MOVIMIENTO AUTO-GUIADO

SELECTOR DE

COMPORTAMIENTOS

PLANIFICADOR

LOCAL

CORRECCIOacuteN DE

VELOCIDAD

SEGUIMIENTO

DEL CIRUJANO

pv

1v1c

2v2c

3v3c

or

1c

2c

3c

Objetivo

Trayectoria Planificada

Herramienta del Cirujano

Herramienta del Robot

sv

rv

s1+

+

+

pr

kT

Tk

kT

Tkdtcccdt

)1(332211r

)1(prp vvvrvrr

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SELECTOR DE COMPORTAMIENTOS

67

3 2

Esfera de direcciones

14

58

rv

C CY

CX

CZ

sv

vr

vs

1 2 3 4 5 6 7 8

1 A L ML L C L ML L

2 L A L ML L C L ML

3 C MC A L C MC C L

4 MC C L A MC C L C

5 C L ML L A L ML L

6 L C L ML L A L ML

7 C MC C L C MC A L

8 MC C L C MC C L A

c1

c2

c3

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

COMPORTAMIENTO 1 PLANIFICADOR LOCAL

atrFrepF

RM SMf

RM

O

RG

SG

L

l

i

repatr UU i

repatr1 FFF

0

02

0

0

2

ˆˆ11

2

F

rF

rep

fatr

f

rep

atr

rK

L

l

K

dt

m1

11

Fv

Proceso Planificador_Local

1) Localizar el punto guiacutea MR2) Calcular el objetivo asociado al punto guiacutea MfR3) Calcular la fuerza F1 =gt Velocidad del punto guiacutea v14) Calcular la velocidad en el efector final del robot

5) Ejecutar movimiento del robot

6) Si no se ha alcanzado el objetivo O con el extremo de la herramienta volver a 1)

Fin de Procedimiento

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

COMPORTAMIENTO 2 CORRECCIOacuteN DE VELOCIDAD

Recta de

Colisioacuten

CP

RG

SG

SP

rv

sv

)( cR tP)( cS tP

RP

r2 vv 2K

dc

tc

Cero Baja Media Lejos Muy Lejos

Cero Maacutex Maacutex Muy Alta Muy Alta Alta

Bajo Maacutex Muy Alta Alta Alta Media

Medio Muy Alta Alta Media Media Poca

Bastante Muy Alta Alta Media Poca Nula

Mucho Alta Media Poca Nula Nula

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

COMPORTAMIENTO 3 SEGUIMIENTO DEL CIRUJANO

GR GS

s3 vF 3B dt

m

Bs3 vv

1

3

3

Proceso Auto_Guiado

1) Calcular los pesos de cada comportamiento c1 c2 c32) Calcular las velocidades de los tres comportamientos v1 v2 v3 3) Ponderar cada velocidad con su peso sumar e integrar =gt siguiente punto del camino rp4) Ejecutar movimiento del robot

5) Si el robot no ha llegado al objetivo ro volver a 1)

Fin de Procedimiento

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

DEMO MOVIMIENTO AUTO-GUIADO

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

PROBLEMA 3 ASISTENCIA A LA SUTURA

EndoscopioHerramienta del

cirujano

Herramienta

auxiliar

Sujecioacuten

del hiacutegado

Escenario de Colecistectomiacutea

Protocolo

1 Elevar hiacutegado para exponer la

vesiacutecula

2 Cortar triaacutengulo de Calot y exponer

arteria y conducto ciacutesticos

3 Suturar arteria y conducto ciacutesticos

para aislar un punto intermedio

4 Cortar arteria y conducto ciacutesticos

5 Separar vesiacutecula

6 Extraer vesiacutecula del paciente

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA CONCEPTOS PREVIOS

bull Gesto Accioacuten identificable maacutes elemental de las herramientas

laparoscoacutepicas (tirar del hilo de sutura presionar tejidohellip)

bull Maniobra Secuencia de gestos que componen una actuacioacuten

definible sobre el paciente (puncioacuten corte anudadohellip)

bull Procedimiento Maniobra o secuencia de maniobras que completan

una tarea propuesta por un protocolo quiruacutergico

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA MEacuteTODO DE ROSSER (I)

Laparoscopic Suturing httpwwwyoutubecomwatchv=PmdPAVFgNXU

1 Insertar aguja y centrar Agarrar aguja

2 Presionar tejido Posicionar aguja para puncioacuten

3 Agarrar aguja tras puncioacuten Puncioacuten mediante giro de 60deg-90deg

4 Extraer aguja y tirar del hilo Soltar aguja y sostener tejido

5 Colocar aguja a la sutura Desplazar herramienta sobre el hilo

6 Mantener posicioacuten Girar 2x sentido horario

7 Tensar hilo en sentido nordeste Agarrar extremo del hilo y mantener

MANO IZQUIERDA MANO DERECHA

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA MEacuteTODO DE ROSSER (II)

Problemas

Gran cantidad de gestos entre las dos manos

Compleja sincronizacioacuten entre las herramientas laparoscoacutepicas

Solucioacuten

Asistir al cirujano manejando una herramienta con un robot

Ventajas

Menor tiempo de aprendizaje en sincronizar ambas manos

La otra mano queda libre para otras tareas no automatizables

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA DIAGRAMA DE ESTADOS (I)

PUNZADA DE LA AGUJAINSERCIOacuteN DE LA AGUJA

ANUDADOCORTE DEL HILO

S0

S2

S1 S3

S4

S5

S6

S8

S9 S7

S11

S10S12

S13

S14

T1

T2

T3

T4

T5

T6

T7T8

T9T10

i = 3 i lt 3

T11T12T13T14

T0

T15

S0 Inicio y preparacioacuten de sutura

S1 Insertar y centrar aguja en pantalla

S2 Coger aguja y colocar en punto de

sutura

S3 Fijar tejido

S4 Punzar tejido extraer aguja y tirar

del hilo

S5 Separar del tejido y abrir pinza

S6 Colocar aguja en pinza izquierda

S7 Posicionar aguja

S8 Rotar alrededor del hilo

S9 Tirar del hilo y cerrar nudo

S10 Acercar aguja a punto de sutura

S11 Coger ambos extremos del hilo y

tensar

S12 Coger hilo bajo pinza derecha

S13 Cambiar herramienta y cortar hilo

S14 Extraer hilo y aguja

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA DIAGRAMA DE ESTADOS (II)

PUNZADA DE LA AGUJAINSERCIOacuteN DE LA AGUJA

ANUDADOCORTE DEL HILO

S0

S2

S1 S3

S4

S5

S6

S8

S9 S7

S11

S10S12

S13

S14

T1

T2

T3

T4

T5

T6

T7T8

T9T10

i = 3 i lt 3

T11T12T13T14

T0

T15

T0 Comando de voz ldquoSuturardquo

T1 Robot en posicioacuten

T2 Gesto de cirujano reconocido

T3 Fuerza aplicada sobre tejido

T4 Gesto de cirujano reconocido

T5 Robot en posicioacuten

T6 Gesto de cirujano reconocido

T7 Robot en posicioacuten

T8 Gesto de cirujano reconocido

T9 Fuerza aplicada sobre el hilo

T10 Robot en posicioacuten

T11 Gesto de cirujano reconocido

T12 Robot en posicioacuten + fuerza

aplicada sobre el hilo

T13 Gesto de cirujano reconocido

T14 Robot en posicioacuten

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA DIAGRAMA DE ESTADOS (III)

PUNZADA DE LA AGUJAINSERCIOacuteN DE LA AGUJA

ANUDADOCORTE DEL HILO

S0

S2

S1 S3

S4

S5

S6

S8

S9 S7

S11

S10S12

S13

S14

T1

T2

T3

T4

T5

T6

T7T8

T9T10

i = 3 i lt 3

T11T12T13T14

T0

T15

Sk+1

Sk

Tk-1

Tk

Tk+1

1k

kE

1

1

k

kE

k

kE 1

k

kE

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA ASISTENTE DE ESTADOS

ASISTENTE DE ESTADOS

INTERACCIOacuteN

AUTO-GUIADA

Trayectoria

Planificada

Localizacioacuten

Cirujano

Localizacioacuten

del Robot

INTERFAZ DE

VOZ

Fuerzas y

Pares

Posicioacuten

Aguja

Sentildeal de

Audio

Comando

de Voz

RECONOCEDOR

DE GESTOS

ASISTENTE DE SUTURA

Activacioacuten

Tk Estado Sk

Activacioacuten

Tk

Funciones

1) Alcanzar posicioacuten objetivo

2) Aplicar fuerza en tejidohilo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA INTERACCIOacuteN AUTO-GUIADA

INTERACCIOacuteN AUTO-GUIADA

SISTEMA

ROBOT+-

1

AKoF

F

pr

MOVIMIENTO

AUTO-GUIADO

cx

or

cr r

D

DI

CONTROL

PI

++

D

-+ K

er

++

xcF

co FF

coc FFx 1

AKLey de Control

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

DEMO ASISTENCIA A LA SUTURA

Maniobra 1 Insercioacuten Maniobra 2 Puncioacuten

Maniobra 3 AnudadoManiobra 4 Corte del hilo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

IMPLANTACIOacuteN PLATAFORMA CISOBOT

Brazo Instrumental

Quiruacutergico

Brazo Caacutemara

Laparoscoacutepica

Estructura Robot

Asistente

Marca 3D

Sensor de

Fuerzas

Muntildeeca Pasiva

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT ENTORNO QUIRUacuteRGICO

Columna de

Laparoscopia

Tracker 3D

Brazo Caacutemara

Laparoscoacutepica

Brazo Instrumental

Quiruacutergico

Simulador de

Paciente

Herramienta del

Cirujano

Caacutemara

Laparoscoacutepica

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT ARQUITECTURA DE CONTROL

SENSORES ENTORNOASISTENTE DE ESTADOS

CIRUJANO

INTERACCIOacuteN

AUTO-GUIADA

BRAZOS ROBOTS

CONTROL DE

BAJO NIVEL

PACIENTE

Interaccioacute

n

Ciru

jano

Herramientas Robot

Trayectoria Planificada

Localizacioacuten Cirujano

Trayectoria ControladaLo

caliz

acioacute

n R

ob

ot

ROBOT ASISTENTE

SENSOR DE

FUERZAS

INTERFAZ DE

VOZ

Esfuerzos

Imagen Laparoscoacutepica

Contacto Robot

Aguja

Herramienta Cirujano

Activacioacuten

Sentildeal de Audio

TRACKER 3D

Comando de Voz

RECONOCEDOR

DE GESTOS

MOacuteDULO DE

VISIOacuteN

ASISTENTE

DE SUTURA Activacioacuten

Nuevo Estado

Nuevo Estado

ADQUISICIOacuteN

AUDIO

Voz del cirujano

Gesto Quiruacutergico

SIST

EMA

TOLE

RA

NTE

AFA

LLO

S

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT SISTEMA TOLERANTE A FALLOS

Evento Deteccioacuten Actuacioacuten

Fallo Hardware - Sentildeal de Fallo Hardware Parar el sistema

Colisioacuten entre brazos - Anaacutelisis de Colisioacuten cinemaacuteticaParar brazo de la caacutemara

mientras haya riesgo

Colisioacuten con herramienta

del cirujano

- Cambio inusual del Fulcro Estimado

- Herramienta del cirujano cerca del robotParar robot mientras haya riesgo

Colisioacuten con tejidooacuterganos- Cambio inusual del Fulcro Estimado

- Herramienta del cirujano lejos del robotExtraer herramienta del robot

Fallo de sensores- Medicioacuten anoacutemala y constante

independiente de la actuacioacuten

Mensaje de alerta y parar si

persiste

0 2 4 6 8 10 12 14 16 180

20

40

60

80

100

Dis

tan

cia

s (

mm

)

Distancia Robot-Objetivo

Distancia Robot-Cirujano

0 2 4 6 8 10 12 14 16 18-10

-5

0

5

10

15

20

Tiempo (segundos)

Fu

erz

as (

N)

Fx

Fy

Fz

0 2 4 6 8 10 12 14 16 18 200

20

40

60

80

100

Dis

tan

cia

s (

mm

)

Distancia Robot-Objetivo

Distancia Robot-Cirujano

0 2 4 6 8 10 12 14 16 18 20-20

-15

-10

-5

0

5

10

Tiempo (segundos)

Fu

erz

as (

N)

Fx

Fy

Fz

Co

lisioacute

n c

on

herr

am

ien

ta

Colisioacuten con tejido

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT EXPERIMENTOS PROPUESTOS

1 Movimiento esfeacuterico mediante la aplicacioacuten del control EMP

2 Movimiento auto-guiado con la herramienta del cirujano en

movimiento

3 Procedimiento de sutura Insercioacuten Puncioacuten Anudado y Corte

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 1 MOVIMIENTO ESFEacuteRICO

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 2 MOVIMIENTO AUTO-GUIADO

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (I)

Maniobra 1 Insercioacuten

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (II)

Maniobra 2 Puncioacuten

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (III)

Maniobra 3 Anudado

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (IV)

Maniobra 4 Corte del Hilo

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CONCLUSIONES

El gran esfuerzo investigador en torno a la roboacutetica quiruacutergica la destaca

como una herramienta de gran utilidad en cirugiacutea laparoscoacutepica

Tres grupos de robots quiruacutergicos tele-manipuladores camaroacutegrafos y

sistemas autoacutenomos

En un punto intermedio los robots semiautoacutenomos se perfilan como los

candidatos para la cirugiacutea en solitario

Contribuciones de esta tesis para los robots semiautoacutenomos

1 Movimiento esfeacuterico del instrumental mediante muntildeecas activas

2 Sistema auto-guiado para la planificacioacuten de movimientos en el interior

de la cavidad abdominal

3 Asistencia semiautoacutenoma al procedimiento laparoscoacutepico de sutura

Implantacioacuten de las contribuciones en el prototipo CISOBOT

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

LIacuteNEAS DE INVESTIGACIOacuteN FUTURAS

Ampliar la asistencia al cirujano en otros procedimientos ademaacutes de la

sutura corte transporte agarrehellip

Modelar complicaciones producidas con mayor frecuencia durante la

ejecucioacuten de los procedimientos anteriores (error en corte limpieza de

sangradohellip)

Modificar el robot para manejar instrumental a traveacutes de un solo orificio en

teacutecnicas SILS (Single Input Laparoscopic Surgery)

Eliminar la hipoacutetesis de herramientas riacutegidas para mejorar la localizacioacuten del

punto de fulcro e interaccioacuten con el cirujano y el paciente

Cambiar el modo secuencial del diagrama de estados de la sutura para

permitir una interaccioacuten simultaacutenea con el cirujano

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

APORTACIONES CIENTIacuteFICAS

CONGRESOS INTERNACIONALES (6) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoActive Wrists Endoscope Navigation in Robotized Laparoscopic

Surgeryrdquo IEEE International Conference on Mechatronics (ICM) Abril 2009 Maacutelaga (Espantildea) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoThree-Layer Control for Active Wrists in Robotized Laparoscopic

Surgeryrdquo IEEE International Conference on Intelligent Robots and Systems (IROS) Octubre 2009 St Louis (EEUU) B Estebanez G Jimeacutenez VF Muntildeoz I Garciacutea-Morales E Bauzano J Molina ldquoMinimally Invasive Surgery Maneuver

Recognition Based on Surgeon Modelrdquo IEEE International Congerence on Intelligent Robots and Systems (IROS) Octubre 2009 St Louis (EEUU)

E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoA Multi-Behavior Algorithm for Auto-Guided Movements in Surgeon Assistancerdquo IEEE International Workshop on Robotics in Alpe-Adria-Danube Region (RAAD) Junio 2010 Budapest (Hungriacutea)

Premio al mejor artiacuteculo de estudiante (Best Paper Award) E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoAuto-Guided Movements on Minimally Invasive Surgery for Surgeon Assistancerdquo

IEEE International Conference on Intelligent Robots and Systems (IROS) Octubre 2010 Taipei (Taiwaacuten) B Estebanez E Bauzano VF Muntildeoz ldquoSurgical Tools Pose Estimation for a Multimodal HMI of a Surgical Robot Assistantrdquo IEEE

International Conference on Intelligent Robots and Systems (IROS) Septiembre 2011 San Francisco (EEUU)

LIBROS Y REVISTAS (2) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoControl Methodologies for Endoscope Navigation in Robotized

Laparoscopic Surgeryrdquo Research and Education in Robotics Ed Springer-Verlag (Berliacuten Heidelberg) 2010 Vol 82 pp 11-22 ISBN 978-3-642-16369

E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoA Multi-Behavior Algorithm for Auto-Guided Movements in Surgeon Assistancerdquo International Journal of Mechanics and Control (JoMaC) Ed Levrotto amp Bella (Torino Italia) 2011 Vol 12 no 1 ISSN 1590-8844

CONGRESOS NACIONALES (10) ndash POSTERS Y WORKSHOPS

Proyecto de Excelencia P07-TEP-02897

ROBOT ASISTENTE SEMIAUTOacuteNOMO DE

DOS BRAZOS PARA INTERVENCIONES DE

CIRUGIacuteA LAPAROSCOacutePICA

Enrique Bauzano Nuacutentildeez

DEPARTAMENTO DE INGENIERIacuteA DE SISTEMAS Y AUTOMAacuteTICA

UNIVERSIDAD DE MAacuteLAGA

DEFENSA DE TESIS DOCTORAL

Directores Dr Viacutector F Muntildeoz Martiacutenez

Dra Isabel Garciacutea Morales

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

ROBOTS AUTOacuteNOMOS

SISTEMA PARA EXTIRPAR TUMORES DE PECHO

V Mallapragada et al ldquoToward a Robot-Assisted Breast

Intervention Systemrdquo IEEE Transactions on Mechatronics

vol 16 no 6 2011

SISTEMA ENDOBOT

H Kang JT Wen ldquoRobotic Assistants Aid Surgeons

During Minimally Invasive Proceduresrdquo IEEE

Engineering in Medicine and Biology 2001

ΜROBOT PARA BIOPSIAS

SR Platt et al ldquoVision and Task Assistance Using

Modular Wireless In Vivo Surgical Robotsrdquo IEEE

Transactions on Biomedical Engineering 2001

IMPLANTE COCLEAR

LB Kratchman et al ldquoDesign of a Bone-Attached

Parallel Robot for Percutaneous Cochlear Implantationrdquo

IEEE Transactions on Biomedical Engineering 2011

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CONTRIBUCIONES DE LA TESIS

PRINCIPAL OBJETIVO

Desarrollo de un robot quiruacutergico que asista al cirujano de forma semiautoacutenoma y

facilite alcanzar la cirugiacutea en solitario

CONTRIBUCIONES

1 Navegacioacuten Laparoscoacutepica Control EMP para muntildeecas de actuacioacuten directa

2 Sistema de auto-guiado basado en comportamientos

3 Asistencia semiautoacutenoma a la sutura

Implantacioacuten en el sistema de dos brazos CISOBOT

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

PROBLEMA 1 NAVEGACIOacuteN ESFEacuteRICA

Base del Robot

B

Brazo Robot

Muntildeeca

Punto de

Fulcro

I

Endoscopio

Y

X

Z

Z

Y

X

Abdomen

β

α

ρ

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

NAVEGACIOacuteN ESFEacuteRICA MECANISMOS

MUNtildeECA PASIVA CENTRO DE ROTACIOacuteN REMOTO ACTUACIOacuteN DIRECTA

No ejerce fuerzas en abdomen

Incertidumbre debido a la

holgura en el trocar

No ejerce fuerzas en abdomen

(previa calibracioacuten)

Requiere instrumental especiacutefico

Mecanismo voluminoso

No requiere instrumental especiacutefico

Poco volumen ocupado

Puede ejercer fuerzas en el

abdomen

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

MUNtildeECAS ACTIVAS NAVEGACIOacuteN

1 Rotacioacuten alrededor del fulcro estimado IDesplaza el fulcro real I sobre el abdomen

2 Simulacioacuten de muntildeeca pasivaRotacioacuten de la herramienta alrededor de la muntildeeca hasta

eliminar el desplazamiento del fulcro

3 Correccioacuten del aacutengulo de altitudSeguir recorrido hasta orientar la herramienta con el

aacutengulo deseado inicialmente

I

LL-L

XI

ZI

I0

I

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

1 Equilibrio de fuerzas y pares

2 Equilibrio de pares con F y Fβ

3 Aproximacioacuten geomeacutetrica de separacioacuten eβ

4 Aacutengulo de compensacioacuten φr

MUNtildeECAS ACTIVAS ESTIMACIOacuteN DEL FULCRO

fFIX

IZsFsM

F

B

r

I I

e

0

F

A

0I

M

0

ws

F

s

)d(WrM

WF

f

f

FρFρ

FF

sinF

M

eF

re

cos

sinFr

cos

sinFF

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

MUNtildeECAS ACTIVAS ESQUEMA DE CONTROL

CONTROL EMP

CONTROL ESFEacuteRICO

CAPA-2

CAPA-3

CAPA-1Aacutengulo

deseado

Fuerzas y

Pares

CONTROL

CARTESIANO

BRAZO ROBOT

Referencia esfeacuterica pasiva

Referencia esfeacuterica activa

Referencia

articular

ESTIMADOR

DEL FULCRO

Posicioacuten

articular

Distancia Exterior

estimada

Aacutengulo actual

CONTROLADOR MUNtildeECA ACTIVA

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CAPA 3 CONTROL CARTESIANO

CONTROL CARTESIANO

Planificador

Cartesiano

+

ndash xK)(kTX r

)(kTX r

++

BRAZO

ROBOT)(1 J

)(kTr

)(F

)(kT

)(kTX

Conversioacuten

Cartesiano a Arco

recorrido

T

)(kTLr

)(kTL

Ley de Control rxr XXKJ ~)(1

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CAPA 2 CONTROL EMP

CONTROL EMP

ControlPI

Estimador del Fulcro

ndash+

Sensor de Fuerzas

2T

)( rr

)( 2kT

))(( 2kT

1dF )( 2kTFr )( 2kTr+

ndash

)( 2kTr )( 2kTLr

ndash

+

ndash

+

)( 2kTFc

)( 2kTFs)( 2kTF

)( 2kT

)( 2kTW

)( 2kTL

CAPA-3

1

221

1TI

eK

)1(

)1(

22

2

T

T

Pe

eK

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CAPA 1 CONTROL ESFEacuteRICO

CAPA-2

+ndash

L)( dd

)( rr

)(

Control PI

)( cc

Generador de

trayectorias

)( ff

)1(

11

1

1

1

1

1

1

T

T

P

TI

e

eK

eK

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

ESTABILIDAD DEL CONTROLADOR

15

20

25

15

20

25

0

02

04

06

08

1

Distancia real (cm)Distancia estimada K (cm)

05

1

15

2

05

1

15

2

0

05

1

Rigidez real (Nmm)Rigidez estimada (Nmm)

Criterio Los autovalores son inferiores a 1

2 50

Capa 1 Control Esfeacuterico Capa 2 Control EMP

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

DEMO CONTROL EMP

time (sec)fo

rce

s (N

)30

2

-2

0

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

PROBLEMA 2 PLANIFICACIOacuteN DE CAMINOS

Herramienta del

Robot

Caacutemara Herramienta del

Cirujano

Abdomen

Trayectoria

del Robot

Objetivo

Campo de Visioacuten

C

rp ro

O

GS

GC

GR

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SISTEMA DE MOVIMIENTO AUTO-GUIADO

SELECTOR DE

COMPORTAMIENTOS

PLANIFICADOR

LOCAL

CORRECCIOacuteN DE

VELOCIDAD

SEGUIMIENTO

DEL CIRUJANO

pv

1v1c

2v2c

3v3c

or

1c

2c

3c

Objetivo

Trayectoria Planificada

Herramienta del Cirujano

Herramienta del Robot

sv

rv

s1+

+

+

pr

kT

Tk

kT

Tkdtcccdt

)1(332211r

)1(prp vvvrvrr

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SELECTOR DE COMPORTAMIENTOS

67

3 2

Esfera de direcciones

14

58

rv

C CY

CX

CZ

sv

vr

vs

1 2 3 4 5 6 7 8

1 A L ML L C L ML L

2 L A L ML L C L ML

3 C MC A L C MC C L

4 MC C L A MC C L C

5 C L ML L A L ML L

6 L C L ML L A L ML

7 C MC C L C MC A L

8 MC C L C MC C L A

c1

c2

c3

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

COMPORTAMIENTO 1 PLANIFICADOR LOCAL

atrFrepF

RM SMf

RM

O

RG

SG

L

l

i

repatr UU i

repatr1 FFF

0

02

0

0

2

ˆˆ11

2

F

rF

rep

fatr

f

rep

atr

rK

L

l

K

dt

m1

11

Fv

Proceso Planificador_Local

1) Localizar el punto guiacutea MR2) Calcular el objetivo asociado al punto guiacutea MfR3) Calcular la fuerza F1 =gt Velocidad del punto guiacutea v14) Calcular la velocidad en el efector final del robot

5) Ejecutar movimiento del robot

6) Si no se ha alcanzado el objetivo O con el extremo de la herramienta volver a 1)

Fin de Procedimiento

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

COMPORTAMIENTO 2 CORRECCIOacuteN DE VELOCIDAD

Recta de

Colisioacuten

CP

RG

SG

SP

rv

sv

)( cR tP)( cS tP

RP

r2 vv 2K

dc

tc

Cero Baja Media Lejos Muy Lejos

Cero Maacutex Maacutex Muy Alta Muy Alta Alta

Bajo Maacutex Muy Alta Alta Alta Media

Medio Muy Alta Alta Media Media Poca

Bastante Muy Alta Alta Media Poca Nula

Mucho Alta Media Poca Nula Nula

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

COMPORTAMIENTO 3 SEGUIMIENTO DEL CIRUJANO

GR GS

s3 vF 3B dt

m

Bs3 vv

1

3

3

Proceso Auto_Guiado

1) Calcular los pesos de cada comportamiento c1 c2 c32) Calcular las velocidades de los tres comportamientos v1 v2 v3 3) Ponderar cada velocidad con su peso sumar e integrar =gt siguiente punto del camino rp4) Ejecutar movimiento del robot

5) Si el robot no ha llegado al objetivo ro volver a 1)

Fin de Procedimiento

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

DEMO MOVIMIENTO AUTO-GUIADO

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

PROBLEMA 3 ASISTENCIA A LA SUTURA

EndoscopioHerramienta del

cirujano

Herramienta

auxiliar

Sujecioacuten

del hiacutegado

Escenario de Colecistectomiacutea

Protocolo

1 Elevar hiacutegado para exponer la

vesiacutecula

2 Cortar triaacutengulo de Calot y exponer

arteria y conducto ciacutesticos

3 Suturar arteria y conducto ciacutesticos

para aislar un punto intermedio

4 Cortar arteria y conducto ciacutesticos

5 Separar vesiacutecula

6 Extraer vesiacutecula del paciente

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA CONCEPTOS PREVIOS

bull Gesto Accioacuten identificable maacutes elemental de las herramientas

laparoscoacutepicas (tirar del hilo de sutura presionar tejidohellip)

bull Maniobra Secuencia de gestos que componen una actuacioacuten

definible sobre el paciente (puncioacuten corte anudadohellip)

bull Procedimiento Maniobra o secuencia de maniobras que completan

una tarea propuesta por un protocolo quiruacutergico

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA MEacuteTODO DE ROSSER (I)

Laparoscopic Suturing httpwwwyoutubecomwatchv=PmdPAVFgNXU

1 Insertar aguja y centrar Agarrar aguja

2 Presionar tejido Posicionar aguja para puncioacuten

3 Agarrar aguja tras puncioacuten Puncioacuten mediante giro de 60deg-90deg

4 Extraer aguja y tirar del hilo Soltar aguja y sostener tejido

5 Colocar aguja a la sutura Desplazar herramienta sobre el hilo

6 Mantener posicioacuten Girar 2x sentido horario

7 Tensar hilo en sentido nordeste Agarrar extremo del hilo y mantener

MANO IZQUIERDA MANO DERECHA

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA MEacuteTODO DE ROSSER (II)

Problemas

Gran cantidad de gestos entre las dos manos

Compleja sincronizacioacuten entre las herramientas laparoscoacutepicas

Solucioacuten

Asistir al cirujano manejando una herramienta con un robot

Ventajas

Menor tiempo de aprendizaje en sincronizar ambas manos

La otra mano queda libre para otras tareas no automatizables

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA DIAGRAMA DE ESTADOS (I)

PUNZADA DE LA AGUJAINSERCIOacuteN DE LA AGUJA

ANUDADOCORTE DEL HILO

S0

S2

S1 S3

S4

S5

S6

S8

S9 S7

S11

S10S12

S13

S14

T1

T2

T3

T4

T5

T6

T7T8

T9T10

i = 3 i lt 3

T11T12T13T14

T0

T15

S0 Inicio y preparacioacuten de sutura

S1 Insertar y centrar aguja en pantalla

S2 Coger aguja y colocar en punto de

sutura

S3 Fijar tejido

S4 Punzar tejido extraer aguja y tirar

del hilo

S5 Separar del tejido y abrir pinza

S6 Colocar aguja en pinza izquierda

S7 Posicionar aguja

S8 Rotar alrededor del hilo

S9 Tirar del hilo y cerrar nudo

S10 Acercar aguja a punto de sutura

S11 Coger ambos extremos del hilo y

tensar

S12 Coger hilo bajo pinza derecha

S13 Cambiar herramienta y cortar hilo

S14 Extraer hilo y aguja

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA DIAGRAMA DE ESTADOS (II)

PUNZADA DE LA AGUJAINSERCIOacuteN DE LA AGUJA

ANUDADOCORTE DEL HILO

S0

S2

S1 S3

S4

S5

S6

S8

S9 S7

S11

S10S12

S13

S14

T1

T2

T3

T4

T5

T6

T7T8

T9T10

i = 3 i lt 3

T11T12T13T14

T0

T15

T0 Comando de voz ldquoSuturardquo

T1 Robot en posicioacuten

T2 Gesto de cirujano reconocido

T3 Fuerza aplicada sobre tejido

T4 Gesto de cirujano reconocido

T5 Robot en posicioacuten

T6 Gesto de cirujano reconocido

T7 Robot en posicioacuten

T8 Gesto de cirujano reconocido

T9 Fuerza aplicada sobre el hilo

T10 Robot en posicioacuten

T11 Gesto de cirujano reconocido

T12 Robot en posicioacuten + fuerza

aplicada sobre el hilo

T13 Gesto de cirujano reconocido

T14 Robot en posicioacuten

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA DIAGRAMA DE ESTADOS (III)

PUNZADA DE LA AGUJAINSERCIOacuteN DE LA AGUJA

ANUDADOCORTE DEL HILO

S0

S2

S1 S3

S4

S5

S6

S8

S9 S7

S11

S10S12

S13

S14

T1

T2

T3

T4

T5

T6

T7T8

T9T10

i = 3 i lt 3

T11T12T13T14

T0

T15

Sk+1

Sk

Tk-1

Tk

Tk+1

1k

kE

1

1

k

kE

k

kE 1

k

kE

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA ASISTENTE DE ESTADOS

ASISTENTE DE ESTADOS

INTERACCIOacuteN

AUTO-GUIADA

Trayectoria

Planificada

Localizacioacuten

Cirujano

Localizacioacuten

del Robot

INTERFAZ DE

VOZ

Fuerzas y

Pares

Posicioacuten

Aguja

Sentildeal de

Audio

Comando

de Voz

RECONOCEDOR

DE GESTOS

ASISTENTE DE SUTURA

Activacioacuten

Tk Estado Sk

Activacioacuten

Tk

Funciones

1) Alcanzar posicioacuten objetivo

2) Aplicar fuerza en tejidohilo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA INTERACCIOacuteN AUTO-GUIADA

INTERACCIOacuteN AUTO-GUIADA

SISTEMA

ROBOT+-

1

AKoF

F

pr

MOVIMIENTO

AUTO-GUIADO

cx

or

cr r

D

DI

CONTROL

PI

++

D

-+ K

er

++

xcF

co FF

coc FFx 1

AKLey de Control

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

DEMO ASISTENCIA A LA SUTURA

Maniobra 1 Insercioacuten Maniobra 2 Puncioacuten

Maniobra 3 AnudadoManiobra 4 Corte del hilo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

IMPLANTACIOacuteN PLATAFORMA CISOBOT

Brazo Instrumental

Quiruacutergico

Brazo Caacutemara

Laparoscoacutepica

Estructura Robot

Asistente

Marca 3D

Sensor de

Fuerzas

Muntildeeca Pasiva

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT ENTORNO QUIRUacuteRGICO

Columna de

Laparoscopia

Tracker 3D

Brazo Caacutemara

Laparoscoacutepica

Brazo Instrumental

Quiruacutergico

Simulador de

Paciente

Herramienta del

Cirujano

Caacutemara

Laparoscoacutepica

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT ARQUITECTURA DE CONTROL

SENSORES ENTORNOASISTENTE DE ESTADOS

CIRUJANO

INTERACCIOacuteN

AUTO-GUIADA

BRAZOS ROBOTS

CONTROL DE

BAJO NIVEL

PACIENTE

Interaccioacute

n

Ciru

jano

Herramientas Robot

Trayectoria Planificada

Localizacioacuten Cirujano

Trayectoria ControladaLo

caliz

acioacute

n R

ob

ot

ROBOT ASISTENTE

SENSOR DE

FUERZAS

INTERFAZ DE

VOZ

Esfuerzos

Imagen Laparoscoacutepica

Contacto Robot

Aguja

Herramienta Cirujano

Activacioacuten

Sentildeal de Audio

TRACKER 3D

Comando de Voz

RECONOCEDOR

DE GESTOS

MOacuteDULO DE

VISIOacuteN

ASISTENTE

DE SUTURA Activacioacuten

Nuevo Estado

Nuevo Estado

ADQUISICIOacuteN

AUDIO

Voz del cirujano

Gesto Quiruacutergico

SIST

EMA

TOLE

RA

NTE

AFA

LLO

S

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT SISTEMA TOLERANTE A FALLOS

Evento Deteccioacuten Actuacioacuten

Fallo Hardware - Sentildeal de Fallo Hardware Parar el sistema

Colisioacuten entre brazos - Anaacutelisis de Colisioacuten cinemaacuteticaParar brazo de la caacutemara

mientras haya riesgo

Colisioacuten con herramienta

del cirujano

- Cambio inusual del Fulcro Estimado

- Herramienta del cirujano cerca del robotParar robot mientras haya riesgo

Colisioacuten con tejidooacuterganos- Cambio inusual del Fulcro Estimado

- Herramienta del cirujano lejos del robotExtraer herramienta del robot

Fallo de sensores- Medicioacuten anoacutemala y constante

independiente de la actuacioacuten

Mensaje de alerta y parar si

persiste

0 2 4 6 8 10 12 14 16 180

20

40

60

80

100

Dis

tan

cia

s (

mm

)

Distancia Robot-Objetivo

Distancia Robot-Cirujano

0 2 4 6 8 10 12 14 16 18-10

-5

0

5

10

15

20

Tiempo (segundos)

Fu

erz

as (

N)

Fx

Fy

Fz

0 2 4 6 8 10 12 14 16 18 200

20

40

60

80

100

Dis

tan

cia

s (

mm

)

Distancia Robot-Objetivo

Distancia Robot-Cirujano

0 2 4 6 8 10 12 14 16 18 20-20

-15

-10

-5

0

5

10

Tiempo (segundos)

Fu

erz

as (

N)

Fx

Fy

Fz

Co

lisioacute

n c

on

herr

am

ien

ta

Colisioacuten con tejido

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT EXPERIMENTOS PROPUESTOS

1 Movimiento esfeacuterico mediante la aplicacioacuten del control EMP

2 Movimiento auto-guiado con la herramienta del cirujano en

movimiento

3 Procedimiento de sutura Insercioacuten Puncioacuten Anudado y Corte

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 1 MOVIMIENTO ESFEacuteRICO

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 2 MOVIMIENTO AUTO-GUIADO

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (I)

Maniobra 1 Insercioacuten

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (II)

Maniobra 2 Puncioacuten

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (III)

Maniobra 3 Anudado

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (IV)

Maniobra 4 Corte del Hilo

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CONCLUSIONES

El gran esfuerzo investigador en torno a la roboacutetica quiruacutergica la destaca

como una herramienta de gran utilidad en cirugiacutea laparoscoacutepica

Tres grupos de robots quiruacutergicos tele-manipuladores camaroacutegrafos y

sistemas autoacutenomos

En un punto intermedio los robots semiautoacutenomos se perfilan como los

candidatos para la cirugiacutea en solitario

Contribuciones de esta tesis para los robots semiautoacutenomos

1 Movimiento esfeacuterico del instrumental mediante muntildeecas activas

2 Sistema auto-guiado para la planificacioacuten de movimientos en el interior

de la cavidad abdominal

3 Asistencia semiautoacutenoma al procedimiento laparoscoacutepico de sutura

Implantacioacuten de las contribuciones en el prototipo CISOBOT

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

LIacuteNEAS DE INVESTIGACIOacuteN FUTURAS

Ampliar la asistencia al cirujano en otros procedimientos ademaacutes de la

sutura corte transporte agarrehellip

Modelar complicaciones producidas con mayor frecuencia durante la

ejecucioacuten de los procedimientos anteriores (error en corte limpieza de

sangradohellip)

Modificar el robot para manejar instrumental a traveacutes de un solo orificio en

teacutecnicas SILS (Single Input Laparoscopic Surgery)

Eliminar la hipoacutetesis de herramientas riacutegidas para mejorar la localizacioacuten del

punto de fulcro e interaccioacuten con el cirujano y el paciente

Cambiar el modo secuencial del diagrama de estados de la sutura para

permitir una interaccioacuten simultaacutenea con el cirujano

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

APORTACIONES CIENTIacuteFICAS

CONGRESOS INTERNACIONALES (6) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoActive Wrists Endoscope Navigation in Robotized Laparoscopic

Surgeryrdquo IEEE International Conference on Mechatronics (ICM) Abril 2009 Maacutelaga (Espantildea) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoThree-Layer Control for Active Wrists in Robotized Laparoscopic

Surgeryrdquo IEEE International Conference on Intelligent Robots and Systems (IROS) Octubre 2009 St Louis (EEUU) B Estebanez G Jimeacutenez VF Muntildeoz I Garciacutea-Morales E Bauzano J Molina ldquoMinimally Invasive Surgery Maneuver

Recognition Based on Surgeon Modelrdquo IEEE International Congerence on Intelligent Robots and Systems (IROS) Octubre 2009 St Louis (EEUU)

E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoA Multi-Behavior Algorithm for Auto-Guided Movements in Surgeon Assistancerdquo IEEE International Workshop on Robotics in Alpe-Adria-Danube Region (RAAD) Junio 2010 Budapest (Hungriacutea)

Premio al mejor artiacuteculo de estudiante (Best Paper Award) E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoAuto-Guided Movements on Minimally Invasive Surgery for Surgeon Assistancerdquo

IEEE International Conference on Intelligent Robots and Systems (IROS) Octubre 2010 Taipei (Taiwaacuten) B Estebanez E Bauzano VF Muntildeoz ldquoSurgical Tools Pose Estimation for a Multimodal HMI of a Surgical Robot Assistantrdquo IEEE

International Conference on Intelligent Robots and Systems (IROS) Septiembre 2011 San Francisco (EEUU)

LIBROS Y REVISTAS (2) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoControl Methodologies for Endoscope Navigation in Robotized

Laparoscopic Surgeryrdquo Research and Education in Robotics Ed Springer-Verlag (Berliacuten Heidelberg) 2010 Vol 82 pp 11-22 ISBN 978-3-642-16369

E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoA Multi-Behavior Algorithm for Auto-Guided Movements in Surgeon Assistancerdquo International Journal of Mechanics and Control (JoMaC) Ed Levrotto amp Bella (Torino Italia) 2011 Vol 12 no 1 ISSN 1590-8844

CONGRESOS NACIONALES (10) ndash POSTERS Y WORKSHOPS

Proyecto de Excelencia P07-TEP-02897

ROBOT ASISTENTE SEMIAUTOacuteNOMO DE

DOS BRAZOS PARA INTERVENCIONES DE

CIRUGIacuteA LAPAROSCOacutePICA

Enrique Bauzano Nuacutentildeez

DEPARTAMENTO DE INGENIERIacuteA DE SISTEMAS Y AUTOMAacuteTICA

UNIVERSIDAD DE MAacuteLAGA

DEFENSA DE TESIS DOCTORAL

Directores Dr Viacutector F Muntildeoz Martiacutenez

Dra Isabel Garciacutea Morales

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CONTRIBUCIONES DE LA TESIS

PRINCIPAL OBJETIVO

Desarrollo de un robot quiruacutergico que asista al cirujano de forma semiautoacutenoma y

facilite alcanzar la cirugiacutea en solitario

CONTRIBUCIONES

1 Navegacioacuten Laparoscoacutepica Control EMP para muntildeecas de actuacioacuten directa

2 Sistema de auto-guiado basado en comportamientos

3 Asistencia semiautoacutenoma a la sutura

Implantacioacuten en el sistema de dos brazos CISOBOT

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

PROBLEMA 1 NAVEGACIOacuteN ESFEacuteRICA

Base del Robot

B

Brazo Robot

Muntildeeca

Punto de

Fulcro

I

Endoscopio

Y

X

Z

Z

Y

X

Abdomen

β

α

ρ

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

NAVEGACIOacuteN ESFEacuteRICA MECANISMOS

MUNtildeECA PASIVA CENTRO DE ROTACIOacuteN REMOTO ACTUACIOacuteN DIRECTA

No ejerce fuerzas en abdomen

Incertidumbre debido a la

holgura en el trocar

No ejerce fuerzas en abdomen

(previa calibracioacuten)

Requiere instrumental especiacutefico

Mecanismo voluminoso

No requiere instrumental especiacutefico

Poco volumen ocupado

Puede ejercer fuerzas en el

abdomen

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

MUNtildeECAS ACTIVAS NAVEGACIOacuteN

1 Rotacioacuten alrededor del fulcro estimado IDesplaza el fulcro real I sobre el abdomen

2 Simulacioacuten de muntildeeca pasivaRotacioacuten de la herramienta alrededor de la muntildeeca hasta

eliminar el desplazamiento del fulcro

3 Correccioacuten del aacutengulo de altitudSeguir recorrido hasta orientar la herramienta con el

aacutengulo deseado inicialmente

I

LL-L

XI

ZI

I0

I

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

1 Equilibrio de fuerzas y pares

2 Equilibrio de pares con F y Fβ

3 Aproximacioacuten geomeacutetrica de separacioacuten eβ

4 Aacutengulo de compensacioacuten φr

MUNtildeECAS ACTIVAS ESTIMACIOacuteN DEL FULCRO

fFIX

IZsFsM

F

B

r

I I

e

0

F

A

0I

M

0

ws

F

s

)d(WrM

WF

f

f

FρFρ

FF

sinF

M

eF

re

cos

sinFr

cos

sinFF

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

MUNtildeECAS ACTIVAS ESQUEMA DE CONTROL

CONTROL EMP

CONTROL ESFEacuteRICO

CAPA-2

CAPA-3

CAPA-1Aacutengulo

deseado

Fuerzas y

Pares

CONTROL

CARTESIANO

BRAZO ROBOT

Referencia esfeacuterica pasiva

Referencia esfeacuterica activa

Referencia

articular

ESTIMADOR

DEL FULCRO

Posicioacuten

articular

Distancia Exterior

estimada

Aacutengulo actual

CONTROLADOR MUNtildeECA ACTIVA

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CAPA 3 CONTROL CARTESIANO

CONTROL CARTESIANO

Planificador

Cartesiano

+

ndash xK)(kTX r

)(kTX r

++

BRAZO

ROBOT)(1 J

)(kTr

)(F

)(kT

)(kTX

Conversioacuten

Cartesiano a Arco

recorrido

T

)(kTLr

)(kTL

Ley de Control rxr XXKJ ~)(1

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CAPA 2 CONTROL EMP

CONTROL EMP

ControlPI

Estimador del Fulcro

ndash+

Sensor de Fuerzas

2T

)( rr

)( 2kT

))(( 2kT

1dF )( 2kTFr )( 2kTr+

ndash

)( 2kTr )( 2kTLr

ndash

+

ndash

+

)( 2kTFc

)( 2kTFs)( 2kTF

)( 2kT

)( 2kTW

)( 2kTL

CAPA-3

1

221

1TI

eK

)1(

)1(

22

2

T

T

Pe

eK

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CAPA 1 CONTROL ESFEacuteRICO

CAPA-2

+ndash

L)( dd

)( rr

)(

Control PI

)( cc

Generador de

trayectorias

)( ff

)1(

11

1

1

1

1

1

1

T

T

P

TI

e

eK

eK

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

ESTABILIDAD DEL CONTROLADOR

15

20

25

15

20

25

0

02

04

06

08

1

Distancia real (cm)Distancia estimada K (cm)

05

1

15

2

05

1

15

2

0

05

1

Rigidez real (Nmm)Rigidez estimada (Nmm)

Criterio Los autovalores son inferiores a 1

2 50

Capa 1 Control Esfeacuterico Capa 2 Control EMP

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

DEMO CONTROL EMP

time (sec)fo

rce

s (N

)30

2

-2

0

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

PROBLEMA 2 PLANIFICACIOacuteN DE CAMINOS

Herramienta del

Robot

Caacutemara Herramienta del

Cirujano

Abdomen

Trayectoria

del Robot

Objetivo

Campo de Visioacuten

C

rp ro

O

GS

GC

GR

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SISTEMA DE MOVIMIENTO AUTO-GUIADO

SELECTOR DE

COMPORTAMIENTOS

PLANIFICADOR

LOCAL

CORRECCIOacuteN DE

VELOCIDAD

SEGUIMIENTO

DEL CIRUJANO

pv

1v1c

2v2c

3v3c

or

1c

2c

3c

Objetivo

Trayectoria Planificada

Herramienta del Cirujano

Herramienta del Robot

sv

rv

s1+

+

+

pr

kT

Tk

kT

Tkdtcccdt

)1(332211r

)1(prp vvvrvrr

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SELECTOR DE COMPORTAMIENTOS

67

3 2

Esfera de direcciones

14

58

rv

C CY

CX

CZ

sv

vr

vs

1 2 3 4 5 6 7 8

1 A L ML L C L ML L

2 L A L ML L C L ML

3 C MC A L C MC C L

4 MC C L A MC C L C

5 C L ML L A L ML L

6 L C L ML L A L ML

7 C MC C L C MC A L

8 MC C L C MC C L A

c1

c2

c3

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

COMPORTAMIENTO 1 PLANIFICADOR LOCAL

atrFrepF

RM SMf

RM

O

RG

SG

L

l

i

repatr UU i

repatr1 FFF

0

02

0

0

2

ˆˆ11

2

F

rF

rep

fatr

f

rep

atr

rK

L

l

K

dt

m1

11

Fv

Proceso Planificador_Local

1) Localizar el punto guiacutea MR2) Calcular el objetivo asociado al punto guiacutea MfR3) Calcular la fuerza F1 =gt Velocidad del punto guiacutea v14) Calcular la velocidad en el efector final del robot

5) Ejecutar movimiento del robot

6) Si no se ha alcanzado el objetivo O con el extremo de la herramienta volver a 1)

Fin de Procedimiento

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

COMPORTAMIENTO 2 CORRECCIOacuteN DE VELOCIDAD

Recta de

Colisioacuten

CP

RG

SG

SP

rv

sv

)( cR tP)( cS tP

RP

r2 vv 2K

dc

tc

Cero Baja Media Lejos Muy Lejos

Cero Maacutex Maacutex Muy Alta Muy Alta Alta

Bajo Maacutex Muy Alta Alta Alta Media

Medio Muy Alta Alta Media Media Poca

Bastante Muy Alta Alta Media Poca Nula

Mucho Alta Media Poca Nula Nula

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

COMPORTAMIENTO 3 SEGUIMIENTO DEL CIRUJANO

GR GS

s3 vF 3B dt

m

Bs3 vv

1

3

3

Proceso Auto_Guiado

1) Calcular los pesos de cada comportamiento c1 c2 c32) Calcular las velocidades de los tres comportamientos v1 v2 v3 3) Ponderar cada velocidad con su peso sumar e integrar =gt siguiente punto del camino rp4) Ejecutar movimiento del robot

5) Si el robot no ha llegado al objetivo ro volver a 1)

Fin de Procedimiento

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

DEMO MOVIMIENTO AUTO-GUIADO

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

PROBLEMA 3 ASISTENCIA A LA SUTURA

EndoscopioHerramienta del

cirujano

Herramienta

auxiliar

Sujecioacuten

del hiacutegado

Escenario de Colecistectomiacutea

Protocolo

1 Elevar hiacutegado para exponer la

vesiacutecula

2 Cortar triaacutengulo de Calot y exponer

arteria y conducto ciacutesticos

3 Suturar arteria y conducto ciacutesticos

para aislar un punto intermedio

4 Cortar arteria y conducto ciacutesticos

5 Separar vesiacutecula

6 Extraer vesiacutecula del paciente

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA CONCEPTOS PREVIOS

bull Gesto Accioacuten identificable maacutes elemental de las herramientas

laparoscoacutepicas (tirar del hilo de sutura presionar tejidohellip)

bull Maniobra Secuencia de gestos que componen una actuacioacuten

definible sobre el paciente (puncioacuten corte anudadohellip)

bull Procedimiento Maniobra o secuencia de maniobras que completan

una tarea propuesta por un protocolo quiruacutergico

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA MEacuteTODO DE ROSSER (I)

Laparoscopic Suturing httpwwwyoutubecomwatchv=PmdPAVFgNXU

1 Insertar aguja y centrar Agarrar aguja

2 Presionar tejido Posicionar aguja para puncioacuten

3 Agarrar aguja tras puncioacuten Puncioacuten mediante giro de 60deg-90deg

4 Extraer aguja y tirar del hilo Soltar aguja y sostener tejido

5 Colocar aguja a la sutura Desplazar herramienta sobre el hilo

6 Mantener posicioacuten Girar 2x sentido horario

7 Tensar hilo en sentido nordeste Agarrar extremo del hilo y mantener

MANO IZQUIERDA MANO DERECHA

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA MEacuteTODO DE ROSSER (II)

Problemas

Gran cantidad de gestos entre las dos manos

Compleja sincronizacioacuten entre las herramientas laparoscoacutepicas

Solucioacuten

Asistir al cirujano manejando una herramienta con un robot

Ventajas

Menor tiempo de aprendizaje en sincronizar ambas manos

La otra mano queda libre para otras tareas no automatizables

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA DIAGRAMA DE ESTADOS (I)

PUNZADA DE LA AGUJAINSERCIOacuteN DE LA AGUJA

ANUDADOCORTE DEL HILO

S0

S2

S1 S3

S4

S5

S6

S8

S9 S7

S11

S10S12

S13

S14

T1

T2

T3

T4

T5

T6

T7T8

T9T10

i = 3 i lt 3

T11T12T13T14

T0

T15

S0 Inicio y preparacioacuten de sutura

S1 Insertar y centrar aguja en pantalla

S2 Coger aguja y colocar en punto de

sutura

S3 Fijar tejido

S4 Punzar tejido extraer aguja y tirar

del hilo

S5 Separar del tejido y abrir pinza

S6 Colocar aguja en pinza izquierda

S7 Posicionar aguja

S8 Rotar alrededor del hilo

S9 Tirar del hilo y cerrar nudo

S10 Acercar aguja a punto de sutura

S11 Coger ambos extremos del hilo y

tensar

S12 Coger hilo bajo pinza derecha

S13 Cambiar herramienta y cortar hilo

S14 Extraer hilo y aguja

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA DIAGRAMA DE ESTADOS (II)

PUNZADA DE LA AGUJAINSERCIOacuteN DE LA AGUJA

ANUDADOCORTE DEL HILO

S0

S2

S1 S3

S4

S5

S6

S8

S9 S7

S11

S10S12

S13

S14

T1

T2

T3

T4

T5

T6

T7T8

T9T10

i = 3 i lt 3

T11T12T13T14

T0

T15

T0 Comando de voz ldquoSuturardquo

T1 Robot en posicioacuten

T2 Gesto de cirujano reconocido

T3 Fuerza aplicada sobre tejido

T4 Gesto de cirujano reconocido

T5 Robot en posicioacuten

T6 Gesto de cirujano reconocido

T7 Robot en posicioacuten

T8 Gesto de cirujano reconocido

T9 Fuerza aplicada sobre el hilo

T10 Robot en posicioacuten

T11 Gesto de cirujano reconocido

T12 Robot en posicioacuten + fuerza

aplicada sobre el hilo

T13 Gesto de cirujano reconocido

T14 Robot en posicioacuten

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA DIAGRAMA DE ESTADOS (III)

PUNZADA DE LA AGUJAINSERCIOacuteN DE LA AGUJA

ANUDADOCORTE DEL HILO

S0

S2

S1 S3

S4

S5

S6

S8

S9 S7

S11

S10S12

S13

S14

T1

T2

T3

T4

T5

T6

T7T8

T9T10

i = 3 i lt 3

T11T12T13T14

T0

T15

Sk+1

Sk

Tk-1

Tk

Tk+1

1k

kE

1

1

k

kE

k

kE 1

k

kE

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA ASISTENTE DE ESTADOS

ASISTENTE DE ESTADOS

INTERACCIOacuteN

AUTO-GUIADA

Trayectoria

Planificada

Localizacioacuten

Cirujano

Localizacioacuten

del Robot

INTERFAZ DE

VOZ

Fuerzas y

Pares

Posicioacuten

Aguja

Sentildeal de

Audio

Comando

de Voz

RECONOCEDOR

DE GESTOS

ASISTENTE DE SUTURA

Activacioacuten

Tk Estado Sk

Activacioacuten

Tk

Funciones

1) Alcanzar posicioacuten objetivo

2) Aplicar fuerza en tejidohilo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA INTERACCIOacuteN AUTO-GUIADA

INTERACCIOacuteN AUTO-GUIADA

SISTEMA

ROBOT+-

1

AKoF

F

pr

MOVIMIENTO

AUTO-GUIADO

cx

or

cr r

D

DI

CONTROL

PI

++

D

-+ K

er

++

xcF

co FF

coc FFx 1

AKLey de Control

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

DEMO ASISTENCIA A LA SUTURA

Maniobra 1 Insercioacuten Maniobra 2 Puncioacuten

Maniobra 3 AnudadoManiobra 4 Corte del hilo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

IMPLANTACIOacuteN PLATAFORMA CISOBOT

Brazo Instrumental

Quiruacutergico

Brazo Caacutemara

Laparoscoacutepica

Estructura Robot

Asistente

Marca 3D

Sensor de

Fuerzas

Muntildeeca Pasiva

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT ENTORNO QUIRUacuteRGICO

Columna de

Laparoscopia

Tracker 3D

Brazo Caacutemara

Laparoscoacutepica

Brazo Instrumental

Quiruacutergico

Simulador de

Paciente

Herramienta del

Cirujano

Caacutemara

Laparoscoacutepica

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT ARQUITECTURA DE CONTROL

SENSORES ENTORNOASISTENTE DE ESTADOS

CIRUJANO

INTERACCIOacuteN

AUTO-GUIADA

BRAZOS ROBOTS

CONTROL DE

BAJO NIVEL

PACIENTE

Interaccioacute

n

Ciru

jano

Herramientas Robot

Trayectoria Planificada

Localizacioacuten Cirujano

Trayectoria ControladaLo

caliz

acioacute

n R

ob

ot

ROBOT ASISTENTE

SENSOR DE

FUERZAS

INTERFAZ DE

VOZ

Esfuerzos

Imagen Laparoscoacutepica

Contacto Robot

Aguja

Herramienta Cirujano

Activacioacuten

Sentildeal de Audio

TRACKER 3D

Comando de Voz

RECONOCEDOR

DE GESTOS

MOacuteDULO DE

VISIOacuteN

ASISTENTE

DE SUTURA Activacioacuten

Nuevo Estado

Nuevo Estado

ADQUISICIOacuteN

AUDIO

Voz del cirujano

Gesto Quiruacutergico

SIST

EMA

TOLE

RA

NTE

AFA

LLO

S

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT SISTEMA TOLERANTE A FALLOS

Evento Deteccioacuten Actuacioacuten

Fallo Hardware - Sentildeal de Fallo Hardware Parar el sistema

Colisioacuten entre brazos - Anaacutelisis de Colisioacuten cinemaacuteticaParar brazo de la caacutemara

mientras haya riesgo

Colisioacuten con herramienta

del cirujano

- Cambio inusual del Fulcro Estimado

- Herramienta del cirujano cerca del robotParar robot mientras haya riesgo

Colisioacuten con tejidooacuterganos- Cambio inusual del Fulcro Estimado

- Herramienta del cirujano lejos del robotExtraer herramienta del robot

Fallo de sensores- Medicioacuten anoacutemala y constante

independiente de la actuacioacuten

Mensaje de alerta y parar si

persiste

0 2 4 6 8 10 12 14 16 180

20

40

60

80

100

Dis

tan

cia

s (

mm

)

Distancia Robot-Objetivo

Distancia Robot-Cirujano

0 2 4 6 8 10 12 14 16 18-10

-5

0

5

10

15

20

Tiempo (segundos)

Fu

erz

as (

N)

Fx

Fy

Fz

0 2 4 6 8 10 12 14 16 18 200

20

40

60

80

100

Dis

tan

cia

s (

mm

)

Distancia Robot-Objetivo

Distancia Robot-Cirujano

0 2 4 6 8 10 12 14 16 18 20-20

-15

-10

-5

0

5

10

Tiempo (segundos)

Fu

erz

as (

N)

Fx

Fy

Fz

Co

lisioacute

n c

on

herr

am

ien

ta

Colisioacuten con tejido

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT EXPERIMENTOS PROPUESTOS

1 Movimiento esfeacuterico mediante la aplicacioacuten del control EMP

2 Movimiento auto-guiado con la herramienta del cirujano en

movimiento

3 Procedimiento de sutura Insercioacuten Puncioacuten Anudado y Corte

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 1 MOVIMIENTO ESFEacuteRICO

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 2 MOVIMIENTO AUTO-GUIADO

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (I)

Maniobra 1 Insercioacuten

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (II)

Maniobra 2 Puncioacuten

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (III)

Maniobra 3 Anudado

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (IV)

Maniobra 4 Corte del Hilo

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CONCLUSIONES

El gran esfuerzo investigador en torno a la roboacutetica quiruacutergica la destaca

como una herramienta de gran utilidad en cirugiacutea laparoscoacutepica

Tres grupos de robots quiruacutergicos tele-manipuladores camaroacutegrafos y

sistemas autoacutenomos

En un punto intermedio los robots semiautoacutenomos se perfilan como los

candidatos para la cirugiacutea en solitario

Contribuciones de esta tesis para los robots semiautoacutenomos

1 Movimiento esfeacuterico del instrumental mediante muntildeecas activas

2 Sistema auto-guiado para la planificacioacuten de movimientos en el interior

de la cavidad abdominal

3 Asistencia semiautoacutenoma al procedimiento laparoscoacutepico de sutura

Implantacioacuten de las contribuciones en el prototipo CISOBOT

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

LIacuteNEAS DE INVESTIGACIOacuteN FUTURAS

Ampliar la asistencia al cirujano en otros procedimientos ademaacutes de la

sutura corte transporte agarrehellip

Modelar complicaciones producidas con mayor frecuencia durante la

ejecucioacuten de los procedimientos anteriores (error en corte limpieza de

sangradohellip)

Modificar el robot para manejar instrumental a traveacutes de un solo orificio en

teacutecnicas SILS (Single Input Laparoscopic Surgery)

Eliminar la hipoacutetesis de herramientas riacutegidas para mejorar la localizacioacuten del

punto de fulcro e interaccioacuten con el cirujano y el paciente

Cambiar el modo secuencial del diagrama de estados de la sutura para

permitir una interaccioacuten simultaacutenea con el cirujano

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

APORTACIONES CIENTIacuteFICAS

CONGRESOS INTERNACIONALES (6) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoActive Wrists Endoscope Navigation in Robotized Laparoscopic

Surgeryrdquo IEEE International Conference on Mechatronics (ICM) Abril 2009 Maacutelaga (Espantildea) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoThree-Layer Control for Active Wrists in Robotized Laparoscopic

Surgeryrdquo IEEE International Conference on Intelligent Robots and Systems (IROS) Octubre 2009 St Louis (EEUU) B Estebanez G Jimeacutenez VF Muntildeoz I Garciacutea-Morales E Bauzano J Molina ldquoMinimally Invasive Surgery Maneuver

Recognition Based on Surgeon Modelrdquo IEEE International Congerence on Intelligent Robots and Systems (IROS) Octubre 2009 St Louis (EEUU)

E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoA Multi-Behavior Algorithm for Auto-Guided Movements in Surgeon Assistancerdquo IEEE International Workshop on Robotics in Alpe-Adria-Danube Region (RAAD) Junio 2010 Budapest (Hungriacutea)

Premio al mejor artiacuteculo de estudiante (Best Paper Award) E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoAuto-Guided Movements on Minimally Invasive Surgery for Surgeon Assistancerdquo

IEEE International Conference on Intelligent Robots and Systems (IROS) Octubre 2010 Taipei (Taiwaacuten) B Estebanez E Bauzano VF Muntildeoz ldquoSurgical Tools Pose Estimation for a Multimodal HMI of a Surgical Robot Assistantrdquo IEEE

International Conference on Intelligent Robots and Systems (IROS) Septiembre 2011 San Francisco (EEUU)

LIBROS Y REVISTAS (2) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoControl Methodologies for Endoscope Navigation in Robotized

Laparoscopic Surgeryrdquo Research and Education in Robotics Ed Springer-Verlag (Berliacuten Heidelberg) 2010 Vol 82 pp 11-22 ISBN 978-3-642-16369

E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoA Multi-Behavior Algorithm for Auto-Guided Movements in Surgeon Assistancerdquo International Journal of Mechanics and Control (JoMaC) Ed Levrotto amp Bella (Torino Italia) 2011 Vol 12 no 1 ISSN 1590-8844

CONGRESOS NACIONALES (10) ndash POSTERS Y WORKSHOPS

Proyecto de Excelencia P07-TEP-02897

ROBOT ASISTENTE SEMIAUTOacuteNOMO DE

DOS BRAZOS PARA INTERVENCIONES DE

CIRUGIacuteA LAPAROSCOacutePICA

Enrique Bauzano Nuacutentildeez

DEPARTAMENTO DE INGENIERIacuteA DE SISTEMAS Y AUTOMAacuteTICA

UNIVERSIDAD DE MAacuteLAGA

DEFENSA DE TESIS DOCTORAL

Directores Dr Viacutector F Muntildeoz Martiacutenez

Dra Isabel Garciacutea Morales

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

PROBLEMA 1 NAVEGACIOacuteN ESFEacuteRICA

Base del Robot

B

Brazo Robot

Muntildeeca

Punto de

Fulcro

I

Endoscopio

Y

X

Z

Z

Y

X

Abdomen

β

α

ρ

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

NAVEGACIOacuteN ESFEacuteRICA MECANISMOS

MUNtildeECA PASIVA CENTRO DE ROTACIOacuteN REMOTO ACTUACIOacuteN DIRECTA

No ejerce fuerzas en abdomen

Incertidumbre debido a la

holgura en el trocar

No ejerce fuerzas en abdomen

(previa calibracioacuten)

Requiere instrumental especiacutefico

Mecanismo voluminoso

No requiere instrumental especiacutefico

Poco volumen ocupado

Puede ejercer fuerzas en el

abdomen

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

MUNtildeECAS ACTIVAS NAVEGACIOacuteN

1 Rotacioacuten alrededor del fulcro estimado IDesplaza el fulcro real I sobre el abdomen

2 Simulacioacuten de muntildeeca pasivaRotacioacuten de la herramienta alrededor de la muntildeeca hasta

eliminar el desplazamiento del fulcro

3 Correccioacuten del aacutengulo de altitudSeguir recorrido hasta orientar la herramienta con el

aacutengulo deseado inicialmente

I

LL-L

XI

ZI

I0

I

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

1 Equilibrio de fuerzas y pares

2 Equilibrio de pares con F y Fβ

3 Aproximacioacuten geomeacutetrica de separacioacuten eβ

4 Aacutengulo de compensacioacuten φr

MUNtildeECAS ACTIVAS ESTIMACIOacuteN DEL FULCRO

fFIX

IZsFsM

F

B

r

I I

e

0

F

A

0I

M

0

ws

F

s

)d(WrM

WF

f

f

FρFρ

FF

sinF

M

eF

re

cos

sinFr

cos

sinFF

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

MUNtildeECAS ACTIVAS ESQUEMA DE CONTROL

CONTROL EMP

CONTROL ESFEacuteRICO

CAPA-2

CAPA-3

CAPA-1Aacutengulo

deseado

Fuerzas y

Pares

CONTROL

CARTESIANO

BRAZO ROBOT

Referencia esfeacuterica pasiva

Referencia esfeacuterica activa

Referencia

articular

ESTIMADOR

DEL FULCRO

Posicioacuten

articular

Distancia Exterior

estimada

Aacutengulo actual

CONTROLADOR MUNtildeECA ACTIVA

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CAPA 3 CONTROL CARTESIANO

CONTROL CARTESIANO

Planificador

Cartesiano

+

ndash xK)(kTX r

)(kTX r

++

BRAZO

ROBOT)(1 J

)(kTr

)(F

)(kT

)(kTX

Conversioacuten

Cartesiano a Arco

recorrido

T

)(kTLr

)(kTL

Ley de Control rxr XXKJ ~)(1

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CAPA 2 CONTROL EMP

CONTROL EMP

ControlPI

Estimador del Fulcro

ndash+

Sensor de Fuerzas

2T

)( rr

)( 2kT

))(( 2kT

1dF )( 2kTFr )( 2kTr+

ndash

)( 2kTr )( 2kTLr

ndash

+

ndash

+

)( 2kTFc

)( 2kTFs)( 2kTF

)( 2kT

)( 2kTW

)( 2kTL

CAPA-3

1

221

1TI

eK

)1(

)1(

22

2

T

T

Pe

eK

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CAPA 1 CONTROL ESFEacuteRICO

CAPA-2

+ndash

L)( dd

)( rr

)(

Control PI

)( cc

Generador de

trayectorias

)( ff

)1(

11

1

1

1

1

1

1

T

T

P

TI

e

eK

eK

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

ESTABILIDAD DEL CONTROLADOR

15

20

25

15

20

25

0

02

04

06

08

1

Distancia real (cm)Distancia estimada K (cm)

05

1

15

2

05

1

15

2

0

05

1

Rigidez real (Nmm)Rigidez estimada (Nmm)

Criterio Los autovalores son inferiores a 1

2 50

Capa 1 Control Esfeacuterico Capa 2 Control EMP

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

DEMO CONTROL EMP

time (sec)fo

rce

s (N

)30

2

-2

0

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

PROBLEMA 2 PLANIFICACIOacuteN DE CAMINOS

Herramienta del

Robot

Caacutemara Herramienta del

Cirujano

Abdomen

Trayectoria

del Robot

Objetivo

Campo de Visioacuten

C

rp ro

O

GS

GC

GR

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SISTEMA DE MOVIMIENTO AUTO-GUIADO

SELECTOR DE

COMPORTAMIENTOS

PLANIFICADOR

LOCAL

CORRECCIOacuteN DE

VELOCIDAD

SEGUIMIENTO

DEL CIRUJANO

pv

1v1c

2v2c

3v3c

or

1c

2c

3c

Objetivo

Trayectoria Planificada

Herramienta del Cirujano

Herramienta del Robot

sv

rv

s1+

+

+

pr

kT

Tk

kT

Tkdtcccdt

)1(332211r

)1(prp vvvrvrr

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SELECTOR DE COMPORTAMIENTOS

67

3 2

Esfera de direcciones

14

58

rv

C CY

CX

CZ

sv

vr

vs

1 2 3 4 5 6 7 8

1 A L ML L C L ML L

2 L A L ML L C L ML

3 C MC A L C MC C L

4 MC C L A MC C L C

5 C L ML L A L ML L

6 L C L ML L A L ML

7 C MC C L C MC A L

8 MC C L C MC C L A

c1

c2

c3

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

COMPORTAMIENTO 1 PLANIFICADOR LOCAL

atrFrepF

RM SMf

RM

O

RG

SG

L

l

i

repatr UU i

repatr1 FFF

0

02

0

0

2

ˆˆ11

2

F

rF

rep

fatr

f

rep

atr

rK

L

l

K

dt

m1

11

Fv

Proceso Planificador_Local

1) Localizar el punto guiacutea MR2) Calcular el objetivo asociado al punto guiacutea MfR3) Calcular la fuerza F1 =gt Velocidad del punto guiacutea v14) Calcular la velocidad en el efector final del robot

5) Ejecutar movimiento del robot

6) Si no se ha alcanzado el objetivo O con el extremo de la herramienta volver a 1)

Fin de Procedimiento

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

COMPORTAMIENTO 2 CORRECCIOacuteN DE VELOCIDAD

Recta de

Colisioacuten

CP

RG

SG

SP

rv

sv

)( cR tP)( cS tP

RP

r2 vv 2K

dc

tc

Cero Baja Media Lejos Muy Lejos

Cero Maacutex Maacutex Muy Alta Muy Alta Alta

Bajo Maacutex Muy Alta Alta Alta Media

Medio Muy Alta Alta Media Media Poca

Bastante Muy Alta Alta Media Poca Nula

Mucho Alta Media Poca Nula Nula

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

COMPORTAMIENTO 3 SEGUIMIENTO DEL CIRUJANO

GR GS

s3 vF 3B dt

m

Bs3 vv

1

3

3

Proceso Auto_Guiado

1) Calcular los pesos de cada comportamiento c1 c2 c32) Calcular las velocidades de los tres comportamientos v1 v2 v3 3) Ponderar cada velocidad con su peso sumar e integrar =gt siguiente punto del camino rp4) Ejecutar movimiento del robot

5) Si el robot no ha llegado al objetivo ro volver a 1)

Fin de Procedimiento

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

DEMO MOVIMIENTO AUTO-GUIADO

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

PROBLEMA 3 ASISTENCIA A LA SUTURA

EndoscopioHerramienta del

cirujano

Herramienta

auxiliar

Sujecioacuten

del hiacutegado

Escenario de Colecistectomiacutea

Protocolo

1 Elevar hiacutegado para exponer la

vesiacutecula

2 Cortar triaacutengulo de Calot y exponer

arteria y conducto ciacutesticos

3 Suturar arteria y conducto ciacutesticos

para aislar un punto intermedio

4 Cortar arteria y conducto ciacutesticos

5 Separar vesiacutecula

6 Extraer vesiacutecula del paciente

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA CONCEPTOS PREVIOS

bull Gesto Accioacuten identificable maacutes elemental de las herramientas

laparoscoacutepicas (tirar del hilo de sutura presionar tejidohellip)

bull Maniobra Secuencia de gestos que componen una actuacioacuten

definible sobre el paciente (puncioacuten corte anudadohellip)

bull Procedimiento Maniobra o secuencia de maniobras que completan

una tarea propuesta por un protocolo quiruacutergico

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA MEacuteTODO DE ROSSER (I)

Laparoscopic Suturing httpwwwyoutubecomwatchv=PmdPAVFgNXU

1 Insertar aguja y centrar Agarrar aguja

2 Presionar tejido Posicionar aguja para puncioacuten

3 Agarrar aguja tras puncioacuten Puncioacuten mediante giro de 60deg-90deg

4 Extraer aguja y tirar del hilo Soltar aguja y sostener tejido

5 Colocar aguja a la sutura Desplazar herramienta sobre el hilo

6 Mantener posicioacuten Girar 2x sentido horario

7 Tensar hilo en sentido nordeste Agarrar extremo del hilo y mantener

MANO IZQUIERDA MANO DERECHA

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA MEacuteTODO DE ROSSER (II)

Problemas

Gran cantidad de gestos entre las dos manos

Compleja sincronizacioacuten entre las herramientas laparoscoacutepicas

Solucioacuten

Asistir al cirujano manejando una herramienta con un robot

Ventajas

Menor tiempo de aprendizaje en sincronizar ambas manos

La otra mano queda libre para otras tareas no automatizables

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA DIAGRAMA DE ESTADOS (I)

PUNZADA DE LA AGUJAINSERCIOacuteN DE LA AGUJA

ANUDADOCORTE DEL HILO

S0

S2

S1 S3

S4

S5

S6

S8

S9 S7

S11

S10S12

S13

S14

T1

T2

T3

T4

T5

T6

T7T8

T9T10

i = 3 i lt 3

T11T12T13T14

T0

T15

S0 Inicio y preparacioacuten de sutura

S1 Insertar y centrar aguja en pantalla

S2 Coger aguja y colocar en punto de

sutura

S3 Fijar tejido

S4 Punzar tejido extraer aguja y tirar

del hilo

S5 Separar del tejido y abrir pinza

S6 Colocar aguja en pinza izquierda

S7 Posicionar aguja

S8 Rotar alrededor del hilo

S9 Tirar del hilo y cerrar nudo

S10 Acercar aguja a punto de sutura

S11 Coger ambos extremos del hilo y

tensar

S12 Coger hilo bajo pinza derecha

S13 Cambiar herramienta y cortar hilo

S14 Extraer hilo y aguja

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA DIAGRAMA DE ESTADOS (II)

PUNZADA DE LA AGUJAINSERCIOacuteN DE LA AGUJA

ANUDADOCORTE DEL HILO

S0

S2

S1 S3

S4

S5

S6

S8

S9 S7

S11

S10S12

S13

S14

T1

T2

T3

T4

T5

T6

T7T8

T9T10

i = 3 i lt 3

T11T12T13T14

T0

T15

T0 Comando de voz ldquoSuturardquo

T1 Robot en posicioacuten

T2 Gesto de cirujano reconocido

T3 Fuerza aplicada sobre tejido

T4 Gesto de cirujano reconocido

T5 Robot en posicioacuten

T6 Gesto de cirujano reconocido

T7 Robot en posicioacuten

T8 Gesto de cirujano reconocido

T9 Fuerza aplicada sobre el hilo

T10 Robot en posicioacuten

T11 Gesto de cirujano reconocido

T12 Robot en posicioacuten + fuerza

aplicada sobre el hilo

T13 Gesto de cirujano reconocido

T14 Robot en posicioacuten

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA DIAGRAMA DE ESTADOS (III)

PUNZADA DE LA AGUJAINSERCIOacuteN DE LA AGUJA

ANUDADOCORTE DEL HILO

S0

S2

S1 S3

S4

S5

S6

S8

S9 S7

S11

S10S12

S13

S14

T1

T2

T3

T4

T5

T6

T7T8

T9T10

i = 3 i lt 3

T11T12T13T14

T0

T15

Sk+1

Sk

Tk-1

Tk

Tk+1

1k

kE

1

1

k

kE

k

kE 1

k

kE

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA ASISTENTE DE ESTADOS

ASISTENTE DE ESTADOS

INTERACCIOacuteN

AUTO-GUIADA

Trayectoria

Planificada

Localizacioacuten

Cirujano

Localizacioacuten

del Robot

INTERFAZ DE

VOZ

Fuerzas y

Pares

Posicioacuten

Aguja

Sentildeal de

Audio

Comando

de Voz

RECONOCEDOR

DE GESTOS

ASISTENTE DE SUTURA

Activacioacuten

Tk Estado Sk

Activacioacuten

Tk

Funciones

1) Alcanzar posicioacuten objetivo

2) Aplicar fuerza en tejidohilo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA INTERACCIOacuteN AUTO-GUIADA

INTERACCIOacuteN AUTO-GUIADA

SISTEMA

ROBOT+-

1

AKoF

F

pr

MOVIMIENTO

AUTO-GUIADO

cx

or

cr r

D

DI

CONTROL

PI

++

D

-+ K

er

++

xcF

co FF

coc FFx 1

AKLey de Control

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

DEMO ASISTENCIA A LA SUTURA

Maniobra 1 Insercioacuten Maniobra 2 Puncioacuten

Maniobra 3 AnudadoManiobra 4 Corte del hilo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

IMPLANTACIOacuteN PLATAFORMA CISOBOT

Brazo Instrumental

Quiruacutergico

Brazo Caacutemara

Laparoscoacutepica

Estructura Robot

Asistente

Marca 3D

Sensor de

Fuerzas

Muntildeeca Pasiva

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT ENTORNO QUIRUacuteRGICO

Columna de

Laparoscopia

Tracker 3D

Brazo Caacutemara

Laparoscoacutepica

Brazo Instrumental

Quiruacutergico

Simulador de

Paciente

Herramienta del

Cirujano

Caacutemara

Laparoscoacutepica

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT ARQUITECTURA DE CONTROL

SENSORES ENTORNOASISTENTE DE ESTADOS

CIRUJANO

INTERACCIOacuteN

AUTO-GUIADA

BRAZOS ROBOTS

CONTROL DE

BAJO NIVEL

PACIENTE

Interaccioacute

n

Ciru

jano

Herramientas Robot

Trayectoria Planificada

Localizacioacuten Cirujano

Trayectoria ControladaLo

caliz

acioacute

n R

ob

ot

ROBOT ASISTENTE

SENSOR DE

FUERZAS

INTERFAZ DE

VOZ

Esfuerzos

Imagen Laparoscoacutepica

Contacto Robot

Aguja

Herramienta Cirujano

Activacioacuten

Sentildeal de Audio

TRACKER 3D

Comando de Voz

RECONOCEDOR

DE GESTOS

MOacuteDULO DE

VISIOacuteN

ASISTENTE

DE SUTURA Activacioacuten

Nuevo Estado

Nuevo Estado

ADQUISICIOacuteN

AUDIO

Voz del cirujano

Gesto Quiruacutergico

SIST

EMA

TOLE

RA

NTE

AFA

LLO

S

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT SISTEMA TOLERANTE A FALLOS

Evento Deteccioacuten Actuacioacuten

Fallo Hardware - Sentildeal de Fallo Hardware Parar el sistema

Colisioacuten entre brazos - Anaacutelisis de Colisioacuten cinemaacuteticaParar brazo de la caacutemara

mientras haya riesgo

Colisioacuten con herramienta

del cirujano

- Cambio inusual del Fulcro Estimado

- Herramienta del cirujano cerca del robotParar robot mientras haya riesgo

Colisioacuten con tejidooacuterganos- Cambio inusual del Fulcro Estimado

- Herramienta del cirujano lejos del robotExtraer herramienta del robot

Fallo de sensores- Medicioacuten anoacutemala y constante

independiente de la actuacioacuten

Mensaje de alerta y parar si

persiste

0 2 4 6 8 10 12 14 16 180

20

40

60

80

100

Dis

tan

cia

s (

mm

)

Distancia Robot-Objetivo

Distancia Robot-Cirujano

0 2 4 6 8 10 12 14 16 18-10

-5

0

5

10

15

20

Tiempo (segundos)

Fu

erz

as (

N)

Fx

Fy

Fz

0 2 4 6 8 10 12 14 16 18 200

20

40

60

80

100

Dis

tan

cia

s (

mm

)

Distancia Robot-Objetivo

Distancia Robot-Cirujano

0 2 4 6 8 10 12 14 16 18 20-20

-15

-10

-5

0

5

10

Tiempo (segundos)

Fu

erz

as (

N)

Fx

Fy

Fz

Co

lisioacute

n c

on

herr

am

ien

ta

Colisioacuten con tejido

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT EXPERIMENTOS PROPUESTOS

1 Movimiento esfeacuterico mediante la aplicacioacuten del control EMP

2 Movimiento auto-guiado con la herramienta del cirujano en

movimiento

3 Procedimiento de sutura Insercioacuten Puncioacuten Anudado y Corte

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 1 MOVIMIENTO ESFEacuteRICO

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 2 MOVIMIENTO AUTO-GUIADO

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (I)

Maniobra 1 Insercioacuten

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (II)

Maniobra 2 Puncioacuten

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (III)

Maniobra 3 Anudado

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (IV)

Maniobra 4 Corte del Hilo

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CONCLUSIONES

El gran esfuerzo investigador en torno a la roboacutetica quiruacutergica la destaca

como una herramienta de gran utilidad en cirugiacutea laparoscoacutepica

Tres grupos de robots quiruacutergicos tele-manipuladores camaroacutegrafos y

sistemas autoacutenomos

En un punto intermedio los robots semiautoacutenomos se perfilan como los

candidatos para la cirugiacutea en solitario

Contribuciones de esta tesis para los robots semiautoacutenomos

1 Movimiento esfeacuterico del instrumental mediante muntildeecas activas

2 Sistema auto-guiado para la planificacioacuten de movimientos en el interior

de la cavidad abdominal

3 Asistencia semiautoacutenoma al procedimiento laparoscoacutepico de sutura

Implantacioacuten de las contribuciones en el prototipo CISOBOT

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

LIacuteNEAS DE INVESTIGACIOacuteN FUTURAS

Ampliar la asistencia al cirujano en otros procedimientos ademaacutes de la

sutura corte transporte agarrehellip

Modelar complicaciones producidas con mayor frecuencia durante la

ejecucioacuten de los procedimientos anteriores (error en corte limpieza de

sangradohellip)

Modificar el robot para manejar instrumental a traveacutes de un solo orificio en

teacutecnicas SILS (Single Input Laparoscopic Surgery)

Eliminar la hipoacutetesis de herramientas riacutegidas para mejorar la localizacioacuten del

punto de fulcro e interaccioacuten con el cirujano y el paciente

Cambiar el modo secuencial del diagrama de estados de la sutura para

permitir una interaccioacuten simultaacutenea con el cirujano

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

APORTACIONES CIENTIacuteFICAS

CONGRESOS INTERNACIONALES (6) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoActive Wrists Endoscope Navigation in Robotized Laparoscopic

Surgeryrdquo IEEE International Conference on Mechatronics (ICM) Abril 2009 Maacutelaga (Espantildea) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoThree-Layer Control for Active Wrists in Robotized Laparoscopic

Surgeryrdquo IEEE International Conference on Intelligent Robots and Systems (IROS) Octubre 2009 St Louis (EEUU) B Estebanez G Jimeacutenez VF Muntildeoz I Garciacutea-Morales E Bauzano J Molina ldquoMinimally Invasive Surgery Maneuver

Recognition Based on Surgeon Modelrdquo IEEE International Congerence on Intelligent Robots and Systems (IROS) Octubre 2009 St Louis (EEUU)

E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoA Multi-Behavior Algorithm for Auto-Guided Movements in Surgeon Assistancerdquo IEEE International Workshop on Robotics in Alpe-Adria-Danube Region (RAAD) Junio 2010 Budapest (Hungriacutea)

Premio al mejor artiacuteculo de estudiante (Best Paper Award) E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoAuto-Guided Movements on Minimally Invasive Surgery for Surgeon Assistancerdquo

IEEE International Conference on Intelligent Robots and Systems (IROS) Octubre 2010 Taipei (Taiwaacuten) B Estebanez E Bauzano VF Muntildeoz ldquoSurgical Tools Pose Estimation for a Multimodal HMI of a Surgical Robot Assistantrdquo IEEE

International Conference on Intelligent Robots and Systems (IROS) Septiembre 2011 San Francisco (EEUU)

LIBROS Y REVISTAS (2) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoControl Methodologies for Endoscope Navigation in Robotized

Laparoscopic Surgeryrdquo Research and Education in Robotics Ed Springer-Verlag (Berliacuten Heidelberg) 2010 Vol 82 pp 11-22 ISBN 978-3-642-16369

E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoA Multi-Behavior Algorithm for Auto-Guided Movements in Surgeon Assistancerdquo International Journal of Mechanics and Control (JoMaC) Ed Levrotto amp Bella (Torino Italia) 2011 Vol 12 no 1 ISSN 1590-8844

CONGRESOS NACIONALES (10) ndash POSTERS Y WORKSHOPS

Proyecto de Excelencia P07-TEP-02897

ROBOT ASISTENTE SEMIAUTOacuteNOMO DE

DOS BRAZOS PARA INTERVENCIONES DE

CIRUGIacuteA LAPAROSCOacutePICA

Enrique Bauzano Nuacutentildeez

DEPARTAMENTO DE INGENIERIacuteA DE SISTEMAS Y AUTOMAacuteTICA

UNIVERSIDAD DE MAacuteLAGA

DEFENSA DE TESIS DOCTORAL

Directores Dr Viacutector F Muntildeoz Martiacutenez

Dra Isabel Garciacutea Morales

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

NAVEGACIOacuteN ESFEacuteRICA MECANISMOS

MUNtildeECA PASIVA CENTRO DE ROTACIOacuteN REMOTO ACTUACIOacuteN DIRECTA

No ejerce fuerzas en abdomen

Incertidumbre debido a la

holgura en el trocar

No ejerce fuerzas en abdomen

(previa calibracioacuten)

Requiere instrumental especiacutefico

Mecanismo voluminoso

No requiere instrumental especiacutefico

Poco volumen ocupado

Puede ejercer fuerzas en el

abdomen

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

MUNtildeECAS ACTIVAS NAVEGACIOacuteN

1 Rotacioacuten alrededor del fulcro estimado IDesplaza el fulcro real I sobre el abdomen

2 Simulacioacuten de muntildeeca pasivaRotacioacuten de la herramienta alrededor de la muntildeeca hasta

eliminar el desplazamiento del fulcro

3 Correccioacuten del aacutengulo de altitudSeguir recorrido hasta orientar la herramienta con el

aacutengulo deseado inicialmente

I

LL-L

XI

ZI

I0

I

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

1 Equilibrio de fuerzas y pares

2 Equilibrio de pares con F y Fβ

3 Aproximacioacuten geomeacutetrica de separacioacuten eβ

4 Aacutengulo de compensacioacuten φr

MUNtildeECAS ACTIVAS ESTIMACIOacuteN DEL FULCRO

fFIX

IZsFsM

F

B

r

I I

e

0

F

A

0I

M

0

ws

F

s

)d(WrM

WF

f

f

FρFρ

FF

sinF

M

eF

re

cos

sinFr

cos

sinFF

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

MUNtildeECAS ACTIVAS ESQUEMA DE CONTROL

CONTROL EMP

CONTROL ESFEacuteRICO

CAPA-2

CAPA-3

CAPA-1Aacutengulo

deseado

Fuerzas y

Pares

CONTROL

CARTESIANO

BRAZO ROBOT

Referencia esfeacuterica pasiva

Referencia esfeacuterica activa

Referencia

articular

ESTIMADOR

DEL FULCRO

Posicioacuten

articular

Distancia Exterior

estimada

Aacutengulo actual

CONTROLADOR MUNtildeECA ACTIVA

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CAPA 3 CONTROL CARTESIANO

CONTROL CARTESIANO

Planificador

Cartesiano

+

ndash xK)(kTX r

)(kTX r

++

BRAZO

ROBOT)(1 J

)(kTr

)(F

)(kT

)(kTX

Conversioacuten

Cartesiano a Arco

recorrido

T

)(kTLr

)(kTL

Ley de Control rxr XXKJ ~)(1

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CAPA 2 CONTROL EMP

CONTROL EMP

ControlPI

Estimador del Fulcro

ndash+

Sensor de Fuerzas

2T

)( rr

)( 2kT

))(( 2kT

1dF )( 2kTFr )( 2kTr+

ndash

)( 2kTr )( 2kTLr

ndash

+

ndash

+

)( 2kTFc

)( 2kTFs)( 2kTF

)( 2kT

)( 2kTW

)( 2kTL

CAPA-3

1

221

1TI

eK

)1(

)1(

22

2

T

T

Pe

eK

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CAPA 1 CONTROL ESFEacuteRICO

CAPA-2

+ndash

L)( dd

)( rr

)(

Control PI

)( cc

Generador de

trayectorias

)( ff

)1(

11

1

1

1

1

1

1

T

T

P

TI

e

eK

eK

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

ESTABILIDAD DEL CONTROLADOR

15

20

25

15

20

25

0

02

04

06

08

1

Distancia real (cm)Distancia estimada K (cm)

05

1

15

2

05

1

15

2

0

05

1

Rigidez real (Nmm)Rigidez estimada (Nmm)

Criterio Los autovalores son inferiores a 1

2 50

Capa 1 Control Esfeacuterico Capa 2 Control EMP

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

DEMO CONTROL EMP

time (sec)fo

rce

s (N

)30

2

-2

0

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

PROBLEMA 2 PLANIFICACIOacuteN DE CAMINOS

Herramienta del

Robot

Caacutemara Herramienta del

Cirujano

Abdomen

Trayectoria

del Robot

Objetivo

Campo de Visioacuten

C

rp ro

O

GS

GC

GR

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SISTEMA DE MOVIMIENTO AUTO-GUIADO

SELECTOR DE

COMPORTAMIENTOS

PLANIFICADOR

LOCAL

CORRECCIOacuteN DE

VELOCIDAD

SEGUIMIENTO

DEL CIRUJANO

pv

1v1c

2v2c

3v3c

or

1c

2c

3c

Objetivo

Trayectoria Planificada

Herramienta del Cirujano

Herramienta del Robot

sv

rv

s1+

+

+

pr

kT

Tk

kT

Tkdtcccdt

)1(332211r

)1(prp vvvrvrr

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SELECTOR DE COMPORTAMIENTOS

67

3 2

Esfera de direcciones

14

58

rv

C CY

CX

CZ

sv

vr

vs

1 2 3 4 5 6 7 8

1 A L ML L C L ML L

2 L A L ML L C L ML

3 C MC A L C MC C L

4 MC C L A MC C L C

5 C L ML L A L ML L

6 L C L ML L A L ML

7 C MC C L C MC A L

8 MC C L C MC C L A

c1

c2

c3

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

COMPORTAMIENTO 1 PLANIFICADOR LOCAL

atrFrepF

RM SMf

RM

O

RG

SG

L

l

i

repatr UU i

repatr1 FFF

0

02

0

0

2

ˆˆ11

2

F

rF

rep

fatr

f

rep

atr

rK

L

l

K

dt

m1

11

Fv

Proceso Planificador_Local

1) Localizar el punto guiacutea MR2) Calcular el objetivo asociado al punto guiacutea MfR3) Calcular la fuerza F1 =gt Velocidad del punto guiacutea v14) Calcular la velocidad en el efector final del robot

5) Ejecutar movimiento del robot

6) Si no se ha alcanzado el objetivo O con el extremo de la herramienta volver a 1)

Fin de Procedimiento

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

COMPORTAMIENTO 2 CORRECCIOacuteN DE VELOCIDAD

Recta de

Colisioacuten

CP

RG

SG

SP

rv

sv

)( cR tP)( cS tP

RP

r2 vv 2K

dc

tc

Cero Baja Media Lejos Muy Lejos

Cero Maacutex Maacutex Muy Alta Muy Alta Alta

Bajo Maacutex Muy Alta Alta Alta Media

Medio Muy Alta Alta Media Media Poca

Bastante Muy Alta Alta Media Poca Nula

Mucho Alta Media Poca Nula Nula

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

COMPORTAMIENTO 3 SEGUIMIENTO DEL CIRUJANO

GR GS

s3 vF 3B dt

m

Bs3 vv

1

3

3

Proceso Auto_Guiado

1) Calcular los pesos de cada comportamiento c1 c2 c32) Calcular las velocidades de los tres comportamientos v1 v2 v3 3) Ponderar cada velocidad con su peso sumar e integrar =gt siguiente punto del camino rp4) Ejecutar movimiento del robot

5) Si el robot no ha llegado al objetivo ro volver a 1)

Fin de Procedimiento

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

DEMO MOVIMIENTO AUTO-GUIADO

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

PROBLEMA 3 ASISTENCIA A LA SUTURA

EndoscopioHerramienta del

cirujano

Herramienta

auxiliar

Sujecioacuten

del hiacutegado

Escenario de Colecistectomiacutea

Protocolo

1 Elevar hiacutegado para exponer la

vesiacutecula

2 Cortar triaacutengulo de Calot y exponer

arteria y conducto ciacutesticos

3 Suturar arteria y conducto ciacutesticos

para aislar un punto intermedio

4 Cortar arteria y conducto ciacutesticos

5 Separar vesiacutecula

6 Extraer vesiacutecula del paciente

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA CONCEPTOS PREVIOS

bull Gesto Accioacuten identificable maacutes elemental de las herramientas

laparoscoacutepicas (tirar del hilo de sutura presionar tejidohellip)

bull Maniobra Secuencia de gestos que componen una actuacioacuten

definible sobre el paciente (puncioacuten corte anudadohellip)

bull Procedimiento Maniobra o secuencia de maniobras que completan

una tarea propuesta por un protocolo quiruacutergico

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA MEacuteTODO DE ROSSER (I)

Laparoscopic Suturing httpwwwyoutubecomwatchv=PmdPAVFgNXU

1 Insertar aguja y centrar Agarrar aguja

2 Presionar tejido Posicionar aguja para puncioacuten

3 Agarrar aguja tras puncioacuten Puncioacuten mediante giro de 60deg-90deg

4 Extraer aguja y tirar del hilo Soltar aguja y sostener tejido

5 Colocar aguja a la sutura Desplazar herramienta sobre el hilo

6 Mantener posicioacuten Girar 2x sentido horario

7 Tensar hilo en sentido nordeste Agarrar extremo del hilo y mantener

MANO IZQUIERDA MANO DERECHA

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA MEacuteTODO DE ROSSER (II)

Problemas

Gran cantidad de gestos entre las dos manos

Compleja sincronizacioacuten entre las herramientas laparoscoacutepicas

Solucioacuten

Asistir al cirujano manejando una herramienta con un robot

Ventajas

Menor tiempo de aprendizaje en sincronizar ambas manos

La otra mano queda libre para otras tareas no automatizables

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA DIAGRAMA DE ESTADOS (I)

PUNZADA DE LA AGUJAINSERCIOacuteN DE LA AGUJA

ANUDADOCORTE DEL HILO

S0

S2

S1 S3

S4

S5

S6

S8

S9 S7

S11

S10S12

S13

S14

T1

T2

T3

T4

T5

T6

T7T8

T9T10

i = 3 i lt 3

T11T12T13T14

T0

T15

S0 Inicio y preparacioacuten de sutura

S1 Insertar y centrar aguja en pantalla

S2 Coger aguja y colocar en punto de

sutura

S3 Fijar tejido

S4 Punzar tejido extraer aguja y tirar

del hilo

S5 Separar del tejido y abrir pinza

S6 Colocar aguja en pinza izquierda

S7 Posicionar aguja

S8 Rotar alrededor del hilo

S9 Tirar del hilo y cerrar nudo

S10 Acercar aguja a punto de sutura

S11 Coger ambos extremos del hilo y

tensar

S12 Coger hilo bajo pinza derecha

S13 Cambiar herramienta y cortar hilo

S14 Extraer hilo y aguja

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA DIAGRAMA DE ESTADOS (II)

PUNZADA DE LA AGUJAINSERCIOacuteN DE LA AGUJA

ANUDADOCORTE DEL HILO

S0

S2

S1 S3

S4

S5

S6

S8

S9 S7

S11

S10S12

S13

S14

T1

T2

T3

T4

T5

T6

T7T8

T9T10

i = 3 i lt 3

T11T12T13T14

T0

T15

T0 Comando de voz ldquoSuturardquo

T1 Robot en posicioacuten

T2 Gesto de cirujano reconocido

T3 Fuerza aplicada sobre tejido

T4 Gesto de cirujano reconocido

T5 Robot en posicioacuten

T6 Gesto de cirujano reconocido

T7 Robot en posicioacuten

T8 Gesto de cirujano reconocido

T9 Fuerza aplicada sobre el hilo

T10 Robot en posicioacuten

T11 Gesto de cirujano reconocido

T12 Robot en posicioacuten + fuerza

aplicada sobre el hilo

T13 Gesto de cirujano reconocido

T14 Robot en posicioacuten

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA DIAGRAMA DE ESTADOS (III)

PUNZADA DE LA AGUJAINSERCIOacuteN DE LA AGUJA

ANUDADOCORTE DEL HILO

S0

S2

S1 S3

S4

S5

S6

S8

S9 S7

S11

S10S12

S13

S14

T1

T2

T3

T4

T5

T6

T7T8

T9T10

i = 3 i lt 3

T11T12T13T14

T0

T15

Sk+1

Sk

Tk-1

Tk

Tk+1

1k

kE

1

1

k

kE

k

kE 1

k

kE

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA ASISTENTE DE ESTADOS

ASISTENTE DE ESTADOS

INTERACCIOacuteN

AUTO-GUIADA

Trayectoria

Planificada

Localizacioacuten

Cirujano

Localizacioacuten

del Robot

INTERFAZ DE

VOZ

Fuerzas y

Pares

Posicioacuten

Aguja

Sentildeal de

Audio

Comando

de Voz

RECONOCEDOR

DE GESTOS

ASISTENTE DE SUTURA

Activacioacuten

Tk Estado Sk

Activacioacuten

Tk

Funciones

1) Alcanzar posicioacuten objetivo

2) Aplicar fuerza en tejidohilo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA INTERACCIOacuteN AUTO-GUIADA

INTERACCIOacuteN AUTO-GUIADA

SISTEMA

ROBOT+-

1

AKoF

F

pr

MOVIMIENTO

AUTO-GUIADO

cx

or

cr r

D

DI

CONTROL

PI

++

D

-+ K

er

++

xcF

co FF

coc FFx 1

AKLey de Control

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

DEMO ASISTENCIA A LA SUTURA

Maniobra 1 Insercioacuten Maniobra 2 Puncioacuten

Maniobra 3 AnudadoManiobra 4 Corte del hilo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

IMPLANTACIOacuteN PLATAFORMA CISOBOT

Brazo Instrumental

Quiruacutergico

Brazo Caacutemara

Laparoscoacutepica

Estructura Robot

Asistente

Marca 3D

Sensor de

Fuerzas

Muntildeeca Pasiva

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT ENTORNO QUIRUacuteRGICO

Columna de

Laparoscopia

Tracker 3D

Brazo Caacutemara

Laparoscoacutepica

Brazo Instrumental

Quiruacutergico

Simulador de

Paciente

Herramienta del

Cirujano

Caacutemara

Laparoscoacutepica

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT ARQUITECTURA DE CONTROL

SENSORES ENTORNOASISTENTE DE ESTADOS

CIRUJANO

INTERACCIOacuteN

AUTO-GUIADA

BRAZOS ROBOTS

CONTROL DE

BAJO NIVEL

PACIENTE

Interaccioacute

n

Ciru

jano

Herramientas Robot

Trayectoria Planificada

Localizacioacuten Cirujano

Trayectoria ControladaLo

caliz

acioacute

n R

ob

ot

ROBOT ASISTENTE

SENSOR DE

FUERZAS

INTERFAZ DE

VOZ

Esfuerzos

Imagen Laparoscoacutepica

Contacto Robot

Aguja

Herramienta Cirujano

Activacioacuten

Sentildeal de Audio

TRACKER 3D

Comando de Voz

RECONOCEDOR

DE GESTOS

MOacuteDULO DE

VISIOacuteN

ASISTENTE

DE SUTURA Activacioacuten

Nuevo Estado

Nuevo Estado

ADQUISICIOacuteN

AUDIO

Voz del cirujano

Gesto Quiruacutergico

SIST

EMA

TOLE

RA

NTE

AFA

LLO

S

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT SISTEMA TOLERANTE A FALLOS

Evento Deteccioacuten Actuacioacuten

Fallo Hardware - Sentildeal de Fallo Hardware Parar el sistema

Colisioacuten entre brazos - Anaacutelisis de Colisioacuten cinemaacuteticaParar brazo de la caacutemara

mientras haya riesgo

Colisioacuten con herramienta

del cirujano

- Cambio inusual del Fulcro Estimado

- Herramienta del cirujano cerca del robotParar robot mientras haya riesgo

Colisioacuten con tejidooacuterganos- Cambio inusual del Fulcro Estimado

- Herramienta del cirujano lejos del robotExtraer herramienta del robot

Fallo de sensores- Medicioacuten anoacutemala y constante

independiente de la actuacioacuten

Mensaje de alerta y parar si

persiste

0 2 4 6 8 10 12 14 16 180

20

40

60

80

100

Dis

tan

cia

s (

mm

)

Distancia Robot-Objetivo

Distancia Robot-Cirujano

0 2 4 6 8 10 12 14 16 18-10

-5

0

5

10

15

20

Tiempo (segundos)

Fu

erz

as (

N)

Fx

Fy

Fz

0 2 4 6 8 10 12 14 16 18 200

20

40

60

80

100

Dis

tan

cia

s (

mm

)

Distancia Robot-Objetivo

Distancia Robot-Cirujano

0 2 4 6 8 10 12 14 16 18 20-20

-15

-10

-5

0

5

10

Tiempo (segundos)

Fu

erz

as (

N)

Fx

Fy

Fz

Co

lisioacute

n c

on

herr

am

ien

ta

Colisioacuten con tejido

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT EXPERIMENTOS PROPUESTOS

1 Movimiento esfeacuterico mediante la aplicacioacuten del control EMP

2 Movimiento auto-guiado con la herramienta del cirujano en

movimiento

3 Procedimiento de sutura Insercioacuten Puncioacuten Anudado y Corte

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 1 MOVIMIENTO ESFEacuteRICO

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 2 MOVIMIENTO AUTO-GUIADO

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (I)

Maniobra 1 Insercioacuten

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (II)

Maniobra 2 Puncioacuten

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (III)

Maniobra 3 Anudado

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (IV)

Maniobra 4 Corte del Hilo

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CONCLUSIONES

El gran esfuerzo investigador en torno a la roboacutetica quiruacutergica la destaca

como una herramienta de gran utilidad en cirugiacutea laparoscoacutepica

Tres grupos de robots quiruacutergicos tele-manipuladores camaroacutegrafos y

sistemas autoacutenomos

En un punto intermedio los robots semiautoacutenomos se perfilan como los

candidatos para la cirugiacutea en solitario

Contribuciones de esta tesis para los robots semiautoacutenomos

1 Movimiento esfeacuterico del instrumental mediante muntildeecas activas

2 Sistema auto-guiado para la planificacioacuten de movimientos en el interior

de la cavidad abdominal

3 Asistencia semiautoacutenoma al procedimiento laparoscoacutepico de sutura

Implantacioacuten de las contribuciones en el prototipo CISOBOT

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

LIacuteNEAS DE INVESTIGACIOacuteN FUTURAS

Ampliar la asistencia al cirujano en otros procedimientos ademaacutes de la

sutura corte transporte agarrehellip

Modelar complicaciones producidas con mayor frecuencia durante la

ejecucioacuten de los procedimientos anteriores (error en corte limpieza de

sangradohellip)

Modificar el robot para manejar instrumental a traveacutes de un solo orificio en

teacutecnicas SILS (Single Input Laparoscopic Surgery)

Eliminar la hipoacutetesis de herramientas riacutegidas para mejorar la localizacioacuten del

punto de fulcro e interaccioacuten con el cirujano y el paciente

Cambiar el modo secuencial del diagrama de estados de la sutura para

permitir una interaccioacuten simultaacutenea con el cirujano

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

APORTACIONES CIENTIacuteFICAS

CONGRESOS INTERNACIONALES (6) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoActive Wrists Endoscope Navigation in Robotized Laparoscopic

Surgeryrdquo IEEE International Conference on Mechatronics (ICM) Abril 2009 Maacutelaga (Espantildea) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoThree-Layer Control for Active Wrists in Robotized Laparoscopic

Surgeryrdquo IEEE International Conference on Intelligent Robots and Systems (IROS) Octubre 2009 St Louis (EEUU) B Estebanez G Jimeacutenez VF Muntildeoz I Garciacutea-Morales E Bauzano J Molina ldquoMinimally Invasive Surgery Maneuver

Recognition Based on Surgeon Modelrdquo IEEE International Congerence on Intelligent Robots and Systems (IROS) Octubre 2009 St Louis (EEUU)

E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoA Multi-Behavior Algorithm for Auto-Guided Movements in Surgeon Assistancerdquo IEEE International Workshop on Robotics in Alpe-Adria-Danube Region (RAAD) Junio 2010 Budapest (Hungriacutea)

Premio al mejor artiacuteculo de estudiante (Best Paper Award) E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoAuto-Guided Movements on Minimally Invasive Surgery for Surgeon Assistancerdquo

IEEE International Conference on Intelligent Robots and Systems (IROS) Octubre 2010 Taipei (Taiwaacuten) B Estebanez E Bauzano VF Muntildeoz ldquoSurgical Tools Pose Estimation for a Multimodal HMI of a Surgical Robot Assistantrdquo IEEE

International Conference on Intelligent Robots and Systems (IROS) Septiembre 2011 San Francisco (EEUU)

LIBROS Y REVISTAS (2) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoControl Methodologies for Endoscope Navigation in Robotized

Laparoscopic Surgeryrdquo Research and Education in Robotics Ed Springer-Verlag (Berliacuten Heidelberg) 2010 Vol 82 pp 11-22 ISBN 978-3-642-16369

E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoA Multi-Behavior Algorithm for Auto-Guided Movements in Surgeon Assistancerdquo International Journal of Mechanics and Control (JoMaC) Ed Levrotto amp Bella (Torino Italia) 2011 Vol 12 no 1 ISSN 1590-8844

CONGRESOS NACIONALES (10) ndash POSTERS Y WORKSHOPS

Proyecto de Excelencia P07-TEP-02897

ROBOT ASISTENTE SEMIAUTOacuteNOMO DE

DOS BRAZOS PARA INTERVENCIONES DE

CIRUGIacuteA LAPAROSCOacutePICA

Enrique Bauzano Nuacutentildeez

DEPARTAMENTO DE INGENIERIacuteA DE SISTEMAS Y AUTOMAacuteTICA

UNIVERSIDAD DE MAacuteLAGA

DEFENSA DE TESIS DOCTORAL

Directores Dr Viacutector F Muntildeoz Martiacutenez

Dra Isabel Garciacutea Morales

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

MUNtildeECAS ACTIVAS NAVEGACIOacuteN

1 Rotacioacuten alrededor del fulcro estimado IDesplaza el fulcro real I sobre el abdomen

2 Simulacioacuten de muntildeeca pasivaRotacioacuten de la herramienta alrededor de la muntildeeca hasta

eliminar el desplazamiento del fulcro

3 Correccioacuten del aacutengulo de altitudSeguir recorrido hasta orientar la herramienta con el

aacutengulo deseado inicialmente

I

LL-L

XI

ZI

I0

I

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

1 Equilibrio de fuerzas y pares

2 Equilibrio de pares con F y Fβ

3 Aproximacioacuten geomeacutetrica de separacioacuten eβ

4 Aacutengulo de compensacioacuten φr

MUNtildeECAS ACTIVAS ESTIMACIOacuteN DEL FULCRO

fFIX

IZsFsM

F

B

r

I I

e

0

F

A

0I

M

0

ws

F

s

)d(WrM

WF

f

f

FρFρ

FF

sinF

M

eF

re

cos

sinFr

cos

sinFF

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

MUNtildeECAS ACTIVAS ESQUEMA DE CONTROL

CONTROL EMP

CONTROL ESFEacuteRICO

CAPA-2

CAPA-3

CAPA-1Aacutengulo

deseado

Fuerzas y

Pares

CONTROL

CARTESIANO

BRAZO ROBOT

Referencia esfeacuterica pasiva

Referencia esfeacuterica activa

Referencia

articular

ESTIMADOR

DEL FULCRO

Posicioacuten

articular

Distancia Exterior

estimada

Aacutengulo actual

CONTROLADOR MUNtildeECA ACTIVA

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CAPA 3 CONTROL CARTESIANO

CONTROL CARTESIANO

Planificador

Cartesiano

+

ndash xK)(kTX r

)(kTX r

++

BRAZO

ROBOT)(1 J

)(kTr

)(F

)(kT

)(kTX

Conversioacuten

Cartesiano a Arco

recorrido

T

)(kTLr

)(kTL

Ley de Control rxr XXKJ ~)(1

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CAPA 2 CONTROL EMP

CONTROL EMP

ControlPI

Estimador del Fulcro

ndash+

Sensor de Fuerzas

2T

)( rr

)( 2kT

))(( 2kT

1dF )( 2kTFr )( 2kTr+

ndash

)( 2kTr )( 2kTLr

ndash

+

ndash

+

)( 2kTFc

)( 2kTFs)( 2kTF

)( 2kT

)( 2kTW

)( 2kTL

CAPA-3

1

221

1TI

eK

)1(

)1(

22

2

T

T

Pe

eK

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CAPA 1 CONTROL ESFEacuteRICO

CAPA-2

+ndash

L)( dd

)( rr

)(

Control PI

)( cc

Generador de

trayectorias

)( ff

)1(

11

1

1

1

1

1

1

T

T

P

TI

e

eK

eK

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

ESTABILIDAD DEL CONTROLADOR

15

20

25

15

20

25

0

02

04

06

08

1

Distancia real (cm)Distancia estimada K (cm)

05

1

15

2

05

1

15

2

0

05

1

Rigidez real (Nmm)Rigidez estimada (Nmm)

Criterio Los autovalores son inferiores a 1

2 50

Capa 1 Control Esfeacuterico Capa 2 Control EMP

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

DEMO CONTROL EMP

time (sec)fo

rce

s (N

)30

2

-2

0

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

PROBLEMA 2 PLANIFICACIOacuteN DE CAMINOS

Herramienta del

Robot

Caacutemara Herramienta del

Cirujano

Abdomen

Trayectoria

del Robot

Objetivo

Campo de Visioacuten

C

rp ro

O

GS

GC

GR

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SISTEMA DE MOVIMIENTO AUTO-GUIADO

SELECTOR DE

COMPORTAMIENTOS

PLANIFICADOR

LOCAL

CORRECCIOacuteN DE

VELOCIDAD

SEGUIMIENTO

DEL CIRUJANO

pv

1v1c

2v2c

3v3c

or

1c

2c

3c

Objetivo

Trayectoria Planificada

Herramienta del Cirujano

Herramienta del Robot

sv

rv

s1+

+

+

pr

kT

Tk

kT

Tkdtcccdt

)1(332211r

)1(prp vvvrvrr

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SELECTOR DE COMPORTAMIENTOS

67

3 2

Esfera de direcciones

14

58

rv

C CY

CX

CZ

sv

vr

vs

1 2 3 4 5 6 7 8

1 A L ML L C L ML L

2 L A L ML L C L ML

3 C MC A L C MC C L

4 MC C L A MC C L C

5 C L ML L A L ML L

6 L C L ML L A L ML

7 C MC C L C MC A L

8 MC C L C MC C L A

c1

c2

c3

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

COMPORTAMIENTO 1 PLANIFICADOR LOCAL

atrFrepF

RM SMf

RM

O

RG

SG

L

l

i

repatr UU i

repatr1 FFF

0

02

0

0

2

ˆˆ11

2

F

rF

rep

fatr

f

rep

atr

rK

L

l

K

dt

m1

11

Fv

Proceso Planificador_Local

1) Localizar el punto guiacutea MR2) Calcular el objetivo asociado al punto guiacutea MfR3) Calcular la fuerza F1 =gt Velocidad del punto guiacutea v14) Calcular la velocidad en el efector final del robot

5) Ejecutar movimiento del robot

6) Si no se ha alcanzado el objetivo O con el extremo de la herramienta volver a 1)

Fin de Procedimiento

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

COMPORTAMIENTO 2 CORRECCIOacuteN DE VELOCIDAD

Recta de

Colisioacuten

CP

RG

SG

SP

rv

sv

)( cR tP)( cS tP

RP

r2 vv 2K

dc

tc

Cero Baja Media Lejos Muy Lejos

Cero Maacutex Maacutex Muy Alta Muy Alta Alta

Bajo Maacutex Muy Alta Alta Alta Media

Medio Muy Alta Alta Media Media Poca

Bastante Muy Alta Alta Media Poca Nula

Mucho Alta Media Poca Nula Nula

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

COMPORTAMIENTO 3 SEGUIMIENTO DEL CIRUJANO

GR GS

s3 vF 3B dt

m

Bs3 vv

1

3

3

Proceso Auto_Guiado

1) Calcular los pesos de cada comportamiento c1 c2 c32) Calcular las velocidades de los tres comportamientos v1 v2 v3 3) Ponderar cada velocidad con su peso sumar e integrar =gt siguiente punto del camino rp4) Ejecutar movimiento del robot

5) Si el robot no ha llegado al objetivo ro volver a 1)

Fin de Procedimiento

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

DEMO MOVIMIENTO AUTO-GUIADO

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

PROBLEMA 3 ASISTENCIA A LA SUTURA

EndoscopioHerramienta del

cirujano

Herramienta

auxiliar

Sujecioacuten

del hiacutegado

Escenario de Colecistectomiacutea

Protocolo

1 Elevar hiacutegado para exponer la

vesiacutecula

2 Cortar triaacutengulo de Calot y exponer

arteria y conducto ciacutesticos

3 Suturar arteria y conducto ciacutesticos

para aislar un punto intermedio

4 Cortar arteria y conducto ciacutesticos

5 Separar vesiacutecula

6 Extraer vesiacutecula del paciente

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA CONCEPTOS PREVIOS

bull Gesto Accioacuten identificable maacutes elemental de las herramientas

laparoscoacutepicas (tirar del hilo de sutura presionar tejidohellip)

bull Maniobra Secuencia de gestos que componen una actuacioacuten

definible sobre el paciente (puncioacuten corte anudadohellip)

bull Procedimiento Maniobra o secuencia de maniobras que completan

una tarea propuesta por un protocolo quiruacutergico

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA MEacuteTODO DE ROSSER (I)

Laparoscopic Suturing httpwwwyoutubecomwatchv=PmdPAVFgNXU

1 Insertar aguja y centrar Agarrar aguja

2 Presionar tejido Posicionar aguja para puncioacuten

3 Agarrar aguja tras puncioacuten Puncioacuten mediante giro de 60deg-90deg

4 Extraer aguja y tirar del hilo Soltar aguja y sostener tejido

5 Colocar aguja a la sutura Desplazar herramienta sobre el hilo

6 Mantener posicioacuten Girar 2x sentido horario

7 Tensar hilo en sentido nordeste Agarrar extremo del hilo y mantener

MANO IZQUIERDA MANO DERECHA

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA MEacuteTODO DE ROSSER (II)

Problemas

Gran cantidad de gestos entre las dos manos

Compleja sincronizacioacuten entre las herramientas laparoscoacutepicas

Solucioacuten

Asistir al cirujano manejando una herramienta con un robot

Ventajas

Menor tiempo de aprendizaje en sincronizar ambas manos

La otra mano queda libre para otras tareas no automatizables

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA DIAGRAMA DE ESTADOS (I)

PUNZADA DE LA AGUJAINSERCIOacuteN DE LA AGUJA

ANUDADOCORTE DEL HILO

S0

S2

S1 S3

S4

S5

S6

S8

S9 S7

S11

S10S12

S13

S14

T1

T2

T3

T4

T5

T6

T7T8

T9T10

i = 3 i lt 3

T11T12T13T14

T0

T15

S0 Inicio y preparacioacuten de sutura

S1 Insertar y centrar aguja en pantalla

S2 Coger aguja y colocar en punto de

sutura

S3 Fijar tejido

S4 Punzar tejido extraer aguja y tirar

del hilo

S5 Separar del tejido y abrir pinza

S6 Colocar aguja en pinza izquierda

S7 Posicionar aguja

S8 Rotar alrededor del hilo

S9 Tirar del hilo y cerrar nudo

S10 Acercar aguja a punto de sutura

S11 Coger ambos extremos del hilo y

tensar

S12 Coger hilo bajo pinza derecha

S13 Cambiar herramienta y cortar hilo

S14 Extraer hilo y aguja

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA DIAGRAMA DE ESTADOS (II)

PUNZADA DE LA AGUJAINSERCIOacuteN DE LA AGUJA

ANUDADOCORTE DEL HILO

S0

S2

S1 S3

S4

S5

S6

S8

S9 S7

S11

S10S12

S13

S14

T1

T2

T3

T4

T5

T6

T7T8

T9T10

i = 3 i lt 3

T11T12T13T14

T0

T15

T0 Comando de voz ldquoSuturardquo

T1 Robot en posicioacuten

T2 Gesto de cirujano reconocido

T3 Fuerza aplicada sobre tejido

T4 Gesto de cirujano reconocido

T5 Robot en posicioacuten

T6 Gesto de cirujano reconocido

T7 Robot en posicioacuten

T8 Gesto de cirujano reconocido

T9 Fuerza aplicada sobre el hilo

T10 Robot en posicioacuten

T11 Gesto de cirujano reconocido

T12 Robot en posicioacuten + fuerza

aplicada sobre el hilo

T13 Gesto de cirujano reconocido

T14 Robot en posicioacuten

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA DIAGRAMA DE ESTADOS (III)

PUNZADA DE LA AGUJAINSERCIOacuteN DE LA AGUJA

ANUDADOCORTE DEL HILO

S0

S2

S1 S3

S4

S5

S6

S8

S9 S7

S11

S10S12

S13

S14

T1

T2

T3

T4

T5

T6

T7T8

T9T10

i = 3 i lt 3

T11T12T13T14

T0

T15

Sk+1

Sk

Tk-1

Tk

Tk+1

1k

kE

1

1

k

kE

k

kE 1

k

kE

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA ASISTENTE DE ESTADOS

ASISTENTE DE ESTADOS

INTERACCIOacuteN

AUTO-GUIADA

Trayectoria

Planificada

Localizacioacuten

Cirujano

Localizacioacuten

del Robot

INTERFAZ DE

VOZ

Fuerzas y

Pares

Posicioacuten

Aguja

Sentildeal de

Audio

Comando

de Voz

RECONOCEDOR

DE GESTOS

ASISTENTE DE SUTURA

Activacioacuten

Tk Estado Sk

Activacioacuten

Tk

Funciones

1) Alcanzar posicioacuten objetivo

2) Aplicar fuerza en tejidohilo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA INTERACCIOacuteN AUTO-GUIADA

INTERACCIOacuteN AUTO-GUIADA

SISTEMA

ROBOT+-

1

AKoF

F

pr

MOVIMIENTO

AUTO-GUIADO

cx

or

cr r

D

DI

CONTROL

PI

++

D

-+ K

er

++

xcF

co FF

coc FFx 1

AKLey de Control

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

DEMO ASISTENCIA A LA SUTURA

Maniobra 1 Insercioacuten Maniobra 2 Puncioacuten

Maniobra 3 AnudadoManiobra 4 Corte del hilo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

IMPLANTACIOacuteN PLATAFORMA CISOBOT

Brazo Instrumental

Quiruacutergico

Brazo Caacutemara

Laparoscoacutepica

Estructura Robot

Asistente

Marca 3D

Sensor de

Fuerzas

Muntildeeca Pasiva

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT ENTORNO QUIRUacuteRGICO

Columna de

Laparoscopia

Tracker 3D

Brazo Caacutemara

Laparoscoacutepica

Brazo Instrumental

Quiruacutergico

Simulador de

Paciente

Herramienta del

Cirujano

Caacutemara

Laparoscoacutepica

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT ARQUITECTURA DE CONTROL

SENSORES ENTORNOASISTENTE DE ESTADOS

CIRUJANO

INTERACCIOacuteN

AUTO-GUIADA

BRAZOS ROBOTS

CONTROL DE

BAJO NIVEL

PACIENTE

Interaccioacute

n

Ciru

jano

Herramientas Robot

Trayectoria Planificada

Localizacioacuten Cirujano

Trayectoria ControladaLo

caliz

acioacute

n R

ob

ot

ROBOT ASISTENTE

SENSOR DE

FUERZAS

INTERFAZ DE

VOZ

Esfuerzos

Imagen Laparoscoacutepica

Contacto Robot

Aguja

Herramienta Cirujano

Activacioacuten

Sentildeal de Audio

TRACKER 3D

Comando de Voz

RECONOCEDOR

DE GESTOS

MOacuteDULO DE

VISIOacuteN

ASISTENTE

DE SUTURA Activacioacuten

Nuevo Estado

Nuevo Estado

ADQUISICIOacuteN

AUDIO

Voz del cirujano

Gesto Quiruacutergico

SIST

EMA

TOLE

RA

NTE

AFA

LLO

S

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT SISTEMA TOLERANTE A FALLOS

Evento Deteccioacuten Actuacioacuten

Fallo Hardware - Sentildeal de Fallo Hardware Parar el sistema

Colisioacuten entre brazos - Anaacutelisis de Colisioacuten cinemaacuteticaParar brazo de la caacutemara

mientras haya riesgo

Colisioacuten con herramienta

del cirujano

- Cambio inusual del Fulcro Estimado

- Herramienta del cirujano cerca del robotParar robot mientras haya riesgo

Colisioacuten con tejidooacuterganos- Cambio inusual del Fulcro Estimado

- Herramienta del cirujano lejos del robotExtraer herramienta del robot

Fallo de sensores- Medicioacuten anoacutemala y constante

independiente de la actuacioacuten

Mensaje de alerta y parar si

persiste

0 2 4 6 8 10 12 14 16 180

20

40

60

80

100

Dis

tan

cia

s (

mm

)

Distancia Robot-Objetivo

Distancia Robot-Cirujano

0 2 4 6 8 10 12 14 16 18-10

-5

0

5

10

15

20

Tiempo (segundos)

Fu

erz

as (

N)

Fx

Fy

Fz

0 2 4 6 8 10 12 14 16 18 200

20

40

60

80

100

Dis

tan

cia

s (

mm

)

Distancia Robot-Objetivo

Distancia Robot-Cirujano

0 2 4 6 8 10 12 14 16 18 20-20

-15

-10

-5

0

5

10

Tiempo (segundos)

Fu

erz

as (

N)

Fx

Fy

Fz

Co

lisioacute

n c

on

herr

am

ien

ta

Colisioacuten con tejido

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT EXPERIMENTOS PROPUESTOS

1 Movimiento esfeacuterico mediante la aplicacioacuten del control EMP

2 Movimiento auto-guiado con la herramienta del cirujano en

movimiento

3 Procedimiento de sutura Insercioacuten Puncioacuten Anudado y Corte

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 1 MOVIMIENTO ESFEacuteRICO

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 2 MOVIMIENTO AUTO-GUIADO

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (I)

Maniobra 1 Insercioacuten

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (II)

Maniobra 2 Puncioacuten

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (III)

Maniobra 3 Anudado

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (IV)

Maniobra 4 Corte del Hilo

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CONCLUSIONES

El gran esfuerzo investigador en torno a la roboacutetica quiruacutergica la destaca

como una herramienta de gran utilidad en cirugiacutea laparoscoacutepica

Tres grupos de robots quiruacutergicos tele-manipuladores camaroacutegrafos y

sistemas autoacutenomos

En un punto intermedio los robots semiautoacutenomos se perfilan como los

candidatos para la cirugiacutea en solitario

Contribuciones de esta tesis para los robots semiautoacutenomos

1 Movimiento esfeacuterico del instrumental mediante muntildeecas activas

2 Sistema auto-guiado para la planificacioacuten de movimientos en el interior

de la cavidad abdominal

3 Asistencia semiautoacutenoma al procedimiento laparoscoacutepico de sutura

Implantacioacuten de las contribuciones en el prototipo CISOBOT

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

LIacuteNEAS DE INVESTIGACIOacuteN FUTURAS

Ampliar la asistencia al cirujano en otros procedimientos ademaacutes de la

sutura corte transporte agarrehellip

Modelar complicaciones producidas con mayor frecuencia durante la

ejecucioacuten de los procedimientos anteriores (error en corte limpieza de

sangradohellip)

Modificar el robot para manejar instrumental a traveacutes de un solo orificio en

teacutecnicas SILS (Single Input Laparoscopic Surgery)

Eliminar la hipoacutetesis de herramientas riacutegidas para mejorar la localizacioacuten del

punto de fulcro e interaccioacuten con el cirujano y el paciente

Cambiar el modo secuencial del diagrama de estados de la sutura para

permitir una interaccioacuten simultaacutenea con el cirujano

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

APORTACIONES CIENTIacuteFICAS

CONGRESOS INTERNACIONALES (6) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoActive Wrists Endoscope Navigation in Robotized Laparoscopic

Surgeryrdquo IEEE International Conference on Mechatronics (ICM) Abril 2009 Maacutelaga (Espantildea) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoThree-Layer Control for Active Wrists in Robotized Laparoscopic

Surgeryrdquo IEEE International Conference on Intelligent Robots and Systems (IROS) Octubre 2009 St Louis (EEUU) B Estebanez G Jimeacutenez VF Muntildeoz I Garciacutea-Morales E Bauzano J Molina ldquoMinimally Invasive Surgery Maneuver

Recognition Based on Surgeon Modelrdquo IEEE International Congerence on Intelligent Robots and Systems (IROS) Octubre 2009 St Louis (EEUU)

E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoA Multi-Behavior Algorithm for Auto-Guided Movements in Surgeon Assistancerdquo IEEE International Workshop on Robotics in Alpe-Adria-Danube Region (RAAD) Junio 2010 Budapest (Hungriacutea)

Premio al mejor artiacuteculo de estudiante (Best Paper Award) E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoAuto-Guided Movements on Minimally Invasive Surgery for Surgeon Assistancerdquo

IEEE International Conference on Intelligent Robots and Systems (IROS) Octubre 2010 Taipei (Taiwaacuten) B Estebanez E Bauzano VF Muntildeoz ldquoSurgical Tools Pose Estimation for a Multimodal HMI of a Surgical Robot Assistantrdquo IEEE

International Conference on Intelligent Robots and Systems (IROS) Septiembre 2011 San Francisco (EEUU)

LIBROS Y REVISTAS (2) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoControl Methodologies for Endoscope Navigation in Robotized

Laparoscopic Surgeryrdquo Research and Education in Robotics Ed Springer-Verlag (Berliacuten Heidelberg) 2010 Vol 82 pp 11-22 ISBN 978-3-642-16369

E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoA Multi-Behavior Algorithm for Auto-Guided Movements in Surgeon Assistancerdquo International Journal of Mechanics and Control (JoMaC) Ed Levrotto amp Bella (Torino Italia) 2011 Vol 12 no 1 ISSN 1590-8844

CONGRESOS NACIONALES (10) ndash POSTERS Y WORKSHOPS

Proyecto de Excelencia P07-TEP-02897

ROBOT ASISTENTE SEMIAUTOacuteNOMO DE

DOS BRAZOS PARA INTERVENCIONES DE

CIRUGIacuteA LAPAROSCOacutePICA

Enrique Bauzano Nuacutentildeez

DEPARTAMENTO DE INGENIERIacuteA DE SISTEMAS Y AUTOMAacuteTICA

UNIVERSIDAD DE MAacuteLAGA

DEFENSA DE TESIS DOCTORAL

Directores Dr Viacutector F Muntildeoz Martiacutenez

Dra Isabel Garciacutea Morales

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

1 Equilibrio de fuerzas y pares

2 Equilibrio de pares con F y Fβ

3 Aproximacioacuten geomeacutetrica de separacioacuten eβ

4 Aacutengulo de compensacioacuten φr

MUNtildeECAS ACTIVAS ESTIMACIOacuteN DEL FULCRO

fFIX

IZsFsM

F

B

r

I I

e

0

F

A

0I

M

0

ws

F

s

)d(WrM

WF

f

f

FρFρ

FF

sinF

M

eF

re

cos

sinFr

cos

sinFF

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

MUNtildeECAS ACTIVAS ESQUEMA DE CONTROL

CONTROL EMP

CONTROL ESFEacuteRICO

CAPA-2

CAPA-3

CAPA-1Aacutengulo

deseado

Fuerzas y

Pares

CONTROL

CARTESIANO

BRAZO ROBOT

Referencia esfeacuterica pasiva

Referencia esfeacuterica activa

Referencia

articular

ESTIMADOR

DEL FULCRO

Posicioacuten

articular

Distancia Exterior

estimada

Aacutengulo actual

CONTROLADOR MUNtildeECA ACTIVA

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CAPA 3 CONTROL CARTESIANO

CONTROL CARTESIANO

Planificador

Cartesiano

+

ndash xK)(kTX r

)(kTX r

++

BRAZO

ROBOT)(1 J

)(kTr

)(F

)(kT

)(kTX

Conversioacuten

Cartesiano a Arco

recorrido

T

)(kTLr

)(kTL

Ley de Control rxr XXKJ ~)(1

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CAPA 2 CONTROL EMP

CONTROL EMP

ControlPI

Estimador del Fulcro

ndash+

Sensor de Fuerzas

2T

)( rr

)( 2kT

))(( 2kT

1dF )( 2kTFr )( 2kTr+

ndash

)( 2kTr )( 2kTLr

ndash

+

ndash

+

)( 2kTFc

)( 2kTFs)( 2kTF

)( 2kT

)( 2kTW

)( 2kTL

CAPA-3

1

221

1TI

eK

)1(

)1(

22

2

T

T

Pe

eK

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CAPA 1 CONTROL ESFEacuteRICO

CAPA-2

+ndash

L)( dd

)( rr

)(

Control PI

)( cc

Generador de

trayectorias

)( ff

)1(

11

1

1

1

1

1

1

T

T

P

TI

e

eK

eK

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

ESTABILIDAD DEL CONTROLADOR

15

20

25

15

20

25

0

02

04

06

08

1

Distancia real (cm)Distancia estimada K (cm)

05

1

15

2

05

1

15

2

0

05

1

Rigidez real (Nmm)Rigidez estimada (Nmm)

Criterio Los autovalores son inferiores a 1

2 50

Capa 1 Control Esfeacuterico Capa 2 Control EMP

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

DEMO CONTROL EMP

time (sec)fo

rce

s (N

)30

2

-2

0

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

PROBLEMA 2 PLANIFICACIOacuteN DE CAMINOS

Herramienta del

Robot

Caacutemara Herramienta del

Cirujano

Abdomen

Trayectoria

del Robot

Objetivo

Campo de Visioacuten

C

rp ro

O

GS

GC

GR

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SISTEMA DE MOVIMIENTO AUTO-GUIADO

SELECTOR DE

COMPORTAMIENTOS

PLANIFICADOR

LOCAL

CORRECCIOacuteN DE

VELOCIDAD

SEGUIMIENTO

DEL CIRUJANO

pv

1v1c

2v2c

3v3c

or

1c

2c

3c

Objetivo

Trayectoria Planificada

Herramienta del Cirujano

Herramienta del Robot

sv

rv

s1+

+

+

pr

kT

Tk

kT

Tkdtcccdt

)1(332211r

)1(prp vvvrvrr

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SELECTOR DE COMPORTAMIENTOS

67

3 2

Esfera de direcciones

14

58

rv

C CY

CX

CZ

sv

vr

vs

1 2 3 4 5 6 7 8

1 A L ML L C L ML L

2 L A L ML L C L ML

3 C MC A L C MC C L

4 MC C L A MC C L C

5 C L ML L A L ML L

6 L C L ML L A L ML

7 C MC C L C MC A L

8 MC C L C MC C L A

c1

c2

c3

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

COMPORTAMIENTO 1 PLANIFICADOR LOCAL

atrFrepF

RM SMf

RM

O

RG

SG

L

l

i

repatr UU i

repatr1 FFF

0

02

0

0

2

ˆˆ11

2

F

rF

rep

fatr

f

rep

atr

rK

L

l

K

dt

m1

11

Fv

Proceso Planificador_Local

1) Localizar el punto guiacutea MR2) Calcular el objetivo asociado al punto guiacutea MfR3) Calcular la fuerza F1 =gt Velocidad del punto guiacutea v14) Calcular la velocidad en el efector final del robot

5) Ejecutar movimiento del robot

6) Si no se ha alcanzado el objetivo O con el extremo de la herramienta volver a 1)

Fin de Procedimiento

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

COMPORTAMIENTO 2 CORRECCIOacuteN DE VELOCIDAD

Recta de

Colisioacuten

CP

RG

SG

SP

rv

sv

)( cR tP)( cS tP

RP

r2 vv 2K

dc

tc

Cero Baja Media Lejos Muy Lejos

Cero Maacutex Maacutex Muy Alta Muy Alta Alta

Bajo Maacutex Muy Alta Alta Alta Media

Medio Muy Alta Alta Media Media Poca

Bastante Muy Alta Alta Media Poca Nula

Mucho Alta Media Poca Nula Nula

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

COMPORTAMIENTO 3 SEGUIMIENTO DEL CIRUJANO

GR GS

s3 vF 3B dt

m

Bs3 vv

1

3

3

Proceso Auto_Guiado

1) Calcular los pesos de cada comportamiento c1 c2 c32) Calcular las velocidades de los tres comportamientos v1 v2 v3 3) Ponderar cada velocidad con su peso sumar e integrar =gt siguiente punto del camino rp4) Ejecutar movimiento del robot

5) Si el robot no ha llegado al objetivo ro volver a 1)

Fin de Procedimiento

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

DEMO MOVIMIENTO AUTO-GUIADO

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

PROBLEMA 3 ASISTENCIA A LA SUTURA

EndoscopioHerramienta del

cirujano

Herramienta

auxiliar

Sujecioacuten

del hiacutegado

Escenario de Colecistectomiacutea

Protocolo

1 Elevar hiacutegado para exponer la

vesiacutecula

2 Cortar triaacutengulo de Calot y exponer

arteria y conducto ciacutesticos

3 Suturar arteria y conducto ciacutesticos

para aislar un punto intermedio

4 Cortar arteria y conducto ciacutesticos

5 Separar vesiacutecula

6 Extraer vesiacutecula del paciente

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA CONCEPTOS PREVIOS

bull Gesto Accioacuten identificable maacutes elemental de las herramientas

laparoscoacutepicas (tirar del hilo de sutura presionar tejidohellip)

bull Maniobra Secuencia de gestos que componen una actuacioacuten

definible sobre el paciente (puncioacuten corte anudadohellip)

bull Procedimiento Maniobra o secuencia de maniobras que completan

una tarea propuesta por un protocolo quiruacutergico

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA MEacuteTODO DE ROSSER (I)

Laparoscopic Suturing httpwwwyoutubecomwatchv=PmdPAVFgNXU

1 Insertar aguja y centrar Agarrar aguja

2 Presionar tejido Posicionar aguja para puncioacuten

3 Agarrar aguja tras puncioacuten Puncioacuten mediante giro de 60deg-90deg

4 Extraer aguja y tirar del hilo Soltar aguja y sostener tejido

5 Colocar aguja a la sutura Desplazar herramienta sobre el hilo

6 Mantener posicioacuten Girar 2x sentido horario

7 Tensar hilo en sentido nordeste Agarrar extremo del hilo y mantener

MANO IZQUIERDA MANO DERECHA

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA MEacuteTODO DE ROSSER (II)

Problemas

Gran cantidad de gestos entre las dos manos

Compleja sincronizacioacuten entre las herramientas laparoscoacutepicas

Solucioacuten

Asistir al cirujano manejando una herramienta con un robot

Ventajas

Menor tiempo de aprendizaje en sincronizar ambas manos

La otra mano queda libre para otras tareas no automatizables

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA DIAGRAMA DE ESTADOS (I)

PUNZADA DE LA AGUJAINSERCIOacuteN DE LA AGUJA

ANUDADOCORTE DEL HILO

S0

S2

S1 S3

S4

S5

S6

S8

S9 S7

S11

S10S12

S13

S14

T1

T2

T3

T4

T5

T6

T7T8

T9T10

i = 3 i lt 3

T11T12T13T14

T0

T15

S0 Inicio y preparacioacuten de sutura

S1 Insertar y centrar aguja en pantalla

S2 Coger aguja y colocar en punto de

sutura

S3 Fijar tejido

S4 Punzar tejido extraer aguja y tirar

del hilo

S5 Separar del tejido y abrir pinza

S6 Colocar aguja en pinza izquierda

S7 Posicionar aguja

S8 Rotar alrededor del hilo

S9 Tirar del hilo y cerrar nudo

S10 Acercar aguja a punto de sutura

S11 Coger ambos extremos del hilo y

tensar

S12 Coger hilo bajo pinza derecha

S13 Cambiar herramienta y cortar hilo

S14 Extraer hilo y aguja

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA DIAGRAMA DE ESTADOS (II)

PUNZADA DE LA AGUJAINSERCIOacuteN DE LA AGUJA

ANUDADOCORTE DEL HILO

S0

S2

S1 S3

S4

S5

S6

S8

S9 S7

S11

S10S12

S13

S14

T1

T2

T3

T4

T5

T6

T7T8

T9T10

i = 3 i lt 3

T11T12T13T14

T0

T15

T0 Comando de voz ldquoSuturardquo

T1 Robot en posicioacuten

T2 Gesto de cirujano reconocido

T3 Fuerza aplicada sobre tejido

T4 Gesto de cirujano reconocido

T5 Robot en posicioacuten

T6 Gesto de cirujano reconocido

T7 Robot en posicioacuten

T8 Gesto de cirujano reconocido

T9 Fuerza aplicada sobre el hilo

T10 Robot en posicioacuten

T11 Gesto de cirujano reconocido

T12 Robot en posicioacuten + fuerza

aplicada sobre el hilo

T13 Gesto de cirujano reconocido

T14 Robot en posicioacuten

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA DIAGRAMA DE ESTADOS (III)

PUNZADA DE LA AGUJAINSERCIOacuteN DE LA AGUJA

ANUDADOCORTE DEL HILO

S0

S2

S1 S3

S4

S5

S6

S8

S9 S7

S11

S10S12

S13

S14

T1

T2

T3

T4

T5

T6

T7T8

T9T10

i = 3 i lt 3

T11T12T13T14

T0

T15

Sk+1

Sk

Tk-1

Tk

Tk+1

1k

kE

1

1

k

kE

k

kE 1

k

kE

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA ASISTENTE DE ESTADOS

ASISTENTE DE ESTADOS

INTERACCIOacuteN

AUTO-GUIADA

Trayectoria

Planificada

Localizacioacuten

Cirujano

Localizacioacuten

del Robot

INTERFAZ DE

VOZ

Fuerzas y

Pares

Posicioacuten

Aguja

Sentildeal de

Audio

Comando

de Voz

RECONOCEDOR

DE GESTOS

ASISTENTE DE SUTURA

Activacioacuten

Tk Estado Sk

Activacioacuten

Tk

Funciones

1) Alcanzar posicioacuten objetivo

2) Aplicar fuerza en tejidohilo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA INTERACCIOacuteN AUTO-GUIADA

INTERACCIOacuteN AUTO-GUIADA

SISTEMA

ROBOT+-

1

AKoF

F

pr

MOVIMIENTO

AUTO-GUIADO

cx

or

cr r

D

DI

CONTROL

PI

++

D

-+ K

er

++

xcF

co FF

coc FFx 1

AKLey de Control

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

DEMO ASISTENCIA A LA SUTURA

Maniobra 1 Insercioacuten Maniobra 2 Puncioacuten

Maniobra 3 AnudadoManiobra 4 Corte del hilo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

IMPLANTACIOacuteN PLATAFORMA CISOBOT

Brazo Instrumental

Quiruacutergico

Brazo Caacutemara

Laparoscoacutepica

Estructura Robot

Asistente

Marca 3D

Sensor de

Fuerzas

Muntildeeca Pasiva

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT ENTORNO QUIRUacuteRGICO

Columna de

Laparoscopia

Tracker 3D

Brazo Caacutemara

Laparoscoacutepica

Brazo Instrumental

Quiruacutergico

Simulador de

Paciente

Herramienta del

Cirujano

Caacutemara

Laparoscoacutepica

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT ARQUITECTURA DE CONTROL

SENSORES ENTORNOASISTENTE DE ESTADOS

CIRUJANO

INTERACCIOacuteN

AUTO-GUIADA

BRAZOS ROBOTS

CONTROL DE

BAJO NIVEL

PACIENTE

Interaccioacute

n

Ciru

jano

Herramientas Robot

Trayectoria Planificada

Localizacioacuten Cirujano

Trayectoria ControladaLo

caliz

acioacute

n R

ob

ot

ROBOT ASISTENTE

SENSOR DE

FUERZAS

INTERFAZ DE

VOZ

Esfuerzos

Imagen Laparoscoacutepica

Contacto Robot

Aguja

Herramienta Cirujano

Activacioacuten

Sentildeal de Audio

TRACKER 3D

Comando de Voz

RECONOCEDOR

DE GESTOS

MOacuteDULO DE

VISIOacuteN

ASISTENTE

DE SUTURA Activacioacuten

Nuevo Estado

Nuevo Estado

ADQUISICIOacuteN

AUDIO

Voz del cirujano

Gesto Quiruacutergico

SIST

EMA

TOLE

RA

NTE

AFA

LLO

S

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT SISTEMA TOLERANTE A FALLOS

Evento Deteccioacuten Actuacioacuten

Fallo Hardware - Sentildeal de Fallo Hardware Parar el sistema

Colisioacuten entre brazos - Anaacutelisis de Colisioacuten cinemaacuteticaParar brazo de la caacutemara

mientras haya riesgo

Colisioacuten con herramienta

del cirujano

- Cambio inusual del Fulcro Estimado

- Herramienta del cirujano cerca del robotParar robot mientras haya riesgo

Colisioacuten con tejidooacuterganos- Cambio inusual del Fulcro Estimado

- Herramienta del cirujano lejos del robotExtraer herramienta del robot

Fallo de sensores- Medicioacuten anoacutemala y constante

independiente de la actuacioacuten

Mensaje de alerta y parar si

persiste

0 2 4 6 8 10 12 14 16 180

20

40

60

80

100

Dis

tan

cia

s (

mm

)

Distancia Robot-Objetivo

Distancia Robot-Cirujano

0 2 4 6 8 10 12 14 16 18-10

-5

0

5

10

15

20

Tiempo (segundos)

Fu

erz

as (

N)

Fx

Fy

Fz

0 2 4 6 8 10 12 14 16 18 200

20

40

60

80

100

Dis

tan

cia

s (

mm

)

Distancia Robot-Objetivo

Distancia Robot-Cirujano

0 2 4 6 8 10 12 14 16 18 20-20

-15

-10

-5

0

5

10

Tiempo (segundos)

Fu

erz

as (

N)

Fx

Fy

Fz

Co

lisioacute

n c

on

herr

am

ien

ta

Colisioacuten con tejido

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT EXPERIMENTOS PROPUESTOS

1 Movimiento esfeacuterico mediante la aplicacioacuten del control EMP

2 Movimiento auto-guiado con la herramienta del cirujano en

movimiento

3 Procedimiento de sutura Insercioacuten Puncioacuten Anudado y Corte

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 1 MOVIMIENTO ESFEacuteRICO

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 2 MOVIMIENTO AUTO-GUIADO

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (I)

Maniobra 1 Insercioacuten

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (II)

Maniobra 2 Puncioacuten

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (III)

Maniobra 3 Anudado

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (IV)

Maniobra 4 Corte del Hilo

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CONCLUSIONES

El gran esfuerzo investigador en torno a la roboacutetica quiruacutergica la destaca

como una herramienta de gran utilidad en cirugiacutea laparoscoacutepica

Tres grupos de robots quiruacutergicos tele-manipuladores camaroacutegrafos y

sistemas autoacutenomos

En un punto intermedio los robots semiautoacutenomos se perfilan como los

candidatos para la cirugiacutea en solitario

Contribuciones de esta tesis para los robots semiautoacutenomos

1 Movimiento esfeacuterico del instrumental mediante muntildeecas activas

2 Sistema auto-guiado para la planificacioacuten de movimientos en el interior

de la cavidad abdominal

3 Asistencia semiautoacutenoma al procedimiento laparoscoacutepico de sutura

Implantacioacuten de las contribuciones en el prototipo CISOBOT

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

LIacuteNEAS DE INVESTIGACIOacuteN FUTURAS

Ampliar la asistencia al cirujano en otros procedimientos ademaacutes de la

sutura corte transporte agarrehellip

Modelar complicaciones producidas con mayor frecuencia durante la

ejecucioacuten de los procedimientos anteriores (error en corte limpieza de

sangradohellip)

Modificar el robot para manejar instrumental a traveacutes de un solo orificio en

teacutecnicas SILS (Single Input Laparoscopic Surgery)

Eliminar la hipoacutetesis de herramientas riacutegidas para mejorar la localizacioacuten del

punto de fulcro e interaccioacuten con el cirujano y el paciente

Cambiar el modo secuencial del diagrama de estados de la sutura para

permitir una interaccioacuten simultaacutenea con el cirujano

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

APORTACIONES CIENTIacuteFICAS

CONGRESOS INTERNACIONALES (6) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoActive Wrists Endoscope Navigation in Robotized Laparoscopic

Surgeryrdquo IEEE International Conference on Mechatronics (ICM) Abril 2009 Maacutelaga (Espantildea) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoThree-Layer Control for Active Wrists in Robotized Laparoscopic

Surgeryrdquo IEEE International Conference on Intelligent Robots and Systems (IROS) Octubre 2009 St Louis (EEUU) B Estebanez G Jimeacutenez VF Muntildeoz I Garciacutea-Morales E Bauzano J Molina ldquoMinimally Invasive Surgery Maneuver

Recognition Based on Surgeon Modelrdquo IEEE International Congerence on Intelligent Robots and Systems (IROS) Octubre 2009 St Louis (EEUU)

E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoA Multi-Behavior Algorithm for Auto-Guided Movements in Surgeon Assistancerdquo IEEE International Workshop on Robotics in Alpe-Adria-Danube Region (RAAD) Junio 2010 Budapest (Hungriacutea)

Premio al mejor artiacuteculo de estudiante (Best Paper Award) E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoAuto-Guided Movements on Minimally Invasive Surgery for Surgeon Assistancerdquo

IEEE International Conference on Intelligent Robots and Systems (IROS) Octubre 2010 Taipei (Taiwaacuten) B Estebanez E Bauzano VF Muntildeoz ldquoSurgical Tools Pose Estimation for a Multimodal HMI of a Surgical Robot Assistantrdquo IEEE

International Conference on Intelligent Robots and Systems (IROS) Septiembre 2011 San Francisco (EEUU)

LIBROS Y REVISTAS (2) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoControl Methodologies for Endoscope Navigation in Robotized

Laparoscopic Surgeryrdquo Research and Education in Robotics Ed Springer-Verlag (Berliacuten Heidelberg) 2010 Vol 82 pp 11-22 ISBN 978-3-642-16369

E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoA Multi-Behavior Algorithm for Auto-Guided Movements in Surgeon Assistancerdquo International Journal of Mechanics and Control (JoMaC) Ed Levrotto amp Bella (Torino Italia) 2011 Vol 12 no 1 ISSN 1590-8844

CONGRESOS NACIONALES (10) ndash POSTERS Y WORKSHOPS

Proyecto de Excelencia P07-TEP-02897

ROBOT ASISTENTE SEMIAUTOacuteNOMO DE

DOS BRAZOS PARA INTERVENCIONES DE

CIRUGIacuteA LAPAROSCOacutePICA

Enrique Bauzano Nuacutentildeez

DEPARTAMENTO DE INGENIERIacuteA DE SISTEMAS Y AUTOMAacuteTICA

UNIVERSIDAD DE MAacuteLAGA

DEFENSA DE TESIS DOCTORAL

Directores Dr Viacutector F Muntildeoz Martiacutenez

Dra Isabel Garciacutea Morales

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

MUNtildeECAS ACTIVAS ESQUEMA DE CONTROL

CONTROL EMP

CONTROL ESFEacuteRICO

CAPA-2

CAPA-3

CAPA-1Aacutengulo

deseado

Fuerzas y

Pares

CONTROL

CARTESIANO

BRAZO ROBOT

Referencia esfeacuterica pasiva

Referencia esfeacuterica activa

Referencia

articular

ESTIMADOR

DEL FULCRO

Posicioacuten

articular

Distancia Exterior

estimada

Aacutengulo actual

CONTROLADOR MUNtildeECA ACTIVA

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CAPA 3 CONTROL CARTESIANO

CONTROL CARTESIANO

Planificador

Cartesiano

+

ndash xK)(kTX r

)(kTX r

++

BRAZO

ROBOT)(1 J

)(kTr

)(F

)(kT

)(kTX

Conversioacuten

Cartesiano a Arco

recorrido

T

)(kTLr

)(kTL

Ley de Control rxr XXKJ ~)(1

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CAPA 2 CONTROL EMP

CONTROL EMP

ControlPI

Estimador del Fulcro

ndash+

Sensor de Fuerzas

2T

)( rr

)( 2kT

))(( 2kT

1dF )( 2kTFr )( 2kTr+

ndash

)( 2kTr )( 2kTLr

ndash

+

ndash

+

)( 2kTFc

)( 2kTFs)( 2kTF

)( 2kT

)( 2kTW

)( 2kTL

CAPA-3

1

221

1TI

eK

)1(

)1(

22

2

T

T

Pe

eK

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CAPA 1 CONTROL ESFEacuteRICO

CAPA-2

+ndash

L)( dd

)( rr

)(

Control PI

)( cc

Generador de

trayectorias

)( ff

)1(

11

1

1

1

1

1

1

T

T

P

TI

e

eK

eK

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

ESTABILIDAD DEL CONTROLADOR

15

20

25

15

20

25

0

02

04

06

08

1

Distancia real (cm)Distancia estimada K (cm)

05

1

15

2

05

1

15

2

0

05

1

Rigidez real (Nmm)Rigidez estimada (Nmm)

Criterio Los autovalores son inferiores a 1

2 50

Capa 1 Control Esfeacuterico Capa 2 Control EMP

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

DEMO CONTROL EMP

time (sec)fo

rce

s (N

)30

2

-2

0

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

PROBLEMA 2 PLANIFICACIOacuteN DE CAMINOS

Herramienta del

Robot

Caacutemara Herramienta del

Cirujano

Abdomen

Trayectoria

del Robot

Objetivo

Campo de Visioacuten

C

rp ro

O

GS

GC

GR

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SISTEMA DE MOVIMIENTO AUTO-GUIADO

SELECTOR DE

COMPORTAMIENTOS

PLANIFICADOR

LOCAL

CORRECCIOacuteN DE

VELOCIDAD

SEGUIMIENTO

DEL CIRUJANO

pv

1v1c

2v2c

3v3c

or

1c

2c

3c

Objetivo

Trayectoria Planificada

Herramienta del Cirujano

Herramienta del Robot

sv

rv

s1+

+

+

pr

kT

Tk

kT

Tkdtcccdt

)1(332211r

)1(prp vvvrvrr

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SELECTOR DE COMPORTAMIENTOS

67

3 2

Esfera de direcciones

14

58

rv

C CY

CX

CZ

sv

vr

vs

1 2 3 4 5 6 7 8

1 A L ML L C L ML L

2 L A L ML L C L ML

3 C MC A L C MC C L

4 MC C L A MC C L C

5 C L ML L A L ML L

6 L C L ML L A L ML

7 C MC C L C MC A L

8 MC C L C MC C L A

c1

c2

c3

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

COMPORTAMIENTO 1 PLANIFICADOR LOCAL

atrFrepF

RM SMf

RM

O

RG

SG

L

l

i

repatr UU i

repatr1 FFF

0

02

0

0

2

ˆˆ11

2

F

rF

rep

fatr

f

rep

atr

rK

L

l

K

dt

m1

11

Fv

Proceso Planificador_Local

1) Localizar el punto guiacutea MR2) Calcular el objetivo asociado al punto guiacutea MfR3) Calcular la fuerza F1 =gt Velocidad del punto guiacutea v14) Calcular la velocidad en el efector final del robot

5) Ejecutar movimiento del robot

6) Si no se ha alcanzado el objetivo O con el extremo de la herramienta volver a 1)

Fin de Procedimiento

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

COMPORTAMIENTO 2 CORRECCIOacuteN DE VELOCIDAD

Recta de

Colisioacuten

CP

RG

SG

SP

rv

sv

)( cR tP)( cS tP

RP

r2 vv 2K

dc

tc

Cero Baja Media Lejos Muy Lejos

Cero Maacutex Maacutex Muy Alta Muy Alta Alta

Bajo Maacutex Muy Alta Alta Alta Media

Medio Muy Alta Alta Media Media Poca

Bastante Muy Alta Alta Media Poca Nula

Mucho Alta Media Poca Nula Nula

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

COMPORTAMIENTO 3 SEGUIMIENTO DEL CIRUJANO

GR GS

s3 vF 3B dt

m

Bs3 vv

1

3

3

Proceso Auto_Guiado

1) Calcular los pesos de cada comportamiento c1 c2 c32) Calcular las velocidades de los tres comportamientos v1 v2 v3 3) Ponderar cada velocidad con su peso sumar e integrar =gt siguiente punto del camino rp4) Ejecutar movimiento del robot

5) Si el robot no ha llegado al objetivo ro volver a 1)

Fin de Procedimiento

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

DEMO MOVIMIENTO AUTO-GUIADO

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

PROBLEMA 3 ASISTENCIA A LA SUTURA

EndoscopioHerramienta del

cirujano

Herramienta

auxiliar

Sujecioacuten

del hiacutegado

Escenario de Colecistectomiacutea

Protocolo

1 Elevar hiacutegado para exponer la

vesiacutecula

2 Cortar triaacutengulo de Calot y exponer

arteria y conducto ciacutesticos

3 Suturar arteria y conducto ciacutesticos

para aislar un punto intermedio

4 Cortar arteria y conducto ciacutesticos

5 Separar vesiacutecula

6 Extraer vesiacutecula del paciente

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA CONCEPTOS PREVIOS

bull Gesto Accioacuten identificable maacutes elemental de las herramientas

laparoscoacutepicas (tirar del hilo de sutura presionar tejidohellip)

bull Maniobra Secuencia de gestos que componen una actuacioacuten

definible sobre el paciente (puncioacuten corte anudadohellip)

bull Procedimiento Maniobra o secuencia de maniobras que completan

una tarea propuesta por un protocolo quiruacutergico

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA MEacuteTODO DE ROSSER (I)

Laparoscopic Suturing httpwwwyoutubecomwatchv=PmdPAVFgNXU

1 Insertar aguja y centrar Agarrar aguja

2 Presionar tejido Posicionar aguja para puncioacuten

3 Agarrar aguja tras puncioacuten Puncioacuten mediante giro de 60deg-90deg

4 Extraer aguja y tirar del hilo Soltar aguja y sostener tejido

5 Colocar aguja a la sutura Desplazar herramienta sobre el hilo

6 Mantener posicioacuten Girar 2x sentido horario

7 Tensar hilo en sentido nordeste Agarrar extremo del hilo y mantener

MANO IZQUIERDA MANO DERECHA

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA MEacuteTODO DE ROSSER (II)

Problemas

Gran cantidad de gestos entre las dos manos

Compleja sincronizacioacuten entre las herramientas laparoscoacutepicas

Solucioacuten

Asistir al cirujano manejando una herramienta con un robot

Ventajas

Menor tiempo de aprendizaje en sincronizar ambas manos

La otra mano queda libre para otras tareas no automatizables

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA DIAGRAMA DE ESTADOS (I)

PUNZADA DE LA AGUJAINSERCIOacuteN DE LA AGUJA

ANUDADOCORTE DEL HILO

S0

S2

S1 S3

S4

S5

S6

S8

S9 S7

S11

S10S12

S13

S14

T1

T2

T3

T4

T5

T6

T7T8

T9T10

i = 3 i lt 3

T11T12T13T14

T0

T15

S0 Inicio y preparacioacuten de sutura

S1 Insertar y centrar aguja en pantalla

S2 Coger aguja y colocar en punto de

sutura

S3 Fijar tejido

S4 Punzar tejido extraer aguja y tirar

del hilo

S5 Separar del tejido y abrir pinza

S6 Colocar aguja en pinza izquierda

S7 Posicionar aguja

S8 Rotar alrededor del hilo

S9 Tirar del hilo y cerrar nudo

S10 Acercar aguja a punto de sutura

S11 Coger ambos extremos del hilo y

tensar

S12 Coger hilo bajo pinza derecha

S13 Cambiar herramienta y cortar hilo

S14 Extraer hilo y aguja

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA DIAGRAMA DE ESTADOS (II)

PUNZADA DE LA AGUJAINSERCIOacuteN DE LA AGUJA

ANUDADOCORTE DEL HILO

S0

S2

S1 S3

S4

S5

S6

S8

S9 S7

S11

S10S12

S13

S14

T1

T2

T3

T4

T5

T6

T7T8

T9T10

i = 3 i lt 3

T11T12T13T14

T0

T15

T0 Comando de voz ldquoSuturardquo

T1 Robot en posicioacuten

T2 Gesto de cirujano reconocido

T3 Fuerza aplicada sobre tejido

T4 Gesto de cirujano reconocido

T5 Robot en posicioacuten

T6 Gesto de cirujano reconocido

T7 Robot en posicioacuten

T8 Gesto de cirujano reconocido

T9 Fuerza aplicada sobre el hilo

T10 Robot en posicioacuten

T11 Gesto de cirujano reconocido

T12 Robot en posicioacuten + fuerza

aplicada sobre el hilo

T13 Gesto de cirujano reconocido

T14 Robot en posicioacuten

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA DIAGRAMA DE ESTADOS (III)

PUNZADA DE LA AGUJAINSERCIOacuteN DE LA AGUJA

ANUDADOCORTE DEL HILO

S0

S2

S1 S3

S4

S5

S6

S8

S9 S7

S11

S10S12

S13

S14

T1

T2

T3

T4

T5

T6

T7T8

T9T10

i = 3 i lt 3

T11T12T13T14

T0

T15

Sk+1

Sk

Tk-1

Tk

Tk+1

1k

kE

1

1

k

kE

k

kE 1

k

kE

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA ASISTENTE DE ESTADOS

ASISTENTE DE ESTADOS

INTERACCIOacuteN

AUTO-GUIADA

Trayectoria

Planificada

Localizacioacuten

Cirujano

Localizacioacuten

del Robot

INTERFAZ DE

VOZ

Fuerzas y

Pares

Posicioacuten

Aguja

Sentildeal de

Audio

Comando

de Voz

RECONOCEDOR

DE GESTOS

ASISTENTE DE SUTURA

Activacioacuten

Tk Estado Sk

Activacioacuten

Tk

Funciones

1) Alcanzar posicioacuten objetivo

2) Aplicar fuerza en tejidohilo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA INTERACCIOacuteN AUTO-GUIADA

INTERACCIOacuteN AUTO-GUIADA

SISTEMA

ROBOT+-

1

AKoF

F

pr

MOVIMIENTO

AUTO-GUIADO

cx

or

cr r

D

DI

CONTROL

PI

++

D

-+ K

er

++

xcF

co FF

coc FFx 1

AKLey de Control

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

DEMO ASISTENCIA A LA SUTURA

Maniobra 1 Insercioacuten Maniobra 2 Puncioacuten

Maniobra 3 AnudadoManiobra 4 Corte del hilo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

IMPLANTACIOacuteN PLATAFORMA CISOBOT

Brazo Instrumental

Quiruacutergico

Brazo Caacutemara

Laparoscoacutepica

Estructura Robot

Asistente

Marca 3D

Sensor de

Fuerzas

Muntildeeca Pasiva

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT ENTORNO QUIRUacuteRGICO

Columna de

Laparoscopia

Tracker 3D

Brazo Caacutemara

Laparoscoacutepica

Brazo Instrumental

Quiruacutergico

Simulador de

Paciente

Herramienta del

Cirujano

Caacutemara

Laparoscoacutepica

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT ARQUITECTURA DE CONTROL

SENSORES ENTORNOASISTENTE DE ESTADOS

CIRUJANO

INTERACCIOacuteN

AUTO-GUIADA

BRAZOS ROBOTS

CONTROL DE

BAJO NIVEL

PACIENTE

Interaccioacute

n

Ciru

jano

Herramientas Robot

Trayectoria Planificada

Localizacioacuten Cirujano

Trayectoria ControladaLo

caliz

acioacute

n R

ob

ot

ROBOT ASISTENTE

SENSOR DE

FUERZAS

INTERFAZ DE

VOZ

Esfuerzos

Imagen Laparoscoacutepica

Contacto Robot

Aguja

Herramienta Cirujano

Activacioacuten

Sentildeal de Audio

TRACKER 3D

Comando de Voz

RECONOCEDOR

DE GESTOS

MOacuteDULO DE

VISIOacuteN

ASISTENTE

DE SUTURA Activacioacuten

Nuevo Estado

Nuevo Estado

ADQUISICIOacuteN

AUDIO

Voz del cirujano

Gesto Quiruacutergico

SIST

EMA

TOLE

RA

NTE

AFA

LLO

S

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT SISTEMA TOLERANTE A FALLOS

Evento Deteccioacuten Actuacioacuten

Fallo Hardware - Sentildeal de Fallo Hardware Parar el sistema

Colisioacuten entre brazos - Anaacutelisis de Colisioacuten cinemaacuteticaParar brazo de la caacutemara

mientras haya riesgo

Colisioacuten con herramienta

del cirujano

- Cambio inusual del Fulcro Estimado

- Herramienta del cirujano cerca del robotParar robot mientras haya riesgo

Colisioacuten con tejidooacuterganos- Cambio inusual del Fulcro Estimado

- Herramienta del cirujano lejos del robotExtraer herramienta del robot

Fallo de sensores- Medicioacuten anoacutemala y constante

independiente de la actuacioacuten

Mensaje de alerta y parar si

persiste

0 2 4 6 8 10 12 14 16 180

20

40

60

80

100

Dis

tan

cia

s (

mm

)

Distancia Robot-Objetivo

Distancia Robot-Cirujano

0 2 4 6 8 10 12 14 16 18-10

-5

0

5

10

15

20

Tiempo (segundos)

Fu

erz

as (

N)

Fx

Fy

Fz

0 2 4 6 8 10 12 14 16 18 200

20

40

60

80

100

Dis

tan

cia

s (

mm

)

Distancia Robot-Objetivo

Distancia Robot-Cirujano

0 2 4 6 8 10 12 14 16 18 20-20

-15

-10

-5

0

5

10

Tiempo (segundos)

Fu

erz

as (

N)

Fx

Fy

Fz

Co

lisioacute

n c

on

herr

am

ien

ta

Colisioacuten con tejido

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT EXPERIMENTOS PROPUESTOS

1 Movimiento esfeacuterico mediante la aplicacioacuten del control EMP

2 Movimiento auto-guiado con la herramienta del cirujano en

movimiento

3 Procedimiento de sutura Insercioacuten Puncioacuten Anudado y Corte

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 1 MOVIMIENTO ESFEacuteRICO

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 2 MOVIMIENTO AUTO-GUIADO

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (I)

Maniobra 1 Insercioacuten

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (II)

Maniobra 2 Puncioacuten

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (III)

Maniobra 3 Anudado

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (IV)

Maniobra 4 Corte del Hilo

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CONCLUSIONES

El gran esfuerzo investigador en torno a la roboacutetica quiruacutergica la destaca

como una herramienta de gran utilidad en cirugiacutea laparoscoacutepica

Tres grupos de robots quiruacutergicos tele-manipuladores camaroacutegrafos y

sistemas autoacutenomos

En un punto intermedio los robots semiautoacutenomos se perfilan como los

candidatos para la cirugiacutea en solitario

Contribuciones de esta tesis para los robots semiautoacutenomos

1 Movimiento esfeacuterico del instrumental mediante muntildeecas activas

2 Sistema auto-guiado para la planificacioacuten de movimientos en el interior

de la cavidad abdominal

3 Asistencia semiautoacutenoma al procedimiento laparoscoacutepico de sutura

Implantacioacuten de las contribuciones en el prototipo CISOBOT

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

LIacuteNEAS DE INVESTIGACIOacuteN FUTURAS

Ampliar la asistencia al cirujano en otros procedimientos ademaacutes de la

sutura corte transporte agarrehellip

Modelar complicaciones producidas con mayor frecuencia durante la

ejecucioacuten de los procedimientos anteriores (error en corte limpieza de

sangradohellip)

Modificar el robot para manejar instrumental a traveacutes de un solo orificio en

teacutecnicas SILS (Single Input Laparoscopic Surgery)

Eliminar la hipoacutetesis de herramientas riacutegidas para mejorar la localizacioacuten del

punto de fulcro e interaccioacuten con el cirujano y el paciente

Cambiar el modo secuencial del diagrama de estados de la sutura para

permitir una interaccioacuten simultaacutenea con el cirujano

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

APORTACIONES CIENTIacuteFICAS

CONGRESOS INTERNACIONALES (6) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoActive Wrists Endoscope Navigation in Robotized Laparoscopic

Surgeryrdquo IEEE International Conference on Mechatronics (ICM) Abril 2009 Maacutelaga (Espantildea) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoThree-Layer Control for Active Wrists in Robotized Laparoscopic

Surgeryrdquo IEEE International Conference on Intelligent Robots and Systems (IROS) Octubre 2009 St Louis (EEUU) B Estebanez G Jimeacutenez VF Muntildeoz I Garciacutea-Morales E Bauzano J Molina ldquoMinimally Invasive Surgery Maneuver

Recognition Based on Surgeon Modelrdquo IEEE International Congerence on Intelligent Robots and Systems (IROS) Octubre 2009 St Louis (EEUU)

E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoA Multi-Behavior Algorithm for Auto-Guided Movements in Surgeon Assistancerdquo IEEE International Workshop on Robotics in Alpe-Adria-Danube Region (RAAD) Junio 2010 Budapest (Hungriacutea)

Premio al mejor artiacuteculo de estudiante (Best Paper Award) E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoAuto-Guided Movements on Minimally Invasive Surgery for Surgeon Assistancerdquo

IEEE International Conference on Intelligent Robots and Systems (IROS) Octubre 2010 Taipei (Taiwaacuten) B Estebanez E Bauzano VF Muntildeoz ldquoSurgical Tools Pose Estimation for a Multimodal HMI of a Surgical Robot Assistantrdquo IEEE

International Conference on Intelligent Robots and Systems (IROS) Septiembre 2011 San Francisco (EEUU)

LIBROS Y REVISTAS (2) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoControl Methodologies for Endoscope Navigation in Robotized

Laparoscopic Surgeryrdquo Research and Education in Robotics Ed Springer-Verlag (Berliacuten Heidelberg) 2010 Vol 82 pp 11-22 ISBN 978-3-642-16369

E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoA Multi-Behavior Algorithm for Auto-Guided Movements in Surgeon Assistancerdquo International Journal of Mechanics and Control (JoMaC) Ed Levrotto amp Bella (Torino Italia) 2011 Vol 12 no 1 ISSN 1590-8844

CONGRESOS NACIONALES (10) ndash POSTERS Y WORKSHOPS

Proyecto de Excelencia P07-TEP-02897

ROBOT ASISTENTE SEMIAUTOacuteNOMO DE

DOS BRAZOS PARA INTERVENCIONES DE

CIRUGIacuteA LAPAROSCOacutePICA

Enrique Bauzano Nuacutentildeez

DEPARTAMENTO DE INGENIERIacuteA DE SISTEMAS Y AUTOMAacuteTICA

UNIVERSIDAD DE MAacuteLAGA

DEFENSA DE TESIS DOCTORAL

Directores Dr Viacutector F Muntildeoz Martiacutenez

Dra Isabel Garciacutea Morales

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CAPA 3 CONTROL CARTESIANO

CONTROL CARTESIANO

Planificador

Cartesiano

+

ndash xK)(kTX r

)(kTX r

++

BRAZO

ROBOT)(1 J

)(kTr

)(F

)(kT

)(kTX

Conversioacuten

Cartesiano a Arco

recorrido

T

)(kTLr

)(kTL

Ley de Control rxr XXKJ ~)(1

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CAPA 2 CONTROL EMP

CONTROL EMP

ControlPI

Estimador del Fulcro

ndash+

Sensor de Fuerzas

2T

)( rr

)( 2kT

))(( 2kT

1dF )( 2kTFr )( 2kTr+

ndash

)( 2kTr )( 2kTLr

ndash

+

ndash

+

)( 2kTFc

)( 2kTFs)( 2kTF

)( 2kT

)( 2kTW

)( 2kTL

CAPA-3

1

221

1TI

eK

)1(

)1(

22

2

T

T

Pe

eK

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CAPA 1 CONTROL ESFEacuteRICO

CAPA-2

+ndash

L)( dd

)( rr

)(

Control PI

)( cc

Generador de

trayectorias

)( ff

)1(

11

1

1

1

1

1

1

T

T

P

TI

e

eK

eK

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

ESTABILIDAD DEL CONTROLADOR

15

20

25

15

20

25

0

02

04

06

08

1

Distancia real (cm)Distancia estimada K (cm)

05

1

15

2

05

1

15

2

0

05

1

Rigidez real (Nmm)Rigidez estimada (Nmm)

Criterio Los autovalores son inferiores a 1

2 50

Capa 1 Control Esfeacuterico Capa 2 Control EMP

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

DEMO CONTROL EMP

time (sec)fo

rce

s (N

)30

2

-2

0

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

PROBLEMA 2 PLANIFICACIOacuteN DE CAMINOS

Herramienta del

Robot

Caacutemara Herramienta del

Cirujano

Abdomen

Trayectoria

del Robot

Objetivo

Campo de Visioacuten

C

rp ro

O

GS

GC

GR

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SISTEMA DE MOVIMIENTO AUTO-GUIADO

SELECTOR DE

COMPORTAMIENTOS

PLANIFICADOR

LOCAL

CORRECCIOacuteN DE

VELOCIDAD

SEGUIMIENTO

DEL CIRUJANO

pv

1v1c

2v2c

3v3c

or

1c

2c

3c

Objetivo

Trayectoria Planificada

Herramienta del Cirujano

Herramienta del Robot

sv

rv

s1+

+

+

pr

kT

Tk

kT

Tkdtcccdt

)1(332211r

)1(prp vvvrvrr

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SELECTOR DE COMPORTAMIENTOS

67

3 2

Esfera de direcciones

14

58

rv

C CY

CX

CZ

sv

vr

vs

1 2 3 4 5 6 7 8

1 A L ML L C L ML L

2 L A L ML L C L ML

3 C MC A L C MC C L

4 MC C L A MC C L C

5 C L ML L A L ML L

6 L C L ML L A L ML

7 C MC C L C MC A L

8 MC C L C MC C L A

c1

c2

c3

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

COMPORTAMIENTO 1 PLANIFICADOR LOCAL

atrFrepF

RM SMf

RM

O

RG

SG

L

l

i

repatr UU i

repatr1 FFF

0

02

0

0

2

ˆˆ11

2

F

rF

rep

fatr

f

rep

atr

rK

L

l

K

dt

m1

11

Fv

Proceso Planificador_Local

1) Localizar el punto guiacutea MR2) Calcular el objetivo asociado al punto guiacutea MfR3) Calcular la fuerza F1 =gt Velocidad del punto guiacutea v14) Calcular la velocidad en el efector final del robot

5) Ejecutar movimiento del robot

6) Si no se ha alcanzado el objetivo O con el extremo de la herramienta volver a 1)

Fin de Procedimiento

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

COMPORTAMIENTO 2 CORRECCIOacuteN DE VELOCIDAD

Recta de

Colisioacuten

CP

RG

SG

SP

rv

sv

)( cR tP)( cS tP

RP

r2 vv 2K

dc

tc

Cero Baja Media Lejos Muy Lejos

Cero Maacutex Maacutex Muy Alta Muy Alta Alta

Bajo Maacutex Muy Alta Alta Alta Media

Medio Muy Alta Alta Media Media Poca

Bastante Muy Alta Alta Media Poca Nula

Mucho Alta Media Poca Nula Nula

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

COMPORTAMIENTO 3 SEGUIMIENTO DEL CIRUJANO

GR GS

s3 vF 3B dt

m

Bs3 vv

1

3

3

Proceso Auto_Guiado

1) Calcular los pesos de cada comportamiento c1 c2 c32) Calcular las velocidades de los tres comportamientos v1 v2 v3 3) Ponderar cada velocidad con su peso sumar e integrar =gt siguiente punto del camino rp4) Ejecutar movimiento del robot

5) Si el robot no ha llegado al objetivo ro volver a 1)

Fin de Procedimiento

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

DEMO MOVIMIENTO AUTO-GUIADO

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

PROBLEMA 3 ASISTENCIA A LA SUTURA

EndoscopioHerramienta del

cirujano

Herramienta

auxiliar

Sujecioacuten

del hiacutegado

Escenario de Colecistectomiacutea

Protocolo

1 Elevar hiacutegado para exponer la

vesiacutecula

2 Cortar triaacutengulo de Calot y exponer

arteria y conducto ciacutesticos

3 Suturar arteria y conducto ciacutesticos

para aislar un punto intermedio

4 Cortar arteria y conducto ciacutesticos

5 Separar vesiacutecula

6 Extraer vesiacutecula del paciente

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA CONCEPTOS PREVIOS

bull Gesto Accioacuten identificable maacutes elemental de las herramientas

laparoscoacutepicas (tirar del hilo de sutura presionar tejidohellip)

bull Maniobra Secuencia de gestos que componen una actuacioacuten

definible sobre el paciente (puncioacuten corte anudadohellip)

bull Procedimiento Maniobra o secuencia de maniobras que completan

una tarea propuesta por un protocolo quiruacutergico

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA MEacuteTODO DE ROSSER (I)

Laparoscopic Suturing httpwwwyoutubecomwatchv=PmdPAVFgNXU

1 Insertar aguja y centrar Agarrar aguja

2 Presionar tejido Posicionar aguja para puncioacuten

3 Agarrar aguja tras puncioacuten Puncioacuten mediante giro de 60deg-90deg

4 Extraer aguja y tirar del hilo Soltar aguja y sostener tejido

5 Colocar aguja a la sutura Desplazar herramienta sobre el hilo

6 Mantener posicioacuten Girar 2x sentido horario

7 Tensar hilo en sentido nordeste Agarrar extremo del hilo y mantener

MANO IZQUIERDA MANO DERECHA

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA MEacuteTODO DE ROSSER (II)

Problemas

Gran cantidad de gestos entre las dos manos

Compleja sincronizacioacuten entre las herramientas laparoscoacutepicas

Solucioacuten

Asistir al cirujano manejando una herramienta con un robot

Ventajas

Menor tiempo de aprendizaje en sincronizar ambas manos

La otra mano queda libre para otras tareas no automatizables

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA DIAGRAMA DE ESTADOS (I)

PUNZADA DE LA AGUJAINSERCIOacuteN DE LA AGUJA

ANUDADOCORTE DEL HILO

S0

S2

S1 S3

S4

S5

S6

S8

S9 S7

S11

S10S12

S13

S14

T1

T2

T3

T4

T5

T6

T7T8

T9T10

i = 3 i lt 3

T11T12T13T14

T0

T15

S0 Inicio y preparacioacuten de sutura

S1 Insertar y centrar aguja en pantalla

S2 Coger aguja y colocar en punto de

sutura

S3 Fijar tejido

S4 Punzar tejido extraer aguja y tirar

del hilo

S5 Separar del tejido y abrir pinza

S6 Colocar aguja en pinza izquierda

S7 Posicionar aguja

S8 Rotar alrededor del hilo

S9 Tirar del hilo y cerrar nudo

S10 Acercar aguja a punto de sutura

S11 Coger ambos extremos del hilo y

tensar

S12 Coger hilo bajo pinza derecha

S13 Cambiar herramienta y cortar hilo

S14 Extraer hilo y aguja

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA DIAGRAMA DE ESTADOS (II)

PUNZADA DE LA AGUJAINSERCIOacuteN DE LA AGUJA

ANUDADOCORTE DEL HILO

S0

S2

S1 S3

S4

S5

S6

S8

S9 S7

S11

S10S12

S13

S14

T1

T2

T3

T4

T5

T6

T7T8

T9T10

i = 3 i lt 3

T11T12T13T14

T0

T15

T0 Comando de voz ldquoSuturardquo

T1 Robot en posicioacuten

T2 Gesto de cirujano reconocido

T3 Fuerza aplicada sobre tejido

T4 Gesto de cirujano reconocido

T5 Robot en posicioacuten

T6 Gesto de cirujano reconocido

T7 Robot en posicioacuten

T8 Gesto de cirujano reconocido

T9 Fuerza aplicada sobre el hilo

T10 Robot en posicioacuten

T11 Gesto de cirujano reconocido

T12 Robot en posicioacuten + fuerza

aplicada sobre el hilo

T13 Gesto de cirujano reconocido

T14 Robot en posicioacuten

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA DIAGRAMA DE ESTADOS (III)

PUNZADA DE LA AGUJAINSERCIOacuteN DE LA AGUJA

ANUDADOCORTE DEL HILO

S0

S2

S1 S3

S4

S5

S6

S8

S9 S7

S11

S10S12

S13

S14

T1

T2

T3

T4

T5

T6

T7T8

T9T10

i = 3 i lt 3

T11T12T13T14

T0

T15

Sk+1

Sk

Tk-1

Tk

Tk+1

1k

kE

1

1

k

kE

k

kE 1

k

kE

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA ASISTENTE DE ESTADOS

ASISTENTE DE ESTADOS

INTERACCIOacuteN

AUTO-GUIADA

Trayectoria

Planificada

Localizacioacuten

Cirujano

Localizacioacuten

del Robot

INTERFAZ DE

VOZ

Fuerzas y

Pares

Posicioacuten

Aguja

Sentildeal de

Audio

Comando

de Voz

RECONOCEDOR

DE GESTOS

ASISTENTE DE SUTURA

Activacioacuten

Tk Estado Sk

Activacioacuten

Tk

Funciones

1) Alcanzar posicioacuten objetivo

2) Aplicar fuerza en tejidohilo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA INTERACCIOacuteN AUTO-GUIADA

INTERACCIOacuteN AUTO-GUIADA

SISTEMA

ROBOT+-

1

AKoF

F

pr

MOVIMIENTO

AUTO-GUIADO

cx

or

cr r

D

DI

CONTROL

PI

++

D

-+ K

er

++

xcF

co FF

coc FFx 1

AKLey de Control

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

DEMO ASISTENCIA A LA SUTURA

Maniobra 1 Insercioacuten Maniobra 2 Puncioacuten

Maniobra 3 AnudadoManiobra 4 Corte del hilo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

IMPLANTACIOacuteN PLATAFORMA CISOBOT

Brazo Instrumental

Quiruacutergico

Brazo Caacutemara

Laparoscoacutepica

Estructura Robot

Asistente

Marca 3D

Sensor de

Fuerzas

Muntildeeca Pasiva

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT ENTORNO QUIRUacuteRGICO

Columna de

Laparoscopia

Tracker 3D

Brazo Caacutemara

Laparoscoacutepica

Brazo Instrumental

Quiruacutergico

Simulador de

Paciente

Herramienta del

Cirujano

Caacutemara

Laparoscoacutepica

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT ARQUITECTURA DE CONTROL

SENSORES ENTORNOASISTENTE DE ESTADOS

CIRUJANO

INTERACCIOacuteN

AUTO-GUIADA

BRAZOS ROBOTS

CONTROL DE

BAJO NIVEL

PACIENTE

Interaccioacute

n

Ciru

jano

Herramientas Robot

Trayectoria Planificada

Localizacioacuten Cirujano

Trayectoria ControladaLo

caliz

acioacute

n R

ob

ot

ROBOT ASISTENTE

SENSOR DE

FUERZAS

INTERFAZ DE

VOZ

Esfuerzos

Imagen Laparoscoacutepica

Contacto Robot

Aguja

Herramienta Cirujano

Activacioacuten

Sentildeal de Audio

TRACKER 3D

Comando de Voz

RECONOCEDOR

DE GESTOS

MOacuteDULO DE

VISIOacuteN

ASISTENTE

DE SUTURA Activacioacuten

Nuevo Estado

Nuevo Estado

ADQUISICIOacuteN

AUDIO

Voz del cirujano

Gesto Quiruacutergico

SIST

EMA

TOLE

RA

NTE

AFA

LLO

S

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT SISTEMA TOLERANTE A FALLOS

Evento Deteccioacuten Actuacioacuten

Fallo Hardware - Sentildeal de Fallo Hardware Parar el sistema

Colisioacuten entre brazos - Anaacutelisis de Colisioacuten cinemaacuteticaParar brazo de la caacutemara

mientras haya riesgo

Colisioacuten con herramienta

del cirujano

- Cambio inusual del Fulcro Estimado

- Herramienta del cirujano cerca del robotParar robot mientras haya riesgo

Colisioacuten con tejidooacuterganos- Cambio inusual del Fulcro Estimado

- Herramienta del cirujano lejos del robotExtraer herramienta del robot

Fallo de sensores- Medicioacuten anoacutemala y constante

independiente de la actuacioacuten

Mensaje de alerta y parar si

persiste

0 2 4 6 8 10 12 14 16 180

20

40

60

80

100

Dis

tan

cia

s (

mm

)

Distancia Robot-Objetivo

Distancia Robot-Cirujano

0 2 4 6 8 10 12 14 16 18-10

-5

0

5

10

15

20

Tiempo (segundos)

Fu

erz

as (

N)

Fx

Fy

Fz

0 2 4 6 8 10 12 14 16 18 200

20

40

60

80

100

Dis

tan

cia

s (

mm

)

Distancia Robot-Objetivo

Distancia Robot-Cirujano

0 2 4 6 8 10 12 14 16 18 20-20

-15

-10

-5

0

5

10

Tiempo (segundos)

Fu

erz

as (

N)

Fx

Fy

Fz

Co

lisioacute

n c

on

herr

am

ien

ta

Colisioacuten con tejido

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT EXPERIMENTOS PROPUESTOS

1 Movimiento esfeacuterico mediante la aplicacioacuten del control EMP

2 Movimiento auto-guiado con la herramienta del cirujano en

movimiento

3 Procedimiento de sutura Insercioacuten Puncioacuten Anudado y Corte

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 1 MOVIMIENTO ESFEacuteRICO

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 2 MOVIMIENTO AUTO-GUIADO

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (I)

Maniobra 1 Insercioacuten

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (II)

Maniobra 2 Puncioacuten

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (III)

Maniobra 3 Anudado

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (IV)

Maniobra 4 Corte del Hilo

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CONCLUSIONES

El gran esfuerzo investigador en torno a la roboacutetica quiruacutergica la destaca

como una herramienta de gran utilidad en cirugiacutea laparoscoacutepica

Tres grupos de robots quiruacutergicos tele-manipuladores camaroacutegrafos y

sistemas autoacutenomos

En un punto intermedio los robots semiautoacutenomos se perfilan como los

candidatos para la cirugiacutea en solitario

Contribuciones de esta tesis para los robots semiautoacutenomos

1 Movimiento esfeacuterico del instrumental mediante muntildeecas activas

2 Sistema auto-guiado para la planificacioacuten de movimientos en el interior

de la cavidad abdominal

3 Asistencia semiautoacutenoma al procedimiento laparoscoacutepico de sutura

Implantacioacuten de las contribuciones en el prototipo CISOBOT

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

LIacuteNEAS DE INVESTIGACIOacuteN FUTURAS

Ampliar la asistencia al cirujano en otros procedimientos ademaacutes de la

sutura corte transporte agarrehellip

Modelar complicaciones producidas con mayor frecuencia durante la

ejecucioacuten de los procedimientos anteriores (error en corte limpieza de

sangradohellip)

Modificar el robot para manejar instrumental a traveacutes de un solo orificio en

teacutecnicas SILS (Single Input Laparoscopic Surgery)

Eliminar la hipoacutetesis de herramientas riacutegidas para mejorar la localizacioacuten del

punto de fulcro e interaccioacuten con el cirujano y el paciente

Cambiar el modo secuencial del diagrama de estados de la sutura para

permitir una interaccioacuten simultaacutenea con el cirujano

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

APORTACIONES CIENTIacuteFICAS

CONGRESOS INTERNACIONALES (6) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoActive Wrists Endoscope Navigation in Robotized Laparoscopic

Surgeryrdquo IEEE International Conference on Mechatronics (ICM) Abril 2009 Maacutelaga (Espantildea) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoThree-Layer Control for Active Wrists in Robotized Laparoscopic

Surgeryrdquo IEEE International Conference on Intelligent Robots and Systems (IROS) Octubre 2009 St Louis (EEUU) B Estebanez G Jimeacutenez VF Muntildeoz I Garciacutea-Morales E Bauzano J Molina ldquoMinimally Invasive Surgery Maneuver

Recognition Based on Surgeon Modelrdquo IEEE International Congerence on Intelligent Robots and Systems (IROS) Octubre 2009 St Louis (EEUU)

E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoA Multi-Behavior Algorithm for Auto-Guided Movements in Surgeon Assistancerdquo IEEE International Workshop on Robotics in Alpe-Adria-Danube Region (RAAD) Junio 2010 Budapest (Hungriacutea)

Premio al mejor artiacuteculo de estudiante (Best Paper Award) E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoAuto-Guided Movements on Minimally Invasive Surgery for Surgeon Assistancerdquo

IEEE International Conference on Intelligent Robots and Systems (IROS) Octubre 2010 Taipei (Taiwaacuten) B Estebanez E Bauzano VF Muntildeoz ldquoSurgical Tools Pose Estimation for a Multimodal HMI of a Surgical Robot Assistantrdquo IEEE

International Conference on Intelligent Robots and Systems (IROS) Septiembre 2011 San Francisco (EEUU)

LIBROS Y REVISTAS (2) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoControl Methodologies for Endoscope Navigation in Robotized

Laparoscopic Surgeryrdquo Research and Education in Robotics Ed Springer-Verlag (Berliacuten Heidelberg) 2010 Vol 82 pp 11-22 ISBN 978-3-642-16369

E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoA Multi-Behavior Algorithm for Auto-Guided Movements in Surgeon Assistancerdquo International Journal of Mechanics and Control (JoMaC) Ed Levrotto amp Bella (Torino Italia) 2011 Vol 12 no 1 ISSN 1590-8844

CONGRESOS NACIONALES (10) ndash POSTERS Y WORKSHOPS

Proyecto de Excelencia P07-TEP-02897

ROBOT ASISTENTE SEMIAUTOacuteNOMO DE

DOS BRAZOS PARA INTERVENCIONES DE

CIRUGIacuteA LAPAROSCOacutePICA

Enrique Bauzano Nuacutentildeez

DEPARTAMENTO DE INGENIERIacuteA DE SISTEMAS Y AUTOMAacuteTICA

UNIVERSIDAD DE MAacuteLAGA

DEFENSA DE TESIS DOCTORAL

Directores Dr Viacutector F Muntildeoz Martiacutenez

Dra Isabel Garciacutea Morales

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CAPA 2 CONTROL EMP

CONTROL EMP

ControlPI

Estimador del Fulcro

ndash+

Sensor de Fuerzas

2T

)( rr

)( 2kT

))(( 2kT

1dF )( 2kTFr )( 2kTr+

ndash

)( 2kTr )( 2kTLr

ndash

+

ndash

+

)( 2kTFc

)( 2kTFs)( 2kTF

)( 2kT

)( 2kTW

)( 2kTL

CAPA-3

1

221

1TI

eK

)1(

)1(

22

2

T

T

Pe

eK

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CAPA 1 CONTROL ESFEacuteRICO

CAPA-2

+ndash

L)( dd

)( rr

)(

Control PI

)( cc

Generador de

trayectorias

)( ff

)1(

11

1

1

1

1

1

1

T

T

P

TI

e

eK

eK

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

ESTABILIDAD DEL CONTROLADOR

15

20

25

15

20

25

0

02

04

06

08

1

Distancia real (cm)Distancia estimada K (cm)

05

1

15

2

05

1

15

2

0

05

1

Rigidez real (Nmm)Rigidez estimada (Nmm)

Criterio Los autovalores son inferiores a 1

2 50

Capa 1 Control Esfeacuterico Capa 2 Control EMP

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

DEMO CONTROL EMP

time (sec)fo

rce

s (N

)30

2

-2

0

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

PROBLEMA 2 PLANIFICACIOacuteN DE CAMINOS

Herramienta del

Robot

Caacutemara Herramienta del

Cirujano

Abdomen

Trayectoria

del Robot

Objetivo

Campo de Visioacuten

C

rp ro

O

GS

GC

GR

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SISTEMA DE MOVIMIENTO AUTO-GUIADO

SELECTOR DE

COMPORTAMIENTOS

PLANIFICADOR

LOCAL

CORRECCIOacuteN DE

VELOCIDAD

SEGUIMIENTO

DEL CIRUJANO

pv

1v1c

2v2c

3v3c

or

1c

2c

3c

Objetivo

Trayectoria Planificada

Herramienta del Cirujano

Herramienta del Robot

sv

rv

s1+

+

+

pr

kT

Tk

kT

Tkdtcccdt

)1(332211r

)1(prp vvvrvrr

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SELECTOR DE COMPORTAMIENTOS

67

3 2

Esfera de direcciones

14

58

rv

C CY

CX

CZ

sv

vr

vs

1 2 3 4 5 6 7 8

1 A L ML L C L ML L

2 L A L ML L C L ML

3 C MC A L C MC C L

4 MC C L A MC C L C

5 C L ML L A L ML L

6 L C L ML L A L ML

7 C MC C L C MC A L

8 MC C L C MC C L A

c1

c2

c3

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

COMPORTAMIENTO 1 PLANIFICADOR LOCAL

atrFrepF

RM SMf

RM

O

RG

SG

L

l

i

repatr UU i

repatr1 FFF

0

02

0

0

2

ˆˆ11

2

F

rF

rep

fatr

f

rep

atr

rK

L

l

K

dt

m1

11

Fv

Proceso Planificador_Local

1) Localizar el punto guiacutea MR2) Calcular el objetivo asociado al punto guiacutea MfR3) Calcular la fuerza F1 =gt Velocidad del punto guiacutea v14) Calcular la velocidad en el efector final del robot

5) Ejecutar movimiento del robot

6) Si no se ha alcanzado el objetivo O con el extremo de la herramienta volver a 1)

Fin de Procedimiento

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

COMPORTAMIENTO 2 CORRECCIOacuteN DE VELOCIDAD

Recta de

Colisioacuten

CP

RG

SG

SP

rv

sv

)( cR tP)( cS tP

RP

r2 vv 2K

dc

tc

Cero Baja Media Lejos Muy Lejos

Cero Maacutex Maacutex Muy Alta Muy Alta Alta

Bajo Maacutex Muy Alta Alta Alta Media

Medio Muy Alta Alta Media Media Poca

Bastante Muy Alta Alta Media Poca Nula

Mucho Alta Media Poca Nula Nula

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

COMPORTAMIENTO 3 SEGUIMIENTO DEL CIRUJANO

GR GS

s3 vF 3B dt

m

Bs3 vv

1

3

3

Proceso Auto_Guiado

1) Calcular los pesos de cada comportamiento c1 c2 c32) Calcular las velocidades de los tres comportamientos v1 v2 v3 3) Ponderar cada velocidad con su peso sumar e integrar =gt siguiente punto del camino rp4) Ejecutar movimiento del robot

5) Si el robot no ha llegado al objetivo ro volver a 1)

Fin de Procedimiento

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

DEMO MOVIMIENTO AUTO-GUIADO

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

PROBLEMA 3 ASISTENCIA A LA SUTURA

EndoscopioHerramienta del

cirujano

Herramienta

auxiliar

Sujecioacuten

del hiacutegado

Escenario de Colecistectomiacutea

Protocolo

1 Elevar hiacutegado para exponer la

vesiacutecula

2 Cortar triaacutengulo de Calot y exponer

arteria y conducto ciacutesticos

3 Suturar arteria y conducto ciacutesticos

para aislar un punto intermedio

4 Cortar arteria y conducto ciacutesticos

5 Separar vesiacutecula

6 Extraer vesiacutecula del paciente

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA CONCEPTOS PREVIOS

bull Gesto Accioacuten identificable maacutes elemental de las herramientas

laparoscoacutepicas (tirar del hilo de sutura presionar tejidohellip)

bull Maniobra Secuencia de gestos que componen una actuacioacuten

definible sobre el paciente (puncioacuten corte anudadohellip)

bull Procedimiento Maniobra o secuencia de maniobras que completan

una tarea propuesta por un protocolo quiruacutergico

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA MEacuteTODO DE ROSSER (I)

Laparoscopic Suturing httpwwwyoutubecomwatchv=PmdPAVFgNXU

1 Insertar aguja y centrar Agarrar aguja

2 Presionar tejido Posicionar aguja para puncioacuten

3 Agarrar aguja tras puncioacuten Puncioacuten mediante giro de 60deg-90deg

4 Extraer aguja y tirar del hilo Soltar aguja y sostener tejido

5 Colocar aguja a la sutura Desplazar herramienta sobre el hilo

6 Mantener posicioacuten Girar 2x sentido horario

7 Tensar hilo en sentido nordeste Agarrar extremo del hilo y mantener

MANO IZQUIERDA MANO DERECHA

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA MEacuteTODO DE ROSSER (II)

Problemas

Gran cantidad de gestos entre las dos manos

Compleja sincronizacioacuten entre las herramientas laparoscoacutepicas

Solucioacuten

Asistir al cirujano manejando una herramienta con un robot

Ventajas

Menor tiempo de aprendizaje en sincronizar ambas manos

La otra mano queda libre para otras tareas no automatizables

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA DIAGRAMA DE ESTADOS (I)

PUNZADA DE LA AGUJAINSERCIOacuteN DE LA AGUJA

ANUDADOCORTE DEL HILO

S0

S2

S1 S3

S4

S5

S6

S8

S9 S7

S11

S10S12

S13

S14

T1

T2

T3

T4

T5

T6

T7T8

T9T10

i = 3 i lt 3

T11T12T13T14

T0

T15

S0 Inicio y preparacioacuten de sutura

S1 Insertar y centrar aguja en pantalla

S2 Coger aguja y colocar en punto de

sutura

S3 Fijar tejido

S4 Punzar tejido extraer aguja y tirar

del hilo

S5 Separar del tejido y abrir pinza

S6 Colocar aguja en pinza izquierda

S7 Posicionar aguja

S8 Rotar alrededor del hilo

S9 Tirar del hilo y cerrar nudo

S10 Acercar aguja a punto de sutura

S11 Coger ambos extremos del hilo y

tensar

S12 Coger hilo bajo pinza derecha

S13 Cambiar herramienta y cortar hilo

S14 Extraer hilo y aguja

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA DIAGRAMA DE ESTADOS (II)

PUNZADA DE LA AGUJAINSERCIOacuteN DE LA AGUJA

ANUDADOCORTE DEL HILO

S0

S2

S1 S3

S4

S5

S6

S8

S9 S7

S11

S10S12

S13

S14

T1

T2

T3

T4

T5

T6

T7T8

T9T10

i = 3 i lt 3

T11T12T13T14

T0

T15

T0 Comando de voz ldquoSuturardquo

T1 Robot en posicioacuten

T2 Gesto de cirujano reconocido

T3 Fuerza aplicada sobre tejido

T4 Gesto de cirujano reconocido

T5 Robot en posicioacuten

T6 Gesto de cirujano reconocido

T7 Robot en posicioacuten

T8 Gesto de cirujano reconocido

T9 Fuerza aplicada sobre el hilo

T10 Robot en posicioacuten

T11 Gesto de cirujano reconocido

T12 Robot en posicioacuten + fuerza

aplicada sobre el hilo

T13 Gesto de cirujano reconocido

T14 Robot en posicioacuten

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA DIAGRAMA DE ESTADOS (III)

PUNZADA DE LA AGUJAINSERCIOacuteN DE LA AGUJA

ANUDADOCORTE DEL HILO

S0

S2

S1 S3

S4

S5

S6

S8

S9 S7

S11

S10S12

S13

S14

T1

T2

T3

T4

T5

T6

T7T8

T9T10

i = 3 i lt 3

T11T12T13T14

T0

T15

Sk+1

Sk

Tk-1

Tk

Tk+1

1k

kE

1

1

k

kE

k

kE 1

k

kE

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA ASISTENTE DE ESTADOS

ASISTENTE DE ESTADOS

INTERACCIOacuteN

AUTO-GUIADA

Trayectoria

Planificada

Localizacioacuten

Cirujano

Localizacioacuten

del Robot

INTERFAZ DE

VOZ

Fuerzas y

Pares

Posicioacuten

Aguja

Sentildeal de

Audio

Comando

de Voz

RECONOCEDOR

DE GESTOS

ASISTENTE DE SUTURA

Activacioacuten

Tk Estado Sk

Activacioacuten

Tk

Funciones

1) Alcanzar posicioacuten objetivo

2) Aplicar fuerza en tejidohilo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA INTERACCIOacuteN AUTO-GUIADA

INTERACCIOacuteN AUTO-GUIADA

SISTEMA

ROBOT+-

1

AKoF

F

pr

MOVIMIENTO

AUTO-GUIADO

cx

or

cr r

D

DI

CONTROL

PI

++

D

-+ K

er

++

xcF

co FF

coc FFx 1

AKLey de Control

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

DEMO ASISTENCIA A LA SUTURA

Maniobra 1 Insercioacuten Maniobra 2 Puncioacuten

Maniobra 3 AnudadoManiobra 4 Corte del hilo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

IMPLANTACIOacuteN PLATAFORMA CISOBOT

Brazo Instrumental

Quiruacutergico

Brazo Caacutemara

Laparoscoacutepica

Estructura Robot

Asistente

Marca 3D

Sensor de

Fuerzas

Muntildeeca Pasiva

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT ENTORNO QUIRUacuteRGICO

Columna de

Laparoscopia

Tracker 3D

Brazo Caacutemara

Laparoscoacutepica

Brazo Instrumental

Quiruacutergico

Simulador de

Paciente

Herramienta del

Cirujano

Caacutemara

Laparoscoacutepica

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT ARQUITECTURA DE CONTROL

SENSORES ENTORNOASISTENTE DE ESTADOS

CIRUJANO

INTERACCIOacuteN

AUTO-GUIADA

BRAZOS ROBOTS

CONTROL DE

BAJO NIVEL

PACIENTE

Interaccioacute

n

Ciru

jano

Herramientas Robot

Trayectoria Planificada

Localizacioacuten Cirujano

Trayectoria ControladaLo

caliz

acioacute

n R

ob

ot

ROBOT ASISTENTE

SENSOR DE

FUERZAS

INTERFAZ DE

VOZ

Esfuerzos

Imagen Laparoscoacutepica

Contacto Robot

Aguja

Herramienta Cirujano

Activacioacuten

Sentildeal de Audio

TRACKER 3D

Comando de Voz

RECONOCEDOR

DE GESTOS

MOacuteDULO DE

VISIOacuteN

ASISTENTE

DE SUTURA Activacioacuten

Nuevo Estado

Nuevo Estado

ADQUISICIOacuteN

AUDIO

Voz del cirujano

Gesto Quiruacutergico

SIST

EMA

TOLE

RA

NTE

AFA

LLO

S

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT SISTEMA TOLERANTE A FALLOS

Evento Deteccioacuten Actuacioacuten

Fallo Hardware - Sentildeal de Fallo Hardware Parar el sistema

Colisioacuten entre brazos - Anaacutelisis de Colisioacuten cinemaacuteticaParar brazo de la caacutemara

mientras haya riesgo

Colisioacuten con herramienta

del cirujano

- Cambio inusual del Fulcro Estimado

- Herramienta del cirujano cerca del robotParar robot mientras haya riesgo

Colisioacuten con tejidooacuterganos- Cambio inusual del Fulcro Estimado

- Herramienta del cirujano lejos del robotExtraer herramienta del robot

Fallo de sensores- Medicioacuten anoacutemala y constante

independiente de la actuacioacuten

Mensaje de alerta y parar si

persiste

0 2 4 6 8 10 12 14 16 180

20

40

60

80

100

Dis

tan

cia

s (

mm

)

Distancia Robot-Objetivo

Distancia Robot-Cirujano

0 2 4 6 8 10 12 14 16 18-10

-5

0

5

10

15

20

Tiempo (segundos)

Fu

erz

as (

N)

Fx

Fy

Fz

0 2 4 6 8 10 12 14 16 18 200

20

40

60

80

100

Dis

tan

cia

s (

mm

)

Distancia Robot-Objetivo

Distancia Robot-Cirujano

0 2 4 6 8 10 12 14 16 18 20-20

-15

-10

-5

0

5

10

Tiempo (segundos)

Fu

erz

as (

N)

Fx

Fy

Fz

Co

lisioacute

n c

on

herr

am

ien

ta

Colisioacuten con tejido

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT EXPERIMENTOS PROPUESTOS

1 Movimiento esfeacuterico mediante la aplicacioacuten del control EMP

2 Movimiento auto-guiado con la herramienta del cirujano en

movimiento

3 Procedimiento de sutura Insercioacuten Puncioacuten Anudado y Corte

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 1 MOVIMIENTO ESFEacuteRICO

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 2 MOVIMIENTO AUTO-GUIADO

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (I)

Maniobra 1 Insercioacuten

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (II)

Maniobra 2 Puncioacuten

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (III)

Maniobra 3 Anudado

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (IV)

Maniobra 4 Corte del Hilo

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CONCLUSIONES

El gran esfuerzo investigador en torno a la roboacutetica quiruacutergica la destaca

como una herramienta de gran utilidad en cirugiacutea laparoscoacutepica

Tres grupos de robots quiruacutergicos tele-manipuladores camaroacutegrafos y

sistemas autoacutenomos

En un punto intermedio los robots semiautoacutenomos se perfilan como los

candidatos para la cirugiacutea en solitario

Contribuciones de esta tesis para los robots semiautoacutenomos

1 Movimiento esfeacuterico del instrumental mediante muntildeecas activas

2 Sistema auto-guiado para la planificacioacuten de movimientos en el interior

de la cavidad abdominal

3 Asistencia semiautoacutenoma al procedimiento laparoscoacutepico de sutura

Implantacioacuten de las contribuciones en el prototipo CISOBOT

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

LIacuteNEAS DE INVESTIGACIOacuteN FUTURAS

Ampliar la asistencia al cirujano en otros procedimientos ademaacutes de la

sutura corte transporte agarrehellip

Modelar complicaciones producidas con mayor frecuencia durante la

ejecucioacuten de los procedimientos anteriores (error en corte limpieza de

sangradohellip)

Modificar el robot para manejar instrumental a traveacutes de un solo orificio en

teacutecnicas SILS (Single Input Laparoscopic Surgery)

Eliminar la hipoacutetesis de herramientas riacutegidas para mejorar la localizacioacuten del

punto de fulcro e interaccioacuten con el cirujano y el paciente

Cambiar el modo secuencial del diagrama de estados de la sutura para

permitir una interaccioacuten simultaacutenea con el cirujano

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

APORTACIONES CIENTIacuteFICAS

CONGRESOS INTERNACIONALES (6) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoActive Wrists Endoscope Navigation in Robotized Laparoscopic

Surgeryrdquo IEEE International Conference on Mechatronics (ICM) Abril 2009 Maacutelaga (Espantildea) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoThree-Layer Control for Active Wrists in Robotized Laparoscopic

Surgeryrdquo IEEE International Conference on Intelligent Robots and Systems (IROS) Octubre 2009 St Louis (EEUU) B Estebanez G Jimeacutenez VF Muntildeoz I Garciacutea-Morales E Bauzano J Molina ldquoMinimally Invasive Surgery Maneuver

Recognition Based on Surgeon Modelrdquo IEEE International Congerence on Intelligent Robots and Systems (IROS) Octubre 2009 St Louis (EEUU)

E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoA Multi-Behavior Algorithm for Auto-Guided Movements in Surgeon Assistancerdquo IEEE International Workshop on Robotics in Alpe-Adria-Danube Region (RAAD) Junio 2010 Budapest (Hungriacutea)

Premio al mejor artiacuteculo de estudiante (Best Paper Award) E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoAuto-Guided Movements on Minimally Invasive Surgery for Surgeon Assistancerdquo

IEEE International Conference on Intelligent Robots and Systems (IROS) Octubre 2010 Taipei (Taiwaacuten) B Estebanez E Bauzano VF Muntildeoz ldquoSurgical Tools Pose Estimation for a Multimodal HMI of a Surgical Robot Assistantrdquo IEEE

International Conference on Intelligent Robots and Systems (IROS) Septiembre 2011 San Francisco (EEUU)

LIBROS Y REVISTAS (2) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoControl Methodologies for Endoscope Navigation in Robotized

Laparoscopic Surgeryrdquo Research and Education in Robotics Ed Springer-Verlag (Berliacuten Heidelberg) 2010 Vol 82 pp 11-22 ISBN 978-3-642-16369

E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoA Multi-Behavior Algorithm for Auto-Guided Movements in Surgeon Assistancerdquo International Journal of Mechanics and Control (JoMaC) Ed Levrotto amp Bella (Torino Italia) 2011 Vol 12 no 1 ISSN 1590-8844

CONGRESOS NACIONALES (10) ndash POSTERS Y WORKSHOPS

Proyecto de Excelencia P07-TEP-02897

ROBOT ASISTENTE SEMIAUTOacuteNOMO DE

DOS BRAZOS PARA INTERVENCIONES DE

CIRUGIacuteA LAPAROSCOacutePICA

Enrique Bauzano Nuacutentildeez

DEPARTAMENTO DE INGENIERIacuteA DE SISTEMAS Y AUTOMAacuteTICA

UNIVERSIDAD DE MAacuteLAGA

DEFENSA DE TESIS DOCTORAL

Directores Dr Viacutector F Muntildeoz Martiacutenez

Dra Isabel Garciacutea Morales

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CAPA 1 CONTROL ESFEacuteRICO

CAPA-2

+ndash

L)( dd

)( rr

)(

Control PI

)( cc

Generador de

trayectorias

)( ff

)1(

11

1

1

1

1

1

1

T

T

P

TI

e

eK

eK

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

ESTABILIDAD DEL CONTROLADOR

15

20

25

15

20

25

0

02

04

06

08

1

Distancia real (cm)Distancia estimada K (cm)

05

1

15

2

05

1

15

2

0

05

1

Rigidez real (Nmm)Rigidez estimada (Nmm)

Criterio Los autovalores son inferiores a 1

2 50

Capa 1 Control Esfeacuterico Capa 2 Control EMP

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

DEMO CONTROL EMP

time (sec)fo

rce

s (N

)30

2

-2

0

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

PROBLEMA 2 PLANIFICACIOacuteN DE CAMINOS

Herramienta del

Robot

Caacutemara Herramienta del

Cirujano

Abdomen

Trayectoria

del Robot

Objetivo

Campo de Visioacuten

C

rp ro

O

GS

GC

GR

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SISTEMA DE MOVIMIENTO AUTO-GUIADO

SELECTOR DE

COMPORTAMIENTOS

PLANIFICADOR

LOCAL

CORRECCIOacuteN DE

VELOCIDAD

SEGUIMIENTO

DEL CIRUJANO

pv

1v1c

2v2c

3v3c

or

1c

2c

3c

Objetivo

Trayectoria Planificada

Herramienta del Cirujano

Herramienta del Robot

sv

rv

s1+

+

+

pr

kT

Tk

kT

Tkdtcccdt

)1(332211r

)1(prp vvvrvrr

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SELECTOR DE COMPORTAMIENTOS

67

3 2

Esfera de direcciones

14

58

rv

C CY

CX

CZ

sv

vr

vs

1 2 3 4 5 6 7 8

1 A L ML L C L ML L

2 L A L ML L C L ML

3 C MC A L C MC C L

4 MC C L A MC C L C

5 C L ML L A L ML L

6 L C L ML L A L ML

7 C MC C L C MC A L

8 MC C L C MC C L A

c1

c2

c3

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

COMPORTAMIENTO 1 PLANIFICADOR LOCAL

atrFrepF

RM SMf

RM

O

RG

SG

L

l

i

repatr UU i

repatr1 FFF

0

02

0

0

2

ˆˆ11

2

F

rF

rep

fatr

f

rep

atr

rK

L

l

K

dt

m1

11

Fv

Proceso Planificador_Local

1) Localizar el punto guiacutea MR2) Calcular el objetivo asociado al punto guiacutea MfR3) Calcular la fuerza F1 =gt Velocidad del punto guiacutea v14) Calcular la velocidad en el efector final del robot

5) Ejecutar movimiento del robot

6) Si no se ha alcanzado el objetivo O con el extremo de la herramienta volver a 1)

Fin de Procedimiento

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

COMPORTAMIENTO 2 CORRECCIOacuteN DE VELOCIDAD

Recta de

Colisioacuten

CP

RG

SG

SP

rv

sv

)( cR tP)( cS tP

RP

r2 vv 2K

dc

tc

Cero Baja Media Lejos Muy Lejos

Cero Maacutex Maacutex Muy Alta Muy Alta Alta

Bajo Maacutex Muy Alta Alta Alta Media

Medio Muy Alta Alta Media Media Poca

Bastante Muy Alta Alta Media Poca Nula

Mucho Alta Media Poca Nula Nula

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

COMPORTAMIENTO 3 SEGUIMIENTO DEL CIRUJANO

GR GS

s3 vF 3B dt

m

Bs3 vv

1

3

3

Proceso Auto_Guiado

1) Calcular los pesos de cada comportamiento c1 c2 c32) Calcular las velocidades de los tres comportamientos v1 v2 v3 3) Ponderar cada velocidad con su peso sumar e integrar =gt siguiente punto del camino rp4) Ejecutar movimiento del robot

5) Si el robot no ha llegado al objetivo ro volver a 1)

Fin de Procedimiento

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

DEMO MOVIMIENTO AUTO-GUIADO

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

PROBLEMA 3 ASISTENCIA A LA SUTURA

EndoscopioHerramienta del

cirujano

Herramienta

auxiliar

Sujecioacuten

del hiacutegado

Escenario de Colecistectomiacutea

Protocolo

1 Elevar hiacutegado para exponer la

vesiacutecula

2 Cortar triaacutengulo de Calot y exponer

arteria y conducto ciacutesticos

3 Suturar arteria y conducto ciacutesticos

para aislar un punto intermedio

4 Cortar arteria y conducto ciacutesticos

5 Separar vesiacutecula

6 Extraer vesiacutecula del paciente

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA CONCEPTOS PREVIOS

bull Gesto Accioacuten identificable maacutes elemental de las herramientas

laparoscoacutepicas (tirar del hilo de sutura presionar tejidohellip)

bull Maniobra Secuencia de gestos que componen una actuacioacuten

definible sobre el paciente (puncioacuten corte anudadohellip)

bull Procedimiento Maniobra o secuencia de maniobras que completan

una tarea propuesta por un protocolo quiruacutergico

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA MEacuteTODO DE ROSSER (I)

Laparoscopic Suturing httpwwwyoutubecomwatchv=PmdPAVFgNXU

1 Insertar aguja y centrar Agarrar aguja

2 Presionar tejido Posicionar aguja para puncioacuten

3 Agarrar aguja tras puncioacuten Puncioacuten mediante giro de 60deg-90deg

4 Extraer aguja y tirar del hilo Soltar aguja y sostener tejido

5 Colocar aguja a la sutura Desplazar herramienta sobre el hilo

6 Mantener posicioacuten Girar 2x sentido horario

7 Tensar hilo en sentido nordeste Agarrar extremo del hilo y mantener

MANO IZQUIERDA MANO DERECHA

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA MEacuteTODO DE ROSSER (II)

Problemas

Gran cantidad de gestos entre las dos manos

Compleja sincronizacioacuten entre las herramientas laparoscoacutepicas

Solucioacuten

Asistir al cirujano manejando una herramienta con un robot

Ventajas

Menor tiempo de aprendizaje en sincronizar ambas manos

La otra mano queda libre para otras tareas no automatizables

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA DIAGRAMA DE ESTADOS (I)

PUNZADA DE LA AGUJAINSERCIOacuteN DE LA AGUJA

ANUDADOCORTE DEL HILO

S0

S2

S1 S3

S4

S5

S6

S8

S9 S7

S11

S10S12

S13

S14

T1

T2

T3

T4

T5

T6

T7T8

T9T10

i = 3 i lt 3

T11T12T13T14

T0

T15

S0 Inicio y preparacioacuten de sutura

S1 Insertar y centrar aguja en pantalla

S2 Coger aguja y colocar en punto de

sutura

S3 Fijar tejido

S4 Punzar tejido extraer aguja y tirar

del hilo

S5 Separar del tejido y abrir pinza

S6 Colocar aguja en pinza izquierda

S7 Posicionar aguja

S8 Rotar alrededor del hilo

S9 Tirar del hilo y cerrar nudo

S10 Acercar aguja a punto de sutura

S11 Coger ambos extremos del hilo y

tensar

S12 Coger hilo bajo pinza derecha

S13 Cambiar herramienta y cortar hilo

S14 Extraer hilo y aguja

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA DIAGRAMA DE ESTADOS (II)

PUNZADA DE LA AGUJAINSERCIOacuteN DE LA AGUJA

ANUDADOCORTE DEL HILO

S0

S2

S1 S3

S4

S5

S6

S8

S9 S7

S11

S10S12

S13

S14

T1

T2

T3

T4

T5

T6

T7T8

T9T10

i = 3 i lt 3

T11T12T13T14

T0

T15

T0 Comando de voz ldquoSuturardquo

T1 Robot en posicioacuten

T2 Gesto de cirujano reconocido

T3 Fuerza aplicada sobre tejido

T4 Gesto de cirujano reconocido

T5 Robot en posicioacuten

T6 Gesto de cirujano reconocido

T7 Robot en posicioacuten

T8 Gesto de cirujano reconocido

T9 Fuerza aplicada sobre el hilo

T10 Robot en posicioacuten

T11 Gesto de cirujano reconocido

T12 Robot en posicioacuten + fuerza

aplicada sobre el hilo

T13 Gesto de cirujano reconocido

T14 Robot en posicioacuten

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA DIAGRAMA DE ESTADOS (III)

PUNZADA DE LA AGUJAINSERCIOacuteN DE LA AGUJA

ANUDADOCORTE DEL HILO

S0

S2

S1 S3

S4

S5

S6

S8

S9 S7

S11

S10S12

S13

S14

T1

T2

T3

T4

T5

T6

T7T8

T9T10

i = 3 i lt 3

T11T12T13T14

T0

T15

Sk+1

Sk

Tk-1

Tk

Tk+1

1k

kE

1

1

k

kE

k

kE 1

k

kE

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA ASISTENTE DE ESTADOS

ASISTENTE DE ESTADOS

INTERACCIOacuteN

AUTO-GUIADA

Trayectoria

Planificada

Localizacioacuten

Cirujano

Localizacioacuten

del Robot

INTERFAZ DE

VOZ

Fuerzas y

Pares

Posicioacuten

Aguja

Sentildeal de

Audio

Comando

de Voz

RECONOCEDOR

DE GESTOS

ASISTENTE DE SUTURA

Activacioacuten

Tk Estado Sk

Activacioacuten

Tk

Funciones

1) Alcanzar posicioacuten objetivo

2) Aplicar fuerza en tejidohilo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA INTERACCIOacuteN AUTO-GUIADA

INTERACCIOacuteN AUTO-GUIADA

SISTEMA

ROBOT+-

1

AKoF

F

pr

MOVIMIENTO

AUTO-GUIADO

cx

or

cr r

D

DI

CONTROL

PI

++

D

-+ K

er

++

xcF

co FF

coc FFx 1

AKLey de Control

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

DEMO ASISTENCIA A LA SUTURA

Maniobra 1 Insercioacuten Maniobra 2 Puncioacuten

Maniobra 3 AnudadoManiobra 4 Corte del hilo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

IMPLANTACIOacuteN PLATAFORMA CISOBOT

Brazo Instrumental

Quiruacutergico

Brazo Caacutemara

Laparoscoacutepica

Estructura Robot

Asistente

Marca 3D

Sensor de

Fuerzas

Muntildeeca Pasiva

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT ENTORNO QUIRUacuteRGICO

Columna de

Laparoscopia

Tracker 3D

Brazo Caacutemara

Laparoscoacutepica

Brazo Instrumental

Quiruacutergico

Simulador de

Paciente

Herramienta del

Cirujano

Caacutemara

Laparoscoacutepica

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT ARQUITECTURA DE CONTROL

SENSORES ENTORNOASISTENTE DE ESTADOS

CIRUJANO

INTERACCIOacuteN

AUTO-GUIADA

BRAZOS ROBOTS

CONTROL DE

BAJO NIVEL

PACIENTE

Interaccioacute

n

Ciru

jano

Herramientas Robot

Trayectoria Planificada

Localizacioacuten Cirujano

Trayectoria ControladaLo

caliz

acioacute

n R

ob

ot

ROBOT ASISTENTE

SENSOR DE

FUERZAS

INTERFAZ DE

VOZ

Esfuerzos

Imagen Laparoscoacutepica

Contacto Robot

Aguja

Herramienta Cirujano

Activacioacuten

Sentildeal de Audio

TRACKER 3D

Comando de Voz

RECONOCEDOR

DE GESTOS

MOacuteDULO DE

VISIOacuteN

ASISTENTE

DE SUTURA Activacioacuten

Nuevo Estado

Nuevo Estado

ADQUISICIOacuteN

AUDIO

Voz del cirujano

Gesto Quiruacutergico

SIST

EMA

TOLE

RA

NTE

AFA

LLO

S

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT SISTEMA TOLERANTE A FALLOS

Evento Deteccioacuten Actuacioacuten

Fallo Hardware - Sentildeal de Fallo Hardware Parar el sistema

Colisioacuten entre brazos - Anaacutelisis de Colisioacuten cinemaacuteticaParar brazo de la caacutemara

mientras haya riesgo

Colisioacuten con herramienta

del cirujano

- Cambio inusual del Fulcro Estimado

- Herramienta del cirujano cerca del robotParar robot mientras haya riesgo

Colisioacuten con tejidooacuterganos- Cambio inusual del Fulcro Estimado

- Herramienta del cirujano lejos del robotExtraer herramienta del robot

Fallo de sensores- Medicioacuten anoacutemala y constante

independiente de la actuacioacuten

Mensaje de alerta y parar si

persiste

0 2 4 6 8 10 12 14 16 180

20

40

60

80

100

Dis

tan

cia

s (

mm

)

Distancia Robot-Objetivo

Distancia Robot-Cirujano

0 2 4 6 8 10 12 14 16 18-10

-5

0

5

10

15

20

Tiempo (segundos)

Fu

erz

as (

N)

Fx

Fy

Fz

0 2 4 6 8 10 12 14 16 18 200

20

40

60

80

100

Dis

tan

cia

s (

mm

)

Distancia Robot-Objetivo

Distancia Robot-Cirujano

0 2 4 6 8 10 12 14 16 18 20-20

-15

-10

-5

0

5

10

Tiempo (segundos)

Fu

erz

as (

N)

Fx

Fy

Fz

Co

lisioacute

n c

on

herr

am

ien

ta

Colisioacuten con tejido

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT EXPERIMENTOS PROPUESTOS

1 Movimiento esfeacuterico mediante la aplicacioacuten del control EMP

2 Movimiento auto-guiado con la herramienta del cirujano en

movimiento

3 Procedimiento de sutura Insercioacuten Puncioacuten Anudado y Corte

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 1 MOVIMIENTO ESFEacuteRICO

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 2 MOVIMIENTO AUTO-GUIADO

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (I)

Maniobra 1 Insercioacuten

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (II)

Maniobra 2 Puncioacuten

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (III)

Maniobra 3 Anudado

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (IV)

Maniobra 4 Corte del Hilo

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CONCLUSIONES

El gran esfuerzo investigador en torno a la roboacutetica quiruacutergica la destaca

como una herramienta de gran utilidad en cirugiacutea laparoscoacutepica

Tres grupos de robots quiruacutergicos tele-manipuladores camaroacutegrafos y

sistemas autoacutenomos

En un punto intermedio los robots semiautoacutenomos se perfilan como los

candidatos para la cirugiacutea en solitario

Contribuciones de esta tesis para los robots semiautoacutenomos

1 Movimiento esfeacuterico del instrumental mediante muntildeecas activas

2 Sistema auto-guiado para la planificacioacuten de movimientos en el interior

de la cavidad abdominal

3 Asistencia semiautoacutenoma al procedimiento laparoscoacutepico de sutura

Implantacioacuten de las contribuciones en el prototipo CISOBOT

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

LIacuteNEAS DE INVESTIGACIOacuteN FUTURAS

Ampliar la asistencia al cirujano en otros procedimientos ademaacutes de la

sutura corte transporte agarrehellip

Modelar complicaciones producidas con mayor frecuencia durante la

ejecucioacuten de los procedimientos anteriores (error en corte limpieza de

sangradohellip)

Modificar el robot para manejar instrumental a traveacutes de un solo orificio en

teacutecnicas SILS (Single Input Laparoscopic Surgery)

Eliminar la hipoacutetesis de herramientas riacutegidas para mejorar la localizacioacuten del

punto de fulcro e interaccioacuten con el cirujano y el paciente

Cambiar el modo secuencial del diagrama de estados de la sutura para

permitir una interaccioacuten simultaacutenea con el cirujano

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

APORTACIONES CIENTIacuteFICAS

CONGRESOS INTERNACIONALES (6) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoActive Wrists Endoscope Navigation in Robotized Laparoscopic

Surgeryrdquo IEEE International Conference on Mechatronics (ICM) Abril 2009 Maacutelaga (Espantildea) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoThree-Layer Control for Active Wrists in Robotized Laparoscopic

Surgeryrdquo IEEE International Conference on Intelligent Robots and Systems (IROS) Octubre 2009 St Louis (EEUU) B Estebanez G Jimeacutenez VF Muntildeoz I Garciacutea-Morales E Bauzano J Molina ldquoMinimally Invasive Surgery Maneuver

Recognition Based on Surgeon Modelrdquo IEEE International Congerence on Intelligent Robots and Systems (IROS) Octubre 2009 St Louis (EEUU)

E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoA Multi-Behavior Algorithm for Auto-Guided Movements in Surgeon Assistancerdquo IEEE International Workshop on Robotics in Alpe-Adria-Danube Region (RAAD) Junio 2010 Budapest (Hungriacutea)

Premio al mejor artiacuteculo de estudiante (Best Paper Award) E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoAuto-Guided Movements on Minimally Invasive Surgery for Surgeon Assistancerdquo

IEEE International Conference on Intelligent Robots and Systems (IROS) Octubre 2010 Taipei (Taiwaacuten) B Estebanez E Bauzano VF Muntildeoz ldquoSurgical Tools Pose Estimation for a Multimodal HMI of a Surgical Robot Assistantrdquo IEEE

International Conference on Intelligent Robots and Systems (IROS) Septiembre 2011 San Francisco (EEUU)

LIBROS Y REVISTAS (2) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoControl Methodologies for Endoscope Navigation in Robotized

Laparoscopic Surgeryrdquo Research and Education in Robotics Ed Springer-Verlag (Berliacuten Heidelberg) 2010 Vol 82 pp 11-22 ISBN 978-3-642-16369

E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoA Multi-Behavior Algorithm for Auto-Guided Movements in Surgeon Assistancerdquo International Journal of Mechanics and Control (JoMaC) Ed Levrotto amp Bella (Torino Italia) 2011 Vol 12 no 1 ISSN 1590-8844

CONGRESOS NACIONALES (10) ndash POSTERS Y WORKSHOPS

Proyecto de Excelencia P07-TEP-02897

ROBOT ASISTENTE SEMIAUTOacuteNOMO DE

DOS BRAZOS PARA INTERVENCIONES DE

CIRUGIacuteA LAPAROSCOacutePICA

Enrique Bauzano Nuacutentildeez

DEPARTAMENTO DE INGENIERIacuteA DE SISTEMAS Y AUTOMAacuteTICA

UNIVERSIDAD DE MAacuteLAGA

DEFENSA DE TESIS DOCTORAL

Directores Dr Viacutector F Muntildeoz Martiacutenez

Dra Isabel Garciacutea Morales

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

ESTABILIDAD DEL CONTROLADOR

15

20

25

15

20

25

0

02

04

06

08

1

Distancia real (cm)Distancia estimada K (cm)

05

1

15

2

05

1

15

2

0

05

1

Rigidez real (Nmm)Rigidez estimada (Nmm)

Criterio Los autovalores son inferiores a 1

2 50

Capa 1 Control Esfeacuterico Capa 2 Control EMP

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

DEMO CONTROL EMP

time (sec)fo

rce

s (N

)30

2

-2

0

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

PROBLEMA 2 PLANIFICACIOacuteN DE CAMINOS

Herramienta del

Robot

Caacutemara Herramienta del

Cirujano

Abdomen

Trayectoria

del Robot

Objetivo

Campo de Visioacuten

C

rp ro

O

GS

GC

GR

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SISTEMA DE MOVIMIENTO AUTO-GUIADO

SELECTOR DE

COMPORTAMIENTOS

PLANIFICADOR

LOCAL

CORRECCIOacuteN DE

VELOCIDAD

SEGUIMIENTO

DEL CIRUJANO

pv

1v1c

2v2c

3v3c

or

1c

2c

3c

Objetivo

Trayectoria Planificada

Herramienta del Cirujano

Herramienta del Robot

sv

rv

s1+

+

+

pr

kT

Tk

kT

Tkdtcccdt

)1(332211r

)1(prp vvvrvrr

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SELECTOR DE COMPORTAMIENTOS

67

3 2

Esfera de direcciones

14

58

rv

C CY

CX

CZ

sv

vr

vs

1 2 3 4 5 6 7 8

1 A L ML L C L ML L

2 L A L ML L C L ML

3 C MC A L C MC C L

4 MC C L A MC C L C

5 C L ML L A L ML L

6 L C L ML L A L ML

7 C MC C L C MC A L

8 MC C L C MC C L A

c1

c2

c3

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

COMPORTAMIENTO 1 PLANIFICADOR LOCAL

atrFrepF

RM SMf

RM

O

RG

SG

L

l

i

repatr UU i

repatr1 FFF

0

02

0

0

2

ˆˆ11

2

F

rF

rep

fatr

f

rep

atr

rK

L

l

K

dt

m1

11

Fv

Proceso Planificador_Local

1) Localizar el punto guiacutea MR2) Calcular el objetivo asociado al punto guiacutea MfR3) Calcular la fuerza F1 =gt Velocidad del punto guiacutea v14) Calcular la velocidad en el efector final del robot

5) Ejecutar movimiento del robot

6) Si no se ha alcanzado el objetivo O con el extremo de la herramienta volver a 1)

Fin de Procedimiento

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

COMPORTAMIENTO 2 CORRECCIOacuteN DE VELOCIDAD

Recta de

Colisioacuten

CP

RG

SG

SP

rv

sv

)( cR tP)( cS tP

RP

r2 vv 2K

dc

tc

Cero Baja Media Lejos Muy Lejos

Cero Maacutex Maacutex Muy Alta Muy Alta Alta

Bajo Maacutex Muy Alta Alta Alta Media

Medio Muy Alta Alta Media Media Poca

Bastante Muy Alta Alta Media Poca Nula

Mucho Alta Media Poca Nula Nula

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

COMPORTAMIENTO 3 SEGUIMIENTO DEL CIRUJANO

GR GS

s3 vF 3B dt

m

Bs3 vv

1

3

3

Proceso Auto_Guiado

1) Calcular los pesos de cada comportamiento c1 c2 c32) Calcular las velocidades de los tres comportamientos v1 v2 v3 3) Ponderar cada velocidad con su peso sumar e integrar =gt siguiente punto del camino rp4) Ejecutar movimiento del robot

5) Si el robot no ha llegado al objetivo ro volver a 1)

Fin de Procedimiento

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

DEMO MOVIMIENTO AUTO-GUIADO

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

PROBLEMA 3 ASISTENCIA A LA SUTURA

EndoscopioHerramienta del

cirujano

Herramienta

auxiliar

Sujecioacuten

del hiacutegado

Escenario de Colecistectomiacutea

Protocolo

1 Elevar hiacutegado para exponer la

vesiacutecula

2 Cortar triaacutengulo de Calot y exponer

arteria y conducto ciacutesticos

3 Suturar arteria y conducto ciacutesticos

para aislar un punto intermedio

4 Cortar arteria y conducto ciacutesticos

5 Separar vesiacutecula

6 Extraer vesiacutecula del paciente

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA CONCEPTOS PREVIOS

bull Gesto Accioacuten identificable maacutes elemental de las herramientas

laparoscoacutepicas (tirar del hilo de sutura presionar tejidohellip)

bull Maniobra Secuencia de gestos que componen una actuacioacuten

definible sobre el paciente (puncioacuten corte anudadohellip)

bull Procedimiento Maniobra o secuencia de maniobras que completan

una tarea propuesta por un protocolo quiruacutergico

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA MEacuteTODO DE ROSSER (I)

Laparoscopic Suturing httpwwwyoutubecomwatchv=PmdPAVFgNXU

1 Insertar aguja y centrar Agarrar aguja

2 Presionar tejido Posicionar aguja para puncioacuten

3 Agarrar aguja tras puncioacuten Puncioacuten mediante giro de 60deg-90deg

4 Extraer aguja y tirar del hilo Soltar aguja y sostener tejido

5 Colocar aguja a la sutura Desplazar herramienta sobre el hilo

6 Mantener posicioacuten Girar 2x sentido horario

7 Tensar hilo en sentido nordeste Agarrar extremo del hilo y mantener

MANO IZQUIERDA MANO DERECHA

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA MEacuteTODO DE ROSSER (II)

Problemas

Gran cantidad de gestos entre las dos manos

Compleja sincronizacioacuten entre las herramientas laparoscoacutepicas

Solucioacuten

Asistir al cirujano manejando una herramienta con un robot

Ventajas

Menor tiempo de aprendizaje en sincronizar ambas manos

La otra mano queda libre para otras tareas no automatizables

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA DIAGRAMA DE ESTADOS (I)

PUNZADA DE LA AGUJAINSERCIOacuteN DE LA AGUJA

ANUDADOCORTE DEL HILO

S0

S2

S1 S3

S4

S5

S6

S8

S9 S7

S11

S10S12

S13

S14

T1

T2

T3

T4

T5

T6

T7T8

T9T10

i = 3 i lt 3

T11T12T13T14

T0

T15

S0 Inicio y preparacioacuten de sutura

S1 Insertar y centrar aguja en pantalla

S2 Coger aguja y colocar en punto de

sutura

S3 Fijar tejido

S4 Punzar tejido extraer aguja y tirar

del hilo

S5 Separar del tejido y abrir pinza

S6 Colocar aguja en pinza izquierda

S7 Posicionar aguja

S8 Rotar alrededor del hilo

S9 Tirar del hilo y cerrar nudo

S10 Acercar aguja a punto de sutura

S11 Coger ambos extremos del hilo y

tensar

S12 Coger hilo bajo pinza derecha

S13 Cambiar herramienta y cortar hilo

S14 Extraer hilo y aguja

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA DIAGRAMA DE ESTADOS (II)

PUNZADA DE LA AGUJAINSERCIOacuteN DE LA AGUJA

ANUDADOCORTE DEL HILO

S0

S2

S1 S3

S4

S5

S6

S8

S9 S7

S11

S10S12

S13

S14

T1

T2

T3

T4

T5

T6

T7T8

T9T10

i = 3 i lt 3

T11T12T13T14

T0

T15

T0 Comando de voz ldquoSuturardquo

T1 Robot en posicioacuten

T2 Gesto de cirujano reconocido

T3 Fuerza aplicada sobre tejido

T4 Gesto de cirujano reconocido

T5 Robot en posicioacuten

T6 Gesto de cirujano reconocido

T7 Robot en posicioacuten

T8 Gesto de cirujano reconocido

T9 Fuerza aplicada sobre el hilo

T10 Robot en posicioacuten

T11 Gesto de cirujano reconocido

T12 Robot en posicioacuten + fuerza

aplicada sobre el hilo

T13 Gesto de cirujano reconocido

T14 Robot en posicioacuten

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA DIAGRAMA DE ESTADOS (III)

PUNZADA DE LA AGUJAINSERCIOacuteN DE LA AGUJA

ANUDADOCORTE DEL HILO

S0

S2

S1 S3

S4

S5

S6

S8

S9 S7

S11

S10S12

S13

S14

T1

T2

T3

T4

T5

T6

T7T8

T9T10

i = 3 i lt 3

T11T12T13T14

T0

T15

Sk+1

Sk

Tk-1

Tk

Tk+1

1k

kE

1

1

k

kE

k

kE 1

k

kE

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA ASISTENTE DE ESTADOS

ASISTENTE DE ESTADOS

INTERACCIOacuteN

AUTO-GUIADA

Trayectoria

Planificada

Localizacioacuten

Cirujano

Localizacioacuten

del Robot

INTERFAZ DE

VOZ

Fuerzas y

Pares

Posicioacuten

Aguja

Sentildeal de

Audio

Comando

de Voz

RECONOCEDOR

DE GESTOS

ASISTENTE DE SUTURA

Activacioacuten

Tk Estado Sk

Activacioacuten

Tk

Funciones

1) Alcanzar posicioacuten objetivo

2) Aplicar fuerza en tejidohilo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA INTERACCIOacuteN AUTO-GUIADA

INTERACCIOacuteN AUTO-GUIADA

SISTEMA

ROBOT+-

1

AKoF

F

pr

MOVIMIENTO

AUTO-GUIADO

cx

or

cr r

D

DI

CONTROL

PI

++

D

-+ K

er

++

xcF

co FF

coc FFx 1

AKLey de Control

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

DEMO ASISTENCIA A LA SUTURA

Maniobra 1 Insercioacuten Maniobra 2 Puncioacuten

Maniobra 3 AnudadoManiobra 4 Corte del hilo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

IMPLANTACIOacuteN PLATAFORMA CISOBOT

Brazo Instrumental

Quiruacutergico

Brazo Caacutemara

Laparoscoacutepica

Estructura Robot

Asistente

Marca 3D

Sensor de

Fuerzas

Muntildeeca Pasiva

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT ENTORNO QUIRUacuteRGICO

Columna de

Laparoscopia

Tracker 3D

Brazo Caacutemara

Laparoscoacutepica

Brazo Instrumental

Quiruacutergico

Simulador de

Paciente

Herramienta del

Cirujano

Caacutemara

Laparoscoacutepica

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT ARQUITECTURA DE CONTROL

SENSORES ENTORNOASISTENTE DE ESTADOS

CIRUJANO

INTERACCIOacuteN

AUTO-GUIADA

BRAZOS ROBOTS

CONTROL DE

BAJO NIVEL

PACIENTE

Interaccioacute

n

Ciru

jano

Herramientas Robot

Trayectoria Planificada

Localizacioacuten Cirujano

Trayectoria ControladaLo

caliz

acioacute

n R

ob

ot

ROBOT ASISTENTE

SENSOR DE

FUERZAS

INTERFAZ DE

VOZ

Esfuerzos

Imagen Laparoscoacutepica

Contacto Robot

Aguja

Herramienta Cirujano

Activacioacuten

Sentildeal de Audio

TRACKER 3D

Comando de Voz

RECONOCEDOR

DE GESTOS

MOacuteDULO DE

VISIOacuteN

ASISTENTE

DE SUTURA Activacioacuten

Nuevo Estado

Nuevo Estado

ADQUISICIOacuteN

AUDIO

Voz del cirujano

Gesto Quiruacutergico

SIST

EMA

TOLE

RA

NTE

AFA

LLO

S

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT SISTEMA TOLERANTE A FALLOS

Evento Deteccioacuten Actuacioacuten

Fallo Hardware - Sentildeal de Fallo Hardware Parar el sistema

Colisioacuten entre brazos - Anaacutelisis de Colisioacuten cinemaacuteticaParar brazo de la caacutemara

mientras haya riesgo

Colisioacuten con herramienta

del cirujano

- Cambio inusual del Fulcro Estimado

- Herramienta del cirujano cerca del robotParar robot mientras haya riesgo

Colisioacuten con tejidooacuterganos- Cambio inusual del Fulcro Estimado

- Herramienta del cirujano lejos del robotExtraer herramienta del robot

Fallo de sensores- Medicioacuten anoacutemala y constante

independiente de la actuacioacuten

Mensaje de alerta y parar si

persiste

0 2 4 6 8 10 12 14 16 180

20

40

60

80

100

Dis

tan

cia

s (

mm

)

Distancia Robot-Objetivo

Distancia Robot-Cirujano

0 2 4 6 8 10 12 14 16 18-10

-5

0

5

10

15

20

Tiempo (segundos)

Fu

erz

as (

N)

Fx

Fy

Fz

0 2 4 6 8 10 12 14 16 18 200

20

40

60

80

100

Dis

tan

cia

s (

mm

)

Distancia Robot-Objetivo

Distancia Robot-Cirujano

0 2 4 6 8 10 12 14 16 18 20-20

-15

-10

-5

0

5

10

Tiempo (segundos)

Fu

erz

as (

N)

Fx

Fy

Fz

Co

lisioacute

n c

on

herr

am

ien

ta

Colisioacuten con tejido

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT EXPERIMENTOS PROPUESTOS

1 Movimiento esfeacuterico mediante la aplicacioacuten del control EMP

2 Movimiento auto-guiado con la herramienta del cirujano en

movimiento

3 Procedimiento de sutura Insercioacuten Puncioacuten Anudado y Corte

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 1 MOVIMIENTO ESFEacuteRICO

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 2 MOVIMIENTO AUTO-GUIADO

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (I)

Maniobra 1 Insercioacuten

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (II)

Maniobra 2 Puncioacuten

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (III)

Maniobra 3 Anudado

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (IV)

Maniobra 4 Corte del Hilo

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CONCLUSIONES

El gran esfuerzo investigador en torno a la roboacutetica quiruacutergica la destaca

como una herramienta de gran utilidad en cirugiacutea laparoscoacutepica

Tres grupos de robots quiruacutergicos tele-manipuladores camaroacutegrafos y

sistemas autoacutenomos

En un punto intermedio los robots semiautoacutenomos se perfilan como los

candidatos para la cirugiacutea en solitario

Contribuciones de esta tesis para los robots semiautoacutenomos

1 Movimiento esfeacuterico del instrumental mediante muntildeecas activas

2 Sistema auto-guiado para la planificacioacuten de movimientos en el interior

de la cavidad abdominal

3 Asistencia semiautoacutenoma al procedimiento laparoscoacutepico de sutura

Implantacioacuten de las contribuciones en el prototipo CISOBOT

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

LIacuteNEAS DE INVESTIGACIOacuteN FUTURAS

Ampliar la asistencia al cirujano en otros procedimientos ademaacutes de la

sutura corte transporte agarrehellip

Modelar complicaciones producidas con mayor frecuencia durante la

ejecucioacuten de los procedimientos anteriores (error en corte limpieza de

sangradohellip)

Modificar el robot para manejar instrumental a traveacutes de un solo orificio en

teacutecnicas SILS (Single Input Laparoscopic Surgery)

Eliminar la hipoacutetesis de herramientas riacutegidas para mejorar la localizacioacuten del

punto de fulcro e interaccioacuten con el cirujano y el paciente

Cambiar el modo secuencial del diagrama de estados de la sutura para

permitir una interaccioacuten simultaacutenea con el cirujano

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

APORTACIONES CIENTIacuteFICAS

CONGRESOS INTERNACIONALES (6) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoActive Wrists Endoscope Navigation in Robotized Laparoscopic

Surgeryrdquo IEEE International Conference on Mechatronics (ICM) Abril 2009 Maacutelaga (Espantildea) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoThree-Layer Control for Active Wrists in Robotized Laparoscopic

Surgeryrdquo IEEE International Conference on Intelligent Robots and Systems (IROS) Octubre 2009 St Louis (EEUU) B Estebanez G Jimeacutenez VF Muntildeoz I Garciacutea-Morales E Bauzano J Molina ldquoMinimally Invasive Surgery Maneuver

Recognition Based on Surgeon Modelrdquo IEEE International Congerence on Intelligent Robots and Systems (IROS) Octubre 2009 St Louis (EEUU)

E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoA Multi-Behavior Algorithm for Auto-Guided Movements in Surgeon Assistancerdquo IEEE International Workshop on Robotics in Alpe-Adria-Danube Region (RAAD) Junio 2010 Budapest (Hungriacutea)

Premio al mejor artiacuteculo de estudiante (Best Paper Award) E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoAuto-Guided Movements on Minimally Invasive Surgery for Surgeon Assistancerdquo

IEEE International Conference on Intelligent Robots and Systems (IROS) Octubre 2010 Taipei (Taiwaacuten) B Estebanez E Bauzano VF Muntildeoz ldquoSurgical Tools Pose Estimation for a Multimodal HMI of a Surgical Robot Assistantrdquo IEEE

International Conference on Intelligent Robots and Systems (IROS) Septiembre 2011 San Francisco (EEUU)

LIBROS Y REVISTAS (2) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoControl Methodologies for Endoscope Navigation in Robotized

Laparoscopic Surgeryrdquo Research and Education in Robotics Ed Springer-Verlag (Berliacuten Heidelberg) 2010 Vol 82 pp 11-22 ISBN 978-3-642-16369

E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoA Multi-Behavior Algorithm for Auto-Guided Movements in Surgeon Assistancerdquo International Journal of Mechanics and Control (JoMaC) Ed Levrotto amp Bella (Torino Italia) 2011 Vol 12 no 1 ISSN 1590-8844

CONGRESOS NACIONALES (10) ndash POSTERS Y WORKSHOPS

Proyecto de Excelencia P07-TEP-02897

ROBOT ASISTENTE SEMIAUTOacuteNOMO DE

DOS BRAZOS PARA INTERVENCIONES DE

CIRUGIacuteA LAPAROSCOacutePICA

Enrique Bauzano Nuacutentildeez

DEPARTAMENTO DE INGENIERIacuteA DE SISTEMAS Y AUTOMAacuteTICA

UNIVERSIDAD DE MAacuteLAGA

DEFENSA DE TESIS DOCTORAL

Directores Dr Viacutector F Muntildeoz Martiacutenez

Dra Isabel Garciacutea Morales

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

DEMO CONTROL EMP

time (sec)fo

rce

s (N

)30

2

-2

0

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

PROBLEMA 2 PLANIFICACIOacuteN DE CAMINOS

Herramienta del

Robot

Caacutemara Herramienta del

Cirujano

Abdomen

Trayectoria

del Robot

Objetivo

Campo de Visioacuten

C

rp ro

O

GS

GC

GR

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SISTEMA DE MOVIMIENTO AUTO-GUIADO

SELECTOR DE

COMPORTAMIENTOS

PLANIFICADOR

LOCAL

CORRECCIOacuteN DE

VELOCIDAD

SEGUIMIENTO

DEL CIRUJANO

pv

1v1c

2v2c

3v3c

or

1c

2c

3c

Objetivo

Trayectoria Planificada

Herramienta del Cirujano

Herramienta del Robot

sv

rv

s1+

+

+

pr

kT

Tk

kT

Tkdtcccdt

)1(332211r

)1(prp vvvrvrr

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SELECTOR DE COMPORTAMIENTOS

67

3 2

Esfera de direcciones

14

58

rv

C CY

CX

CZ

sv

vr

vs

1 2 3 4 5 6 7 8

1 A L ML L C L ML L

2 L A L ML L C L ML

3 C MC A L C MC C L

4 MC C L A MC C L C

5 C L ML L A L ML L

6 L C L ML L A L ML

7 C MC C L C MC A L

8 MC C L C MC C L A

c1

c2

c3

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

COMPORTAMIENTO 1 PLANIFICADOR LOCAL

atrFrepF

RM SMf

RM

O

RG

SG

L

l

i

repatr UU i

repatr1 FFF

0

02

0

0

2

ˆˆ11

2

F

rF

rep

fatr

f

rep

atr

rK

L

l

K

dt

m1

11

Fv

Proceso Planificador_Local

1) Localizar el punto guiacutea MR2) Calcular el objetivo asociado al punto guiacutea MfR3) Calcular la fuerza F1 =gt Velocidad del punto guiacutea v14) Calcular la velocidad en el efector final del robot

5) Ejecutar movimiento del robot

6) Si no se ha alcanzado el objetivo O con el extremo de la herramienta volver a 1)

Fin de Procedimiento

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

COMPORTAMIENTO 2 CORRECCIOacuteN DE VELOCIDAD

Recta de

Colisioacuten

CP

RG

SG

SP

rv

sv

)( cR tP)( cS tP

RP

r2 vv 2K

dc

tc

Cero Baja Media Lejos Muy Lejos

Cero Maacutex Maacutex Muy Alta Muy Alta Alta

Bajo Maacutex Muy Alta Alta Alta Media

Medio Muy Alta Alta Media Media Poca

Bastante Muy Alta Alta Media Poca Nula

Mucho Alta Media Poca Nula Nula

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

COMPORTAMIENTO 3 SEGUIMIENTO DEL CIRUJANO

GR GS

s3 vF 3B dt

m

Bs3 vv

1

3

3

Proceso Auto_Guiado

1) Calcular los pesos de cada comportamiento c1 c2 c32) Calcular las velocidades de los tres comportamientos v1 v2 v3 3) Ponderar cada velocidad con su peso sumar e integrar =gt siguiente punto del camino rp4) Ejecutar movimiento del robot

5) Si el robot no ha llegado al objetivo ro volver a 1)

Fin de Procedimiento

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

DEMO MOVIMIENTO AUTO-GUIADO

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

PROBLEMA 3 ASISTENCIA A LA SUTURA

EndoscopioHerramienta del

cirujano

Herramienta

auxiliar

Sujecioacuten

del hiacutegado

Escenario de Colecistectomiacutea

Protocolo

1 Elevar hiacutegado para exponer la

vesiacutecula

2 Cortar triaacutengulo de Calot y exponer

arteria y conducto ciacutesticos

3 Suturar arteria y conducto ciacutesticos

para aislar un punto intermedio

4 Cortar arteria y conducto ciacutesticos

5 Separar vesiacutecula

6 Extraer vesiacutecula del paciente

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA CONCEPTOS PREVIOS

bull Gesto Accioacuten identificable maacutes elemental de las herramientas

laparoscoacutepicas (tirar del hilo de sutura presionar tejidohellip)

bull Maniobra Secuencia de gestos que componen una actuacioacuten

definible sobre el paciente (puncioacuten corte anudadohellip)

bull Procedimiento Maniobra o secuencia de maniobras que completan

una tarea propuesta por un protocolo quiruacutergico

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA MEacuteTODO DE ROSSER (I)

Laparoscopic Suturing httpwwwyoutubecomwatchv=PmdPAVFgNXU

1 Insertar aguja y centrar Agarrar aguja

2 Presionar tejido Posicionar aguja para puncioacuten

3 Agarrar aguja tras puncioacuten Puncioacuten mediante giro de 60deg-90deg

4 Extraer aguja y tirar del hilo Soltar aguja y sostener tejido

5 Colocar aguja a la sutura Desplazar herramienta sobre el hilo

6 Mantener posicioacuten Girar 2x sentido horario

7 Tensar hilo en sentido nordeste Agarrar extremo del hilo y mantener

MANO IZQUIERDA MANO DERECHA

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA MEacuteTODO DE ROSSER (II)

Problemas

Gran cantidad de gestos entre las dos manos

Compleja sincronizacioacuten entre las herramientas laparoscoacutepicas

Solucioacuten

Asistir al cirujano manejando una herramienta con un robot

Ventajas

Menor tiempo de aprendizaje en sincronizar ambas manos

La otra mano queda libre para otras tareas no automatizables

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA DIAGRAMA DE ESTADOS (I)

PUNZADA DE LA AGUJAINSERCIOacuteN DE LA AGUJA

ANUDADOCORTE DEL HILO

S0

S2

S1 S3

S4

S5

S6

S8

S9 S7

S11

S10S12

S13

S14

T1

T2

T3

T4

T5

T6

T7T8

T9T10

i = 3 i lt 3

T11T12T13T14

T0

T15

S0 Inicio y preparacioacuten de sutura

S1 Insertar y centrar aguja en pantalla

S2 Coger aguja y colocar en punto de

sutura

S3 Fijar tejido

S4 Punzar tejido extraer aguja y tirar

del hilo

S5 Separar del tejido y abrir pinza

S6 Colocar aguja en pinza izquierda

S7 Posicionar aguja

S8 Rotar alrededor del hilo

S9 Tirar del hilo y cerrar nudo

S10 Acercar aguja a punto de sutura

S11 Coger ambos extremos del hilo y

tensar

S12 Coger hilo bajo pinza derecha

S13 Cambiar herramienta y cortar hilo

S14 Extraer hilo y aguja

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA DIAGRAMA DE ESTADOS (II)

PUNZADA DE LA AGUJAINSERCIOacuteN DE LA AGUJA

ANUDADOCORTE DEL HILO

S0

S2

S1 S3

S4

S5

S6

S8

S9 S7

S11

S10S12

S13

S14

T1

T2

T3

T4

T5

T6

T7T8

T9T10

i = 3 i lt 3

T11T12T13T14

T0

T15

T0 Comando de voz ldquoSuturardquo

T1 Robot en posicioacuten

T2 Gesto de cirujano reconocido

T3 Fuerza aplicada sobre tejido

T4 Gesto de cirujano reconocido

T5 Robot en posicioacuten

T6 Gesto de cirujano reconocido

T7 Robot en posicioacuten

T8 Gesto de cirujano reconocido

T9 Fuerza aplicada sobre el hilo

T10 Robot en posicioacuten

T11 Gesto de cirujano reconocido

T12 Robot en posicioacuten + fuerza

aplicada sobre el hilo

T13 Gesto de cirujano reconocido

T14 Robot en posicioacuten

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA DIAGRAMA DE ESTADOS (III)

PUNZADA DE LA AGUJAINSERCIOacuteN DE LA AGUJA

ANUDADOCORTE DEL HILO

S0

S2

S1 S3

S4

S5

S6

S8

S9 S7

S11

S10S12

S13

S14

T1

T2

T3

T4

T5

T6

T7T8

T9T10

i = 3 i lt 3

T11T12T13T14

T0

T15

Sk+1

Sk

Tk-1

Tk

Tk+1

1k

kE

1

1

k

kE

k

kE 1

k

kE

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA ASISTENTE DE ESTADOS

ASISTENTE DE ESTADOS

INTERACCIOacuteN

AUTO-GUIADA

Trayectoria

Planificada

Localizacioacuten

Cirujano

Localizacioacuten

del Robot

INTERFAZ DE

VOZ

Fuerzas y

Pares

Posicioacuten

Aguja

Sentildeal de

Audio

Comando

de Voz

RECONOCEDOR

DE GESTOS

ASISTENTE DE SUTURA

Activacioacuten

Tk Estado Sk

Activacioacuten

Tk

Funciones

1) Alcanzar posicioacuten objetivo

2) Aplicar fuerza en tejidohilo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA INTERACCIOacuteN AUTO-GUIADA

INTERACCIOacuteN AUTO-GUIADA

SISTEMA

ROBOT+-

1

AKoF

F

pr

MOVIMIENTO

AUTO-GUIADO

cx

or

cr r

D

DI

CONTROL

PI

++

D

-+ K

er

++

xcF

co FF

coc FFx 1

AKLey de Control

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

DEMO ASISTENCIA A LA SUTURA

Maniobra 1 Insercioacuten Maniobra 2 Puncioacuten

Maniobra 3 AnudadoManiobra 4 Corte del hilo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

IMPLANTACIOacuteN PLATAFORMA CISOBOT

Brazo Instrumental

Quiruacutergico

Brazo Caacutemara

Laparoscoacutepica

Estructura Robot

Asistente

Marca 3D

Sensor de

Fuerzas

Muntildeeca Pasiva

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT ENTORNO QUIRUacuteRGICO

Columna de

Laparoscopia

Tracker 3D

Brazo Caacutemara

Laparoscoacutepica

Brazo Instrumental

Quiruacutergico

Simulador de

Paciente

Herramienta del

Cirujano

Caacutemara

Laparoscoacutepica

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT ARQUITECTURA DE CONTROL

SENSORES ENTORNOASISTENTE DE ESTADOS

CIRUJANO

INTERACCIOacuteN

AUTO-GUIADA

BRAZOS ROBOTS

CONTROL DE

BAJO NIVEL

PACIENTE

Interaccioacute

n

Ciru

jano

Herramientas Robot

Trayectoria Planificada

Localizacioacuten Cirujano

Trayectoria ControladaLo

caliz

acioacute

n R

ob

ot

ROBOT ASISTENTE

SENSOR DE

FUERZAS

INTERFAZ DE

VOZ

Esfuerzos

Imagen Laparoscoacutepica

Contacto Robot

Aguja

Herramienta Cirujano

Activacioacuten

Sentildeal de Audio

TRACKER 3D

Comando de Voz

RECONOCEDOR

DE GESTOS

MOacuteDULO DE

VISIOacuteN

ASISTENTE

DE SUTURA Activacioacuten

Nuevo Estado

Nuevo Estado

ADQUISICIOacuteN

AUDIO

Voz del cirujano

Gesto Quiruacutergico

SIST

EMA

TOLE

RA

NTE

AFA

LLO

S

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT SISTEMA TOLERANTE A FALLOS

Evento Deteccioacuten Actuacioacuten

Fallo Hardware - Sentildeal de Fallo Hardware Parar el sistema

Colisioacuten entre brazos - Anaacutelisis de Colisioacuten cinemaacuteticaParar brazo de la caacutemara

mientras haya riesgo

Colisioacuten con herramienta

del cirujano

- Cambio inusual del Fulcro Estimado

- Herramienta del cirujano cerca del robotParar robot mientras haya riesgo

Colisioacuten con tejidooacuterganos- Cambio inusual del Fulcro Estimado

- Herramienta del cirujano lejos del robotExtraer herramienta del robot

Fallo de sensores- Medicioacuten anoacutemala y constante

independiente de la actuacioacuten

Mensaje de alerta y parar si

persiste

0 2 4 6 8 10 12 14 16 180

20

40

60

80

100

Dis

tan

cia

s (

mm

)

Distancia Robot-Objetivo

Distancia Robot-Cirujano

0 2 4 6 8 10 12 14 16 18-10

-5

0

5

10

15

20

Tiempo (segundos)

Fu

erz

as (

N)

Fx

Fy

Fz

0 2 4 6 8 10 12 14 16 18 200

20

40

60

80

100

Dis

tan

cia

s (

mm

)

Distancia Robot-Objetivo

Distancia Robot-Cirujano

0 2 4 6 8 10 12 14 16 18 20-20

-15

-10

-5

0

5

10

Tiempo (segundos)

Fu

erz

as (

N)

Fx

Fy

Fz

Co

lisioacute

n c

on

herr

am

ien

ta

Colisioacuten con tejido

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT EXPERIMENTOS PROPUESTOS

1 Movimiento esfeacuterico mediante la aplicacioacuten del control EMP

2 Movimiento auto-guiado con la herramienta del cirujano en

movimiento

3 Procedimiento de sutura Insercioacuten Puncioacuten Anudado y Corte

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 1 MOVIMIENTO ESFEacuteRICO

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 2 MOVIMIENTO AUTO-GUIADO

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (I)

Maniobra 1 Insercioacuten

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (II)

Maniobra 2 Puncioacuten

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (III)

Maniobra 3 Anudado

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (IV)

Maniobra 4 Corte del Hilo

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CONCLUSIONES

El gran esfuerzo investigador en torno a la roboacutetica quiruacutergica la destaca

como una herramienta de gran utilidad en cirugiacutea laparoscoacutepica

Tres grupos de robots quiruacutergicos tele-manipuladores camaroacutegrafos y

sistemas autoacutenomos

En un punto intermedio los robots semiautoacutenomos se perfilan como los

candidatos para la cirugiacutea en solitario

Contribuciones de esta tesis para los robots semiautoacutenomos

1 Movimiento esfeacuterico del instrumental mediante muntildeecas activas

2 Sistema auto-guiado para la planificacioacuten de movimientos en el interior

de la cavidad abdominal

3 Asistencia semiautoacutenoma al procedimiento laparoscoacutepico de sutura

Implantacioacuten de las contribuciones en el prototipo CISOBOT

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

LIacuteNEAS DE INVESTIGACIOacuteN FUTURAS

Ampliar la asistencia al cirujano en otros procedimientos ademaacutes de la

sutura corte transporte agarrehellip

Modelar complicaciones producidas con mayor frecuencia durante la

ejecucioacuten de los procedimientos anteriores (error en corte limpieza de

sangradohellip)

Modificar el robot para manejar instrumental a traveacutes de un solo orificio en

teacutecnicas SILS (Single Input Laparoscopic Surgery)

Eliminar la hipoacutetesis de herramientas riacutegidas para mejorar la localizacioacuten del

punto de fulcro e interaccioacuten con el cirujano y el paciente

Cambiar el modo secuencial del diagrama de estados de la sutura para

permitir una interaccioacuten simultaacutenea con el cirujano

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

APORTACIONES CIENTIacuteFICAS

CONGRESOS INTERNACIONALES (6) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoActive Wrists Endoscope Navigation in Robotized Laparoscopic

Surgeryrdquo IEEE International Conference on Mechatronics (ICM) Abril 2009 Maacutelaga (Espantildea) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoThree-Layer Control for Active Wrists in Robotized Laparoscopic

Surgeryrdquo IEEE International Conference on Intelligent Robots and Systems (IROS) Octubre 2009 St Louis (EEUU) B Estebanez G Jimeacutenez VF Muntildeoz I Garciacutea-Morales E Bauzano J Molina ldquoMinimally Invasive Surgery Maneuver

Recognition Based on Surgeon Modelrdquo IEEE International Congerence on Intelligent Robots and Systems (IROS) Octubre 2009 St Louis (EEUU)

E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoA Multi-Behavior Algorithm for Auto-Guided Movements in Surgeon Assistancerdquo IEEE International Workshop on Robotics in Alpe-Adria-Danube Region (RAAD) Junio 2010 Budapest (Hungriacutea)

Premio al mejor artiacuteculo de estudiante (Best Paper Award) E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoAuto-Guided Movements on Minimally Invasive Surgery for Surgeon Assistancerdquo

IEEE International Conference on Intelligent Robots and Systems (IROS) Octubre 2010 Taipei (Taiwaacuten) B Estebanez E Bauzano VF Muntildeoz ldquoSurgical Tools Pose Estimation for a Multimodal HMI of a Surgical Robot Assistantrdquo IEEE

International Conference on Intelligent Robots and Systems (IROS) Septiembre 2011 San Francisco (EEUU)

LIBROS Y REVISTAS (2) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoControl Methodologies for Endoscope Navigation in Robotized

Laparoscopic Surgeryrdquo Research and Education in Robotics Ed Springer-Verlag (Berliacuten Heidelberg) 2010 Vol 82 pp 11-22 ISBN 978-3-642-16369

E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoA Multi-Behavior Algorithm for Auto-Guided Movements in Surgeon Assistancerdquo International Journal of Mechanics and Control (JoMaC) Ed Levrotto amp Bella (Torino Italia) 2011 Vol 12 no 1 ISSN 1590-8844

CONGRESOS NACIONALES (10) ndash POSTERS Y WORKSHOPS

Proyecto de Excelencia P07-TEP-02897

ROBOT ASISTENTE SEMIAUTOacuteNOMO DE

DOS BRAZOS PARA INTERVENCIONES DE

CIRUGIacuteA LAPAROSCOacutePICA

Enrique Bauzano Nuacutentildeez

DEPARTAMENTO DE INGENIERIacuteA DE SISTEMAS Y AUTOMAacuteTICA

UNIVERSIDAD DE MAacuteLAGA

DEFENSA DE TESIS DOCTORAL

Directores Dr Viacutector F Muntildeoz Martiacutenez

Dra Isabel Garciacutea Morales

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

PROBLEMA 2 PLANIFICACIOacuteN DE CAMINOS

Herramienta del

Robot

Caacutemara Herramienta del

Cirujano

Abdomen

Trayectoria

del Robot

Objetivo

Campo de Visioacuten

C

rp ro

O

GS

GC

GR

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SISTEMA DE MOVIMIENTO AUTO-GUIADO

SELECTOR DE

COMPORTAMIENTOS

PLANIFICADOR

LOCAL

CORRECCIOacuteN DE

VELOCIDAD

SEGUIMIENTO

DEL CIRUJANO

pv

1v1c

2v2c

3v3c

or

1c

2c

3c

Objetivo

Trayectoria Planificada

Herramienta del Cirujano

Herramienta del Robot

sv

rv

s1+

+

+

pr

kT

Tk

kT

Tkdtcccdt

)1(332211r

)1(prp vvvrvrr

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SELECTOR DE COMPORTAMIENTOS

67

3 2

Esfera de direcciones

14

58

rv

C CY

CX

CZ

sv

vr

vs

1 2 3 4 5 6 7 8

1 A L ML L C L ML L

2 L A L ML L C L ML

3 C MC A L C MC C L

4 MC C L A MC C L C

5 C L ML L A L ML L

6 L C L ML L A L ML

7 C MC C L C MC A L

8 MC C L C MC C L A

c1

c2

c3

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

COMPORTAMIENTO 1 PLANIFICADOR LOCAL

atrFrepF

RM SMf

RM

O

RG

SG

L

l

i

repatr UU i

repatr1 FFF

0

02

0

0

2

ˆˆ11

2

F

rF

rep

fatr

f

rep

atr

rK

L

l

K

dt

m1

11

Fv

Proceso Planificador_Local

1) Localizar el punto guiacutea MR2) Calcular el objetivo asociado al punto guiacutea MfR3) Calcular la fuerza F1 =gt Velocidad del punto guiacutea v14) Calcular la velocidad en el efector final del robot

5) Ejecutar movimiento del robot

6) Si no se ha alcanzado el objetivo O con el extremo de la herramienta volver a 1)

Fin de Procedimiento

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

COMPORTAMIENTO 2 CORRECCIOacuteN DE VELOCIDAD

Recta de

Colisioacuten

CP

RG

SG

SP

rv

sv

)( cR tP)( cS tP

RP

r2 vv 2K

dc

tc

Cero Baja Media Lejos Muy Lejos

Cero Maacutex Maacutex Muy Alta Muy Alta Alta

Bajo Maacutex Muy Alta Alta Alta Media

Medio Muy Alta Alta Media Media Poca

Bastante Muy Alta Alta Media Poca Nula

Mucho Alta Media Poca Nula Nula

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

COMPORTAMIENTO 3 SEGUIMIENTO DEL CIRUJANO

GR GS

s3 vF 3B dt

m

Bs3 vv

1

3

3

Proceso Auto_Guiado

1) Calcular los pesos de cada comportamiento c1 c2 c32) Calcular las velocidades de los tres comportamientos v1 v2 v3 3) Ponderar cada velocidad con su peso sumar e integrar =gt siguiente punto del camino rp4) Ejecutar movimiento del robot

5) Si el robot no ha llegado al objetivo ro volver a 1)

Fin de Procedimiento

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

DEMO MOVIMIENTO AUTO-GUIADO

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

PROBLEMA 3 ASISTENCIA A LA SUTURA

EndoscopioHerramienta del

cirujano

Herramienta

auxiliar

Sujecioacuten

del hiacutegado

Escenario de Colecistectomiacutea

Protocolo

1 Elevar hiacutegado para exponer la

vesiacutecula

2 Cortar triaacutengulo de Calot y exponer

arteria y conducto ciacutesticos

3 Suturar arteria y conducto ciacutesticos

para aislar un punto intermedio

4 Cortar arteria y conducto ciacutesticos

5 Separar vesiacutecula

6 Extraer vesiacutecula del paciente

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA CONCEPTOS PREVIOS

bull Gesto Accioacuten identificable maacutes elemental de las herramientas

laparoscoacutepicas (tirar del hilo de sutura presionar tejidohellip)

bull Maniobra Secuencia de gestos que componen una actuacioacuten

definible sobre el paciente (puncioacuten corte anudadohellip)

bull Procedimiento Maniobra o secuencia de maniobras que completan

una tarea propuesta por un protocolo quiruacutergico

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA MEacuteTODO DE ROSSER (I)

Laparoscopic Suturing httpwwwyoutubecomwatchv=PmdPAVFgNXU

1 Insertar aguja y centrar Agarrar aguja

2 Presionar tejido Posicionar aguja para puncioacuten

3 Agarrar aguja tras puncioacuten Puncioacuten mediante giro de 60deg-90deg

4 Extraer aguja y tirar del hilo Soltar aguja y sostener tejido

5 Colocar aguja a la sutura Desplazar herramienta sobre el hilo

6 Mantener posicioacuten Girar 2x sentido horario

7 Tensar hilo en sentido nordeste Agarrar extremo del hilo y mantener

MANO IZQUIERDA MANO DERECHA

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA MEacuteTODO DE ROSSER (II)

Problemas

Gran cantidad de gestos entre las dos manos

Compleja sincronizacioacuten entre las herramientas laparoscoacutepicas

Solucioacuten

Asistir al cirujano manejando una herramienta con un robot

Ventajas

Menor tiempo de aprendizaje en sincronizar ambas manos

La otra mano queda libre para otras tareas no automatizables

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA DIAGRAMA DE ESTADOS (I)

PUNZADA DE LA AGUJAINSERCIOacuteN DE LA AGUJA

ANUDADOCORTE DEL HILO

S0

S2

S1 S3

S4

S5

S6

S8

S9 S7

S11

S10S12

S13

S14

T1

T2

T3

T4

T5

T6

T7T8

T9T10

i = 3 i lt 3

T11T12T13T14

T0

T15

S0 Inicio y preparacioacuten de sutura

S1 Insertar y centrar aguja en pantalla

S2 Coger aguja y colocar en punto de

sutura

S3 Fijar tejido

S4 Punzar tejido extraer aguja y tirar

del hilo

S5 Separar del tejido y abrir pinza

S6 Colocar aguja en pinza izquierda

S7 Posicionar aguja

S8 Rotar alrededor del hilo

S9 Tirar del hilo y cerrar nudo

S10 Acercar aguja a punto de sutura

S11 Coger ambos extremos del hilo y

tensar

S12 Coger hilo bajo pinza derecha

S13 Cambiar herramienta y cortar hilo

S14 Extraer hilo y aguja

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA DIAGRAMA DE ESTADOS (II)

PUNZADA DE LA AGUJAINSERCIOacuteN DE LA AGUJA

ANUDADOCORTE DEL HILO

S0

S2

S1 S3

S4

S5

S6

S8

S9 S7

S11

S10S12

S13

S14

T1

T2

T3

T4

T5

T6

T7T8

T9T10

i = 3 i lt 3

T11T12T13T14

T0

T15

T0 Comando de voz ldquoSuturardquo

T1 Robot en posicioacuten

T2 Gesto de cirujano reconocido

T3 Fuerza aplicada sobre tejido

T4 Gesto de cirujano reconocido

T5 Robot en posicioacuten

T6 Gesto de cirujano reconocido

T7 Robot en posicioacuten

T8 Gesto de cirujano reconocido

T9 Fuerza aplicada sobre el hilo

T10 Robot en posicioacuten

T11 Gesto de cirujano reconocido

T12 Robot en posicioacuten + fuerza

aplicada sobre el hilo

T13 Gesto de cirujano reconocido

T14 Robot en posicioacuten

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA DIAGRAMA DE ESTADOS (III)

PUNZADA DE LA AGUJAINSERCIOacuteN DE LA AGUJA

ANUDADOCORTE DEL HILO

S0

S2

S1 S3

S4

S5

S6

S8

S9 S7

S11

S10S12

S13

S14

T1

T2

T3

T4

T5

T6

T7T8

T9T10

i = 3 i lt 3

T11T12T13T14

T0

T15

Sk+1

Sk

Tk-1

Tk

Tk+1

1k

kE

1

1

k

kE

k

kE 1

k

kE

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA ASISTENTE DE ESTADOS

ASISTENTE DE ESTADOS

INTERACCIOacuteN

AUTO-GUIADA

Trayectoria

Planificada

Localizacioacuten

Cirujano

Localizacioacuten

del Robot

INTERFAZ DE

VOZ

Fuerzas y

Pares

Posicioacuten

Aguja

Sentildeal de

Audio

Comando

de Voz

RECONOCEDOR

DE GESTOS

ASISTENTE DE SUTURA

Activacioacuten

Tk Estado Sk

Activacioacuten

Tk

Funciones

1) Alcanzar posicioacuten objetivo

2) Aplicar fuerza en tejidohilo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA INTERACCIOacuteN AUTO-GUIADA

INTERACCIOacuteN AUTO-GUIADA

SISTEMA

ROBOT+-

1

AKoF

F

pr

MOVIMIENTO

AUTO-GUIADO

cx

or

cr r

D

DI

CONTROL

PI

++

D

-+ K

er

++

xcF

co FF

coc FFx 1

AKLey de Control

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

DEMO ASISTENCIA A LA SUTURA

Maniobra 1 Insercioacuten Maniobra 2 Puncioacuten

Maniobra 3 AnudadoManiobra 4 Corte del hilo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

IMPLANTACIOacuteN PLATAFORMA CISOBOT

Brazo Instrumental

Quiruacutergico

Brazo Caacutemara

Laparoscoacutepica

Estructura Robot

Asistente

Marca 3D

Sensor de

Fuerzas

Muntildeeca Pasiva

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT ENTORNO QUIRUacuteRGICO

Columna de

Laparoscopia

Tracker 3D

Brazo Caacutemara

Laparoscoacutepica

Brazo Instrumental

Quiruacutergico

Simulador de

Paciente

Herramienta del

Cirujano

Caacutemara

Laparoscoacutepica

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT ARQUITECTURA DE CONTROL

SENSORES ENTORNOASISTENTE DE ESTADOS

CIRUJANO

INTERACCIOacuteN

AUTO-GUIADA

BRAZOS ROBOTS

CONTROL DE

BAJO NIVEL

PACIENTE

Interaccioacute

n

Ciru

jano

Herramientas Robot

Trayectoria Planificada

Localizacioacuten Cirujano

Trayectoria ControladaLo

caliz

acioacute

n R

ob

ot

ROBOT ASISTENTE

SENSOR DE

FUERZAS

INTERFAZ DE

VOZ

Esfuerzos

Imagen Laparoscoacutepica

Contacto Robot

Aguja

Herramienta Cirujano

Activacioacuten

Sentildeal de Audio

TRACKER 3D

Comando de Voz

RECONOCEDOR

DE GESTOS

MOacuteDULO DE

VISIOacuteN

ASISTENTE

DE SUTURA Activacioacuten

Nuevo Estado

Nuevo Estado

ADQUISICIOacuteN

AUDIO

Voz del cirujano

Gesto Quiruacutergico

SIST

EMA

TOLE

RA

NTE

AFA

LLO

S

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT SISTEMA TOLERANTE A FALLOS

Evento Deteccioacuten Actuacioacuten

Fallo Hardware - Sentildeal de Fallo Hardware Parar el sistema

Colisioacuten entre brazos - Anaacutelisis de Colisioacuten cinemaacuteticaParar brazo de la caacutemara

mientras haya riesgo

Colisioacuten con herramienta

del cirujano

- Cambio inusual del Fulcro Estimado

- Herramienta del cirujano cerca del robotParar robot mientras haya riesgo

Colisioacuten con tejidooacuterganos- Cambio inusual del Fulcro Estimado

- Herramienta del cirujano lejos del robotExtraer herramienta del robot

Fallo de sensores- Medicioacuten anoacutemala y constante

independiente de la actuacioacuten

Mensaje de alerta y parar si

persiste

0 2 4 6 8 10 12 14 16 180

20

40

60

80

100

Dis

tan

cia

s (

mm

)

Distancia Robot-Objetivo

Distancia Robot-Cirujano

0 2 4 6 8 10 12 14 16 18-10

-5

0

5

10

15

20

Tiempo (segundos)

Fu

erz

as (

N)

Fx

Fy

Fz

0 2 4 6 8 10 12 14 16 18 200

20

40

60

80

100

Dis

tan

cia

s (

mm

)

Distancia Robot-Objetivo

Distancia Robot-Cirujano

0 2 4 6 8 10 12 14 16 18 20-20

-15

-10

-5

0

5

10

Tiempo (segundos)

Fu

erz

as (

N)

Fx

Fy

Fz

Co

lisioacute

n c

on

herr

am

ien

ta

Colisioacuten con tejido

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT EXPERIMENTOS PROPUESTOS

1 Movimiento esfeacuterico mediante la aplicacioacuten del control EMP

2 Movimiento auto-guiado con la herramienta del cirujano en

movimiento

3 Procedimiento de sutura Insercioacuten Puncioacuten Anudado y Corte

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 1 MOVIMIENTO ESFEacuteRICO

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 2 MOVIMIENTO AUTO-GUIADO

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (I)

Maniobra 1 Insercioacuten

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (II)

Maniobra 2 Puncioacuten

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (III)

Maniobra 3 Anudado

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (IV)

Maniobra 4 Corte del Hilo

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CONCLUSIONES

El gran esfuerzo investigador en torno a la roboacutetica quiruacutergica la destaca

como una herramienta de gran utilidad en cirugiacutea laparoscoacutepica

Tres grupos de robots quiruacutergicos tele-manipuladores camaroacutegrafos y

sistemas autoacutenomos

En un punto intermedio los robots semiautoacutenomos se perfilan como los

candidatos para la cirugiacutea en solitario

Contribuciones de esta tesis para los robots semiautoacutenomos

1 Movimiento esfeacuterico del instrumental mediante muntildeecas activas

2 Sistema auto-guiado para la planificacioacuten de movimientos en el interior

de la cavidad abdominal

3 Asistencia semiautoacutenoma al procedimiento laparoscoacutepico de sutura

Implantacioacuten de las contribuciones en el prototipo CISOBOT

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

LIacuteNEAS DE INVESTIGACIOacuteN FUTURAS

Ampliar la asistencia al cirujano en otros procedimientos ademaacutes de la

sutura corte transporte agarrehellip

Modelar complicaciones producidas con mayor frecuencia durante la

ejecucioacuten de los procedimientos anteriores (error en corte limpieza de

sangradohellip)

Modificar el robot para manejar instrumental a traveacutes de un solo orificio en

teacutecnicas SILS (Single Input Laparoscopic Surgery)

Eliminar la hipoacutetesis de herramientas riacutegidas para mejorar la localizacioacuten del

punto de fulcro e interaccioacuten con el cirujano y el paciente

Cambiar el modo secuencial del diagrama de estados de la sutura para

permitir una interaccioacuten simultaacutenea con el cirujano

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

APORTACIONES CIENTIacuteFICAS

CONGRESOS INTERNACIONALES (6) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoActive Wrists Endoscope Navigation in Robotized Laparoscopic

Surgeryrdquo IEEE International Conference on Mechatronics (ICM) Abril 2009 Maacutelaga (Espantildea) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoThree-Layer Control for Active Wrists in Robotized Laparoscopic

Surgeryrdquo IEEE International Conference on Intelligent Robots and Systems (IROS) Octubre 2009 St Louis (EEUU) B Estebanez G Jimeacutenez VF Muntildeoz I Garciacutea-Morales E Bauzano J Molina ldquoMinimally Invasive Surgery Maneuver

Recognition Based on Surgeon Modelrdquo IEEE International Congerence on Intelligent Robots and Systems (IROS) Octubre 2009 St Louis (EEUU)

E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoA Multi-Behavior Algorithm for Auto-Guided Movements in Surgeon Assistancerdquo IEEE International Workshop on Robotics in Alpe-Adria-Danube Region (RAAD) Junio 2010 Budapest (Hungriacutea)

Premio al mejor artiacuteculo de estudiante (Best Paper Award) E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoAuto-Guided Movements on Minimally Invasive Surgery for Surgeon Assistancerdquo

IEEE International Conference on Intelligent Robots and Systems (IROS) Octubre 2010 Taipei (Taiwaacuten) B Estebanez E Bauzano VF Muntildeoz ldquoSurgical Tools Pose Estimation for a Multimodal HMI of a Surgical Robot Assistantrdquo IEEE

International Conference on Intelligent Robots and Systems (IROS) Septiembre 2011 San Francisco (EEUU)

LIBROS Y REVISTAS (2) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoControl Methodologies for Endoscope Navigation in Robotized

Laparoscopic Surgeryrdquo Research and Education in Robotics Ed Springer-Verlag (Berliacuten Heidelberg) 2010 Vol 82 pp 11-22 ISBN 978-3-642-16369

E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoA Multi-Behavior Algorithm for Auto-Guided Movements in Surgeon Assistancerdquo International Journal of Mechanics and Control (JoMaC) Ed Levrotto amp Bella (Torino Italia) 2011 Vol 12 no 1 ISSN 1590-8844

CONGRESOS NACIONALES (10) ndash POSTERS Y WORKSHOPS

Proyecto de Excelencia P07-TEP-02897

ROBOT ASISTENTE SEMIAUTOacuteNOMO DE

DOS BRAZOS PARA INTERVENCIONES DE

CIRUGIacuteA LAPAROSCOacutePICA

Enrique Bauzano Nuacutentildeez

DEPARTAMENTO DE INGENIERIacuteA DE SISTEMAS Y AUTOMAacuteTICA

UNIVERSIDAD DE MAacuteLAGA

DEFENSA DE TESIS DOCTORAL

Directores Dr Viacutector F Muntildeoz Martiacutenez

Dra Isabel Garciacutea Morales

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SISTEMA DE MOVIMIENTO AUTO-GUIADO

SELECTOR DE

COMPORTAMIENTOS

PLANIFICADOR

LOCAL

CORRECCIOacuteN DE

VELOCIDAD

SEGUIMIENTO

DEL CIRUJANO

pv

1v1c

2v2c

3v3c

or

1c

2c

3c

Objetivo

Trayectoria Planificada

Herramienta del Cirujano

Herramienta del Robot

sv

rv

s1+

+

+

pr

kT

Tk

kT

Tkdtcccdt

)1(332211r

)1(prp vvvrvrr

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SELECTOR DE COMPORTAMIENTOS

67

3 2

Esfera de direcciones

14

58

rv

C CY

CX

CZ

sv

vr

vs

1 2 3 4 5 6 7 8

1 A L ML L C L ML L

2 L A L ML L C L ML

3 C MC A L C MC C L

4 MC C L A MC C L C

5 C L ML L A L ML L

6 L C L ML L A L ML

7 C MC C L C MC A L

8 MC C L C MC C L A

c1

c2

c3

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

COMPORTAMIENTO 1 PLANIFICADOR LOCAL

atrFrepF

RM SMf

RM

O

RG

SG

L

l

i

repatr UU i

repatr1 FFF

0

02

0

0

2

ˆˆ11

2

F

rF

rep

fatr

f

rep

atr

rK

L

l

K

dt

m1

11

Fv

Proceso Planificador_Local

1) Localizar el punto guiacutea MR2) Calcular el objetivo asociado al punto guiacutea MfR3) Calcular la fuerza F1 =gt Velocidad del punto guiacutea v14) Calcular la velocidad en el efector final del robot

5) Ejecutar movimiento del robot

6) Si no se ha alcanzado el objetivo O con el extremo de la herramienta volver a 1)

Fin de Procedimiento

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

COMPORTAMIENTO 2 CORRECCIOacuteN DE VELOCIDAD

Recta de

Colisioacuten

CP

RG

SG

SP

rv

sv

)( cR tP)( cS tP

RP

r2 vv 2K

dc

tc

Cero Baja Media Lejos Muy Lejos

Cero Maacutex Maacutex Muy Alta Muy Alta Alta

Bajo Maacutex Muy Alta Alta Alta Media

Medio Muy Alta Alta Media Media Poca

Bastante Muy Alta Alta Media Poca Nula

Mucho Alta Media Poca Nula Nula

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

COMPORTAMIENTO 3 SEGUIMIENTO DEL CIRUJANO

GR GS

s3 vF 3B dt

m

Bs3 vv

1

3

3

Proceso Auto_Guiado

1) Calcular los pesos de cada comportamiento c1 c2 c32) Calcular las velocidades de los tres comportamientos v1 v2 v3 3) Ponderar cada velocidad con su peso sumar e integrar =gt siguiente punto del camino rp4) Ejecutar movimiento del robot

5) Si el robot no ha llegado al objetivo ro volver a 1)

Fin de Procedimiento

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

DEMO MOVIMIENTO AUTO-GUIADO

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

PROBLEMA 3 ASISTENCIA A LA SUTURA

EndoscopioHerramienta del

cirujano

Herramienta

auxiliar

Sujecioacuten

del hiacutegado

Escenario de Colecistectomiacutea

Protocolo

1 Elevar hiacutegado para exponer la

vesiacutecula

2 Cortar triaacutengulo de Calot y exponer

arteria y conducto ciacutesticos

3 Suturar arteria y conducto ciacutesticos

para aislar un punto intermedio

4 Cortar arteria y conducto ciacutesticos

5 Separar vesiacutecula

6 Extraer vesiacutecula del paciente

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA CONCEPTOS PREVIOS

bull Gesto Accioacuten identificable maacutes elemental de las herramientas

laparoscoacutepicas (tirar del hilo de sutura presionar tejidohellip)

bull Maniobra Secuencia de gestos que componen una actuacioacuten

definible sobre el paciente (puncioacuten corte anudadohellip)

bull Procedimiento Maniobra o secuencia de maniobras que completan

una tarea propuesta por un protocolo quiruacutergico

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA MEacuteTODO DE ROSSER (I)

Laparoscopic Suturing httpwwwyoutubecomwatchv=PmdPAVFgNXU

1 Insertar aguja y centrar Agarrar aguja

2 Presionar tejido Posicionar aguja para puncioacuten

3 Agarrar aguja tras puncioacuten Puncioacuten mediante giro de 60deg-90deg

4 Extraer aguja y tirar del hilo Soltar aguja y sostener tejido

5 Colocar aguja a la sutura Desplazar herramienta sobre el hilo

6 Mantener posicioacuten Girar 2x sentido horario

7 Tensar hilo en sentido nordeste Agarrar extremo del hilo y mantener

MANO IZQUIERDA MANO DERECHA

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA MEacuteTODO DE ROSSER (II)

Problemas

Gran cantidad de gestos entre las dos manos

Compleja sincronizacioacuten entre las herramientas laparoscoacutepicas

Solucioacuten

Asistir al cirujano manejando una herramienta con un robot

Ventajas

Menor tiempo de aprendizaje en sincronizar ambas manos

La otra mano queda libre para otras tareas no automatizables

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA DIAGRAMA DE ESTADOS (I)

PUNZADA DE LA AGUJAINSERCIOacuteN DE LA AGUJA

ANUDADOCORTE DEL HILO

S0

S2

S1 S3

S4

S5

S6

S8

S9 S7

S11

S10S12

S13

S14

T1

T2

T3

T4

T5

T6

T7T8

T9T10

i = 3 i lt 3

T11T12T13T14

T0

T15

S0 Inicio y preparacioacuten de sutura

S1 Insertar y centrar aguja en pantalla

S2 Coger aguja y colocar en punto de

sutura

S3 Fijar tejido

S4 Punzar tejido extraer aguja y tirar

del hilo

S5 Separar del tejido y abrir pinza

S6 Colocar aguja en pinza izquierda

S7 Posicionar aguja

S8 Rotar alrededor del hilo

S9 Tirar del hilo y cerrar nudo

S10 Acercar aguja a punto de sutura

S11 Coger ambos extremos del hilo y

tensar

S12 Coger hilo bajo pinza derecha

S13 Cambiar herramienta y cortar hilo

S14 Extraer hilo y aguja

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA DIAGRAMA DE ESTADOS (II)

PUNZADA DE LA AGUJAINSERCIOacuteN DE LA AGUJA

ANUDADOCORTE DEL HILO

S0

S2

S1 S3

S4

S5

S6

S8

S9 S7

S11

S10S12

S13

S14

T1

T2

T3

T4

T5

T6

T7T8

T9T10

i = 3 i lt 3

T11T12T13T14

T0

T15

T0 Comando de voz ldquoSuturardquo

T1 Robot en posicioacuten

T2 Gesto de cirujano reconocido

T3 Fuerza aplicada sobre tejido

T4 Gesto de cirujano reconocido

T5 Robot en posicioacuten

T6 Gesto de cirujano reconocido

T7 Robot en posicioacuten

T8 Gesto de cirujano reconocido

T9 Fuerza aplicada sobre el hilo

T10 Robot en posicioacuten

T11 Gesto de cirujano reconocido

T12 Robot en posicioacuten + fuerza

aplicada sobre el hilo

T13 Gesto de cirujano reconocido

T14 Robot en posicioacuten

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA DIAGRAMA DE ESTADOS (III)

PUNZADA DE LA AGUJAINSERCIOacuteN DE LA AGUJA

ANUDADOCORTE DEL HILO

S0

S2

S1 S3

S4

S5

S6

S8

S9 S7

S11

S10S12

S13

S14

T1

T2

T3

T4

T5

T6

T7T8

T9T10

i = 3 i lt 3

T11T12T13T14

T0

T15

Sk+1

Sk

Tk-1

Tk

Tk+1

1k

kE

1

1

k

kE

k

kE 1

k

kE

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA ASISTENTE DE ESTADOS

ASISTENTE DE ESTADOS

INTERACCIOacuteN

AUTO-GUIADA

Trayectoria

Planificada

Localizacioacuten

Cirujano

Localizacioacuten

del Robot

INTERFAZ DE

VOZ

Fuerzas y

Pares

Posicioacuten

Aguja

Sentildeal de

Audio

Comando

de Voz

RECONOCEDOR

DE GESTOS

ASISTENTE DE SUTURA

Activacioacuten

Tk Estado Sk

Activacioacuten

Tk

Funciones

1) Alcanzar posicioacuten objetivo

2) Aplicar fuerza en tejidohilo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA INTERACCIOacuteN AUTO-GUIADA

INTERACCIOacuteN AUTO-GUIADA

SISTEMA

ROBOT+-

1

AKoF

F

pr

MOVIMIENTO

AUTO-GUIADO

cx

or

cr r

D

DI

CONTROL

PI

++

D

-+ K

er

++

xcF

co FF

coc FFx 1

AKLey de Control

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

DEMO ASISTENCIA A LA SUTURA

Maniobra 1 Insercioacuten Maniobra 2 Puncioacuten

Maniobra 3 AnudadoManiobra 4 Corte del hilo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

IMPLANTACIOacuteN PLATAFORMA CISOBOT

Brazo Instrumental

Quiruacutergico

Brazo Caacutemara

Laparoscoacutepica

Estructura Robot

Asistente

Marca 3D

Sensor de

Fuerzas

Muntildeeca Pasiva

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT ENTORNO QUIRUacuteRGICO

Columna de

Laparoscopia

Tracker 3D

Brazo Caacutemara

Laparoscoacutepica

Brazo Instrumental

Quiruacutergico

Simulador de

Paciente

Herramienta del

Cirujano

Caacutemara

Laparoscoacutepica

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT ARQUITECTURA DE CONTROL

SENSORES ENTORNOASISTENTE DE ESTADOS

CIRUJANO

INTERACCIOacuteN

AUTO-GUIADA

BRAZOS ROBOTS

CONTROL DE

BAJO NIVEL

PACIENTE

Interaccioacute

n

Ciru

jano

Herramientas Robot

Trayectoria Planificada

Localizacioacuten Cirujano

Trayectoria ControladaLo

caliz

acioacute

n R

ob

ot

ROBOT ASISTENTE

SENSOR DE

FUERZAS

INTERFAZ DE

VOZ

Esfuerzos

Imagen Laparoscoacutepica

Contacto Robot

Aguja

Herramienta Cirujano

Activacioacuten

Sentildeal de Audio

TRACKER 3D

Comando de Voz

RECONOCEDOR

DE GESTOS

MOacuteDULO DE

VISIOacuteN

ASISTENTE

DE SUTURA Activacioacuten

Nuevo Estado

Nuevo Estado

ADQUISICIOacuteN

AUDIO

Voz del cirujano

Gesto Quiruacutergico

SIST

EMA

TOLE

RA

NTE

AFA

LLO

S

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT SISTEMA TOLERANTE A FALLOS

Evento Deteccioacuten Actuacioacuten

Fallo Hardware - Sentildeal de Fallo Hardware Parar el sistema

Colisioacuten entre brazos - Anaacutelisis de Colisioacuten cinemaacuteticaParar brazo de la caacutemara

mientras haya riesgo

Colisioacuten con herramienta

del cirujano

- Cambio inusual del Fulcro Estimado

- Herramienta del cirujano cerca del robotParar robot mientras haya riesgo

Colisioacuten con tejidooacuterganos- Cambio inusual del Fulcro Estimado

- Herramienta del cirujano lejos del robotExtraer herramienta del robot

Fallo de sensores- Medicioacuten anoacutemala y constante

independiente de la actuacioacuten

Mensaje de alerta y parar si

persiste

0 2 4 6 8 10 12 14 16 180

20

40

60

80

100

Dis

tan

cia

s (

mm

)

Distancia Robot-Objetivo

Distancia Robot-Cirujano

0 2 4 6 8 10 12 14 16 18-10

-5

0

5

10

15

20

Tiempo (segundos)

Fu

erz

as (

N)

Fx

Fy

Fz

0 2 4 6 8 10 12 14 16 18 200

20

40

60

80

100

Dis

tan

cia

s (

mm

)

Distancia Robot-Objetivo

Distancia Robot-Cirujano

0 2 4 6 8 10 12 14 16 18 20-20

-15

-10

-5

0

5

10

Tiempo (segundos)

Fu

erz

as (

N)

Fx

Fy

Fz

Co

lisioacute

n c

on

herr

am

ien

ta

Colisioacuten con tejido

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT EXPERIMENTOS PROPUESTOS

1 Movimiento esfeacuterico mediante la aplicacioacuten del control EMP

2 Movimiento auto-guiado con la herramienta del cirujano en

movimiento

3 Procedimiento de sutura Insercioacuten Puncioacuten Anudado y Corte

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 1 MOVIMIENTO ESFEacuteRICO

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 2 MOVIMIENTO AUTO-GUIADO

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (I)

Maniobra 1 Insercioacuten

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (II)

Maniobra 2 Puncioacuten

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (III)

Maniobra 3 Anudado

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (IV)

Maniobra 4 Corte del Hilo

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CONCLUSIONES

El gran esfuerzo investigador en torno a la roboacutetica quiruacutergica la destaca

como una herramienta de gran utilidad en cirugiacutea laparoscoacutepica

Tres grupos de robots quiruacutergicos tele-manipuladores camaroacutegrafos y

sistemas autoacutenomos

En un punto intermedio los robots semiautoacutenomos se perfilan como los

candidatos para la cirugiacutea en solitario

Contribuciones de esta tesis para los robots semiautoacutenomos

1 Movimiento esfeacuterico del instrumental mediante muntildeecas activas

2 Sistema auto-guiado para la planificacioacuten de movimientos en el interior

de la cavidad abdominal

3 Asistencia semiautoacutenoma al procedimiento laparoscoacutepico de sutura

Implantacioacuten de las contribuciones en el prototipo CISOBOT

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

LIacuteNEAS DE INVESTIGACIOacuteN FUTURAS

Ampliar la asistencia al cirujano en otros procedimientos ademaacutes de la

sutura corte transporte agarrehellip

Modelar complicaciones producidas con mayor frecuencia durante la

ejecucioacuten de los procedimientos anteriores (error en corte limpieza de

sangradohellip)

Modificar el robot para manejar instrumental a traveacutes de un solo orificio en

teacutecnicas SILS (Single Input Laparoscopic Surgery)

Eliminar la hipoacutetesis de herramientas riacutegidas para mejorar la localizacioacuten del

punto de fulcro e interaccioacuten con el cirujano y el paciente

Cambiar el modo secuencial del diagrama de estados de la sutura para

permitir una interaccioacuten simultaacutenea con el cirujano

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

APORTACIONES CIENTIacuteFICAS

CONGRESOS INTERNACIONALES (6) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoActive Wrists Endoscope Navigation in Robotized Laparoscopic

Surgeryrdquo IEEE International Conference on Mechatronics (ICM) Abril 2009 Maacutelaga (Espantildea) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoThree-Layer Control for Active Wrists in Robotized Laparoscopic

Surgeryrdquo IEEE International Conference on Intelligent Robots and Systems (IROS) Octubre 2009 St Louis (EEUU) B Estebanez G Jimeacutenez VF Muntildeoz I Garciacutea-Morales E Bauzano J Molina ldquoMinimally Invasive Surgery Maneuver

Recognition Based on Surgeon Modelrdquo IEEE International Congerence on Intelligent Robots and Systems (IROS) Octubre 2009 St Louis (EEUU)

E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoA Multi-Behavior Algorithm for Auto-Guided Movements in Surgeon Assistancerdquo IEEE International Workshop on Robotics in Alpe-Adria-Danube Region (RAAD) Junio 2010 Budapest (Hungriacutea)

Premio al mejor artiacuteculo de estudiante (Best Paper Award) E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoAuto-Guided Movements on Minimally Invasive Surgery for Surgeon Assistancerdquo

IEEE International Conference on Intelligent Robots and Systems (IROS) Octubre 2010 Taipei (Taiwaacuten) B Estebanez E Bauzano VF Muntildeoz ldquoSurgical Tools Pose Estimation for a Multimodal HMI of a Surgical Robot Assistantrdquo IEEE

International Conference on Intelligent Robots and Systems (IROS) Septiembre 2011 San Francisco (EEUU)

LIBROS Y REVISTAS (2) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoControl Methodologies for Endoscope Navigation in Robotized

Laparoscopic Surgeryrdquo Research and Education in Robotics Ed Springer-Verlag (Berliacuten Heidelberg) 2010 Vol 82 pp 11-22 ISBN 978-3-642-16369

E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoA Multi-Behavior Algorithm for Auto-Guided Movements in Surgeon Assistancerdquo International Journal of Mechanics and Control (JoMaC) Ed Levrotto amp Bella (Torino Italia) 2011 Vol 12 no 1 ISSN 1590-8844

CONGRESOS NACIONALES (10) ndash POSTERS Y WORKSHOPS

Proyecto de Excelencia P07-TEP-02897

ROBOT ASISTENTE SEMIAUTOacuteNOMO DE

DOS BRAZOS PARA INTERVENCIONES DE

CIRUGIacuteA LAPAROSCOacutePICA

Enrique Bauzano Nuacutentildeez

DEPARTAMENTO DE INGENIERIacuteA DE SISTEMAS Y AUTOMAacuteTICA

UNIVERSIDAD DE MAacuteLAGA

DEFENSA DE TESIS DOCTORAL

Directores Dr Viacutector F Muntildeoz Martiacutenez

Dra Isabel Garciacutea Morales

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SELECTOR DE COMPORTAMIENTOS

67

3 2

Esfera de direcciones

14

58

rv

C CY

CX

CZ

sv

vr

vs

1 2 3 4 5 6 7 8

1 A L ML L C L ML L

2 L A L ML L C L ML

3 C MC A L C MC C L

4 MC C L A MC C L C

5 C L ML L A L ML L

6 L C L ML L A L ML

7 C MC C L C MC A L

8 MC C L C MC C L A

c1

c2

c3

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

COMPORTAMIENTO 1 PLANIFICADOR LOCAL

atrFrepF

RM SMf

RM

O

RG

SG

L

l

i

repatr UU i

repatr1 FFF

0

02

0

0

2

ˆˆ11

2

F

rF

rep

fatr

f

rep

atr

rK

L

l

K

dt

m1

11

Fv

Proceso Planificador_Local

1) Localizar el punto guiacutea MR2) Calcular el objetivo asociado al punto guiacutea MfR3) Calcular la fuerza F1 =gt Velocidad del punto guiacutea v14) Calcular la velocidad en el efector final del robot

5) Ejecutar movimiento del robot

6) Si no se ha alcanzado el objetivo O con el extremo de la herramienta volver a 1)

Fin de Procedimiento

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

COMPORTAMIENTO 2 CORRECCIOacuteN DE VELOCIDAD

Recta de

Colisioacuten

CP

RG

SG

SP

rv

sv

)( cR tP)( cS tP

RP

r2 vv 2K

dc

tc

Cero Baja Media Lejos Muy Lejos

Cero Maacutex Maacutex Muy Alta Muy Alta Alta

Bajo Maacutex Muy Alta Alta Alta Media

Medio Muy Alta Alta Media Media Poca

Bastante Muy Alta Alta Media Poca Nula

Mucho Alta Media Poca Nula Nula

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

COMPORTAMIENTO 3 SEGUIMIENTO DEL CIRUJANO

GR GS

s3 vF 3B dt

m

Bs3 vv

1

3

3

Proceso Auto_Guiado

1) Calcular los pesos de cada comportamiento c1 c2 c32) Calcular las velocidades de los tres comportamientos v1 v2 v3 3) Ponderar cada velocidad con su peso sumar e integrar =gt siguiente punto del camino rp4) Ejecutar movimiento del robot

5) Si el robot no ha llegado al objetivo ro volver a 1)

Fin de Procedimiento

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

DEMO MOVIMIENTO AUTO-GUIADO

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

PROBLEMA 3 ASISTENCIA A LA SUTURA

EndoscopioHerramienta del

cirujano

Herramienta

auxiliar

Sujecioacuten

del hiacutegado

Escenario de Colecistectomiacutea

Protocolo

1 Elevar hiacutegado para exponer la

vesiacutecula

2 Cortar triaacutengulo de Calot y exponer

arteria y conducto ciacutesticos

3 Suturar arteria y conducto ciacutesticos

para aislar un punto intermedio

4 Cortar arteria y conducto ciacutesticos

5 Separar vesiacutecula

6 Extraer vesiacutecula del paciente

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA CONCEPTOS PREVIOS

bull Gesto Accioacuten identificable maacutes elemental de las herramientas

laparoscoacutepicas (tirar del hilo de sutura presionar tejidohellip)

bull Maniobra Secuencia de gestos que componen una actuacioacuten

definible sobre el paciente (puncioacuten corte anudadohellip)

bull Procedimiento Maniobra o secuencia de maniobras que completan

una tarea propuesta por un protocolo quiruacutergico

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA MEacuteTODO DE ROSSER (I)

Laparoscopic Suturing httpwwwyoutubecomwatchv=PmdPAVFgNXU

1 Insertar aguja y centrar Agarrar aguja

2 Presionar tejido Posicionar aguja para puncioacuten

3 Agarrar aguja tras puncioacuten Puncioacuten mediante giro de 60deg-90deg

4 Extraer aguja y tirar del hilo Soltar aguja y sostener tejido

5 Colocar aguja a la sutura Desplazar herramienta sobre el hilo

6 Mantener posicioacuten Girar 2x sentido horario

7 Tensar hilo en sentido nordeste Agarrar extremo del hilo y mantener

MANO IZQUIERDA MANO DERECHA

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA MEacuteTODO DE ROSSER (II)

Problemas

Gran cantidad de gestos entre las dos manos

Compleja sincronizacioacuten entre las herramientas laparoscoacutepicas

Solucioacuten

Asistir al cirujano manejando una herramienta con un robot

Ventajas

Menor tiempo de aprendizaje en sincronizar ambas manos

La otra mano queda libre para otras tareas no automatizables

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA DIAGRAMA DE ESTADOS (I)

PUNZADA DE LA AGUJAINSERCIOacuteN DE LA AGUJA

ANUDADOCORTE DEL HILO

S0

S2

S1 S3

S4

S5

S6

S8

S9 S7

S11

S10S12

S13

S14

T1

T2

T3

T4

T5

T6

T7T8

T9T10

i = 3 i lt 3

T11T12T13T14

T0

T15

S0 Inicio y preparacioacuten de sutura

S1 Insertar y centrar aguja en pantalla

S2 Coger aguja y colocar en punto de

sutura

S3 Fijar tejido

S4 Punzar tejido extraer aguja y tirar

del hilo

S5 Separar del tejido y abrir pinza

S6 Colocar aguja en pinza izquierda

S7 Posicionar aguja

S8 Rotar alrededor del hilo

S9 Tirar del hilo y cerrar nudo

S10 Acercar aguja a punto de sutura

S11 Coger ambos extremos del hilo y

tensar

S12 Coger hilo bajo pinza derecha

S13 Cambiar herramienta y cortar hilo

S14 Extraer hilo y aguja

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA DIAGRAMA DE ESTADOS (II)

PUNZADA DE LA AGUJAINSERCIOacuteN DE LA AGUJA

ANUDADOCORTE DEL HILO

S0

S2

S1 S3

S4

S5

S6

S8

S9 S7

S11

S10S12

S13

S14

T1

T2

T3

T4

T5

T6

T7T8

T9T10

i = 3 i lt 3

T11T12T13T14

T0

T15

T0 Comando de voz ldquoSuturardquo

T1 Robot en posicioacuten

T2 Gesto de cirujano reconocido

T3 Fuerza aplicada sobre tejido

T4 Gesto de cirujano reconocido

T5 Robot en posicioacuten

T6 Gesto de cirujano reconocido

T7 Robot en posicioacuten

T8 Gesto de cirujano reconocido

T9 Fuerza aplicada sobre el hilo

T10 Robot en posicioacuten

T11 Gesto de cirujano reconocido

T12 Robot en posicioacuten + fuerza

aplicada sobre el hilo

T13 Gesto de cirujano reconocido

T14 Robot en posicioacuten

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA DIAGRAMA DE ESTADOS (III)

PUNZADA DE LA AGUJAINSERCIOacuteN DE LA AGUJA

ANUDADOCORTE DEL HILO

S0

S2

S1 S3

S4

S5

S6

S8

S9 S7

S11

S10S12

S13

S14

T1

T2

T3

T4

T5

T6

T7T8

T9T10

i = 3 i lt 3

T11T12T13T14

T0

T15

Sk+1

Sk

Tk-1

Tk

Tk+1

1k

kE

1

1

k

kE

k

kE 1

k

kE

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA ASISTENTE DE ESTADOS

ASISTENTE DE ESTADOS

INTERACCIOacuteN

AUTO-GUIADA

Trayectoria

Planificada

Localizacioacuten

Cirujano

Localizacioacuten

del Robot

INTERFAZ DE

VOZ

Fuerzas y

Pares

Posicioacuten

Aguja

Sentildeal de

Audio

Comando

de Voz

RECONOCEDOR

DE GESTOS

ASISTENTE DE SUTURA

Activacioacuten

Tk Estado Sk

Activacioacuten

Tk

Funciones

1) Alcanzar posicioacuten objetivo

2) Aplicar fuerza en tejidohilo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA INTERACCIOacuteN AUTO-GUIADA

INTERACCIOacuteN AUTO-GUIADA

SISTEMA

ROBOT+-

1

AKoF

F

pr

MOVIMIENTO

AUTO-GUIADO

cx

or

cr r

D

DI

CONTROL

PI

++

D

-+ K

er

++

xcF

co FF

coc FFx 1

AKLey de Control

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

DEMO ASISTENCIA A LA SUTURA

Maniobra 1 Insercioacuten Maniobra 2 Puncioacuten

Maniobra 3 AnudadoManiobra 4 Corte del hilo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

IMPLANTACIOacuteN PLATAFORMA CISOBOT

Brazo Instrumental

Quiruacutergico

Brazo Caacutemara

Laparoscoacutepica

Estructura Robot

Asistente

Marca 3D

Sensor de

Fuerzas

Muntildeeca Pasiva

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT ENTORNO QUIRUacuteRGICO

Columna de

Laparoscopia

Tracker 3D

Brazo Caacutemara

Laparoscoacutepica

Brazo Instrumental

Quiruacutergico

Simulador de

Paciente

Herramienta del

Cirujano

Caacutemara

Laparoscoacutepica

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT ARQUITECTURA DE CONTROL

SENSORES ENTORNOASISTENTE DE ESTADOS

CIRUJANO

INTERACCIOacuteN

AUTO-GUIADA

BRAZOS ROBOTS

CONTROL DE

BAJO NIVEL

PACIENTE

Interaccioacute

n

Ciru

jano

Herramientas Robot

Trayectoria Planificada

Localizacioacuten Cirujano

Trayectoria ControladaLo

caliz

acioacute

n R

ob

ot

ROBOT ASISTENTE

SENSOR DE

FUERZAS

INTERFAZ DE

VOZ

Esfuerzos

Imagen Laparoscoacutepica

Contacto Robot

Aguja

Herramienta Cirujano

Activacioacuten

Sentildeal de Audio

TRACKER 3D

Comando de Voz

RECONOCEDOR

DE GESTOS

MOacuteDULO DE

VISIOacuteN

ASISTENTE

DE SUTURA Activacioacuten

Nuevo Estado

Nuevo Estado

ADQUISICIOacuteN

AUDIO

Voz del cirujano

Gesto Quiruacutergico

SIST

EMA

TOLE

RA

NTE

AFA

LLO

S

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT SISTEMA TOLERANTE A FALLOS

Evento Deteccioacuten Actuacioacuten

Fallo Hardware - Sentildeal de Fallo Hardware Parar el sistema

Colisioacuten entre brazos - Anaacutelisis de Colisioacuten cinemaacuteticaParar brazo de la caacutemara

mientras haya riesgo

Colisioacuten con herramienta

del cirujano

- Cambio inusual del Fulcro Estimado

- Herramienta del cirujano cerca del robotParar robot mientras haya riesgo

Colisioacuten con tejidooacuterganos- Cambio inusual del Fulcro Estimado

- Herramienta del cirujano lejos del robotExtraer herramienta del robot

Fallo de sensores- Medicioacuten anoacutemala y constante

independiente de la actuacioacuten

Mensaje de alerta y parar si

persiste

0 2 4 6 8 10 12 14 16 180

20

40

60

80

100

Dis

tan

cia

s (

mm

)

Distancia Robot-Objetivo

Distancia Robot-Cirujano

0 2 4 6 8 10 12 14 16 18-10

-5

0

5

10

15

20

Tiempo (segundos)

Fu

erz

as (

N)

Fx

Fy

Fz

0 2 4 6 8 10 12 14 16 18 200

20

40

60

80

100

Dis

tan

cia

s (

mm

)

Distancia Robot-Objetivo

Distancia Robot-Cirujano

0 2 4 6 8 10 12 14 16 18 20-20

-15

-10

-5

0

5

10

Tiempo (segundos)

Fu

erz

as (

N)

Fx

Fy

Fz

Co

lisioacute

n c

on

herr

am

ien

ta

Colisioacuten con tejido

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT EXPERIMENTOS PROPUESTOS

1 Movimiento esfeacuterico mediante la aplicacioacuten del control EMP

2 Movimiento auto-guiado con la herramienta del cirujano en

movimiento

3 Procedimiento de sutura Insercioacuten Puncioacuten Anudado y Corte

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 1 MOVIMIENTO ESFEacuteRICO

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 2 MOVIMIENTO AUTO-GUIADO

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (I)

Maniobra 1 Insercioacuten

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (II)

Maniobra 2 Puncioacuten

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (III)

Maniobra 3 Anudado

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (IV)

Maniobra 4 Corte del Hilo

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CONCLUSIONES

El gran esfuerzo investigador en torno a la roboacutetica quiruacutergica la destaca

como una herramienta de gran utilidad en cirugiacutea laparoscoacutepica

Tres grupos de robots quiruacutergicos tele-manipuladores camaroacutegrafos y

sistemas autoacutenomos

En un punto intermedio los robots semiautoacutenomos se perfilan como los

candidatos para la cirugiacutea en solitario

Contribuciones de esta tesis para los robots semiautoacutenomos

1 Movimiento esfeacuterico del instrumental mediante muntildeecas activas

2 Sistema auto-guiado para la planificacioacuten de movimientos en el interior

de la cavidad abdominal

3 Asistencia semiautoacutenoma al procedimiento laparoscoacutepico de sutura

Implantacioacuten de las contribuciones en el prototipo CISOBOT

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

LIacuteNEAS DE INVESTIGACIOacuteN FUTURAS

Ampliar la asistencia al cirujano en otros procedimientos ademaacutes de la

sutura corte transporte agarrehellip

Modelar complicaciones producidas con mayor frecuencia durante la

ejecucioacuten de los procedimientos anteriores (error en corte limpieza de

sangradohellip)

Modificar el robot para manejar instrumental a traveacutes de un solo orificio en

teacutecnicas SILS (Single Input Laparoscopic Surgery)

Eliminar la hipoacutetesis de herramientas riacutegidas para mejorar la localizacioacuten del

punto de fulcro e interaccioacuten con el cirujano y el paciente

Cambiar el modo secuencial del diagrama de estados de la sutura para

permitir una interaccioacuten simultaacutenea con el cirujano

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

APORTACIONES CIENTIacuteFICAS

CONGRESOS INTERNACIONALES (6) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoActive Wrists Endoscope Navigation in Robotized Laparoscopic

Surgeryrdquo IEEE International Conference on Mechatronics (ICM) Abril 2009 Maacutelaga (Espantildea) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoThree-Layer Control for Active Wrists in Robotized Laparoscopic

Surgeryrdquo IEEE International Conference on Intelligent Robots and Systems (IROS) Octubre 2009 St Louis (EEUU) B Estebanez G Jimeacutenez VF Muntildeoz I Garciacutea-Morales E Bauzano J Molina ldquoMinimally Invasive Surgery Maneuver

Recognition Based on Surgeon Modelrdquo IEEE International Congerence on Intelligent Robots and Systems (IROS) Octubre 2009 St Louis (EEUU)

E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoA Multi-Behavior Algorithm for Auto-Guided Movements in Surgeon Assistancerdquo IEEE International Workshop on Robotics in Alpe-Adria-Danube Region (RAAD) Junio 2010 Budapest (Hungriacutea)

Premio al mejor artiacuteculo de estudiante (Best Paper Award) E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoAuto-Guided Movements on Minimally Invasive Surgery for Surgeon Assistancerdquo

IEEE International Conference on Intelligent Robots and Systems (IROS) Octubre 2010 Taipei (Taiwaacuten) B Estebanez E Bauzano VF Muntildeoz ldquoSurgical Tools Pose Estimation for a Multimodal HMI of a Surgical Robot Assistantrdquo IEEE

International Conference on Intelligent Robots and Systems (IROS) Septiembre 2011 San Francisco (EEUU)

LIBROS Y REVISTAS (2) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoControl Methodologies for Endoscope Navigation in Robotized

Laparoscopic Surgeryrdquo Research and Education in Robotics Ed Springer-Verlag (Berliacuten Heidelberg) 2010 Vol 82 pp 11-22 ISBN 978-3-642-16369

E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoA Multi-Behavior Algorithm for Auto-Guided Movements in Surgeon Assistancerdquo International Journal of Mechanics and Control (JoMaC) Ed Levrotto amp Bella (Torino Italia) 2011 Vol 12 no 1 ISSN 1590-8844

CONGRESOS NACIONALES (10) ndash POSTERS Y WORKSHOPS

Proyecto de Excelencia P07-TEP-02897

ROBOT ASISTENTE SEMIAUTOacuteNOMO DE

DOS BRAZOS PARA INTERVENCIONES DE

CIRUGIacuteA LAPAROSCOacutePICA

Enrique Bauzano Nuacutentildeez

DEPARTAMENTO DE INGENIERIacuteA DE SISTEMAS Y AUTOMAacuteTICA

UNIVERSIDAD DE MAacuteLAGA

DEFENSA DE TESIS DOCTORAL

Directores Dr Viacutector F Muntildeoz Martiacutenez

Dra Isabel Garciacutea Morales

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

COMPORTAMIENTO 1 PLANIFICADOR LOCAL

atrFrepF

RM SMf

RM

O

RG

SG

L

l

i

repatr UU i

repatr1 FFF

0

02

0

0

2

ˆˆ11

2

F

rF

rep

fatr

f

rep

atr

rK

L

l

K

dt

m1

11

Fv

Proceso Planificador_Local

1) Localizar el punto guiacutea MR2) Calcular el objetivo asociado al punto guiacutea MfR3) Calcular la fuerza F1 =gt Velocidad del punto guiacutea v14) Calcular la velocidad en el efector final del robot

5) Ejecutar movimiento del robot

6) Si no se ha alcanzado el objetivo O con el extremo de la herramienta volver a 1)

Fin de Procedimiento

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

COMPORTAMIENTO 2 CORRECCIOacuteN DE VELOCIDAD

Recta de

Colisioacuten

CP

RG

SG

SP

rv

sv

)( cR tP)( cS tP

RP

r2 vv 2K

dc

tc

Cero Baja Media Lejos Muy Lejos

Cero Maacutex Maacutex Muy Alta Muy Alta Alta

Bajo Maacutex Muy Alta Alta Alta Media

Medio Muy Alta Alta Media Media Poca

Bastante Muy Alta Alta Media Poca Nula

Mucho Alta Media Poca Nula Nula

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

COMPORTAMIENTO 3 SEGUIMIENTO DEL CIRUJANO

GR GS

s3 vF 3B dt

m

Bs3 vv

1

3

3

Proceso Auto_Guiado

1) Calcular los pesos de cada comportamiento c1 c2 c32) Calcular las velocidades de los tres comportamientos v1 v2 v3 3) Ponderar cada velocidad con su peso sumar e integrar =gt siguiente punto del camino rp4) Ejecutar movimiento del robot

5) Si el robot no ha llegado al objetivo ro volver a 1)

Fin de Procedimiento

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

DEMO MOVIMIENTO AUTO-GUIADO

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

PROBLEMA 3 ASISTENCIA A LA SUTURA

EndoscopioHerramienta del

cirujano

Herramienta

auxiliar

Sujecioacuten

del hiacutegado

Escenario de Colecistectomiacutea

Protocolo

1 Elevar hiacutegado para exponer la

vesiacutecula

2 Cortar triaacutengulo de Calot y exponer

arteria y conducto ciacutesticos

3 Suturar arteria y conducto ciacutesticos

para aislar un punto intermedio

4 Cortar arteria y conducto ciacutesticos

5 Separar vesiacutecula

6 Extraer vesiacutecula del paciente

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA CONCEPTOS PREVIOS

bull Gesto Accioacuten identificable maacutes elemental de las herramientas

laparoscoacutepicas (tirar del hilo de sutura presionar tejidohellip)

bull Maniobra Secuencia de gestos que componen una actuacioacuten

definible sobre el paciente (puncioacuten corte anudadohellip)

bull Procedimiento Maniobra o secuencia de maniobras que completan

una tarea propuesta por un protocolo quiruacutergico

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA MEacuteTODO DE ROSSER (I)

Laparoscopic Suturing httpwwwyoutubecomwatchv=PmdPAVFgNXU

1 Insertar aguja y centrar Agarrar aguja

2 Presionar tejido Posicionar aguja para puncioacuten

3 Agarrar aguja tras puncioacuten Puncioacuten mediante giro de 60deg-90deg

4 Extraer aguja y tirar del hilo Soltar aguja y sostener tejido

5 Colocar aguja a la sutura Desplazar herramienta sobre el hilo

6 Mantener posicioacuten Girar 2x sentido horario

7 Tensar hilo en sentido nordeste Agarrar extremo del hilo y mantener

MANO IZQUIERDA MANO DERECHA

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA MEacuteTODO DE ROSSER (II)

Problemas

Gran cantidad de gestos entre las dos manos

Compleja sincronizacioacuten entre las herramientas laparoscoacutepicas

Solucioacuten

Asistir al cirujano manejando una herramienta con un robot

Ventajas

Menor tiempo de aprendizaje en sincronizar ambas manos

La otra mano queda libre para otras tareas no automatizables

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA DIAGRAMA DE ESTADOS (I)

PUNZADA DE LA AGUJAINSERCIOacuteN DE LA AGUJA

ANUDADOCORTE DEL HILO

S0

S2

S1 S3

S4

S5

S6

S8

S9 S7

S11

S10S12

S13

S14

T1

T2

T3

T4

T5

T6

T7T8

T9T10

i = 3 i lt 3

T11T12T13T14

T0

T15

S0 Inicio y preparacioacuten de sutura

S1 Insertar y centrar aguja en pantalla

S2 Coger aguja y colocar en punto de

sutura

S3 Fijar tejido

S4 Punzar tejido extraer aguja y tirar

del hilo

S5 Separar del tejido y abrir pinza

S6 Colocar aguja en pinza izquierda

S7 Posicionar aguja

S8 Rotar alrededor del hilo

S9 Tirar del hilo y cerrar nudo

S10 Acercar aguja a punto de sutura

S11 Coger ambos extremos del hilo y

tensar

S12 Coger hilo bajo pinza derecha

S13 Cambiar herramienta y cortar hilo

S14 Extraer hilo y aguja

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA DIAGRAMA DE ESTADOS (II)

PUNZADA DE LA AGUJAINSERCIOacuteN DE LA AGUJA

ANUDADOCORTE DEL HILO

S0

S2

S1 S3

S4

S5

S6

S8

S9 S7

S11

S10S12

S13

S14

T1

T2

T3

T4

T5

T6

T7T8

T9T10

i = 3 i lt 3

T11T12T13T14

T0

T15

T0 Comando de voz ldquoSuturardquo

T1 Robot en posicioacuten

T2 Gesto de cirujano reconocido

T3 Fuerza aplicada sobre tejido

T4 Gesto de cirujano reconocido

T5 Robot en posicioacuten

T6 Gesto de cirujano reconocido

T7 Robot en posicioacuten

T8 Gesto de cirujano reconocido

T9 Fuerza aplicada sobre el hilo

T10 Robot en posicioacuten

T11 Gesto de cirujano reconocido

T12 Robot en posicioacuten + fuerza

aplicada sobre el hilo

T13 Gesto de cirujano reconocido

T14 Robot en posicioacuten

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA DIAGRAMA DE ESTADOS (III)

PUNZADA DE LA AGUJAINSERCIOacuteN DE LA AGUJA

ANUDADOCORTE DEL HILO

S0

S2

S1 S3

S4

S5

S6

S8

S9 S7

S11

S10S12

S13

S14

T1

T2

T3

T4

T5

T6

T7T8

T9T10

i = 3 i lt 3

T11T12T13T14

T0

T15

Sk+1

Sk

Tk-1

Tk

Tk+1

1k

kE

1

1

k

kE

k

kE 1

k

kE

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA ASISTENTE DE ESTADOS

ASISTENTE DE ESTADOS

INTERACCIOacuteN

AUTO-GUIADA

Trayectoria

Planificada

Localizacioacuten

Cirujano

Localizacioacuten

del Robot

INTERFAZ DE

VOZ

Fuerzas y

Pares

Posicioacuten

Aguja

Sentildeal de

Audio

Comando

de Voz

RECONOCEDOR

DE GESTOS

ASISTENTE DE SUTURA

Activacioacuten

Tk Estado Sk

Activacioacuten

Tk

Funciones

1) Alcanzar posicioacuten objetivo

2) Aplicar fuerza en tejidohilo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA INTERACCIOacuteN AUTO-GUIADA

INTERACCIOacuteN AUTO-GUIADA

SISTEMA

ROBOT+-

1

AKoF

F

pr

MOVIMIENTO

AUTO-GUIADO

cx

or

cr r

D

DI

CONTROL

PI

++

D

-+ K

er

++

xcF

co FF

coc FFx 1

AKLey de Control

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

DEMO ASISTENCIA A LA SUTURA

Maniobra 1 Insercioacuten Maniobra 2 Puncioacuten

Maniobra 3 AnudadoManiobra 4 Corte del hilo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

IMPLANTACIOacuteN PLATAFORMA CISOBOT

Brazo Instrumental

Quiruacutergico

Brazo Caacutemara

Laparoscoacutepica

Estructura Robot

Asistente

Marca 3D

Sensor de

Fuerzas

Muntildeeca Pasiva

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT ENTORNO QUIRUacuteRGICO

Columna de

Laparoscopia

Tracker 3D

Brazo Caacutemara

Laparoscoacutepica

Brazo Instrumental

Quiruacutergico

Simulador de

Paciente

Herramienta del

Cirujano

Caacutemara

Laparoscoacutepica

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT ARQUITECTURA DE CONTROL

SENSORES ENTORNOASISTENTE DE ESTADOS

CIRUJANO

INTERACCIOacuteN

AUTO-GUIADA

BRAZOS ROBOTS

CONTROL DE

BAJO NIVEL

PACIENTE

Interaccioacute

n

Ciru

jano

Herramientas Robot

Trayectoria Planificada

Localizacioacuten Cirujano

Trayectoria ControladaLo

caliz

acioacute

n R

ob

ot

ROBOT ASISTENTE

SENSOR DE

FUERZAS

INTERFAZ DE

VOZ

Esfuerzos

Imagen Laparoscoacutepica

Contacto Robot

Aguja

Herramienta Cirujano

Activacioacuten

Sentildeal de Audio

TRACKER 3D

Comando de Voz

RECONOCEDOR

DE GESTOS

MOacuteDULO DE

VISIOacuteN

ASISTENTE

DE SUTURA Activacioacuten

Nuevo Estado

Nuevo Estado

ADQUISICIOacuteN

AUDIO

Voz del cirujano

Gesto Quiruacutergico

SIST

EMA

TOLE

RA

NTE

AFA

LLO

S

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT SISTEMA TOLERANTE A FALLOS

Evento Deteccioacuten Actuacioacuten

Fallo Hardware - Sentildeal de Fallo Hardware Parar el sistema

Colisioacuten entre brazos - Anaacutelisis de Colisioacuten cinemaacuteticaParar brazo de la caacutemara

mientras haya riesgo

Colisioacuten con herramienta

del cirujano

- Cambio inusual del Fulcro Estimado

- Herramienta del cirujano cerca del robotParar robot mientras haya riesgo

Colisioacuten con tejidooacuterganos- Cambio inusual del Fulcro Estimado

- Herramienta del cirujano lejos del robotExtraer herramienta del robot

Fallo de sensores- Medicioacuten anoacutemala y constante

independiente de la actuacioacuten

Mensaje de alerta y parar si

persiste

0 2 4 6 8 10 12 14 16 180

20

40

60

80

100

Dis

tan

cia

s (

mm

)

Distancia Robot-Objetivo

Distancia Robot-Cirujano

0 2 4 6 8 10 12 14 16 18-10

-5

0

5

10

15

20

Tiempo (segundos)

Fu

erz

as (

N)

Fx

Fy

Fz

0 2 4 6 8 10 12 14 16 18 200

20

40

60

80

100

Dis

tan

cia

s (

mm

)

Distancia Robot-Objetivo

Distancia Robot-Cirujano

0 2 4 6 8 10 12 14 16 18 20-20

-15

-10

-5

0

5

10

Tiempo (segundos)

Fu

erz

as (

N)

Fx

Fy

Fz

Co

lisioacute

n c

on

herr

am

ien

ta

Colisioacuten con tejido

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT EXPERIMENTOS PROPUESTOS

1 Movimiento esfeacuterico mediante la aplicacioacuten del control EMP

2 Movimiento auto-guiado con la herramienta del cirujano en

movimiento

3 Procedimiento de sutura Insercioacuten Puncioacuten Anudado y Corte

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 1 MOVIMIENTO ESFEacuteRICO

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 2 MOVIMIENTO AUTO-GUIADO

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (I)

Maniobra 1 Insercioacuten

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (II)

Maniobra 2 Puncioacuten

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (III)

Maniobra 3 Anudado

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (IV)

Maniobra 4 Corte del Hilo

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CONCLUSIONES

El gran esfuerzo investigador en torno a la roboacutetica quiruacutergica la destaca

como una herramienta de gran utilidad en cirugiacutea laparoscoacutepica

Tres grupos de robots quiruacutergicos tele-manipuladores camaroacutegrafos y

sistemas autoacutenomos

En un punto intermedio los robots semiautoacutenomos se perfilan como los

candidatos para la cirugiacutea en solitario

Contribuciones de esta tesis para los robots semiautoacutenomos

1 Movimiento esfeacuterico del instrumental mediante muntildeecas activas

2 Sistema auto-guiado para la planificacioacuten de movimientos en el interior

de la cavidad abdominal

3 Asistencia semiautoacutenoma al procedimiento laparoscoacutepico de sutura

Implantacioacuten de las contribuciones en el prototipo CISOBOT

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

LIacuteNEAS DE INVESTIGACIOacuteN FUTURAS

Ampliar la asistencia al cirujano en otros procedimientos ademaacutes de la

sutura corte transporte agarrehellip

Modelar complicaciones producidas con mayor frecuencia durante la

ejecucioacuten de los procedimientos anteriores (error en corte limpieza de

sangradohellip)

Modificar el robot para manejar instrumental a traveacutes de un solo orificio en

teacutecnicas SILS (Single Input Laparoscopic Surgery)

Eliminar la hipoacutetesis de herramientas riacutegidas para mejorar la localizacioacuten del

punto de fulcro e interaccioacuten con el cirujano y el paciente

Cambiar el modo secuencial del diagrama de estados de la sutura para

permitir una interaccioacuten simultaacutenea con el cirujano

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

APORTACIONES CIENTIacuteFICAS

CONGRESOS INTERNACIONALES (6) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoActive Wrists Endoscope Navigation in Robotized Laparoscopic

Surgeryrdquo IEEE International Conference on Mechatronics (ICM) Abril 2009 Maacutelaga (Espantildea) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoThree-Layer Control for Active Wrists in Robotized Laparoscopic

Surgeryrdquo IEEE International Conference on Intelligent Robots and Systems (IROS) Octubre 2009 St Louis (EEUU) B Estebanez G Jimeacutenez VF Muntildeoz I Garciacutea-Morales E Bauzano J Molina ldquoMinimally Invasive Surgery Maneuver

Recognition Based on Surgeon Modelrdquo IEEE International Congerence on Intelligent Robots and Systems (IROS) Octubre 2009 St Louis (EEUU)

E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoA Multi-Behavior Algorithm for Auto-Guided Movements in Surgeon Assistancerdquo IEEE International Workshop on Robotics in Alpe-Adria-Danube Region (RAAD) Junio 2010 Budapest (Hungriacutea)

Premio al mejor artiacuteculo de estudiante (Best Paper Award) E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoAuto-Guided Movements on Minimally Invasive Surgery for Surgeon Assistancerdquo

IEEE International Conference on Intelligent Robots and Systems (IROS) Octubre 2010 Taipei (Taiwaacuten) B Estebanez E Bauzano VF Muntildeoz ldquoSurgical Tools Pose Estimation for a Multimodal HMI of a Surgical Robot Assistantrdquo IEEE

International Conference on Intelligent Robots and Systems (IROS) Septiembre 2011 San Francisco (EEUU)

LIBROS Y REVISTAS (2) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoControl Methodologies for Endoscope Navigation in Robotized

Laparoscopic Surgeryrdquo Research and Education in Robotics Ed Springer-Verlag (Berliacuten Heidelberg) 2010 Vol 82 pp 11-22 ISBN 978-3-642-16369

E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoA Multi-Behavior Algorithm for Auto-Guided Movements in Surgeon Assistancerdquo International Journal of Mechanics and Control (JoMaC) Ed Levrotto amp Bella (Torino Italia) 2011 Vol 12 no 1 ISSN 1590-8844

CONGRESOS NACIONALES (10) ndash POSTERS Y WORKSHOPS

Proyecto de Excelencia P07-TEP-02897

ROBOT ASISTENTE SEMIAUTOacuteNOMO DE

DOS BRAZOS PARA INTERVENCIONES DE

CIRUGIacuteA LAPAROSCOacutePICA

Enrique Bauzano Nuacutentildeez

DEPARTAMENTO DE INGENIERIacuteA DE SISTEMAS Y AUTOMAacuteTICA

UNIVERSIDAD DE MAacuteLAGA

DEFENSA DE TESIS DOCTORAL

Directores Dr Viacutector F Muntildeoz Martiacutenez

Dra Isabel Garciacutea Morales

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

COMPORTAMIENTO 2 CORRECCIOacuteN DE VELOCIDAD

Recta de

Colisioacuten

CP

RG

SG

SP

rv

sv

)( cR tP)( cS tP

RP

r2 vv 2K

dc

tc

Cero Baja Media Lejos Muy Lejos

Cero Maacutex Maacutex Muy Alta Muy Alta Alta

Bajo Maacutex Muy Alta Alta Alta Media

Medio Muy Alta Alta Media Media Poca

Bastante Muy Alta Alta Media Poca Nula

Mucho Alta Media Poca Nula Nula

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

COMPORTAMIENTO 3 SEGUIMIENTO DEL CIRUJANO

GR GS

s3 vF 3B dt

m

Bs3 vv

1

3

3

Proceso Auto_Guiado

1) Calcular los pesos de cada comportamiento c1 c2 c32) Calcular las velocidades de los tres comportamientos v1 v2 v3 3) Ponderar cada velocidad con su peso sumar e integrar =gt siguiente punto del camino rp4) Ejecutar movimiento del robot

5) Si el robot no ha llegado al objetivo ro volver a 1)

Fin de Procedimiento

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

DEMO MOVIMIENTO AUTO-GUIADO

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

PROBLEMA 3 ASISTENCIA A LA SUTURA

EndoscopioHerramienta del

cirujano

Herramienta

auxiliar

Sujecioacuten

del hiacutegado

Escenario de Colecistectomiacutea

Protocolo

1 Elevar hiacutegado para exponer la

vesiacutecula

2 Cortar triaacutengulo de Calot y exponer

arteria y conducto ciacutesticos

3 Suturar arteria y conducto ciacutesticos

para aislar un punto intermedio

4 Cortar arteria y conducto ciacutesticos

5 Separar vesiacutecula

6 Extraer vesiacutecula del paciente

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA CONCEPTOS PREVIOS

bull Gesto Accioacuten identificable maacutes elemental de las herramientas

laparoscoacutepicas (tirar del hilo de sutura presionar tejidohellip)

bull Maniobra Secuencia de gestos que componen una actuacioacuten

definible sobre el paciente (puncioacuten corte anudadohellip)

bull Procedimiento Maniobra o secuencia de maniobras que completan

una tarea propuesta por un protocolo quiruacutergico

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA MEacuteTODO DE ROSSER (I)

Laparoscopic Suturing httpwwwyoutubecomwatchv=PmdPAVFgNXU

1 Insertar aguja y centrar Agarrar aguja

2 Presionar tejido Posicionar aguja para puncioacuten

3 Agarrar aguja tras puncioacuten Puncioacuten mediante giro de 60deg-90deg

4 Extraer aguja y tirar del hilo Soltar aguja y sostener tejido

5 Colocar aguja a la sutura Desplazar herramienta sobre el hilo

6 Mantener posicioacuten Girar 2x sentido horario

7 Tensar hilo en sentido nordeste Agarrar extremo del hilo y mantener

MANO IZQUIERDA MANO DERECHA

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA MEacuteTODO DE ROSSER (II)

Problemas

Gran cantidad de gestos entre las dos manos

Compleja sincronizacioacuten entre las herramientas laparoscoacutepicas

Solucioacuten

Asistir al cirujano manejando una herramienta con un robot

Ventajas

Menor tiempo de aprendizaje en sincronizar ambas manos

La otra mano queda libre para otras tareas no automatizables

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA DIAGRAMA DE ESTADOS (I)

PUNZADA DE LA AGUJAINSERCIOacuteN DE LA AGUJA

ANUDADOCORTE DEL HILO

S0

S2

S1 S3

S4

S5

S6

S8

S9 S7

S11

S10S12

S13

S14

T1

T2

T3

T4

T5

T6

T7T8

T9T10

i = 3 i lt 3

T11T12T13T14

T0

T15

S0 Inicio y preparacioacuten de sutura

S1 Insertar y centrar aguja en pantalla

S2 Coger aguja y colocar en punto de

sutura

S3 Fijar tejido

S4 Punzar tejido extraer aguja y tirar

del hilo

S5 Separar del tejido y abrir pinza

S6 Colocar aguja en pinza izquierda

S7 Posicionar aguja

S8 Rotar alrededor del hilo

S9 Tirar del hilo y cerrar nudo

S10 Acercar aguja a punto de sutura

S11 Coger ambos extremos del hilo y

tensar

S12 Coger hilo bajo pinza derecha

S13 Cambiar herramienta y cortar hilo

S14 Extraer hilo y aguja

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA DIAGRAMA DE ESTADOS (II)

PUNZADA DE LA AGUJAINSERCIOacuteN DE LA AGUJA

ANUDADOCORTE DEL HILO

S0

S2

S1 S3

S4

S5

S6

S8

S9 S7

S11

S10S12

S13

S14

T1

T2

T3

T4

T5

T6

T7T8

T9T10

i = 3 i lt 3

T11T12T13T14

T0

T15

T0 Comando de voz ldquoSuturardquo

T1 Robot en posicioacuten

T2 Gesto de cirujano reconocido

T3 Fuerza aplicada sobre tejido

T4 Gesto de cirujano reconocido

T5 Robot en posicioacuten

T6 Gesto de cirujano reconocido

T7 Robot en posicioacuten

T8 Gesto de cirujano reconocido

T9 Fuerza aplicada sobre el hilo

T10 Robot en posicioacuten

T11 Gesto de cirujano reconocido

T12 Robot en posicioacuten + fuerza

aplicada sobre el hilo

T13 Gesto de cirujano reconocido

T14 Robot en posicioacuten

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA DIAGRAMA DE ESTADOS (III)

PUNZADA DE LA AGUJAINSERCIOacuteN DE LA AGUJA

ANUDADOCORTE DEL HILO

S0

S2

S1 S3

S4

S5

S6

S8

S9 S7

S11

S10S12

S13

S14

T1

T2

T3

T4

T5

T6

T7T8

T9T10

i = 3 i lt 3

T11T12T13T14

T0

T15

Sk+1

Sk

Tk-1

Tk

Tk+1

1k

kE

1

1

k

kE

k

kE 1

k

kE

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA ASISTENTE DE ESTADOS

ASISTENTE DE ESTADOS

INTERACCIOacuteN

AUTO-GUIADA

Trayectoria

Planificada

Localizacioacuten

Cirujano

Localizacioacuten

del Robot

INTERFAZ DE

VOZ

Fuerzas y

Pares

Posicioacuten

Aguja

Sentildeal de

Audio

Comando

de Voz

RECONOCEDOR

DE GESTOS

ASISTENTE DE SUTURA

Activacioacuten

Tk Estado Sk

Activacioacuten

Tk

Funciones

1) Alcanzar posicioacuten objetivo

2) Aplicar fuerza en tejidohilo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA INTERACCIOacuteN AUTO-GUIADA

INTERACCIOacuteN AUTO-GUIADA

SISTEMA

ROBOT+-

1

AKoF

F

pr

MOVIMIENTO

AUTO-GUIADO

cx

or

cr r

D

DI

CONTROL

PI

++

D

-+ K

er

++

xcF

co FF

coc FFx 1

AKLey de Control

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

DEMO ASISTENCIA A LA SUTURA

Maniobra 1 Insercioacuten Maniobra 2 Puncioacuten

Maniobra 3 AnudadoManiobra 4 Corte del hilo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

IMPLANTACIOacuteN PLATAFORMA CISOBOT

Brazo Instrumental

Quiruacutergico

Brazo Caacutemara

Laparoscoacutepica

Estructura Robot

Asistente

Marca 3D

Sensor de

Fuerzas

Muntildeeca Pasiva

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT ENTORNO QUIRUacuteRGICO

Columna de

Laparoscopia

Tracker 3D

Brazo Caacutemara

Laparoscoacutepica

Brazo Instrumental

Quiruacutergico

Simulador de

Paciente

Herramienta del

Cirujano

Caacutemara

Laparoscoacutepica

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT ARQUITECTURA DE CONTROL

SENSORES ENTORNOASISTENTE DE ESTADOS

CIRUJANO

INTERACCIOacuteN

AUTO-GUIADA

BRAZOS ROBOTS

CONTROL DE

BAJO NIVEL

PACIENTE

Interaccioacute

n

Ciru

jano

Herramientas Robot

Trayectoria Planificada

Localizacioacuten Cirujano

Trayectoria ControladaLo

caliz

acioacute

n R

ob

ot

ROBOT ASISTENTE

SENSOR DE

FUERZAS

INTERFAZ DE

VOZ

Esfuerzos

Imagen Laparoscoacutepica

Contacto Robot

Aguja

Herramienta Cirujano

Activacioacuten

Sentildeal de Audio

TRACKER 3D

Comando de Voz

RECONOCEDOR

DE GESTOS

MOacuteDULO DE

VISIOacuteN

ASISTENTE

DE SUTURA Activacioacuten

Nuevo Estado

Nuevo Estado

ADQUISICIOacuteN

AUDIO

Voz del cirujano

Gesto Quiruacutergico

SIST

EMA

TOLE

RA

NTE

AFA

LLO

S

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT SISTEMA TOLERANTE A FALLOS

Evento Deteccioacuten Actuacioacuten

Fallo Hardware - Sentildeal de Fallo Hardware Parar el sistema

Colisioacuten entre brazos - Anaacutelisis de Colisioacuten cinemaacuteticaParar brazo de la caacutemara

mientras haya riesgo

Colisioacuten con herramienta

del cirujano

- Cambio inusual del Fulcro Estimado

- Herramienta del cirujano cerca del robotParar robot mientras haya riesgo

Colisioacuten con tejidooacuterganos- Cambio inusual del Fulcro Estimado

- Herramienta del cirujano lejos del robotExtraer herramienta del robot

Fallo de sensores- Medicioacuten anoacutemala y constante

independiente de la actuacioacuten

Mensaje de alerta y parar si

persiste

0 2 4 6 8 10 12 14 16 180

20

40

60

80

100

Dis

tan

cia

s (

mm

)

Distancia Robot-Objetivo

Distancia Robot-Cirujano

0 2 4 6 8 10 12 14 16 18-10

-5

0

5

10

15

20

Tiempo (segundos)

Fu

erz

as (

N)

Fx

Fy

Fz

0 2 4 6 8 10 12 14 16 18 200

20

40

60

80

100

Dis

tan

cia

s (

mm

)

Distancia Robot-Objetivo

Distancia Robot-Cirujano

0 2 4 6 8 10 12 14 16 18 20-20

-15

-10

-5

0

5

10

Tiempo (segundos)

Fu

erz

as (

N)

Fx

Fy

Fz

Co

lisioacute

n c

on

herr

am

ien

ta

Colisioacuten con tejido

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT EXPERIMENTOS PROPUESTOS

1 Movimiento esfeacuterico mediante la aplicacioacuten del control EMP

2 Movimiento auto-guiado con la herramienta del cirujano en

movimiento

3 Procedimiento de sutura Insercioacuten Puncioacuten Anudado y Corte

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 1 MOVIMIENTO ESFEacuteRICO

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 2 MOVIMIENTO AUTO-GUIADO

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (I)

Maniobra 1 Insercioacuten

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (II)

Maniobra 2 Puncioacuten

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (III)

Maniobra 3 Anudado

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (IV)

Maniobra 4 Corte del Hilo

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CONCLUSIONES

El gran esfuerzo investigador en torno a la roboacutetica quiruacutergica la destaca

como una herramienta de gran utilidad en cirugiacutea laparoscoacutepica

Tres grupos de robots quiruacutergicos tele-manipuladores camaroacutegrafos y

sistemas autoacutenomos

En un punto intermedio los robots semiautoacutenomos se perfilan como los

candidatos para la cirugiacutea en solitario

Contribuciones de esta tesis para los robots semiautoacutenomos

1 Movimiento esfeacuterico del instrumental mediante muntildeecas activas

2 Sistema auto-guiado para la planificacioacuten de movimientos en el interior

de la cavidad abdominal

3 Asistencia semiautoacutenoma al procedimiento laparoscoacutepico de sutura

Implantacioacuten de las contribuciones en el prototipo CISOBOT

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

LIacuteNEAS DE INVESTIGACIOacuteN FUTURAS

Ampliar la asistencia al cirujano en otros procedimientos ademaacutes de la

sutura corte transporte agarrehellip

Modelar complicaciones producidas con mayor frecuencia durante la

ejecucioacuten de los procedimientos anteriores (error en corte limpieza de

sangradohellip)

Modificar el robot para manejar instrumental a traveacutes de un solo orificio en

teacutecnicas SILS (Single Input Laparoscopic Surgery)

Eliminar la hipoacutetesis de herramientas riacutegidas para mejorar la localizacioacuten del

punto de fulcro e interaccioacuten con el cirujano y el paciente

Cambiar el modo secuencial del diagrama de estados de la sutura para

permitir una interaccioacuten simultaacutenea con el cirujano

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

APORTACIONES CIENTIacuteFICAS

CONGRESOS INTERNACIONALES (6) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoActive Wrists Endoscope Navigation in Robotized Laparoscopic

Surgeryrdquo IEEE International Conference on Mechatronics (ICM) Abril 2009 Maacutelaga (Espantildea) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoThree-Layer Control for Active Wrists in Robotized Laparoscopic

Surgeryrdquo IEEE International Conference on Intelligent Robots and Systems (IROS) Octubre 2009 St Louis (EEUU) B Estebanez G Jimeacutenez VF Muntildeoz I Garciacutea-Morales E Bauzano J Molina ldquoMinimally Invasive Surgery Maneuver

Recognition Based on Surgeon Modelrdquo IEEE International Congerence on Intelligent Robots and Systems (IROS) Octubre 2009 St Louis (EEUU)

E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoA Multi-Behavior Algorithm for Auto-Guided Movements in Surgeon Assistancerdquo IEEE International Workshop on Robotics in Alpe-Adria-Danube Region (RAAD) Junio 2010 Budapest (Hungriacutea)

Premio al mejor artiacuteculo de estudiante (Best Paper Award) E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoAuto-Guided Movements on Minimally Invasive Surgery for Surgeon Assistancerdquo

IEEE International Conference on Intelligent Robots and Systems (IROS) Octubre 2010 Taipei (Taiwaacuten) B Estebanez E Bauzano VF Muntildeoz ldquoSurgical Tools Pose Estimation for a Multimodal HMI of a Surgical Robot Assistantrdquo IEEE

International Conference on Intelligent Robots and Systems (IROS) Septiembre 2011 San Francisco (EEUU)

LIBROS Y REVISTAS (2) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoControl Methodologies for Endoscope Navigation in Robotized

Laparoscopic Surgeryrdquo Research and Education in Robotics Ed Springer-Verlag (Berliacuten Heidelberg) 2010 Vol 82 pp 11-22 ISBN 978-3-642-16369

E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoA Multi-Behavior Algorithm for Auto-Guided Movements in Surgeon Assistancerdquo International Journal of Mechanics and Control (JoMaC) Ed Levrotto amp Bella (Torino Italia) 2011 Vol 12 no 1 ISSN 1590-8844

CONGRESOS NACIONALES (10) ndash POSTERS Y WORKSHOPS

Proyecto de Excelencia P07-TEP-02897

ROBOT ASISTENTE SEMIAUTOacuteNOMO DE

DOS BRAZOS PARA INTERVENCIONES DE

CIRUGIacuteA LAPAROSCOacutePICA

Enrique Bauzano Nuacutentildeez

DEPARTAMENTO DE INGENIERIacuteA DE SISTEMAS Y AUTOMAacuteTICA

UNIVERSIDAD DE MAacuteLAGA

DEFENSA DE TESIS DOCTORAL

Directores Dr Viacutector F Muntildeoz Martiacutenez

Dra Isabel Garciacutea Morales

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

COMPORTAMIENTO 3 SEGUIMIENTO DEL CIRUJANO

GR GS

s3 vF 3B dt

m

Bs3 vv

1

3

3

Proceso Auto_Guiado

1) Calcular los pesos de cada comportamiento c1 c2 c32) Calcular las velocidades de los tres comportamientos v1 v2 v3 3) Ponderar cada velocidad con su peso sumar e integrar =gt siguiente punto del camino rp4) Ejecutar movimiento del robot

5) Si el robot no ha llegado al objetivo ro volver a 1)

Fin de Procedimiento

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

DEMO MOVIMIENTO AUTO-GUIADO

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

PROBLEMA 3 ASISTENCIA A LA SUTURA

EndoscopioHerramienta del

cirujano

Herramienta

auxiliar

Sujecioacuten

del hiacutegado

Escenario de Colecistectomiacutea

Protocolo

1 Elevar hiacutegado para exponer la

vesiacutecula

2 Cortar triaacutengulo de Calot y exponer

arteria y conducto ciacutesticos

3 Suturar arteria y conducto ciacutesticos

para aislar un punto intermedio

4 Cortar arteria y conducto ciacutesticos

5 Separar vesiacutecula

6 Extraer vesiacutecula del paciente

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA CONCEPTOS PREVIOS

bull Gesto Accioacuten identificable maacutes elemental de las herramientas

laparoscoacutepicas (tirar del hilo de sutura presionar tejidohellip)

bull Maniobra Secuencia de gestos que componen una actuacioacuten

definible sobre el paciente (puncioacuten corte anudadohellip)

bull Procedimiento Maniobra o secuencia de maniobras que completan

una tarea propuesta por un protocolo quiruacutergico

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA MEacuteTODO DE ROSSER (I)

Laparoscopic Suturing httpwwwyoutubecomwatchv=PmdPAVFgNXU

1 Insertar aguja y centrar Agarrar aguja

2 Presionar tejido Posicionar aguja para puncioacuten

3 Agarrar aguja tras puncioacuten Puncioacuten mediante giro de 60deg-90deg

4 Extraer aguja y tirar del hilo Soltar aguja y sostener tejido

5 Colocar aguja a la sutura Desplazar herramienta sobre el hilo

6 Mantener posicioacuten Girar 2x sentido horario

7 Tensar hilo en sentido nordeste Agarrar extremo del hilo y mantener

MANO IZQUIERDA MANO DERECHA

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA MEacuteTODO DE ROSSER (II)

Problemas

Gran cantidad de gestos entre las dos manos

Compleja sincronizacioacuten entre las herramientas laparoscoacutepicas

Solucioacuten

Asistir al cirujano manejando una herramienta con un robot

Ventajas

Menor tiempo de aprendizaje en sincronizar ambas manos

La otra mano queda libre para otras tareas no automatizables

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA DIAGRAMA DE ESTADOS (I)

PUNZADA DE LA AGUJAINSERCIOacuteN DE LA AGUJA

ANUDADOCORTE DEL HILO

S0

S2

S1 S3

S4

S5

S6

S8

S9 S7

S11

S10S12

S13

S14

T1

T2

T3

T4

T5

T6

T7T8

T9T10

i = 3 i lt 3

T11T12T13T14

T0

T15

S0 Inicio y preparacioacuten de sutura

S1 Insertar y centrar aguja en pantalla

S2 Coger aguja y colocar en punto de

sutura

S3 Fijar tejido

S4 Punzar tejido extraer aguja y tirar

del hilo

S5 Separar del tejido y abrir pinza

S6 Colocar aguja en pinza izquierda

S7 Posicionar aguja

S8 Rotar alrededor del hilo

S9 Tirar del hilo y cerrar nudo

S10 Acercar aguja a punto de sutura

S11 Coger ambos extremos del hilo y

tensar

S12 Coger hilo bajo pinza derecha

S13 Cambiar herramienta y cortar hilo

S14 Extraer hilo y aguja

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA DIAGRAMA DE ESTADOS (II)

PUNZADA DE LA AGUJAINSERCIOacuteN DE LA AGUJA

ANUDADOCORTE DEL HILO

S0

S2

S1 S3

S4

S5

S6

S8

S9 S7

S11

S10S12

S13

S14

T1

T2

T3

T4

T5

T6

T7T8

T9T10

i = 3 i lt 3

T11T12T13T14

T0

T15

T0 Comando de voz ldquoSuturardquo

T1 Robot en posicioacuten

T2 Gesto de cirujano reconocido

T3 Fuerza aplicada sobre tejido

T4 Gesto de cirujano reconocido

T5 Robot en posicioacuten

T6 Gesto de cirujano reconocido

T7 Robot en posicioacuten

T8 Gesto de cirujano reconocido

T9 Fuerza aplicada sobre el hilo

T10 Robot en posicioacuten

T11 Gesto de cirujano reconocido

T12 Robot en posicioacuten + fuerza

aplicada sobre el hilo

T13 Gesto de cirujano reconocido

T14 Robot en posicioacuten

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA DIAGRAMA DE ESTADOS (III)

PUNZADA DE LA AGUJAINSERCIOacuteN DE LA AGUJA

ANUDADOCORTE DEL HILO

S0

S2

S1 S3

S4

S5

S6

S8

S9 S7

S11

S10S12

S13

S14

T1

T2

T3

T4

T5

T6

T7T8

T9T10

i = 3 i lt 3

T11T12T13T14

T0

T15

Sk+1

Sk

Tk-1

Tk

Tk+1

1k

kE

1

1

k

kE

k

kE 1

k

kE

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA ASISTENTE DE ESTADOS

ASISTENTE DE ESTADOS

INTERACCIOacuteN

AUTO-GUIADA

Trayectoria

Planificada

Localizacioacuten

Cirujano

Localizacioacuten

del Robot

INTERFAZ DE

VOZ

Fuerzas y

Pares

Posicioacuten

Aguja

Sentildeal de

Audio

Comando

de Voz

RECONOCEDOR

DE GESTOS

ASISTENTE DE SUTURA

Activacioacuten

Tk Estado Sk

Activacioacuten

Tk

Funciones

1) Alcanzar posicioacuten objetivo

2) Aplicar fuerza en tejidohilo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA INTERACCIOacuteN AUTO-GUIADA

INTERACCIOacuteN AUTO-GUIADA

SISTEMA

ROBOT+-

1

AKoF

F

pr

MOVIMIENTO

AUTO-GUIADO

cx

or

cr r

D

DI

CONTROL

PI

++

D

-+ K

er

++

xcF

co FF

coc FFx 1

AKLey de Control

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

DEMO ASISTENCIA A LA SUTURA

Maniobra 1 Insercioacuten Maniobra 2 Puncioacuten

Maniobra 3 AnudadoManiobra 4 Corte del hilo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

IMPLANTACIOacuteN PLATAFORMA CISOBOT

Brazo Instrumental

Quiruacutergico

Brazo Caacutemara

Laparoscoacutepica

Estructura Robot

Asistente

Marca 3D

Sensor de

Fuerzas

Muntildeeca Pasiva

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT ENTORNO QUIRUacuteRGICO

Columna de

Laparoscopia

Tracker 3D

Brazo Caacutemara

Laparoscoacutepica

Brazo Instrumental

Quiruacutergico

Simulador de

Paciente

Herramienta del

Cirujano

Caacutemara

Laparoscoacutepica

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT ARQUITECTURA DE CONTROL

SENSORES ENTORNOASISTENTE DE ESTADOS

CIRUJANO

INTERACCIOacuteN

AUTO-GUIADA

BRAZOS ROBOTS

CONTROL DE

BAJO NIVEL

PACIENTE

Interaccioacute

n

Ciru

jano

Herramientas Robot

Trayectoria Planificada

Localizacioacuten Cirujano

Trayectoria ControladaLo

caliz

acioacute

n R

ob

ot

ROBOT ASISTENTE

SENSOR DE

FUERZAS

INTERFAZ DE

VOZ

Esfuerzos

Imagen Laparoscoacutepica

Contacto Robot

Aguja

Herramienta Cirujano

Activacioacuten

Sentildeal de Audio

TRACKER 3D

Comando de Voz

RECONOCEDOR

DE GESTOS

MOacuteDULO DE

VISIOacuteN

ASISTENTE

DE SUTURA Activacioacuten

Nuevo Estado

Nuevo Estado

ADQUISICIOacuteN

AUDIO

Voz del cirujano

Gesto Quiruacutergico

SIST

EMA

TOLE

RA

NTE

AFA

LLO

S

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT SISTEMA TOLERANTE A FALLOS

Evento Deteccioacuten Actuacioacuten

Fallo Hardware - Sentildeal de Fallo Hardware Parar el sistema

Colisioacuten entre brazos - Anaacutelisis de Colisioacuten cinemaacuteticaParar brazo de la caacutemara

mientras haya riesgo

Colisioacuten con herramienta

del cirujano

- Cambio inusual del Fulcro Estimado

- Herramienta del cirujano cerca del robotParar robot mientras haya riesgo

Colisioacuten con tejidooacuterganos- Cambio inusual del Fulcro Estimado

- Herramienta del cirujano lejos del robotExtraer herramienta del robot

Fallo de sensores- Medicioacuten anoacutemala y constante

independiente de la actuacioacuten

Mensaje de alerta y parar si

persiste

0 2 4 6 8 10 12 14 16 180

20

40

60

80

100

Dis

tan

cia

s (

mm

)

Distancia Robot-Objetivo

Distancia Robot-Cirujano

0 2 4 6 8 10 12 14 16 18-10

-5

0

5

10

15

20

Tiempo (segundos)

Fu

erz

as (

N)

Fx

Fy

Fz

0 2 4 6 8 10 12 14 16 18 200

20

40

60

80

100

Dis

tan

cia

s (

mm

)

Distancia Robot-Objetivo

Distancia Robot-Cirujano

0 2 4 6 8 10 12 14 16 18 20-20

-15

-10

-5

0

5

10

Tiempo (segundos)

Fu

erz

as (

N)

Fx

Fy

Fz

Co

lisioacute

n c

on

herr

am

ien

ta

Colisioacuten con tejido

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT EXPERIMENTOS PROPUESTOS

1 Movimiento esfeacuterico mediante la aplicacioacuten del control EMP

2 Movimiento auto-guiado con la herramienta del cirujano en

movimiento

3 Procedimiento de sutura Insercioacuten Puncioacuten Anudado y Corte

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 1 MOVIMIENTO ESFEacuteRICO

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 2 MOVIMIENTO AUTO-GUIADO

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (I)

Maniobra 1 Insercioacuten

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (II)

Maniobra 2 Puncioacuten

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (III)

Maniobra 3 Anudado

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (IV)

Maniobra 4 Corte del Hilo

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CONCLUSIONES

El gran esfuerzo investigador en torno a la roboacutetica quiruacutergica la destaca

como una herramienta de gran utilidad en cirugiacutea laparoscoacutepica

Tres grupos de robots quiruacutergicos tele-manipuladores camaroacutegrafos y

sistemas autoacutenomos

En un punto intermedio los robots semiautoacutenomos se perfilan como los

candidatos para la cirugiacutea en solitario

Contribuciones de esta tesis para los robots semiautoacutenomos

1 Movimiento esfeacuterico del instrumental mediante muntildeecas activas

2 Sistema auto-guiado para la planificacioacuten de movimientos en el interior

de la cavidad abdominal

3 Asistencia semiautoacutenoma al procedimiento laparoscoacutepico de sutura

Implantacioacuten de las contribuciones en el prototipo CISOBOT

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

LIacuteNEAS DE INVESTIGACIOacuteN FUTURAS

Ampliar la asistencia al cirujano en otros procedimientos ademaacutes de la

sutura corte transporte agarrehellip

Modelar complicaciones producidas con mayor frecuencia durante la

ejecucioacuten de los procedimientos anteriores (error en corte limpieza de

sangradohellip)

Modificar el robot para manejar instrumental a traveacutes de un solo orificio en

teacutecnicas SILS (Single Input Laparoscopic Surgery)

Eliminar la hipoacutetesis de herramientas riacutegidas para mejorar la localizacioacuten del

punto de fulcro e interaccioacuten con el cirujano y el paciente

Cambiar el modo secuencial del diagrama de estados de la sutura para

permitir una interaccioacuten simultaacutenea con el cirujano

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

APORTACIONES CIENTIacuteFICAS

CONGRESOS INTERNACIONALES (6) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoActive Wrists Endoscope Navigation in Robotized Laparoscopic

Surgeryrdquo IEEE International Conference on Mechatronics (ICM) Abril 2009 Maacutelaga (Espantildea) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoThree-Layer Control for Active Wrists in Robotized Laparoscopic

Surgeryrdquo IEEE International Conference on Intelligent Robots and Systems (IROS) Octubre 2009 St Louis (EEUU) B Estebanez G Jimeacutenez VF Muntildeoz I Garciacutea-Morales E Bauzano J Molina ldquoMinimally Invasive Surgery Maneuver

Recognition Based on Surgeon Modelrdquo IEEE International Congerence on Intelligent Robots and Systems (IROS) Octubre 2009 St Louis (EEUU)

E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoA Multi-Behavior Algorithm for Auto-Guided Movements in Surgeon Assistancerdquo IEEE International Workshop on Robotics in Alpe-Adria-Danube Region (RAAD) Junio 2010 Budapest (Hungriacutea)

Premio al mejor artiacuteculo de estudiante (Best Paper Award) E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoAuto-Guided Movements on Minimally Invasive Surgery for Surgeon Assistancerdquo

IEEE International Conference on Intelligent Robots and Systems (IROS) Octubre 2010 Taipei (Taiwaacuten) B Estebanez E Bauzano VF Muntildeoz ldquoSurgical Tools Pose Estimation for a Multimodal HMI of a Surgical Robot Assistantrdquo IEEE

International Conference on Intelligent Robots and Systems (IROS) Septiembre 2011 San Francisco (EEUU)

LIBROS Y REVISTAS (2) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoControl Methodologies for Endoscope Navigation in Robotized

Laparoscopic Surgeryrdquo Research and Education in Robotics Ed Springer-Verlag (Berliacuten Heidelberg) 2010 Vol 82 pp 11-22 ISBN 978-3-642-16369

E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoA Multi-Behavior Algorithm for Auto-Guided Movements in Surgeon Assistancerdquo International Journal of Mechanics and Control (JoMaC) Ed Levrotto amp Bella (Torino Italia) 2011 Vol 12 no 1 ISSN 1590-8844

CONGRESOS NACIONALES (10) ndash POSTERS Y WORKSHOPS

Proyecto de Excelencia P07-TEP-02897

ROBOT ASISTENTE SEMIAUTOacuteNOMO DE

DOS BRAZOS PARA INTERVENCIONES DE

CIRUGIacuteA LAPAROSCOacutePICA

Enrique Bauzano Nuacutentildeez

DEPARTAMENTO DE INGENIERIacuteA DE SISTEMAS Y AUTOMAacuteTICA

UNIVERSIDAD DE MAacuteLAGA

DEFENSA DE TESIS DOCTORAL

Directores Dr Viacutector F Muntildeoz Martiacutenez

Dra Isabel Garciacutea Morales

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

DEMO MOVIMIENTO AUTO-GUIADO

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

PROBLEMA 3 ASISTENCIA A LA SUTURA

EndoscopioHerramienta del

cirujano

Herramienta

auxiliar

Sujecioacuten

del hiacutegado

Escenario de Colecistectomiacutea

Protocolo

1 Elevar hiacutegado para exponer la

vesiacutecula

2 Cortar triaacutengulo de Calot y exponer

arteria y conducto ciacutesticos

3 Suturar arteria y conducto ciacutesticos

para aislar un punto intermedio

4 Cortar arteria y conducto ciacutesticos

5 Separar vesiacutecula

6 Extraer vesiacutecula del paciente

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA CONCEPTOS PREVIOS

bull Gesto Accioacuten identificable maacutes elemental de las herramientas

laparoscoacutepicas (tirar del hilo de sutura presionar tejidohellip)

bull Maniobra Secuencia de gestos que componen una actuacioacuten

definible sobre el paciente (puncioacuten corte anudadohellip)

bull Procedimiento Maniobra o secuencia de maniobras que completan

una tarea propuesta por un protocolo quiruacutergico

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA MEacuteTODO DE ROSSER (I)

Laparoscopic Suturing httpwwwyoutubecomwatchv=PmdPAVFgNXU

1 Insertar aguja y centrar Agarrar aguja

2 Presionar tejido Posicionar aguja para puncioacuten

3 Agarrar aguja tras puncioacuten Puncioacuten mediante giro de 60deg-90deg

4 Extraer aguja y tirar del hilo Soltar aguja y sostener tejido

5 Colocar aguja a la sutura Desplazar herramienta sobre el hilo

6 Mantener posicioacuten Girar 2x sentido horario

7 Tensar hilo en sentido nordeste Agarrar extremo del hilo y mantener

MANO IZQUIERDA MANO DERECHA

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA MEacuteTODO DE ROSSER (II)

Problemas

Gran cantidad de gestos entre las dos manos

Compleja sincronizacioacuten entre las herramientas laparoscoacutepicas

Solucioacuten

Asistir al cirujano manejando una herramienta con un robot

Ventajas

Menor tiempo de aprendizaje en sincronizar ambas manos

La otra mano queda libre para otras tareas no automatizables

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA DIAGRAMA DE ESTADOS (I)

PUNZADA DE LA AGUJAINSERCIOacuteN DE LA AGUJA

ANUDADOCORTE DEL HILO

S0

S2

S1 S3

S4

S5

S6

S8

S9 S7

S11

S10S12

S13

S14

T1

T2

T3

T4

T5

T6

T7T8

T9T10

i = 3 i lt 3

T11T12T13T14

T0

T15

S0 Inicio y preparacioacuten de sutura

S1 Insertar y centrar aguja en pantalla

S2 Coger aguja y colocar en punto de

sutura

S3 Fijar tejido

S4 Punzar tejido extraer aguja y tirar

del hilo

S5 Separar del tejido y abrir pinza

S6 Colocar aguja en pinza izquierda

S7 Posicionar aguja

S8 Rotar alrededor del hilo

S9 Tirar del hilo y cerrar nudo

S10 Acercar aguja a punto de sutura

S11 Coger ambos extremos del hilo y

tensar

S12 Coger hilo bajo pinza derecha

S13 Cambiar herramienta y cortar hilo

S14 Extraer hilo y aguja

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA DIAGRAMA DE ESTADOS (II)

PUNZADA DE LA AGUJAINSERCIOacuteN DE LA AGUJA

ANUDADOCORTE DEL HILO

S0

S2

S1 S3

S4

S5

S6

S8

S9 S7

S11

S10S12

S13

S14

T1

T2

T3

T4

T5

T6

T7T8

T9T10

i = 3 i lt 3

T11T12T13T14

T0

T15

T0 Comando de voz ldquoSuturardquo

T1 Robot en posicioacuten

T2 Gesto de cirujano reconocido

T3 Fuerza aplicada sobre tejido

T4 Gesto de cirujano reconocido

T5 Robot en posicioacuten

T6 Gesto de cirujano reconocido

T7 Robot en posicioacuten

T8 Gesto de cirujano reconocido

T9 Fuerza aplicada sobre el hilo

T10 Robot en posicioacuten

T11 Gesto de cirujano reconocido

T12 Robot en posicioacuten + fuerza

aplicada sobre el hilo

T13 Gesto de cirujano reconocido

T14 Robot en posicioacuten

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA DIAGRAMA DE ESTADOS (III)

PUNZADA DE LA AGUJAINSERCIOacuteN DE LA AGUJA

ANUDADOCORTE DEL HILO

S0

S2

S1 S3

S4

S5

S6

S8

S9 S7

S11

S10S12

S13

S14

T1

T2

T3

T4

T5

T6

T7T8

T9T10

i = 3 i lt 3

T11T12T13T14

T0

T15

Sk+1

Sk

Tk-1

Tk

Tk+1

1k

kE

1

1

k

kE

k

kE 1

k

kE

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA ASISTENTE DE ESTADOS

ASISTENTE DE ESTADOS

INTERACCIOacuteN

AUTO-GUIADA

Trayectoria

Planificada

Localizacioacuten

Cirujano

Localizacioacuten

del Robot

INTERFAZ DE

VOZ

Fuerzas y

Pares

Posicioacuten

Aguja

Sentildeal de

Audio

Comando

de Voz

RECONOCEDOR

DE GESTOS

ASISTENTE DE SUTURA

Activacioacuten

Tk Estado Sk

Activacioacuten

Tk

Funciones

1) Alcanzar posicioacuten objetivo

2) Aplicar fuerza en tejidohilo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA INTERACCIOacuteN AUTO-GUIADA

INTERACCIOacuteN AUTO-GUIADA

SISTEMA

ROBOT+-

1

AKoF

F

pr

MOVIMIENTO

AUTO-GUIADO

cx

or

cr r

D

DI

CONTROL

PI

++

D

-+ K

er

++

xcF

co FF

coc FFx 1

AKLey de Control

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

DEMO ASISTENCIA A LA SUTURA

Maniobra 1 Insercioacuten Maniobra 2 Puncioacuten

Maniobra 3 AnudadoManiobra 4 Corte del hilo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

IMPLANTACIOacuteN PLATAFORMA CISOBOT

Brazo Instrumental

Quiruacutergico

Brazo Caacutemara

Laparoscoacutepica

Estructura Robot

Asistente

Marca 3D

Sensor de

Fuerzas

Muntildeeca Pasiva

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT ENTORNO QUIRUacuteRGICO

Columna de

Laparoscopia

Tracker 3D

Brazo Caacutemara

Laparoscoacutepica

Brazo Instrumental

Quiruacutergico

Simulador de

Paciente

Herramienta del

Cirujano

Caacutemara

Laparoscoacutepica

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT ARQUITECTURA DE CONTROL

SENSORES ENTORNOASISTENTE DE ESTADOS

CIRUJANO

INTERACCIOacuteN

AUTO-GUIADA

BRAZOS ROBOTS

CONTROL DE

BAJO NIVEL

PACIENTE

Interaccioacute

n

Ciru

jano

Herramientas Robot

Trayectoria Planificada

Localizacioacuten Cirujano

Trayectoria ControladaLo

caliz

acioacute

n R

ob

ot

ROBOT ASISTENTE

SENSOR DE

FUERZAS

INTERFAZ DE

VOZ

Esfuerzos

Imagen Laparoscoacutepica

Contacto Robot

Aguja

Herramienta Cirujano

Activacioacuten

Sentildeal de Audio

TRACKER 3D

Comando de Voz

RECONOCEDOR

DE GESTOS

MOacuteDULO DE

VISIOacuteN

ASISTENTE

DE SUTURA Activacioacuten

Nuevo Estado

Nuevo Estado

ADQUISICIOacuteN

AUDIO

Voz del cirujano

Gesto Quiruacutergico

SIST

EMA

TOLE

RA

NTE

AFA

LLO

S

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT SISTEMA TOLERANTE A FALLOS

Evento Deteccioacuten Actuacioacuten

Fallo Hardware - Sentildeal de Fallo Hardware Parar el sistema

Colisioacuten entre brazos - Anaacutelisis de Colisioacuten cinemaacuteticaParar brazo de la caacutemara

mientras haya riesgo

Colisioacuten con herramienta

del cirujano

- Cambio inusual del Fulcro Estimado

- Herramienta del cirujano cerca del robotParar robot mientras haya riesgo

Colisioacuten con tejidooacuterganos- Cambio inusual del Fulcro Estimado

- Herramienta del cirujano lejos del robotExtraer herramienta del robot

Fallo de sensores- Medicioacuten anoacutemala y constante

independiente de la actuacioacuten

Mensaje de alerta y parar si

persiste

0 2 4 6 8 10 12 14 16 180

20

40

60

80

100

Dis

tan

cia

s (

mm

)

Distancia Robot-Objetivo

Distancia Robot-Cirujano

0 2 4 6 8 10 12 14 16 18-10

-5

0

5

10

15

20

Tiempo (segundos)

Fu

erz

as (

N)

Fx

Fy

Fz

0 2 4 6 8 10 12 14 16 18 200

20

40

60

80

100

Dis

tan

cia

s (

mm

)

Distancia Robot-Objetivo

Distancia Robot-Cirujano

0 2 4 6 8 10 12 14 16 18 20-20

-15

-10

-5

0

5

10

Tiempo (segundos)

Fu

erz

as (

N)

Fx

Fy

Fz

Co

lisioacute

n c

on

herr

am

ien

ta

Colisioacuten con tejido

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT EXPERIMENTOS PROPUESTOS

1 Movimiento esfeacuterico mediante la aplicacioacuten del control EMP

2 Movimiento auto-guiado con la herramienta del cirujano en

movimiento

3 Procedimiento de sutura Insercioacuten Puncioacuten Anudado y Corte

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 1 MOVIMIENTO ESFEacuteRICO

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 2 MOVIMIENTO AUTO-GUIADO

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (I)

Maniobra 1 Insercioacuten

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (II)

Maniobra 2 Puncioacuten

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (III)

Maniobra 3 Anudado

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (IV)

Maniobra 4 Corte del Hilo

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CONCLUSIONES

El gran esfuerzo investigador en torno a la roboacutetica quiruacutergica la destaca

como una herramienta de gran utilidad en cirugiacutea laparoscoacutepica

Tres grupos de robots quiruacutergicos tele-manipuladores camaroacutegrafos y

sistemas autoacutenomos

En un punto intermedio los robots semiautoacutenomos se perfilan como los

candidatos para la cirugiacutea en solitario

Contribuciones de esta tesis para los robots semiautoacutenomos

1 Movimiento esfeacuterico del instrumental mediante muntildeecas activas

2 Sistema auto-guiado para la planificacioacuten de movimientos en el interior

de la cavidad abdominal

3 Asistencia semiautoacutenoma al procedimiento laparoscoacutepico de sutura

Implantacioacuten de las contribuciones en el prototipo CISOBOT

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

LIacuteNEAS DE INVESTIGACIOacuteN FUTURAS

Ampliar la asistencia al cirujano en otros procedimientos ademaacutes de la

sutura corte transporte agarrehellip

Modelar complicaciones producidas con mayor frecuencia durante la

ejecucioacuten de los procedimientos anteriores (error en corte limpieza de

sangradohellip)

Modificar el robot para manejar instrumental a traveacutes de un solo orificio en

teacutecnicas SILS (Single Input Laparoscopic Surgery)

Eliminar la hipoacutetesis de herramientas riacutegidas para mejorar la localizacioacuten del

punto de fulcro e interaccioacuten con el cirujano y el paciente

Cambiar el modo secuencial del diagrama de estados de la sutura para

permitir una interaccioacuten simultaacutenea con el cirujano

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

APORTACIONES CIENTIacuteFICAS

CONGRESOS INTERNACIONALES (6) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoActive Wrists Endoscope Navigation in Robotized Laparoscopic

Surgeryrdquo IEEE International Conference on Mechatronics (ICM) Abril 2009 Maacutelaga (Espantildea) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoThree-Layer Control for Active Wrists in Robotized Laparoscopic

Surgeryrdquo IEEE International Conference on Intelligent Robots and Systems (IROS) Octubre 2009 St Louis (EEUU) B Estebanez G Jimeacutenez VF Muntildeoz I Garciacutea-Morales E Bauzano J Molina ldquoMinimally Invasive Surgery Maneuver

Recognition Based on Surgeon Modelrdquo IEEE International Congerence on Intelligent Robots and Systems (IROS) Octubre 2009 St Louis (EEUU)

E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoA Multi-Behavior Algorithm for Auto-Guided Movements in Surgeon Assistancerdquo IEEE International Workshop on Robotics in Alpe-Adria-Danube Region (RAAD) Junio 2010 Budapest (Hungriacutea)

Premio al mejor artiacuteculo de estudiante (Best Paper Award) E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoAuto-Guided Movements on Minimally Invasive Surgery for Surgeon Assistancerdquo

IEEE International Conference on Intelligent Robots and Systems (IROS) Octubre 2010 Taipei (Taiwaacuten) B Estebanez E Bauzano VF Muntildeoz ldquoSurgical Tools Pose Estimation for a Multimodal HMI of a Surgical Robot Assistantrdquo IEEE

International Conference on Intelligent Robots and Systems (IROS) Septiembre 2011 San Francisco (EEUU)

LIBROS Y REVISTAS (2) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoControl Methodologies for Endoscope Navigation in Robotized

Laparoscopic Surgeryrdquo Research and Education in Robotics Ed Springer-Verlag (Berliacuten Heidelberg) 2010 Vol 82 pp 11-22 ISBN 978-3-642-16369

E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoA Multi-Behavior Algorithm for Auto-Guided Movements in Surgeon Assistancerdquo International Journal of Mechanics and Control (JoMaC) Ed Levrotto amp Bella (Torino Italia) 2011 Vol 12 no 1 ISSN 1590-8844

CONGRESOS NACIONALES (10) ndash POSTERS Y WORKSHOPS

Proyecto de Excelencia P07-TEP-02897

ROBOT ASISTENTE SEMIAUTOacuteNOMO DE

DOS BRAZOS PARA INTERVENCIONES DE

CIRUGIacuteA LAPAROSCOacutePICA

Enrique Bauzano Nuacutentildeez

DEPARTAMENTO DE INGENIERIacuteA DE SISTEMAS Y AUTOMAacuteTICA

UNIVERSIDAD DE MAacuteLAGA

DEFENSA DE TESIS DOCTORAL

Directores Dr Viacutector F Muntildeoz Martiacutenez

Dra Isabel Garciacutea Morales

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

PROBLEMA 3 ASISTENCIA A LA SUTURA

EndoscopioHerramienta del

cirujano

Herramienta

auxiliar

Sujecioacuten

del hiacutegado

Escenario de Colecistectomiacutea

Protocolo

1 Elevar hiacutegado para exponer la

vesiacutecula

2 Cortar triaacutengulo de Calot y exponer

arteria y conducto ciacutesticos

3 Suturar arteria y conducto ciacutesticos

para aislar un punto intermedio

4 Cortar arteria y conducto ciacutesticos

5 Separar vesiacutecula

6 Extraer vesiacutecula del paciente

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA CONCEPTOS PREVIOS

bull Gesto Accioacuten identificable maacutes elemental de las herramientas

laparoscoacutepicas (tirar del hilo de sutura presionar tejidohellip)

bull Maniobra Secuencia de gestos que componen una actuacioacuten

definible sobre el paciente (puncioacuten corte anudadohellip)

bull Procedimiento Maniobra o secuencia de maniobras que completan

una tarea propuesta por un protocolo quiruacutergico

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA MEacuteTODO DE ROSSER (I)

Laparoscopic Suturing httpwwwyoutubecomwatchv=PmdPAVFgNXU

1 Insertar aguja y centrar Agarrar aguja

2 Presionar tejido Posicionar aguja para puncioacuten

3 Agarrar aguja tras puncioacuten Puncioacuten mediante giro de 60deg-90deg

4 Extraer aguja y tirar del hilo Soltar aguja y sostener tejido

5 Colocar aguja a la sutura Desplazar herramienta sobre el hilo

6 Mantener posicioacuten Girar 2x sentido horario

7 Tensar hilo en sentido nordeste Agarrar extremo del hilo y mantener

MANO IZQUIERDA MANO DERECHA

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA MEacuteTODO DE ROSSER (II)

Problemas

Gran cantidad de gestos entre las dos manos

Compleja sincronizacioacuten entre las herramientas laparoscoacutepicas

Solucioacuten

Asistir al cirujano manejando una herramienta con un robot

Ventajas

Menor tiempo de aprendizaje en sincronizar ambas manos

La otra mano queda libre para otras tareas no automatizables

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA DIAGRAMA DE ESTADOS (I)

PUNZADA DE LA AGUJAINSERCIOacuteN DE LA AGUJA

ANUDADOCORTE DEL HILO

S0

S2

S1 S3

S4

S5

S6

S8

S9 S7

S11

S10S12

S13

S14

T1

T2

T3

T4

T5

T6

T7T8

T9T10

i = 3 i lt 3

T11T12T13T14

T0

T15

S0 Inicio y preparacioacuten de sutura

S1 Insertar y centrar aguja en pantalla

S2 Coger aguja y colocar en punto de

sutura

S3 Fijar tejido

S4 Punzar tejido extraer aguja y tirar

del hilo

S5 Separar del tejido y abrir pinza

S6 Colocar aguja en pinza izquierda

S7 Posicionar aguja

S8 Rotar alrededor del hilo

S9 Tirar del hilo y cerrar nudo

S10 Acercar aguja a punto de sutura

S11 Coger ambos extremos del hilo y

tensar

S12 Coger hilo bajo pinza derecha

S13 Cambiar herramienta y cortar hilo

S14 Extraer hilo y aguja

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA DIAGRAMA DE ESTADOS (II)

PUNZADA DE LA AGUJAINSERCIOacuteN DE LA AGUJA

ANUDADOCORTE DEL HILO

S0

S2

S1 S3

S4

S5

S6

S8

S9 S7

S11

S10S12

S13

S14

T1

T2

T3

T4

T5

T6

T7T8

T9T10

i = 3 i lt 3

T11T12T13T14

T0

T15

T0 Comando de voz ldquoSuturardquo

T1 Robot en posicioacuten

T2 Gesto de cirujano reconocido

T3 Fuerza aplicada sobre tejido

T4 Gesto de cirujano reconocido

T5 Robot en posicioacuten

T6 Gesto de cirujano reconocido

T7 Robot en posicioacuten

T8 Gesto de cirujano reconocido

T9 Fuerza aplicada sobre el hilo

T10 Robot en posicioacuten

T11 Gesto de cirujano reconocido

T12 Robot en posicioacuten + fuerza

aplicada sobre el hilo

T13 Gesto de cirujano reconocido

T14 Robot en posicioacuten

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA DIAGRAMA DE ESTADOS (III)

PUNZADA DE LA AGUJAINSERCIOacuteN DE LA AGUJA

ANUDADOCORTE DEL HILO

S0

S2

S1 S3

S4

S5

S6

S8

S9 S7

S11

S10S12

S13

S14

T1

T2

T3

T4

T5

T6

T7T8

T9T10

i = 3 i lt 3

T11T12T13T14

T0

T15

Sk+1

Sk

Tk-1

Tk

Tk+1

1k

kE

1

1

k

kE

k

kE 1

k

kE

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA ASISTENTE DE ESTADOS

ASISTENTE DE ESTADOS

INTERACCIOacuteN

AUTO-GUIADA

Trayectoria

Planificada

Localizacioacuten

Cirujano

Localizacioacuten

del Robot

INTERFAZ DE

VOZ

Fuerzas y

Pares

Posicioacuten

Aguja

Sentildeal de

Audio

Comando

de Voz

RECONOCEDOR

DE GESTOS

ASISTENTE DE SUTURA

Activacioacuten

Tk Estado Sk

Activacioacuten

Tk

Funciones

1) Alcanzar posicioacuten objetivo

2) Aplicar fuerza en tejidohilo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA INTERACCIOacuteN AUTO-GUIADA

INTERACCIOacuteN AUTO-GUIADA

SISTEMA

ROBOT+-

1

AKoF

F

pr

MOVIMIENTO

AUTO-GUIADO

cx

or

cr r

D

DI

CONTROL

PI

++

D

-+ K

er

++

xcF

co FF

coc FFx 1

AKLey de Control

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

DEMO ASISTENCIA A LA SUTURA

Maniobra 1 Insercioacuten Maniobra 2 Puncioacuten

Maniobra 3 AnudadoManiobra 4 Corte del hilo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

IMPLANTACIOacuteN PLATAFORMA CISOBOT

Brazo Instrumental

Quiruacutergico

Brazo Caacutemara

Laparoscoacutepica

Estructura Robot

Asistente

Marca 3D

Sensor de

Fuerzas

Muntildeeca Pasiva

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT ENTORNO QUIRUacuteRGICO

Columna de

Laparoscopia

Tracker 3D

Brazo Caacutemara

Laparoscoacutepica

Brazo Instrumental

Quiruacutergico

Simulador de

Paciente

Herramienta del

Cirujano

Caacutemara

Laparoscoacutepica

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT ARQUITECTURA DE CONTROL

SENSORES ENTORNOASISTENTE DE ESTADOS

CIRUJANO

INTERACCIOacuteN

AUTO-GUIADA

BRAZOS ROBOTS

CONTROL DE

BAJO NIVEL

PACIENTE

Interaccioacute

n

Ciru

jano

Herramientas Robot

Trayectoria Planificada

Localizacioacuten Cirujano

Trayectoria ControladaLo

caliz

acioacute

n R

ob

ot

ROBOT ASISTENTE

SENSOR DE

FUERZAS

INTERFAZ DE

VOZ

Esfuerzos

Imagen Laparoscoacutepica

Contacto Robot

Aguja

Herramienta Cirujano

Activacioacuten

Sentildeal de Audio

TRACKER 3D

Comando de Voz

RECONOCEDOR

DE GESTOS

MOacuteDULO DE

VISIOacuteN

ASISTENTE

DE SUTURA Activacioacuten

Nuevo Estado

Nuevo Estado

ADQUISICIOacuteN

AUDIO

Voz del cirujano

Gesto Quiruacutergico

SIST

EMA

TOLE

RA

NTE

AFA

LLO

S

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT SISTEMA TOLERANTE A FALLOS

Evento Deteccioacuten Actuacioacuten

Fallo Hardware - Sentildeal de Fallo Hardware Parar el sistema

Colisioacuten entre brazos - Anaacutelisis de Colisioacuten cinemaacuteticaParar brazo de la caacutemara

mientras haya riesgo

Colisioacuten con herramienta

del cirujano

- Cambio inusual del Fulcro Estimado

- Herramienta del cirujano cerca del robotParar robot mientras haya riesgo

Colisioacuten con tejidooacuterganos- Cambio inusual del Fulcro Estimado

- Herramienta del cirujano lejos del robotExtraer herramienta del robot

Fallo de sensores- Medicioacuten anoacutemala y constante

independiente de la actuacioacuten

Mensaje de alerta y parar si

persiste

0 2 4 6 8 10 12 14 16 180

20

40

60

80

100

Dis

tan

cia

s (

mm

)

Distancia Robot-Objetivo

Distancia Robot-Cirujano

0 2 4 6 8 10 12 14 16 18-10

-5

0

5

10

15

20

Tiempo (segundos)

Fu

erz

as (

N)

Fx

Fy

Fz

0 2 4 6 8 10 12 14 16 18 200

20

40

60

80

100

Dis

tan

cia

s (

mm

)

Distancia Robot-Objetivo

Distancia Robot-Cirujano

0 2 4 6 8 10 12 14 16 18 20-20

-15

-10

-5

0

5

10

Tiempo (segundos)

Fu

erz

as (

N)

Fx

Fy

Fz

Co

lisioacute

n c

on

herr

am

ien

ta

Colisioacuten con tejido

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT EXPERIMENTOS PROPUESTOS

1 Movimiento esfeacuterico mediante la aplicacioacuten del control EMP

2 Movimiento auto-guiado con la herramienta del cirujano en

movimiento

3 Procedimiento de sutura Insercioacuten Puncioacuten Anudado y Corte

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 1 MOVIMIENTO ESFEacuteRICO

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 2 MOVIMIENTO AUTO-GUIADO

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (I)

Maniobra 1 Insercioacuten

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (II)

Maniobra 2 Puncioacuten

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (III)

Maniobra 3 Anudado

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (IV)

Maniobra 4 Corte del Hilo

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CONCLUSIONES

El gran esfuerzo investigador en torno a la roboacutetica quiruacutergica la destaca

como una herramienta de gran utilidad en cirugiacutea laparoscoacutepica

Tres grupos de robots quiruacutergicos tele-manipuladores camaroacutegrafos y

sistemas autoacutenomos

En un punto intermedio los robots semiautoacutenomos se perfilan como los

candidatos para la cirugiacutea en solitario

Contribuciones de esta tesis para los robots semiautoacutenomos

1 Movimiento esfeacuterico del instrumental mediante muntildeecas activas

2 Sistema auto-guiado para la planificacioacuten de movimientos en el interior

de la cavidad abdominal

3 Asistencia semiautoacutenoma al procedimiento laparoscoacutepico de sutura

Implantacioacuten de las contribuciones en el prototipo CISOBOT

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

LIacuteNEAS DE INVESTIGACIOacuteN FUTURAS

Ampliar la asistencia al cirujano en otros procedimientos ademaacutes de la

sutura corte transporte agarrehellip

Modelar complicaciones producidas con mayor frecuencia durante la

ejecucioacuten de los procedimientos anteriores (error en corte limpieza de

sangradohellip)

Modificar el robot para manejar instrumental a traveacutes de un solo orificio en

teacutecnicas SILS (Single Input Laparoscopic Surgery)

Eliminar la hipoacutetesis de herramientas riacutegidas para mejorar la localizacioacuten del

punto de fulcro e interaccioacuten con el cirujano y el paciente

Cambiar el modo secuencial del diagrama de estados de la sutura para

permitir una interaccioacuten simultaacutenea con el cirujano

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

APORTACIONES CIENTIacuteFICAS

CONGRESOS INTERNACIONALES (6) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoActive Wrists Endoscope Navigation in Robotized Laparoscopic

Surgeryrdquo IEEE International Conference on Mechatronics (ICM) Abril 2009 Maacutelaga (Espantildea) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoThree-Layer Control for Active Wrists in Robotized Laparoscopic

Surgeryrdquo IEEE International Conference on Intelligent Robots and Systems (IROS) Octubre 2009 St Louis (EEUU) B Estebanez G Jimeacutenez VF Muntildeoz I Garciacutea-Morales E Bauzano J Molina ldquoMinimally Invasive Surgery Maneuver

Recognition Based on Surgeon Modelrdquo IEEE International Congerence on Intelligent Robots and Systems (IROS) Octubre 2009 St Louis (EEUU)

E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoA Multi-Behavior Algorithm for Auto-Guided Movements in Surgeon Assistancerdquo IEEE International Workshop on Robotics in Alpe-Adria-Danube Region (RAAD) Junio 2010 Budapest (Hungriacutea)

Premio al mejor artiacuteculo de estudiante (Best Paper Award) E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoAuto-Guided Movements on Minimally Invasive Surgery for Surgeon Assistancerdquo

IEEE International Conference on Intelligent Robots and Systems (IROS) Octubre 2010 Taipei (Taiwaacuten) B Estebanez E Bauzano VF Muntildeoz ldquoSurgical Tools Pose Estimation for a Multimodal HMI of a Surgical Robot Assistantrdquo IEEE

International Conference on Intelligent Robots and Systems (IROS) Septiembre 2011 San Francisco (EEUU)

LIBROS Y REVISTAS (2) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoControl Methodologies for Endoscope Navigation in Robotized

Laparoscopic Surgeryrdquo Research and Education in Robotics Ed Springer-Verlag (Berliacuten Heidelberg) 2010 Vol 82 pp 11-22 ISBN 978-3-642-16369

E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoA Multi-Behavior Algorithm for Auto-Guided Movements in Surgeon Assistancerdquo International Journal of Mechanics and Control (JoMaC) Ed Levrotto amp Bella (Torino Italia) 2011 Vol 12 no 1 ISSN 1590-8844

CONGRESOS NACIONALES (10) ndash POSTERS Y WORKSHOPS

Proyecto de Excelencia P07-TEP-02897

ROBOT ASISTENTE SEMIAUTOacuteNOMO DE

DOS BRAZOS PARA INTERVENCIONES DE

CIRUGIacuteA LAPAROSCOacutePICA

Enrique Bauzano Nuacutentildeez

DEPARTAMENTO DE INGENIERIacuteA DE SISTEMAS Y AUTOMAacuteTICA

UNIVERSIDAD DE MAacuteLAGA

DEFENSA DE TESIS DOCTORAL

Directores Dr Viacutector F Muntildeoz Martiacutenez

Dra Isabel Garciacutea Morales

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA CONCEPTOS PREVIOS

bull Gesto Accioacuten identificable maacutes elemental de las herramientas

laparoscoacutepicas (tirar del hilo de sutura presionar tejidohellip)

bull Maniobra Secuencia de gestos que componen una actuacioacuten

definible sobre el paciente (puncioacuten corte anudadohellip)

bull Procedimiento Maniobra o secuencia de maniobras que completan

una tarea propuesta por un protocolo quiruacutergico

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA MEacuteTODO DE ROSSER (I)

Laparoscopic Suturing httpwwwyoutubecomwatchv=PmdPAVFgNXU

1 Insertar aguja y centrar Agarrar aguja

2 Presionar tejido Posicionar aguja para puncioacuten

3 Agarrar aguja tras puncioacuten Puncioacuten mediante giro de 60deg-90deg

4 Extraer aguja y tirar del hilo Soltar aguja y sostener tejido

5 Colocar aguja a la sutura Desplazar herramienta sobre el hilo

6 Mantener posicioacuten Girar 2x sentido horario

7 Tensar hilo en sentido nordeste Agarrar extremo del hilo y mantener

MANO IZQUIERDA MANO DERECHA

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA MEacuteTODO DE ROSSER (II)

Problemas

Gran cantidad de gestos entre las dos manos

Compleja sincronizacioacuten entre las herramientas laparoscoacutepicas

Solucioacuten

Asistir al cirujano manejando una herramienta con un robot

Ventajas

Menor tiempo de aprendizaje en sincronizar ambas manos

La otra mano queda libre para otras tareas no automatizables

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA DIAGRAMA DE ESTADOS (I)

PUNZADA DE LA AGUJAINSERCIOacuteN DE LA AGUJA

ANUDADOCORTE DEL HILO

S0

S2

S1 S3

S4

S5

S6

S8

S9 S7

S11

S10S12

S13

S14

T1

T2

T3

T4

T5

T6

T7T8

T9T10

i = 3 i lt 3

T11T12T13T14

T0

T15

S0 Inicio y preparacioacuten de sutura

S1 Insertar y centrar aguja en pantalla

S2 Coger aguja y colocar en punto de

sutura

S3 Fijar tejido

S4 Punzar tejido extraer aguja y tirar

del hilo

S5 Separar del tejido y abrir pinza

S6 Colocar aguja en pinza izquierda

S7 Posicionar aguja

S8 Rotar alrededor del hilo

S9 Tirar del hilo y cerrar nudo

S10 Acercar aguja a punto de sutura

S11 Coger ambos extremos del hilo y

tensar

S12 Coger hilo bajo pinza derecha

S13 Cambiar herramienta y cortar hilo

S14 Extraer hilo y aguja

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA DIAGRAMA DE ESTADOS (II)

PUNZADA DE LA AGUJAINSERCIOacuteN DE LA AGUJA

ANUDADOCORTE DEL HILO

S0

S2

S1 S3

S4

S5

S6

S8

S9 S7

S11

S10S12

S13

S14

T1

T2

T3

T4

T5

T6

T7T8

T9T10

i = 3 i lt 3

T11T12T13T14

T0

T15

T0 Comando de voz ldquoSuturardquo

T1 Robot en posicioacuten

T2 Gesto de cirujano reconocido

T3 Fuerza aplicada sobre tejido

T4 Gesto de cirujano reconocido

T5 Robot en posicioacuten

T6 Gesto de cirujano reconocido

T7 Robot en posicioacuten

T8 Gesto de cirujano reconocido

T9 Fuerza aplicada sobre el hilo

T10 Robot en posicioacuten

T11 Gesto de cirujano reconocido

T12 Robot en posicioacuten + fuerza

aplicada sobre el hilo

T13 Gesto de cirujano reconocido

T14 Robot en posicioacuten

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA DIAGRAMA DE ESTADOS (III)

PUNZADA DE LA AGUJAINSERCIOacuteN DE LA AGUJA

ANUDADOCORTE DEL HILO

S0

S2

S1 S3

S4

S5

S6

S8

S9 S7

S11

S10S12

S13

S14

T1

T2

T3

T4

T5

T6

T7T8

T9T10

i = 3 i lt 3

T11T12T13T14

T0

T15

Sk+1

Sk

Tk-1

Tk

Tk+1

1k

kE

1

1

k

kE

k

kE 1

k

kE

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA ASISTENTE DE ESTADOS

ASISTENTE DE ESTADOS

INTERACCIOacuteN

AUTO-GUIADA

Trayectoria

Planificada

Localizacioacuten

Cirujano

Localizacioacuten

del Robot

INTERFAZ DE

VOZ

Fuerzas y

Pares

Posicioacuten

Aguja

Sentildeal de

Audio

Comando

de Voz

RECONOCEDOR

DE GESTOS

ASISTENTE DE SUTURA

Activacioacuten

Tk Estado Sk

Activacioacuten

Tk

Funciones

1) Alcanzar posicioacuten objetivo

2) Aplicar fuerza en tejidohilo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA INTERACCIOacuteN AUTO-GUIADA

INTERACCIOacuteN AUTO-GUIADA

SISTEMA

ROBOT+-

1

AKoF

F

pr

MOVIMIENTO

AUTO-GUIADO

cx

or

cr r

D

DI

CONTROL

PI

++

D

-+ K

er

++

xcF

co FF

coc FFx 1

AKLey de Control

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

DEMO ASISTENCIA A LA SUTURA

Maniobra 1 Insercioacuten Maniobra 2 Puncioacuten

Maniobra 3 AnudadoManiobra 4 Corte del hilo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

IMPLANTACIOacuteN PLATAFORMA CISOBOT

Brazo Instrumental

Quiruacutergico

Brazo Caacutemara

Laparoscoacutepica

Estructura Robot

Asistente

Marca 3D

Sensor de

Fuerzas

Muntildeeca Pasiva

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT ENTORNO QUIRUacuteRGICO

Columna de

Laparoscopia

Tracker 3D

Brazo Caacutemara

Laparoscoacutepica

Brazo Instrumental

Quiruacutergico

Simulador de

Paciente

Herramienta del

Cirujano

Caacutemara

Laparoscoacutepica

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT ARQUITECTURA DE CONTROL

SENSORES ENTORNOASISTENTE DE ESTADOS

CIRUJANO

INTERACCIOacuteN

AUTO-GUIADA

BRAZOS ROBOTS

CONTROL DE

BAJO NIVEL

PACIENTE

Interaccioacute

n

Ciru

jano

Herramientas Robot

Trayectoria Planificada

Localizacioacuten Cirujano

Trayectoria ControladaLo

caliz

acioacute

n R

ob

ot

ROBOT ASISTENTE

SENSOR DE

FUERZAS

INTERFAZ DE

VOZ

Esfuerzos

Imagen Laparoscoacutepica

Contacto Robot

Aguja

Herramienta Cirujano

Activacioacuten

Sentildeal de Audio

TRACKER 3D

Comando de Voz

RECONOCEDOR

DE GESTOS

MOacuteDULO DE

VISIOacuteN

ASISTENTE

DE SUTURA Activacioacuten

Nuevo Estado

Nuevo Estado

ADQUISICIOacuteN

AUDIO

Voz del cirujano

Gesto Quiruacutergico

SIST

EMA

TOLE

RA

NTE

AFA

LLO

S

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT SISTEMA TOLERANTE A FALLOS

Evento Deteccioacuten Actuacioacuten

Fallo Hardware - Sentildeal de Fallo Hardware Parar el sistema

Colisioacuten entre brazos - Anaacutelisis de Colisioacuten cinemaacuteticaParar brazo de la caacutemara

mientras haya riesgo

Colisioacuten con herramienta

del cirujano

- Cambio inusual del Fulcro Estimado

- Herramienta del cirujano cerca del robotParar robot mientras haya riesgo

Colisioacuten con tejidooacuterganos- Cambio inusual del Fulcro Estimado

- Herramienta del cirujano lejos del robotExtraer herramienta del robot

Fallo de sensores- Medicioacuten anoacutemala y constante

independiente de la actuacioacuten

Mensaje de alerta y parar si

persiste

0 2 4 6 8 10 12 14 16 180

20

40

60

80

100

Dis

tan

cia

s (

mm

)

Distancia Robot-Objetivo

Distancia Robot-Cirujano

0 2 4 6 8 10 12 14 16 18-10

-5

0

5

10

15

20

Tiempo (segundos)

Fu

erz

as (

N)

Fx

Fy

Fz

0 2 4 6 8 10 12 14 16 18 200

20

40

60

80

100

Dis

tan

cia

s (

mm

)

Distancia Robot-Objetivo

Distancia Robot-Cirujano

0 2 4 6 8 10 12 14 16 18 20-20

-15

-10

-5

0

5

10

Tiempo (segundos)

Fu

erz

as (

N)

Fx

Fy

Fz

Co

lisioacute

n c

on

herr

am

ien

ta

Colisioacuten con tejido

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT EXPERIMENTOS PROPUESTOS

1 Movimiento esfeacuterico mediante la aplicacioacuten del control EMP

2 Movimiento auto-guiado con la herramienta del cirujano en

movimiento

3 Procedimiento de sutura Insercioacuten Puncioacuten Anudado y Corte

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 1 MOVIMIENTO ESFEacuteRICO

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 2 MOVIMIENTO AUTO-GUIADO

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (I)

Maniobra 1 Insercioacuten

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (II)

Maniobra 2 Puncioacuten

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (III)

Maniobra 3 Anudado

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (IV)

Maniobra 4 Corte del Hilo

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CONCLUSIONES

El gran esfuerzo investigador en torno a la roboacutetica quiruacutergica la destaca

como una herramienta de gran utilidad en cirugiacutea laparoscoacutepica

Tres grupos de robots quiruacutergicos tele-manipuladores camaroacutegrafos y

sistemas autoacutenomos

En un punto intermedio los robots semiautoacutenomos se perfilan como los

candidatos para la cirugiacutea en solitario

Contribuciones de esta tesis para los robots semiautoacutenomos

1 Movimiento esfeacuterico del instrumental mediante muntildeecas activas

2 Sistema auto-guiado para la planificacioacuten de movimientos en el interior

de la cavidad abdominal

3 Asistencia semiautoacutenoma al procedimiento laparoscoacutepico de sutura

Implantacioacuten de las contribuciones en el prototipo CISOBOT

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

LIacuteNEAS DE INVESTIGACIOacuteN FUTURAS

Ampliar la asistencia al cirujano en otros procedimientos ademaacutes de la

sutura corte transporte agarrehellip

Modelar complicaciones producidas con mayor frecuencia durante la

ejecucioacuten de los procedimientos anteriores (error en corte limpieza de

sangradohellip)

Modificar el robot para manejar instrumental a traveacutes de un solo orificio en

teacutecnicas SILS (Single Input Laparoscopic Surgery)

Eliminar la hipoacutetesis de herramientas riacutegidas para mejorar la localizacioacuten del

punto de fulcro e interaccioacuten con el cirujano y el paciente

Cambiar el modo secuencial del diagrama de estados de la sutura para

permitir una interaccioacuten simultaacutenea con el cirujano

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

APORTACIONES CIENTIacuteFICAS

CONGRESOS INTERNACIONALES (6) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoActive Wrists Endoscope Navigation in Robotized Laparoscopic

Surgeryrdquo IEEE International Conference on Mechatronics (ICM) Abril 2009 Maacutelaga (Espantildea) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoThree-Layer Control for Active Wrists in Robotized Laparoscopic

Surgeryrdquo IEEE International Conference on Intelligent Robots and Systems (IROS) Octubre 2009 St Louis (EEUU) B Estebanez G Jimeacutenez VF Muntildeoz I Garciacutea-Morales E Bauzano J Molina ldquoMinimally Invasive Surgery Maneuver

Recognition Based on Surgeon Modelrdquo IEEE International Congerence on Intelligent Robots and Systems (IROS) Octubre 2009 St Louis (EEUU)

E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoA Multi-Behavior Algorithm for Auto-Guided Movements in Surgeon Assistancerdquo IEEE International Workshop on Robotics in Alpe-Adria-Danube Region (RAAD) Junio 2010 Budapest (Hungriacutea)

Premio al mejor artiacuteculo de estudiante (Best Paper Award) E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoAuto-Guided Movements on Minimally Invasive Surgery for Surgeon Assistancerdquo

IEEE International Conference on Intelligent Robots and Systems (IROS) Octubre 2010 Taipei (Taiwaacuten) B Estebanez E Bauzano VF Muntildeoz ldquoSurgical Tools Pose Estimation for a Multimodal HMI of a Surgical Robot Assistantrdquo IEEE

International Conference on Intelligent Robots and Systems (IROS) Septiembre 2011 San Francisco (EEUU)

LIBROS Y REVISTAS (2) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoControl Methodologies for Endoscope Navigation in Robotized

Laparoscopic Surgeryrdquo Research and Education in Robotics Ed Springer-Verlag (Berliacuten Heidelberg) 2010 Vol 82 pp 11-22 ISBN 978-3-642-16369

E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoA Multi-Behavior Algorithm for Auto-Guided Movements in Surgeon Assistancerdquo International Journal of Mechanics and Control (JoMaC) Ed Levrotto amp Bella (Torino Italia) 2011 Vol 12 no 1 ISSN 1590-8844

CONGRESOS NACIONALES (10) ndash POSTERS Y WORKSHOPS

Proyecto de Excelencia P07-TEP-02897

ROBOT ASISTENTE SEMIAUTOacuteNOMO DE

DOS BRAZOS PARA INTERVENCIONES DE

CIRUGIacuteA LAPAROSCOacutePICA

Enrique Bauzano Nuacutentildeez

DEPARTAMENTO DE INGENIERIacuteA DE SISTEMAS Y AUTOMAacuteTICA

UNIVERSIDAD DE MAacuteLAGA

DEFENSA DE TESIS DOCTORAL

Directores Dr Viacutector F Muntildeoz Martiacutenez

Dra Isabel Garciacutea Morales

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA MEacuteTODO DE ROSSER (I)

Laparoscopic Suturing httpwwwyoutubecomwatchv=PmdPAVFgNXU

1 Insertar aguja y centrar Agarrar aguja

2 Presionar tejido Posicionar aguja para puncioacuten

3 Agarrar aguja tras puncioacuten Puncioacuten mediante giro de 60deg-90deg

4 Extraer aguja y tirar del hilo Soltar aguja y sostener tejido

5 Colocar aguja a la sutura Desplazar herramienta sobre el hilo

6 Mantener posicioacuten Girar 2x sentido horario

7 Tensar hilo en sentido nordeste Agarrar extremo del hilo y mantener

MANO IZQUIERDA MANO DERECHA

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA MEacuteTODO DE ROSSER (II)

Problemas

Gran cantidad de gestos entre las dos manos

Compleja sincronizacioacuten entre las herramientas laparoscoacutepicas

Solucioacuten

Asistir al cirujano manejando una herramienta con un robot

Ventajas

Menor tiempo de aprendizaje en sincronizar ambas manos

La otra mano queda libre para otras tareas no automatizables

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA DIAGRAMA DE ESTADOS (I)

PUNZADA DE LA AGUJAINSERCIOacuteN DE LA AGUJA

ANUDADOCORTE DEL HILO

S0

S2

S1 S3

S4

S5

S6

S8

S9 S7

S11

S10S12

S13

S14

T1

T2

T3

T4

T5

T6

T7T8

T9T10

i = 3 i lt 3

T11T12T13T14

T0

T15

S0 Inicio y preparacioacuten de sutura

S1 Insertar y centrar aguja en pantalla

S2 Coger aguja y colocar en punto de

sutura

S3 Fijar tejido

S4 Punzar tejido extraer aguja y tirar

del hilo

S5 Separar del tejido y abrir pinza

S6 Colocar aguja en pinza izquierda

S7 Posicionar aguja

S8 Rotar alrededor del hilo

S9 Tirar del hilo y cerrar nudo

S10 Acercar aguja a punto de sutura

S11 Coger ambos extremos del hilo y

tensar

S12 Coger hilo bajo pinza derecha

S13 Cambiar herramienta y cortar hilo

S14 Extraer hilo y aguja

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA DIAGRAMA DE ESTADOS (II)

PUNZADA DE LA AGUJAINSERCIOacuteN DE LA AGUJA

ANUDADOCORTE DEL HILO

S0

S2

S1 S3

S4

S5

S6

S8

S9 S7

S11

S10S12

S13

S14

T1

T2

T3

T4

T5

T6

T7T8

T9T10

i = 3 i lt 3

T11T12T13T14

T0

T15

T0 Comando de voz ldquoSuturardquo

T1 Robot en posicioacuten

T2 Gesto de cirujano reconocido

T3 Fuerza aplicada sobre tejido

T4 Gesto de cirujano reconocido

T5 Robot en posicioacuten

T6 Gesto de cirujano reconocido

T7 Robot en posicioacuten

T8 Gesto de cirujano reconocido

T9 Fuerza aplicada sobre el hilo

T10 Robot en posicioacuten

T11 Gesto de cirujano reconocido

T12 Robot en posicioacuten + fuerza

aplicada sobre el hilo

T13 Gesto de cirujano reconocido

T14 Robot en posicioacuten

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA DIAGRAMA DE ESTADOS (III)

PUNZADA DE LA AGUJAINSERCIOacuteN DE LA AGUJA

ANUDADOCORTE DEL HILO

S0

S2

S1 S3

S4

S5

S6

S8

S9 S7

S11

S10S12

S13

S14

T1

T2

T3

T4

T5

T6

T7T8

T9T10

i = 3 i lt 3

T11T12T13T14

T0

T15

Sk+1

Sk

Tk-1

Tk

Tk+1

1k

kE

1

1

k

kE

k

kE 1

k

kE

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA ASISTENTE DE ESTADOS

ASISTENTE DE ESTADOS

INTERACCIOacuteN

AUTO-GUIADA

Trayectoria

Planificada

Localizacioacuten

Cirujano

Localizacioacuten

del Robot

INTERFAZ DE

VOZ

Fuerzas y

Pares

Posicioacuten

Aguja

Sentildeal de

Audio

Comando

de Voz

RECONOCEDOR

DE GESTOS

ASISTENTE DE SUTURA

Activacioacuten

Tk Estado Sk

Activacioacuten

Tk

Funciones

1) Alcanzar posicioacuten objetivo

2) Aplicar fuerza en tejidohilo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA INTERACCIOacuteN AUTO-GUIADA

INTERACCIOacuteN AUTO-GUIADA

SISTEMA

ROBOT+-

1

AKoF

F

pr

MOVIMIENTO

AUTO-GUIADO

cx

or

cr r

D

DI

CONTROL

PI

++

D

-+ K

er

++

xcF

co FF

coc FFx 1

AKLey de Control

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

DEMO ASISTENCIA A LA SUTURA

Maniobra 1 Insercioacuten Maniobra 2 Puncioacuten

Maniobra 3 AnudadoManiobra 4 Corte del hilo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

IMPLANTACIOacuteN PLATAFORMA CISOBOT

Brazo Instrumental

Quiruacutergico

Brazo Caacutemara

Laparoscoacutepica

Estructura Robot

Asistente

Marca 3D

Sensor de

Fuerzas

Muntildeeca Pasiva

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT ENTORNO QUIRUacuteRGICO

Columna de

Laparoscopia

Tracker 3D

Brazo Caacutemara

Laparoscoacutepica

Brazo Instrumental

Quiruacutergico

Simulador de

Paciente

Herramienta del

Cirujano

Caacutemara

Laparoscoacutepica

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT ARQUITECTURA DE CONTROL

SENSORES ENTORNOASISTENTE DE ESTADOS

CIRUJANO

INTERACCIOacuteN

AUTO-GUIADA

BRAZOS ROBOTS

CONTROL DE

BAJO NIVEL

PACIENTE

Interaccioacute

n

Ciru

jano

Herramientas Robot

Trayectoria Planificada

Localizacioacuten Cirujano

Trayectoria ControladaLo

caliz

acioacute

n R

ob

ot

ROBOT ASISTENTE

SENSOR DE

FUERZAS

INTERFAZ DE

VOZ

Esfuerzos

Imagen Laparoscoacutepica

Contacto Robot

Aguja

Herramienta Cirujano

Activacioacuten

Sentildeal de Audio

TRACKER 3D

Comando de Voz

RECONOCEDOR

DE GESTOS

MOacuteDULO DE

VISIOacuteN

ASISTENTE

DE SUTURA Activacioacuten

Nuevo Estado

Nuevo Estado

ADQUISICIOacuteN

AUDIO

Voz del cirujano

Gesto Quiruacutergico

SIST

EMA

TOLE

RA

NTE

AFA

LLO

S

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT SISTEMA TOLERANTE A FALLOS

Evento Deteccioacuten Actuacioacuten

Fallo Hardware - Sentildeal de Fallo Hardware Parar el sistema

Colisioacuten entre brazos - Anaacutelisis de Colisioacuten cinemaacuteticaParar brazo de la caacutemara

mientras haya riesgo

Colisioacuten con herramienta

del cirujano

- Cambio inusual del Fulcro Estimado

- Herramienta del cirujano cerca del robotParar robot mientras haya riesgo

Colisioacuten con tejidooacuterganos- Cambio inusual del Fulcro Estimado

- Herramienta del cirujano lejos del robotExtraer herramienta del robot

Fallo de sensores- Medicioacuten anoacutemala y constante

independiente de la actuacioacuten

Mensaje de alerta y parar si

persiste

0 2 4 6 8 10 12 14 16 180

20

40

60

80

100

Dis

tan

cia

s (

mm

)

Distancia Robot-Objetivo

Distancia Robot-Cirujano

0 2 4 6 8 10 12 14 16 18-10

-5

0

5

10

15

20

Tiempo (segundos)

Fu

erz

as (

N)

Fx

Fy

Fz

0 2 4 6 8 10 12 14 16 18 200

20

40

60

80

100

Dis

tan

cia

s (

mm

)

Distancia Robot-Objetivo

Distancia Robot-Cirujano

0 2 4 6 8 10 12 14 16 18 20-20

-15

-10

-5

0

5

10

Tiempo (segundos)

Fu

erz

as (

N)

Fx

Fy

Fz

Co

lisioacute

n c

on

herr

am

ien

ta

Colisioacuten con tejido

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT EXPERIMENTOS PROPUESTOS

1 Movimiento esfeacuterico mediante la aplicacioacuten del control EMP

2 Movimiento auto-guiado con la herramienta del cirujano en

movimiento

3 Procedimiento de sutura Insercioacuten Puncioacuten Anudado y Corte

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 1 MOVIMIENTO ESFEacuteRICO

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 2 MOVIMIENTO AUTO-GUIADO

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (I)

Maniobra 1 Insercioacuten

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (II)

Maniobra 2 Puncioacuten

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (III)

Maniobra 3 Anudado

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (IV)

Maniobra 4 Corte del Hilo

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CONCLUSIONES

El gran esfuerzo investigador en torno a la roboacutetica quiruacutergica la destaca

como una herramienta de gran utilidad en cirugiacutea laparoscoacutepica

Tres grupos de robots quiruacutergicos tele-manipuladores camaroacutegrafos y

sistemas autoacutenomos

En un punto intermedio los robots semiautoacutenomos se perfilan como los

candidatos para la cirugiacutea en solitario

Contribuciones de esta tesis para los robots semiautoacutenomos

1 Movimiento esfeacuterico del instrumental mediante muntildeecas activas

2 Sistema auto-guiado para la planificacioacuten de movimientos en el interior

de la cavidad abdominal

3 Asistencia semiautoacutenoma al procedimiento laparoscoacutepico de sutura

Implantacioacuten de las contribuciones en el prototipo CISOBOT

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

LIacuteNEAS DE INVESTIGACIOacuteN FUTURAS

Ampliar la asistencia al cirujano en otros procedimientos ademaacutes de la

sutura corte transporte agarrehellip

Modelar complicaciones producidas con mayor frecuencia durante la

ejecucioacuten de los procedimientos anteriores (error en corte limpieza de

sangradohellip)

Modificar el robot para manejar instrumental a traveacutes de un solo orificio en

teacutecnicas SILS (Single Input Laparoscopic Surgery)

Eliminar la hipoacutetesis de herramientas riacutegidas para mejorar la localizacioacuten del

punto de fulcro e interaccioacuten con el cirujano y el paciente

Cambiar el modo secuencial del diagrama de estados de la sutura para

permitir una interaccioacuten simultaacutenea con el cirujano

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

APORTACIONES CIENTIacuteFICAS

CONGRESOS INTERNACIONALES (6) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoActive Wrists Endoscope Navigation in Robotized Laparoscopic

Surgeryrdquo IEEE International Conference on Mechatronics (ICM) Abril 2009 Maacutelaga (Espantildea) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoThree-Layer Control for Active Wrists in Robotized Laparoscopic

Surgeryrdquo IEEE International Conference on Intelligent Robots and Systems (IROS) Octubre 2009 St Louis (EEUU) B Estebanez G Jimeacutenez VF Muntildeoz I Garciacutea-Morales E Bauzano J Molina ldquoMinimally Invasive Surgery Maneuver

Recognition Based on Surgeon Modelrdquo IEEE International Congerence on Intelligent Robots and Systems (IROS) Octubre 2009 St Louis (EEUU)

E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoA Multi-Behavior Algorithm for Auto-Guided Movements in Surgeon Assistancerdquo IEEE International Workshop on Robotics in Alpe-Adria-Danube Region (RAAD) Junio 2010 Budapest (Hungriacutea)

Premio al mejor artiacuteculo de estudiante (Best Paper Award) E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoAuto-Guided Movements on Minimally Invasive Surgery for Surgeon Assistancerdquo

IEEE International Conference on Intelligent Robots and Systems (IROS) Octubre 2010 Taipei (Taiwaacuten) B Estebanez E Bauzano VF Muntildeoz ldquoSurgical Tools Pose Estimation for a Multimodal HMI of a Surgical Robot Assistantrdquo IEEE

International Conference on Intelligent Robots and Systems (IROS) Septiembre 2011 San Francisco (EEUU)

LIBROS Y REVISTAS (2) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoControl Methodologies for Endoscope Navigation in Robotized

Laparoscopic Surgeryrdquo Research and Education in Robotics Ed Springer-Verlag (Berliacuten Heidelberg) 2010 Vol 82 pp 11-22 ISBN 978-3-642-16369

E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoA Multi-Behavior Algorithm for Auto-Guided Movements in Surgeon Assistancerdquo International Journal of Mechanics and Control (JoMaC) Ed Levrotto amp Bella (Torino Italia) 2011 Vol 12 no 1 ISSN 1590-8844

CONGRESOS NACIONALES (10) ndash POSTERS Y WORKSHOPS

Proyecto de Excelencia P07-TEP-02897

ROBOT ASISTENTE SEMIAUTOacuteNOMO DE

DOS BRAZOS PARA INTERVENCIONES DE

CIRUGIacuteA LAPAROSCOacutePICA

Enrique Bauzano Nuacutentildeez

DEPARTAMENTO DE INGENIERIacuteA DE SISTEMAS Y AUTOMAacuteTICA

UNIVERSIDAD DE MAacuteLAGA

DEFENSA DE TESIS DOCTORAL

Directores Dr Viacutector F Muntildeoz Martiacutenez

Dra Isabel Garciacutea Morales

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA MEacuteTODO DE ROSSER (II)

Problemas

Gran cantidad de gestos entre las dos manos

Compleja sincronizacioacuten entre las herramientas laparoscoacutepicas

Solucioacuten

Asistir al cirujano manejando una herramienta con un robot

Ventajas

Menor tiempo de aprendizaje en sincronizar ambas manos

La otra mano queda libre para otras tareas no automatizables

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA DIAGRAMA DE ESTADOS (I)

PUNZADA DE LA AGUJAINSERCIOacuteN DE LA AGUJA

ANUDADOCORTE DEL HILO

S0

S2

S1 S3

S4

S5

S6

S8

S9 S7

S11

S10S12

S13

S14

T1

T2

T3

T4

T5

T6

T7T8

T9T10

i = 3 i lt 3

T11T12T13T14

T0

T15

S0 Inicio y preparacioacuten de sutura

S1 Insertar y centrar aguja en pantalla

S2 Coger aguja y colocar en punto de

sutura

S3 Fijar tejido

S4 Punzar tejido extraer aguja y tirar

del hilo

S5 Separar del tejido y abrir pinza

S6 Colocar aguja en pinza izquierda

S7 Posicionar aguja

S8 Rotar alrededor del hilo

S9 Tirar del hilo y cerrar nudo

S10 Acercar aguja a punto de sutura

S11 Coger ambos extremos del hilo y

tensar

S12 Coger hilo bajo pinza derecha

S13 Cambiar herramienta y cortar hilo

S14 Extraer hilo y aguja

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA DIAGRAMA DE ESTADOS (II)

PUNZADA DE LA AGUJAINSERCIOacuteN DE LA AGUJA

ANUDADOCORTE DEL HILO

S0

S2

S1 S3

S4

S5

S6

S8

S9 S7

S11

S10S12

S13

S14

T1

T2

T3

T4

T5

T6

T7T8

T9T10

i = 3 i lt 3

T11T12T13T14

T0

T15

T0 Comando de voz ldquoSuturardquo

T1 Robot en posicioacuten

T2 Gesto de cirujano reconocido

T3 Fuerza aplicada sobre tejido

T4 Gesto de cirujano reconocido

T5 Robot en posicioacuten

T6 Gesto de cirujano reconocido

T7 Robot en posicioacuten

T8 Gesto de cirujano reconocido

T9 Fuerza aplicada sobre el hilo

T10 Robot en posicioacuten

T11 Gesto de cirujano reconocido

T12 Robot en posicioacuten + fuerza

aplicada sobre el hilo

T13 Gesto de cirujano reconocido

T14 Robot en posicioacuten

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA DIAGRAMA DE ESTADOS (III)

PUNZADA DE LA AGUJAINSERCIOacuteN DE LA AGUJA

ANUDADOCORTE DEL HILO

S0

S2

S1 S3

S4

S5

S6

S8

S9 S7

S11

S10S12

S13

S14

T1

T2

T3

T4

T5

T6

T7T8

T9T10

i = 3 i lt 3

T11T12T13T14

T0

T15

Sk+1

Sk

Tk-1

Tk

Tk+1

1k

kE

1

1

k

kE

k

kE 1

k

kE

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA ASISTENTE DE ESTADOS

ASISTENTE DE ESTADOS

INTERACCIOacuteN

AUTO-GUIADA

Trayectoria

Planificada

Localizacioacuten

Cirujano

Localizacioacuten

del Robot

INTERFAZ DE

VOZ

Fuerzas y

Pares

Posicioacuten

Aguja

Sentildeal de

Audio

Comando

de Voz

RECONOCEDOR

DE GESTOS

ASISTENTE DE SUTURA

Activacioacuten

Tk Estado Sk

Activacioacuten

Tk

Funciones

1) Alcanzar posicioacuten objetivo

2) Aplicar fuerza en tejidohilo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA INTERACCIOacuteN AUTO-GUIADA

INTERACCIOacuteN AUTO-GUIADA

SISTEMA

ROBOT+-

1

AKoF

F

pr

MOVIMIENTO

AUTO-GUIADO

cx

or

cr r

D

DI

CONTROL

PI

++

D

-+ K

er

++

xcF

co FF

coc FFx 1

AKLey de Control

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

DEMO ASISTENCIA A LA SUTURA

Maniobra 1 Insercioacuten Maniobra 2 Puncioacuten

Maniobra 3 AnudadoManiobra 4 Corte del hilo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

IMPLANTACIOacuteN PLATAFORMA CISOBOT

Brazo Instrumental

Quiruacutergico

Brazo Caacutemara

Laparoscoacutepica

Estructura Robot

Asistente

Marca 3D

Sensor de

Fuerzas

Muntildeeca Pasiva

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT ENTORNO QUIRUacuteRGICO

Columna de

Laparoscopia

Tracker 3D

Brazo Caacutemara

Laparoscoacutepica

Brazo Instrumental

Quiruacutergico

Simulador de

Paciente

Herramienta del

Cirujano

Caacutemara

Laparoscoacutepica

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT ARQUITECTURA DE CONTROL

SENSORES ENTORNOASISTENTE DE ESTADOS

CIRUJANO

INTERACCIOacuteN

AUTO-GUIADA

BRAZOS ROBOTS

CONTROL DE

BAJO NIVEL

PACIENTE

Interaccioacute

n

Ciru

jano

Herramientas Robot

Trayectoria Planificada

Localizacioacuten Cirujano

Trayectoria ControladaLo

caliz

acioacute

n R

ob

ot

ROBOT ASISTENTE

SENSOR DE

FUERZAS

INTERFAZ DE

VOZ

Esfuerzos

Imagen Laparoscoacutepica

Contacto Robot

Aguja

Herramienta Cirujano

Activacioacuten

Sentildeal de Audio

TRACKER 3D

Comando de Voz

RECONOCEDOR

DE GESTOS

MOacuteDULO DE

VISIOacuteN

ASISTENTE

DE SUTURA Activacioacuten

Nuevo Estado

Nuevo Estado

ADQUISICIOacuteN

AUDIO

Voz del cirujano

Gesto Quiruacutergico

SIST

EMA

TOLE

RA

NTE

AFA

LLO

S

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT SISTEMA TOLERANTE A FALLOS

Evento Deteccioacuten Actuacioacuten

Fallo Hardware - Sentildeal de Fallo Hardware Parar el sistema

Colisioacuten entre brazos - Anaacutelisis de Colisioacuten cinemaacuteticaParar brazo de la caacutemara

mientras haya riesgo

Colisioacuten con herramienta

del cirujano

- Cambio inusual del Fulcro Estimado

- Herramienta del cirujano cerca del robotParar robot mientras haya riesgo

Colisioacuten con tejidooacuterganos- Cambio inusual del Fulcro Estimado

- Herramienta del cirujano lejos del robotExtraer herramienta del robot

Fallo de sensores- Medicioacuten anoacutemala y constante

independiente de la actuacioacuten

Mensaje de alerta y parar si

persiste

0 2 4 6 8 10 12 14 16 180

20

40

60

80

100

Dis

tan

cia

s (

mm

)

Distancia Robot-Objetivo

Distancia Robot-Cirujano

0 2 4 6 8 10 12 14 16 18-10

-5

0

5

10

15

20

Tiempo (segundos)

Fu

erz

as (

N)

Fx

Fy

Fz

0 2 4 6 8 10 12 14 16 18 200

20

40

60

80

100

Dis

tan

cia

s (

mm

)

Distancia Robot-Objetivo

Distancia Robot-Cirujano

0 2 4 6 8 10 12 14 16 18 20-20

-15

-10

-5

0

5

10

Tiempo (segundos)

Fu

erz

as (

N)

Fx

Fy

Fz

Co

lisioacute

n c

on

herr

am

ien

ta

Colisioacuten con tejido

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT EXPERIMENTOS PROPUESTOS

1 Movimiento esfeacuterico mediante la aplicacioacuten del control EMP

2 Movimiento auto-guiado con la herramienta del cirujano en

movimiento

3 Procedimiento de sutura Insercioacuten Puncioacuten Anudado y Corte

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 1 MOVIMIENTO ESFEacuteRICO

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 2 MOVIMIENTO AUTO-GUIADO

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (I)

Maniobra 1 Insercioacuten

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (II)

Maniobra 2 Puncioacuten

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (III)

Maniobra 3 Anudado

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (IV)

Maniobra 4 Corte del Hilo

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CONCLUSIONES

El gran esfuerzo investigador en torno a la roboacutetica quiruacutergica la destaca

como una herramienta de gran utilidad en cirugiacutea laparoscoacutepica

Tres grupos de robots quiruacutergicos tele-manipuladores camaroacutegrafos y

sistemas autoacutenomos

En un punto intermedio los robots semiautoacutenomos se perfilan como los

candidatos para la cirugiacutea en solitario

Contribuciones de esta tesis para los robots semiautoacutenomos

1 Movimiento esfeacuterico del instrumental mediante muntildeecas activas

2 Sistema auto-guiado para la planificacioacuten de movimientos en el interior

de la cavidad abdominal

3 Asistencia semiautoacutenoma al procedimiento laparoscoacutepico de sutura

Implantacioacuten de las contribuciones en el prototipo CISOBOT

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

LIacuteNEAS DE INVESTIGACIOacuteN FUTURAS

Ampliar la asistencia al cirujano en otros procedimientos ademaacutes de la

sutura corte transporte agarrehellip

Modelar complicaciones producidas con mayor frecuencia durante la

ejecucioacuten de los procedimientos anteriores (error en corte limpieza de

sangradohellip)

Modificar el robot para manejar instrumental a traveacutes de un solo orificio en

teacutecnicas SILS (Single Input Laparoscopic Surgery)

Eliminar la hipoacutetesis de herramientas riacutegidas para mejorar la localizacioacuten del

punto de fulcro e interaccioacuten con el cirujano y el paciente

Cambiar el modo secuencial del diagrama de estados de la sutura para

permitir una interaccioacuten simultaacutenea con el cirujano

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

APORTACIONES CIENTIacuteFICAS

CONGRESOS INTERNACIONALES (6) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoActive Wrists Endoscope Navigation in Robotized Laparoscopic

Surgeryrdquo IEEE International Conference on Mechatronics (ICM) Abril 2009 Maacutelaga (Espantildea) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoThree-Layer Control for Active Wrists in Robotized Laparoscopic

Surgeryrdquo IEEE International Conference on Intelligent Robots and Systems (IROS) Octubre 2009 St Louis (EEUU) B Estebanez G Jimeacutenez VF Muntildeoz I Garciacutea-Morales E Bauzano J Molina ldquoMinimally Invasive Surgery Maneuver

Recognition Based on Surgeon Modelrdquo IEEE International Congerence on Intelligent Robots and Systems (IROS) Octubre 2009 St Louis (EEUU)

E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoA Multi-Behavior Algorithm for Auto-Guided Movements in Surgeon Assistancerdquo IEEE International Workshop on Robotics in Alpe-Adria-Danube Region (RAAD) Junio 2010 Budapest (Hungriacutea)

Premio al mejor artiacuteculo de estudiante (Best Paper Award) E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoAuto-Guided Movements on Minimally Invasive Surgery for Surgeon Assistancerdquo

IEEE International Conference on Intelligent Robots and Systems (IROS) Octubre 2010 Taipei (Taiwaacuten) B Estebanez E Bauzano VF Muntildeoz ldquoSurgical Tools Pose Estimation for a Multimodal HMI of a Surgical Robot Assistantrdquo IEEE

International Conference on Intelligent Robots and Systems (IROS) Septiembre 2011 San Francisco (EEUU)

LIBROS Y REVISTAS (2) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoControl Methodologies for Endoscope Navigation in Robotized

Laparoscopic Surgeryrdquo Research and Education in Robotics Ed Springer-Verlag (Berliacuten Heidelberg) 2010 Vol 82 pp 11-22 ISBN 978-3-642-16369

E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoA Multi-Behavior Algorithm for Auto-Guided Movements in Surgeon Assistancerdquo International Journal of Mechanics and Control (JoMaC) Ed Levrotto amp Bella (Torino Italia) 2011 Vol 12 no 1 ISSN 1590-8844

CONGRESOS NACIONALES (10) ndash POSTERS Y WORKSHOPS

Proyecto de Excelencia P07-TEP-02897

ROBOT ASISTENTE SEMIAUTOacuteNOMO DE

DOS BRAZOS PARA INTERVENCIONES DE

CIRUGIacuteA LAPAROSCOacutePICA

Enrique Bauzano Nuacutentildeez

DEPARTAMENTO DE INGENIERIacuteA DE SISTEMAS Y AUTOMAacuteTICA

UNIVERSIDAD DE MAacuteLAGA

DEFENSA DE TESIS DOCTORAL

Directores Dr Viacutector F Muntildeoz Martiacutenez

Dra Isabel Garciacutea Morales

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA DIAGRAMA DE ESTADOS (I)

PUNZADA DE LA AGUJAINSERCIOacuteN DE LA AGUJA

ANUDADOCORTE DEL HILO

S0

S2

S1 S3

S4

S5

S6

S8

S9 S7

S11

S10S12

S13

S14

T1

T2

T3

T4

T5

T6

T7T8

T9T10

i = 3 i lt 3

T11T12T13T14

T0

T15

S0 Inicio y preparacioacuten de sutura

S1 Insertar y centrar aguja en pantalla

S2 Coger aguja y colocar en punto de

sutura

S3 Fijar tejido

S4 Punzar tejido extraer aguja y tirar

del hilo

S5 Separar del tejido y abrir pinza

S6 Colocar aguja en pinza izquierda

S7 Posicionar aguja

S8 Rotar alrededor del hilo

S9 Tirar del hilo y cerrar nudo

S10 Acercar aguja a punto de sutura

S11 Coger ambos extremos del hilo y

tensar

S12 Coger hilo bajo pinza derecha

S13 Cambiar herramienta y cortar hilo

S14 Extraer hilo y aguja

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA DIAGRAMA DE ESTADOS (II)

PUNZADA DE LA AGUJAINSERCIOacuteN DE LA AGUJA

ANUDADOCORTE DEL HILO

S0

S2

S1 S3

S4

S5

S6

S8

S9 S7

S11

S10S12

S13

S14

T1

T2

T3

T4

T5

T6

T7T8

T9T10

i = 3 i lt 3

T11T12T13T14

T0

T15

T0 Comando de voz ldquoSuturardquo

T1 Robot en posicioacuten

T2 Gesto de cirujano reconocido

T3 Fuerza aplicada sobre tejido

T4 Gesto de cirujano reconocido

T5 Robot en posicioacuten

T6 Gesto de cirujano reconocido

T7 Robot en posicioacuten

T8 Gesto de cirujano reconocido

T9 Fuerza aplicada sobre el hilo

T10 Robot en posicioacuten

T11 Gesto de cirujano reconocido

T12 Robot en posicioacuten + fuerza

aplicada sobre el hilo

T13 Gesto de cirujano reconocido

T14 Robot en posicioacuten

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA DIAGRAMA DE ESTADOS (III)

PUNZADA DE LA AGUJAINSERCIOacuteN DE LA AGUJA

ANUDADOCORTE DEL HILO

S0

S2

S1 S3

S4

S5

S6

S8

S9 S7

S11

S10S12

S13

S14

T1

T2

T3

T4

T5

T6

T7T8

T9T10

i = 3 i lt 3

T11T12T13T14

T0

T15

Sk+1

Sk

Tk-1

Tk

Tk+1

1k

kE

1

1

k

kE

k

kE 1

k

kE

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA ASISTENTE DE ESTADOS

ASISTENTE DE ESTADOS

INTERACCIOacuteN

AUTO-GUIADA

Trayectoria

Planificada

Localizacioacuten

Cirujano

Localizacioacuten

del Robot

INTERFAZ DE

VOZ

Fuerzas y

Pares

Posicioacuten

Aguja

Sentildeal de

Audio

Comando

de Voz

RECONOCEDOR

DE GESTOS

ASISTENTE DE SUTURA

Activacioacuten

Tk Estado Sk

Activacioacuten

Tk

Funciones

1) Alcanzar posicioacuten objetivo

2) Aplicar fuerza en tejidohilo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA INTERACCIOacuteN AUTO-GUIADA

INTERACCIOacuteN AUTO-GUIADA

SISTEMA

ROBOT+-

1

AKoF

F

pr

MOVIMIENTO

AUTO-GUIADO

cx

or

cr r

D

DI

CONTROL

PI

++

D

-+ K

er

++

xcF

co FF

coc FFx 1

AKLey de Control

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

DEMO ASISTENCIA A LA SUTURA

Maniobra 1 Insercioacuten Maniobra 2 Puncioacuten

Maniobra 3 AnudadoManiobra 4 Corte del hilo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

IMPLANTACIOacuteN PLATAFORMA CISOBOT

Brazo Instrumental

Quiruacutergico

Brazo Caacutemara

Laparoscoacutepica

Estructura Robot

Asistente

Marca 3D

Sensor de

Fuerzas

Muntildeeca Pasiva

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT ENTORNO QUIRUacuteRGICO

Columna de

Laparoscopia

Tracker 3D

Brazo Caacutemara

Laparoscoacutepica

Brazo Instrumental

Quiruacutergico

Simulador de

Paciente

Herramienta del

Cirujano

Caacutemara

Laparoscoacutepica

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT ARQUITECTURA DE CONTROL

SENSORES ENTORNOASISTENTE DE ESTADOS

CIRUJANO

INTERACCIOacuteN

AUTO-GUIADA

BRAZOS ROBOTS

CONTROL DE

BAJO NIVEL

PACIENTE

Interaccioacute

n

Ciru

jano

Herramientas Robot

Trayectoria Planificada

Localizacioacuten Cirujano

Trayectoria ControladaLo

caliz

acioacute

n R

ob

ot

ROBOT ASISTENTE

SENSOR DE

FUERZAS

INTERFAZ DE

VOZ

Esfuerzos

Imagen Laparoscoacutepica

Contacto Robot

Aguja

Herramienta Cirujano

Activacioacuten

Sentildeal de Audio

TRACKER 3D

Comando de Voz

RECONOCEDOR

DE GESTOS

MOacuteDULO DE

VISIOacuteN

ASISTENTE

DE SUTURA Activacioacuten

Nuevo Estado

Nuevo Estado

ADQUISICIOacuteN

AUDIO

Voz del cirujano

Gesto Quiruacutergico

SIST

EMA

TOLE

RA

NTE

AFA

LLO

S

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT SISTEMA TOLERANTE A FALLOS

Evento Deteccioacuten Actuacioacuten

Fallo Hardware - Sentildeal de Fallo Hardware Parar el sistema

Colisioacuten entre brazos - Anaacutelisis de Colisioacuten cinemaacuteticaParar brazo de la caacutemara

mientras haya riesgo

Colisioacuten con herramienta

del cirujano

- Cambio inusual del Fulcro Estimado

- Herramienta del cirujano cerca del robotParar robot mientras haya riesgo

Colisioacuten con tejidooacuterganos- Cambio inusual del Fulcro Estimado

- Herramienta del cirujano lejos del robotExtraer herramienta del robot

Fallo de sensores- Medicioacuten anoacutemala y constante

independiente de la actuacioacuten

Mensaje de alerta y parar si

persiste

0 2 4 6 8 10 12 14 16 180

20

40

60

80

100

Dis

tan

cia

s (

mm

)

Distancia Robot-Objetivo

Distancia Robot-Cirujano

0 2 4 6 8 10 12 14 16 18-10

-5

0

5

10

15

20

Tiempo (segundos)

Fu

erz

as (

N)

Fx

Fy

Fz

0 2 4 6 8 10 12 14 16 18 200

20

40

60

80

100

Dis

tan

cia

s (

mm

)

Distancia Robot-Objetivo

Distancia Robot-Cirujano

0 2 4 6 8 10 12 14 16 18 20-20

-15

-10

-5

0

5

10

Tiempo (segundos)

Fu

erz

as (

N)

Fx

Fy

Fz

Co

lisioacute

n c

on

herr

am

ien

ta

Colisioacuten con tejido

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT EXPERIMENTOS PROPUESTOS

1 Movimiento esfeacuterico mediante la aplicacioacuten del control EMP

2 Movimiento auto-guiado con la herramienta del cirujano en

movimiento

3 Procedimiento de sutura Insercioacuten Puncioacuten Anudado y Corte

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 1 MOVIMIENTO ESFEacuteRICO

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 2 MOVIMIENTO AUTO-GUIADO

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (I)

Maniobra 1 Insercioacuten

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (II)

Maniobra 2 Puncioacuten

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (III)

Maniobra 3 Anudado

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (IV)

Maniobra 4 Corte del Hilo

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CONCLUSIONES

El gran esfuerzo investigador en torno a la roboacutetica quiruacutergica la destaca

como una herramienta de gran utilidad en cirugiacutea laparoscoacutepica

Tres grupos de robots quiruacutergicos tele-manipuladores camaroacutegrafos y

sistemas autoacutenomos

En un punto intermedio los robots semiautoacutenomos se perfilan como los

candidatos para la cirugiacutea en solitario

Contribuciones de esta tesis para los robots semiautoacutenomos

1 Movimiento esfeacuterico del instrumental mediante muntildeecas activas

2 Sistema auto-guiado para la planificacioacuten de movimientos en el interior

de la cavidad abdominal

3 Asistencia semiautoacutenoma al procedimiento laparoscoacutepico de sutura

Implantacioacuten de las contribuciones en el prototipo CISOBOT

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

LIacuteNEAS DE INVESTIGACIOacuteN FUTURAS

Ampliar la asistencia al cirujano en otros procedimientos ademaacutes de la

sutura corte transporte agarrehellip

Modelar complicaciones producidas con mayor frecuencia durante la

ejecucioacuten de los procedimientos anteriores (error en corte limpieza de

sangradohellip)

Modificar el robot para manejar instrumental a traveacutes de un solo orificio en

teacutecnicas SILS (Single Input Laparoscopic Surgery)

Eliminar la hipoacutetesis de herramientas riacutegidas para mejorar la localizacioacuten del

punto de fulcro e interaccioacuten con el cirujano y el paciente

Cambiar el modo secuencial del diagrama de estados de la sutura para

permitir una interaccioacuten simultaacutenea con el cirujano

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

APORTACIONES CIENTIacuteFICAS

CONGRESOS INTERNACIONALES (6) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoActive Wrists Endoscope Navigation in Robotized Laparoscopic

Surgeryrdquo IEEE International Conference on Mechatronics (ICM) Abril 2009 Maacutelaga (Espantildea) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoThree-Layer Control for Active Wrists in Robotized Laparoscopic

Surgeryrdquo IEEE International Conference on Intelligent Robots and Systems (IROS) Octubre 2009 St Louis (EEUU) B Estebanez G Jimeacutenez VF Muntildeoz I Garciacutea-Morales E Bauzano J Molina ldquoMinimally Invasive Surgery Maneuver

Recognition Based on Surgeon Modelrdquo IEEE International Congerence on Intelligent Robots and Systems (IROS) Octubre 2009 St Louis (EEUU)

E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoA Multi-Behavior Algorithm for Auto-Guided Movements in Surgeon Assistancerdquo IEEE International Workshop on Robotics in Alpe-Adria-Danube Region (RAAD) Junio 2010 Budapest (Hungriacutea)

Premio al mejor artiacuteculo de estudiante (Best Paper Award) E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoAuto-Guided Movements on Minimally Invasive Surgery for Surgeon Assistancerdquo

IEEE International Conference on Intelligent Robots and Systems (IROS) Octubre 2010 Taipei (Taiwaacuten) B Estebanez E Bauzano VF Muntildeoz ldquoSurgical Tools Pose Estimation for a Multimodal HMI of a Surgical Robot Assistantrdquo IEEE

International Conference on Intelligent Robots and Systems (IROS) Septiembre 2011 San Francisco (EEUU)

LIBROS Y REVISTAS (2) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoControl Methodologies for Endoscope Navigation in Robotized

Laparoscopic Surgeryrdquo Research and Education in Robotics Ed Springer-Verlag (Berliacuten Heidelberg) 2010 Vol 82 pp 11-22 ISBN 978-3-642-16369

E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoA Multi-Behavior Algorithm for Auto-Guided Movements in Surgeon Assistancerdquo International Journal of Mechanics and Control (JoMaC) Ed Levrotto amp Bella (Torino Italia) 2011 Vol 12 no 1 ISSN 1590-8844

CONGRESOS NACIONALES (10) ndash POSTERS Y WORKSHOPS

Proyecto de Excelencia P07-TEP-02897

ROBOT ASISTENTE SEMIAUTOacuteNOMO DE

DOS BRAZOS PARA INTERVENCIONES DE

CIRUGIacuteA LAPAROSCOacutePICA

Enrique Bauzano Nuacutentildeez

DEPARTAMENTO DE INGENIERIacuteA DE SISTEMAS Y AUTOMAacuteTICA

UNIVERSIDAD DE MAacuteLAGA

DEFENSA DE TESIS DOCTORAL

Directores Dr Viacutector F Muntildeoz Martiacutenez

Dra Isabel Garciacutea Morales

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA DIAGRAMA DE ESTADOS (II)

PUNZADA DE LA AGUJAINSERCIOacuteN DE LA AGUJA

ANUDADOCORTE DEL HILO

S0

S2

S1 S3

S4

S5

S6

S8

S9 S7

S11

S10S12

S13

S14

T1

T2

T3

T4

T5

T6

T7T8

T9T10

i = 3 i lt 3

T11T12T13T14

T0

T15

T0 Comando de voz ldquoSuturardquo

T1 Robot en posicioacuten

T2 Gesto de cirujano reconocido

T3 Fuerza aplicada sobre tejido

T4 Gesto de cirujano reconocido

T5 Robot en posicioacuten

T6 Gesto de cirujano reconocido

T7 Robot en posicioacuten

T8 Gesto de cirujano reconocido

T9 Fuerza aplicada sobre el hilo

T10 Robot en posicioacuten

T11 Gesto de cirujano reconocido

T12 Robot en posicioacuten + fuerza

aplicada sobre el hilo

T13 Gesto de cirujano reconocido

T14 Robot en posicioacuten

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA DIAGRAMA DE ESTADOS (III)

PUNZADA DE LA AGUJAINSERCIOacuteN DE LA AGUJA

ANUDADOCORTE DEL HILO

S0

S2

S1 S3

S4

S5

S6

S8

S9 S7

S11

S10S12

S13

S14

T1

T2

T3

T4

T5

T6

T7T8

T9T10

i = 3 i lt 3

T11T12T13T14

T0

T15

Sk+1

Sk

Tk-1

Tk

Tk+1

1k

kE

1

1

k

kE

k

kE 1

k

kE

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA ASISTENTE DE ESTADOS

ASISTENTE DE ESTADOS

INTERACCIOacuteN

AUTO-GUIADA

Trayectoria

Planificada

Localizacioacuten

Cirujano

Localizacioacuten

del Robot

INTERFAZ DE

VOZ

Fuerzas y

Pares

Posicioacuten

Aguja

Sentildeal de

Audio

Comando

de Voz

RECONOCEDOR

DE GESTOS

ASISTENTE DE SUTURA

Activacioacuten

Tk Estado Sk

Activacioacuten

Tk

Funciones

1) Alcanzar posicioacuten objetivo

2) Aplicar fuerza en tejidohilo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA INTERACCIOacuteN AUTO-GUIADA

INTERACCIOacuteN AUTO-GUIADA

SISTEMA

ROBOT+-

1

AKoF

F

pr

MOVIMIENTO

AUTO-GUIADO

cx

or

cr r

D

DI

CONTROL

PI

++

D

-+ K

er

++

xcF

co FF

coc FFx 1

AKLey de Control

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

DEMO ASISTENCIA A LA SUTURA

Maniobra 1 Insercioacuten Maniobra 2 Puncioacuten

Maniobra 3 AnudadoManiobra 4 Corte del hilo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

IMPLANTACIOacuteN PLATAFORMA CISOBOT

Brazo Instrumental

Quiruacutergico

Brazo Caacutemara

Laparoscoacutepica

Estructura Robot

Asistente

Marca 3D

Sensor de

Fuerzas

Muntildeeca Pasiva

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT ENTORNO QUIRUacuteRGICO

Columna de

Laparoscopia

Tracker 3D

Brazo Caacutemara

Laparoscoacutepica

Brazo Instrumental

Quiruacutergico

Simulador de

Paciente

Herramienta del

Cirujano

Caacutemara

Laparoscoacutepica

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT ARQUITECTURA DE CONTROL

SENSORES ENTORNOASISTENTE DE ESTADOS

CIRUJANO

INTERACCIOacuteN

AUTO-GUIADA

BRAZOS ROBOTS

CONTROL DE

BAJO NIVEL

PACIENTE

Interaccioacute

n

Ciru

jano

Herramientas Robot

Trayectoria Planificada

Localizacioacuten Cirujano

Trayectoria ControladaLo

caliz

acioacute

n R

ob

ot

ROBOT ASISTENTE

SENSOR DE

FUERZAS

INTERFAZ DE

VOZ

Esfuerzos

Imagen Laparoscoacutepica

Contacto Robot

Aguja

Herramienta Cirujano

Activacioacuten

Sentildeal de Audio

TRACKER 3D

Comando de Voz

RECONOCEDOR

DE GESTOS

MOacuteDULO DE

VISIOacuteN

ASISTENTE

DE SUTURA Activacioacuten

Nuevo Estado

Nuevo Estado

ADQUISICIOacuteN

AUDIO

Voz del cirujano

Gesto Quiruacutergico

SIST

EMA

TOLE

RA

NTE

AFA

LLO

S

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT SISTEMA TOLERANTE A FALLOS

Evento Deteccioacuten Actuacioacuten

Fallo Hardware - Sentildeal de Fallo Hardware Parar el sistema

Colisioacuten entre brazos - Anaacutelisis de Colisioacuten cinemaacuteticaParar brazo de la caacutemara

mientras haya riesgo

Colisioacuten con herramienta

del cirujano

- Cambio inusual del Fulcro Estimado

- Herramienta del cirujano cerca del robotParar robot mientras haya riesgo

Colisioacuten con tejidooacuterganos- Cambio inusual del Fulcro Estimado

- Herramienta del cirujano lejos del robotExtraer herramienta del robot

Fallo de sensores- Medicioacuten anoacutemala y constante

independiente de la actuacioacuten

Mensaje de alerta y parar si

persiste

0 2 4 6 8 10 12 14 16 180

20

40

60

80

100

Dis

tan

cia

s (

mm

)

Distancia Robot-Objetivo

Distancia Robot-Cirujano

0 2 4 6 8 10 12 14 16 18-10

-5

0

5

10

15

20

Tiempo (segundos)

Fu

erz

as (

N)

Fx

Fy

Fz

0 2 4 6 8 10 12 14 16 18 200

20

40

60

80

100

Dis

tan

cia

s (

mm

)

Distancia Robot-Objetivo

Distancia Robot-Cirujano

0 2 4 6 8 10 12 14 16 18 20-20

-15

-10

-5

0

5

10

Tiempo (segundos)

Fu

erz

as (

N)

Fx

Fy

Fz

Co

lisioacute

n c

on

herr

am

ien

ta

Colisioacuten con tejido

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT EXPERIMENTOS PROPUESTOS

1 Movimiento esfeacuterico mediante la aplicacioacuten del control EMP

2 Movimiento auto-guiado con la herramienta del cirujano en

movimiento

3 Procedimiento de sutura Insercioacuten Puncioacuten Anudado y Corte

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 1 MOVIMIENTO ESFEacuteRICO

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 2 MOVIMIENTO AUTO-GUIADO

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (I)

Maniobra 1 Insercioacuten

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (II)

Maniobra 2 Puncioacuten

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (III)

Maniobra 3 Anudado

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (IV)

Maniobra 4 Corte del Hilo

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CONCLUSIONES

El gran esfuerzo investigador en torno a la roboacutetica quiruacutergica la destaca

como una herramienta de gran utilidad en cirugiacutea laparoscoacutepica

Tres grupos de robots quiruacutergicos tele-manipuladores camaroacutegrafos y

sistemas autoacutenomos

En un punto intermedio los robots semiautoacutenomos se perfilan como los

candidatos para la cirugiacutea en solitario

Contribuciones de esta tesis para los robots semiautoacutenomos

1 Movimiento esfeacuterico del instrumental mediante muntildeecas activas

2 Sistema auto-guiado para la planificacioacuten de movimientos en el interior

de la cavidad abdominal

3 Asistencia semiautoacutenoma al procedimiento laparoscoacutepico de sutura

Implantacioacuten de las contribuciones en el prototipo CISOBOT

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

LIacuteNEAS DE INVESTIGACIOacuteN FUTURAS

Ampliar la asistencia al cirujano en otros procedimientos ademaacutes de la

sutura corte transporte agarrehellip

Modelar complicaciones producidas con mayor frecuencia durante la

ejecucioacuten de los procedimientos anteriores (error en corte limpieza de

sangradohellip)

Modificar el robot para manejar instrumental a traveacutes de un solo orificio en

teacutecnicas SILS (Single Input Laparoscopic Surgery)

Eliminar la hipoacutetesis de herramientas riacutegidas para mejorar la localizacioacuten del

punto de fulcro e interaccioacuten con el cirujano y el paciente

Cambiar el modo secuencial del diagrama de estados de la sutura para

permitir una interaccioacuten simultaacutenea con el cirujano

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

APORTACIONES CIENTIacuteFICAS

CONGRESOS INTERNACIONALES (6) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoActive Wrists Endoscope Navigation in Robotized Laparoscopic

Surgeryrdquo IEEE International Conference on Mechatronics (ICM) Abril 2009 Maacutelaga (Espantildea) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoThree-Layer Control for Active Wrists in Robotized Laparoscopic

Surgeryrdquo IEEE International Conference on Intelligent Robots and Systems (IROS) Octubre 2009 St Louis (EEUU) B Estebanez G Jimeacutenez VF Muntildeoz I Garciacutea-Morales E Bauzano J Molina ldquoMinimally Invasive Surgery Maneuver

Recognition Based on Surgeon Modelrdquo IEEE International Congerence on Intelligent Robots and Systems (IROS) Octubre 2009 St Louis (EEUU)

E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoA Multi-Behavior Algorithm for Auto-Guided Movements in Surgeon Assistancerdquo IEEE International Workshop on Robotics in Alpe-Adria-Danube Region (RAAD) Junio 2010 Budapest (Hungriacutea)

Premio al mejor artiacuteculo de estudiante (Best Paper Award) E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoAuto-Guided Movements on Minimally Invasive Surgery for Surgeon Assistancerdquo

IEEE International Conference on Intelligent Robots and Systems (IROS) Octubre 2010 Taipei (Taiwaacuten) B Estebanez E Bauzano VF Muntildeoz ldquoSurgical Tools Pose Estimation for a Multimodal HMI of a Surgical Robot Assistantrdquo IEEE

International Conference on Intelligent Robots and Systems (IROS) Septiembre 2011 San Francisco (EEUU)

LIBROS Y REVISTAS (2) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoControl Methodologies for Endoscope Navigation in Robotized

Laparoscopic Surgeryrdquo Research and Education in Robotics Ed Springer-Verlag (Berliacuten Heidelberg) 2010 Vol 82 pp 11-22 ISBN 978-3-642-16369

E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoA Multi-Behavior Algorithm for Auto-Guided Movements in Surgeon Assistancerdquo International Journal of Mechanics and Control (JoMaC) Ed Levrotto amp Bella (Torino Italia) 2011 Vol 12 no 1 ISSN 1590-8844

CONGRESOS NACIONALES (10) ndash POSTERS Y WORKSHOPS

Proyecto de Excelencia P07-TEP-02897

ROBOT ASISTENTE SEMIAUTOacuteNOMO DE

DOS BRAZOS PARA INTERVENCIONES DE

CIRUGIacuteA LAPAROSCOacutePICA

Enrique Bauzano Nuacutentildeez

DEPARTAMENTO DE INGENIERIacuteA DE SISTEMAS Y AUTOMAacuteTICA

UNIVERSIDAD DE MAacuteLAGA

DEFENSA DE TESIS DOCTORAL

Directores Dr Viacutector F Muntildeoz Martiacutenez

Dra Isabel Garciacutea Morales

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA DIAGRAMA DE ESTADOS (III)

PUNZADA DE LA AGUJAINSERCIOacuteN DE LA AGUJA

ANUDADOCORTE DEL HILO

S0

S2

S1 S3

S4

S5

S6

S8

S9 S7

S11

S10S12

S13

S14

T1

T2

T3

T4

T5

T6

T7T8

T9T10

i = 3 i lt 3

T11T12T13T14

T0

T15

Sk+1

Sk

Tk-1

Tk

Tk+1

1k

kE

1

1

k

kE

k

kE 1

k

kE

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA ASISTENTE DE ESTADOS

ASISTENTE DE ESTADOS

INTERACCIOacuteN

AUTO-GUIADA

Trayectoria

Planificada

Localizacioacuten

Cirujano

Localizacioacuten

del Robot

INTERFAZ DE

VOZ

Fuerzas y

Pares

Posicioacuten

Aguja

Sentildeal de

Audio

Comando

de Voz

RECONOCEDOR

DE GESTOS

ASISTENTE DE SUTURA

Activacioacuten

Tk Estado Sk

Activacioacuten

Tk

Funciones

1) Alcanzar posicioacuten objetivo

2) Aplicar fuerza en tejidohilo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA INTERACCIOacuteN AUTO-GUIADA

INTERACCIOacuteN AUTO-GUIADA

SISTEMA

ROBOT+-

1

AKoF

F

pr

MOVIMIENTO

AUTO-GUIADO

cx

or

cr r

D

DI

CONTROL

PI

++

D

-+ K

er

++

xcF

co FF

coc FFx 1

AKLey de Control

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

DEMO ASISTENCIA A LA SUTURA

Maniobra 1 Insercioacuten Maniobra 2 Puncioacuten

Maniobra 3 AnudadoManiobra 4 Corte del hilo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

IMPLANTACIOacuteN PLATAFORMA CISOBOT

Brazo Instrumental

Quiruacutergico

Brazo Caacutemara

Laparoscoacutepica

Estructura Robot

Asistente

Marca 3D

Sensor de

Fuerzas

Muntildeeca Pasiva

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT ENTORNO QUIRUacuteRGICO

Columna de

Laparoscopia

Tracker 3D

Brazo Caacutemara

Laparoscoacutepica

Brazo Instrumental

Quiruacutergico

Simulador de

Paciente

Herramienta del

Cirujano

Caacutemara

Laparoscoacutepica

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT ARQUITECTURA DE CONTROL

SENSORES ENTORNOASISTENTE DE ESTADOS

CIRUJANO

INTERACCIOacuteN

AUTO-GUIADA

BRAZOS ROBOTS

CONTROL DE

BAJO NIVEL

PACIENTE

Interaccioacute

n

Ciru

jano

Herramientas Robot

Trayectoria Planificada

Localizacioacuten Cirujano

Trayectoria ControladaLo

caliz

acioacute

n R

ob

ot

ROBOT ASISTENTE

SENSOR DE

FUERZAS

INTERFAZ DE

VOZ

Esfuerzos

Imagen Laparoscoacutepica

Contacto Robot

Aguja

Herramienta Cirujano

Activacioacuten

Sentildeal de Audio

TRACKER 3D

Comando de Voz

RECONOCEDOR

DE GESTOS

MOacuteDULO DE

VISIOacuteN

ASISTENTE

DE SUTURA Activacioacuten

Nuevo Estado

Nuevo Estado

ADQUISICIOacuteN

AUDIO

Voz del cirujano

Gesto Quiruacutergico

SIST

EMA

TOLE

RA

NTE

AFA

LLO

S

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT SISTEMA TOLERANTE A FALLOS

Evento Deteccioacuten Actuacioacuten

Fallo Hardware - Sentildeal de Fallo Hardware Parar el sistema

Colisioacuten entre brazos - Anaacutelisis de Colisioacuten cinemaacuteticaParar brazo de la caacutemara

mientras haya riesgo

Colisioacuten con herramienta

del cirujano

- Cambio inusual del Fulcro Estimado

- Herramienta del cirujano cerca del robotParar robot mientras haya riesgo

Colisioacuten con tejidooacuterganos- Cambio inusual del Fulcro Estimado

- Herramienta del cirujano lejos del robotExtraer herramienta del robot

Fallo de sensores- Medicioacuten anoacutemala y constante

independiente de la actuacioacuten

Mensaje de alerta y parar si

persiste

0 2 4 6 8 10 12 14 16 180

20

40

60

80

100

Dis

tan

cia

s (

mm

)

Distancia Robot-Objetivo

Distancia Robot-Cirujano

0 2 4 6 8 10 12 14 16 18-10

-5

0

5

10

15

20

Tiempo (segundos)

Fu

erz

as (

N)

Fx

Fy

Fz

0 2 4 6 8 10 12 14 16 18 200

20

40

60

80

100

Dis

tan

cia

s (

mm

)

Distancia Robot-Objetivo

Distancia Robot-Cirujano

0 2 4 6 8 10 12 14 16 18 20-20

-15

-10

-5

0

5

10

Tiempo (segundos)

Fu

erz

as (

N)

Fx

Fy

Fz

Co

lisioacute

n c

on

herr

am

ien

ta

Colisioacuten con tejido

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT EXPERIMENTOS PROPUESTOS

1 Movimiento esfeacuterico mediante la aplicacioacuten del control EMP

2 Movimiento auto-guiado con la herramienta del cirujano en

movimiento

3 Procedimiento de sutura Insercioacuten Puncioacuten Anudado y Corte

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 1 MOVIMIENTO ESFEacuteRICO

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 2 MOVIMIENTO AUTO-GUIADO

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (I)

Maniobra 1 Insercioacuten

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (II)

Maniobra 2 Puncioacuten

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (III)

Maniobra 3 Anudado

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (IV)

Maniobra 4 Corte del Hilo

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CONCLUSIONES

El gran esfuerzo investigador en torno a la roboacutetica quiruacutergica la destaca

como una herramienta de gran utilidad en cirugiacutea laparoscoacutepica

Tres grupos de robots quiruacutergicos tele-manipuladores camaroacutegrafos y

sistemas autoacutenomos

En un punto intermedio los robots semiautoacutenomos se perfilan como los

candidatos para la cirugiacutea en solitario

Contribuciones de esta tesis para los robots semiautoacutenomos

1 Movimiento esfeacuterico del instrumental mediante muntildeecas activas

2 Sistema auto-guiado para la planificacioacuten de movimientos en el interior

de la cavidad abdominal

3 Asistencia semiautoacutenoma al procedimiento laparoscoacutepico de sutura

Implantacioacuten de las contribuciones en el prototipo CISOBOT

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

LIacuteNEAS DE INVESTIGACIOacuteN FUTURAS

Ampliar la asistencia al cirujano en otros procedimientos ademaacutes de la

sutura corte transporte agarrehellip

Modelar complicaciones producidas con mayor frecuencia durante la

ejecucioacuten de los procedimientos anteriores (error en corte limpieza de

sangradohellip)

Modificar el robot para manejar instrumental a traveacutes de un solo orificio en

teacutecnicas SILS (Single Input Laparoscopic Surgery)

Eliminar la hipoacutetesis de herramientas riacutegidas para mejorar la localizacioacuten del

punto de fulcro e interaccioacuten con el cirujano y el paciente

Cambiar el modo secuencial del diagrama de estados de la sutura para

permitir una interaccioacuten simultaacutenea con el cirujano

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

APORTACIONES CIENTIacuteFICAS

CONGRESOS INTERNACIONALES (6) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoActive Wrists Endoscope Navigation in Robotized Laparoscopic

Surgeryrdquo IEEE International Conference on Mechatronics (ICM) Abril 2009 Maacutelaga (Espantildea) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoThree-Layer Control for Active Wrists in Robotized Laparoscopic

Surgeryrdquo IEEE International Conference on Intelligent Robots and Systems (IROS) Octubre 2009 St Louis (EEUU) B Estebanez G Jimeacutenez VF Muntildeoz I Garciacutea-Morales E Bauzano J Molina ldquoMinimally Invasive Surgery Maneuver

Recognition Based on Surgeon Modelrdquo IEEE International Congerence on Intelligent Robots and Systems (IROS) Octubre 2009 St Louis (EEUU)

E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoA Multi-Behavior Algorithm for Auto-Guided Movements in Surgeon Assistancerdquo IEEE International Workshop on Robotics in Alpe-Adria-Danube Region (RAAD) Junio 2010 Budapest (Hungriacutea)

Premio al mejor artiacuteculo de estudiante (Best Paper Award) E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoAuto-Guided Movements on Minimally Invasive Surgery for Surgeon Assistancerdquo

IEEE International Conference on Intelligent Robots and Systems (IROS) Octubre 2010 Taipei (Taiwaacuten) B Estebanez E Bauzano VF Muntildeoz ldquoSurgical Tools Pose Estimation for a Multimodal HMI of a Surgical Robot Assistantrdquo IEEE

International Conference on Intelligent Robots and Systems (IROS) Septiembre 2011 San Francisco (EEUU)

LIBROS Y REVISTAS (2) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoControl Methodologies for Endoscope Navigation in Robotized

Laparoscopic Surgeryrdquo Research and Education in Robotics Ed Springer-Verlag (Berliacuten Heidelberg) 2010 Vol 82 pp 11-22 ISBN 978-3-642-16369

E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoA Multi-Behavior Algorithm for Auto-Guided Movements in Surgeon Assistancerdquo International Journal of Mechanics and Control (JoMaC) Ed Levrotto amp Bella (Torino Italia) 2011 Vol 12 no 1 ISSN 1590-8844

CONGRESOS NACIONALES (10) ndash POSTERS Y WORKSHOPS

Proyecto de Excelencia P07-TEP-02897

ROBOT ASISTENTE SEMIAUTOacuteNOMO DE

DOS BRAZOS PARA INTERVENCIONES DE

CIRUGIacuteA LAPAROSCOacutePICA

Enrique Bauzano Nuacutentildeez

DEPARTAMENTO DE INGENIERIacuteA DE SISTEMAS Y AUTOMAacuteTICA

UNIVERSIDAD DE MAacuteLAGA

DEFENSA DE TESIS DOCTORAL

Directores Dr Viacutector F Muntildeoz Martiacutenez

Dra Isabel Garciacutea Morales

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA ASISTENTE DE ESTADOS

ASISTENTE DE ESTADOS

INTERACCIOacuteN

AUTO-GUIADA

Trayectoria

Planificada

Localizacioacuten

Cirujano

Localizacioacuten

del Robot

INTERFAZ DE

VOZ

Fuerzas y

Pares

Posicioacuten

Aguja

Sentildeal de

Audio

Comando

de Voz

RECONOCEDOR

DE GESTOS

ASISTENTE DE SUTURA

Activacioacuten

Tk Estado Sk

Activacioacuten

Tk

Funciones

1) Alcanzar posicioacuten objetivo

2) Aplicar fuerza en tejidohilo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA INTERACCIOacuteN AUTO-GUIADA

INTERACCIOacuteN AUTO-GUIADA

SISTEMA

ROBOT+-

1

AKoF

F

pr

MOVIMIENTO

AUTO-GUIADO

cx

or

cr r

D

DI

CONTROL

PI

++

D

-+ K

er

++

xcF

co FF

coc FFx 1

AKLey de Control

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

DEMO ASISTENCIA A LA SUTURA

Maniobra 1 Insercioacuten Maniobra 2 Puncioacuten

Maniobra 3 AnudadoManiobra 4 Corte del hilo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

IMPLANTACIOacuteN PLATAFORMA CISOBOT

Brazo Instrumental

Quiruacutergico

Brazo Caacutemara

Laparoscoacutepica

Estructura Robot

Asistente

Marca 3D

Sensor de

Fuerzas

Muntildeeca Pasiva

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT ENTORNO QUIRUacuteRGICO

Columna de

Laparoscopia

Tracker 3D

Brazo Caacutemara

Laparoscoacutepica

Brazo Instrumental

Quiruacutergico

Simulador de

Paciente

Herramienta del

Cirujano

Caacutemara

Laparoscoacutepica

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT ARQUITECTURA DE CONTROL

SENSORES ENTORNOASISTENTE DE ESTADOS

CIRUJANO

INTERACCIOacuteN

AUTO-GUIADA

BRAZOS ROBOTS

CONTROL DE

BAJO NIVEL

PACIENTE

Interaccioacute

n

Ciru

jano

Herramientas Robot

Trayectoria Planificada

Localizacioacuten Cirujano

Trayectoria ControladaLo

caliz

acioacute

n R

ob

ot

ROBOT ASISTENTE

SENSOR DE

FUERZAS

INTERFAZ DE

VOZ

Esfuerzos

Imagen Laparoscoacutepica

Contacto Robot

Aguja

Herramienta Cirujano

Activacioacuten

Sentildeal de Audio

TRACKER 3D

Comando de Voz

RECONOCEDOR

DE GESTOS

MOacuteDULO DE

VISIOacuteN

ASISTENTE

DE SUTURA Activacioacuten

Nuevo Estado

Nuevo Estado

ADQUISICIOacuteN

AUDIO

Voz del cirujano

Gesto Quiruacutergico

SIST

EMA

TOLE

RA

NTE

AFA

LLO

S

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT SISTEMA TOLERANTE A FALLOS

Evento Deteccioacuten Actuacioacuten

Fallo Hardware - Sentildeal de Fallo Hardware Parar el sistema

Colisioacuten entre brazos - Anaacutelisis de Colisioacuten cinemaacuteticaParar brazo de la caacutemara

mientras haya riesgo

Colisioacuten con herramienta

del cirujano

- Cambio inusual del Fulcro Estimado

- Herramienta del cirujano cerca del robotParar robot mientras haya riesgo

Colisioacuten con tejidooacuterganos- Cambio inusual del Fulcro Estimado

- Herramienta del cirujano lejos del robotExtraer herramienta del robot

Fallo de sensores- Medicioacuten anoacutemala y constante

independiente de la actuacioacuten

Mensaje de alerta y parar si

persiste

0 2 4 6 8 10 12 14 16 180

20

40

60

80

100

Dis

tan

cia

s (

mm

)

Distancia Robot-Objetivo

Distancia Robot-Cirujano

0 2 4 6 8 10 12 14 16 18-10

-5

0

5

10

15

20

Tiempo (segundos)

Fu

erz

as (

N)

Fx

Fy

Fz

0 2 4 6 8 10 12 14 16 18 200

20

40

60

80

100

Dis

tan

cia

s (

mm

)

Distancia Robot-Objetivo

Distancia Robot-Cirujano

0 2 4 6 8 10 12 14 16 18 20-20

-15

-10

-5

0

5

10

Tiempo (segundos)

Fu

erz

as (

N)

Fx

Fy

Fz

Co

lisioacute

n c

on

herr

am

ien

ta

Colisioacuten con tejido

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT EXPERIMENTOS PROPUESTOS

1 Movimiento esfeacuterico mediante la aplicacioacuten del control EMP

2 Movimiento auto-guiado con la herramienta del cirujano en

movimiento

3 Procedimiento de sutura Insercioacuten Puncioacuten Anudado y Corte

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 1 MOVIMIENTO ESFEacuteRICO

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 2 MOVIMIENTO AUTO-GUIADO

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (I)

Maniobra 1 Insercioacuten

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (II)

Maniobra 2 Puncioacuten

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (III)

Maniobra 3 Anudado

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (IV)

Maniobra 4 Corte del Hilo

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CONCLUSIONES

El gran esfuerzo investigador en torno a la roboacutetica quiruacutergica la destaca

como una herramienta de gran utilidad en cirugiacutea laparoscoacutepica

Tres grupos de robots quiruacutergicos tele-manipuladores camaroacutegrafos y

sistemas autoacutenomos

En un punto intermedio los robots semiautoacutenomos se perfilan como los

candidatos para la cirugiacutea en solitario

Contribuciones de esta tesis para los robots semiautoacutenomos

1 Movimiento esfeacuterico del instrumental mediante muntildeecas activas

2 Sistema auto-guiado para la planificacioacuten de movimientos en el interior

de la cavidad abdominal

3 Asistencia semiautoacutenoma al procedimiento laparoscoacutepico de sutura

Implantacioacuten de las contribuciones en el prototipo CISOBOT

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

LIacuteNEAS DE INVESTIGACIOacuteN FUTURAS

Ampliar la asistencia al cirujano en otros procedimientos ademaacutes de la

sutura corte transporte agarrehellip

Modelar complicaciones producidas con mayor frecuencia durante la

ejecucioacuten de los procedimientos anteriores (error en corte limpieza de

sangradohellip)

Modificar el robot para manejar instrumental a traveacutes de un solo orificio en

teacutecnicas SILS (Single Input Laparoscopic Surgery)

Eliminar la hipoacutetesis de herramientas riacutegidas para mejorar la localizacioacuten del

punto de fulcro e interaccioacuten con el cirujano y el paciente

Cambiar el modo secuencial del diagrama de estados de la sutura para

permitir una interaccioacuten simultaacutenea con el cirujano

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

APORTACIONES CIENTIacuteFICAS

CONGRESOS INTERNACIONALES (6) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoActive Wrists Endoscope Navigation in Robotized Laparoscopic

Surgeryrdquo IEEE International Conference on Mechatronics (ICM) Abril 2009 Maacutelaga (Espantildea) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoThree-Layer Control for Active Wrists in Robotized Laparoscopic

Surgeryrdquo IEEE International Conference on Intelligent Robots and Systems (IROS) Octubre 2009 St Louis (EEUU) B Estebanez G Jimeacutenez VF Muntildeoz I Garciacutea-Morales E Bauzano J Molina ldquoMinimally Invasive Surgery Maneuver

Recognition Based on Surgeon Modelrdquo IEEE International Congerence on Intelligent Robots and Systems (IROS) Octubre 2009 St Louis (EEUU)

E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoA Multi-Behavior Algorithm for Auto-Guided Movements in Surgeon Assistancerdquo IEEE International Workshop on Robotics in Alpe-Adria-Danube Region (RAAD) Junio 2010 Budapest (Hungriacutea)

Premio al mejor artiacuteculo de estudiante (Best Paper Award) E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoAuto-Guided Movements on Minimally Invasive Surgery for Surgeon Assistancerdquo

IEEE International Conference on Intelligent Robots and Systems (IROS) Octubre 2010 Taipei (Taiwaacuten) B Estebanez E Bauzano VF Muntildeoz ldquoSurgical Tools Pose Estimation for a Multimodal HMI of a Surgical Robot Assistantrdquo IEEE

International Conference on Intelligent Robots and Systems (IROS) Septiembre 2011 San Francisco (EEUU)

LIBROS Y REVISTAS (2) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoControl Methodologies for Endoscope Navigation in Robotized

Laparoscopic Surgeryrdquo Research and Education in Robotics Ed Springer-Verlag (Berliacuten Heidelberg) 2010 Vol 82 pp 11-22 ISBN 978-3-642-16369

E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoA Multi-Behavior Algorithm for Auto-Guided Movements in Surgeon Assistancerdquo International Journal of Mechanics and Control (JoMaC) Ed Levrotto amp Bella (Torino Italia) 2011 Vol 12 no 1 ISSN 1590-8844

CONGRESOS NACIONALES (10) ndash POSTERS Y WORKSHOPS

Proyecto de Excelencia P07-TEP-02897

ROBOT ASISTENTE SEMIAUTOacuteNOMO DE

DOS BRAZOS PARA INTERVENCIONES DE

CIRUGIacuteA LAPAROSCOacutePICA

Enrique Bauzano Nuacutentildeez

DEPARTAMENTO DE INGENIERIacuteA DE SISTEMAS Y AUTOMAacuteTICA

UNIVERSIDAD DE MAacuteLAGA

DEFENSA DE TESIS DOCTORAL

Directores Dr Viacutector F Muntildeoz Martiacutenez

Dra Isabel Garciacutea Morales

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

SUTURA INTERACCIOacuteN AUTO-GUIADA

INTERACCIOacuteN AUTO-GUIADA

SISTEMA

ROBOT+-

1

AKoF

F

pr

MOVIMIENTO

AUTO-GUIADO

cx

or

cr r

D

DI

CONTROL

PI

++

D

-+ K

er

++

xcF

co FF

coc FFx 1

AKLey de Control

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

DEMO ASISTENCIA A LA SUTURA

Maniobra 1 Insercioacuten Maniobra 2 Puncioacuten

Maniobra 3 AnudadoManiobra 4 Corte del hilo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

IMPLANTACIOacuteN PLATAFORMA CISOBOT

Brazo Instrumental

Quiruacutergico

Brazo Caacutemara

Laparoscoacutepica

Estructura Robot

Asistente

Marca 3D

Sensor de

Fuerzas

Muntildeeca Pasiva

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT ENTORNO QUIRUacuteRGICO

Columna de

Laparoscopia

Tracker 3D

Brazo Caacutemara

Laparoscoacutepica

Brazo Instrumental

Quiruacutergico

Simulador de

Paciente

Herramienta del

Cirujano

Caacutemara

Laparoscoacutepica

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT ARQUITECTURA DE CONTROL

SENSORES ENTORNOASISTENTE DE ESTADOS

CIRUJANO

INTERACCIOacuteN

AUTO-GUIADA

BRAZOS ROBOTS

CONTROL DE

BAJO NIVEL

PACIENTE

Interaccioacute

n

Ciru

jano

Herramientas Robot

Trayectoria Planificada

Localizacioacuten Cirujano

Trayectoria ControladaLo

caliz

acioacute

n R

ob

ot

ROBOT ASISTENTE

SENSOR DE

FUERZAS

INTERFAZ DE

VOZ

Esfuerzos

Imagen Laparoscoacutepica

Contacto Robot

Aguja

Herramienta Cirujano

Activacioacuten

Sentildeal de Audio

TRACKER 3D

Comando de Voz

RECONOCEDOR

DE GESTOS

MOacuteDULO DE

VISIOacuteN

ASISTENTE

DE SUTURA Activacioacuten

Nuevo Estado

Nuevo Estado

ADQUISICIOacuteN

AUDIO

Voz del cirujano

Gesto Quiruacutergico

SIST

EMA

TOLE

RA

NTE

AFA

LLO

S

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT SISTEMA TOLERANTE A FALLOS

Evento Deteccioacuten Actuacioacuten

Fallo Hardware - Sentildeal de Fallo Hardware Parar el sistema

Colisioacuten entre brazos - Anaacutelisis de Colisioacuten cinemaacuteticaParar brazo de la caacutemara

mientras haya riesgo

Colisioacuten con herramienta

del cirujano

- Cambio inusual del Fulcro Estimado

- Herramienta del cirujano cerca del robotParar robot mientras haya riesgo

Colisioacuten con tejidooacuterganos- Cambio inusual del Fulcro Estimado

- Herramienta del cirujano lejos del robotExtraer herramienta del robot

Fallo de sensores- Medicioacuten anoacutemala y constante

independiente de la actuacioacuten

Mensaje de alerta y parar si

persiste

0 2 4 6 8 10 12 14 16 180

20

40

60

80

100

Dis

tan

cia

s (

mm

)

Distancia Robot-Objetivo

Distancia Robot-Cirujano

0 2 4 6 8 10 12 14 16 18-10

-5

0

5

10

15

20

Tiempo (segundos)

Fu

erz

as (

N)

Fx

Fy

Fz

0 2 4 6 8 10 12 14 16 18 200

20

40

60

80

100

Dis

tan

cia

s (

mm

)

Distancia Robot-Objetivo

Distancia Robot-Cirujano

0 2 4 6 8 10 12 14 16 18 20-20

-15

-10

-5

0

5

10

Tiempo (segundos)

Fu

erz

as (

N)

Fx

Fy

Fz

Co

lisioacute

n c

on

herr

am

ien

ta

Colisioacuten con tejido

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT EXPERIMENTOS PROPUESTOS

1 Movimiento esfeacuterico mediante la aplicacioacuten del control EMP

2 Movimiento auto-guiado con la herramienta del cirujano en

movimiento

3 Procedimiento de sutura Insercioacuten Puncioacuten Anudado y Corte

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 1 MOVIMIENTO ESFEacuteRICO

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 2 MOVIMIENTO AUTO-GUIADO

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (I)

Maniobra 1 Insercioacuten

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (II)

Maniobra 2 Puncioacuten

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (III)

Maniobra 3 Anudado

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (IV)

Maniobra 4 Corte del Hilo

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CONCLUSIONES

El gran esfuerzo investigador en torno a la roboacutetica quiruacutergica la destaca

como una herramienta de gran utilidad en cirugiacutea laparoscoacutepica

Tres grupos de robots quiruacutergicos tele-manipuladores camaroacutegrafos y

sistemas autoacutenomos

En un punto intermedio los robots semiautoacutenomos se perfilan como los

candidatos para la cirugiacutea en solitario

Contribuciones de esta tesis para los robots semiautoacutenomos

1 Movimiento esfeacuterico del instrumental mediante muntildeecas activas

2 Sistema auto-guiado para la planificacioacuten de movimientos en el interior

de la cavidad abdominal

3 Asistencia semiautoacutenoma al procedimiento laparoscoacutepico de sutura

Implantacioacuten de las contribuciones en el prototipo CISOBOT

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

LIacuteNEAS DE INVESTIGACIOacuteN FUTURAS

Ampliar la asistencia al cirujano en otros procedimientos ademaacutes de la

sutura corte transporte agarrehellip

Modelar complicaciones producidas con mayor frecuencia durante la

ejecucioacuten de los procedimientos anteriores (error en corte limpieza de

sangradohellip)

Modificar el robot para manejar instrumental a traveacutes de un solo orificio en

teacutecnicas SILS (Single Input Laparoscopic Surgery)

Eliminar la hipoacutetesis de herramientas riacutegidas para mejorar la localizacioacuten del

punto de fulcro e interaccioacuten con el cirujano y el paciente

Cambiar el modo secuencial del diagrama de estados de la sutura para

permitir una interaccioacuten simultaacutenea con el cirujano

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

APORTACIONES CIENTIacuteFICAS

CONGRESOS INTERNACIONALES (6) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoActive Wrists Endoscope Navigation in Robotized Laparoscopic

Surgeryrdquo IEEE International Conference on Mechatronics (ICM) Abril 2009 Maacutelaga (Espantildea) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoThree-Layer Control for Active Wrists in Robotized Laparoscopic

Surgeryrdquo IEEE International Conference on Intelligent Robots and Systems (IROS) Octubre 2009 St Louis (EEUU) B Estebanez G Jimeacutenez VF Muntildeoz I Garciacutea-Morales E Bauzano J Molina ldquoMinimally Invasive Surgery Maneuver

Recognition Based on Surgeon Modelrdquo IEEE International Congerence on Intelligent Robots and Systems (IROS) Octubre 2009 St Louis (EEUU)

E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoA Multi-Behavior Algorithm for Auto-Guided Movements in Surgeon Assistancerdquo IEEE International Workshop on Robotics in Alpe-Adria-Danube Region (RAAD) Junio 2010 Budapest (Hungriacutea)

Premio al mejor artiacuteculo de estudiante (Best Paper Award) E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoAuto-Guided Movements on Minimally Invasive Surgery for Surgeon Assistancerdquo

IEEE International Conference on Intelligent Robots and Systems (IROS) Octubre 2010 Taipei (Taiwaacuten) B Estebanez E Bauzano VF Muntildeoz ldquoSurgical Tools Pose Estimation for a Multimodal HMI of a Surgical Robot Assistantrdquo IEEE

International Conference on Intelligent Robots and Systems (IROS) Septiembre 2011 San Francisco (EEUU)

LIBROS Y REVISTAS (2) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoControl Methodologies for Endoscope Navigation in Robotized

Laparoscopic Surgeryrdquo Research and Education in Robotics Ed Springer-Verlag (Berliacuten Heidelberg) 2010 Vol 82 pp 11-22 ISBN 978-3-642-16369

E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoA Multi-Behavior Algorithm for Auto-Guided Movements in Surgeon Assistancerdquo International Journal of Mechanics and Control (JoMaC) Ed Levrotto amp Bella (Torino Italia) 2011 Vol 12 no 1 ISSN 1590-8844

CONGRESOS NACIONALES (10) ndash POSTERS Y WORKSHOPS

Proyecto de Excelencia P07-TEP-02897

ROBOT ASISTENTE SEMIAUTOacuteNOMO DE

DOS BRAZOS PARA INTERVENCIONES DE

CIRUGIacuteA LAPAROSCOacutePICA

Enrique Bauzano Nuacutentildeez

DEPARTAMENTO DE INGENIERIacuteA DE SISTEMAS Y AUTOMAacuteTICA

UNIVERSIDAD DE MAacuteLAGA

DEFENSA DE TESIS DOCTORAL

Directores Dr Viacutector F Muntildeoz Martiacutenez

Dra Isabel Garciacutea Morales

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

DEMO ASISTENCIA A LA SUTURA

Maniobra 1 Insercioacuten Maniobra 2 Puncioacuten

Maniobra 3 AnudadoManiobra 4 Corte del hilo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

IMPLANTACIOacuteN PLATAFORMA CISOBOT

Brazo Instrumental

Quiruacutergico

Brazo Caacutemara

Laparoscoacutepica

Estructura Robot

Asistente

Marca 3D

Sensor de

Fuerzas

Muntildeeca Pasiva

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT ENTORNO QUIRUacuteRGICO

Columna de

Laparoscopia

Tracker 3D

Brazo Caacutemara

Laparoscoacutepica

Brazo Instrumental

Quiruacutergico

Simulador de

Paciente

Herramienta del

Cirujano

Caacutemara

Laparoscoacutepica

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT ARQUITECTURA DE CONTROL

SENSORES ENTORNOASISTENTE DE ESTADOS

CIRUJANO

INTERACCIOacuteN

AUTO-GUIADA

BRAZOS ROBOTS

CONTROL DE

BAJO NIVEL

PACIENTE

Interaccioacute

n

Ciru

jano

Herramientas Robot

Trayectoria Planificada

Localizacioacuten Cirujano

Trayectoria ControladaLo

caliz

acioacute

n R

ob

ot

ROBOT ASISTENTE

SENSOR DE

FUERZAS

INTERFAZ DE

VOZ

Esfuerzos

Imagen Laparoscoacutepica

Contacto Robot

Aguja

Herramienta Cirujano

Activacioacuten

Sentildeal de Audio

TRACKER 3D

Comando de Voz

RECONOCEDOR

DE GESTOS

MOacuteDULO DE

VISIOacuteN

ASISTENTE

DE SUTURA Activacioacuten

Nuevo Estado

Nuevo Estado

ADQUISICIOacuteN

AUDIO

Voz del cirujano

Gesto Quiruacutergico

SIST

EMA

TOLE

RA

NTE

AFA

LLO

S

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT SISTEMA TOLERANTE A FALLOS

Evento Deteccioacuten Actuacioacuten

Fallo Hardware - Sentildeal de Fallo Hardware Parar el sistema

Colisioacuten entre brazos - Anaacutelisis de Colisioacuten cinemaacuteticaParar brazo de la caacutemara

mientras haya riesgo

Colisioacuten con herramienta

del cirujano

- Cambio inusual del Fulcro Estimado

- Herramienta del cirujano cerca del robotParar robot mientras haya riesgo

Colisioacuten con tejidooacuterganos- Cambio inusual del Fulcro Estimado

- Herramienta del cirujano lejos del robotExtraer herramienta del robot

Fallo de sensores- Medicioacuten anoacutemala y constante

independiente de la actuacioacuten

Mensaje de alerta y parar si

persiste

0 2 4 6 8 10 12 14 16 180

20

40

60

80

100

Dis

tan

cia

s (

mm

)

Distancia Robot-Objetivo

Distancia Robot-Cirujano

0 2 4 6 8 10 12 14 16 18-10

-5

0

5

10

15

20

Tiempo (segundos)

Fu

erz

as (

N)

Fx

Fy

Fz

0 2 4 6 8 10 12 14 16 18 200

20

40

60

80

100

Dis

tan

cia

s (

mm

)

Distancia Robot-Objetivo

Distancia Robot-Cirujano

0 2 4 6 8 10 12 14 16 18 20-20

-15

-10

-5

0

5

10

Tiempo (segundos)

Fu

erz

as (

N)

Fx

Fy

Fz

Co

lisioacute

n c

on

herr

am

ien

ta

Colisioacuten con tejido

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT EXPERIMENTOS PROPUESTOS

1 Movimiento esfeacuterico mediante la aplicacioacuten del control EMP

2 Movimiento auto-guiado con la herramienta del cirujano en

movimiento

3 Procedimiento de sutura Insercioacuten Puncioacuten Anudado y Corte

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 1 MOVIMIENTO ESFEacuteRICO

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 2 MOVIMIENTO AUTO-GUIADO

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (I)

Maniobra 1 Insercioacuten

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (II)

Maniobra 2 Puncioacuten

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (III)

Maniobra 3 Anudado

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (IV)

Maniobra 4 Corte del Hilo

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CONCLUSIONES

El gran esfuerzo investigador en torno a la roboacutetica quiruacutergica la destaca

como una herramienta de gran utilidad en cirugiacutea laparoscoacutepica

Tres grupos de robots quiruacutergicos tele-manipuladores camaroacutegrafos y

sistemas autoacutenomos

En un punto intermedio los robots semiautoacutenomos se perfilan como los

candidatos para la cirugiacutea en solitario

Contribuciones de esta tesis para los robots semiautoacutenomos

1 Movimiento esfeacuterico del instrumental mediante muntildeecas activas

2 Sistema auto-guiado para la planificacioacuten de movimientos en el interior

de la cavidad abdominal

3 Asistencia semiautoacutenoma al procedimiento laparoscoacutepico de sutura

Implantacioacuten de las contribuciones en el prototipo CISOBOT

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

LIacuteNEAS DE INVESTIGACIOacuteN FUTURAS

Ampliar la asistencia al cirujano en otros procedimientos ademaacutes de la

sutura corte transporte agarrehellip

Modelar complicaciones producidas con mayor frecuencia durante la

ejecucioacuten de los procedimientos anteriores (error en corte limpieza de

sangradohellip)

Modificar el robot para manejar instrumental a traveacutes de un solo orificio en

teacutecnicas SILS (Single Input Laparoscopic Surgery)

Eliminar la hipoacutetesis de herramientas riacutegidas para mejorar la localizacioacuten del

punto de fulcro e interaccioacuten con el cirujano y el paciente

Cambiar el modo secuencial del diagrama de estados de la sutura para

permitir una interaccioacuten simultaacutenea con el cirujano

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

APORTACIONES CIENTIacuteFICAS

CONGRESOS INTERNACIONALES (6) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoActive Wrists Endoscope Navigation in Robotized Laparoscopic

Surgeryrdquo IEEE International Conference on Mechatronics (ICM) Abril 2009 Maacutelaga (Espantildea) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoThree-Layer Control for Active Wrists in Robotized Laparoscopic

Surgeryrdquo IEEE International Conference on Intelligent Robots and Systems (IROS) Octubre 2009 St Louis (EEUU) B Estebanez G Jimeacutenez VF Muntildeoz I Garciacutea-Morales E Bauzano J Molina ldquoMinimally Invasive Surgery Maneuver

Recognition Based on Surgeon Modelrdquo IEEE International Congerence on Intelligent Robots and Systems (IROS) Octubre 2009 St Louis (EEUU)

E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoA Multi-Behavior Algorithm for Auto-Guided Movements in Surgeon Assistancerdquo IEEE International Workshop on Robotics in Alpe-Adria-Danube Region (RAAD) Junio 2010 Budapest (Hungriacutea)

Premio al mejor artiacuteculo de estudiante (Best Paper Award) E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoAuto-Guided Movements on Minimally Invasive Surgery for Surgeon Assistancerdquo

IEEE International Conference on Intelligent Robots and Systems (IROS) Octubre 2010 Taipei (Taiwaacuten) B Estebanez E Bauzano VF Muntildeoz ldquoSurgical Tools Pose Estimation for a Multimodal HMI of a Surgical Robot Assistantrdquo IEEE

International Conference on Intelligent Robots and Systems (IROS) Septiembre 2011 San Francisco (EEUU)

LIBROS Y REVISTAS (2) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoControl Methodologies for Endoscope Navigation in Robotized

Laparoscopic Surgeryrdquo Research and Education in Robotics Ed Springer-Verlag (Berliacuten Heidelberg) 2010 Vol 82 pp 11-22 ISBN 978-3-642-16369

E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoA Multi-Behavior Algorithm for Auto-Guided Movements in Surgeon Assistancerdquo International Journal of Mechanics and Control (JoMaC) Ed Levrotto amp Bella (Torino Italia) 2011 Vol 12 no 1 ISSN 1590-8844

CONGRESOS NACIONALES (10) ndash POSTERS Y WORKSHOPS

Proyecto de Excelencia P07-TEP-02897

ROBOT ASISTENTE SEMIAUTOacuteNOMO DE

DOS BRAZOS PARA INTERVENCIONES DE

CIRUGIacuteA LAPAROSCOacutePICA

Enrique Bauzano Nuacutentildeez

DEPARTAMENTO DE INGENIERIacuteA DE SISTEMAS Y AUTOMAacuteTICA

UNIVERSIDAD DE MAacuteLAGA

DEFENSA DE TESIS DOCTORAL

Directores Dr Viacutector F Muntildeoz Martiacutenez

Dra Isabel Garciacutea Morales

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

IMPLANTACIOacuteN PLATAFORMA CISOBOT

Brazo Instrumental

Quiruacutergico

Brazo Caacutemara

Laparoscoacutepica

Estructura Robot

Asistente

Marca 3D

Sensor de

Fuerzas

Muntildeeca Pasiva

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT ENTORNO QUIRUacuteRGICO

Columna de

Laparoscopia

Tracker 3D

Brazo Caacutemara

Laparoscoacutepica

Brazo Instrumental

Quiruacutergico

Simulador de

Paciente

Herramienta del

Cirujano

Caacutemara

Laparoscoacutepica

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT ARQUITECTURA DE CONTROL

SENSORES ENTORNOASISTENTE DE ESTADOS

CIRUJANO

INTERACCIOacuteN

AUTO-GUIADA

BRAZOS ROBOTS

CONTROL DE

BAJO NIVEL

PACIENTE

Interaccioacute

n

Ciru

jano

Herramientas Robot

Trayectoria Planificada

Localizacioacuten Cirujano

Trayectoria ControladaLo

caliz

acioacute

n R

ob

ot

ROBOT ASISTENTE

SENSOR DE

FUERZAS

INTERFAZ DE

VOZ

Esfuerzos

Imagen Laparoscoacutepica

Contacto Robot

Aguja

Herramienta Cirujano

Activacioacuten

Sentildeal de Audio

TRACKER 3D

Comando de Voz

RECONOCEDOR

DE GESTOS

MOacuteDULO DE

VISIOacuteN

ASISTENTE

DE SUTURA Activacioacuten

Nuevo Estado

Nuevo Estado

ADQUISICIOacuteN

AUDIO

Voz del cirujano

Gesto Quiruacutergico

SIST

EMA

TOLE

RA

NTE

AFA

LLO

S

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT SISTEMA TOLERANTE A FALLOS

Evento Deteccioacuten Actuacioacuten

Fallo Hardware - Sentildeal de Fallo Hardware Parar el sistema

Colisioacuten entre brazos - Anaacutelisis de Colisioacuten cinemaacuteticaParar brazo de la caacutemara

mientras haya riesgo

Colisioacuten con herramienta

del cirujano

- Cambio inusual del Fulcro Estimado

- Herramienta del cirujano cerca del robotParar robot mientras haya riesgo

Colisioacuten con tejidooacuterganos- Cambio inusual del Fulcro Estimado

- Herramienta del cirujano lejos del robotExtraer herramienta del robot

Fallo de sensores- Medicioacuten anoacutemala y constante

independiente de la actuacioacuten

Mensaje de alerta y parar si

persiste

0 2 4 6 8 10 12 14 16 180

20

40

60

80

100

Dis

tan

cia

s (

mm

)

Distancia Robot-Objetivo

Distancia Robot-Cirujano

0 2 4 6 8 10 12 14 16 18-10

-5

0

5

10

15

20

Tiempo (segundos)

Fu

erz

as (

N)

Fx

Fy

Fz

0 2 4 6 8 10 12 14 16 18 200

20

40

60

80

100

Dis

tan

cia

s (

mm

)

Distancia Robot-Objetivo

Distancia Robot-Cirujano

0 2 4 6 8 10 12 14 16 18 20-20

-15

-10

-5

0

5

10

Tiempo (segundos)

Fu

erz

as (

N)

Fx

Fy

Fz

Co

lisioacute

n c

on

herr

am

ien

ta

Colisioacuten con tejido

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT EXPERIMENTOS PROPUESTOS

1 Movimiento esfeacuterico mediante la aplicacioacuten del control EMP

2 Movimiento auto-guiado con la herramienta del cirujano en

movimiento

3 Procedimiento de sutura Insercioacuten Puncioacuten Anudado y Corte

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 1 MOVIMIENTO ESFEacuteRICO

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 2 MOVIMIENTO AUTO-GUIADO

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (I)

Maniobra 1 Insercioacuten

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (II)

Maniobra 2 Puncioacuten

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (III)

Maniobra 3 Anudado

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (IV)

Maniobra 4 Corte del Hilo

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CONCLUSIONES

El gran esfuerzo investigador en torno a la roboacutetica quiruacutergica la destaca

como una herramienta de gran utilidad en cirugiacutea laparoscoacutepica

Tres grupos de robots quiruacutergicos tele-manipuladores camaroacutegrafos y

sistemas autoacutenomos

En un punto intermedio los robots semiautoacutenomos se perfilan como los

candidatos para la cirugiacutea en solitario

Contribuciones de esta tesis para los robots semiautoacutenomos

1 Movimiento esfeacuterico del instrumental mediante muntildeecas activas

2 Sistema auto-guiado para la planificacioacuten de movimientos en el interior

de la cavidad abdominal

3 Asistencia semiautoacutenoma al procedimiento laparoscoacutepico de sutura

Implantacioacuten de las contribuciones en el prototipo CISOBOT

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

LIacuteNEAS DE INVESTIGACIOacuteN FUTURAS

Ampliar la asistencia al cirujano en otros procedimientos ademaacutes de la

sutura corte transporte agarrehellip

Modelar complicaciones producidas con mayor frecuencia durante la

ejecucioacuten de los procedimientos anteriores (error en corte limpieza de

sangradohellip)

Modificar el robot para manejar instrumental a traveacutes de un solo orificio en

teacutecnicas SILS (Single Input Laparoscopic Surgery)

Eliminar la hipoacutetesis de herramientas riacutegidas para mejorar la localizacioacuten del

punto de fulcro e interaccioacuten con el cirujano y el paciente

Cambiar el modo secuencial del diagrama de estados de la sutura para

permitir una interaccioacuten simultaacutenea con el cirujano

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

APORTACIONES CIENTIacuteFICAS

CONGRESOS INTERNACIONALES (6) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoActive Wrists Endoscope Navigation in Robotized Laparoscopic

Surgeryrdquo IEEE International Conference on Mechatronics (ICM) Abril 2009 Maacutelaga (Espantildea) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoThree-Layer Control for Active Wrists in Robotized Laparoscopic

Surgeryrdquo IEEE International Conference on Intelligent Robots and Systems (IROS) Octubre 2009 St Louis (EEUU) B Estebanez G Jimeacutenez VF Muntildeoz I Garciacutea-Morales E Bauzano J Molina ldquoMinimally Invasive Surgery Maneuver

Recognition Based on Surgeon Modelrdquo IEEE International Congerence on Intelligent Robots and Systems (IROS) Octubre 2009 St Louis (EEUU)

E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoA Multi-Behavior Algorithm for Auto-Guided Movements in Surgeon Assistancerdquo IEEE International Workshop on Robotics in Alpe-Adria-Danube Region (RAAD) Junio 2010 Budapest (Hungriacutea)

Premio al mejor artiacuteculo de estudiante (Best Paper Award) E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoAuto-Guided Movements on Minimally Invasive Surgery for Surgeon Assistancerdquo

IEEE International Conference on Intelligent Robots and Systems (IROS) Octubre 2010 Taipei (Taiwaacuten) B Estebanez E Bauzano VF Muntildeoz ldquoSurgical Tools Pose Estimation for a Multimodal HMI of a Surgical Robot Assistantrdquo IEEE

International Conference on Intelligent Robots and Systems (IROS) Septiembre 2011 San Francisco (EEUU)

LIBROS Y REVISTAS (2) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoControl Methodologies for Endoscope Navigation in Robotized

Laparoscopic Surgeryrdquo Research and Education in Robotics Ed Springer-Verlag (Berliacuten Heidelberg) 2010 Vol 82 pp 11-22 ISBN 978-3-642-16369

E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoA Multi-Behavior Algorithm for Auto-Guided Movements in Surgeon Assistancerdquo International Journal of Mechanics and Control (JoMaC) Ed Levrotto amp Bella (Torino Italia) 2011 Vol 12 no 1 ISSN 1590-8844

CONGRESOS NACIONALES (10) ndash POSTERS Y WORKSHOPS

Proyecto de Excelencia P07-TEP-02897

ROBOT ASISTENTE SEMIAUTOacuteNOMO DE

DOS BRAZOS PARA INTERVENCIONES DE

CIRUGIacuteA LAPAROSCOacutePICA

Enrique Bauzano Nuacutentildeez

DEPARTAMENTO DE INGENIERIacuteA DE SISTEMAS Y AUTOMAacuteTICA

UNIVERSIDAD DE MAacuteLAGA

DEFENSA DE TESIS DOCTORAL

Directores Dr Viacutector F Muntildeoz Martiacutenez

Dra Isabel Garciacutea Morales

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT ENTORNO QUIRUacuteRGICO

Columna de

Laparoscopia

Tracker 3D

Brazo Caacutemara

Laparoscoacutepica

Brazo Instrumental

Quiruacutergico

Simulador de

Paciente

Herramienta del

Cirujano

Caacutemara

Laparoscoacutepica

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT ARQUITECTURA DE CONTROL

SENSORES ENTORNOASISTENTE DE ESTADOS

CIRUJANO

INTERACCIOacuteN

AUTO-GUIADA

BRAZOS ROBOTS

CONTROL DE

BAJO NIVEL

PACIENTE

Interaccioacute

n

Ciru

jano

Herramientas Robot

Trayectoria Planificada

Localizacioacuten Cirujano

Trayectoria ControladaLo

caliz

acioacute

n R

ob

ot

ROBOT ASISTENTE

SENSOR DE

FUERZAS

INTERFAZ DE

VOZ

Esfuerzos

Imagen Laparoscoacutepica

Contacto Robot

Aguja

Herramienta Cirujano

Activacioacuten

Sentildeal de Audio

TRACKER 3D

Comando de Voz

RECONOCEDOR

DE GESTOS

MOacuteDULO DE

VISIOacuteN

ASISTENTE

DE SUTURA Activacioacuten

Nuevo Estado

Nuevo Estado

ADQUISICIOacuteN

AUDIO

Voz del cirujano

Gesto Quiruacutergico

SIST

EMA

TOLE

RA

NTE

AFA

LLO

S

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT SISTEMA TOLERANTE A FALLOS

Evento Deteccioacuten Actuacioacuten

Fallo Hardware - Sentildeal de Fallo Hardware Parar el sistema

Colisioacuten entre brazos - Anaacutelisis de Colisioacuten cinemaacuteticaParar brazo de la caacutemara

mientras haya riesgo

Colisioacuten con herramienta

del cirujano

- Cambio inusual del Fulcro Estimado

- Herramienta del cirujano cerca del robotParar robot mientras haya riesgo

Colisioacuten con tejidooacuterganos- Cambio inusual del Fulcro Estimado

- Herramienta del cirujano lejos del robotExtraer herramienta del robot

Fallo de sensores- Medicioacuten anoacutemala y constante

independiente de la actuacioacuten

Mensaje de alerta y parar si

persiste

0 2 4 6 8 10 12 14 16 180

20

40

60

80

100

Dis

tan

cia

s (

mm

)

Distancia Robot-Objetivo

Distancia Robot-Cirujano

0 2 4 6 8 10 12 14 16 18-10

-5

0

5

10

15

20

Tiempo (segundos)

Fu

erz

as (

N)

Fx

Fy

Fz

0 2 4 6 8 10 12 14 16 18 200

20

40

60

80

100

Dis

tan

cia

s (

mm

)

Distancia Robot-Objetivo

Distancia Robot-Cirujano

0 2 4 6 8 10 12 14 16 18 20-20

-15

-10

-5

0

5

10

Tiempo (segundos)

Fu

erz

as (

N)

Fx

Fy

Fz

Co

lisioacute

n c

on

herr

am

ien

ta

Colisioacuten con tejido

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT EXPERIMENTOS PROPUESTOS

1 Movimiento esfeacuterico mediante la aplicacioacuten del control EMP

2 Movimiento auto-guiado con la herramienta del cirujano en

movimiento

3 Procedimiento de sutura Insercioacuten Puncioacuten Anudado y Corte

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 1 MOVIMIENTO ESFEacuteRICO

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 2 MOVIMIENTO AUTO-GUIADO

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (I)

Maniobra 1 Insercioacuten

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (II)

Maniobra 2 Puncioacuten

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (III)

Maniobra 3 Anudado

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (IV)

Maniobra 4 Corte del Hilo

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CONCLUSIONES

El gran esfuerzo investigador en torno a la roboacutetica quiruacutergica la destaca

como una herramienta de gran utilidad en cirugiacutea laparoscoacutepica

Tres grupos de robots quiruacutergicos tele-manipuladores camaroacutegrafos y

sistemas autoacutenomos

En un punto intermedio los robots semiautoacutenomos se perfilan como los

candidatos para la cirugiacutea en solitario

Contribuciones de esta tesis para los robots semiautoacutenomos

1 Movimiento esfeacuterico del instrumental mediante muntildeecas activas

2 Sistema auto-guiado para la planificacioacuten de movimientos en el interior

de la cavidad abdominal

3 Asistencia semiautoacutenoma al procedimiento laparoscoacutepico de sutura

Implantacioacuten de las contribuciones en el prototipo CISOBOT

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

LIacuteNEAS DE INVESTIGACIOacuteN FUTURAS

Ampliar la asistencia al cirujano en otros procedimientos ademaacutes de la

sutura corte transporte agarrehellip

Modelar complicaciones producidas con mayor frecuencia durante la

ejecucioacuten de los procedimientos anteriores (error en corte limpieza de

sangradohellip)

Modificar el robot para manejar instrumental a traveacutes de un solo orificio en

teacutecnicas SILS (Single Input Laparoscopic Surgery)

Eliminar la hipoacutetesis de herramientas riacutegidas para mejorar la localizacioacuten del

punto de fulcro e interaccioacuten con el cirujano y el paciente

Cambiar el modo secuencial del diagrama de estados de la sutura para

permitir una interaccioacuten simultaacutenea con el cirujano

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

APORTACIONES CIENTIacuteFICAS

CONGRESOS INTERNACIONALES (6) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoActive Wrists Endoscope Navigation in Robotized Laparoscopic

Surgeryrdquo IEEE International Conference on Mechatronics (ICM) Abril 2009 Maacutelaga (Espantildea) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoThree-Layer Control for Active Wrists in Robotized Laparoscopic

Surgeryrdquo IEEE International Conference on Intelligent Robots and Systems (IROS) Octubre 2009 St Louis (EEUU) B Estebanez G Jimeacutenez VF Muntildeoz I Garciacutea-Morales E Bauzano J Molina ldquoMinimally Invasive Surgery Maneuver

Recognition Based on Surgeon Modelrdquo IEEE International Congerence on Intelligent Robots and Systems (IROS) Octubre 2009 St Louis (EEUU)

E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoA Multi-Behavior Algorithm for Auto-Guided Movements in Surgeon Assistancerdquo IEEE International Workshop on Robotics in Alpe-Adria-Danube Region (RAAD) Junio 2010 Budapest (Hungriacutea)

Premio al mejor artiacuteculo de estudiante (Best Paper Award) E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoAuto-Guided Movements on Minimally Invasive Surgery for Surgeon Assistancerdquo

IEEE International Conference on Intelligent Robots and Systems (IROS) Octubre 2010 Taipei (Taiwaacuten) B Estebanez E Bauzano VF Muntildeoz ldquoSurgical Tools Pose Estimation for a Multimodal HMI of a Surgical Robot Assistantrdquo IEEE

International Conference on Intelligent Robots and Systems (IROS) Septiembre 2011 San Francisco (EEUU)

LIBROS Y REVISTAS (2) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoControl Methodologies for Endoscope Navigation in Robotized

Laparoscopic Surgeryrdquo Research and Education in Robotics Ed Springer-Verlag (Berliacuten Heidelberg) 2010 Vol 82 pp 11-22 ISBN 978-3-642-16369

E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoA Multi-Behavior Algorithm for Auto-Guided Movements in Surgeon Assistancerdquo International Journal of Mechanics and Control (JoMaC) Ed Levrotto amp Bella (Torino Italia) 2011 Vol 12 no 1 ISSN 1590-8844

CONGRESOS NACIONALES (10) ndash POSTERS Y WORKSHOPS

Proyecto de Excelencia P07-TEP-02897

ROBOT ASISTENTE SEMIAUTOacuteNOMO DE

DOS BRAZOS PARA INTERVENCIONES DE

CIRUGIacuteA LAPAROSCOacutePICA

Enrique Bauzano Nuacutentildeez

DEPARTAMENTO DE INGENIERIacuteA DE SISTEMAS Y AUTOMAacuteTICA

UNIVERSIDAD DE MAacuteLAGA

DEFENSA DE TESIS DOCTORAL

Directores Dr Viacutector F Muntildeoz Martiacutenez

Dra Isabel Garciacutea Morales

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT ARQUITECTURA DE CONTROL

SENSORES ENTORNOASISTENTE DE ESTADOS

CIRUJANO

INTERACCIOacuteN

AUTO-GUIADA

BRAZOS ROBOTS

CONTROL DE

BAJO NIVEL

PACIENTE

Interaccioacute

n

Ciru

jano

Herramientas Robot

Trayectoria Planificada

Localizacioacuten Cirujano

Trayectoria ControladaLo

caliz

acioacute

n R

ob

ot

ROBOT ASISTENTE

SENSOR DE

FUERZAS

INTERFAZ DE

VOZ

Esfuerzos

Imagen Laparoscoacutepica

Contacto Robot

Aguja

Herramienta Cirujano

Activacioacuten

Sentildeal de Audio

TRACKER 3D

Comando de Voz

RECONOCEDOR

DE GESTOS

MOacuteDULO DE

VISIOacuteN

ASISTENTE

DE SUTURA Activacioacuten

Nuevo Estado

Nuevo Estado

ADQUISICIOacuteN

AUDIO

Voz del cirujano

Gesto Quiruacutergico

SIST

EMA

TOLE

RA

NTE

AFA

LLO

S

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT SISTEMA TOLERANTE A FALLOS

Evento Deteccioacuten Actuacioacuten

Fallo Hardware - Sentildeal de Fallo Hardware Parar el sistema

Colisioacuten entre brazos - Anaacutelisis de Colisioacuten cinemaacuteticaParar brazo de la caacutemara

mientras haya riesgo

Colisioacuten con herramienta

del cirujano

- Cambio inusual del Fulcro Estimado

- Herramienta del cirujano cerca del robotParar robot mientras haya riesgo

Colisioacuten con tejidooacuterganos- Cambio inusual del Fulcro Estimado

- Herramienta del cirujano lejos del robotExtraer herramienta del robot

Fallo de sensores- Medicioacuten anoacutemala y constante

independiente de la actuacioacuten

Mensaje de alerta y parar si

persiste

0 2 4 6 8 10 12 14 16 180

20

40

60

80

100

Dis

tan

cia

s (

mm

)

Distancia Robot-Objetivo

Distancia Robot-Cirujano

0 2 4 6 8 10 12 14 16 18-10

-5

0

5

10

15

20

Tiempo (segundos)

Fu

erz

as (

N)

Fx

Fy

Fz

0 2 4 6 8 10 12 14 16 18 200

20

40

60

80

100

Dis

tan

cia

s (

mm

)

Distancia Robot-Objetivo

Distancia Robot-Cirujano

0 2 4 6 8 10 12 14 16 18 20-20

-15

-10

-5

0

5

10

Tiempo (segundos)

Fu

erz

as (

N)

Fx

Fy

Fz

Co

lisioacute

n c

on

herr

am

ien

ta

Colisioacuten con tejido

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT EXPERIMENTOS PROPUESTOS

1 Movimiento esfeacuterico mediante la aplicacioacuten del control EMP

2 Movimiento auto-guiado con la herramienta del cirujano en

movimiento

3 Procedimiento de sutura Insercioacuten Puncioacuten Anudado y Corte

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 1 MOVIMIENTO ESFEacuteRICO

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 2 MOVIMIENTO AUTO-GUIADO

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (I)

Maniobra 1 Insercioacuten

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (II)

Maniobra 2 Puncioacuten

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (III)

Maniobra 3 Anudado

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (IV)

Maniobra 4 Corte del Hilo

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CONCLUSIONES

El gran esfuerzo investigador en torno a la roboacutetica quiruacutergica la destaca

como una herramienta de gran utilidad en cirugiacutea laparoscoacutepica

Tres grupos de robots quiruacutergicos tele-manipuladores camaroacutegrafos y

sistemas autoacutenomos

En un punto intermedio los robots semiautoacutenomos se perfilan como los

candidatos para la cirugiacutea en solitario

Contribuciones de esta tesis para los robots semiautoacutenomos

1 Movimiento esfeacuterico del instrumental mediante muntildeecas activas

2 Sistema auto-guiado para la planificacioacuten de movimientos en el interior

de la cavidad abdominal

3 Asistencia semiautoacutenoma al procedimiento laparoscoacutepico de sutura

Implantacioacuten de las contribuciones en el prototipo CISOBOT

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

LIacuteNEAS DE INVESTIGACIOacuteN FUTURAS

Ampliar la asistencia al cirujano en otros procedimientos ademaacutes de la

sutura corte transporte agarrehellip

Modelar complicaciones producidas con mayor frecuencia durante la

ejecucioacuten de los procedimientos anteriores (error en corte limpieza de

sangradohellip)

Modificar el robot para manejar instrumental a traveacutes de un solo orificio en

teacutecnicas SILS (Single Input Laparoscopic Surgery)

Eliminar la hipoacutetesis de herramientas riacutegidas para mejorar la localizacioacuten del

punto de fulcro e interaccioacuten con el cirujano y el paciente

Cambiar el modo secuencial del diagrama de estados de la sutura para

permitir una interaccioacuten simultaacutenea con el cirujano

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

APORTACIONES CIENTIacuteFICAS

CONGRESOS INTERNACIONALES (6) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoActive Wrists Endoscope Navigation in Robotized Laparoscopic

Surgeryrdquo IEEE International Conference on Mechatronics (ICM) Abril 2009 Maacutelaga (Espantildea) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoThree-Layer Control for Active Wrists in Robotized Laparoscopic

Surgeryrdquo IEEE International Conference on Intelligent Robots and Systems (IROS) Octubre 2009 St Louis (EEUU) B Estebanez G Jimeacutenez VF Muntildeoz I Garciacutea-Morales E Bauzano J Molina ldquoMinimally Invasive Surgery Maneuver

Recognition Based on Surgeon Modelrdquo IEEE International Congerence on Intelligent Robots and Systems (IROS) Octubre 2009 St Louis (EEUU)

E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoA Multi-Behavior Algorithm for Auto-Guided Movements in Surgeon Assistancerdquo IEEE International Workshop on Robotics in Alpe-Adria-Danube Region (RAAD) Junio 2010 Budapest (Hungriacutea)

Premio al mejor artiacuteculo de estudiante (Best Paper Award) E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoAuto-Guided Movements on Minimally Invasive Surgery for Surgeon Assistancerdquo

IEEE International Conference on Intelligent Robots and Systems (IROS) Octubre 2010 Taipei (Taiwaacuten) B Estebanez E Bauzano VF Muntildeoz ldquoSurgical Tools Pose Estimation for a Multimodal HMI of a Surgical Robot Assistantrdquo IEEE

International Conference on Intelligent Robots and Systems (IROS) Septiembre 2011 San Francisco (EEUU)

LIBROS Y REVISTAS (2) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoControl Methodologies for Endoscope Navigation in Robotized

Laparoscopic Surgeryrdquo Research and Education in Robotics Ed Springer-Verlag (Berliacuten Heidelberg) 2010 Vol 82 pp 11-22 ISBN 978-3-642-16369

E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoA Multi-Behavior Algorithm for Auto-Guided Movements in Surgeon Assistancerdquo International Journal of Mechanics and Control (JoMaC) Ed Levrotto amp Bella (Torino Italia) 2011 Vol 12 no 1 ISSN 1590-8844

CONGRESOS NACIONALES (10) ndash POSTERS Y WORKSHOPS

Proyecto de Excelencia P07-TEP-02897

ROBOT ASISTENTE SEMIAUTOacuteNOMO DE

DOS BRAZOS PARA INTERVENCIONES DE

CIRUGIacuteA LAPAROSCOacutePICA

Enrique Bauzano Nuacutentildeez

DEPARTAMENTO DE INGENIERIacuteA DE SISTEMAS Y AUTOMAacuteTICA

UNIVERSIDAD DE MAacuteLAGA

DEFENSA DE TESIS DOCTORAL

Directores Dr Viacutector F Muntildeoz Martiacutenez

Dra Isabel Garciacutea Morales

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT SISTEMA TOLERANTE A FALLOS

Evento Deteccioacuten Actuacioacuten

Fallo Hardware - Sentildeal de Fallo Hardware Parar el sistema

Colisioacuten entre brazos - Anaacutelisis de Colisioacuten cinemaacuteticaParar brazo de la caacutemara

mientras haya riesgo

Colisioacuten con herramienta

del cirujano

- Cambio inusual del Fulcro Estimado

- Herramienta del cirujano cerca del robotParar robot mientras haya riesgo

Colisioacuten con tejidooacuterganos- Cambio inusual del Fulcro Estimado

- Herramienta del cirujano lejos del robotExtraer herramienta del robot

Fallo de sensores- Medicioacuten anoacutemala y constante

independiente de la actuacioacuten

Mensaje de alerta y parar si

persiste

0 2 4 6 8 10 12 14 16 180

20

40

60

80

100

Dis

tan

cia

s (

mm

)

Distancia Robot-Objetivo

Distancia Robot-Cirujano

0 2 4 6 8 10 12 14 16 18-10

-5

0

5

10

15

20

Tiempo (segundos)

Fu

erz

as (

N)

Fx

Fy

Fz

0 2 4 6 8 10 12 14 16 18 200

20

40

60

80

100

Dis

tan

cia

s (

mm

)

Distancia Robot-Objetivo

Distancia Robot-Cirujano

0 2 4 6 8 10 12 14 16 18 20-20

-15

-10

-5

0

5

10

Tiempo (segundos)

Fu

erz

as (

N)

Fx

Fy

Fz

Co

lisioacute

n c

on

herr

am

ien

ta

Colisioacuten con tejido

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT EXPERIMENTOS PROPUESTOS

1 Movimiento esfeacuterico mediante la aplicacioacuten del control EMP

2 Movimiento auto-guiado con la herramienta del cirujano en

movimiento

3 Procedimiento de sutura Insercioacuten Puncioacuten Anudado y Corte

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 1 MOVIMIENTO ESFEacuteRICO

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 2 MOVIMIENTO AUTO-GUIADO

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (I)

Maniobra 1 Insercioacuten

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (II)

Maniobra 2 Puncioacuten

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (III)

Maniobra 3 Anudado

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (IV)

Maniobra 4 Corte del Hilo

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CONCLUSIONES

El gran esfuerzo investigador en torno a la roboacutetica quiruacutergica la destaca

como una herramienta de gran utilidad en cirugiacutea laparoscoacutepica

Tres grupos de robots quiruacutergicos tele-manipuladores camaroacutegrafos y

sistemas autoacutenomos

En un punto intermedio los robots semiautoacutenomos se perfilan como los

candidatos para la cirugiacutea en solitario

Contribuciones de esta tesis para los robots semiautoacutenomos

1 Movimiento esfeacuterico del instrumental mediante muntildeecas activas

2 Sistema auto-guiado para la planificacioacuten de movimientos en el interior

de la cavidad abdominal

3 Asistencia semiautoacutenoma al procedimiento laparoscoacutepico de sutura

Implantacioacuten de las contribuciones en el prototipo CISOBOT

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

LIacuteNEAS DE INVESTIGACIOacuteN FUTURAS

Ampliar la asistencia al cirujano en otros procedimientos ademaacutes de la

sutura corte transporte agarrehellip

Modelar complicaciones producidas con mayor frecuencia durante la

ejecucioacuten de los procedimientos anteriores (error en corte limpieza de

sangradohellip)

Modificar el robot para manejar instrumental a traveacutes de un solo orificio en

teacutecnicas SILS (Single Input Laparoscopic Surgery)

Eliminar la hipoacutetesis de herramientas riacutegidas para mejorar la localizacioacuten del

punto de fulcro e interaccioacuten con el cirujano y el paciente

Cambiar el modo secuencial del diagrama de estados de la sutura para

permitir una interaccioacuten simultaacutenea con el cirujano

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

APORTACIONES CIENTIacuteFICAS

CONGRESOS INTERNACIONALES (6) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoActive Wrists Endoscope Navigation in Robotized Laparoscopic

Surgeryrdquo IEEE International Conference on Mechatronics (ICM) Abril 2009 Maacutelaga (Espantildea) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoThree-Layer Control for Active Wrists in Robotized Laparoscopic

Surgeryrdquo IEEE International Conference on Intelligent Robots and Systems (IROS) Octubre 2009 St Louis (EEUU) B Estebanez G Jimeacutenez VF Muntildeoz I Garciacutea-Morales E Bauzano J Molina ldquoMinimally Invasive Surgery Maneuver

Recognition Based on Surgeon Modelrdquo IEEE International Congerence on Intelligent Robots and Systems (IROS) Octubre 2009 St Louis (EEUU)

E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoA Multi-Behavior Algorithm for Auto-Guided Movements in Surgeon Assistancerdquo IEEE International Workshop on Robotics in Alpe-Adria-Danube Region (RAAD) Junio 2010 Budapest (Hungriacutea)

Premio al mejor artiacuteculo de estudiante (Best Paper Award) E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoAuto-Guided Movements on Minimally Invasive Surgery for Surgeon Assistancerdquo

IEEE International Conference on Intelligent Robots and Systems (IROS) Octubre 2010 Taipei (Taiwaacuten) B Estebanez E Bauzano VF Muntildeoz ldquoSurgical Tools Pose Estimation for a Multimodal HMI of a Surgical Robot Assistantrdquo IEEE

International Conference on Intelligent Robots and Systems (IROS) Septiembre 2011 San Francisco (EEUU)

LIBROS Y REVISTAS (2) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoControl Methodologies for Endoscope Navigation in Robotized

Laparoscopic Surgeryrdquo Research and Education in Robotics Ed Springer-Verlag (Berliacuten Heidelberg) 2010 Vol 82 pp 11-22 ISBN 978-3-642-16369

E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoA Multi-Behavior Algorithm for Auto-Guided Movements in Surgeon Assistancerdquo International Journal of Mechanics and Control (JoMaC) Ed Levrotto amp Bella (Torino Italia) 2011 Vol 12 no 1 ISSN 1590-8844

CONGRESOS NACIONALES (10) ndash POSTERS Y WORKSHOPS

Proyecto de Excelencia P07-TEP-02897

ROBOT ASISTENTE SEMIAUTOacuteNOMO DE

DOS BRAZOS PARA INTERVENCIONES DE

CIRUGIacuteA LAPAROSCOacutePICA

Enrique Bauzano Nuacutentildeez

DEPARTAMENTO DE INGENIERIacuteA DE SISTEMAS Y AUTOMAacuteTICA

UNIVERSIDAD DE MAacuteLAGA

DEFENSA DE TESIS DOCTORAL

Directores Dr Viacutector F Muntildeoz Martiacutenez

Dra Isabel Garciacutea Morales

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CISOBOT EXPERIMENTOS PROPUESTOS

1 Movimiento esfeacuterico mediante la aplicacioacuten del control EMP

2 Movimiento auto-guiado con la herramienta del cirujano en

movimiento

3 Procedimiento de sutura Insercioacuten Puncioacuten Anudado y Corte

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 1 MOVIMIENTO ESFEacuteRICO

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 2 MOVIMIENTO AUTO-GUIADO

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (I)

Maniobra 1 Insercioacuten

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (II)

Maniobra 2 Puncioacuten

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (III)

Maniobra 3 Anudado

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (IV)

Maniobra 4 Corte del Hilo

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CONCLUSIONES

El gran esfuerzo investigador en torno a la roboacutetica quiruacutergica la destaca

como una herramienta de gran utilidad en cirugiacutea laparoscoacutepica

Tres grupos de robots quiruacutergicos tele-manipuladores camaroacutegrafos y

sistemas autoacutenomos

En un punto intermedio los robots semiautoacutenomos se perfilan como los

candidatos para la cirugiacutea en solitario

Contribuciones de esta tesis para los robots semiautoacutenomos

1 Movimiento esfeacuterico del instrumental mediante muntildeecas activas

2 Sistema auto-guiado para la planificacioacuten de movimientos en el interior

de la cavidad abdominal

3 Asistencia semiautoacutenoma al procedimiento laparoscoacutepico de sutura

Implantacioacuten de las contribuciones en el prototipo CISOBOT

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

LIacuteNEAS DE INVESTIGACIOacuteN FUTURAS

Ampliar la asistencia al cirujano en otros procedimientos ademaacutes de la

sutura corte transporte agarrehellip

Modelar complicaciones producidas con mayor frecuencia durante la

ejecucioacuten de los procedimientos anteriores (error en corte limpieza de

sangradohellip)

Modificar el robot para manejar instrumental a traveacutes de un solo orificio en

teacutecnicas SILS (Single Input Laparoscopic Surgery)

Eliminar la hipoacutetesis de herramientas riacutegidas para mejorar la localizacioacuten del

punto de fulcro e interaccioacuten con el cirujano y el paciente

Cambiar el modo secuencial del diagrama de estados de la sutura para

permitir una interaccioacuten simultaacutenea con el cirujano

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

APORTACIONES CIENTIacuteFICAS

CONGRESOS INTERNACIONALES (6) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoActive Wrists Endoscope Navigation in Robotized Laparoscopic

Surgeryrdquo IEEE International Conference on Mechatronics (ICM) Abril 2009 Maacutelaga (Espantildea) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoThree-Layer Control for Active Wrists in Robotized Laparoscopic

Surgeryrdquo IEEE International Conference on Intelligent Robots and Systems (IROS) Octubre 2009 St Louis (EEUU) B Estebanez G Jimeacutenez VF Muntildeoz I Garciacutea-Morales E Bauzano J Molina ldquoMinimally Invasive Surgery Maneuver

Recognition Based on Surgeon Modelrdquo IEEE International Congerence on Intelligent Robots and Systems (IROS) Octubre 2009 St Louis (EEUU)

E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoA Multi-Behavior Algorithm for Auto-Guided Movements in Surgeon Assistancerdquo IEEE International Workshop on Robotics in Alpe-Adria-Danube Region (RAAD) Junio 2010 Budapest (Hungriacutea)

Premio al mejor artiacuteculo de estudiante (Best Paper Award) E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoAuto-Guided Movements on Minimally Invasive Surgery for Surgeon Assistancerdquo

IEEE International Conference on Intelligent Robots and Systems (IROS) Octubre 2010 Taipei (Taiwaacuten) B Estebanez E Bauzano VF Muntildeoz ldquoSurgical Tools Pose Estimation for a Multimodal HMI of a Surgical Robot Assistantrdquo IEEE

International Conference on Intelligent Robots and Systems (IROS) Septiembre 2011 San Francisco (EEUU)

LIBROS Y REVISTAS (2) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoControl Methodologies for Endoscope Navigation in Robotized

Laparoscopic Surgeryrdquo Research and Education in Robotics Ed Springer-Verlag (Berliacuten Heidelberg) 2010 Vol 82 pp 11-22 ISBN 978-3-642-16369

E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoA Multi-Behavior Algorithm for Auto-Guided Movements in Surgeon Assistancerdquo International Journal of Mechanics and Control (JoMaC) Ed Levrotto amp Bella (Torino Italia) 2011 Vol 12 no 1 ISSN 1590-8844

CONGRESOS NACIONALES (10) ndash POSTERS Y WORKSHOPS

Proyecto de Excelencia P07-TEP-02897

ROBOT ASISTENTE SEMIAUTOacuteNOMO DE

DOS BRAZOS PARA INTERVENCIONES DE

CIRUGIacuteA LAPAROSCOacutePICA

Enrique Bauzano Nuacutentildeez

DEPARTAMENTO DE INGENIERIacuteA DE SISTEMAS Y AUTOMAacuteTICA

UNIVERSIDAD DE MAacuteLAGA

DEFENSA DE TESIS DOCTORAL

Directores Dr Viacutector F Muntildeoz Martiacutenez

Dra Isabel Garciacutea Morales

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 1 MOVIMIENTO ESFEacuteRICO

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 2 MOVIMIENTO AUTO-GUIADO

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (I)

Maniobra 1 Insercioacuten

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (II)

Maniobra 2 Puncioacuten

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (III)

Maniobra 3 Anudado

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (IV)

Maniobra 4 Corte del Hilo

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CONCLUSIONES

El gran esfuerzo investigador en torno a la roboacutetica quiruacutergica la destaca

como una herramienta de gran utilidad en cirugiacutea laparoscoacutepica

Tres grupos de robots quiruacutergicos tele-manipuladores camaroacutegrafos y

sistemas autoacutenomos

En un punto intermedio los robots semiautoacutenomos se perfilan como los

candidatos para la cirugiacutea en solitario

Contribuciones de esta tesis para los robots semiautoacutenomos

1 Movimiento esfeacuterico del instrumental mediante muntildeecas activas

2 Sistema auto-guiado para la planificacioacuten de movimientos en el interior

de la cavidad abdominal

3 Asistencia semiautoacutenoma al procedimiento laparoscoacutepico de sutura

Implantacioacuten de las contribuciones en el prototipo CISOBOT

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

LIacuteNEAS DE INVESTIGACIOacuteN FUTURAS

Ampliar la asistencia al cirujano en otros procedimientos ademaacutes de la

sutura corte transporte agarrehellip

Modelar complicaciones producidas con mayor frecuencia durante la

ejecucioacuten de los procedimientos anteriores (error en corte limpieza de

sangradohellip)

Modificar el robot para manejar instrumental a traveacutes de un solo orificio en

teacutecnicas SILS (Single Input Laparoscopic Surgery)

Eliminar la hipoacutetesis de herramientas riacutegidas para mejorar la localizacioacuten del

punto de fulcro e interaccioacuten con el cirujano y el paciente

Cambiar el modo secuencial del diagrama de estados de la sutura para

permitir una interaccioacuten simultaacutenea con el cirujano

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

APORTACIONES CIENTIacuteFICAS

CONGRESOS INTERNACIONALES (6) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoActive Wrists Endoscope Navigation in Robotized Laparoscopic

Surgeryrdquo IEEE International Conference on Mechatronics (ICM) Abril 2009 Maacutelaga (Espantildea) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoThree-Layer Control for Active Wrists in Robotized Laparoscopic

Surgeryrdquo IEEE International Conference on Intelligent Robots and Systems (IROS) Octubre 2009 St Louis (EEUU) B Estebanez G Jimeacutenez VF Muntildeoz I Garciacutea-Morales E Bauzano J Molina ldquoMinimally Invasive Surgery Maneuver

Recognition Based on Surgeon Modelrdquo IEEE International Congerence on Intelligent Robots and Systems (IROS) Octubre 2009 St Louis (EEUU)

E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoA Multi-Behavior Algorithm for Auto-Guided Movements in Surgeon Assistancerdquo IEEE International Workshop on Robotics in Alpe-Adria-Danube Region (RAAD) Junio 2010 Budapest (Hungriacutea)

Premio al mejor artiacuteculo de estudiante (Best Paper Award) E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoAuto-Guided Movements on Minimally Invasive Surgery for Surgeon Assistancerdquo

IEEE International Conference on Intelligent Robots and Systems (IROS) Octubre 2010 Taipei (Taiwaacuten) B Estebanez E Bauzano VF Muntildeoz ldquoSurgical Tools Pose Estimation for a Multimodal HMI of a Surgical Robot Assistantrdquo IEEE

International Conference on Intelligent Robots and Systems (IROS) Septiembre 2011 San Francisco (EEUU)

LIBROS Y REVISTAS (2) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoControl Methodologies for Endoscope Navigation in Robotized

Laparoscopic Surgeryrdquo Research and Education in Robotics Ed Springer-Verlag (Berliacuten Heidelberg) 2010 Vol 82 pp 11-22 ISBN 978-3-642-16369

E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoA Multi-Behavior Algorithm for Auto-Guided Movements in Surgeon Assistancerdquo International Journal of Mechanics and Control (JoMaC) Ed Levrotto amp Bella (Torino Italia) 2011 Vol 12 no 1 ISSN 1590-8844

CONGRESOS NACIONALES (10) ndash POSTERS Y WORKSHOPS

Proyecto de Excelencia P07-TEP-02897

ROBOT ASISTENTE SEMIAUTOacuteNOMO DE

DOS BRAZOS PARA INTERVENCIONES DE

CIRUGIacuteA LAPAROSCOacutePICA

Enrique Bauzano Nuacutentildeez

DEPARTAMENTO DE INGENIERIacuteA DE SISTEMAS Y AUTOMAacuteTICA

UNIVERSIDAD DE MAacuteLAGA

DEFENSA DE TESIS DOCTORAL

Directores Dr Viacutector F Muntildeoz Martiacutenez

Dra Isabel Garciacutea Morales

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 2 MOVIMIENTO AUTO-GUIADO

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (I)

Maniobra 1 Insercioacuten

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (II)

Maniobra 2 Puncioacuten

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (III)

Maniobra 3 Anudado

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (IV)

Maniobra 4 Corte del Hilo

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CONCLUSIONES

El gran esfuerzo investigador en torno a la roboacutetica quiruacutergica la destaca

como una herramienta de gran utilidad en cirugiacutea laparoscoacutepica

Tres grupos de robots quiruacutergicos tele-manipuladores camaroacutegrafos y

sistemas autoacutenomos

En un punto intermedio los robots semiautoacutenomos se perfilan como los

candidatos para la cirugiacutea en solitario

Contribuciones de esta tesis para los robots semiautoacutenomos

1 Movimiento esfeacuterico del instrumental mediante muntildeecas activas

2 Sistema auto-guiado para la planificacioacuten de movimientos en el interior

de la cavidad abdominal

3 Asistencia semiautoacutenoma al procedimiento laparoscoacutepico de sutura

Implantacioacuten de las contribuciones en el prototipo CISOBOT

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

LIacuteNEAS DE INVESTIGACIOacuteN FUTURAS

Ampliar la asistencia al cirujano en otros procedimientos ademaacutes de la

sutura corte transporte agarrehellip

Modelar complicaciones producidas con mayor frecuencia durante la

ejecucioacuten de los procedimientos anteriores (error en corte limpieza de

sangradohellip)

Modificar el robot para manejar instrumental a traveacutes de un solo orificio en

teacutecnicas SILS (Single Input Laparoscopic Surgery)

Eliminar la hipoacutetesis de herramientas riacutegidas para mejorar la localizacioacuten del

punto de fulcro e interaccioacuten con el cirujano y el paciente

Cambiar el modo secuencial del diagrama de estados de la sutura para

permitir una interaccioacuten simultaacutenea con el cirujano

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

APORTACIONES CIENTIacuteFICAS

CONGRESOS INTERNACIONALES (6) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoActive Wrists Endoscope Navigation in Robotized Laparoscopic

Surgeryrdquo IEEE International Conference on Mechatronics (ICM) Abril 2009 Maacutelaga (Espantildea) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoThree-Layer Control for Active Wrists in Robotized Laparoscopic

Surgeryrdquo IEEE International Conference on Intelligent Robots and Systems (IROS) Octubre 2009 St Louis (EEUU) B Estebanez G Jimeacutenez VF Muntildeoz I Garciacutea-Morales E Bauzano J Molina ldquoMinimally Invasive Surgery Maneuver

Recognition Based on Surgeon Modelrdquo IEEE International Congerence on Intelligent Robots and Systems (IROS) Octubre 2009 St Louis (EEUU)

E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoA Multi-Behavior Algorithm for Auto-Guided Movements in Surgeon Assistancerdquo IEEE International Workshop on Robotics in Alpe-Adria-Danube Region (RAAD) Junio 2010 Budapest (Hungriacutea)

Premio al mejor artiacuteculo de estudiante (Best Paper Award) E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoAuto-Guided Movements on Minimally Invasive Surgery for Surgeon Assistancerdquo

IEEE International Conference on Intelligent Robots and Systems (IROS) Octubre 2010 Taipei (Taiwaacuten) B Estebanez E Bauzano VF Muntildeoz ldquoSurgical Tools Pose Estimation for a Multimodal HMI of a Surgical Robot Assistantrdquo IEEE

International Conference on Intelligent Robots and Systems (IROS) Septiembre 2011 San Francisco (EEUU)

LIBROS Y REVISTAS (2) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoControl Methodologies for Endoscope Navigation in Robotized

Laparoscopic Surgeryrdquo Research and Education in Robotics Ed Springer-Verlag (Berliacuten Heidelberg) 2010 Vol 82 pp 11-22 ISBN 978-3-642-16369

E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoA Multi-Behavior Algorithm for Auto-Guided Movements in Surgeon Assistancerdquo International Journal of Mechanics and Control (JoMaC) Ed Levrotto amp Bella (Torino Italia) 2011 Vol 12 no 1 ISSN 1590-8844

CONGRESOS NACIONALES (10) ndash POSTERS Y WORKSHOPS

Proyecto de Excelencia P07-TEP-02897

ROBOT ASISTENTE SEMIAUTOacuteNOMO DE

DOS BRAZOS PARA INTERVENCIONES DE

CIRUGIacuteA LAPAROSCOacutePICA

Enrique Bauzano Nuacutentildeez

DEPARTAMENTO DE INGENIERIacuteA DE SISTEMAS Y AUTOMAacuteTICA

UNIVERSIDAD DE MAacuteLAGA

DEFENSA DE TESIS DOCTORAL

Directores Dr Viacutector F Muntildeoz Martiacutenez

Dra Isabel Garciacutea Morales

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (I)

Maniobra 1 Insercioacuten

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (II)

Maniobra 2 Puncioacuten

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (III)

Maniobra 3 Anudado

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (IV)

Maniobra 4 Corte del Hilo

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CONCLUSIONES

El gran esfuerzo investigador en torno a la roboacutetica quiruacutergica la destaca

como una herramienta de gran utilidad en cirugiacutea laparoscoacutepica

Tres grupos de robots quiruacutergicos tele-manipuladores camaroacutegrafos y

sistemas autoacutenomos

En un punto intermedio los robots semiautoacutenomos se perfilan como los

candidatos para la cirugiacutea en solitario

Contribuciones de esta tesis para los robots semiautoacutenomos

1 Movimiento esfeacuterico del instrumental mediante muntildeecas activas

2 Sistema auto-guiado para la planificacioacuten de movimientos en el interior

de la cavidad abdominal

3 Asistencia semiautoacutenoma al procedimiento laparoscoacutepico de sutura

Implantacioacuten de las contribuciones en el prototipo CISOBOT

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

LIacuteNEAS DE INVESTIGACIOacuteN FUTURAS

Ampliar la asistencia al cirujano en otros procedimientos ademaacutes de la

sutura corte transporte agarrehellip

Modelar complicaciones producidas con mayor frecuencia durante la

ejecucioacuten de los procedimientos anteriores (error en corte limpieza de

sangradohellip)

Modificar el robot para manejar instrumental a traveacutes de un solo orificio en

teacutecnicas SILS (Single Input Laparoscopic Surgery)

Eliminar la hipoacutetesis de herramientas riacutegidas para mejorar la localizacioacuten del

punto de fulcro e interaccioacuten con el cirujano y el paciente

Cambiar el modo secuencial del diagrama de estados de la sutura para

permitir una interaccioacuten simultaacutenea con el cirujano

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

APORTACIONES CIENTIacuteFICAS

CONGRESOS INTERNACIONALES (6) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoActive Wrists Endoscope Navigation in Robotized Laparoscopic

Surgeryrdquo IEEE International Conference on Mechatronics (ICM) Abril 2009 Maacutelaga (Espantildea) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoThree-Layer Control for Active Wrists in Robotized Laparoscopic

Surgeryrdquo IEEE International Conference on Intelligent Robots and Systems (IROS) Octubre 2009 St Louis (EEUU) B Estebanez G Jimeacutenez VF Muntildeoz I Garciacutea-Morales E Bauzano J Molina ldquoMinimally Invasive Surgery Maneuver

Recognition Based on Surgeon Modelrdquo IEEE International Congerence on Intelligent Robots and Systems (IROS) Octubre 2009 St Louis (EEUU)

E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoA Multi-Behavior Algorithm for Auto-Guided Movements in Surgeon Assistancerdquo IEEE International Workshop on Robotics in Alpe-Adria-Danube Region (RAAD) Junio 2010 Budapest (Hungriacutea)

Premio al mejor artiacuteculo de estudiante (Best Paper Award) E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoAuto-Guided Movements on Minimally Invasive Surgery for Surgeon Assistancerdquo

IEEE International Conference on Intelligent Robots and Systems (IROS) Octubre 2010 Taipei (Taiwaacuten) B Estebanez E Bauzano VF Muntildeoz ldquoSurgical Tools Pose Estimation for a Multimodal HMI of a Surgical Robot Assistantrdquo IEEE

International Conference on Intelligent Robots and Systems (IROS) Septiembre 2011 San Francisco (EEUU)

LIBROS Y REVISTAS (2) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoControl Methodologies for Endoscope Navigation in Robotized

Laparoscopic Surgeryrdquo Research and Education in Robotics Ed Springer-Verlag (Berliacuten Heidelberg) 2010 Vol 82 pp 11-22 ISBN 978-3-642-16369

E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoA Multi-Behavior Algorithm for Auto-Guided Movements in Surgeon Assistancerdquo International Journal of Mechanics and Control (JoMaC) Ed Levrotto amp Bella (Torino Italia) 2011 Vol 12 no 1 ISSN 1590-8844

CONGRESOS NACIONALES (10) ndash POSTERS Y WORKSHOPS

Proyecto de Excelencia P07-TEP-02897

ROBOT ASISTENTE SEMIAUTOacuteNOMO DE

DOS BRAZOS PARA INTERVENCIONES DE

CIRUGIacuteA LAPAROSCOacutePICA

Enrique Bauzano Nuacutentildeez

DEPARTAMENTO DE INGENIERIacuteA DE SISTEMAS Y AUTOMAacuteTICA

UNIVERSIDAD DE MAacuteLAGA

DEFENSA DE TESIS DOCTORAL

Directores Dr Viacutector F Muntildeoz Martiacutenez

Dra Isabel Garciacutea Morales

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (II)

Maniobra 2 Puncioacuten

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (III)

Maniobra 3 Anudado

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (IV)

Maniobra 4 Corte del Hilo

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CONCLUSIONES

El gran esfuerzo investigador en torno a la roboacutetica quiruacutergica la destaca

como una herramienta de gran utilidad en cirugiacutea laparoscoacutepica

Tres grupos de robots quiruacutergicos tele-manipuladores camaroacutegrafos y

sistemas autoacutenomos

En un punto intermedio los robots semiautoacutenomos se perfilan como los

candidatos para la cirugiacutea en solitario

Contribuciones de esta tesis para los robots semiautoacutenomos

1 Movimiento esfeacuterico del instrumental mediante muntildeecas activas

2 Sistema auto-guiado para la planificacioacuten de movimientos en el interior

de la cavidad abdominal

3 Asistencia semiautoacutenoma al procedimiento laparoscoacutepico de sutura

Implantacioacuten de las contribuciones en el prototipo CISOBOT

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

LIacuteNEAS DE INVESTIGACIOacuteN FUTURAS

Ampliar la asistencia al cirujano en otros procedimientos ademaacutes de la

sutura corte transporte agarrehellip

Modelar complicaciones producidas con mayor frecuencia durante la

ejecucioacuten de los procedimientos anteriores (error en corte limpieza de

sangradohellip)

Modificar el robot para manejar instrumental a traveacutes de un solo orificio en

teacutecnicas SILS (Single Input Laparoscopic Surgery)

Eliminar la hipoacutetesis de herramientas riacutegidas para mejorar la localizacioacuten del

punto de fulcro e interaccioacuten con el cirujano y el paciente

Cambiar el modo secuencial del diagrama de estados de la sutura para

permitir una interaccioacuten simultaacutenea con el cirujano

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

APORTACIONES CIENTIacuteFICAS

CONGRESOS INTERNACIONALES (6) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoActive Wrists Endoscope Navigation in Robotized Laparoscopic

Surgeryrdquo IEEE International Conference on Mechatronics (ICM) Abril 2009 Maacutelaga (Espantildea) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoThree-Layer Control for Active Wrists in Robotized Laparoscopic

Surgeryrdquo IEEE International Conference on Intelligent Robots and Systems (IROS) Octubre 2009 St Louis (EEUU) B Estebanez G Jimeacutenez VF Muntildeoz I Garciacutea-Morales E Bauzano J Molina ldquoMinimally Invasive Surgery Maneuver

Recognition Based on Surgeon Modelrdquo IEEE International Congerence on Intelligent Robots and Systems (IROS) Octubre 2009 St Louis (EEUU)

E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoA Multi-Behavior Algorithm for Auto-Guided Movements in Surgeon Assistancerdquo IEEE International Workshop on Robotics in Alpe-Adria-Danube Region (RAAD) Junio 2010 Budapest (Hungriacutea)

Premio al mejor artiacuteculo de estudiante (Best Paper Award) E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoAuto-Guided Movements on Minimally Invasive Surgery for Surgeon Assistancerdquo

IEEE International Conference on Intelligent Robots and Systems (IROS) Octubre 2010 Taipei (Taiwaacuten) B Estebanez E Bauzano VF Muntildeoz ldquoSurgical Tools Pose Estimation for a Multimodal HMI of a Surgical Robot Assistantrdquo IEEE

International Conference on Intelligent Robots and Systems (IROS) Septiembre 2011 San Francisco (EEUU)

LIBROS Y REVISTAS (2) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoControl Methodologies for Endoscope Navigation in Robotized

Laparoscopic Surgeryrdquo Research and Education in Robotics Ed Springer-Verlag (Berliacuten Heidelberg) 2010 Vol 82 pp 11-22 ISBN 978-3-642-16369

E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoA Multi-Behavior Algorithm for Auto-Guided Movements in Surgeon Assistancerdquo International Journal of Mechanics and Control (JoMaC) Ed Levrotto amp Bella (Torino Italia) 2011 Vol 12 no 1 ISSN 1590-8844

CONGRESOS NACIONALES (10) ndash POSTERS Y WORKSHOPS

Proyecto de Excelencia P07-TEP-02897

ROBOT ASISTENTE SEMIAUTOacuteNOMO DE

DOS BRAZOS PARA INTERVENCIONES DE

CIRUGIacuteA LAPAROSCOacutePICA

Enrique Bauzano Nuacutentildeez

DEPARTAMENTO DE INGENIERIacuteA DE SISTEMAS Y AUTOMAacuteTICA

UNIVERSIDAD DE MAacuteLAGA

DEFENSA DE TESIS DOCTORAL

Directores Dr Viacutector F Muntildeoz Martiacutenez

Dra Isabel Garciacutea Morales

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (III)

Maniobra 3 Anudado

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (IV)

Maniobra 4 Corte del Hilo

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CONCLUSIONES

El gran esfuerzo investigador en torno a la roboacutetica quiruacutergica la destaca

como una herramienta de gran utilidad en cirugiacutea laparoscoacutepica

Tres grupos de robots quiruacutergicos tele-manipuladores camaroacutegrafos y

sistemas autoacutenomos

En un punto intermedio los robots semiautoacutenomos se perfilan como los

candidatos para la cirugiacutea en solitario

Contribuciones de esta tesis para los robots semiautoacutenomos

1 Movimiento esfeacuterico del instrumental mediante muntildeecas activas

2 Sistema auto-guiado para la planificacioacuten de movimientos en el interior

de la cavidad abdominal

3 Asistencia semiautoacutenoma al procedimiento laparoscoacutepico de sutura

Implantacioacuten de las contribuciones en el prototipo CISOBOT

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

LIacuteNEAS DE INVESTIGACIOacuteN FUTURAS

Ampliar la asistencia al cirujano en otros procedimientos ademaacutes de la

sutura corte transporte agarrehellip

Modelar complicaciones producidas con mayor frecuencia durante la

ejecucioacuten de los procedimientos anteriores (error en corte limpieza de

sangradohellip)

Modificar el robot para manejar instrumental a traveacutes de un solo orificio en

teacutecnicas SILS (Single Input Laparoscopic Surgery)

Eliminar la hipoacutetesis de herramientas riacutegidas para mejorar la localizacioacuten del

punto de fulcro e interaccioacuten con el cirujano y el paciente

Cambiar el modo secuencial del diagrama de estados de la sutura para

permitir una interaccioacuten simultaacutenea con el cirujano

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

APORTACIONES CIENTIacuteFICAS

CONGRESOS INTERNACIONALES (6) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoActive Wrists Endoscope Navigation in Robotized Laparoscopic

Surgeryrdquo IEEE International Conference on Mechatronics (ICM) Abril 2009 Maacutelaga (Espantildea) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoThree-Layer Control for Active Wrists in Robotized Laparoscopic

Surgeryrdquo IEEE International Conference on Intelligent Robots and Systems (IROS) Octubre 2009 St Louis (EEUU) B Estebanez G Jimeacutenez VF Muntildeoz I Garciacutea-Morales E Bauzano J Molina ldquoMinimally Invasive Surgery Maneuver

Recognition Based on Surgeon Modelrdquo IEEE International Congerence on Intelligent Robots and Systems (IROS) Octubre 2009 St Louis (EEUU)

E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoA Multi-Behavior Algorithm for Auto-Guided Movements in Surgeon Assistancerdquo IEEE International Workshop on Robotics in Alpe-Adria-Danube Region (RAAD) Junio 2010 Budapest (Hungriacutea)

Premio al mejor artiacuteculo de estudiante (Best Paper Award) E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoAuto-Guided Movements on Minimally Invasive Surgery for Surgeon Assistancerdquo

IEEE International Conference on Intelligent Robots and Systems (IROS) Octubre 2010 Taipei (Taiwaacuten) B Estebanez E Bauzano VF Muntildeoz ldquoSurgical Tools Pose Estimation for a Multimodal HMI of a Surgical Robot Assistantrdquo IEEE

International Conference on Intelligent Robots and Systems (IROS) Septiembre 2011 San Francisco (EEUU)

LIBROS Y REVISTAS (2) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoControl Methodologies for Endoscope Navigation in Robotized

Laparoscopic Surgeryrdquo Research and Education in Robotics Ed Springer-Verlag (Berliacuten Heidelberg) 2010 Vol 82 pp 11-22 ISBN 978-3-642-16369

E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoA Multi-Behavior Algorithm for Auto-Guided Movements in Surgeon Assistancerdquo International Journal of Mechanics and Control (JoMaC) Ed Levrotto amp Bella (Torino Italia) 2011 Vol 12 no 1 ISSN 1590-8844

CONGRESOS NACIONALES (10) ndash POSTERS Y WORKSHOPS

Proyecto de Excelencia P07-TEP-02897

ROBOT ASISTENTE SEMIAUTOacuteNOMO DE

DOS BRAZOS PARA INTERVENCIONES DE

CIRUGIacuteA LAPAROSCOacutePICA

Enrique Bauzano Nuacutentildeez

DEPARTAMENTO DE INGENIERIacuteA DE SISTEMAS Y AUTOMAacuteTICA

UNIVERSIDAD DE MAacuteLAGA

DEFENSA DE TESIS DOCTORAL

Directores Dr Viacutector F Muntildeoz Martiacutenez

Dra Isabel Garciacutea Morales

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

EXPERIMENTO 3 ASISTENCIA A LA SUTURA (IV)

Maniobra 4 Corte del Hilo

Enlace a viacutedeo

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CONCLUSIONES

El gran esfuerzo investigador en torno a la roboacutetica quiruacutergica la destaca

como una herramienta de gran utilidad en cirugiacutea laparoscoacutepica

Tres grupos de robots quiruacutergicos tele-manipuladores camaroacutegrafos y

sistemas autoacutenomos

En un punto intermedio los robots semiautoacutenomos se perfilan como los

candidatos para la cirugiacutea en solitario

Contribuciones de esta tesis para los robots semiautoacutenomos

1 Movimiento esfeacuterico del instrumental mediante muntildeecas activas

2 Sistema auto-guiado para la planificacioacuten de movimientos en el interior

de la cavidad abdominal

3 Asistencia semiautoacutenoma al procedimiento laparoscoacutepico de sutura

Implantacioacuten de las contribuciones en el prototipo CISOBOT

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

LIacuteNEAS DE INVESTIGACIOacuteN FUTURAS

Ampliar la asistencia al cirujano en otros procedimientos ademaacutes de la

sutura corte transporte agarrehellip

Modelar complicaciones producidas con mayor frecuencia durante la

ejecucioacuten de los procedimientos anteriores (error en corte limpieza de

sangradohellip)

Modificar el robot para manejar instrumental a traveacutes de un solo orificio en

teacutecnicas SILS (Single Input Laparoscopic Surgery)

Eliminar la hipoacutetesis de herramientas riacutegidas para mejorar la localizacioacuten del

punto de fulcro e interaccioacuten con el cirujano y el paciente

Cambiar el modo secuencial del diagrama de estados de la sutura para

permitir una interaccioacuten simultaacutenea con el cirujano

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

APORTACIONES CIENTIacuteFICAS

CONGRESOS INTERNACIONALES (6) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoActive Wrists Endoscope Navigation in Robotized Laparoscopic

Surgeryrdquo IEEE International Conference on Mechatronics (ICM) Abril 2009 Maacutelaga (Espantildea) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoThree-Layer Control for Active Wrists in Robotized Laparoscopic

Surgeryrdquo IEEE International Conference on Intelligent Robots and Systems (IROS) Octubre 2009 St Louis (EEUU) B Estebanez G Jimeacutenez VF Muntildeoz I Garciacutea-Morales E Bauzano J Molina ldquoMinimally Invasive Surgery Maneuver

Recognition Based on Surgeon Modelrdquo IEEE International Congerence on Intelligent Robots and Systems (IROS) Octubre 2009 St Louis (EEUU)

E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoA Multi-Behavior Algorithm for Auto-Guided Movements in Surgeon Assistancerdquo IEEE International Workshop on Robotics in Alpe-Adria-Danube Region (RAAD) Junio 2010 Budapest (Hungriacutea)

Premio al mejor artiacuteculo de estudiante (Best Paper Award) E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoAuto-Guided Movements on Minimally Invasive Surgery for Surgeon Assistancerdquo

IEEE International Conference on Intelligent Robots and Systems (IROS) Octubre 2010 Taipei (Taiwaacuten) B Estebanez E Bauzano VF Muntildeoz ldquoSurgical Tools Pose Estimation for a Multimodal HMI of a Surgical Robot Assistantrdquo IEEE

International Conference on Intelligent Robots and Systems (IROS) Septiembre 2011 San Francisco (EEUU)

LIBROS Y REVISTAS (2) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoControl Methodologies for Endoscope Navigation in Robotized

Laparoscopic Surgeryrdquo Research and Education in Robotics Ed Springer-Verlag (Berliacuten Heidelberg) 2010 Vol 82 pp 11-22 ISBN 978-3-642-16369

E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoA Multi-Behavior Algorithm for Auto-Guided Movements in Surgeon Assistancerdquo International Journal of Mechanics and Control (JoMaC) Ed Levrotto amp Bella (Torino Italia) 2011 Vol 12 no 1 ISSN 1590-8844

CONGRESOS NACIONALES (10) ndash POSTERS Y WORKSHOPS

Proyecto de Excelencia P07-TEP-02897

ROBOT ASISTENTE SEMIAUTOacuteNOMO DE

DOS BRAZOS PARA INTERVENCIONES DE

CIRUGIacuteA LAPAROSCOacutePICA

Enrique Bauzano Nuacutentildeez

DEPARTAMENTO DE INGENIERIacuteA DE SISTEMAS Y AUTOMAacuteTICA

UNIVERSIDAD DE MAacuteLAGA

DEFENSA DE TESIS DOCTORAL

Directores Dr Viacutector F Muntildeoz Martiacutenez

Dra Isabel Garciacutea Morales

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

CONCLUSIONES

El gran esfuerzo investigador en torno a la roboacutetica quiruacutergica la destaca

como una herramienta de gran utilidad en cirugiacutea laparoscoacutepica

Tres grupos de robots quiruacutergicos tele-manipuladores camaroacutegrafos y

sistemas autoacutenomos

En un punto intermedio los robots semiautoacutenomos se perfilan como los

candidatos para la cirugiacutea en solitario

Contribuciones de esta tesis para los robots semiautoacutenomos

1 Movimiento esfeacuterico del instrumental mediante muntildeecas activas

2 Sistema auto-guiado para la planificacioacuten de movimientos en el interior

de la cavidad abdominal

3 Asistencia semiautoacutenoma al procedimiento laparoscoacutepico de sutura

Implantacioacuten de las contribuciones en el prototipo CISOBOT

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

LIacuteNEAS DE INVESTIGACIOacuteN FUTURAS

Ampliar la asistencia al cirujano en otros procedimientos ademaacutes de la

sutura corte transporte agarrehellip

Modelar complicaciones producidas con mayor frecuencia durante la

ejecucioacuten de los procedimientos anteriores (error en corte limpieza de

sangradohellip)

Modificar el robot para manejar instrumental a traveacutes de un solo orificio en

teacutecnicas SILS (Single Input Laparoscopic Surgery)

Eliminar la hipoacutetesis de herramientas riacutegidas para mejorar la localizacioacuten del

punto de fulcro e interaccioacuten con el cirujano y el paciente

Cambiar el modo secuencial del diagrama de estados de la sutura para

permitir una interaccioacuten simultaacutenea con el cirujano

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

APORTACIONES CIENTIacuteFICAS

CONGRESOS INTERNACIONALES (6) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoActive Wrists Endoscope Navigation in Robotized Laparoscopic

Surgeryrdquo IEEE International Conference on Mechatronics (ICM) Abril 2009 Maacutelaga (Espantildea) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoThree-Layer Control for Active Wrists in Robotized Laparoscopic

Surgeryrdquo IEEE International Conference on Intelligent Robots and Systems (IROS) Octubre 2009 St Louis (EEUU) B Estebanez G Jimeacutenez VF Muntildeoz I Garciacutea-Morales E Bauzano J Molina ldquoMinimally Invasive Surgery Maneuver

Recognition Based on Surgeon Modelrdquo IEEE International Congerence on Intelligent Robots and Systems (IROS) Octubre 2009 St Louis (EEUU)

E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoA Multi-Behavior Algorithm for Auto-Guided Movements in Surgeon Assistancerdquo IEEE International Workshop on Robotics in Alpe-Adria-Danube Region (RAAD) Junio 2010 Budapest (Hungriacutea)

Premio al mejor artiacuteculo de estudiante (Best Paper Award) E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoAuto-Guided Movements on Minimally Invasive Surgery for Surgeon Assistancerdquo

IEEE International Conference on Intelligent Robots and Systems (IROS) Octubre 2010 Taipei (Taiwaacuten) B Estebanez E Bauzano VF Muntildeoz ldquoSurgical Tools Pose Estimation for a Multimodal HMI of a Surgical Robot Assistantrdquo IEEE

International Conference on Intelligent Robots and Systems (IROS) Septiembre 2011 San Francisco (EEUU)

LIBROS Y REVISTAS (2) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoControl Methodologies for Endoscope Navigation in Robotized

Laparoscopic Surgeryrdquo Research and Education in Robotics Ed Springer-Verlag (Berliacuten Heidelberg) 2010 Vol 82 pp 11-22 ISBN 978-3-642-16369

E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoA Multi-Behavior Algorithm for Auto-Guided Movements in Surgeon Assistancerdquo International Journal of Mechanics and Control (JoMaC) Ed Levrotto amp Bella (Torino Italia) 2011 Vol 12 no 1 ISSN 1590-8844

CONGRESOS NACIONALES (10) ndash POSTERS Y WORKSHOPS

Proyecto de Excelencia P07-TEP-02897

ROBOT ASISTENTE SEMIAUTOacuteNOMO DE

DOS BRAZOS PARA INTERVENCIONES DE

CIRUGIacuteA LAPAROSCOacutePICA

Enrique Bauzano Nuacutentildeez

DEPARTAMENTO DE INGENIERIacuteA DE SISTEMAS Y AUTOMAacuteTICA

UNIVERSIDAD DE MAacuteLAGA

DEFENSA DE TESIS DOCTORAL

Directores Dr Viacutector F Muntildeoz Martiacutenez

Dra Isabel Garciacutea Morales

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

LIacuteNEAS DE INVESTIGACIOacuteN FUTURAS

Ampliar la asistencia al cirujano en otros procedimientos ademaacutes de la

sutura corte transporte agarrehellip

Modelar complicaciones producidas con mayor frecuencia durante la

ejecucioacuten de los procedimientos anteriores (error en corte limpieza de

sangradohellip)

Modificar el robot para manejar instrumental a traveacutes de un solo orificio en

teacutecnicas SILS (Single Input Laparoscopic Surgery)

Eliminar la hipoacutetesis de herramientas riacutegidas para mejorar la localizacioacuten del

punto de fulcro e interaccioacuten con el cirujano y el paciente

Cambiar el modo secuencial del diagrama de estados de la sutura para

permitir una interaccioacuten simultaacutenea con el cirujano

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

APORTACIONES CIENTIacuteFICAS

CONGRESOS INTERNACIONALES (6) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoActive Wrists Endoscope Navigation in Robotized Laparoscopic

Surgeryrdquo IEEE International Conference on Mechatronics (ICM) Abril 2009 Maacutelaga (Espantildea) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoThree-Layer Control for Active Wrists in Robotized Laparoscopic

Surgeryrdquo IEEE International Conference on Intelligent Robots and Systems (IROS) Octubre 2009 St Louis (EEUU) B Estebanez G Jimeacutenez VF Muntildeoz I Garciacutea-Morales E Bauzano J Molina ldquoMinimally Invasive Surgery Maneuver

Recognition Based on Surgeon Modelrdquo IEEE International Congerence on Intelligent Robots and Systems (IROS) Octubre 2009 St Louis (EEUU)

E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoA Multi-Behavior Algorithm for Auto-Guided Movements in Surgeon Assistancerdquo IEEE International Workshop on Robotics in Alpe-Adria-Danube Region (RAAD) Junio 2010 Budapest (Hungriacutea)

Premio al mejor artiacuteculo de estudiante (Best Paper Award) E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoAuto-Guided Movements on Minimally Invasive Surgery for Surgeon Assistancerdquo

IEEE International Conference on Intelligent Robots and Systems (IROS) Octubre 2010 Taipei (Taiwaacuten) B Estebanez E Bauzano VF Muntildeoz ldquoSurgical Tools Pose Estimation for a Multimodal HMI of a Surgical Robot Assistantrdquo IEEE

International Conference on Intelligent Robots and Systems (IROS) Septiembre 2011 San Francisco (EEUU)

LIBROS Y REVISTAS (2) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoControl Methodologies for Endoscope Navigation in Robotized

Laparoscopic Surgeryrdquo Research and Education in Robotics Ed Springer-Verlag (Berliacuten Heidelberg) 2010 Vol 82 pp 11-22 ISBN 978-3-642-16369

E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoA Multi-Behavior Algorithm for Auto-Guided Movements in Surgeon Assistancerdquo International Journal of Mechanics and Control (JoMaC) Ed Levrotto amp Bella (Torino Italia) 2011 Vol 12 no 1 ISSN 1590-8844

CONGRESOS NACIONALES (10) ndash POSTERS Y WORKSHOPS

Proyecto de Excelencia P07-TEP-02897

ROBOT ASISTENTE SEMIAUTOacuteNOMO DE

DOS BRAZOS PARA INTERVENCIONES DE

CIRUGIacuteA LAPAROSCOacutePICA

Enrique Bauzano Nuacutentildeez

DEPARTAMENTO DE INGENIERIacuteA DE SISTEMAS Y AUTOMAacuteTICA

UNIVERSIDAD DE MAacuteLAGA

DEFENSA DE TESIS DOCTORAL

Directores Dr Viacutector F Muntildeoz Martiacutenez

Dra Isabel Garciacutea Morales

INTRODUCCIOacuteN CONTRIBUCIONES CONTROL EMP AUTO-GUIADO ASISTENCIA SUTURA IMPLANTACIOacuteN EXPERIMENTOS CONCLUSIONES

APORTACIONES CIENTIacuteFICAS

CONGRESOS INTERNACIONALES (6) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoActive Wrists Endoscope Navigation in Robotized Laparoscopic

Surgeryrdquo IEEE International Conference on Mechatronics (ICM) Abril 2009 Maacutelaga (Espantildea) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoThree-Layer Control for Active Wrists in Robotized Laparoscopic

Surgeryrdquo IEEE International Conference on Intelligent Robots and Systems (IROS) Octubre 2009 St Louis (EEUU) B Estebanez G Jimeacutenez VF Muntildeoz I Garciacutea-Morales E Bauzano J Molina ldquoMinimally Invasive Surgery Maneuver

Recognition Based on Surgeon Modelrdquo IEEE International Congerence on Intelligent Robots and Systems (IROS) Octubre 2009 St Louis (EEUU)

E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoA Multi-Behavior Algorithm for Auto-Guided Movements in Surgeon Assistancerdquo IEEE International Workshop on Robotics in Alpe-Adria-Danube Region (RAAD) Junio 2010 Budapest (Hungriacutea)

Premio al mejor artiacuteculo de estudiante (Best Paper Award) E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoAuto-Guided Movements on Minimally Invasive Surgery for Surgeon Assistancerdquo

IEEE International Conference on Intelligent Robots and Systems (IROS) Octubre 2010 Taipei (Taiwaacuten) B Estebanez E Bauzano VF Muntildeoz ldquoSurgical Tools Pose Estimation for a Multimodal HMI of a Surgical Robot Assistantrdquo IEEE

International Conference on Intelligent Robots and Systems (IROS) Septiembre 2011 San Francisco (EEUU)

LIBROS Y REVISTAS (2) E Bauzano VF Muntildeoz I Garciacutea-Morales B Estebanez ldquoControl Methodologies for Endoscope Navigation in Robotized

Laparoscopic Surgeryrdquo Research and Education in Robotics Ed Springer-Verlag (Berliacuten Heidelberg) 2010 Vol 82 pp 11-22 ISBN 978-3-642-16369

E Bauzano VF Muntildeoz I Garciacutea-Morales ldquoA Multi-Behavior Algorithm for Auto-Guided Movements in Surgeon Assistancerdquo International Journal of Mechanics and Control (JoMaC) Ed Levrotto amp Bella (Torino Italia) 2011 Vol 12 no 1 ISSN 1590-8844

CONGRESOS NACIONALES (10) ndash POSTERS Y WORKSHOPS

Proyecto de Excelencia P07-TEP-02897

ROBOT ASISTENTE SEMIAUTOacuteNOMO DE

DOS BRAZOS PARA INTERVENCIONES DE

CIRUGIacuteA LAPAROSCOacutePICA

Enrique Bauzano Nuacutentildeez

DEPARTAMENTO DE INGENIERIacuteA DE SISTEMAS Y AUTOMAacuteTICA

UNIVERSIDAD DE MAacuteLAGA

DEFENSA DE TESIS DOCTORAL

Directores Dr Viacutector F Muntildeoz Martiacutenez

Dra Isabel Garciacutea Morales

Proyecto de Excelencia P07-TEP-02897

ROBOT ASISTENTE SEMIAUTOacuteNOMO DE

DOS BRAZOS PARA INTERVENCIONES DE

CIRUGIacuteA LAPAROSCOacutePICA

Enrique Bauzano Nuacutentildeez

DEPARTAMENTO DE INGENIERIacuteA DE SISTEMAS Y AUTOMAacuteTICA

UNIVERSIDAD DE MAacuteLAGA

DEFENSA DE TESIS DOCTORAL

Directores Dr Viacutector F Muntildeoz Martiacutenez

Dra Isabel Garciacutea Morales