Lecciones aprendidas aplicando técnicas borrosas a ...biolab.uspceu.com/aotero/recursos/lesonslearned.pdf · plantillas [Haimowitz et al, 1995]. – Según mi experiencia, es mejor

1

Lecciones aprendidas aplicandotécnicas borrosas a problemasmédicos

Abraham Otero Quintana,Universidad San Pablo CEU,Madrid

2

Sistemas basados en conocimiento

Conocimiento

Adquisición

Técnica computacional (lógica borrosa)

Sistema basado en conocimiento

2

3

Adquisición de conocimiento

• Esta fase suele estar poco documentada en la bibliografía.– Habitualmente, se describe como “reuniones entre los expertos y el

ingeniero del conocimiento”.

• A menudo se considera como algo que se realiza antes de construir el sistema o durante su construcción, pero no durante su explotación.– En el dominio médico esto no funciona.

• “No hay enfermedades, sino enfermos”, Gregorio Marañón.

– Trata de paliarse este problema con información contextual [Shahar, Y., & Musen, M.A. 1996 ].

• “Conocimiento” que modifica al “conocimiento”.

• Pero esto tampoco funciona.

4

Adquisición de conocimiento

• Implícita en la idea de contextualizar está la existencia de un único criterio/modus operandi para resolver el problema.

– En una misma situación dos expertos médicos pueden actuar de modo diferente sin que se pueda afirmar que los criterios de uno son mejores/peores que los del otro.

• Cada maestro tiene su librillo.

• Por más esfuerzos que se estén haciendo en la dirección contraria, a día de hoy la medicina todavía es una artesanía y no una ciencia.

• Para que el sistema sea llevado a la rutina clínica, es necesario que el clínico pueda modificar el conocimiento sin la asistencia del ingeniero del conocimiento.

3

5

Explotación del sistema

• Situación inicial

Entradas

Diagnostico y posible acción terapéutica

6


• Solución ideal desde el punto de vista del ingeniero– Casi siempre es irreal e inalcanzable

– Pero es fácil de comprender desde el punto de vista de la ingeniería

• Y fácil de publicar

Entradas


4

7

Explotación del sistema• Un sistema de este tipo es prácticamente imposible de llevar explotación.

– Problemas éticos

• Los médicos llevan miles de años siendo responsables de muertes de seres humanos por errores, causados o no por negligencia. Estamos acostumbrados. Pero todavía no estamos acostumbrados a que las máquinas sean responsables de muertes de seres humanos.

– Problemas legales

• ¿Qué compañía se arriesga a comercializar un sistema que puede ser el responsable de una muerte?

– Problemas técnicos

• La robustez de un sistema de ese tipo tendría que ser muy elevada.

• Los sistemas expertos suelen ser expertos “en profundidad” pero no “en amplitud”.

• No es realista enfocar el problema con este planteamiento si el objetivo final es llevar el sistema a una fase de explotación en la rutina clínica.

– La gran mayoría de los artículos de ingeniería biomédica abordan los problemas desde este punto de vista.

8


• Situación más realista

Entradas


Entradas de alto nivel; información abstraída

Posibilidad de consultar entradas originales en todo momento

5

9


• Que no es lo mismo que este otro escenario:– Así suelen ser en la práctica los sistemas de apoyo a la decisión



10

Evaluación del sistema

• Si una validación no se realiza de modo adecuado, es muy fácil coaccionar inintencionadamente al médico para que esté de acuerdo con los resultados obtenidos.– Esto explica los resultados tan ridículos que a veces se presentan

en los artículos…

6

11

Agenda

• Adquisición de conocimiento– Caso de estudio: el modelo MFTP

– Caso de estudio: identificación de apneas

– Caso de estudio: monitorización de diuresis

• Presentando información al usuario

• Evaluación del sistema

• Conclusiones

12

Caso de estudio: el modelo MFTP

• Multivariable Fuzzy Temporal Profile Model (MFTP) [Otero et al, 2009; Félix et al, 2003] .– Modela el comportamiento de un conjunto de parámetros que

evolucionan a lo largo del tiempo.

– Nació para crear alarmas con una mayor capacidad semántica que las actualmente disponibles en las unidades de cuidados críticos.

– Ha sido aplicado también a la robótica móvil.

7

13

)(),(2

12

2

2

2

1mXX

M

Cπµ ≡

L2

12=“Aproximadamente 20 sec.”

D2

12=“Decremento”

)(),(2

12

2

2

2

1lXX

L

Cπµ ≡

)(),(2

12

2

2

2

1dXX

D

Cπµ ≡

M 2

12=“Rápido”

o Multivariable Fuzzy Temporal Profile M = < WM

, XM

, RM

> se define como un conjunto finito de:

o MFTPs WM = {M1M,…, Ms

M }

o Puntos significativos XM = { X1j, …, Xn

k }

o Restricciones borrosas RM = { R1 ,…, Rf } entre WM y XM.


14

o La pendiente aporta información parcialmenteredundante respecto a la duración y el incremento:o “Incrementa entre 1 y 10 unidades en un tiempo comprendido

entre 1 y 10 segundos”


10

10

8

15

o La pendiente aporta información parcialmenteredundante respecto a la duración y el incremento:o “Incrementa entre 1 y 10 unidades en un tiempo comprendido

entre 1 y 10 segundos a una tasa de una unidad porsegundo ”


10

10

16

o Restricciones definidas entre puntos significativos de distintos parámetros.

=“aproximadamente simultáneo”

12

11L

)(),(12

11

2

1

1

1lXX

L

Cπµ ≡


9

17

o El modelo PTBM propuesto simplifica la representación de un patrón a un conjunto de eventos.o Un episodio estará caracterizado únicamente por los eventos que

definen su principio y su fin.

“… cinco minutos después, la presión es mayor”


18

• En ocasiones, el experto matiza la evolución de un parámetro entre un par de puntos significativos:– “… en gran parte de los siguientes cinco minutos la presión

sube sostenidamente 10 unidades”

• Hemos modelado este tipo de descripcionesdefiniendo un conjunto de trayectorias borrosas quemodelan distintas descripciones lingüísticas [Barro et al, 2003].


10

19

o “La presión sube moderadamente aproximadamente cuatro unidades alo largo de la última media hora”.

[ ] [ ]( )[ ] [ ] [ ] [ ]( ) [ ] [ ]( )( ) [ ]

p

j

p

s

p

ittMvvuttt

p

s

p

stttutv

s p

k

p

k

pij

p

k

p

kp

s

p

k

pi

pij

≤<=−− −⊗∩−≤<

},{maxmin,11

µµ


20

o “Durante los siguientes cinco minutos la presión asciende”.

[ ] [ ]( )[ ]( ) [ ]( )( ) [ ]

p

j

p

s

p

ittMvvu

p

s

p

s tttutvs p

ip

s

pij

pi

p

s

pij

≤≤=−⊗∩−

,}{max, µµ


11

21

o “A lo largo de los últimos 10 minutos la presión asciende desde un valor muy bajo hasta un valor extremadamente alto”.

[ ] [ ]( )[ ] [ ]( ) [ ]( )( ) [ ]

p

j

p

s

p

ittMDvu

p

s

p

stttutv

s pi

p

s

pij

p

i

p

s

pij

≤≤=−⊗∩Θ

,}{max,0

µµ


22

o “La presión asciende moderadamente en parte de la última hora”.


12

23

• Adquisición de conocimiento


24

• Problema del modelo:– ¿Cuál es la pendiente de la cuesta de Romero Donallo entre

los cruces con Avenida de Villagarcía y Rosalía de Castro?.


13

25

• Problema del modelo:– No estamos acostumbrados a razonar sobre valores

dependientes.

– Y los médicos, mucho menos que nosotros, los ingenieros.

– El comportamiento altamente no lineal de las pendientes espoco intuitivo para alguien que no tiene una buena formaciónen matemáticas.

• Por no hablar del hecho de que una pendiente puede ser infinita.

• Y sin pendientes ¡tampoco tenemos trayectoriasborrosas!


26

• Solución:


14

27

• Segundo problema del modelo:– Los resultados de emplear las trayectorias borrosas son poco intuitivos.

• Los resultados que se obtienen con ellas resultan antiintuitivos incluso para la persona que implementó los algoritmos de equiparación.

– Tienen una justificación teórico-formal fuerte, pero como unaherramienta para modelar ciertas descripciones lingüísticas.

• Pero los patrones son visuales, y no lingüísticos,

• Solución:– Añadimos una nueva trayectoria borrosa de “tolerancia constante” a lo

largo de toda su evolución.

• No tiene justificación lingüística. Pero es relativamente simple de entender.


28

• La raíz de ambos problemas:– Alta impedancia entre el modelo computacional (MFTP) y el

modelo mental del experto.

– Un sistema debe tratar siempre de replicar el modelo mental que el experto tiene dicho sistema [K. Vicente et al, 1992].


15

29

• Una solución para adquirir el conocimiento a través de una interfase que presente menor “impedancia”


30

• Una solución para adquirir el conocimiento a través de una interfase que presente menor “impedancia”


16

31

• Posible solución, potencialmente ideal, para la adquisición de este tipo de conocimiento: que el experto dibuje el patrón sobreuna interfaz que replique la interfaz donde el habitualmenteexperiencia dicho patrón.– Propuesto en [Steimann, 1996].

– Pero, hasta donde a mí me consta, nunca ha sido implementado con éxito.


32

• Otros autores proponen usarplantillas [Haimowitz et al, 1995].– Según mi experiencia, es

mejor partir de un prototipo del patrón que de una plantilla.

• La plantilla proporciona unaaproximación cualitativa al patrónreal; el prototipo de patrónproporciona una aproximacióncualitativa y cuantitativa al patrónreal.


17

33

• Lecciones aprendidas:– Asegúrate de que todo el conocimiento que necesitas

adquirir existe.

• Los médicos no tienen conocimiento sobre las pendientes de los parámetrosfisiológicos de los pacientes. Simplemente reconocen patrones visualmente.

– Proporciona herramientas para adquirir el conocimiento quetraten de usar metáforas lo más próximas posibles al modelo mental del experto.

• Será tanto más fácil cuanto más próximo esté el modelo computacional al modelo mental que emplea el experto.


34

Agenda






• Conclusiones

18

35

• Los trastornos cardiopulmonares del sueño comprenden un conjunto de síntomas y signos derivados de la presencia de apneas durante el sueño causadas por una obstrucción parcial o total de la vía aérea superior.

• El más común es el Síndrome de Apnea-Hipoapnea del Sueño (SAHS). – Un 19% (IC 95%: 14-24) de los varones y un 14.9% (IC 95%: 9-20) de las

mujeres padecen más de 10 apneas o hipoapneas por cada hora de sueño1.

– Un 6.8 (IC 95%: 5-9) de los varones y 2.9 (IC 95%: 0-5) de las mujeres padecen más de 30 apneas o hipoapneas por cada hora de sueño.

Caso de estudio: identificación de apneas

36


19

37


38

o Se define apnea como una reducción del flujo respiratorio hasta, al menos, un 10% del valor basal durante un tiempo superior a 10 segundos [Sleep Medicine Task Force, A. A. 1999].o ¿De dónde vienen estos criterios?


20

39

• Del mismo sitio que muchos otros criterios médicos:


40

• ¿Cuál es la precisión de los seres humanos en el cálculo de proporciones?


21

41

• ¿Cuál es la precisión de los seres humanos en el cálculo de proporciones?– 247 participantes

– Error en el cálculo de la proporción del 50%: 10,9+- 4,35

– Error en el cálculo de la proporción del 10%: 4,09 +- 2,25

• Y esto a pesar de que los participantes en el test sólo tenían que calcular 12 proporciones– Un paciente puede tener más de 600 apneas/hipoapneas en una

noche.

• Y éste sólo es uno de los múltiples eventos patológicos registrados en el polisomnograma.

• Polisomnograma que un clínico experto examina en unos pocos minutos…


42

• Por otro lado…”Se define apnea como una reducción del flujo respiratorio hasta, al menos, un 10% del valor basaldurante un tiempo superior a 10 segundos”.

• ¿Cuál es el valor basal?– No está definido de modo preciso.

• Ni en el manual de la American Academy of Sleep Medicine AASM tratan de proporcionar una definición mínimamente precisa.


22

43

• Es decir, identificar apneas requiere calcular proporciones respecto a un valor que no está definido, y hacerlo con más precisión de las que un ser humano es capaz.– O los clínicos no son capaces de diagnosticar SAHS, o los clínicos

no usan realmente esa definición lingüística en la identificación del patrón visual, que han aprendido visualmente, y que siempre han experimentado visualmente, correspondiente con los eventos patológicos que permiten el diagnóstico de la dolencia.


44

• Solución:


23

45

• ¿Y el criterio de duración temporal?– El 10 en “10 segundos” también resulta sospechoso.

• Hay algunas alternativas que parece más razonables, como “perder” tres respiraciones.

– En cualquier caso, el tiempo es algo que no experimentamos visualmente, sino que razonamos de modo abstracto sobre él.

• Incluso cuando sobre la evolución temporal de un parámetro quieres medir tiempos acabas teniendo que mirar la leyenda del eje temporal y calcular “el número” de unidades de tiempo.

– Una adquisición lingüística de información temporal suele resultar adecuada.


46

• Lecciones aprendidas:– En ocasiones, los mismos expertos pueden engañarse a sí mismos y

convencerse de que poseen conocimiento lingüístico (el que suele ser más fácil de adquirir de ellos) cuando realmente tal conocimiento no existe.

– No te fíes siempre de lo que te cuentan (o de lo que está escrito en los libros). Mira cómo trabajan. Estudia cómo resuelven ellos el problema realmente.

• Aunque creerse lo que te cuentan, o lo que está escrito, es más fácil y ¡encima lo puedes referenciar!.


24

47

Agenda






• Conclusiones

48

• En las unidades de cuidados críticas modernas prácticamente todos los parámetros fisiológicos del paciente son monitorizados de modo automático.

Caso de estudio: monitorización de diuresis

25

49

• Menos uno…


50


26

51

• Adquisición de los objetivos terapéuticos para la orina:


52

• La adquisición lingüística sí es adecuada para este problema

– Los valores de producción de orina se tratan siempre de modo numérico en las unidades de cuidados críticos, sin representarse en gráficas.

– Por tanto, el conocimiento que el médico emplea para interpretarlos no depende del sistema visual.

• Sin embargo, una distribución de posibilidad trapezoidal no es la metáfora más adecuada para su adquisición.

– Los médicos no están acostumbrados a trabajar con ellas.

– Aunque se les dé formación para comprenderlas siempre será una herramienta extraña para ellos.

• Por tanto, será una fuente de posibles errores (distribuciones de posibilidad trapezoidales negativas).


27

53

• Una solución mejor:– ¿Cuál es el valor de producción de orina por debajo del cual estás

completamente seguro que el paciente está en oliguria?

– ¿Cuál es el valor de producción de orina por encima del cual estás completamente seguro que el paciente no está en oliguria?

– ¿Cuál es el valor de producción de orina del paciente por encima del cual el paciente podría estar en poliuria?

– ¿Cuál es el valor de producción de orina del paciente por encima del cual estás completamente seguro que el paciente está en poliuria?

• La misma información, pero adquirida en un formato que el médico comprende y está acostumbrado a trabajar con él.


54

• Lecciones aprendidas:– Trata de evitar que la interfaz gráfica de tu sistema sea una

representación directa del modelo computacional que estás empleando. Prácticamente siempre es una mala idea.


28

55

Agenda






• Conclusiones

56

• Nuevamente, se trata de un aspecto que a menudo es descuidado en el desarrollo de un sistema experto basado en técnicas flexibles.– Sin embargo, si el propósito final del sistema es implantarse en la

rutina clínica, la presentación de información conlleva múltiples retos que todavía no han sido resueltos de modo satisfactorio en la bibliografía.

Presentando información al usuario

29

57


• “El ordenador es una bicicleta para el cerebro” Steve Jobs

• Al presentar la información es cuando hay que construir esa bicicleta.– No subestimes el poder de una interfaz sencilla,

intuitiva y ergonómica.

• Recuerda, el iPhone (especialmente cuando salió al mercado) tenía bastante menos funcionalidad que el resto de los smartohones.

58


• Problemas:– Más trabajo; necesitamos cooperar con el médico y no sólo

reemplazarlo.

– Necesitamos saber qué hace el médico, para ayudarle en esa tarea.

– Requiere habilidades que a menudo no tienen los “ingenieros del conocimiento”

• Desarrollo de interfases de usuario ergonómicas e intuitivas, desarrollo de metáforas para presentación de información… soporte para impresión.

30

59

• Los sistemas basados en técnicas flexibles suelen generar más información que aquellos que no están basados en técnicas flexibles.– Cada evento/recomendación generado por el sistema va

acompañado de un grado de “certeza” sobre esa pieza de información.

– Los márgenes empleados en la definición de los eventos/recomendaciones suelen ser más laxos que en sistemas no flexibles, por lo que se suelen identificar más eventos.

– Dada la naturaleza del sistema, es posible proporcionar más de una interpretación para un mismo conjunto de observaciones.


60

• La sobrecarga de información es ya un problema grave en el dominio médico. Generar todavía más información no suele ser una buena idea.

• Por otro lado, un grado de posibilidad/necesidad/ probabilidad entre 0 y 1 no tiene que ser necesariamente una pieza de información intuitiva y fácil de interpretar para el experto.– Mucho menos, si hablamos de monitorización de pacientes y lo que

tenemos es un fluente de valores comprendidos entre 0 y 1.


31

61

• Una buena solución en la pantalla del ordenador: códigos de colores.– Se trata de una dimensión “transversal”

a la de la dimensión de representación de la información.

• No ocupa espacio de pantalla.

• Puede ignorarse sin perder información original del sistema.

– Fácil de interpretar; todos estamos acostumbrados a trabajar con ellos.


62

• [Becker et al, 1997]


32

63

• [Lowe et al. 2001]


64

• Un ejemplo


33

65

• Otro ejemplo:


66

• Otro ejemplo:


34

67


• Recordemos:

Entradas


Entradas de alto nivel; información abstraída

Posibilidad de consultar entradas originales en todo momento

68


o Otro ejemplo: identificación de apneas e hipoapneas

35

69

o Metáfora visual.


70


36

71

• Lamentablemente, todo esto está lejos de ser suficiente en el caso de la monitorización de pacientes.

• Necesitamos algún tipo de alarma sonora para atraer la atención del clínico a la pantalla.– Introducir más alarmas sonoras (al menos alarmas sonoras

tradicionales) en una unidad de cuidados críticos es una idea que sólo se le ocurriría a alguien que nunca ha pisado una unidad de cuidados críticos.


72

• Estado actual de las alarmas sonoras en las unidades de cuidados críticos:– [Momtahan et al. 1993] grabó 23 alarmas de una UCI cuando

ninguna otra alarma estaba activada. El personal asistencial sólo fuecapaz de reconocer el 39% de ellas.

– [Loeb, et al., 1992] pidió a 44 anestesistas que identificas en 19 alarmas; sólo consiguieron identificar el 34% de ellas.

– [Cropp et al., 1994] realizó un estudio similar entre cientos de enfermeras y clínicos; las tasas de identificación correcta variaron entre 40 y 50%.


37

73

• Estado actual de las alarmas sonoras en las unidades de cuidados críticos:– [Biot, 2003] cuestiona la utilidad de las alarmas en el dominio médico.

– [Kahn et al., 1998] Los niveles de ruidos actuales producidos por losdisparos de las alarmas pueden producir estrés a los pacientes, disrupciones del ritmo circadiano e insomnio.


74

• Necesitamos algún tipo de alarma sonora para atraer la atención del clínico a la pantalla… y además– La alarma necesita transmitir un mayor contenido semántico que las

alarmas sonoras actuales.

– Los sistemas flexibles tienden a generar más información… más alarmas.

• Pero introducir más alarmas sonoras no parece una buena opción.– Al menos no si son alarmas estándar.


38

75

• Posibles soluciones:– Sonificación [Watson, & Sanderson, 2004]; cada dimensión de la

información a transmitir se traduce en una dimensión diferente del sonido (contenido armónico, rapidez, intensidad…).

– Dispositivos alternativos vibrotáctiles [Jessie et al., 2005; Ng et al., 2008]: el clínico tiene sobre su piel un dispositivo que vibra de diferentes formas según la alarma que se dispara.

– Síntesis de voz; en vez de codificar lo que pasa, decir lo que pasa.


76

• El problema de todas estas soluciones es que no sabremos si realmente funcionan o no hasta que sean probadas en la rutina clínica.– Discutir sobre ellas es como evaluar un iPhone estudiando su hoja de

“features”.

• Llevar a cabo cualquier proyecto piloto en una UCI es extremadamente complicado.– Problemas técnicos, legales, éticos… y problemas con el personal

asistencial.

• Por todo ello este tipo de experiencias piloto son prácticamente nulas en la bibliografía.


39

77

Agenda






• Conclusiones

78

• Como ingeniero que es el ingeniero del conocimiento, quiere evaluar la calidad de su sistema con un número.– Falsos positivos, falsos negativos, porcentaje de detecciones

correctas, sensibilidad, especificidad, poder predictivo, etc.

• Sin embargo, la única cosa que realmente importa es ¿ayuda el sistema al clínico a realizar su trabajo si o no?– Esto sólo se puede saber si el sistema se usa en su entorno real.

• Ejemplo: el modelo MFTP, al igual que varias docenas de propuestas de la bibliografía, puede ser un orden de magnitud superior a las alarmas de umbral que actualmente se usan en las unidades de cuidados críticos en varias de estas dimensiones. Sin embargo, también puede argumentarse que es un orden de magnitud más complejo. ¿Compensa la complejidad y tiempo está dedicado a definir las alarmas con los beneficios que dichas alarmas reportan?


40

79

• Ejemplo concreto de evaluación: [Morsy et al, 2007], sistema para identificar a apneas con una sensibilidad de 0,999 y una especificidad de 0,996.– Dos opciones:

• Mienten.

• No conocen el dominio médico ni el problema que tratan de resolver.


80

• Estudio realizado entre 11 profesionales que trabajan unidades del sueño en centros de salud americanos a los cuales se les pidió que revisarse 11 polisomnogramas[Nancy A. Collop 2002]:


41

81

• Estudio realizado entre 11 profesionales que trabajan unidades del sueño en centros de salud americanos a los cuales se les pidió que revisarse 11 polisomnogramas[Nancy A. Collop 2002]:


82

• Ejemplo concreto de evaluación: [Morsy et al, 2007], sistema para identificar a apneas con una sensibilidad de 0,999 y una especificidad de 0,996.– Dos opciones:

• Mienten.

• No conocen el dominio médico ni el problema que tratan de resolver.


42

83

• En algunos dominios la situación es mucho peor:– Estudio realizado entre 14 laboratorios dedicados a realizar análisis del

sueño [Drinnan et al, 1998]:


84

• A ojo de buen cubero, dos expertos clínicos no suelen estar de acuerdo en más del 90% .– En general, no me creo los resultados de cualquier artículo que

afirme “acertar” en más del 90%.

• Y, en cualquier caso, me reitero que todos estos números son irelevantes para medir la utilidad práctica de un sistema.

• ¿Mienten esos artículos?– Probablemente no. Probablemente simplemente desconocen una de

las reglas fundamentales de la informática:


43

85

• El ordenador lo sabe todo:


86

• Son muy raras ocasiones en las cuales con ordenador “miente” o “se equivoca” delante de un usuario final.

– El proceso de desarrollo software trata precisamente de evitar esto.

• Las tecnologías informáticas relacionadas con el consumidor han explotado en cuanto funcionalidad en los últimos 5-10 años.

– Google Maps, iPhone y desmás smartphones, comunicaciones inalámbricas, GPS…

– Como consecuencia, los usuarios finales tienen cada vez menos criterios para distinguir qué es posible y qué es imposible resolver mediante técnicas informáticas (por no hablar de qué es fácil y qué es difícil).

• Todo esto hace que los usuarios, simplemente, se crean cualquier cosa que les dice el ordenador.


44

87

• Si un ordenador es capaz de dirigir mi coche mejor que yo mismo en mi propia ciudad, e incluso sabe si hay o no un atasco en la ruta por la que voy a ir ¿por qué no va a saber mejor que yo si eso es o no una apnea?


88

• Forma incorrecta de llevar a cabo una validación en el dominio médico:– ¿Cuántas hipoapneas hay en el siguiente fragmento de señal?

• Esto es lo que suele hacerse; es mucho más fácil que el experto etiquete como correctos e incorrectos los resultados de una herramienta que cruzar sus resultados con los nuestros.

• Y es mucho menos trabajo para el experto.

• … pero obtienes resultados mucho mejores.


45

89

• Forma más adecuada de llevar a cabo una validación en el entorno médico:– ¿Cuántas hipoapneas hay en el siguiente fragmento de señal?

• Está lejos de ser lo óptimo– Dos clínicos diferentes probablemente estén en desacuerdo en el

10% de los casos.


90

• En ocasiones se usan dos o más clínicos como “Goldstandard” y sólo se emplean las anotaciones en las cuales han coincidido.– Podría argumentarse que de este modo nos estamos quitando de en

medio los casos más complicados, donde los expertos no están de acuerdo, y limitándonos a los más sencillos.

• En cualquier caso, lo único que realmente importa para evaluar el sistema es la respuesta a esta pregunta:– ¿Estarías dispuesto a usar el sistema en (lugar de)/(junto con) lo que

actualmente estás empleando?

• Es fácil criticar al iPhone con múltiples argumentos… pero la gente quiere usarlo y se vende muy bien.


46

91

• Lecciones aprendidas:– Los resultados del sistema pueden influenciar fácilmente al clínico. En

la validación, el clínico no debería conocer dichos resultados hasta que él haya emitido su juicio sobre el problema en cuestión.

– Por más buenos números que se pueda dar del sistema, al final lo realmente importante es si los usuarios finales (los médicos) están dispuestos a usarlo.


92

Agenda






• Conclusiones

47

93

• Las rectas con pendiente infinitas no existen– Asegúrate de que el conocimiento que necesitas adquirir realmente

existe.

• Todos los criterios médicos se expresan en potencias de 10– Desconfía de cualquier la descripción lingüística de un conocimiento

que no sea realmente lingüístico.

• Aprende a construir bicicletas.– No intentes quitar al médico de en medio, colabora con él.

– Una proyección directa del modelo computacional a la interfaz gráfica de usuario a menudo es una mala idea.

– No adquieras lingüísticamente conocimiento que no es lingüístico.

Conclusiones

94

• Si el ordenador lo ha señalado, será que ahí hay algo.– La gente “de pie” ha desarrollado una tremenda confianza en los

sistemas informáticos.

– Enseñar al experto los resultados generados por el sistema para que él los apruebe o rechace a menudo coacciona su decisión.

– Y en cualquier caso, lo único realmente importante si el experto quiere o no usar el sistema.

• Ningún sistema experto está terminado hasta que tenga soporte para impresión.– No desprecies los detalles de presentación o funcionalidad accesoria.

Es imprescindible para llevar el sistema a la rutina clínica.• ¿Alguna vez has usado alguna aplicación que no tenga soporte para impresión?

Conclusiones

48

95

Referencias

• [Barro et al, 2003] S. Barro, P. Félix, P. Cariñena, and A. Otero. Systematic Organization of Information in Fuzzy Systems, volume 184, chapter Extending Fuzzy Temporal Profile model for dealing with episode quantification, pages 205-228. NATO Science Series, IOS Press, 2003.

• [Biot, 2003] Biot, L. (2003). Do we need a systematic activation of alarm soundings for blood pressure monitoring for the safety of ICU patients? Journal of Critical Care, 18 (4), 212-216.

• [Cropp et al., 1994] Cropp, A.J., Woods, L.A., Raney, D., & Bredle, D.L. (1994). Name that tone: The proliferation of alarms in the intensive care unit. Chest, 105, 1217-1220.

• [Drinnan et al, 1998] MICHAEL J. DRINNAN, ALAN MURRAY, CLIVE J. GRIFFITHS, and G. JOHN GIBSON. Interobserver Variability in Recognizing Arousal in Respiratory Sleep Disorders. Am. J. Respir. Crit. Care Med., Volume 158, Number 2, August 1998, 358-362.

• [Félix et al, 2003] Félix, P., Barro, S., Marín R. (2003), Fuzzy constraint networks for signal pattern recognition, Artificial Intelligence, 148, 103-140.

• [Haimowitz et al, 1995] I.J. Haimowitz, P.P. Le, and I.S. Kohane. Clinical monitoring using regresions-based trend tem-plates. Arti¯ cial Intelligence in Medicine, 7:473-496, 1995.

96

Referencias

• [Lowe et al. 2001] A., Harrison, M.J., & Jones, R.W. (2001). The graphical presentation of decision support information in an intelligent anaesthesia monitor. Artificial Intelligence in Medicine, 22 (2), 173-191.

• [Kahn et al., 1998] Kahn, D.M., Thorley, E., Cook., Carlisle, C.C., Nelson, D.L., Kramer, N.R., & Millman, R.P. (1998). Identification and modification of environmental noise in an ICU setting. Chest, 114, 535-540.

• [Loeb, et al., 1992] Loeb, R.G., Jones, B. R., Leonard, R.A., & Behrman, K. (1992). Recognition accuracy of current operating room alarms. Anesthesia & Analgesia, 75, 499 -505.

• [Momtahan et al. 1993] Momtahan, K., Hetu, R., & Tansley, B. (1993). Audibility and identification of auditory alarms in the operating room and intensive care unit. Ergonomics, 36 (10), 1159 - 1176.

• [Jessie et al., 2005] Jessie Y. C., Ng, J., Man, J., Fels, S., Dumont, G., & Ansermino, J. (2005). An evaluation of a vibro-tactile display prototype for physiological monitoring. Anesthesia & Analgesia, 101, 1719-1724.

• [Morsy et al, 2007] A.A. Morsy and K.M. Al-Ashmouny. Sleep apnea detection using anadaptive fuzzy logic based screening system. In 27th IEEE EMB Conference, pages 6124–6127, 2005.

49

97

Referencias

• [Nancy A. Collop] Nancy A. Collop, Scoring variability between polysomnographytechnologists in different sleep laboratories. Sleep Medicine, Volume 3, Issue 1, January2002, Pages 43-47

• [Ng et al., 2008] Ng, G. Barralon, P. Schwarz, S.K.W. Dumont, G. Ansermino, J.M. (2008). Evaluation of a tactile display around the waist for physiological monitoring under different clinical workload conditions. 30th IEEE EMB Conference, Vancouver, Canada.

• [Shahar, & Musen, 1996 ] Shahar, Y., & Musen, M.A. (1996). Knowledge-based temporal abstraction in clinical domains. Artificial Intelligence in Medicine, 8, 267-298.

• [Otero et al, 2009] Otero, A.; F´elix, P.; Barro, S.; Palacios, F. Addressing the flaws of current critical alarms: a fuzzy constraint satisfaction approach. Artificial Intelligence in Medicine 2009, 47, 219– 238.

• [Sleep Medicine Task Force, A. A. 1999] Sleep Medicine Task Force, A. A. of. (1999). Sleep-related breathing disorders in adults: recommendations for syndrome definition and measurement techniques in clinical research. Sleep, 22 , 667-689.

98

Referencias

• [Steimann, 1996] F. Steimann. The interpretation of time-varying data with DIAMON-1. Artificial Intelligence in Medicine, 8:333-357, 1996.

• [Vicente et al, 1992] K. Vicente and J. Rasmusen. Ecological interface design: theoretical foundations. IEEE Trans-actions on Systems, Man, and Cibernetics, 22(4):589-606, 1992.

• [Watson, & Sanderson, 2004] Watson, M., & Sanderson, P. (2004). Sonification supports eyes-free respiratory monitoring and task time-sharing. Human Factors, 46 (3), 497-517.

50

99

¿Preguntas?

Documents

Lecciones aprendidas aplicando técnicas borrosas a ...biolab.uspceu.com/aotero/recursos/lesonslearned.pdf · plantillas [Haimowitz et al, 1995]. – Según mi experiencia, es mejor