Embed Size (px)
Citation preview
INDIVIDUALIZED TRAINING IN ART
Tesis doctoral para optar al título de
Doctora por la Universidad de Barcelona
Amelia Rodríguez Aranda
Dirección:
Dr. Francisco José Fabregues Gasol
Dra. Rita Vassena
Programa de Doctorado en Medicina
Universidad de Barcelona
Año 2017
2
A mis padres
3
“La excelencia es un arte ganado por el entrenamiento y la
habituación. No actuamos correctamente porque tenemos
virtud o excelencia, las tenemos porque hemos actuado
correctamente. Somos lo que hacemos repetidamente. La
excelencia, por tanto, no es un acto, sino un hábito “.
Aristóteles
4
AGRADECIMIENTOS
A todos aquellos que a lo largo de mi carrera profesional me han
inculcado la sensibilidad científica y la aspiración hacia la excelencia
en mi profesión.
Especial mención a Rita Vassena, quien me ha acompañado en mi
evolución como persona y como científica en este camino.
Gracias a Désirée García, por su exquisitez y entusiasmo, que me
han dado las fuerzas y el ánimo para terminar este proyecto.
Gracias a Francesc Fabregues, por su infinita paciencia y
comprensión a lo largo de estos años de acompañamiento donde
compaginar la vida profesional con la académica no ha sido tarea
fácil.
5
ÍNDICE
1.- INTRODUCCIÓN pág. 6
2.- JUSTIFICACIÓN Y OBJETIVOS pág. 26
3.- RESULTADOS pág. 30
3.1. ESTUDIO 1 pág. 31
3.2. ESTUDIO 2 pág. 36
3.3 ESTUDIO 3 pág. 41
4.- DISCUSIÓN pág. 53
5.- CONCLUSIONES pág. 66
6.- REFERENCIAS pág. 69
7.- ANEXOS pág. 76
Anexo 1. Materiales utilizados en los estudios
Anexo 2. Comunicaciones orales relacionadas
6
1.- INTRODUCCIÓN
7
1.- INTRODUCCIÓN
La Medicina ha sufrido una evolución importante a lo largo de los siglos, pasando
de ser un arte a una ciencia, donde los procedimientos médicos aplicados deben
estar basados en la evidencia científica, ser reproducibles, medibles y, como
consecuencia, susceptibles de intervenir mediante medidas correctivas.
Sin embargo, las fases de enseñanza, aprendizaje y entrenamiento de los
diferentes profesionales que aplican los distintos procedimientos y tratamientos
no siempre se realiza siguiendo un procedimiento y/o utilizando las herramientas
que nos permitan evaluar el ritmo individual de aprendizaje ni la adquisición de
la competencia por parte del individuo de una forma objetiva.
Todavía, en muchas ocasiones, estas fases tan importantes para dotar de
calidad el servicio a nuestros pacientes, quedan sometidas a una evaluación o
juicio subjetivo, alejado de los requisitos científicos más básicos.
Esto ha sido demostrado por estudios antiguos en los que se pone de manifiesto
que, además de demostrar la variabilidad del juicio intra-observador sobre un
mismo hecho ( en este caso, de un mismo alumno en formación por parte de
diferentes expertos) (Maxim BR et al, 1987; Ansell JS et al, 1979; Schwartz R,
1995), existe una tendencia a sobreevaluar o calificar con puntuaciones más
altas de las debidas a los alumnos por no seguir métodos objetivos de evaluación
o por contaminar la misma con valoraciones que no competen de forma directa
al acto evaluado (Schwartz R, 1995; Goetzl EJ 1973; Wray NP, 1983).
8
Por otro lado, los métodos teóricos de evaluación basados en selección de
respuestas entre múltiples opciones aceptados, por ejemplo, por entidades como
la American Board Certifying Examination, aun estando avalados para evaluar
adquisición de contenidos de orden teórico, no contemplan ni tienen la capacidad
de evaluar la totalidad de las capacidades que son necesarias adquirir en la
realización de muchos actos o procesos médicos (Levine HG, 1970).
A esto se une la introducción, cada vez más frecuente en nuestra práctica
médica, cuyo origen conceptual y práctico tuvo lugar en los procesos industriales,
del concepto de “Calidad” en su más amplio sentido.
Si bien la Calidad aplicada a la Medicina comenzó a introducirse a inicios del
siglo XX, la preocupación por ésta en la Medicina o por atender a los pacientes
con la mayor calidad posible es tan antigua como la propia actividad clínica. Ya
en algunos hitos históricos, algunos de ellos milenarios, se reflejaba la regulación
y estándares que algunos actos médicos deberían de cumplir (Conceptos
generales de Calidad. Ciencias de la Salud. Metología de la calidad aplicada a
los profesionales de la salud. Universidad de Cádiz (UCA)).
9
Fuente: Conceptos generales de Calidad. Ciencias de la Salud. Metología de la calidad aplicada
a los profesionales de la salud. Universidad de Cádiz (UCA).
A lo largo del siglo pasado se han acuñado diferentes definiciones de Calidad
adaptada al campo de la Medicina. Ya en 1980, Avedis Donabedian propuso una
definición de calidad asistencial que ha llegado a ser considerada clásica y que
rezaba de la siguiente forma: “Calidad de la atención es aquella que se espera
que pueda proporcionar al usuario el máximo y más completo bienestar después
de valorar el balance y pérdidas que pueden acompañar el proceso en todas sus
partes” (Donabedian, 1981).
Posteriormente, en 1991, la Organización Mundial de la Salud consideraba que:
“Una atención sanitaria de alta calidad es la que identifica las necesidades de
salud (educativas, preventivas, curativas y de mantenimiento) de los individuos
y de la población, de una forma total y precisa y destina los recursos (humanos
y otros), de forma oportuna y tan efectiva como el estado actual del conocimiento
lo permite”.
Si bien, hay diferentes definiciones de Calidad, la mejor es aquella que se adapta
a nuestro medio y que se confecciona con la ayuda de los profesionales que
trabajan en él, teniendo en cuenta que la Calidad es una forma de pensamiento
donde la excelencia rige las decisiones y todas nuestras actividades.
Los fundamentos de la Calidad son, por tanto, el conjunto de principios, métodos
y estrategias que intentan movilizar a los profesionales en pro de ofrecer buenos
servicios que obtengan la satisfacción de nuestro cliente-paciente al menor coste
10
posible. (Conceptos generales de Calidad. Ciencias de la Salud. Metología de
la calidad aplicada a los profesionales de la salud. Universidad de Cádiz (UCA)).
En cuanto a la evaluación y mejora de la calidad, ésta no se puede llevar a cabo
sin definir previamente cuál es la práctica considerada como correcta. El
“criterio”, en este caso científico, es lo que determina la práctica adecuada,
mientras que el nivel óptimo de aplicación de este criterio es lo que va a
determinar el denominado “estándar de calidad”. Los conocimientos científicos
y/o los requisitos sociales del momento fijarán el estándar en diferentes niveles,
por lo que éste sufrirá una evolución a lo largo del tiempo.
En este terreno es donde la docencia en la medicina y las medidas de control
posteriores deben garantizar poner en marcha las medidas de detección y
correctoras eficaces de forma que se corrobore que las personas que practican
una determinada técnica médica, por ejemplo, cuenta con la debida competencia
para ello o que, si posteriormente no se cumplen los estándares, se pongan en
marcha las medidas correctivas para que se éstos vuelvan a alcanzar.
En las primeras décadas del siglo XX encontramos en Europa y en EEUU una
intensa preocupación por la mejora de la enseñanza de la medicina. En este
campo cabe destacar el Informe Flexner (1910), en el cual se ponía de manifiesto
la falta de estandarización de los estudios de medicina y la deficiente formación
de algunos profesionales. Como resultado de la aplicación de dicho informe se
cerraron un importante número de facultades de medicina en EEUU (Viveros R,
2002).
11
Otro importante predecesor en este campo fue el Dr. Ernest Codman, cirujano
en el Massachussets General Hospital, en Boston, el cual estaba profundamente
preocupado por el tema de los resultados en los pacientes quirúrgicos. Codman
opinaba que: "…Todo hospital debería realizar un seguimiento de cada uno de
los pacientes que trata durante el tiempo suficiente para saber si el tratamiento
ha sido positivo y, si no lo ha sido, averiguar las razones". Fue encargado de
desarrollar el programa de estandarización de los hospitales en 1918 que se
basó principalmente en aspectos estructurales. De hecho, este trabajo fue la
base del futuro desarrollo de la Joint Commision on Acreditation of Health Care
Organizations (JCAHO) (Borel J, 2008).
La calidad de la asistencia de un centro médico u hospitalario pasa por
considerar que los servicios que se ofrecen sean los adecuados, que se presten
de la manera más apropiada y que produzcan satisfacción a quienes los prestan
y a quienes los reciben (Cuervo J et al, 1994). De acuerdo con esto, surgió
entonces la necesidad de normalizar y unificar todos los conocimientos para
medir la calidad asistencial brindada.
En respuesta a esta necesidad se creó en 1946 la Organización Internacional
para la Normalización (Internacional Organization for Standarization - ISO) cuya
sede se encuentra en Ginebra, Suiza. Este es un organismo no gubernamental,
el cual cuenta con la participación de 160 países (Del Pozo R et al, 2004).
Su objetivo es coordinar el sistema de estándares internacionales. Las
actividades de la ISO son llevadas a cabo a través de comités técnicos, cada
uno de los cuales se encarga de un área diferente.
12
En la década de 1980, ISO estandarizó la administración de calidad, emitiendo
en 1986 la norma ISO 8402 y publicando en 1987 la serie ISO 9000. Para
asegurar la actualización de estas normas, las mismas son revisadas por lo
menos cada 5 años (Norma ISO 9001 y Norma IRAM 30200).
La gran innovación de las normas ISO 9000 fue la incorporación del concepto de
‘PROCESOS’ adecuados a la gestión de calidad. En este marco, los ‘procesos’
se definen como “el conjunto de recursos y actividades interrelacionadas que
transforman elementos de entrada en elementos de salida” (Del Pozo R et al,
2004).
En pro de facilitar la implementación de la Calidad y el seguimiento de las normas
ISO (en el caso de existir en el centro) la protocolización de los procesos y de la
educación en el ámbito de la medicina juega un papel crucial.
Centrándonos en el aprendizaje en Medicina, motivo fundamental de este
trabajo, y motor fundamental de dotar de calidad principalmente la parte más
técnica de la calidad de los servicios ofrecidos a nuestros pacientes,
observamos cómo la metodología y filosofía utilizadas a la hora de medir la
adquisición de los conocimientos, sobre todo aquellos técnicos que requieren de
habilidades no solo intelectuales, sino manuales, todavía estamos anclados en
una evaluación fundamentalmente subjetiva y artesanal.
Por todo lo anterior, se hace imperiosa la necesidad de incluir en nuestra
metodología de aprendizaje y de control de resultados, métodos de medida y
control objetivos que nos permitan garantizar dos cuestiones fundamentales:
1º Que nuestros pacientes están siendo tratados por personal con la adecuada
competencia no solo de formación académica y teórica sino práctica.
13
2º Que una vez alcanzada la competencia, los procesos y sus resultados se
mantienen dentro de los estándares de calidad estipulados como correctos
según el estado de la ciencia y/o la exigencia de los pacientes en cada momento.
Estos puntos requieren especial relevancia cuando nos encontramos ante la
aplicación de tratamientos o de técnicas cuyos resultados sean altamente
operador dependiente y donde el impacto de los mismos pueda tener una
influencia crucial en el paciente en cuanto a las decisiones que se deriven de los
mismas, como ha sido demostrado por algunos estudios donde los resultados de
diferentes intervenciones quirúrgicas podía variar según el cirujano (Hannan El
et al, 1990) o en algunos procedimientos en reproducción asistida como la
transferencia embrionaria (Papargeorgiou et al 2001).
1.1.- Adquisición de la competencia. Métodos tradicionales.
En la mayoría de las ocasiones el personal sanitario en formación es considerado
competente para realizar una determinada intervención o técnica cuando, tras
ser sometido a la observación por personal entrenado, se considera que ha
alcanzado el aprendizaje. Este método, si bien puede ser confiable dado que
utiliza el juicio de personal con experiencia, no deja de estar exento de una
subjetividad y de falta de medición objetiva de los resultados (Maxim BR et al,
1987; Ansell JS et al, 1979; Schwartz R, 1993; Sloan et al 1995), por lo que
14
dificulta el adaptar posibles intervenciones necesarias individuales, ya sean por
carencias en fases puramente de aprendizaje teórico y conceptual de la materia
en cuestión, como de la ejecución posterior de una técnica o procedimiento
médico.
1.2- Métodos para medir la competencia y la curva de aprendizaje.
A lo largo de la historia se han desarrollado algunas herramientas para intentar
medir si un proceso se encuentra “dentro o fuera de control”, en el caso de hablar
en términos militares o industriales o, si se está realizando con los “resultados
satisfactorios”, en el caso de hablar con términos médicos o sanitarios.
La metodología que se ha utilizado para evaluar la competencia van desde lo
puramente observacional a lo observacional basado en imágenes de
intervenciones por ejemplo, evaluadas de forma ciega por varios expertos
(Sarkiss A et al, 2016), como en los procesos de neurocirugía; o a la utilización
de simuladores quirúrgicos (los cuales fueron inventados en el terreno
fundamentalmente militar) (Rudderow J et al, 2014). Existen trabajos donde se
entrena a los profesionales con modelos animales y se evalúa la competencia
tras haber realizado un número de horas de entrenamiento determinadas (Braga
et al, 2007).
Sin embargo, casi todas las metodologías utilizadas, o se basan en medir áreas
puramente teóricas o, como los anteriores, en la evaluación subjetiva de
15
expertos, la cual no deja de estar exenta de la fijación de estándares cuya
adquisición no puede ser medida de forma objetiva.
Es por ello que sería útil recurrir a herramientas y técnicas matemáticas y/o
estadísticas como se hace con la Metodología de Sumación Cumulativa
(Cumulative Summation Metholody; CUSUM), la cual fue una de las
herramientas estadísticas desarrolladas durante la II Guerra Mundial para medir
si la munición estaba siendo correctamente producida durante su cadena de
producción.
La Metodología CUSUM consiste en aplicar una herramienta estadística
desarrollada para monitorizar de forma continua un proceso industrial, siendo
capaz de identificar pequeñas desviaciones de un predeterminado nivel previo
de competencia. En los últimos años, la Metodología CUSUM ha sido también
introducida para supervisar algunos procesos de la industria de la salud (Biau,
Porcher et al. 2008; Kemp, El Batrawy et al. 2010; Hwang, Yoo et al, 2012). Lo
más importante de esta herramienta de análisis de fallos es que nos dota de una
información cualitativa acerca del correcto desarrollo o no de un proceso
realizado por un individuo en formación o por un experto pero no nos informa
sobre el número de casos que son necesarios para que el individuo aprenda a
realizar una determinada técnica o procedimiento médico.
16
Biau et al 2007
Ejemplo de una curva CUSUM donde el individuo pierde competencia a partir del proceso
realizado en el paciente nº 53. En este caso se monitorizaba la muerte pediátrica tras una
intervención cardíaca.
Como consecuencia de todo el razonamiento anterior, fue necesario desarrollar
otras herramientas estadísticas proporcionaran una información cuantitativa,
como es el caso de la herramienta CUSUM aplicada a la curva de aprendizaje
(Cumulative Summation test for Learning Curve; LC-CUSUM). El LC-CUSUM es
una herramienta estadística más reciente, basada en las previamente explicadas
curvas de detección de fallos CUSUM. Las curvas LC-CUSUM permiten la
evaluación cuantitativa e individual de la curva de aprendizaje de un determinado
proceso (Biau, Williams et al. 2008). Por lo tanto, la monitorización de cómo está
desarrollando la técnica el individuo en formación es una realidad que podemos
aplicar en nuestra actividad clínica.
17
Biau et al, 2010
Curva que muestra el aprendizaje de tres individuos en formación en una unidad hospitalaria. El
aprendizaje se alcanza cuando la curva atraviesa a línea discontinua.
18
Biau et al, 2008
Gráfica que representa la curva individual de aprendizaje LC-CUSUM seguida de la curva de
mantenimiento de competencia CUSUM a partir del procedimiento nº 79.
Si explicamos de una forma sencilla el razonamiento y los cálculos matemáticos
que sustentan la construcción de ambas curvas debemos tener en cuenta los
siguientes aspectos:
1.- La curva CUSUM detecta una ejecución que esté fuera de control por lo que,
fuera de esta circunstancia, se considera que la ejecución es correcta. El objetivo
de CUSUM es identificar la necesidad de suspender un proceso cuando éste se
19
encuentra “fuera de control”, es decir, fuera de un nivel predeterminado de
aceptación.
2.- La curva LC-CUSUM es, como dicho anteriormente, una modificación de las
curvas CUSUM diseñada para determinar cuándo se alcanza un nivel
predeterminado de competencia, reduciendo los riesgos de un aprendizaje
incompleto cuando un nuevo operador se inicia en un proceso complejo (Biau et
al., 2008). Cuando un operador comienza un nuevo proceso, por definición, se
encuentra o se considera que está “fuera de control” hasta que el alumno alcance
el nivel de competencia predeterminado. Las curvas LC-CUSUM monitorizan el
proceso mientras que éste esté fuera de control hasta que esté bajo control.
Esta metodología ya ha sido utilizada en procesos médicos como la intubación
orotraqueal (Correa et al., 2009), la colangiopancreatografía retrógrada (Biau et
al., 2008), la vitrificación de embriones (Desolle et al., 2010), la ecografía
diagnóstica en obstetricia (Balyste et al, 2010), en procesos quirúrgicos como la
ablación por láser por fetoscopia (Papanna et al, 2011) o en el curso de procesos
obstétricos como el parto (Rozenberg et al, 2008).
Para la construcción de las curvas LC-CUSUM se siguen generalmente las
indicaciones y recomendaciones estipuladas actualmente (Biau and Porcher,
2010). La puntuación LC-CUSUM se calcula en cada proceso (t) como: St= min
(0,St - 1 + Wt), con W = log ((1 - p0)/ (1- p0 - d)) para un éxito y como W = log
(p0/p0 + d) en caso de fallo; p0 = tasa de fallo aceptable; d = desviación aceptada
de una ejecución aceptable que deba ser detectada.
St se especifica en el eje-y contra los sucesivos procesos que son especificados
en el eje-x. Siempre que la puntuación/curva permanezca en la región de
continuación, es decir, entre el eje-x y el límite de decisión (hLC), no se puede
20
considerar que la ejecución es aceptable y la monitorización continúa. Con la
acumulación de éxitos, la curva desciende hasta que cruza el límite hLC,
momento en el que se declara la competencia. Las curvas LC-CUSUM
incorporan una barrera de contención en el 0 que no puede ser cruzada, de forma
que la puntuación o curva continúa en el 0 aunque el alumno acumule sucesivos
fallos. Esto permite que el test tenga respuesta inmediata a la ejecución
eventualmente correcta del alumno.
Los niveles o tasas de aceptación (proceso dentro de control) o de no aceptación
(fuera de control) se fijan a priori según los criterios de expertos en la técnica y
de acuerdo con las tasas genéricas de éxito o de competencia que se quieren
alcanzar en el centro concreto con respecto a una técnica concreta. La
desviación aceptada de ejecución que se debe detectar (d) se fija en 0.1.
Bajo ambos escenarios (dentro y fuera de control), se lleva a cabo generalmente
una simulación de 10000 replicaciones de 50 procesos para seleccionar el valor
hLC, optimizando los ratios o tasas de error: un valor h de 1.5, por ejemplo,
resulta en un riesgo del 3.1% de declarar competencia en un escenario de un
caso fuera de control ( ratio de falso descubrimiento (FDR)) y un riesgo del 77.4%
de declarar competente en un escenario de un caso dentro de control (ratio de
verdadero descubrimiento (TDR)).
Una vez alcanzada la competencia, la curva CUSUM analiza su mantenimiento
mediante el test de la hipótesis nula de que el proceso está bajo control (ratio o
tasa de fallo aceptable) contra la hipótesis alternativa de que el proceso está
fuera de control (ratio o tasa de fallo no aceptable).
Gráficamente, la curva CUSUM incrementa o sube con la acumulación de fallos
hasta que cruza el límite hc donde la falta de ejecución aceptable es declarada.
21
Para CUSUM, un límite de h = 3.6 elegido basado en 10000 replicaciones
simuladas significa que el riesgo de declarar una ejecución no aceptable cuando
sí es aceptable (error tipo I) es de 7.4% y el riesgo de no declarar no aceptable
una ejecución cuando efectivamente sí lo es (error tipo II) es de 11.9% sobre 50
procedimientos.
1.3.- Necesidad de implementar curvas de aprendizaje en la aplicación de
las técnicas reproducción asistida.
Prácticamente en todas las especialidades de la medicina se deben aplicar
tratamientos o técnicas que requieren una curva de aprendizaje hasta adquirir
competencia y que, incluso, detecten aprendices que no llegan a alcanzar
competencia, pudiendo llegar a poner en riesgo a los pacientes si se les deja
actuar.
La Reproducción Humana Asistida es una de las especialidades de la Medicina
que cuenta con muchos procesos tecnológicos en cualquiera de sus tratamientos
y procesos, los cuales abarcan desde los actos médicos quirúrgicos o que
requieran una intervención manual a los de laboratorio de embriología.
Todos los procesos manuales, donde existe un alto componente operador
dependiente, son muy delicados no solo de enseñar (puesto que requiere la
intervención en la fase de enseñanza por parte del operador más hábil y con
mejores resultados), sino de aprender, ya que necesita no solo de habilidades
puramente intelectuales, sino manuales.
22
Es por ello crucial, monitorizar la curva de aprendizaje y el mantenimiento de la
competencia de los aprendices, como mínimo de los procesos o intervenciones
que consideremos como primordiales y donde la acción el operador pueda tener
un impacto importante en el resultado. Algunos ejemplos pueden ser la
foliculometría o seguimiento ecográfico durante un ciclo de estimulación ovárica
(automática o no) (Forman et al, 1991; Raine-Fenning et al 2010, Wittmaack et
al, 1994), la punción ovárica para extraer los óvulos del ovario (por el número de
óvulos obtenidos y su relación con la tasa de embarazo) (Sunkara et al, 2011),
la transferencia embrionaria (Desparoir et al, 2011), algunos procesos de
laboratorio como la ICSI (Scott et al, 2014) y otros procesos que sean
susceptibles de ser medidos mediante esta herramienta.
Las curvas LC-CUSUM ya han sido utilizadas para evaluar las curvas de
aprendizaje en algunos procesos médicos en reproducción asistida (Dessolle,
Biau et al. 2009; Bazot, Darai et al. 2011; Goldman, Moon et al. 2011). No
obstante, esta práctica está poco desarrollada, por lo que abogamos por su
implementación sistemática en los programas de formación y control en las
Unidades de Reproducción.
23
1.4.- La aplicación de las curvas LC-CUSUM y CUSUM facilita la extensión
de la realización de las técnicas por personal paramédico.
Es harto sabido la importancia del coste-efectividad en las unidades de gestión,
cualquiera que sea su dominio, siendo la medicina un ámbito que no se escapa
a ello.
El hecho de tener herramientas objetivas de medida de alcance y mantenimiento
de competencia nos permite enseñar a personal paramédico a aplicar ciertas
técnicas. Todo ello redunda en la posibilidad de hacer una carrera profesional, a
la vez que reducir los costes de la unidad de reproducción, con igual satisfacción
de nuestros pacientes si sabemos elegir con inteligencia y cautela los momentos
en los que interviene el personal paramédico y en los que la intervención del
médico no deba ser sustituida por otras personas.
Es cierto que nuestros pacientes, dependiendo del medio cultural donde
desarrollemos nuestra actividad, no siempre se encuentran preparados o
abiertos para ser atendidos por personal de enfermería y no por médicos en
ciertos procesos. Sin embargo, hay algunos procesos en los que, tanto para el
paciente como para la unidad de reproducción, cuando son extendidos al
personal de enfermería, son muy bien acogidos y generan un alto grado de
satisfacción consiguiendo una vinculación del paciente con personas del equipo
que pueden llegar a ser más accesibles para el paciente que el propio médico
24
(Hampton 2016, Stern 2015). En la era de internet es importantísimo mejorar la
comunicación profesional-paciente. (Hou 2010).
Las curvas LC-CUSUM y CUSUM nos podrían también ayudar a verificar de
forma objetiva la adquisición de competencia también de ciertos colectivos
sanitarios paramédicos. No existe literatura al respecto pero, al ser dos
herramientas de medida objetivas de curvas de aprendizaje y de mantenimiento
de competencia, respectivamente, es lógico pensar que es extrapolable el uso a
estos colectivos.
Es evidente que aquellos procesos que requieran una interpretación más
cualificada durante la realización de los mismos no podrán ser sometidos a
extensión al personal paramédico. Sin embargo, hay algunos gestos muy
técnicos, manuales y altamente repetitivos que pueden ser considerados como
extrapolables a estos colectivos.
Es necesario destacar que en la aplicación de las técnicas o procedimientos
médicos, la utilización de instrumentos que permitan a priori de obtener medidas
lo más exactas posibles, facilitarán enormemente no solo la curva de aprendizaje
sino la extrapolación a colectivos con menor grado de formación.
Un ejemplo claro de esto es la foliculometría realizada con ecografía transvaginal
con tecnología convencional 2D vs 3D con volumetría (Raine- Fenning N et al,
2008 y Rodriguez-Fuentes A et al 2010). Con una alta probabilidad, la segunda
sería mucho más fácil de aprender por personas sin una experiencia previa en
ecografía, dado el automatismo y la facilidad en la toma de las medidas, además
de las ventajas ofrecidas por la técnica en sí dado su eficacia, ganancia de
tiempo y menor variabilidad inter e intraobservador (Deb S et al, 2009, 2011;
25
Raine- Fenning et al, 2003, 2004, 2007, 2009; Jayaprakasan K et al, 2007;
Murtinger M et al, 2009; Salamana S et al, 2010; Shmorgun d et al, 2010).
26
2.- JUSTIFICACIÓN Y OBJETIVOS
27
2.- JUSTIFICACIÓN Y OBJETIVOS
Destacado el hecho de que es conveniente implementar herramientas
estadísticas que permitan medir la adquisición y mantenimiento de la
competencia frente a los métodos tradicionales de evaluación, pasaremos a
evaluar los distintos trabajos que han sido realizados para apoyar el mismo.
Hipótesis:
La hipótesis de este trabajo es que el aprendizaje de determinadas técnicas de
reproducción asistida puede ser monitorizado objetivamente, mediante curvas
LC-CUSUM, permitiendo la formación individualizada en dichas técnicas y la
optimización de los recursos en una unidad de reproducción.
Finalidad:
La finalidad de este trabajo es implementar medidas de control del aprendizaje y
mantenimiento de la competencia de los procesos y técnicas que consideramos
que pueden tener mayor impacto en los resultados de nuestros pacientes,
sistematizando el proceso de forma que el modelo propuesto pueda ser
extrapolado a otras unidades de reproducción que pudieran estar interesadas en
ello.
28
Objetivo general:
El objetivo de este trabajo es evaluar la implementación de herramientas
estadísticas que midan la curva de aprendizaje y mantenimiento de la
competencia en una unidad de reproducción como método de alcanzar altos
estándares de calidad en la asistencia de los pacientes por parte de los equipos
médico y paramédico.
Objetivos específicos:
1.- Evaluar la curva de aprendizaje de la ecografía 3D transvaginal con SonoAVC
aplicada en foliculometría en médicos previamente expertos en foliculometría por
ecografía 2D transvaginal tradicional.
2.- Demostrar que la curva de aprendizaje es individual, es decir, varía de
individuo a individuo.
3.- Demostrar que el número de repeticiones requeridas hasta alcanzar el
aprendizaje es asumible por una unidad de reproducción.
4.- Evaluar las curvas de aprendizaje de la realización de transferencias
embrionarias de médicos especialistas sin previa experiencia en la aplicación de
la técnica.
5.- Demostrar que existen factores externos que no dependen del individuo ni de
las habilidades del mismo que impactan en la curva de aprendizaje y en el
mantenimiento de la competencia.
6.- Demostrar que es necesario el control de mantenimiento de la competencia,
sobre todo en el período inmediatamente posterior a la adquisición de la misma.
29
7.- Demostrar que medidas correctivas aplicadas pueden volver a hacer
competente a un individuo que ha perdido la competencia.
8.- Evaluar la curva de aprendizaje de enfermeras sin previa experiencia en
ecografía transvaginal en la aplicación de la foliculometría transvaginal 3D.
9.- Demostrar que el personal paramédico puede aprender técnicas
clásicamente restringidas a médicos.
10.- Demostrar que las enfermeras pueden aprender la foliculometría 3D en un
período razonable de tiempo.
Para llevar a cabo esta investigación hemos realizado tres estudios, cuyo diseño
y resultado se describen a continuación.
30
3.- RESULTADOS
31
3.- RESULTADOS
3.1 ESTUDIO 1: Estudio prospectivo sobre curvas de aprendizaje
de foliculometría 3D en ginecólogos expertos en ecografía
transvaginal 2D.
“Learning Curves in 3-Dimensional Sonographic Follicle Monitoring
During Controlled Ovarian Stimulation”
Amelia Rodriguez, Juan José Guillén, María Jesús López, Rita Vassena, Oriol
Coll, Valérie Vernaeve.
Impact factor: 1.544: Q2 dentro la especialidad Medicine (miscellaneous).
32
RESUMEN:
INTRODUCCIÓN
La foliculometría durante un ciclo de estimulación ovárica tiene como objetivo el
obtener un número adecuado de ovocitos maduros para su posterior fertilización.
A ello hay que añadir que durante los últimos años la ecografía 3D ha irrumpido
en nuestra práctica diaria. Concretamente, la ecografía 3D y la foliculometría
volumétrica han demostrado aportar beneficios en cuanto a disminución de
tiempo de exposición a los ultrasonidos y a una mejora de la exactitud de las
medidas tomadas. Esto último es crucial para decidir el momento de la descarga
madurativa del ciclo y, por lo tanto, para optimizar los resultados del ciclo de
estimulación.
OBJETIVO:
Evaluar las curvas de aprendizaje de ecografía transvaginal 3D con
foliculometría volumétrica por SonoAVC en ginecólogos expertos en ecografía
transvaginal 2D en una unidad de reproducción.
MÉTODOS:
Se realizó un estudio prospectivo observacional donde se incluyeron 3
ginecólogos en formación en una unidad de reproducción asistida. Se realizaron
ecografías a donantes de óvulos durante su ciclo de estimulación ovárica.
33
Dos ginecólogos expertos en reproducción y en ecografía 3D fueron reclutados
para participar en un periodo de formación teórica y observacional inicial con los
ginecólogos. El período de formación duró una semana y fue realizado a nivel
individual para explicar el funcionamiento y manejo del software SonoAVC. Una
vez completado este período, los ginecólogos en formación fueron emparejados
con el mismo experto durante todo la duración de su formación de forma que la
donante era escaneada en primer lugar por el experto y a continuación por el
ginecólogo en formación.
Curvas LC-CUSUM fueron aplicadas para cada uno de los ginecólogos en
formación y se consideraba que había conseguido la competencia en
foliculometría 3D cuando las curvas de aprendizaje individuales para los folículos
de ≥10mm, ≥14mm, ≥18mm y ≥21mm respectivamente habían sido adquiridas.
RESULTADOS:
98 donantes fueron incluidas en el estudio. No hubo diferencias en las
características de base de las donantes entre los grupos de los 3 ginecólogos en
formación, salvo la edad media de uno de los grupos: las pacientes del grupo del
ginecólogo B eran ligeramente mayores que la del ginecólogo C (28.4±4.3 vs
25.1±5.3 respectivamente) sin que esto tenga ningún impacto en los resultados
dada la edad joven de las mismas en ambos rangos.
Los tiempos medios de adquisición y de postproceso obtenidos por los expertos
fueron menores a respectivos obtenidos por los ginecólogos en formación (49
segundos y 2 min con 20 segundos respectivamente versus 1min con 5
segundos y 3 minutos con 19 segundos respectivamente).
34
En cuanto al número de escáners necesarios para adquirir competencia para
cada uno de los diámetros foliculares (≥10, ≥14, ≥18, and ≥21mm) obtenemos
los siguientes resultados: las curvas LC-CUSUM para el ginecólogo en formación
A indicó una necesidad de 24 a 38 escáners para adquirir competencia: 38 para
folículos ≥10mm, 29 para los de ≥14 mm, 24 para los de ≥18mm y 29 para los
de ≥21mm respectivamente.
Para el ginecólogo en formación B, las curvas de aprendizaje indicaron de 19 a
32 escáners: 32, 28, 19 y 19 respectivamente para cada tamaño folicular y para
el ginecólogo en formación C, el número de ecografías fue de 24 a 28 para
aprender todo el proceso: 28, 28, 27 y 24 respectivamente para cada diámetro
folicular.
DISCUSIÓN:
La foliculometría por 3D-SonoAVC durante los ciclos de ovulación se está
haciendo cada vez una herramienta de trabajo más popular en las unidades de
reproducción. Ello hace mandatorio el poner en marcha las medidas de control
necesarias para garantizar el buen aprendizaje y aplicación de dicha técnica.
Esta novedosa técnica de traqueo folicular ha demostrado ya su superioridad
con respecto al control ecográfico 2D convencional en cuanto a ahorro de tiempo,
mayor reproducibilidad intraobservador y exactitud de las medidas obtenidas tras
su aplicación.
Por otro lado, sabemos la importancia que tiene el realizar un buen control de los
ciclos de estimulación ya que, de los diámetros de los folículos en el momento
de la descarga, dependen los resultados obtenidos en cuanto al número de
35
óvulos maduros además de las precauciones a tener en cuenta de cara a
prevenir el síndrome de hiperestimulación ovárica, cuando éste puede ser
sospechado por un alto contaje de folículos presentes el día de la descarga.
Los resultados obtenidos en cuanto a las diferentes curvas de aprendizaje de los
ginecólogos en formación demuestran que la competencia para desarrollar una
determinada técnica se alcanza de forma diferente en los distintos alumnos. El
hecho de solicitar diferentes curvas de aprendizaje dentro de un mismo individuo
para alcanzar la competencia fue pensado en pro de garantizar que los
elementos más cruciales de un ciclo están siendo monitorizados: aquellos que
pueden tener relación con las complicaciones médicas posteriores y otros que
tienen relación con la eficiencia de un ciclo de estimulación.
Evidentemente, este resultado individual puede estar determinado tanto por
factores intrínsecos a las capacidades del alumno, como a externos, debidos a
la metodología utilizada para enseñar como a factores no controlables como, por
ejemplo, la cadencia entre las repeticiones de las técnicas durante el período de
aprendizaje. No obstante, y con independencia de la causa o caudas que genere
la curva de aprendizaje individual final, lo importante es tener una medida
objetiva de evaluación de la adquisición de la competencia que nos permita
garantizar a nuestros pacientes y a nuestras unidades médicas que cuenta con
personal cualificado.
Learning Curves in 3-DimensionalSonographic Follicle Monitoring During Controlled Ovarian Stimulation
he main objective of any controlled ovarian stimulation pro-tocol is to obtain an adequate number of mature oocytes.Folliculometry, the sequential sonographic monitoring of
both the number and dimensions of the follicular cohort, is used todetermine the moment to trigger ovulation. Optimization of sono-graphic monitoring is therefore crucial to improve stimulationresults. Folliculometry is traditionally performed by 2-dimensional(2D) sonography. As the follicles in the cohort grow and lose theirspherical shape, the accumulation of errors in measuring diametersincreases.1,2 Alternatively, folliculometry can be performed by 3-dimensional (3D) sonography.3,4 Follicular tracking by 3D sono-graphically based automated volume calculation (SonoAVC; GEHealthcare, Zipf, Austria) is comparable to 2D sonography, both in
Amelia Rodriguez, MD, Juan José Guillén, MD, Maria Jesus López, MD, Rita Vassena, DVM, PhD,Oriol Coll, MD, PhD, Valerie Vernaeve, MD, PhD
Received May 3, 2013, from the Department ofAssisted Reproduction, Clinica Eugin, Barcelona,Spain (A.R., J.J.G., M.J.L., R.V., O.C., V.V.); andFundació Eugin, Barcelona, Spain (O.C., V.V.).Revision requested May 16, 2013. Revised manu-script accepted for publication August 9, 2013.
We thank Francesc Figueras, MD, andDavid J. Biau, MD, PhD, for statistical supportand Desiree Garcia, BS, for data and manuscriptrevision. This work was supported in part by fund-ing from Fundació Eugin.
Address correspondence to Rita Vassena,DVM, PhD, Clinica Eugin, Travessera de les Corts322, 08029 Barcelona Spain.
E-mail: [email protected]
AbbreviationsBMI, body mass index; LC-CUSUM,learning curve–cumulative summation;SonoAVC, sonographically based automatedvolume calculation; 3D, 3-dimensional; 2D,2-dimensional
T
©2014 by the American Institute of Ultrasound in Medicine | J Ultrasound Med 2014; 33:649–655 | 0278-4297 | www.aium.org
ORIGINAL RESEARCH
Objectives—Three-dimensional (3D) sonographically based automated volume cal-culation (SonoAVC; GE Healthcare, Zipf, Austria) is being introduced in folliculome-try during ovarian stimulation; however, clear training assessments in this techniqueare lacking. The learning curve–cumulative summation (LC-CUSUM) test provides aquantitative tool to determine when a trainee has learned a procedure. The aim of thisprospective study was to assess 3D SonoAVC LC-CUSUM curves in folliculometry.
Methods—Analyses were performed on 98 oocyte donors by capturing the ovarianimage in 3D and applying the 3D SonoAVC software during ovarian stimulation cycles.Each patient was scanned by an expert operator and by a trainee. Independent LC-CUSUM tests for 4 follicular diameters tracked the competency of 3 trainees in 3DSonoAVC.
Results—We found that the numbers of sonographic examinations required by the 3trainees to identify the correct number of follicles of 10 mm or larger were 38, 32, and28, respectively; for follicles of 14 mm or larger, they were 29, 28, and 28; for follicles of18 mm or larger, they were 24, 19, and 27; and for follicles of 21 mm or larger, they were29, 19, and 24.
Conclusions—A variable number of procedures are needed to reach proficiency in 3DSonoAVC, even for trained 2-dimensional sonographers. Assessment of learning curvesshould be implemented when incorporating 3D SonoAVC in reproduction units.
Key Words—cumulative summation; follicles; in vitro fertilization; learning curve; 3-dimensional sonography
doi:10.7863/ultra.33.4.649
3304jum557-712online_Layout 1 3/19/14 11:30 AM Page 649
Rodriguez et al—Learning Curves in 3D Folliculometry
J Ultrasound Med 2014; 33:649–655650
accuracy and in the number of mature oocytes obtainedafter oocyte retrieval.5,6 However, 3D sonography allowsfor shorter exploration times, which translates into highercomfort for the patient and less work time for the opera-tor.5,7 Moreover, 3D sonographic follicular volumes, cal-culated by 3D SonoAVC, show a higher correlation withthe actual volumes as measured by follicular fluid aspira-tion4,7 and with the number of expected mature oocytescollected.7,8 However, to our knowledge, no previous stud-ies have evaluated the learning curve for 3D follicular track-ing. This information is required before consideringincorporating this technology into medical practice.
The cumulative summation (CUSUM) test is a sta-tistical tool originally developed to continuously monitoran industrial process and to identify small deviations froma defined level of competency.9 Learning curve (LC)–CUSUM is a statistical analysis based on CUSUM failurecurves. Learning curve–CUSUM allows quantitative andindividual assessment of the learning curve,10 and it hasbeen used to assess when a trainee achieves competencyin diagnosing endometriosis and performing oocytecollection or vitrification.11–13 The application of the 3Dsonographic and 3D-SonoAVC technology, as for manymedical procedures, entails a learning curve, as using3D SonoAVC can be difficult even for experts in conven-tional 2D sonography.
The aim of this pilot study was to evaluate the charac-teristics of the learning curve of the 3D SonoAVC tech-nique in 3 reproductive medicine trainees. On the basis ofthe results, we discuss recommendations and pitfalls forthe introduction of 3D SonoAVC technology in assistedreproduction centers.
Materials and Methods
Study Population and Ethical ConsentThe study was performed at a large private fertility clinicbetween July 2011 and April 2012. Before its beginning,the study was submitted to and approved by the internalEthical Review Board, and informed consent was obtainedfrom all participants before enrollment. For each of the 3trainees, 50 consecutive oocyte donors were included inthis study, each during routine controlled ovarian stimula-tion, but since the LC-CUSUM test is calculated retro-spectively, the actual number of donors that were finallyneeded to achieve proficiency was lower (98 in total versus150 planned; Figure 1 and Table 1). To be included in thedonation program, donors had to be between 18 and 35years old and have a body mass index (BMI) between 18and 30 kg/m2. Further inclusion criteria specific for this
study were no history of ovarian surgery, absence ofendometriosis or another organic ovarian disorder,and presence of both ovaries. All donors underwent agonadotropin-releasing hormone antagonist stimulationprotocol (Cetrotide, 0.25 mg; Merck Serono Europe, Ltd,London, England) with either recombinant follicle-
Figure 1. Learning curve–CUSUM curves for the 3 assisted reproduc-
tion trainees (A–C). The x-axis shows the sequential number of proce-
dures performed during training; the y-axis shows the LC-CUSUM score
for each procedure. Circles indicates follicles of 10 mm or larger; squares,
follicles of 14 mm or larger; diamonds, follicles of 18 mm or larger; and
triangles, follicles of 21 mm or larger. The competency limit (h = 1.2) is
represented by the thick solid line at the bottom of each panel.
3304jum557-712online_Layout 1 3/19/14 11:30 AM Page 650
stimulating hormone (Gonal-F; Merck Serono Europe,Ltd) or highly purified human menopausal gonadotropin(Menopur; Ferring SAU, Madrid, Spain). Ovulation wastriggered by a gonadotropin-releasing hormone agonist(Decapeptyl, 0.2 mg; Ipsen Pharma SA, L’Hospitalet deLlobregat, Spain). All measurements in this study were per-formed before ovulation triggering.
Study Design All measurements in this prospective observational pilotstudy were performed starting from the second follicularcontrol (ie, from stimulation day 8 onward) of a controlledovarian stimulation cycle. Three reproductive medicinephysicians (A, B, and C), with no experience in 3D sonog-raphy but each with a minimum of 4 years experience inconventional 2D sonography, were recruited and consid-ered trainees for the new technique. The trainees were allphysicians with a specialization in obstetrics and gynecol-ogy and routinely performed follicular tracking by meansof 2D sonography. Two expert operators (D and E) werealso recruited to perform the initial theoretical (didactic,not hands-on) training and to follow each trainee in thesubsequent practical training.
The training consisted of an explanation of the use ofthe 3D module software on the ultrasound machine, themost important determinants for capturing an adequateimage for postprocessing, and a detailed explanation of thepostprocessing tools and algorithms available. The expertoperators had experience of 10,000 and 4500 ovarian stim-ulation cycles, respectively, with at least 1000 cycles foreach of them performed by 3D SonoAVC. Before thebeginning of the study, the trainees underwent a 1-weekobservational training period with one of the expert oper-ators to learn the 3D SonoAVC procedure and application.
During this period, which corresponded to 15 to 20 realcases observed for each, the trainees learned how to acquirethe ovarian volume, how to adjust the presets to obtain thebest ovarian 2D image, and how to use the cut/additionand growing functions if necessary once the SonoAVCfunction was implemented.
For the practical part of the study, the trainees werepaired with one of the experts. The pairs were A-D, B-E,and C-E. During the study period, the experts were blindedto the sonographic results obtained by the trainees and viceversa. Each donor included in the study was first scannedby the expert operator alone (both ovaries), and then theexpert left the room, and the trainee came in and per-formed the scan (both ovaries). Each donor was examinedonly once by each trainee. To minimize the “carryover”effect of expertise from the expert scan (sonographic set-tings), the expert started a new file at the end of his or herscan, thus resetting the system. After each scan, the captureof the ovarian volume was recorded, and SonoAVC wasperformed immediately afterward. The time for ovarian vol-ume acquisition and postprocessing was recorded in eachcase. Donors were recruited consecutively until the learningcurve of each trainee was completed.
Image Acquisition and AnalysisA Voluson i ultrasound system (GE Healthcare) was usedfor all sonographic analyses. This machine includes a 3Dmode and BT2009 3D SonoAVC software, in addition toa 2D mode. All sonographic scans were performed trans-vaginally using a 6.5-Mhz probe (RIC 5-9W-RS; GEHealthcare), which could be switched to the 2D or 3Dmode as required. The settings of the equipment were pre-set to provide the best 2D ovarian image at the moment ofimplementation of SonoAVC as follows: speckle reduc-
J Ultrasound Med 2014; 33:649–655 651
Rodriguez et al—Learning Curves in 3D Folliculometry
Table 1. Characteristics of the Oocyte Donors Included in the Study and Their Stimulation Cycles by Trainee Involved in the LC-CUSUM Test
Characteristic Overall Trainee A (n = 38) Trainee B (n = 32) Trainee C (n = 28)
Age, y 27.5 ± 5 27.6 ± 5.1a,b 28.4 ± 4.3b 25.1 ± 5.3a
(19–35) (21–34) (19–35) (19–35)
BMI, kg/m2 22.8 ± 3 23.5 ± 3.2 22.6 ± 2.6 22.6 ± 3.6
(17.6–29.9) (17.6–29.9) (18.3–28.7) (18.2–28.6)
Weight, kg 60.9 ± 9.8 63.7 ± 13.3 60.5 ± 8.1 59 ± 9.3
(45.7–98) (45.7–98) (47.2–78.1) (48.4–82.8)
Donation cycles, n 2.7 ± 1.9 2.36 ± 1.95 3 ± 1.8 2.36 ± 1.82
(1–6) (1–6) (1–6) (1–6)
Sonographic controls in study cycle, n 3.2 ± 0.9 3.3 ± 0.8 3.3 ± 0.5 3.2 ± 0.6
(2–5) (2–5) (2–5) (2–5)
Follicles counted in each control, n 27.6 ± 16 29.4 ± 15.3 22.1 ± 18.2 20.6 ± 14.7
(3–34) (7–65) (1–55) (1–69)
Data are presented as average ± SD (range).a,bStatistically significantly different values (P < .05).
3304jum557-712online_Layout 1 3/19/14 11:30 AM Page 651
tion imaging, 2; gain, –5; compound resolution imagingfilter, 3; CrossXBeam compound resolution imaging, high;enhance, medium; harmonics, high; and acquisition angle,146°. However, if the ovarian volume did not allow appli-cation of SonoAVC correctly or if the postprocessing pro-cedure was too complex, the presets were adjusted eitherwith the auto function or manually to obtain an 2Dgrayscale ovarian image more suitable for 3D SonoAVC.The ovarian volume capture was then repeated. Theregion-of-interest box was always placed so that it includedthe whole ovary before performing the ovarian volumecapture. SonoAVC was applied immediately afterward. Incases in which 3D SonoAVC failed to identify a follicle, 2Dfollicular measurements were performed by a multiplanarview. The caliper was placed in the internal wall of the fol-licle, and the median of the two main perpendicular diam-eters was calculated.
Statistical AnalysisThe criteria for a successful measurement were set a priorias follows: (1) difference between the expert and thetrainee of 3 or fewer follicles in counting follicles of 10 mmor larger; (2) difference of 2 or fewer follicles for follicles of14 mm or larger; (3) no difference for follicles of 18 mm orlarger; and (4) no difference for follicles of 21 mm or larger.
The LC-CUSUM test is a statistical analysis based onCUSUM failure curves; CUSUM failure analysis providesqualitative information about a learning procedure or aprocess, but it will not give the number of cases that areneeded to learn a specific procedure or technique. For thisreason, LC-CUSUM curves have been developed; this sta-tistical tool allows quantitative and individual assessmentof the learning curve, and it can be used to assess profi-ciency in a medical procedure, among others. Learningcurve–CUSUM curves assume that the proficiency of atrainee is not adequate and assesses when a predetermineddecision limit (h) is reached. The decision limit representsthe point when the trainee has reached proficiency in thetask, and is therefore considered trained. A built-in holdingbarrier, where the trainee curve cannot cross the 0 line,ensures that a lack of proficiency does not affect the possi-bility of ultimately reaching proficiency too heavily, evenafter a long series of failures. The LC-CUSUM curve isupdated with the outcome of every new procedure, theresult being a personalized monitoring of proficiency,which is valid for the specific trainee.
For the LC-CUSUM test, we adhered to currentmethodological recommendations.14 In brief, the LC-CUSUM score (S) was calculated at each procedure (t) asSt = min(0, St – 1 + Wt), where W if successful measurement
= log [(1 – p0)/(1 – p0 – ð)]; W if unsuccessful measure-ment = log[p0/(p0 + ð)]; p0 was an acceptable failure rate;and ð was acceptable deviance from adequate performanceto be detected.
St was plotted on the y-axis against the successive pro-cedures on the x-axis. As long as the score remains in thecontinuation region, namely between the x-axis and thedecision limit (h), performance cannot be consideredacceptable, and monitoring continues. With accumulationof successes, the score decreases until it crosses the limit hwhere competency is declared. Learning curve–CUSUMincorporates a holding barrier at 0 that cannot be crossed,and the score remains at 0 if the trainee accumulatesnumerous successive failures. The acceptable (process incontrol) and unacceptable (process out of control) failurerates were a priori set at 0.15 and 0.30 by a panel of 4experts in 3D folliculometry after an internal interobserverstudy (A.R. and J.J.G., unpublished data). Under both sce-narios, a simulation of 10,000 replicates of 50 procedureswas performed to select the h value that optimized type Iand II errors: an h value of 1.2 resulted in a risk of 18.3% ofdeclaring competency in an “out-of-control” scenario (typeI error) and a risk of 15.8% of not declaring competencyin an “in-control” scenario (type II error). Table 2 showstype I and II errors for h values between 0.5 and 1.5 at inter-vals of 0.1.
All statistical analyses were performed with VisualBasic for Applications in Microsoft Excel 2007 software(Microsoft Corporation, Redmond, WA). Differencesbetween trainees in patient anthropomorphic characteris-tics and numbers of scans during the current and previousin vitro fertilization cycles were tested by 1-way analysis ofvariance, nonparametric Kruskall-Wallis H, and Pearsonχ2 tests, respectively (Table 1).
Rodriguez et al—Learning Curves in 3D Folliculometry
J Ultrasound Med 2014; 33:649–655652
Table 2. Type I and II Errors at Different Possible Decision Limit Cut-
off Values
Cutoff I Error, % II Error, %
0.5 90.6 0.1
0.6 78.7 0.3
0.7 65.8 1.2
0.8 49.8 3.2
0.9 38.2 6.1
1 28.1 9.4
1.1 20.6 13.2
1.2a 15.8 18.3
1.3 10 24.1
1.4 7.2 29.5
1.5 4.8 34.7
aValue chosen for this study.
3304jum557-712online_Layout 1 3/19/14 11:30 AM Page 652
Results
Population Study A total of 98 donors were included in the study after givinginformed consent. Table 1 shows the baseline characteris-tics of all the women who were included. Of note, the aver-age number of sonographic scans for each study cycle was3.2, and during each of them, an average 13.8 follicles perovary were measured and classified. There were no differ-ences in the group of donors scanned by the 3 trainees,with one exception: the patients of trainee B were slightlyolder than those of trainee C (28.4 ± 4.3 versus 25.1 ± 5.3years, respectively). Within this age range, the differencesare of no medical importance, nor have they been reportedto affect ovarian multifollicular growth.
Acquisition and Postprocessing TimesThe average image acquisition times for each patient were49 seconds for the experts and 1 minute 5 seconds for thetrainees. Postprocessing of the acquired images was per-formed in an average time of 2 minutes 20 seconds by theexperts and 3 minutes 19 seconds by the trainees.
Learning Curve LengthFigure 1 shows the learning curves of the 3 trainees for eachset of follicle measurements (≥10, ≥14, ≥18, and ≥21 mm).For trainee A (Figure 1A), LC-CUSUM indicated a needfor 24 to 38 scans to complete the learning curve: 38 forfollicles of 10 mm or larger, 29 for follicles of 14 mm orlarger, 24 for follicles of 18 mm or larger, and 29 for folliclesof 21 mm or larger. Trainee B (Figure 1B) needed 19 to32 scans: 32, 28, 19, and 19 for each follicular size, respec-tively. Finally, trainee C (Figure 1C) needed 24 to 28 scansto learn the procedure: 28, 28, 27, and 24, respectively.
Discussion
The growing popularity of 3D SonoAVC in assisted repro-duction units makes it mandatory that assessment meas-ures are implemented to ensure correct application of theassisted reproduction techniques, and the use of LC-CUSUM curves represents an interesting tool for this pur-pose. In this study, we focused on the training needed touse 3D SonoAVC for correctly measuring follicular sizesrelevant to assisted reproduction techniques: follicles of 10mm or larger (total follicular number), which give infor-mation about the estimated risk of ovarian hyperstimula-tion syndrome15; follicles of 14 mm or larger, which are usedto estimate the number of expected mature oocytes atretrieval16,17; and follicles of 18 mm or larger, which are used
to determine the time of ovulation triggering.18,19
Follicles of 21 mm or larger, although of no immediatemedical importance, were analyzed to provide a measure ofthe ability of each trainee to evaluate large structures that canbe found on the ovary at the end of the stimulation periodand that, because of their size, can have a certain degree ofdeformation by compression from nearby follicles.
Donors represent a population with a more elevatedrisk of ovarian hyperstimulation syndrome, as they includewomen with a normal ovarian reserve, a lower BMI, and agood response to stimulation protocols. Therefore, accu-rate follicular tracking must be performed to diminish theprobability of a high response, with a subsequent increasedrisk of hemoperitoneum and ovarian torsion after oocyteretrieval,20 and to have accurate information about theexpected number of mature oocytes. Our results nonethe-less can be extrapolated to the general population of in vitrofertilization patients, for whom the risk of ovarian hyper-stimulation syndrome is also present and the use ofSonoAVC during follicular tracking has proven to be assuccessful as conventional 2D sonography in collectingmature oocytes and determining pregnancy rates.21
Application of 3D SonoAVC requires a learningcurve. We used LC-CUSUM curves to assess when atrainee achieved competency in follicular tracking. Thesecurves have been used to assess the acquisition of compe-tency in assisted reproduction procedures such as vitrifi-cation, oocyte retrieval, and embryo-transfer12,13; however,to our knowledge, no previous studies have investigatedthe application of 3D SonoAVC in follicular tracking.Assisted reproduction units may determine whether it isnecessary that trainees achieve proficiency for every follic-ular size to consider them fully trained. We think that learn-ing curves for follicular sizes of 10 mm or larger, 14 mm orlarger, 18 mm or larger, and 21 mm or larger should at leastbe achieved before a trainee is considered competent. Insome reproduction units, however, the number of expectedmature oocytes may be calculated by using the number offollicles of 15 mm or larger and triggering criteria with fol-licles of 17 mm or larger or 20 mm or larger. We computed4 different LC-CUSUM graphics for each trainee, corre-sponding to each follicular size, and learning was consid-ered complete when competency was achieved in all sizes.Since the training was integrated in the operations of theassisted reproduction unit, not every trainee was able to gothrough training with the same continuity. Interestingly,this fact did not seem to have an impact on the duration/length of the learning curve, which might have been dueto the fact that all trainees were already highly proficient in2D sonography and thus probably less likely to have train-
J Ultrasound Med 2014; 33:649–655 653
Rodriguez et al—Learning Curves in 3D Folliculometry
3304jum557-712online_Layout 1 3/19/14 11:30 AM Page 653
ing discontinuities. Although this factor might be seen as aweak point in our study, it is also the most likely trainingscenario as clinics choose to phase out 2D analysis in favorof 3D sonography. Nevertheless, it would be interesting toassess whether the learning curve and pattern of traineesexposed directly to 3D sonography vary from our report.The number of scans needed to achieve competency wasalso quite heterogeneous among the 3 trainees for all fol-licular sizes. This result is somewhat counterintuitive, asone would expect larger follicles to be counted, on aver-age, more easily and therefore result in a shorter learningcurve. However, because of the high number of fluid-filledcavities changing the shape of the ovary and pressing oneach other, larger follicles, although easily identified, aremore likely to change shape and cause variations in thegrayscale image acquired, making the SonoAVC applica-tion more complex. In addition, a very high number offollicles on the ovary, regardless of size, could affect the cor-rect application of the method, thus producing heteroge-neous learning curves. Another reason for this result couldbe, quite simply, the individual trainee aptitude for per-forming the scans. However, for ethical as well as organi-zation reasons, the same donor could not be scanned byall trainees to test this hypothesis. Although the use of LC-CUSUM specifically allows for the individualized moni-toring of competency acquisition, in our study, we foundthat by procedure 40, all trainees had acquired compe-tency. This number of scans may be sufficient to reachcompetency when training with similar populations ofboth patients and trainees.
We acknowledge some weaknesses in this pilot study.Given its design, we should not extrapolate its findings topatient populations with BMIs greater than 30 kg/m2 andto personnel without previous experience in 2D sonogra-phy. The trainees in this study already had good experi-ence in 2D sonography before starting the training, andalthough this scenario is likely in in vitro fertilization units,it might nonetheless have an effect on the speed by whichthey become proficient in 3D folliculometry. The smallnumber of trainees, albeit similar to other studies of thiskind, might also have affected the outcome.
Three-dimensional SonoAVC is reproducible amongdifferent operators,21 which can be especially useful whenthe follicular tracking or the ovarian volume analysis is notperformed by the same operator, especially in patients ordonors with higher follicular counts; however, 2D sonog-raphy is also used successfully,22 especially in smaller unitsand where the same physicians are able to track folliclesalong the stimulation cycle. The relatively low number ofprocedures required to achieve competency by 2D-proficient
sonographers indicates that 3D SonoAVC is suitable formost reproductive centers with good case loads. Once theoperators have achieved competency in the procedure,CUSUM curves can be developed to assess whether it ismaintained.
References
1. Forman RG, Robinson J, Yudkin P, Egan D, Reynolds K, Barlow DH.What is the true follicular diameter: an assessment of the reproducibilityof transvaginal ultrasound monitoring in stimulated cycles. Fertil Steril1991; 56:989–992.
2. Penzias AS, Emmi AM, Dubey AK, Layman LC, DeCherney AH,Reindollar RH. Ultrasound prediction of follicle volume: is the meandiameter reflective? Fertil Steril 1994; 62:1274–1276.
3 Raine-Fenning N, Jayaprakasan K, Clewes J. Automated follicle trackingfacilitates standardization and may improve work flow. Ultrasound ObstetGynecol 2007; 30:1015–1018.
4. Raine-Fenning N, Jayaprakasan K, Clewes J, et al. SonoAVC: a novelmethod of automatic volume calculation. Ultrasound Obstet Gynecol 2008;31:691–696.
5. Raine-Fenning N, Jayaprakasan K, Deb S, et al. Automated follicle track-ing improves measurement reliability in patients undergoing ovarian stim-ulation. Reprod Biomed Online 2009; 18:658–663.
6. Deutch TD, Joergner I, Matson DO, et al. Automated assessment of ovar-ian follicles using a novel three-dimensional ultrasound software. FertilSteril 2009; 92:1562–1568.
7. Rodriguez-Fuentes A, Hernandez J, Garcia-Guzman R, Chinea E,Iaconianni L, Palumbo A. Prospective evaluation of automated folliclemonitoring in 58 in vitro fertilization cycles: follicular volume as a newindicator of oocyte maturity. Fertil Steril 2010; 93:616–620.
8. Shmorgun D, Hughes E, Mohide P, Roberts R. Prospective cohort studyof three- versus two-dimensional ultrasound for prediction of oocytematurity. Fertil Steril 2010; 93:1333–1337.
9. Bolsin S, Colson M. The use of the CUSUM technique in the assessmentof trainee competence in new procedures. Int J Qual Health Care 2000;12:433–438.
10. Biau DJ, Williams SM, Schlup MM, Nizard RS, Porcher R. Quantitativeand individualized assessment of the learning curve using LC-CUSUM.Br J Surg 2008; 95:925–929.
11. Bazot M, Darai E, Biau DJ, Ballester M, Dessolle L. Learning curve of trans-vaginal ultrasound for the diagnosis of endometriomas assessed by thecumulative summation test (LC-CUSUM). Fertil Steril 2011; 95:301–303.
12. Goldman KN, Moon KS, Yauger BJ, Payson MD, Segars JH, StegmannBJ. Proficiency in oocyte retrieval: how many procedures are necessaryfor training? Fertil Steril 2011; 95:2279–2282.
13. Dessolle L, Biau DJ, de Larouzière V, et al. Learning curve of vitrificationassessed by cumulative summation test for learning curve (LC-CUSUM). Fertil Steril 2009; 92:943–945.
Rodriguez et al—Learning Curves in 3D Folliculometry
J Ultrasound Med 2014; 33:649–655654
3304jum557-712online_Layout 1 3/19/14 11:30 AM Page 654
14. Biau DJ, Porcher R. A method for monitoring a process from an out ofcontrol to an in control state: application to the learning curve. Stat Med2010; 29:1900–1909.
15. Papanikolaou EG, Tournaye H, Verpoest W, et al. Early and late ovarianhyperstimulation syndrome: early pregnancy outcome and profile. HumReprod 2005; 20:636–641.
16. Wittmaack FM, Kreger DO, Blasco L, Tureck RW, Mastroianni L Jr,Lessey BA. Effect of follicular size on oocyte retrieval, fertilization, cleavage,and embryo quality in in vitro fertilization cycles: a 6-year data collection.Fertil Steril 1994; 62:1205–1210.
17. Trounson A, Anderiesz C, Jones G. Maturation of human oocytes in vitroand their developmental competence. Reproduction 2001; 121:51–75.
18. Kolibianakis E, Bourgain C, Albano C, et al. Effect of ovarian stimulationwith recombinant follicle-stimulating hormone, gonadotropin-releasinghormone antagonists, and human chorionic gonadotropin on endome-trial maturation on the day of oocyte pick-up. Fertil Steril 2002; 78:1025–1029.
19. Ghosh C, Buck G, Priore R, Wacktawski-Wende J, Severino M.Follicular response and pregnancy among infertile women undergoingovulation induction and intrauterine insemination. Fertil Steril 2003; 80:328–335.
20. Bodri D, Guillen JJ, Polo A, Trullenque M, Esteve C, Coll O. Complicationsrelated to ovarian stimulation and oocyte retrieval in 4052 oocyte donorcycles. Reprod Biomed Online 2008; 17:237–243.
21. Ata B, Seyhan A, Reinblatt SL, Shalom-Paz E, Krishnamurthy S, Tan SL.Comparison of automated and manual follicle monitoring in an unre-stricted population of 100 women undergoing controlled ovarian stimu-lation for IVF. Hum Reprod 2011; 26:127–133.
22. Raine-Fenning N, Deb S, Jayaprakasan K, Clewes J, Hopkisson J, Campbell B. Timing of oocyte maturation and egg collection duringcontrolled ovarian stimulation: a randomized controlled trial evaluatingmanual and automated measurements of follicle diameter. Fertil Steril2010; 94:184–188.
J Ultrasound Med 2014; 33:649–655 655
Rodriguez et al—Learning Curves in 3D Folliculometry
3304jum557-712online_Layout 1 3/19/14 11:30 AM Page 655
36
3.2 ESTUDIO 2: Estudio prospectivo sobre curvas de aprendizaje
de transferencia embrionaria en ginecólogos junior en
reproducción asistida.
“Individualized embryo transfer training: timing and performance”
María Jesús López, Désirée García, Amelia Rodríguez, Marta Colodrón, Rita
Vassena, Valérie Vernaeve.
Impact factor: 4.621: Q1 dentro de la especialidad Obstetrics and
Gynecology.
37
RESUMEN:
INTRODUCCIÓN:
La transferencia embrionaria es el último paso de un ciclo de fecundación in vitro
y, aunque la forma de ejecución ha variado a lo largo de los últimos años,
actualmente se encuentra bastante estandarizada en cuanto a su realización.
Es otro de los actos realizados en el curso de las técnicas de reproducción
asistida que son altamente operador dependiente en cuanto a que las
particularidades en su ejecución tendrán un efecto en sus resultados.
Es por ello que acentúa la necesidad de monitorizar al personal que está en
formación en nuestros centros de reproducción hasta garantizar que hayan
adquirido la competencia necesaria para realizar este acto y que ésta sea
mantenida a lo largo del tiempo.
OBJETIVO:
Evaluar las curvas de aprendizaje individual y la estabilidad de la competencia
en la ejecución de las transferencias embrionarias de los ginecólogos en
formación en un centro privado de reproducción asistida.
38
MÉTODOS:
Estudio prospectivo donde se incluyen 5 ginecólogos en formación en
reproducción asistida durante su primer año de subespecialización que nunca
habían realizado previamente una transferencia embrionaria.
Se incluyeron las transferencias en fresco tanto de ciclos de fecundación in vitro
con ovocitos propios como de donante y las transferencias de embriones
congelados procedentes igualmente tanto de pacientes que usaron sus propios
óvulos como óvulos de donante.
Fueron incluidas 586 transferencias embrionarias, las cuales fueron realizadas a
lo largo de 96 sesiones de transferencias (3-10 transferencias por sesión). Se
consideraron éxitos aquellas transferencias que resultaban en un test de
embarazo positivo en sangre a los 14 días postransferencia.
Previamente a la iniciación práctica, los ginecólogos en formación asistieron a
unas clases teóricas impartidas por parte del mejor operador para aprender el
protocolo que se sigue en la clínica en cuanto a la realización de las
transferencias y, de forma presencial y visual, asistieron a 20 transferencias
realizadas por ginecólogos expertos.
Una vez comenzada la curva de aprendizaje con transferencias a nivel práctico,
el ginecólogo en formación estaba supervisado (aunque sin intervención o
consejo teórico por parte del experto) por parte de un ginecólogo experto.
Las curvas estadísticas LC- CUSUM y CUSUM fueron aplicadas para para medir
el aprendizaje y el mantenimiento de la competencia respectivamente.
39
RESULTADOS:
Se analizaron 586 transferencias embrionarias consecutivas agrupadas en 96
sesiones. La media de intervenciones por sesión fue de 6 transferencias. Una
vez conseguida la competencia, cada ginecólogo en formación fue seguido
durante 50 transferencias embrionarias para verificar el mantenimiento de la
misma.
Los cinco ginecólogos en formación alcanzaron la competencia tras 15, 9, 7, 13
y 9 transferencias embrionarias respectivamente.
En cuanto al mantenimiento de la competencia, uno de los ginecólogos perdió
competencia en dos ocasiones durante el seguimiento por curva CUSUM tras
haber adquirido la competencia. Esto pudo deberse a dos cuestiones: a la mayor
proporción de embriones congelados en sus sesiones, lo que disminuyó la media
de tasa de embarazo de esa sesión, o al mayor intervalo pasado entre las
sesiones una vez adquirida la competencia.
En cuanto a la estabilidad de la competencia, se observa que, si pasan ≥10 días
entre sesiones inmediatamente tras haber adquirido competencia, esto tiene un
efecto negativo en la tasa de embarazo. Es decir, la tasa de embarazo media por
sesión pasa a ser del 20% comparada con la del 46,7% obtenida en sesiones
consecutivas con < de 10 días de intervalo.
40
DISCUSIÓN:
A lo largo este artículo se ponen de manifiesto, además las diferencias
interindividuales a la hora de aprender una técnica como la transferencia
embrionaria, que éste aprendizaje también puede variar, no solo dependiendo
de las habilidades personales, sino de las características del lugar o medio donde
se lleve a cabo del período de formación en sí mismo.
Esto queda de manifiesto tras comparar los resultados de nuestro estudio con el
ya realizado y publicado al respecto por Desolle ( Desolle et al, 2010) donde se
evidencia el mayor número de intervenciones necesarias para adquirir
competencia en la realización de las transferencias embrionarias.
A su vez y, probablemente lo más interesante de este artículo, sea poner el
acento en la necesidad de hacer controles posteriores de mantenimiento de la
competencia que nos permitan seguir tomando medidas correctivas a la vez que
poner especial énfasis en ayudar al aprendiz a consolidar su aprendizaje.
Hemos visto cómo los intervalos de más de 10 días sin hacer transferencias,
periodos de lapso que son comunes en nuestras unidades de actividad, pueden
tener un impacto negativo en los resultados si éstos se producen en el tiempo de
forma muy cercana al momento de haber adquirido la competencia. Este hecho
no se ha constatado en personal experto en períodos de inactividad superior de
30 días. Es por ello que es crucial no solo proporcionar las herramientas de
aprendizaje a nuestros alumnos, sino también los métodos para que éste sea
consistente en el tiempo.
ORIGINAL ARTICLE Infertility
Individualized embryo transfertraining: timing and performanceMarıa Jesus Lopez1, Desiree Garcıa2, Amelia Rodrıguez1,Marta Colodron1, Rita Vassena1,*, and Valerie Vernaeve1,2
1Clinica EUGIN, Barcelona 08029, Spain 2Fundacio Privada EUGIN, Barcelona 08029, Spain
*Correspondence address. Tel: +34-93-322-11-22; E-mail: [email protected]
Submitted on October 29, 2013; resubmitted on March 20, 2014; accepted on March 26, 2014
study question: How long is the individualized training and the stability of competence for the embryo transfer (ET) technique?
summaryanswer: The embryo transfer technique is easy-to-learn, hardly unlearned, and training should be individualized by monitoringwith learning curve-cumulative summation (LC-CUSUM) curves.
what is known already: Like many medical procedures, embryo transfer is an operator-dependent technique. Individualized or stan-dardized training of these medical procedures should be monitored to determine when competence is acquired.
study design, size, duration: This prospective, monocentric study involving five embryo transfer trainees was carried out betweenAugust 2011 and November 2012.
participants/materials, setting, methods: The study was carried out in a large private clinic. Five gynaecologist traineesduring their first year of assisted reproduction subspecialty performed embryo transfer for patients undergoing either fresh IVF, oocyte donor IVF,or frozen embryo transfer. There were 586 embryo transfers performed in 96 sessions of 3–10 embryo transfers each. An embryo transfer wasconsidered successful if it gave rise to a positive pregnancy test 14 days later. LC-CUSUM and cumulative summation (CUSUM) curves were usedto determine when competence was acquired and whether it wasmaintained over time, respectively. The length of time between two consecutivesessions was assessed for an effect on consolidation of the acquired competence.
main results and the role of chance: We observed that all five trainees became proficient in embryo transfer by procedure15 (after procedure 15, 9, 7, 13 and 9, respectively). Once competence was achieved, one of the five trainees showed a loss of proficiency. Afterhaving acquired competence, the median pregnancy rate per embryo transfer session was significantly lower when the interval between consecu-tive embryo transfer sessions was ≥10 days compared with ,10 days (20.0 versus 46.7%; P ¼ 0.006).
limitations, reasons for caution: The patient groups included in the study were heterogeneous (IVF, oocyte donor IVF andfrozen embryo transfer) and their outcomes are very variable; thus the distribution and proportion of these groups can determine the timingof competence acquisition. Our data show that low numbers of embryo transfer are needed to acquire competence, but since a relative highpercentage of embryo transfers in our practice are from oocyte donor IVF, extrapolation of the findings to other clinical context should bedone with caution.
wider implications of the findings: Personalized embryo transfer training is feasible and useful, allowing clinics, on one hand, tooffer a maximum chances of pregnancy with fully trained personnel, and the other hand, to avoid the superfluous and costly overtraining of alreadyproficient trainees. Furthermore, it is advisable to maintain a short interval of time between consecutive embryo transfer sessions after a traineehas acquired competence, to avoid a significant drop in the resulting pregnancy rate.
study funding/competing interest(s): This work was supported in part by funding from Fundacio Privada EUGIN. There areno conflicts of interest to declare.
Key words: embryo transfer / training / competence / LC-CUSUM / CUSUM
& The Author 2014. Published by Oxford University Press on behalf of the European Society of Human Reproduction and Embryology. All rights reserved.For Permissions, please email: [email protected]
Human Reproduction, Vol.0, No.0 pp. 1–6, 2014
doi:10.1093/humrep/deu080
Hum. Reprod. Advance Access published April 29, 2014 by guest on A
pril 29, 2014http://hum
rep.oxfordjournals.org/D
ownloaded from
IntroductionEmbryo transfer (ET) is the critical final step of the in vitro fertilization (IVF)process, and although its execution has changed greatly since the earlydays of ART, it is currently performed in a rather standardized fashion.
Embryo quality and patient characteristics notwithstanding, the main de-terminant of a successful embryo transfer is the operator ability to depositthe embryos where the chances of implantation are highest, without trau-matizing theendometrium(Coroleuetal., 2002).Thereareseveral reasonsrelated to embryo transfer which might lead to a failure to implant: depos-ition of embryos in a suboptimal location, induction of uterine contractions(Fanchin et al., 1998) and iatrogenic damage to the embryos. The presenceof blood in the catheter, indicating a difficult embryo transfer, is also asso-ciated with lower pregnancy and implantation rates (Goudas et al., 1998).
Proficiency in performing an embryo transfer, much like many othermedical procedures, is traditionally assumed after the completion of astandardized training. The training might include theoretical explana-tions, witnessing a pre-set number of procedures, performing proce-dures under direct supervision, and performing sham procedures ondummies and animal models (Parra-Blanco et al., 2013). However, allthese methods do not take into account individual factors affecting thespeed and stability in which a trainee reaches proficiency, potentiallyleading, on one hand, to wrongly assume proficiency or, on the other,to the superfluous and costly overtraining of already proficient trainees.
The aim of this study was to evaluate, using a personalized monitoringmethod, the learning curve in embryo transfer of untrained physicians,and the maintenance of embryo transfer proficiency over time.
Materials and Methods
Study design and ethical approvalThis was a prospective study, designed to identify when a medical traineebecomes proficient at embryo transfer and how this proficiency is retainedover time. The study was carried out between August 2011 and November2012 at an ISO-certified private fertility clinic (ISO 9001:2008 for quality man-agement). The embryo transfer training was conceived as part of an ongoingprogramme for quality improvement; therefore, external Ethics Committeeapproval for the study was not required. Nonetheless, ethical approval fromthe Institutional Review Board was obtained (TECUSUM280811) andinformed consent was sought and obtained from the physicians involved.
Trainees’ characteristicsWe prospectively evaluated the training in embryo transfer of five gynaecol-ogists during their first year of the assisted reproduction specialty. All traineeswere medical doctors who had completed a further 4 years internship inObstetrics and Gynaecology. Four of the five trainees started the assisted re-production specialty in our facility immediately after the internship (TraineesA to D). The other (Trainee E) had a hiatus of 2 years between the end of theinternship and the beginning of the assisted reproduction specialty. Duringthis time, trainee E worked as general gynaecologist and obstetrician ina public hospital. All trainees had performed at least 20 intrauterine insemi-nations with the Intrauterine Insemination Memo catheterw (Gynetics,Lommel, Belgium) before embryo transfer training. None had ever per-formed an embryo transfer before their participation in the study.
Embryo transfer procedure and trainingAn experienced gynaecologist, who acted as the trainer, taught all trainees atheoretical (didactical, not hands-on) embryo transfer class prior to their
participation in the study, followed by witnessing of at least 20 embryo trans-fer procedures. During the class, all trainees were instructed to performembryo transfer according to the standard operating procedures of the clinic.
In general, the patient has to be in the dorsal lithotomic position (Egbaseet al., 2000). A sterile Collin vaginal speculum is inserted, and the cervix iscleaned with transfer culture media. If mucus is observed in the external oscervix, it can be aspirated with a sterile syringe to avoid interference withthe delivery of the embryos inside the uterine cavity. The embryo transferprocedure is performed using a two-stage technique (‘afterloading’), undertrans-abdominal echographical visualization which is performed by atrained nurse. Briefly, an empty Wallace Sure Prow (Smiths Medical, UK)catheter is introduced through the cervical canal until the entry of theuterine cavity, and it serves as a guide to a second catheter containing theembryos. Then, the embryos are deposited 15–20 mm to the fundal endo-metrial surface (Coroleu et al., 2002). The catheter is maintained in theuterine cavity for about 10 s after the embryos are deposited (Wisantoet al., 1989). The whole process is carried out under trans-abdominal ultra-sound guidance, with the patient having a full bladder (Sundstrom et al., 1984)which makes the entry of the catheter into the uterine cavity easier andreduces the incidence of use of a tenaculum or obturator (Lorusso et al.,2005). Finally, the catheter is examined for retained embryos, which, ifpresent, are retransferred.
Following the theoretical and observational training, the trainees started toperform embryo transfers by themselves, in sessions of 3–10 embryo trans-fereach.All embryo transfers at this stage weresupervised (without interven-tion or theoretical counselling) by the trainer and registered in the databaseimmediately after the procedure. Pregnancy outcomes were later recordedfor each embryo transfer. A positive pregnancy test is defined as a plasmahCG value of .5UI/l 14 days after the embryo transfer.
Characteristics of embryo transfersThe embryo transfers included in the study were for IVF cycles with fresh orfrozen embryo transfer, where the oocytes were from the patient or from adonor and were fertilized with intracytoplasmatic injection (ICSI). Percen-tages of each embryo transfer category for the first 50 procedures pertraineearepresented in Table I. In most cases, two embryos were transferredduring the embryo transfer (62% of IVF cases, 91% of oocyte donor IVF casesand 62% of frozen embryo transfer (FET) cases). A single embryo transfer(SET) was performed in those cases where there was a medical or obstetriccontraindication for twin pregnancy or on request by the patient, andthree-embryo transfer (TET) was performed for a few patients undergoingIVF-ICSI with their own oocytes. During fresh embryo transfer cycles,embryos were transferred on Day 2 or 3 following fertilization or on Day 5or 6 if the patient had three or more previous IVF cycle failures. For FET,embryos were transferred 1 day after thawing if they were frozen on Day2–3, or on the same day as thawing if they were frozen at Day 5 or Day 6.
Endometrial preparationEndometrial preparation differed within the embryo transfer categories. Incases of embryo transfer after a fresh IVF cycle with a patient own oocytes,the only treatment was luteal phase support with progesterone (400 mg/12 h) (Utrogestanw, SEID or Progeffikw, Effik Laboratory) vaginally adminis-tered from the day of oocyte retrieval. In cases of embryo transfer withdonated oocytes where the oocyte recipient had residual ovarian function,the recipient hypophysis was suppressed by administration of GnRHagonists. (Triptoreline, 3.75 mg, Decapeptylw 3.75 mg, Ipsen Pharma); inaddition, there was a phase of endometrial estrogenic preparation where es-tradiol valerate was administered orally in increasing doses, from 2 to 6 mgper day (Progynovaw, Bayer Health Care or Provamesw, Sanofi-Aventis) orestradiol hemihydrate was given transdermally from 75 to 150 mg (Estra-dotw, Novartis Pharma or Vivelledotw, Novartis Pharma). In cases of FET,
2 Lopez et al.
by guest on April 29, 2014
http://humrep.oxfordjournals.org/
Dow
nloaded from
the endometrial preparation was the same as that for IVF with donatedoocytes, but progesterone was started 3 or 5 days before the embryo trans-fer, depending on the stage of the embryo at the time of freezing. Estrogenand progesterone treatment was continued until the pregnancy test 14days after the embryo transfer, and, in case of a positive result, until Week12 of pregnancy.
Statistical analysisLearning to perform embryo transfer: LC-CUSUM analysesTo monitor the individual achievement of embryo transfer proficiency, weemployed the cumulative summation (CUSUM) test for learning curves(LC-CUSUM). The CUSUM test, originally developed for the production in-dustry, detects if a process is ‘out of control’ following a mathematical model.The CUSUM test detects ‘out of control’ performances; then outside ofthese periods, in-control performance is assumed. The aim of CUSUMtest is to identify the need to suspend a process when it is ‘out of control’,that is, outside of a predefined level of acceptance. LC-CUSUM is a modifi-cation of the CUSUM method designed to determine when a pre-set levelof competence is achieved, reducing the risks of incomplete training whennewoperators perform complexprocedures (Biau et al., 2008). When an op-erator begins a new procedure, by definition, the process is ‘out of control’until the trainee reaches the level of competence. LC-CUSUM monitors theprocess while it is ‘out of control’ until it becomes in control. The LC-CUSUMhas already been used in several medical procedures like orotracheal intub-ation (Correa et al., 2009), endoscopic retrograde cholangiopancreatogra-phy (Biau et al., 2008), vitrification of embryos (Dessolle et al., 2009),embryo transfers (Dessolle et al., 2010) and ultrasound diagnosis in obste-trics (Balsyte et al., 2010).
For LC-CUSUM analyses, we adhered to current methodological recom-mendations (Biau and Porcher, 2010). The LC-CUSUM score was calculatedat each procedure (t) as: St¼ min(0,St 2 1 + Wt), with W¼ log ((1 2 p0)/(1 2 p0 2 d )) for a success, and W ¼ log (p0/p0 + d ) in case of failure; p0 ¼
acceptable failure rate; d ¼ acceptable deviance from acceptable perform-ance to be detected. St was plotted on the y-axis against the successive pro-cedures on the x-axis. As long as the score remains in the continuation region,namely between the x-axis and the decision limit (hLC), performance cannotbe considered as acceptable and monitoring continues. With an accumula-tion of successes, the score decreases until it crosses the limit hLC wherecompetency is declared. LC-CUSUM incorporates a holding barrier at 0that cannot be crossed and the score remains at 0 even if the trainee accumu-lates successive failures; this allows the test to be responsive to the currentperformance of the trainee. The acceptable (process in control) and un-acceptable (process out of control) failure rates were set a priori at 0.6and 0.8 by a panel of experts in embryo transfer, according to the overallsuccess rates at our institution and to what has been previously used in pre-vious publications on the same issue (Dessolle et al., 2010). The acceptabledeviance from acceptable performance to be detected (d ) was set a 0.1.Under both scenarios (in and out of control), a simulation of 10 000 replicates
of 50 procedures was carried out to select the hLC value optimizing errorrates: an h value of 1.5 resulted in a risk of 3.1% of declaring competency ina ‘out of control’ scenario [false discovery rate (FDR))] and a risk of 77.4%of declaring competency in a ‘in control’ scenario [true discovery rate(TDR)].
Maintaining embryo transfer proficiency: CUSUM analyses and effectof time intervalsOnce the trainees demonstrated competence, their performance was mon-itored with a CUSUM test. The CUSUM sequentially tests the null hypothesisthat the process is in control (acceptable failure rate) against the alternativehypothesis that the process is out of control (unacceptable failure rate).Graphically, the CUSUM score increases with accumulation of failures untilit crosses the limit hc where unacceptable performance is declared. ForCUSUM, a limit of h ¼ 3.6 was chosen on 10 000 simulated replicates sothat the risk of declaring unacceptable performance when performance isin fact acceptable (error type I) was 7.4% and the risk of not declaring un-acceptable performance when performance is really unacceptable (errortype II) was 11.9% over 50 procedures.
To analyse the stability of embryo transfer proficiency over time, we inves-tigated whether the time interval between two consecutive sessions has animpact on performance. For each session, the pregnancy rate was calculatedas the ratio between the number of pregnancies and the number of embryotransfers performed. The difference in the success rate by the time intervalbetween sessions (,10 days and ≥10 days) was univariately analysed bynon-parametric Mann–Whitney U-test. The chosen cut-off, 10 days, is arbi-trary, but it represents a whole week including the consecutive weekendswithout performing embryo transfer, a time relevant to describe a vacationor holiday times in most countries.
Furthermore, in order to analyze the effect of both time interval betweenembryo transfer sessions and the source of embryos (fresh versus frozen) onthe pregnancy rate of each trainee,we used mixed (random and fixed) regres-sion models, whereby datawere hierarchically structured into two levels cor-responding to the session (first-level) and to the women within each session(second-level). The interval between sessions was defined as a first-level vari-able (the coefficient was only allowed to vary between sessions) and theembryo origin (frozen versus fresh) was defined as a second-level variable(the coefficient was allowed to vary between individuals). The statistical soft-ware MLwIN 2.02 (&Centre for Multilevel Modelling, Institute of Education)was used for this analysis.
ResultsOverall, 586 consecutive embryo transfer grouped in 96 sessions wereanalyzed. The mean number of embryo transfer per session was 6(range 1–10). Successful and failed embryo transfers were plottedfor each of the 5 trainees using LC-CUSUM curves for the learningperiod, and CUSUM curves for the follow-up period, up to a total of
.............................................................................................................................................................................................
Table I Percentages of embryo transfer categories for the first 50 procedures per trainee.
Trainee A Trainee B Trainee C Trainee D Trainee E
ET (n) 50 50 50 50 50
IVF donor (n,%) 27 (54%) 32 (64%) 23 (46%) 22 (44%) 36 (72%)
IVF (n,%) 4 (8%) 4 (8%) 3 (6%) 3 (6%) 8 (16%)
FET (n,%) 19 (38%) 14 (28%) 24 (48%) 25 (50%) 6 (12%)
ET, embryo transfer; IVF donor, in vitro fertilization with donated oocytes; IVF, in vitro fertilization; FET, frozen embryo transfer.
Learning embryo transfer 3
by guest on April 29, 2014
http://humrep.oxfordjournals.org/
Dow
nloaded from
50 embryo transfers for each trainee. Figure 1A–E shows each of the in-dividual graphs.
Learning to perform embryo transferThe first 53 embryo transfers of the study were needed to constructthe individual learning curves. The five trainees achieved competencein embryo transfer after procedure 15, 9, 7, 13 and 9, respectively,as observed in their respective LC-CUSUM curves. Therefore, by
procedure 15 (after 4 embryo transfer sessions) all trainees hadlearned to perform embryo transfer.
Maintaining embryo transfer proficiencyThe follow-up period consisted of the 533 transfers performed im-mediately after the learning period, grouped in 84 sessions. Trainee Aperformed 143 embryo transfers in 22 different sessions, trainee B per-formed 140 embryo transfers in 23 different sessions, trainee C
Figure 1 LC-CUSUM and CUSUM curves are shown for five gynaecologist trainees learning embryo transfer. In the LC-CUSUM curve (the first part ofthe graph, going downwards), while the line remains between 0 and the lower limit h, the trainee is considered not competent. When the line crosses thelower limit h, the trainee is considered competent. For the CUSUM curve (the second part of the graph, going upwards), while the line remains between 0and the higher limit h, the procedure is considered ‘in control’; if the line crosses the upper limit h (see D), the procedure is considered ‘out of control’.
4 Lopez et al.
by guest on April 29, 2014
http://humrep.oxfordjournals.org/
Dow
nloaded from
performed 88 embryo transfers in 14 different sessions, trainee D per-formed 130 embryo transfers in 20 different sessions and trainee E per-formed 31 embryo transfers in 5 different sessions. The mean pregnancyrate per session was 35.7% (SD ¼ 0.27). The mean proportion of FETper session was 30% (SD ¼ 0.4).
Four out of five trainees maintained an in-control performance levelduring the follow-up period, but trainee D who showed a CUSUMcurve out of control twice, indicating loss of performance. This couldbe explained in two ways. First, trainee D performed a higher proportionof FET (with lower pregnancy rates than fresh embryo transfer) than theother trainees. The adjusted mean effect of a FET was a reduction by 34%[OR 0.66 (95% CI 0.53–0.82)]. Second, the interval of time withinembryo transfer sessions may have a negative effect on embryo transferperformance (see below).
Stability of embryo transfer proficiency overtimeAs shown in Fig. 2, if the interval between two consecutive sessions was≥10 days, the pregnancy rate was 20.0%, compared with 46.7% if theinterval between two consecutive sessions was ,10 days. The adjustedmean effect of a 10-day interval on the likelihood of pregnancy was a re-duction by 12% [OR: 0.88 (95% CI 0.78–0.99)].
DiscussionMedical procedures must adhere to pre-set quality standards, whichguarantee that patients are receiving acceptable treatment and, at thesame time, allow improvements in medical practice and rationalizationof the cost effectiveness of healthcare. Quality management shouldinclude close supervision of medical trainees when learning new proce-dures. Common strategies to this end involve a first period observinghow the procedure is executed by a trained physician and a secondperiod performing mock procedures with dummies or in animalmodels, prior to applying the procedure to patients. These strategiesusually assume that proficiency is attained after a pre-set number of
observations/procedures. For example, Papagerorgiou et al. set thenumber of procedures needed to acquire competence in embryo trans-fer at 25, but obtained pregnancy rates lower than expected and onlyafter 40–50 procedures did all trainees achieve pregnancy rates similarto their trainers (Papageorgiou et al., 2001).
Thanks to LC-CUSUM curves, we can know precisely when a traineebecomes proficient. Our study shows that embryo transfer is relativelyfast to learn, with ,20 procedures needed to acquire competence inall cases. The lower number of procedures we needed to achieve com-petence compared with the study of Papageorgiou and colleagues couldbe in part explained by the use of biochemical pregnancy rates to con-struct our curves instead of clinical pregnancy rates. Another differencethat may influence the results was that, unlike the reported study, weincluded both fresh and frozen embryo transfers as well as transfers ofembryos from donor oocytes. Furthermore, the theoretical embryotransfer class given before the beginning of training, specifically designedby each clinic, could determine different levels of basal embryo transferknowledge.
Tailored learning using LC-CUSUM curves is a worthy alternative toperforming a fixed number of procedures, as it avoids unnecessarywaste of time and resources, and ensures that the competence hasbeen acquired. A pioneering study in the use of LC-CUSUM curves formonitoring embryo transfer learning (Dessolle et al., 2010) found thata variable number of embryo transfer, from as little as 11 to as many as99, was necessary to achieve competence. This finding also contrastswith the 7–15 procedures required in our study, but corroboratesthat the learning curve to perform embryo transfer proficiently is variableamong gynaecologists who have received the same theoretical informa-tion and have similar clinical experience in reproduction. As explainedabove, there are various potential explanations for the differences, in-cluding the number of oocyte donation cycles in our study, whosebetter pregnancy rates could have accelerated the LC-CUSUM progres-sion to competence. Also, despite the fact that the acceptable and un-acceptable performance rates and acceptable deviation were similar,the error risks were different in the previous study (1.50 in our studyversus 1.86 in Dessolle et al., 2010).
Since the embryo transfer technique does not depend on the origin ofthe embryo (i.e. proceeding from the patient’s oocytes or donoroocytes) or its nature (frozen or fresh), LC-CUSUM in embryo transfershould ideally include only one ART method to ensure a reasonableevent rate, consistent across trainees, to warrant reliable analysis andcomparisons between trainees. The heterogeneity in the techniquesincluded (IVF, IVF with oocyte donors, FET) is a significant weakness ofthe presented study.
The effect of time intervals between embryo transfer sessions hasbeen explored with other experienced physicians not participating inthis study, and pregnancy rates have remained stable even after timeintervals .30 days between consecutive embryo transfer sessions(data not shown), suggesting that the effect of the interval between con-secutive embryo transfer sessions is only significant soon after the acqui-sition of competence. Perhaps the most important finding in our study isthe identification of a link between the evolution of the pregnancy rateand the time interval between embryo transfer sessions. During theperiod immediately following the acquisition of competence, while aphysician competence is in a phase of consolidation, 10 days or morebetween consecutive embryo transfer sessions will affect the pregnancyrate. This information should be taken into account when planning
Figure 2 Distribution of pregnancy rate per session by time intervalbetween consecutive sessions.
Learning embryo transfer 5
by guest on April 29, 2014
http://humrep.oxfordjournals.org/
Dow
nloaded from
embryo transfer training periods during the year, as well as when allocatingtime off after embryo transfer training has been completed. An uninter-rupted training is ideal to achieve embryo transfer proficiency faster, andthis should be continued after acquiring embryo transfer competence.
In conclusion, embryo transfer is an easy-to-learn technique which canbe faithfully monitored using LC-CUSUM and CUSUM tools during theacquisition and the maintenance of competence. During the trainingperiod, differences between trainees should be minimized to standardizethe embryo transfer procedure (using same origin and nature ofembryos). Just after achieving competence, we recommend embryotransfer sessions to be close (with an interval of ,10 days) to preventa decrease in pregnancy rates.
Authors’ rolesM.J.L. and D.G.: study design, data analysis and manuscript preparation.A.R. and M.C.: study design and data collection. R.V.: data analysis, studysupervision, expert knowledge, manuscript preparation. V.V.: studysupervision, expert knowledge, manuscript preparation.
AcknowledgementsThe authors thank Francesc Figueras for statistical support.
FundingThis work was supported in part by funding from Fundacio PrivadaEUGIN.
Conflict of interestNone declared.
ReferencesBalsyte D, Schaffer L, Burkhardt T, Wisser J, Zimmermann R,
Kurmanavicius J. Continuous independent quality control for fetalultrasound biometry provided by the cumulative summation technique.Ultrasound Obstet Gynecol 2010;35:449–455.
Biau DJ, Porcher R. Method for monitoring a process from an out of controlto an in control state: application to the learning curve. Stat Med 2010;29:1900–1909.
Biau DJ, Williams SM, Schlup MM, Nizard RS, Porcher R. Quantitative andindividualized assessment of the learning curve using LC-CUSUM. Br JSurg 2008;95:925–929.
Coroleu B, Barri PN, Carreras P, Martinez F, Parriego M, Hereter L, Parera N,Veiga A, Balasch J. The influence of the depth of embryo replacement intothe uterine cavity on implantation rates after IVF: a controlled,ultrasound-guided study. Hum Reprod 2002;17:341–346.
Correa J, Dellazzana BJE, Sturm A, Leite DM, de Oliveira Filho GR, Xavier RG.Using the Cusum curve to evaluate the training of orotracheal intubationwith the Truview EVO2 laryngoscope. Rev Bras Anestesiol 2009;59:321–331.
Dessolle L, Biau DJ, de Larouziere V, Ravel C, Antoine JM, Darai E,Mandelbaum J. Learning curve of vitrification assessed by cumulativesummation test for learning curve (LC-CUSUM). Fertil Steril 2009;92:943–945.
Dessolle L, Freour T, Barriere P, Jean M, Ravel C, Darai E, Biau DJ. How sooncan I be proficient in embryo transfer? Lessons from the cumulativesummation test for learning curve (LC-CUSUM). Hum Reprod 2010;25:380–386.
Egbase PE, Al-Sharhan A, Grudzinskas JG. Influence of position and length ofuterus on implantation and clinical pregnancy rates in IVF and embryotransfer treatment cycles. Hum Reprod 2000;15:1943–1946.
Fanchin R, Righini C, Olivennes F, Taylor S, de Ziegler D, Frydman R. Uterinecontractions at the time of embryo transfer alter pregnancy rates afterin-vitro fertilization. Hum Reprod 1998;13:1968–1974.
Goudas VT, Hammitt DG, Damario MA, Session DR, Singh AP, Dumesic DA.Blood on the embryo transfer catheter is associated with decreased ratesof embryo implantation and clinical pregnancy with the use of in vitrofertilization-embryo transfer. Fertil Steril 1998;70:878–882.
Lorusso F, Depalo R, Bettocchi S, Vacca M, Vimercati A, Selvaggi L.Outcome of in vitro fertilization after transabdominal ultrasound-assistedembryo transfer with a full or empty bladder. Fertil Steril 2005;84:1046–1048.
Papageorgiou TC, Hearns-Stokes RM, Leondires MP, Miller BT,Chakraborty P, Cruess D, Segars J. Training of providers in embryotransfer: what is the minimum number of transfers required forproficiency? Hum Reprod 2001;16:1415–1419.
Parra-Blanco A, Gonzalez N, Gonzalez R, Ortiz-Fernandez-Sordo J,Ordieres C. Animal models for endoscopic training: do we really needthem? Endoscopy 2013;45:478–484.
Sundstrom P, Wramsby H, Persson PH, Liedholm P. Filled bladder simplifieshuman embryo transfer. Br J Obstet Gynaecol 1984;91:506–507.
Wisanto A, Janssens R, Deschacht J, Camus M, Devroey P, VanSteirteghem AC. Performance of different embryo transfer catheters in ahuman in vitro fertilization program. Fertil Steril 1989;52:79–84.
6 Lopez et al.
by guest on April 29, 2014
http://humrep.oxfordjournals.org/
Dow
nloaded from
41
3.3 ESTUDIO 3: Evaluación de curva de aprendizaje de
foliculometría 3D en personal paramédico.
“Training of assisted reproduction nurses in 3D folliculometry and
individualized learning”
Amelia Rodriguez, Rita Vassena, Anna Blázquez, Juanjo Guillén, Sabrina
Franci, Oriol Coll, Valérie Vernaeve.
ORAL COMMUNICATION ESHRE 2015
42
RESUMEN
INTRODUCCIÓN
El personal paramédico cada vez está tomando más relevancia en la Medicina y
la Reproducción Humana Asistida no es una excepción.
En este sentido, el introducir concretamente al colectivo de enfermería en
algunos actos de reproducción asistida les permite un desarrollo profesional
importante, crear vínculos con los pacientes que pueden ser valorados como
positivos por éstos a la vez que se reducen costes y se facilita el flujo de trabajo
en nuestras unidades de reproducción asistida.
La monitorización folicular durante el curso de un ciclo de estimulación ovárica
cuenta hoy día con herramientas y programas que permiten obtener medidas
semiautomáticas que puedan ser repasadas y reevaluadas a posteriori por
expertos en caso de necesidad. Este es el caso de la foliculometría 3D con
SonoAVC, una herramienta ecográfica que constituye una buena posibilidad
para introducir al colectivo de enfermería en la rutina de control de los ciclos de
estimulación ovárica en nuestro día a día.
OBJETIVO:
El objetivo de este estudio es evaluar la curva de aprendizaje de la
monitorización de la estimulación ovárica controlada en donantes mediante
tecnología 3D realizada por enfermeras sin previa experiencia en ecografía
transvaginal.
43
MÉTODOS:
Estudio prospectivo en el que participaron 8 enfermeras ( divididas en dos
grupos) con un mínimo de dos años de experiencia en reproducción asistida sin
previa experiencia en ecografía transvaginal. Todas ellas tenían experiencia en
ecoguiar transferencias embrionarias por vía abdominal.
El estudio se realizó en donantes de ovocitos. Previamente a la inclusión de los
casos las enfermeras asistieron a un curso teórico de 3 horas proporcionado por
un experto en ecografía 3D.
A continuación cada enfermera aprendió a situar de modo práctico el útero y los
ovarios por vía transvaginal, mediante la aplicación de 20 ecografía
transvaginales con tecnología 2D. A continuación visualizaron 20 ecografías 3D
con SonoAVC realizadas por un experto para aprender el manejo del software
de forma práctica y solo de forma visual.
Una vez comenzado el estudio, en primer lugar la donante era escaneada por el
experto y a continuación, sin ver los resultados obtenidos por éste, la misma
donante era escaneada por la enfermera en formación.
Los criterios de éxito para cada escáner era una diferencia entre experto y
enfermera en formación de: cuando se utilizaba 3D: una diferencia de ≤2 en los
folículos de ≥10 mm y de ≤2 folículos de ≥14mm y, si era necesario utilizar la
tecnología 2D para completar el contaje folicular, debía de haber una diferencia
de ≤2 folículos entre experto y enfermera en formación medidos con 2D.
La metodología estadística utilizada para evaluar las curvas de aprendizaje y el
mantenimiento de la competencia fueron las curvas LC-CUSUM y CUSUM
respectivamente.
44
RESULTADOS:
De 68 a 194 escáners fueron necesarios para adquirir competencia en 6 de las
8 enfermeras incluidas en el estudio (68, 106, 153, 141, 185 y 194
respectivamente). Dos de las 8 enfermeras no habían alcanzado la competencia
tras 200 escáners, por lo que fueron eliminadas del estudio y se realizaron
intervenciones de refuerzo del período de formación por parte de los expertos,
tanto desde el punto de vista teórico como práctico.
Tres de las enfermeras que habían aprendido a realizar la técnica, perdieron
competencia posteriormente pero ésta fue recuperada tras la aplicación de
medidas correctivas.
Enfermera 1: aprendizaje, pérdida de competencia posterior y recuperación.
45
Enfermera 2: aprendizaje y pérdida de competencia posterior, recuperación y pérdida.
Enfermera 3: aprendizaje y pérdida de competencia posterior que se recupera.
46
Enfermera 4: no adquisición de competencia.
Enfermera 5: adquisición y mantenimiento de competencia
47
Enfermera 6: adquisición y mantenimiento de competencia.
Enfermera 7: adquisición y mantenimiento de competencia.
48
Enfermera 8: no adquisición de competencia.
DISCUSIÓN:
La introducción del personal paramédico en los diferentes campos y técnicas que
pueden tener carácter sistemático, repetible y medible en el campo de la
medicina se convierte en una posibilidad real en nuestras unidades médicas.
Todo ello mejora la capacidad de asumir volúmenes de trabajo importantes, a la
vez que reducir costes y mejorar la carrera profesional del personal paramédico
a la vez de que se crean vínculos importantes de éste con los pacientes.
El hecho de que la tecnología nos permita automatizar en parte ciertos procesos,
como es el caso de la ecografía 3D con SonoAVC, nos permite poner en marcha
programas de formación muy eficaces y que nos dotan de la capacidad de
reevaluar los resultados en el caso en los que sea necesario, por parte de un
experto en reproducción.
49
A su vez, la aplicación de métodos estadísticos como las curvas LC-CUSUM y
las curvas CUSUM nos dotan de la posibilidad de controlar de forma individual
la curva de aprendizaje, de verificar que éste se produce efectivamente y de
poner medidas correctivas e incluso modificar la metodología de enseñanza en
el caso de que ésta no haya sido suficiente para que el individuo haya adquirido
la competencia.
Es un ejemplo de que, con una enseñanza adaptada al individuo en formación,
podemos conseguir el mismo resultado de aprendizaje que en otros casos donde
el individuo en formación parte de conocimientos o de experiencia más amplia
en terrenos relacionados.
50
Authors:
A. Rodríguez1, R. Vassena1, A. Blázquez1, J.J. Guillén1, S. Franci1, O. Coll1, V. Vernaeve1.
1Clínica EUGIN, Barcelona, Spain.
Title:
Training of assisted reproduction nurses in 3D folliculometry and individualized learning
Abstract Text:
Study question
Can nurses with no previous experience in transvaginal ultrasound learn to perform folliculometry
with 3D transvaginal ultrasound (3DTVUS) during ovarian stimulation cycles (OSC) in assisted
reproductive techniques (ART)?
Summary answer
Nurses with no previous experience in transvaginal ultrasound can learn 3D folliculometry during
OSC, and they achieve competence within a reasonable timeframe.
What is known already
3D folliculometry has been shown to be more accurate than conventional 2D ultrasound, producing
less intra- and inter-observer variability. Qualified paramedical personnel such as nurses could play
an important role in ART by performing specialized technical acts. As LC-CUSUM has been already
applied to evaluate learning procedures in folliculometry during OSC in ART physicians, we applied
this statistical methodology to nurses, in order to perform tailored training and assess their learning
curve in 3D folliculometry.
51
Study design, size, duration
Prospective study including 8 nurses with more than 2 years experience in ART, carried out between
February and September 2014. Study duration was determined by the scan number necessary to
achieve competence by each nurse as assessed by LC-CUSUM curves. Fifteen gynecologists
participated in the study as experts.
Participants/materials, setting, methods
3DTVUS scans were performed in oocyte donors from the 8th day of OSC by the expert and the
nurse. LC-CUSUM curves were used to assess learning. Success of each nurse measurement was
defined as a deviation from the expert’s of ≤3 follicles ≥10mm and ≤2 follicles ≥14mm measured with
3DTUVS.
Main results and the role of chance
Six of the eight nurses achieved competence in 3DTVUS folliculometry after 68, 106, 141, 153, 185
and 194 ovarian scans, respectively. Two of them did not achieve competence after 200
scans. Customized individual training is being offered outside the study to these two trainees in
order to improve their learning and achieve competence. There was significant variability in the
number of scans needed to achieve competence by the nurses; however, they were all within a
reasonable timeframe. Scans were performed in oocyte donors, a relatively homogeneous
population, thus eliminating the possibility of subject characteristics to influence the learning curve.
Limitations, reason for caution
This study cannot evaluate whether interrupting the training will result in longer learning curves,
therefore, the results apply only to centers with high patients flow and continuous learning options.
LC-CUSUM is an individualized approach to training; the curve must be monitored closely due to the
variability in number of scans needed to achieve competence.
52
Wider implications of the findings
Easiness in achieving competence in 3DTVUS folicullometry in nurses, as shown by this study, may
play an important role in standardizing performance in ART units not only in physicians but also in
nurses. No previous experience in ultrasound scanning is needed to become proficient
in 3D folliculometry, making 3DTVUS a promising tool to improve the professional reach of nurses
with beneficial implications for both the personnel and the ART center.
Study funding/competing interest(s)
Funding by hospital/clinic(s)
53
4.- DISCUSIÓN
54
4.- DISCUSIÓN
4.1.- Necesidad de crear métodos objetivos que midan los procesos
técnicos. Entrada de los controles de calidad en medicina.
Tal y como explicado en la introducción de este trabajo, la medicina ha sufrido
una evolución importante en cuanto a su aplicación, exigencias y desarrollo.
Ello hace que miremos con otro prisma las técnicas y los tratamientos médicos
a la hora de emplearlos en nuestra práctica diaria y que el nivel de exigencia
pase a ser mayor y basado en la rigurosidad a la hora de su aplicación.
A ello hay que añadir la aparición del concepto de Calidad y “estándar de calidad”
en nuestra actividad médica y el creciente interés en este terreno desde inicios
del siglo XX. Aunque existen diferentes definiciones del concepto “Calidad” tal y
como expuestos en la introducción de este trabajo, la mayoría coinciden en la
necesidad de establecer procesos y control de resultados, los cuáles deben estar
sometidos a unos niveles mínimos de exigencia que constituyen el denominado
“estándar de Calidad”.
Este concepto de Calidad, que comenzó con la revolución industrial en el siglo
XVIII se ha ido introduciendo en la forma de evaluar y conceptuar nuestra
actividad médica, de forma que hemos ido teniendo que modificar nuestra forma
no solo de enseñar, sino de exigir y medir los resultados de las técnicas y
tratamientos aplicados en cualquiera que sea nuestra especialidad médica.
55
Toda esta amalgama de cambios, cuya mayoría han ido teniendo lugar a lo largo
del último siglo de nuestra especialidad, hay que orquestarlos con la inclusión en
nuestros equipos de médicos y personal paramédico en formación que van a
participar de forma directa en los procesos y donde debemos garantizar que, una
vez finalizado su período de formación, cumplen los estándares de calidad
estipulados para comenzar con su actividad, pero también que mantienen la
competencia de forma continua sin que el proceso médico salga fuera de control.
Si ello ocurriera y es detectado, nos permitiría poner en marcha medidas
correctivas de forma inmediata que hicieran volver el proceso a su nivel de
resultado o de calidad de proceso esperado y determinado con anterioridad
(Bolsin et al, 2000; Correa et al, 2009).
4.2- Beneficios de la aplicación de las curvas LC- CUSUM y CUSUM en la
práctica diaria de los centros de reproducción asistida.
Si bien se pueden poner en marcha varios métodos para evaluar la competencia
o el aprendizaje, que van desde la simple observación y consideración por parte
del experto que la persona en formación ha aprendido la técnica (Maxim BR et
al, 1987; Ansell JS et al, 1979; Schwartz R, 1993) hasta la aplicación de varias
herramientas como la asignación de puntuaciones de competencia según
diferentes observadores (Sarkiss A et al, 2016), de todas las herramientas de las
que disponemos actualmente, probablemente, las curvas LC-CUSUM y CUSUM
sean las más adecuadas para los procesos médicos, sobre todo quirúrgicos, por
dos razones fundamentales:
56
1º Las curvas LC- CUSUM permiten un modo objetivo evaluar cuántos intentos
debe hacer la persona en formación para adquirir la competencia y realizar una
curva de aprendizaje individualizada (Biau et al, 2008; Biau et al 2010). La
mayoría de herramientas de control de procesos nos informan sobre si el proceso
está siendo bien realizado o no pero no sobre cuántos de ellos han sido
necesarios para que el individuo alcance la competencia partiendo de un
supuesto de no competencia o estado de “fuera de control”.
2º Las curvas CUSUM nos permiten constatar que tras el aprendizaje el proceso
sigue dentro de control. Es decir, monitorizan el mantenimiento de la
competencia, de una forma objetiva, adaptado a los estándares de calidad
previamente determinados y ajustados al centro en cuestión donde la actividad
se realiza (Biau et al, 2007).
En las ocasiones en las que aprendizaje era considerado, con independencia de
los resultados obtenidos o de la habilidad de la persona en formación, tras haber
realizado un número de intentos determinado y basado en el criterio de un
experto, en la mayoría de casos el juicio venía determinado por la experiencia
acumulada por parte del experto con varios alumnos en las que, por probabilidad
y tras un número de intentos determinados, se consideraba que debería haber
alcanzado la competencia ( Sinclair et al., 1998).
Sin embargo, puede no ser la metodología más adecuada dado que no se ajusta
a la cadencia de aprendizaje del individuo en sí que, como hemos visto en los
estudios presentados en este trabajo y en otros publicados utilizando la misma
herramienta estadística (Desolle et al 2010; Goldman et al, 2010), varían
57
interindividualmente, pudiendo llegar a tener periodos de formación más o
menos largos dependiendo de ciertas particularidades propias tanto del individuo
en formación como de factores externos tal y como hemos puesto de manifiesto
en uno de nuestros trabajos (López et al, 2014).
Si nos centramos en las particularidades que pueden influir la curva individual de
aprendizaje, podemos diferenciar entre factores ligados a la propia habilidad del
individuo y otros externos, como pueden ser: las adecuación en cuanto a
contenido y duración del periodo previo de formación teórica impartida por parte
de los expertos, o el medio donde se desarrolla la formación, donde el volumen
y cadencia de la realización de la técnica que se está aprendiendo puede tener
un impacto en el período de formación y mantenimiento de la competencia
posterior.
Efectivamente, las curvas de aprendizaje simplemente individual nos informarán
sobre si el individuo aprende o no el procedimiento y, en el caso de que éste no
se produzca, deberemos realizar un análisis sobre la causa de no llegar a la
competencia. Es una oportunidad de mejora y de control, no solo de la
adquisición de la competencia por parte del individuo en formación, sino de
revisión y evaluación de nuestros métodos docentes como expertos.
Existe un estudio reciente que aplica una metodología de enseñanza y
evaluación de los médicos residentes en cuanto a la adquisición de habilidades
teóricas, clínicas, comunicativas y evaluación de la satisfacción de los
residentes. Como conclusión, si bien el estudio no utilizaba metodología
CUSUM, evaluaba varias áreas de competencia que efectivamente pueden ser
adquiridas y concluye que los principales factores que pueden tener impacto en
la adquisición de competencias clínicas son: mayor volumen de actividad,
58
protocolización del departamento por el que rota el residente, grado de
organización del departamento, un ambiente que facilite y estimule el
aprendizaje y el trabajo en equipo. Es decir, existen también factores ajenos al
alumno que tienen un impacto significativo en la adquisición de los objetivos de
aprendizaje establecidos (Oristrell J et al, 2014).
Es por ello que proponemos que, en la medida en que nuestras unidades puedan
soportarlo, introducir métodos de medida de aprendizaje individualizado que nos
permita detectar, modificar o mejorar, cuando se evidencie que el individuo no
aprende, los factores que pueden tener influencia en el aprendizaje: la
metodología usada para enseñar, las habilidades intrínsecas del individuo, la
falta de sistematización de la técnica que se enseña o la cadencia y volumen de
intervenciones realizadas,…
El hecho de medir y constatar que un individuo ha aprendido nos permite
integrarlo en nuestra actividad clínica estando seguros que alcanzará los
resultados esperados y que no pone en riesgo a los pacientes. Si, por otro lado,
el individuo no aprende, nos permitirá revisar los factores implicados en el
aprendizaje y tomar medidas más individualizadas y correctivas para que el
individuo llegue a ser competente y alcance el estándar requerido.
Generalmente los estándares a alcanzar vienen determinados por dos variables:
las recomendadas por las guías de buena práctica de nuestra especialidad y la
adaptación de éstas prácticas a nuestro medio y a la realidad de nuestros
pacientes. A su vez, el ejercicio de trabajar sobre la fijación de los estándares a
alcanzar dentro de nuestras unidades, nos permite integrar en el proceso a los
mejores operadores de cada técnica. Éstos serán los encargados de protocolizar
los procedimientos médicos que vayan a ser enseñados y aplicados, del proceso
59
de enseñanza de los mismos y serán los referentes de acuerdo con los que se
fijarán los niveles a alcanzar (Rodríguez A et al, 2014; López MJ et al 2014).
En el caso de que un individuo no alcance la competencia, no se trata de cambiar
el estándar que se debe de exigir, sino que poner en marcha las medidas
correctivas para que todo el personal llegue al mismo estándar.
Estas medidas de enseñanza y control son cruciales en los equipos con
multioperadores donde, para dar una asistencia continua a nuestros pacientes,
los actos e intervenciones a lo largo del proceso médico dejan de ser realizados
siempre por el mismo operador. Es por ello que debemos estar seguros que los
diferentes operadores alcanzan el mismo nivel de competencia en sus actos. La
medicina deja de pivotar sobre un único actor operador, para convertirse en la
fortaleza del equipo mediante el entrenamiento, aprendizaje y fomento de las
habilidades individuales.
Es difícil pensar que toda la carga de la responsabilidad del aprendizaje recaiga
en el individuo en formación, sino que probablemente nosotros mismos como
expertos, en la forma de plantear el aprendizaje, como el medio en el que se
desarrolla el mismo, modula y determina el mismo. Así pues, en el contexto de
un programa de desarrollo de calidad, las tres grandes áreas de mejora a evaluar
serían:
a) Problemas derivados de la falta de conocimientos; es decir, los profesionales
no conocen cómo realizar correctamente un determinado aspecto de su trabajo
Frente a este tipo de causas las acciones más adecuadas son la formación
continuada y la protocolización.
60
b) Problemas derivados de déficits organizativos, los cuales se corrigen
lógicamente modificando los circuitos, las cargas de trabajo, los sistemas de
coordinación e información, entre otros.
c) Problemas de actitud derivados de situaciones en las cuales los profesionales
no están motivados para realizar una atención óptima. Por ejemplo, en los
últimos años se ha discutido mucho sobre el síndrome del burn-out (quemado)
de algunos profesionales. Las actitudes pueden verbalizarse, discutirse y por
supuesto modificarse entendiendo su origen y aplicando estrategias de
reconocimiento e incentivación (Juran JM, 1990)
4.3- ¿Todos los procesos o intervenciones médicas deben ser reguladas
por curvas de aprendizaje? ¿Qué características deben tener?
Basta leer los artículos presentados en este estudio (Rodríguez et al, 2014;
Lopez et al, 2014) o algunos de los nombrados a lo largo de las citas
bibliográficas (Desolle et al, 2010) para entender que el hecho de poner en
marcha las curvas de aprendizaje individualizadas constituye una inversión de
tiempo y de recursos de los que no todas las unidades disponen.
Es por ello que debemos priorizar aquellos procesos en los que sea realmente
necesario una evaluación individualizada por el impacto que tendría en el
desarrollo de la actividad o en los resultados, la falta de garantía de competencia
del individuo en formación.
61
En la literatura y, concretamente, en la especialidad de la Medicina de la
Reproducción, se describen aquellos actos médicos o paramédicos cuyo
resultado son altamente operador dependiente como la punción ovárica
(Goldman et al, 2010), la transferencia embrionaria (Schoolcraft et al, 2001), la
monitorización de la estimulación ovárica controlada (Forman RG et al,1991;
Penzias AS et al 1994), la vitrificación embrionaria/ ovocitaria (Desolle et al,
2009), la microinyección espermática ICSI (Durbán et al., 2016). Es decir,
nuestra especialidad está llena de procesos técnicos en los que, realizando un
esfuerzo para la sistematización de los protocolos, basados en la evidencia
científica y poniendo en marcha un buen plan de enseñanza y de control,
podemos llegar a dotar a nuestros equipos de una excelencia global.
Evidentemente, todo aquello que requiere una intervención manual, depende de
las habilidades individuales, pero creemos que hay ciertas habilidades que se
pueden aprender y otras que se pueden fomentar. Si bien, se sobreentiende que
siempre en los equipos habrá los mejores operadores de cada técnica, nos
debemos asegurar que el resto del equipo llega a los estándares definidos como
mínimos previamente. Existen estudios publicados (García et al., 2013) que
demuestran que, incluso habilidades empáticas, que tradicionalmente
pensábamos inherentes al temperamento o carácter individual, pueden ser
mejoradas o adquiridas tras un adecuado entrenamiento y formación.
62
4.4.- ¿Los métodos sistemáticos de enseñanza y aprendizaje, hacen más
sencillo la extrapolación de ciertos tratamientos médicos a colectivos
paramédicos?
Los colectivos paramédicos tienen cada vez un papel más relevante en las
unidades médicas y, concretamente, en las unidades de reproducción humana
asistida.
En el caso de que el marco legal del país donde desarrollemos nuestra actividad
nos lo permita, podemos realizar procesos de inclusión de enfermeras u otro tipo
de personal paramédico como los técnicos de laboratorio, por ejemplo, en
algunos actos médicos que se encuentren estandarizados y con los que se
cuenten con herramientas robustas de medición y de aplicación de las mismas.
El caso del trabajo presentado en esta tesis (no publicado todavía, OC- ESHRE
2015, Rodríguez et al) donde las enfermeras especialistas en reproducción
asistida son entrenadas para realizar controles ecográficos durante la
estimulación ovárica controlada es un claro ejemplo donde, sin tener
previamente experiencia con la herramienta que se utiliza y poniendo los
métodos adecuados de docencia y de control, se puede llegar a asegurar que el
personal ha adquirido la competencia. Esto ha permitido la inclusión de las
mismas en la actividad diaria de nuestra unidad.
Todas aquellas actividades que requieran de ciertas habilidades que pueden ser
enseñadas dentro de un marco sistemático y donde no sea necesario una
aplicación de un juico médico con posterioridad por parte del alumno, sino que
pueda ser delegada al profesional médico, pueden ser susceptibles de ser
63
trasladadas a estos colectivos en beneficio tanto de la carrera profesional de los
mismos como en beneficio del colectivo médico que puede invertir su tiempo en
rendir en otros aspectos decisionales más propios de su formación y del valor
añadido que pueden dar al proceso y acto médico en su conjunto.
Otro ejemplo claro es el artículo, publicado por nuestro mismo grupo (Durbán et
al., 2016) donde se demuestra que los técnicos de laboratorio sin previa
experiencia en micromanipulación pueden adquirir competencia en la realización
de ICSI de óvulos humanos tras haber microinyectado óvulos madurados in vitro
con pequeñas esferas de látex.
4.5.- Las curvas de aprendizaje y la puesta en marcha de medidas de
control de los procesos favorecen el nacimiento de unidades médicas más
efectivas y polivalentes.
El hecho de poder contar con herramientas estadísticas que nos permitan
obtener una información ajustada al individuo, genera la posibilidad de utilizar los
recursos de manera más dirigida y efectiva.
¿Por qué seguir invirtiendo en una persona que ha adquirido la competencia y
por qué correr el riesgo de incluir en nuestra actividad clínica diaria a los que no
la han adquirido?
Por otro lado, las curvas de aprendizaje individualizadas no solo permiten
obtener información sobre el individuo sino cuestionar, en caso de error o
tardanza en aprender, los métodos que utilizamos tanto en nuestra actividad
64
diaria (¿están los suficientemente sistematizados para ser extrapolados?) o en
nuestra forma de enseñarlos (¿adaptamos nuestro modo de enseñanza al
individuo y a las circunstancias de la unidad?).
Indudablemente el hecho de medir de forma objetiva nos da la posibilidad de
poner en marcha acciones correctivas que harán los procesos más eficientes y
mejorarán los resultados con mayor celeridad que si esperamos a que el efecto
o el impacto sea tan grande que sea visible y demasiado tarde. Sin embargo, las
herramientas estadísticas propuestas en este trabajo, nos pueden dotar de la
capacidad de detección inmediata de que el proceso está fuera de control.
Insistir en el hecho de que, si incluimos en nuestros procesos a personal
paramédico con un control riguroso de sus curvas individuales de aprendizaje,
dotarán a la unidad de mayor polivalencia y efectividad, pudiendo redirigir y
redistribuir los recursos de forma más eficiente hacia aquellos puntos de mejora
o necesidades que tengamos en nuestra unidad. Si bien, en las iniciales
definiciones de Calidad aplicadas a la Medicina no se incluía el concepto de
coste-eficiencia, hoy día, es inconcebible entender la Calidad sin englobarla
dentro de un marco de eficiencia.
4.6.- Consideraciones finales.
El mundo de la estadística y de ciertas herramientas matemáticas aplicadas a
nuestras técnicas y procedimientos médicos abre una vía de mejora
impresionante en nuestra práctica diaria y nos permite caminar hacia la
excelencia con un trabajo continuo. Para ello es fundamental evolucionar, en
65
primer lugar, en el concepto clásico de la aplicación de la medicina y reflexionar
sobre el papel del médico en nuestra sociedad, además de dotarnos de la
humildad, generosidad y de la capacidad autocrítica suficientes que nos permitan
trasladar el protagonismo desde el individuo al equipo en beneficio de nuestros
pacientes y de la calidad de la atención recibida. Si conseguimos este objetivo
sin abandonar el acompañamiento humano y personal, con toda seguridad que
alcanzaremos la excelencia en su más amplio sentido.
66
5.- CONCLUSIONES
67
5.- CONCLUSIONES
1.- Conclusión general:
La implementación de herramientas estadísticas que midan la curva de
aprendizaje individual y el mantenimiento de la competencia nos permite
alcanzar altos estándares de calidad en la asistencia de los pacientes por parte
de los equipos médico y paramédico.
2.- Conclusiones específicas:
2.1.- Es posible evaluar la curva de aprendizaje en ecografía 3D aplicada a
foliculometría en médicos previamente expertos en 2D gracias a la aplicación de
herramientas estadísticas y matemáticas (LC-CUSUM) y verificar que se ha
alcanzado competencia.
2. 2.- La curva de aprendizaje es individual, dado que cada alumno necesita un
número de repeticiones diferente hasta alcanzar la competencia.
2.3.- El número de intentos necesarios (rango de 19 a 38) hasta alcanzar la
competencia en ecografía 3D por parte de ginecólogos expertos en 2D es
asumible por una unidad de reproducción con un volumen medio de actividad.
68
2.4.- Es posible determinar las curvas de aprendizaje de realización de
transferencias embrionarias en médicos especialistas sin previa experiencia en
la misma.
2.5.- Existen factores externos y ajenos a las habilidades individuales (como la
interrupción del proceso de aprendizaje durante periodos de tiempo
determinados) que impactan en la curva de aprendizaje y en el mantenimiento
de la competencia, especialmente cuando estos factores concurren durante el
período de formación o en el inmediatamente posterior a la adquisición de la
competencia.
2.6.- Es necesario vigilar muy estrechamente el mantenimiento de la
competencia de una técnica para no perderla, sobre todo en el período
inmediatamente posterior a la adquisición de la competencia.
2.7.- Medidas correctivas (como repaso de proceso acompañado de un senior)
puestas en marcha tras la detección de la pérdida de competencia pueden hacer
volver al individuo ser competente.
2.8.- Las herramientas estadísticas aplicadas (LC-CUSUM) permiten evaluar el
aprendizaje y adquisición de competencia de en ecografía 3D en enfermeras sin
previa experiencia en ecografía transvaginal.
2.9.- El personal paramédico puede aprender técnicas que clásicamente han
sido confinadas a ser realizadas por médicos.
2.10.- Las enfermeras pueden adquirir y mantener competencia en foliculometría
3D en un período razonable de tiempo, siempre y cuando el volumen de trabajo
de la unidad permita soportar esta inversión de tiempo y recursos.
69
6.- REFERENCIAS
70
6.- REFERENCIAS Ansell, J. S., R. Boughton, et al. (1979). "Lack of agreement between subjective
ratings of instructors and objective testing of knowledge acquisition in a urological continuing medical education course." J Urol 122(6): 721-723.
Balyste D, Schäffer L, Burkhardt T, Wisser J, Zimmermann R, Kurmanavicius J.
(2010). “Continuous independent quality control for fetal ultrasound bioimetry provided by the cumulative summation technique”. Ultrasound Obstet Gynecol 35(4):449-55.
Bazot, M., E. Darai, et al. (2011). "Learning curve of transvaginal ultrasound for
the diagnosis of endometriomas assessed by the cumulative summation test (LC-CUSUM)." Fertil Steril 95(1): 301-303.
Biau, D. J. and R. Porcher (2010). "A method for monitoring a process from an
out of control to an in control state: Application to the learning curve." Stat Med 29(18): 1900-1909.
Biau, D. J., R. Porcher, et al. (2008). "CUSUM: a tool for ongoing assessment of
performance." Ultrasound Obstet Gynecol 31(3): 252-255. Biau, D. J., M. Resche-Rigon, et al. (2007). "Quality control of surgical and
interventional procedures: a review of the CUSUM." Qual Saf Health Care 16(3): 203-207.
Biau, D. J., S. M. Williams, et al. (2008). "Quantitative and individualized
assessment of the learning curve using LC-CUSUM." Br J Surg 95(7): 925-929.
Bolsin, S. and M. Colson (2000). "The use of the Cusum technique in the
assessment of trainee competence in new procedures." Int J Qual Health Care 12(5): 433-438.
Borel, J. and M. Sivanto (2008). "Gestión de calidad en anestesiología." 66: 71-
82. Braga, D. P., F. F. Pasqualotto, et al. (2007). "Use of pig oocytes for training
new professionals in human assisted reproduction laboratories." Fertil Steril 88(5): 1408-1412.
Conceptos generales de Calidad. Ciencias de la Salud. Metodología de la
Calidad aplicada a los profesionales. Universidad de Cádiz. UCA.
71
Correa JB, Dellazzana JE, Leite DM, de Oliveira Filho GR, Xavier RG. (2009). Using the Cusum curve to evaluate the training of orotracheal intubation with the Truview EVO2 laryngospe. Rev Bras Anestesiol 59(3) :321-31.
Cuervo, J. and J. Varela (1994). "Gestión de Hospitales." 302-335. Deb, S., K. Jayaprakasan, et al. (2009). "Intraobserver and interobserver
reliability of automated antral follicle counts made using three-dimensional ultrasound and SonoAVC." Ultrasound Obstet Gynecol 33(4): 477-483.
Deb, S., J. Kannamannadiar, et al. (2011). "The interovarian variation in three-
dimensional ultrasound markers of ovarian reserve in women undergoing baseline investigation for subfertility." Fertil Steril 95(2): 667-672.
Del Pozo, R. and J. Altamore (2004). "Introducción de las normas ISO y su
aplicación en el sector sanitario." JANO 1 46(71-84).
Desparoir, A., M. Capelle, et al. (2011). "Does the experience of the provider affect pregnancy rates after embryo transfer?" J Reprod Med 56(9-10): 437-443.
Dessolle, L., D. J. Biau, et al. (2009). "Learning curve of vitrification assessed
by cumulative summation test for learning curve (LC-CUSUM)." Fertil Steril 92(3): 943-945.
Dessolle, L., T. Freour, et al. (2010). "How soon can I be proficient in embryo
transfer? Lessons from the cumulative summation test for learning curve (LC-CUSUM)." Hum Reprod 25(2): 380-386.
Dessolle, L., F. Leperlier, et al. (2014). "Proficiency in oocyte retrieval assessed
by the learning curve cumulative summation test." Reprod Biomed Online 29(2): 187-192.
Deutch, T. D., I. Joergner, et al. (2009). "Automated assessment of ovarian
follicles using a novel three-dimensional ultrasound software." Fertil Steril 92(5): 1562-1568.
Donabedian, A. (1981). "The Definition of Quality and Approaches to Its
Assessment." Health Serv Res 16(2): 236–237. Forman, R. G., J. Robinson, et al. (1991). "Follicular monitoring and outcome of
in vitro fertilization in gonadotropin-releasing hormone-agonist-treated cycles." Fertil Steril 55(3): 567-573.
72
Forman, R. G., J. Robinson, et al. (1991). "What is the true follicular diameter: an assessment of the reproducibility of transvaginal ultrasound monitoring in stimulated cycles." Fertil Steril 56(5): 989-992.
Garcia, D., O. Bautista, et al. (2013). "Training in empathic skills improves the
patient-physician relationship during the first consultation in a fertility clinic." Fertil Steril 99(5): 1413-1418 e1411.
Goetzl, E. J., P. Cohen, et al. (1973). "Quality of diagnostic examinations in a
university hospital outpatient clinic." Ann Intern Med 78(4): 481-489. Goldman, K. N., K. S. Moon, et al. (2011). "Proficiency in oocyte retrieval: how
many procedures are necessary for training?" Fertil Steril 95(7): 2279-2282.
Hampton, K. D., J. M. Newton, et al. (2016). "A qualitative study of the barriers
and enablers to fertility-awareness education in general practice." J Adv Nurs 72(7): 1541-1551.
Hannan, E. L., H. Kilburn, Jr., et al. (1990). "Adult open heart surgery in New
York State. An analysis of risk factors and hospital mortality rates." JAMA 264(21): 2768-2774.
Hou, J. and M. Shim (2010). "The role of provider-patient communication and
trust in online sources in Internet use for health-related activities." J Health Commun 15 Suppl 3: 186-199.
Hwang, J. H., H. J. Yoo, et al. (2012). "Learning curve analysis of laparoscopic
radical hysterectomy and lymph node dissection in early cervical cancer." Eur J Obstet Gynecol Reprod Biol.
Jayaprakasan, K., K. F. Walker, et al. (2007). "The interobserver reliability of off-
line antral follicle counts made from stored three-dimensional ultrasound data: a comparative study of different measurement techniques." Ultrasound Obstet Gynecol 29(3): 335-341.
Juran, J. (1990). "Juran y el liderazgo para la calidad. Manual para directivos."
Díaz de Santos. Barcelona. Kemp, S. V., S. H. El Batrawy, et al. (2010). "Learning curves for endobronchial
ultrasound using cusum analysis." Thorax 65(6): 534-538. Levine, H. and C. McGuire (1970). "The validity of multiple choice tests as
measures ofcompetence in medicine." Am Educ Res J 7(9-83.).
73
Lopez, M. J., D. Garcia, et al. (2014). "Individualized embryo transfer training: timing and performance." Hum Reprod 29(7): 1432-1437.
Maxim, B. R. and T. E. Dielman (1987). "Dimensionality, internal consistency
and interrater reliability of clinical performance ratings." Med Educ 21(2): 130-137.
Murtinger, M., A. Aburumieh, et al. (2009). "Improved monitoring of ovarian
stimulation using 3D transvaginal ultrasound plus automated volume count." Reprod Biomed Online 19(5): 695-699.
Norma IRAM 30200 Guía para la interpretación de la Norma IRAM-ISO 9001:
2000 en organizaciones de Salud. Norma ISO 9001: 2000 Sistemas de Gestión de Calidad. Oristrell J, Oliva JC, Casanova A, Comet R, Jordana R, Navarro M. (2014).
“The Computer Book of the Internal Medicine Resident: competence acquisition and achievement of learning objectives”. Rev Clin Esp (Barc) 214(1):8-16.
Papanna, R., D. J. Biau, et al. (2011). "Use of the Learning Curve-Cumulative
Summation test for quantitative and individualized assessment of competency of a surgical procedure in obstetrics and gynecology: fetoscopic laser ablation as a model." Am J Obstet Gynecol 204(3): 218 e211-219.
Papageorgiou TC, Hearns- Stokes RM, Leondines MP, Miller BT, Chakraborty
P, Cruess D, Segars J. (2001). Hum Reprod 16(7):1415-9. Penzias, A. S., A. M. Emmi, et al. (1994). "Ultrasound prediction of follicle
volume: is the mean diameter reflective?" Fertil Steril 62(6): 1274-1276. Raine-Fenning, N. (2004). "The role of three-dimensional ultrasound in assisted
reproduction treatment." Ultrasound Obstet Gynecol 23(4): 317-322. Raine-Fenning, N., S. Deb, et al. (2010). "Timing of oocyte maturation and egg
collection during controlled ovarian stimulation: a randomized controlled trial evaluating manual and automated measurements of follicle diameter." Fertil Steril 94(1): 184-188.
Raine-Fenning, N., K. Jayaprakasan, et al. (2007). "Automated follicle tracking
facilitates standardization and may improve work flow." Ultrasound Obstet Gynecol 30(7): 1015-1018.
74
Raine-Fenning, N., K. Jayaprakasan, et al. (2008). "SonoAVC: a novel method of automatic volume calculation." Ultrasound Obstet Gynecol 31(6): 691-696.
Raine-Fenning, N., K. Jayaprakasan, et al. (2009). "Automated follicle tracking
improves measurement reliability in patients undergoing ovarian stimulation." Reprod Biomed Online 18(5): 658-663.
Raine-Fenning, N. J., J. S. Clewes, et al. (2003). "The interobserver reliability
and validity of volume calculation from three-dimensional ultrasound datasets in the in vitro setting." Ultrasound Obstet Gynecol 21(3): 283-291.
Rodriguez-Fuentes, A., J. Hernandez, et al. (2010). "Prospective evaluation of
automated follicle monitoring in 58 in vitro fertilization cycles: follicular volume as a new indicator of oocyte maturity." Fertil Steril 93(2): 616-620.
Rodriguez, A., J. J. Guillen, et al. (2014). "Learning curves in 3-dimensional
sonographic follicle monitoring during controlled ovarian stimulation." J Ultrasound Med 33(4): 649-655.
Rozenberg, P., R. Porcher, et al. (2008). "Comparison of the learning curves of
digital examination and transabdominal sonography for the determination of fetal head position during labor." Ultrasound Obstet Gynecol 31(3): 332-337.
Rudderow, J., J. Bansal, et al. (2014). "Development of a web-based
laparoscopic technical skills assessment and testing instrument: a pilot study." J Surg Educ 71(6): e73-78.
Salama, S., E. Arbo, et al. (2010). "Reproducibility and reliability of automated
volumetric measurement of single preovulatory follicles using SonoAVC." Fertil Steril 93(6): 2069-2073.
Sarkiss, C. A., S. Philemond, et al. (2016). "Neurosurgical Skills Assessment:
Measuring Technical Proficiency in Neurosurgery Residents Through Intraoperative Video Evaluations." World Neurosurg 89: 1-8.
Scott, R. T., Jr., K. H. Hong, et al. (2014). "Embryology training for Reproductive
Endocrine fellows in the clinical human embryology laboratory." J Assist Reprod Genet 31(4): 385-391.
Shmorgun, D., E. Hughes, et al. (2010). "Prospective cohort study of three-
versus two-dimensional ultrasound for prediction of oocyte maturity." Fertil Steril 93(4): 1333-1337.
75
Sinclair L, Morgan C, Lashen H, Afnan M, Sharif K. (1998). « Nurses performing
embryo transfer : the development and results of the Birmingham experience ». Hum Reprod 13(3) :699-702.
Sloan, D. A., M. B. Donnelly, et al. (1995). "Faculty sensitivity in detecting
medical students' clinical competence." Medical Teacher 17(3): 335-342. Stern, J., M. Bodin, et al. (2015). "Midwives' adoption of the reproductive life
plan in contraceptive counselling: a mixed methods study." Hum Reprod 30(5): 1146-1155.
Sunkara, S. K., V. Rittenberg, et al. (2011). "Association between the number of
eggs and live birth in IVF treatment: an analysis of 400 135 treatment cycles." Hum Reprod 26(7): 1768-1774.
Schoolcraft WB, Surrey ES, Gardner DK. (2001). “Embryo transfer: techniques
and variables affecting success”. Fertil Steril 76(5):863-70. Schwartz R, Donnelly M, Sloan D, et al (1995). “The relationship between
faculty ward evaluations, OSCE, and ABSITE as measures of surgical intern performance”. Am J Surg 169(4):414-7
Viveros, R. (2008). "Calidad en medicina de urgencia, una necesidad de nuestros días (Parte I)." Rev Argentina Anest 66: 71-82.
Wittmaack, F. M., D. O. Kreger, et al. (1994). "Effect of follicular size on oocyte
retrieval, fertilization, cleavage, and embryo quality in in vitro fertilization cycles: a 6-year data collection." Fertil Steril 62(6): 1205-1210.
Wray, N. P. and J. A. Friedland (1983). "Detection and correction of house staff
error in physical diagnosis." JAMA 249(8): 1035-1037.
76
7.- ANEXOS
77
7.- ANEXOS
Anexo I: Ecógrafo utilizado durante los estudios de ecografía:
Un ecógrafo Voluson i (GE Healthcare) fue utilizado en todos los controles
ecográficos. Este ecógrafo tiene incorporado el modo 3D y un software BT2009
3D SonoAVC, además de la versión tradicional de sonografía 2D. La sonda
vaginal tiene una frecuencia de 6.5-Mhz (RIC 5-9W-RS; GE Healthcare), que se
puede utilizar tanto en modo 2D como 3D.
Anexo II: Comunicaciones orales relacionadas.
Se adjuntan dos trabajos originales que fueron aceptados como comunicaciones
orales dos congresos internacionales. Dichos trabajos fueron imprescindibles
para la demostración de la utilidad de la ecografía 3D dentro de nuestra unidad
y para la construcción de las curvas de aprendizaje de los alumnos.
