"debriefing" Y EVALUACIÓN

DE LA SIMULACIÓN

“Debriefing" y

Evaluación de la

Simulación 11/13/2012

"debriefing"… donde ocurre el verdadero aprendizaje.

11/13/2012

Objetivos

• Finalizada la presentación, los participantes:

– Definirán el concepto de "debriefing" o reflexión

estructurada apoyada en el contexto de la simulación

en la educación en salud.

– Distinguirán las mejores prácticas del "debriefing" en

escenarios clínicos simulados.

– Discutirán los aspectos del desarrollo e implantación

de Evaluación Clínica Objetiva y Estructurada

(ECOE) y la evaluación de la simulación.

11/13/2012

Fases de la simulación

Establecer introducción

Manejo

del simulador

Teoría Discusión del caso Escenario "debriefing" Conclusión

Dr. Peter Dieckmann

11/13/2012

Una actividad que sigue a una experiencia de

simulación, en la que se realiza un análisis o

reflexión guiada por el facilitador. Fomenta la

autoevaluación, el aprendizaje reflexivo y

significativo. -adaptado Universidad de Cádiz, 2012

11/13/2012

Importancia del "debriefing"

• Reflexión sobre la experiencia vivida

• Discusión sobre los objetivos de aprendizaje

• Refuerzo de las buenas prácticas

11/13/2012

Importancia del "debriefing" • Aprendizaje de los errores

• Aumentar el apoyo y el espíritu de trabajo en

equipo

• Creación de nuevas metas de aprendizaje

individuales/grupales

-Amaya, 2012

11/13/2012

Aplicación de nueva información

pensamiento

Sentimientos

Tiempo para reflexión

Judy Johnson-Russell, 2007

11/13/2012

Las mejores prácticas

para "debriefing"

Un lugar seguro para hablar sobre sus

pensamientos y sentimientos

Sin críticas o burlas de sus

compañeros o profesores

Ambiente tranquilo lejos del simulador

Área donde puedan ver y compartir los

recientes eventos

Judy Johnson-Russell, 2007

11/13/2012

• Deberá ser un momento de descubrimiento, de

aprendizaje compartido, más que uno de

evaluación.

• Garantizar la seguridad y el estímulo durante el

proceso.

Las mejores prácticas de "debriefing"

11/13/2012

Consideraciones para el "debriefing"

• Lugar (ubicación)

• Tiempo

• Rol del facilitador

• Rol del estudiante

• Tipos de "debriefing"

11/13/2012

Ubicación

• Lugar privado y tranquilo

• Salón o área con mesa que permita que los

participantes se sienten de manera circular

11/13/2012

Ubicación

• Televisor o pantalla con video

• Libros de texto, guías, PDR, documentación

relacionada al escenario, pizarra y el expediente

del paciente.

11/13/2012

Tiempo

• Debe ocurrir lo más pronto posible

• El tiempo dependerá de:

– objetivos

– nivel y cantidad de estudiantes

– complejidad del escenario

• Se recomienda entre 30 minutos y una hora.

11/13/2012

Rol del facilitador durante el "debriefing"

Facilitador Realizar

preguntas Estimular el

pensamiento

Comprensión y análisis profundo

Rol del facilitador

11/13/2012

Rol del estudiante durante el

"debriefing"

• Informar sobre los procedimientos o

comportamientos que observan durante el

escenario y cuáles se omiten.

11/13/2012

Rol del estudiante durante el

"debriefing"

• Retroalimentación entre pares

• Trabajo en equipo

11/13/2012

Tipos de "debriefing"

• "debriefing" verbal

-Es el más común y más efectivo

-Se realiza inmediatamente después de la simulación

11/13/2012

Tipos de "debriefing"

• "debriefing" escrito

-En ocasiones se puede dar al finalizar el "debriefing"

verbal.

-Ofrece tiempo adicional para procesar pensamientos y

expresarlos en forma escrita.

-Permite la integración de la tecnología a través del uso

de blogs, wikis, entre otros.

11/13/2012

Tipos de "debriefing"

• “Journals” (diarios)

-Es un tipo de "debriefing" escrito

-Tiende a promover la autoevaluación y profundizar en

el aprendizaje

-Proporciona un intercambio privado o personal con el

facilitador

11/13/2012

Técnicas efectivas

• Interacciones grupales.

• Reflexión individual y maximizar el aprendizaje.

• Preguntas abiertas que ayuden al estudiante a

identificar sus sentimientos y la razón para ellos.

11/13/2012

Ejemplos de preguntas abiertas

– ¿Cómo te sentiste durante el escenario?

– ¿Qué crees que le causó los vómitos al Sr. Wilson?

– Cuando insertaste el tubo nasogástrico; ¿qué

esperabas que ocurriera?

Las preguntas abiertas, pueden utilizarse para ayudar a

los estudiantes a evaluar su experiencia en general y su

relación con el mundo real.

11/13/2012

Uso de videos

• Es una excelente herramienta para un buen

"debriefing"

– Provee dirección a la discusión

– Ayuda a los participantes a recordar buenos y malos

aspectos del escenario

Amaya Afanador 11/13/2012

Uso de videos

• Recomendaciones:

– El facilitador no debe hablar o argumentar mientras

se observa el video

– Utilizar preguntas como por ejemplo: ¿Qué

observaron sobre el trabajo en equipo?

– Utilizar instrucción y facilitación conforme se

requiera

Amaya Afanador

11/13/2012

Recomendaciones para el "debriefing"

• Asignar tiempo suficiente para la reunión

• Formular preguntas abiertas

• Evitar críticas directas

• Promover la participación de todos

• Desarrollar planes de acción, una vez se

identifiquen las debilidades

11/13/2012

"debriefing" #1

11/13/2012

"debriefing" #2

11/13/2012

"debriefing" Y EVALUACIÓN

DE LA SIMULACIÓN

EVALUACIÓN DE LA

SIMULACIÓN

11/13/2012

Evaluación de la Simulación

• Evaluación de un programa de entrenamiento

basado en la simulación.

• Evaluación del aprendizaje a través de la

simulación.

11/13/2012

Clarificación de conceptos

• Evaluación – programa

• Assessment – individuo

• Evaluación Formativa – mejoramiento

• Evaluación Sumativa – para comprobar

• Investigación de los resultados - efectividad

11/13/2012

Evaluación de un Programa de

entrenamiento basado en la Simulación

• Propósito:

– Mejoramiento del programa

– Determinar pasos a seguir y tomar decisiones

– Para determinar efectividad

– Para documentar sucesos

– Para medir resultados

11/13/2012

Modelo para evaluar la efectividad de un

programa de adiestramiento basado en la

Simulación Evaluación de Resultados (impacto)

Evaluación de comportamiento

(conocimiento aplicado)

Evaluación de Aprendizaje

(conocimiento adquirido)

Evaluación de Reacciones

(satisfacción)

Modelo de

Kirkpatrick

11/13/2012

Modelo de Kirkpatrick

• Nivel 1: Reacción

– Se evalúa la reacción de los participantes en el programa de formación

–Busca el grado de satisfacción de los estudiantes.

Impacto

Conocimiento aplicado

Conocimiento Adquirido

Satisfacción

11/13/2012

Modelo de Kirkpatrick

• Nivel 2: Aprendizaje

– Se centra de pleno

en la evaluación de

las competencias

adquiridas

11/13/2012

Impacto

Conocimiento aplicado

Conocimiento Adquirido

Satisfacción

Modelo de Kirkpatrick

• Nivel 3: Conducta

– Se evalúa la

transferencia de los

aprendizajes al

lugar de trabajo

11/13/2012

Impacto

Conocimiento aplicado

Conocimiento Adquirido

Satisfacción

Modelo de Kirkpatrick

• Nivel 4: Resultados

–Lo que se pretende

evaluar en este

nivel es el impacto

en la población o

sociedad.

11/13/2012

Impacto

Conocimiento aplicado

Conocimiento Adquirido

Satisfacción

Relación entre modelos de evaluación

de Kirkpatrick y Miller

Hacer

Demostrar

Saber cómo

Saber

Pirámide Miller Modelo Kirkpatrick

11/13/2012

11/13/2012

Evaluación del aprendizaje a través

de la simulación

• El “assessment” es el proceso de obtener,

organizar y presentar información variada sobre

qué aprende el alumno y cómo lo aprende,

mediante el uso de diferentes técnicas y en

diferentes momentos durante el proceso de

enseñanza-aprendizaje.

“Assessment” o Avalúo

GCRME, University of Miami

11/13/2012

• El “assessment” dirige el aprendizaje

• Permite a la institución educativa medir el

progreso individual de los estudiantes.

• Es fundamental para la conceptualización de los

resultados (outcomes) y las competencias del

programa.

¿Por qué es importante el

“Assessment”?

GCRME, University of Miami 11/13/2012

• Garantiza la competitividad de los estudiantes

como futuros proveedores de salud.

• Permite a los participantes prepararse para

tomar exámenes de reválida, certificaciones

profesionales y credenciales.

¿Por qué es importante el

Assessment?

11/13/2012

EVALUACIÓN

CLÍNICA

OBJETIVA

ESTRUCTURADA

11/13/2012

Evaluación de destrezas ECOE

• La Evaluación Clínica Objetiva Estructurada

(ECOE) es un método que utilizamos para

evaluar competencias para un curso en

particular.

GCRME, University of Miami

11/13/2012

Diseño

• La ECOE está diseñada en un formato que

incorpora diversos instrumentos evaluativos y se

desarrolla a través de estaciones que simulan

situaciones clínicas.

11/13/2012

Diseño de ECOE

• El poder de este formato radica en la combinación de métodos de evaluación, de manera que es capaz de explorar suficientemente tres de los cuatro niveles de la pirámide de Miller: saber, saber cómo y demostrar cómo.

Hacer

Demostrar

Saber cómo

Saber

11/13/2012

Los elementos fundamentales para

el diseño de ECOE son:

• El Comité de Prueba

• La tabla de especificaciones, representación

resumen de la prueba.

• Los casos, que darán lugar a las estaciones y a las

listas evaluativas.

11/13/2012

1. Examina los componentes individuales de una competencia y una amplia muestra de las mismas.

2. Evalúa el proceso y los resultados.

3. Utiliza “checklists” o listas de control / escalas validadas para los examinadores

4. Utiliza preguntas relacionadas con los objetivos

5. Utiliza la simulación de casos y pacientes estandarizados

Características de ECOE

11/13/2012

• Propósito de la prueba

• Contenidos de dominio

• Nivel de habilidad evaluada

• Formato de la prueba

• Número de estaciones

• Competencias a ser evaluadas

• Instrumentos de evaluación

• Evaluadores

• Establecer mínimo requerido

Planificación de ECOE

11/13/2012

• Ejemplo:

Garantizar que los estudiantes del programa Técnico

de Emergencias Médicas Paramédico tengan las

habilidades y competencias clínicas necesarias para

obtener su grado académico.

Propósito de la Prueba

11/13/2012

• Ejemplo:

Pacientes con alteraciones del sistema

cardiorespiratorio.

Contenido de Dominio

11/13/2012

• Ejemplo:

Destrezas específicas

– Examen físico cardiorespiratorio

– Entubación

– Resucitación cardiopulmonar

Nivel de destrezas a evaluar

11/13/2012

• Ejemplo:

– Realizar las destrezas clínicas (15 minutos)

– Documentación (10 minutos)

– Pensamiento Crítico (10 minutos)

Formato de prueba

11/13/2012

• 3 a 12 estaciones

• Basado en el propósito y contenido de la prueba

• Basado en los recursos disponibles

Número de estaciones

11/13/2012

Panificación de la prueba Especificaciones

Propósito de la prueba

Contenido del dominio

Nivel de destrezas a ser evaluadas

Formato

Número de estaciones

Competencias

Instrumentos de evaluación

Planificación de ECOE

11/13/2012

Planilla de Especificaciones

• Es el documento básico de la ECOE. Representa el

diseño general de la prueba, y está constituida por una

tabla donde se relacionan los casos con los objetivos,

competencias y destrezas a evaluar en cada ejercicio.

• En la tabla de especificaciones se establece la cantidad

de estaciones que se evaluarán en cada ejercicio, así

como el tiempo asignado para realizar cada estación.

11/13/2012

Planilla de Especificaciones

11/13/2012

Instrumentos de evaluación

• Los participantes de ECOE se evalúan a través de

instrumentos de evaluación diseñados para cada

estación.

11/13/2012

Criterios de evaluación

• Se recomienda que los criterios estén basados en

las competencias y estándares para los

profesionales de la salud.

– IOM (Institute of Medicine)

– QSEN (Quality and Safety Education for Nursing)

– Juntas Examinadoras

– Otros

11/13/2012

ECOE Programa de Emergencias

Médicas 2012

11/13/2012

Preguntas…

11/13/2012

Referencias

• Dieckman, P. (2009). Simulation is more than Technology – The Simulation Setting.

Recuperado el 11 de septiembre de 2012 desde

http://www.laerdaltraining.com/sun/enable/PDF/dieckman_article.pdf

• Jeffries, P. (2007). Simulation in Nursing Education from Conceptualization to

Evaluation. National League of Nursing. USA.

• Gordon Center for Research in Medical Education University of Miami Miller School

of Medicine (2012). ISIM Improving Simulation Instructional Methods.

• Universidad de Cádiz, Departamento de Enfermería y Fisioterapia (2012). Manual de

Casos Clínicos Simulados.

11/13/2012

¡Muchas Gracias!

11/13/2012