5ª Reunión Científica de la Asociación Española de Evaluación de Tecnologías Sanitarias
Evaluación de Guías de Práctica Clínica
EVALUACIEVALUACIÓÓN GENN GENÉÉRICA DE LAS GURICA DE LAS GUÍÍAS AS DE PRDE PRÁÁCTICA CLCTICA CLÍÍNICA. ADAPTACINICA. ADAPTACIÓÓN Y N Y
VALIDACIVALIDACIÓÓN DE UNA HERRAMIENTA N DE UNA HERRAMIENTA BASADA EN LOS REQUISITOS BASADA EN LOS REQUISITOS
PROPUESTOS POR EL INSTITUTO DE PROPUESTOS POR EL INSTITUTO DE MEDICINA DE EE.UU.MEDICINA DE EE.UU.
Valencia, 7 de Noviembre de 2002Universidad de MurciaUniversidad de Murcia
OBJETIVOS
Producir un instrumento válido para evaluar la calidad.
Elaborar una guía para su construcción, consensuada con los profesionales del sistema.
Revisar y reelaborar los protocolos/guías existentes en la actualidad.
Determinar los factores que influyen en su utilización.
Explorar la efectividad y eficiencia diferencial de actuar con/sin protocolos/guías.
El Proyecto Evaluación y Mejora de los Protocolos o Guías para la Práctica Clínica se realiza con la colaboración del Instituto de Medicina de Estados Unidos.
Valencia, 7 de Noviembre de 2002
¿POR QUÉ EVALUAR?
Instrumento de trabajo.
Area prioritaria de actuación entre profesionales,
planificadores, legisladores, gestores y usuarios.
Muy numerosos.
No experiencia de evaluación operativa.
Valencia, 7 de Noviembre de 2002
BASE METODOLOGICA
Para valorar la Calidad de Diseño es necesario definir ATRIBUTOSATRIBUTOS de Calidad.
Esos Atributos deben transformarse en CRITERIOSCRITERIOS.
A partir de esos Criterios deben construirse INSTRUMENTOSINSTRUMENTOS de medición que sean Válidos y Fiables.
Su aplicación revelará en qué pueden y deben ser MEJORADOSMEJORADOS.
Medir para ACTUARACTUAR.
Valencia, 7 de Noviembre de 2002
PROBLEMAS DE DEFINICIÓN
INSTITUTO DE MEDICINA (IOM):INSTITUTO DE MEDICINA (IOM):
Instrucciones, directrices o pautas desarrolladas de forma sistemática, cuyo propósito es ayudar a los médicos y a los pacientes a tomar decisiones sobre la asistencia sanitaria apropiada para determinadas circunstancias clínicas.
ATRIBUTOS:
- Validez - Claridad- Fiabilidad - Proceso multidisciplinario- Aplicabilidad - Revisión programada- Flexibilidad - Documentación
Valencia, 7 de Noviembre de 2002
PROBLEMAS DE DEFINICIÓN
SATURNO et. AL:
Instrumento de diseInstrumento de diseñño de la calidado de la calidad de la atención que
explicita las normas de actuación que ayudan a
profesionales y usuarios a decidir de la forma más efectiva,
eficiente y satisfactoria posible, frente a problemas
específicos de promoción, prevención y restauración de la
salud, sirviendo además como guía para la evaluación de la
calidad en los casos en los que el protocolo sea aplicable.
Valencia, 7 de Noviembre de 2002
PROBLEMAS DE DEFINICIÓN
ATRIBUTOS:
- Validez - Claridad estructural
- Fiabilidad - Proceso multidisciplinario
- Aplicabilidad - Revisión programada
- Flexibilidad - Modelaje específico
- Manejabilidad - Claridad de lenguaje
- Acreditación - Explícita normas
- Lógica - Documentación
Valencia, 7 de Noviembre de 2002
¿CÓMO MEDIR?
CUESTIONARIO IOM.- 46 Criterios + múltiples subcriterios.
6.- Se discuten cómo se consideran las preferencias del paciente: SI___ NO___
6.1.- La discusión de dichas preferencias es:S___ PS___ I___Comentarios:
6.2.- La omisión de esta discusión es:
S/I___ OM___ Om___
Comentarios:
Valencia, 7 de Noviembre de 2002
¿CÓMO MEDIR?
NECESIDAD DE MODIFICACIÓN:
- Utilizable por cualquier Profesional Sanitario.
- Adaptado al estado actual de protocolización. Mínimos.
- Evitar la Valoración Subjetiva o Escalas de Cumplimentación.
- Balance Numérico apropiado de Criterios.
- Adaptarse a los nuevos Atributos de Calidad considerados.
Valencia, 7 de Noviembre de 2002
Atributo 1 : APLICABILIDAD CLINICA
Definición del problema de salud y de las condiciones que debe tener la población hacia la que va dirigida el protocolo/guía.
Criterios de Calidad:
Definir el concepto de Caso.
Valencia, 7 de Noviembre de 2002
Atributo 2 : FLEXIBILIDAD
Identificar las circunstancias que justifican una intervención diferente a la planteada como patrón general para una población previamente determinada.
Criterios de Calidad:
Definir las Excepciones Totales o Parciales.
Considerar las Preferencias del Paciente.,
Valencia, 7 de Noviembre de 2002
Atributo 3 : FIABILIDAD
Grado en que otro grupo de trabajo desarrolla las mismas directrices, partiendo de circunstancias clínicas similares, así como interpretación y aplicación uniforme.
Criterios de Calidad:
Revisión de las cuestiones científico-técnicas por Otros Profesionales independientes.
Pilotaje.
Valencia, 7 de Noviembre de 2002
Atributo 4 : VALIDEZ
Probabilidad de alcanzar los resultados previstos cuando se aplica.
Criterios de Calidad:
Cuantificación de la Evidencia en la que se basan las recomendaciones del protocolo.
Descripción cuali-cuantitativa de los Beneficios.
Descripción cuali-cuantitativa de los Riesgos.
Descripción cuali-cuantitativa de los Costes.
Valencia, 7 de Noviembre de 2002
Atributo 5 : CLARIDAD ESTRUCTURAL
Nivel de comprensión y seguimiento en base a la estructuración del documento.
Criterios de Calidad:
Empleo de Esquemas, Resúmenes y Algoritmos.
Valencia, 7 de Noviembre de 2002
Atributo 6 : CLARIDAD de LENGUAJE
Lenguaje exento de ambigüedad y nivel de legibilidad del
texto
Criterios de Calidad:
El documento es Legible.
Valencia, 7 de Noviembre de 2002
Atributo 7 : MANEJABILIDAD
Estructura estándar, de fácil manejo, rapidez y sencillez.
Criterios de Calidad:
El documento presenta Indices Paginados.
Las páginas están Numeradas.
Valencia, 7 de Noviembre de 2002
Atributo 8 : REVISIÓN PROGRAMADA
Procedimiento de adaptación a nuevas evidencias
científicas o a cambios en los consensos profesionales.
Criterios de Calidad:
Especificar las fechas de Edición, Actualización o Publicación.
Establecimiento del período de Vigencia o la fecha de Revisión.
Valencia, 7 de Noviembre de 2002
Atributo 9 : PROCESO MULTIDISCIPLINARIO
Niveles de participación en la elaboración del protocolo de
distintos colectivos.
Criterios de Calidad:
Opinión de los profesionales de la Unidad.
Opinión de Otras Unidades relacionadas o de apoyo.
Opinión de los Usuarios/Pacientes.
Valencia, 7 de Noviembre de 2002
Atributo 10 :MODELAJE ESPECÍFICO
Diseño o adaptación específica de los sistemas de registro de datos, para permitir la evaluación de la aplicación de las propias directrices.
Criterios de Calidad:
Descripción o especificación de los Sistemas de Registro.
Valencia, 7 de Noviembre de 2002
Atributo 11 : DOCUMENTACIÓN
Descripción de los procedimientos seguidos, métodos
analíticos utilizados, conceptos y lógicas aceptadas.
Criterios de Calidad:
Descripción de los Métodos utilizados para identificar y revisar las evidencias científicas.
Referencia de las Fuentes de Información utilizadas.
Valencia, 7 de Noviembre de 2002
Atributo 12 : ACREDITACIÓN
Refrendo técnico, legal o administrativo de las Instituciones u Organismos competentes.
Criterios de Calidad:
Necesario definir previamente el ámbito competencial en la materia.
Valencia, 7 de Noviembre de 2002
Atributo 13 : SECUENCIA LÓGICA
Consistencia de las situaciones clínicas y actuaciones contempladas, con una secuencia lógica de los acontecimientos.
Criterios de Calidad:
Se consideró un Criterio, pero no superó las pruebas de fiabilidad interevaluador, por lo que ha sido rechazado a la espera de construir uno nuevo.
Valencia, 7 de Noviembre de 2002
Atributo 14 : EXPLICITA NORMAS
Grado en que el documento ayuda a saber qué hacer, detallando las pautas de actuación acordadas como correctas y estableciendo normativamente cómo ha de ser el proceso de atención.
Criterios de Calidad:
No cuenta con criterios específicos pues estáimplícitamente contemplado en el resto de atributos.
Valencia, 7 de Noviembre de 2002
PLANTILLA DE EVALUACIONCRITERIO SI NO
Define CasoExcepción TotalExcepción ParcialPreferencias PacienteRevisión IndependientePilotaje / PretestCuantificación EvidenciasBeneficios CualitativaBeneficios CuantitativaRiesgos CualitativaRiesgos CuantitativaCostes CualitativaCostes CuantitativaEsquemas / Diagramas / AlgoritmoLegibilidadIndicePáginas NúmeradasFecha EdiciónPeriodo de VigenciaOpinión UnidadOpinión Otras UnidadesOpinión UsuariosSistemas de RegistroMétodo CientíficoFuente de Información
PILOTAJE DEL CUESTIONARIO
Dos pilotajes. 1º muestra de 40 y 2º muestra de 30.
Entre el 1º y 2º pilotaje se elaboró un manual de procedimientos, estableciendo las aclaraciones y excepciones al cumplimiento del criterio.
I. Kappa para categorias nominales binarias (Cohen), modificado para múltiples evaluadores (Fleiss).
6 Evaluadores: 5 médicos y 1 enfermera. Todos evaluaron todos los protocolos en los dos pilotajes y de forma independiente entre sí.
Valencia, 7 de Noviembre de 2002
PILOTAJE DEL CUESTIONARIOCRITERIO KAPPA 1er
PILOTAJEPREV.
OBSERV.KAPPA 2ªPILOTAJE
PREV.OBSERV.
NIVELSIGNIFIC.
01. Define caso 0.11 83.9 0.51 22.9 <0.00102. Excepción total 0.14 2.1 0.54 6.7 <0.00103. Excepción parcial 0.57 19.9 0.50 11.2 <0.00104. Preferencias paciente 0.30 6.4 1.00 6.7 <0.00105. Revisión independiente -0.01 0.4 (*) 0.0 <0.00106. Pretest (*) 0.0 (*) 0.0 <0.00107. Método científico 0.06 2.1 (*) 0.0 <0.00108. Fuente de información 0.89 17.8 0.76 37.4 <0.00109. Fuerza evidencias -0.01 0.4 (*) 0.0 <0.00110. Beneficios cualitativa 0.41 14.0 (*) 0.0 <0.00111. Beneficios cuantitativa 0.11 1.3 (*) 0.0 <0.00112. Riesgos cualitativa 0.41 15.7 0.58 18.4 <0.00113. Riesgos cuantitativa 0.51 5.1 (*) 0.0 <0.00114 Costes cualitativa 0.90 4.7 (*) 0.0 <0.00115. Costes cuantitativa 1.00 2.5 (*) 0.0 <0.00116. Indice 0.69 4.2 0.86 8.9 <0.00117. Páginas númeradas 0.87 25.8 0.80 30.7 <0.00118. Legibilidad 0.62 91.9 0.66 94.4 <0.0119. Secuencia lógica 0.04 94.4 0.05 92.7 0.26120. Diagramas, algoritmo 0.58 8.5 0.73 12.8 <0.00121. Registro datos 0.76 28.5 0.71 11.2 <0.00122. Fecha edición 0.79 22.2 0.84 31.3 <0.00123. Periodo de vigencia (*) 0.0 1.00 3.4 <0.00124. Opinión unidad -0.01 0.4 (*) 0.0 <0.00125. Opinión otras unidades 0.33 3.4 0.79 2.8 <0.00126. Opinión usuarios -0.01 0.4 (*) 0.0 <0.001
(*).- I. Kappa No Cuantificado. División por 0 al no existir prevalencia de una de las variables.
VALORACION DE LOS PROFESIONALES
Participantes: 5 Hospitales, 23 ServiciosEncuestas recibidas: 349 (66%)
0 1 2 3 4 5 6 7 8 9
Legibilidad
Define caso
Secuencia lógica
Opinión unidad
Fecha edición
Excepción total
Excepción parcial
Riesgos cuali-cuantitativos
Páginas númeradas
Periodo de vigencia
Beneficios cuali-cuantitativos
Indice
Opinión otras unidades
Registro datos
Preferencias paciente
Método científico
Fuente de información
Fuerza evidencias
Costes cuali-cuantitativos
Opinión usuarios
Revisión independiente
Pretest
Diagramas, algoritmo
LIMITACIONES
¿Faltan Criterios?. Necesario adaptarlos progresivamente
a los requerimientos de los profesionales y la práctica.
No existe un punto a partir del cual se apruebe o rechace
un determinado documento. Debe quedar como decisión
del profesional que se autoevalúa.
No valora utilización, efectividad, o satisfacción.
Valencia, 7 de Noviembre de 2002
CONCLUSIONES - 1
Para mejorar la calidad de la protocolización es
necesario determinar las caractercaracteríísticas de un buen sticas de un buen
protocoloprotocolo e intentar medirlas.
La medición permite tener una base explícita para
minimizar la variabilidad debida a las ausencias de ausencias de
directrices metodoldirectrices metodolóógicas.gicas.
Valencia, 7 de Noviembre de 2002
CONCLUSIONES - 2
Lo que proponemos es un herramienta educativaherramienta educativa cuya
máxima utilidad se encuentra en los programas internos
de mejora. NO es un vehículo para la crítica destructiva
ni para identificar o enjuiciar la mala práctica.
Los profesionales, autores, clientes y/o usuarios de los
protocolos/guías deben asumir, definir y modelar los
Criterios de CalidadCriterios de Calidad a tener en cuenta.
Valencia, 7 de Noviembre de 2002