Qualität der Qualitätsmessung.Eine Übersicht

B. Domurath

Klinik für Neuro-UrologieWerner Wicker Klinik

Bad Wildungen

Einschätzung Patientenzur medizinischen Versorgungsqualität

Befragung 2.088 Patienten und 540 Ärzte

„Qualitäts“-Kampagne

Qualitätssicherungsinstanzen in MedizinÄK und BÄK, ZÄK und BZÄK und Ärztliches Zentrum für Qualität in der Medizin (AQuMed/ÄZQ)Bundesarbeitsgemeinschaft für Rehabilitation (BAR)KV und KBV, KZV und KZBVGBAAQUA‐Institut BQS IQWiGMitgliedsgesellschaften der AWMF (168 Fachgesellschaften)DKG und andere VerbändeDeutsche Rentenversicherungs BundMDK und MDSÄrztliches Zentrum für Qualität in der Medizin (ÄZQ) Zahnärztliche Zentralstelle Qualitätssicherung (ZZQ)Ärztliche StellenQualitätszirkel im niedergelassenen und KrankenhausbereichGesellschaft für Qualitätsmanagement in der Gesundheitsversorgung (GQMG)Kooperation für Transparenz und Qualität im Gesundheitswesen (KTQ)Institut für Qualitätsmanagement im Gesundheitswesen (IQMG)

Wunsch der Qualitätsverbesserung

QualitätPolitik Krankenhäuser Krankenkassen Krankenhausmitarbeiter Patient

Anstrengungen zur Qualitätsverbesserung

Mehr Qualitätsindikatoren

Mehr Qualitätskontrolle

Mehr Wettbewerb um Qualität– mehr Außendarstellung

Zertifizierung

WHO 2003

Viele Benutzer und die meisten Anbieter verkünden die Vorteile einer Akkreditierung, trotz Mangels an robusten Forschungsergebnissen, die diese These stützen.

WHO 2003

Quality and accreditation in health care services. A global review. World Health Organization, Genf, 2003

Wettbewerb

Wettbewerb um Qualität

Fundiertes QualitätsmanagementBessere Vermarktung (Zertifizierung)

„Die Zielgruppe der Aktivitäten sind dabei die Kunden“

Klauber J, Geraeddts M, Friedrich J, Wasem J (Hrsg) Krankenhausreport 2011. Schwerpunkt Qualität und Wettbewerb, Schattauer, Stuugart 2011, 81‐92

Wettbewerb führt nicht zu höherer Versorgungsqualität

Strategien, die den Wettbewerb zwischen den Gesundheitseinrichtungen im Marktumfeld fördern, können nicht zu einer verbesserten Qualität führen.

Es dominiert der Preiswettbewerb, Käufer und Konsumenten bevorzugen niedrigere Prämien auf Kosten der Verbesserung der Qualität, wie von HEDIS* und CAHPS** gemessen.Scanlon D.P., Swaminathan S, Lee W, Chernew M.  (2008) Does Competition Improve Health Care Quality? Health Services Research 43(6), 1931‐1951

*    Health care effectiveness data and information set**  Consumers assessment of healthcare providers and systems

P4P verbessert Qualität nicht

2004 vs. 200714 Medicaid Programme, 2,7 Mill. PatientenSubjektiv: geeignet die Qualität zu verbessernObjektiv: Scores gehen zurück

Guthrie B, Auerback G, Bindman AB (2010) Improve quality of care health plan competition for medicaid enrollees based on performance does not improve quality of care. Health Affairs 28(10), 1507‐1516

Mehr Geld senkt nicht die Mortalität

Rothberg MB, Cohen J, Lindenauer P, Judith Maselli J, Auerbach A (2010) Little evidence of correlation between growth in health care spending and reduced mortality, Health Affairs, 29(10),1523‐1531

Ein zusätzliches Leben kostet bei Pneumonie  Harnwegsinfekt  Sepsis

Mortalität ist gesunken, aber unabhängig von den Kosten

Kosten für die statistische Mortalitätssenkung um einen Fall

Rothberg MB, Cohen J, Lindenauer P, Judith Maselli J, Auerbach A (2010) Little evidence of correlation between growth in health care spending and reduced mortality, Health Affairs, 29(10),1523‐1531

Pneumonie 167.000$Harnwegsinfekt 834.000$Sepsis 1.800.000$

Kontrollen

MDK-Qualitätsprüfungen

Der MDK leistet über die Prüfung von Komplexbehandlungen zusätzlich einen Beitrag zur Qualitätssicherung, z.B. in der Geriatrie, Intensivmedizin, Versorgung von Querschnittverletzten und Schlaganfall-Patienten, indem der Gutachter neben inhaltlich-fachlichen auch prozessuale und strukturelle Mindestanforderungen prüft.

Abrechnungsprüfungen der MDK in Krankenhäusern sind angemessen, wirtschaftlich und zielführend. Zahlen und Fakten der MDK‐Gemeinschaft. Positionspapier der MDK‐Gemeinschaft Stand: 22. November 2010, S. 5 

Facharztstandard?

Streit um Strukturen und Prozesse (Qualität?) von Anfang an

Beispiel: Komplexbehandlung SchlaganfallJährlich Änderungen des Kodes beantragt.

Detail-Streit mit MDK: Streichen des gesamten Kodes• halbstündiger Transportweg nicht gewährleistet• 6h Überwachungsrhythmus einmalig überzogen• Einsatz Physiotherapie erst nach 24,5h nicht nach 24h• unterbrochenes Neuromonitoring bei MRT • Anwesenheit Neurologe• nicht ordnungsgemäße Dokumentation des neurol

BefundesDiese Art von Qualitäts-“Messung“ hat mit Qualität nichts zu tun!

http://www.dimdi.de/dynamic/de/klassi/downloadcenter/ops/vorschlaege/vorschlaege2009/124‐komplexbehandlung‐schlaganfall‐ferbert.pdf

Erfahrungen Krankenhäuser mitKontrollen des MDK zur Strukturqualität

Beispiel: Komplexbehandlungen1. Intensivmedizinische Komplexbehandlung

OPS- Kode 8-980 Streitigkeiten mit MDK in 60% der Fälle*

2. Geriatrische KomplexbehandlungStreitigkeiten mit MDK in 45% der Fälle**

Schlußfolgerung

Offensichtlich geht etwas schief in der Qualitäts-auffassung und Qualitätskontrolle

Qualität, Messung und Messqualität

Bedeutung der Qualitätsmessungin Medizin

„Die zuverlässige und genaue Bestimmung der Qualität medizinischer Leistungen stellt eine obligatorische Voraussetzung jeglicher Bemühungen um Qualitätsverbesserungen im Gesundheitswesen dar.“

Zorn U, Ollenschläger G. (1999) Qualitätsbestimmung in der medizinischen Versorgung – ein universelles Entwicklungsschema für Qualitätsindikatoren, Z. ärztl. Fortbild. Qual.sich. (ZaeFQ) 93: 123–128.

To err is all common

Es kommt nicht darauf an, viele Daten zu sammeln, man muss auf ihre Zuverlässigkeit und „Sauberkeit“ achten.

Lazer D, Kennedy R. king G, A.Vespiguni (2014) Big Data. The Parable of goggle flu traps in big data analysis. Science 343(6176), 1203-1205.

Butler D. (2013) When Google got flu wrong. Nature 494(7436),155-156.

Probleme der Qualität von Studien

Weniger als 1/3 der Studien (54 von 186) hat hohe Qualität.* Bei 52% - Model-Bias, bei 74% intransparente Verfahren**

*The quality of published health economic analyses in digestive diseases: A systematic review and quantitative appraisal Original Research ArticleGastroenterology, 127(2) , August 2004, 403‐411.

**Brennan M.R., Spiegel L., Targownik E., Kanwal F., DeRosa V., Dulai G.S., Gralnek I.M., Chiou C‐H., ltman D.G. (2000) Statistics in medical journals: some recent trends. Stat Med, 19: 3275–3289.

Probleme auch mit Studien zur Qualitätssicherung

8.468 Artikel48 StudienDavon 21 nie einen Praxistest durchlaufen, 8 unvollständig

Kötter T, Blozik E, Scherer M (2012) Methods for the guideline‐based development of quality indicators–a systematic review. Implementation Science 7(21), 1‐22.

Zuverlässigkeit in Studien zumKh-Report 2014

„indirekten Indizien einer guten Reliabilität“

Interrater-Reliabilität mit 58% angegeben, aber, für vermeidbare unerwünschte Ereignisse –

nur 5 Angaben aus 151Studien κ= 0,19-0,24 κ= 0,33κ = 0,69κ = 0,41-0,84κ = 0,27-0,35

Schlechte Reliabilität in den ausgewiesenen Studien.Reliabilität kann nicht auf andere Studien übertragen werden.

Aktionsbündnis Patientensicherheit 2007, S.43 

Unterschiedliche Sichtweisen auf Qualität der medizinischen Versorgung

1. Indikationsqualität *2. Patientenzufriedenheit 2*3. Prozeß- und Strukturqualität 3*4. Versorgungsqualität 4*,5*5. Insiderperspektive in Krankenhäuser 6*6. Ergebnisqualität (Indikationsqualität) 7*

*Augurzky, B.; Felder, S.; Wasem, J.: Mengensteuerung über das G‐DRG‐Preissystem. In: Klauber, J.; Geraedts, M.; Friedrich, J.; Wasem, J. (Hrsg.): Krankenhausreport2013, Schattauer, Stuttgart 2013, 175–1872*Qualitätstransparenz im Krankenhaus. TK‐Patientenbefragung im Krankenhaus. 2014 – Methodik. http://www.tk.de/centaurus/servlet/contentblob/114034/Datei/120299/So%20haben%20wir%20die%20Zufriedenheitswerte%20für%20die%20Kliniken%20ermittelt.pdf3*Brüggemann J.; Becher, U.; Coners, E.; Fischer, W.; Gerber, H.; Kimmel, A.; Kowalski, I.; Schwegler, F.; Wenzel (2012): 3. Bericht des MDS nach § 114 a Absatz 6 SGB XI. Qualität in der ambulanten und stationären Pflege, Medizinischer Dienst des Spitzenverbandes Bund der Krankenkassen e.V. (MDS), Essen4*Reform der Krankenhausversorgung aus Sicht des GKV‐Spitzenverbandes. 14 Positionen für 2014, GKV‐Spitzenverband, Berlin 2013. https://www.gkv‐spitzenverband.de/media/dokumente/presse/publikationen/Positionspapier_1414_Reform_Krankenhausversorgung_web_barrierefrei.pdf5*  http://www.aqua‐institut.de/de/ueber‐aqua/aqua‐qualitaet/index.html 6*Schaeffer, D. (2006): Bedarf an Patienteninformation über das Krankenhaus,. Bertelsmann Stiftung, Gütersloh.•7* Amelung VE, Zahn TP (2009) Pay‐for‐Performance (P4P) ‐ Der Business Case für Qualität? DxCG Gesundheitsanalytik GmbH, Berlin, S. 29

Grundkriterien für die Qualität von Daten

1. Objektivität Unabhängigkeit von messender Person2. Reliabilität Reproduzierbarkeit der Ergebnisse

Ausschluss zufälliger Fehler3. Validität Wird gemessen, was gemessen werden soll?

Ausschluss systematischer FehlerInhalt - Relevanz der ItemsKriterium - Übereinst mit AußenwertKonstrukt - Empirische Überprüfung

Hypothese

1 und 2 – sind Minimalanforderungen

Bedeutung der Qualitätsmessung„Die zuverlässige und genaue Bestimmung der Qualität medizinischer Leistungen stellt eine obligatorische Voraussetzung jeglicher Bemühungen um Qualitätsverbesserungen im Gesundheitswesen dar.“*

An die zu veröffentlichenden (Qualitäts-) Indikatoren sind hohe Anforderungen an die Belastbarkeit (z.B. Validität, Risikoadjustierung, Datenqualität und Verständlichkeit) zu stellen.**

Zorn U, Ollenschläger G. (1999) Qualitätsbestimmung in der medizinischen Versorgung – ein universelles Entwicklungsschema für Qualitätsindikatoren, Z. ärztl. Fortbild. Qual.sich. (ZaeFQ) (1999) 93: 123–128**Allgemeine Methoden für die wissenschaftliche Entwicklung von Instrumenten und Indikatoren im Rahmen der sektorenübergreifenden Qualitätssi‐ cherung im Gesundheitswesen nach § 137a SGB V. Version 0.1 (Entwurf) vom 30. November 2009,  AQUA – Institut für angewandte Qualitätsförderung und Forschung im Gesundheitswesen GmbH, Göttingen.

Qualitätsreport 2012AQUA

464 Qualitätsindikatoren30 Leistungsbereiche1.658 Krankenhäuser~4 Mill Datensätze

Indikatoren in den Strukturierten Qualitätsberichten, Stand: 29. Mai 2013, AQUA – Institut für angewandte Qualitätsförderung und Forschung im Gesundheitswesen GmbH, Göttingen 2013, Seite 4

Bewertung QualitätsindikatorenSubjektiv

Expertenmeinung – EinschätzungRelevanz, Validität, Dokumentationsqualität, Beeinflussbarkeit, Fehlsteuerung, Risikoadjustierung Referenzwert,

50% der Befragten befürworten uneingeschränkte Veröffentlichung Bewertung: schwach, mäßig, gut, sehr gut

Bewertung QualitätsindikatorenObjektiv

Unterscheidungsfähigkeit (Diskrimination)95% Signifikanzniveau, einseitiger TestVerdopplung Qualitätsniveau: dafür minimale FallzahlerrechnungWenn kein Kh FZ erreicht schwachWenn bis 10% der Kh FZ erreichen mäßigWenn > 10% der Kh FZ erreichen gut

Bewertung der Reliabilität

Κ-Wert Übereinstimmung* WertungAQUA**

% reliablerDaten*

0 – 0,2 keine schwach 4%0,21-0,39 minimal mäßig 4-15%0,4-0,59 schwach gut 15-35%0,6-0,79 mäßig gut 35-63%0,8-0,9 gut gut 64-81%>0,9 sehr gut gut 82-100%

*McHugh I. (2012) Interrater Reliability:the kappa statistic. Biochemia Medica 22(3),276‐282.**Indikatoren in den Strukturierten Qualitätsberichten, Stand: 29. Mai 2013, AQUA – Institut für angewandte Qualitätsförderung und Forschung im Gesundheitswesen GmbH, Göttingen 2013Cohen, Jacob. (1960). A coefficient of agreement for nominal scales. Educa‐ tional and Psychological Measurement, 20, 37–46.

Objektive Tauglichkeit der QIBereiche mit überwiegend guten Indikatoren

0,0% 0,0% 0,0%0,0%

10,0%

20,0%

30,0%

40,0%

50,0%

60,0%

70,0%

80,0%

90,0%

100,0%

Mam

mchiru

rgie

Korona

rangiogr

Aorten

kl+K

oron

archir

schwachmäßiggut

Nur in 3 Bereichen – kein schwacher Indikator= 10% der Leistungsbereiche

47,8%

75,8%66,7% 69,2%

50,0%39,1%

18,2% 16,7%

7,7%

25,0%

13,0%

6,1%

16,7%23,1% 25,0%

0,0%

10,0%

20,0%

30,0%

40,0%

50,0%

60,0%

70,0%

80,0%

Herzschrittm

Defib

rillator

Cholecystekt

Knieen

doproth

Dekubitusproph

schwachmäßiggut

Objektive Tauglichkeit der QIBereiche mit überwiegend schwachen Indikatoren

In 5 Bereichen – überwiegend schwache und mäßige Indikatoren ( von 75 bis 94%)

Statistische Bewertung von QIdurch AQUA

Indikatoren in den Strukturierten Qualitätsberichten, Stand: 29. Mai 2013, AQUA – Institut für angewandte Qualitätsförderung und Forschung im Gesundheitswesen,Göttingen 2013, S. 20

Auswertung Qualitätsreport AQUA 2012

Medizinische Maßnahme DatensätzeRechnerische Auffälligkeiten

Auffälligkeiten bedingt durch Dokumentations‐fehler  (%)

Fraglicher "Schrott"

Cholezystektomie 172.138 87 9,7 56Karotis‐Rekonstruktion 33.473 47 7,9 35Ambulant erworbene Pneumonie 243.566 37 52 22Herzschrittmacher‐Implantation 76.282 37 43,5 26Koronarangiographie und Perku‐tane Koronarintervention (PCI) 733.424 23 4,3 22Koronarchirurgie, isoliert 67.600 8 12,5 7Aortenklappen‐Chirurgie 10 40 6Nierentransplantation 2.601 0 0 0Mammchirrurgie 114.400 146 23,2 109Geburtshilfe 651.765 68 24,5 37Gynäkologische Operationen 259.618 220 37,2 115Hüftgelenknahe Femurfraktur 102.168 17 0 17Hüft‐Endoprothesen – Erstimplantation 152.591 47 38,5 14Knie‐Totalendoprothesen – Erstimplantation 133.948 65 30,6 43Pflege: Dekubitusprophylax 1.227.501 212 86,4 23

3.971.075 1.024 532

Fast 4 Millionen Datensätze, um ~ 500 Fälle zu identifizieren. 50% der Auffälligkeiten entstehen durch Dokumentationsfehler!!!

!!!!!

Auswertung AQUA-InstitutDekubitusprophylaxe

Datensätze zum Dekubitus 1.227.501

Rechnerische Auffälligkeiten 212Angeforderte Stellungnahme 169

Auffälligkeit durch fehlerhafte Dokument 146 Schlechte Prophylaxe???? 23

Effektivität: 23/1.227.501= 0,00002=0,002%

Schlußfolgerungen Qualitätsreport 2012

1. Entweder medizinische Versorgung ist sehr gut oder Indikatoren sind sehr schlecht oder beides

2. Nierentransplantation ohne Auffälligkeiten –warum dann überhaupt Kontrollen?

3. Dokumentationsfehler-Quote bei Dekubitusprophylaxe besonders hoch. Noch mehr Dokumentation(-skontrolle) verbessert Qualität nicht. Kann ohne Probleme abgeschafft werden.

Mögliche Initiativen außerhalb von Indikatoren

Geld dort verwenden, wo es ankommt

Befreiung von Rechtfertigungsbürokratie

Sofortige Qualitätsverbesserungen möglich

Krankenkasse hat hier Gelegenheit, den „Schrott“ aus ihrer Versorgung heraus zu nehmen

Gewinner von Ausschreibungen durch KK

Schlußfolgerungen

1. Die Zuverlässlichkeit der meisten QI ist schlecht. Die Erhöhung der Anzahl von Qualitätsindikatoren verbessert die Mess-Qualität nicht.

2. System der Implementierung von Qualitätsindikatoren mit dem Fokus auf Messbarkeit hat sich nicht bewährt. Validität und Reliabilität der Qualitätsmessung gehören in den Vordergrund.

3. Prüfung von Struktur- und Prozessqualität in Krankenhäusern hat sich als untauglich herausgestellt. Die Ergebnisqualität gehört in den Fokus.

4. Durch mehr Bürokratie wird die Qualität nicht besser..

Danke für die Aufmerksamkeit