Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen

1

Nutzenbewertung und Programmevaluation – ein unlösbarer Widerspruch?

Uwe Hasenbein, Alric Rüther

12. Jahrestagung der Deutschen Gesellschaft für Evaluation „Evaluation und Gesellschaft“

Münster, 7.-9.10.2009

,

2

IQWiG (seit 2004)

gegründet gemäß Sozialgesetzbuch als Stiftung(Krankhäuser, [Zahn-]Ärzte, Psychotherapeuten, gesetzliche Krankenversicherungen)

finanziert über Zuschläge für stationäre und ambulante medizinische GKV-Leistungen

unabhängiges wissenschaftliches Institut

Auftragsforschung für Gemeinsamen Bundesausschuss(G-BA) oder Bundesministerium für Gesundheit (BMG)

untersucht den Nutzen medizinischer Leistungen fürPatient(inn)en, Leitlinienbewertung, DMP-Entwicklung

informiert Öffentlichkeit (Ärzte, Patienten)

3

Inhalt

1. Grundprobleme evidenzbasierter Gesundheits-

systementscheidungen am Beispiel DMP

2. Methodenvergleich: Klinische Studien und

Programmevaluation

3. Methodische Anschlusspunkte zwischen den beiden

Paradigmen

4. Zusammenfassung / Schlussfolgerungen

4

1. Grundprobleme: Allgemein

Szenario aus Prognosen (2005)

• mehr Leistung (Ergebnis) für gleiches Geld

• weniger Geld für gleiche Leistung

• Zugänglichkeit UND Wahlfreiheit

• Versorgungsmanagement spezieller Gruppen

• Offenheit für Innovation UND gesteuerter(nutzenorientierter) Technologiezu-/-abfluss

• Nachhaltigkeit und Sicherheit• Patienten- UND Versichertenorientierung

• Wettbewerb UND Solidarität• gerechte und tragbare Finanzierung

5

Unternehmen für Kassen

1. Grundprobleme: DMP-System-Funktionsweise

G-BABMG

GKV-Kasse

IQWiGPatientenÄrzte

Programm-rahmen-entwicklung/-aktualisierung

Programm-durchführung

Programm-evaluation

Programm-akkreditierungGKV-Kasse

BVA

GemeinsameDatenstellen

kasseninternInfas/ Prognos/ WiAD (AOK und Knappschaft)

WidO (AOK) ZI (KBV)

Netcare GmbH (BKK/ IKK)

BVA / Wissensch. Beirat

DiabetesBrustkrebs

KHKAsthma /COPD

6

Gestaltung der obligatorischen Inhalte der zentralen (ausgleichsfähigen) DMP durch den G-BA aufgrund von Informationen aus

Primärstudien zu Einzelinterventionen (z.B. Gabe eines Arzneimittels bei Asthma)

Sekundärstudien zu Einzelinterventionen (z.B. Systematische Übersichtsarbeiten)

methodisch hochwertigen klinischen Leitlinien

1. Grundproblem/ Programmgestaltung

Informationen aus formativer und summativerProgrammevaluation

7

IQWiG -Bericht zur Bewertung der Interventionen

Studienauswertung (14 Interventionen)Kinder 2-4 Jahre alt

• Qualitativ hochwertige RCTs

• aus Ausland• Nutzen und Schaden• Zulassung der

Arzneimittel in D.• keine Head-to-head-

Vergleiche• nur direkte Vergleiche

gegen Placebo• keine Kombinations-

präparate

1. Entscheidungserfordernisse

8

Studie der Deutschen Angestellten-Krankenkasse über die Effektivität ihres DMP Asthma

Schriftliche Pre-Post-Befragung von Versicherten (2000 / 2008)Kinder 5-17 Jahre alt

Untersuchungsziele:

- Bekanntheit des Programms- rechtzeitige Diagnostik- rechtzeitiger Behandlungsstart- Arztwechsel- Selbstmananagement- Medikamentöse Behandlung- Lebensqualität

1. Entscheidungserfordernisse

9

ProgrammevaluationBewertung der Versorgung im nichtrandomisiertem Längsschnitt

Einzel- und KompaktstudienBewertung diagnostischer oder therapeutischer Interventionen mit RCT

?

1. Entscheidungserfordernisse

10

Zwischenfazit 1:

1. Es besteht ein hoher Bedarf an einem Vergleich von Effekten (v.a. Nutzen) medizinischer Interventionen sowohl unter Studien- als auch unter Alltagsbedingungen (v.a. nichtmedikamentöser Bereich).

1. Grundproblem/ Informationsquellen

2. Es wird immer wahrscheinlicher, dass zu einem Evaluationsfeld

NB-Studien und PE-Studien (unterschiedlicher Studientypen und -designs) vorliegen

inhaltlich somit aufeinander bezogen und in eine einheitliche Bewertung eingeschlossen werden.

11

Patientenrelevanter medizinischer Nutzen

kausal positive Effekte einer medizinischen Intervention

- Mortalität

- Morbidität (Beschwerden, Komplikationen)

- gesundheitsbezogene Lebensqualität

Nutzenbewertung (NB)

„Prozess der Evaluation medizinischer Interventionen hinsichtlich ihrer kausal begründeten positiven und negativen Effekte im Vergleich mit einer klar definierten anderen Therapie, einen Placebo (oder einem andersartigen Scheinbehandlung) oder keiner Behandlung“

IQWiG Methoden 3.0 (2008), S. 31 ff

2. Methodenvergleich

Tun wir das Richtige?

12

Programm

Bündel zeitlich, personell, organisatorisch und technisch aufeinander abgestimmter Maßnahmen, mit dem ein oder mehrere Ziele mit bestimmter/n Strategie/n erreicht werden sollen (Hellstern / Wollmann 1987)

Programmevaluation (PE)

„Systematische Anwendung sozialwissenschaftlicher Forschungsmethoden zur Beurteilung der Konzeption, Ausgestaltung, Umsetzung und des Nutzens sozialer Interventionsprogramme“ (Rossi et al. 1988)

2. Definitionen

Tun wir das Richtige richtig?

13

2. Methodenvergleich

„Compared with clinical treatments, which are conceptually simple and have generally been evaluated in randomized controlled trials (RCTs), the literature on health care management and policy interventions is epistemologically complex and methodologically diverse …“

Pawson R et al. Realist review – a new method of systematic review designed for complex policy interventions. J Heath Serv Res Policy, 2005; 10 (Suppl. 1): S1 21-34

14

Nutzenbewertung Programmevaluation

Kausalität meist monokausal (kontrollierte Confounder)

Linear, kurze Ketten

Meist multikausal

Lange Ketten

linear und nonlinear

Bias Kontext als Störgröße Kontext als Systemelemente

Zeit-lichkeit

kurz lang

Selektion hoch gering

Out-comes

prädefinierbar

relativ gleichartig

nicht vollständig prädefinierbar

relativ heterogen

2. Methodenvergleich

Interventionen als Gegenstand von NB und PE

15

Nutzenbewertung Programmevaluation

Bewertungskriterien

Verzerrungspotenzial

(Design, Studien- und Berichtsqualität [Randomisierung, Verblindung], reporting/ retrieval/ language bias)

Verzerrungspotenzial

Zufriedenheit

Projekt-ablauf

vorab geplant schrittweise geplant

Ergebnis-adressat

1 zuständige Stelle (Entscheider)

meist viele Akteure

Interesse klar definierbar, planbar Oft diffus, um Projektverlauf veränderlich

Elemente der Methodik bei NB und PE

2. Methodenvergleich

16

Nutzenbewertung Programmevaluation

Frage-form

Summativ Formativ und summativ

Ziel-größen

patientenrelevanter Nutzen (incl. Schaden)

+ Wirtschaftlichkeit (KNB)

auch Nutzen, verschiedene Stakeholder

auch oft Surrogate

Evidenz-krite-rium

Kausalitätsnachweis (Wahrscheinlichkeit)

Kausalitätsnachweis (Wahrscheinlichkeit)

dominie-rendes Design

Auswertung von klinischen Studien (RCT, Kohorten- und Fallkontrollstudien)

Durchführung von Beobachtungsstudien unterschiedlichen Designs

Modell Evidenzhierarchie Multimethodenansatz

Daten-quellen

Primär- und Sekundärdaten (weltweit)

Primär- und Sekundärdaten (oft lokal)

2. Methodenvergleich

17

Zwischenfazit 2:

1. Zwischen NB und PE gibt es Gemeinsamkeiten und Unterschiede in der Methodik und ggf. auch im wissenschaftlichem Grundansatz

2. Möglicherweise sind Diskrepanzen sehr groß

3. Es besteht ein praktischer Bedarf zur Integration der Ergebnisse, die nach beiden Ansätzen zustande gekommen sind

4. Kurzfristig: Missverständnisse vermeiden

5. Langfristig: Zusammenarbeit

3. Anschlusspunkte

18

Ansatz A

Gemeinsamkeiten finden

z.B.

Effekt und Kausalität

Outcomes

(Nutzen + Schaden; beabsichtigte + unbeabsichtigte Effekte)

Interessenklärung und –offenlegung

3. Anschlusspunkte

19

Ansatz B

Gegensätze abschwächen

z.B.

Bias / Verzerrungspotenzial

Kontext / Übertragbarkeit (interne / externe Validität)

3. Anschlusspunkte

Voneinander lernen – z.B.:

NB lernt reflexives Vorgehen bei Zieldefinition von PE

PE lernt methodische Exaktheit von NB

20

Ansatz C

Wechselseitige Beziehungen herstellen

„Klinische Forschung und Versorgungsforschung bilden daher ein zusammenhängendes Konzept –Ergebnisse aus der klinischen Forschung werden durch die Versorgungsforschung auf ihre Wirksamkeit unter Alltagsbedingungen untersucht, und diese Erkenntnisse können wieder in Konzepte der klinischen Forschung einfließen …“

3. Anschlusspunkte

Ständige Kongresskommission Versorgungsforschung. Memorandum II „Konzeptionelle, methodische und strukturelle Voraussetzungen der Versorgungsforschung. Dtsch Med Wochenzeitschr 130 (50): 2918-2922

21

Ansatz D

Gleichzeitige Untersuchung von geeigneten Themen in geeigneten Kontexten mit Methoden beider Paradigmen (ggf. auch Einbau von Elementen aus NB und PE in bestimmte Evaluationsphasen)

3. Anschlusspunkte

Anwendungsbeobachtung / Pharmakovigilanz

klinische Register (hier z.B. Validierung)

medizinische Interventionen mit Programmcharakter (z.B. Schulungen, Rehabilitation)

soziale Interventionen mit medizinischem Bezug (z.B. Selbsthilfe-gruppe, Qualitätsmanagementmaßnahmen)

Qualitätsverbesserungsstrategien (Beispiel Asthma)

AHRQ: Closing the Gap. A critical Analysis of Quality Improvement Strategies. Stanford 2007, S. 28

3. Anschlusspunkte

23

Zusammenfassung

Aufgrund der unterschiedlichen Arten von Komplexität und Sinnhaftigkeit von Natur und Gesellschaft sind die Methoden und Ergebnisse nicht ohne weiteres aufeinander beziehbar.

Es sind vermutlich unterschiedliche Bewertungs-prozesse für die Würdigung der Ergebnisse von PE/NB-Studien erforderlich.

Es sollte versucht werden, die Gemeinsamkeiten und Unterschiede weiter klar herauszuarbeiten (unter Berücksichtigung unterschiedlicher Erfahrungen, z.B. HTA). Ziel: Erhöhung der Reflexionsfähigkeit im Verwertungszusammenhang

4. Schlussfolgerungen

24

Wie alle 4 Ansätze verfolgen?

4. Schlussfolgerungen

25

Einstellungsänderungen

Transparenz und methodische Klarheit (auch: Interessen)

kritische Kenntnisnahme der Ergebnisse aus dem jeweils anderen Paradigma

politischer Wille

4. Schlussfolgerungen

Inhaltliche Erfordernisse

Einigung auf methodische Minimalstandards (ggf. unter Diskussion epistemologischer Prämissen) der Erstellung und Bewertung von Studien

Organisation

Schaffung / Finanzierung methodisch starker Einrichtungen

Vorleistung der Wissenschaft

Vorgaben für den Bericht (Reporting Statements), Bewertung und Durchführung von Studien

4. Schlussfolgerungen

www.equator-network.org; Centers for Disease Control and Prevention: Introduction to program evaluation for public health programs: A self-study guide. Atlanta 2005

CONSORT –pharmakologische Studien / RCT (2001), nichtpharmakologische Studien (2008), pragmatic trials (2008

MOOSE (2000), STROBE (2007) epidemiologische Beobachtungsstudien

TREND (2004) nichtrandomisierte Evaluationen von Verhaltens-und Public-Health-Interventionen

SQUIRE (2008) Qualitätsverbesserungsstudien

PRISMA (2009) (QUORUM 1999) systematische Reviews

27

Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG)

Dillenburger Straße 27D-51105 KölnTelefon +49-221/3 56 85-0Telefax +49-221/3 56 85-1Info@iqwig.de

www.iqwig.de

28

1. Grundprobleme

1. Gibt es genügend Informationen?

2. Gibt es die richtigen Informationen?

3. Gibt es qualitativ hochwertige Informationen?

4. Stehen die Informationen in der richtigen Form den richtigen Entscheidungsträgern zur Verfügung?

1. Stellen wir die richtigen Fragen?

2. Sind die Fragen wissenschaftlich zu beantworten?

3. Werden die richtigen Fragen den richtigen Akteuren gestellt?

4. Haben diese Akteure die Chance, den richtigen Entscheidungsträgern richtig mitzuteilen?

29

Disease Management Programm =

strukturiertes Behandlungsprogramm

seit 2002 für 5 Erkrankungen an den Finanzausgleich der Gesetzlichen Krankenkassen gekoppelt

Inhalte sind Bestandteil einer Rechtsverordnung des BMG

Zielgruppe: chronisch Kranke (z.Z. ca. 50% Einschreiberate)

Merkmale: - evidenzbasierte Inhalte

- Patientenaktivierung -

- abgestimmte Versorgung

Träger: Krankenkassen (GKV)

Zulassung: Bundesversicherungsamt (BVA)

daneben existieren RSA-freie DMP und andere integrierte Versorgungsformen

1. Grundprobleme / DMP

30

Beispiel: DMP für Kinder mit Asthma bronchiale

Entscheidungsproblem:

Soll ein DMP Asthma auch für Kinder im Alter zwischen 2 und 5 Jahren etabliert werden?

Stakeholder:

Eltern (u.a. Deutscher Allergie- und Asthmabund)

Ärzte (u.a. Fachgesellschaften)

Einzelinitiativen (z.B. Arbeitsgemeinschaft Asthmaschulung)

Gesetzliche Krankenkassen

Pharmaindustrie

Politik sowie Exekutive (z.B. Bundesministerium für Gesundheit)

1. Entscheidungserfordernisse

31

Beispiel: DMP für Kinder mit Asthma bronchiale

Vorgehen:

a) Bewertung von ausgewählten Einzelinterventionen [n=14]

(keine „klassische“ Nutzenbewertung)

b) Suche nach geeigneten diagnostischen Verfahren

Informationspool:

a) Ergebnisse aus Randomisierten Kontrollierten Studien (RCTs)

a) Anfragen und Auskünfte der Hersteller

b) Leitlinien

b) Kohortenstudien

Stellungnahmen (inkl. Unterlagen) der Stakeholder

1. Entscheidungserfordernisse

32

Beispiel: DMP für Kinder mit Asthma bronchiale

Entscheidung im G-BA:

Auf Basis der IQWiG-Berichte

Stellungnahmen (inkl. Unterlagen) der Stakeholder

Erkenntnisse aus weiteren Studien

1. Entscheidungserfordernisse