Userorientierte Bewertung medizinischer Web-Sitesschalnus/Documents/MEDICA2001mod.pdf · 1 / 44 © 2001 Dr. Schalnus® Beratung - Projektbegleitung - Qualitätssicherung Userorientierte

1 / 44

© 2001 Dr. Schalnus® Beratung - Projektbegleitung - Qualitätssicherung www.schalnus.com

Userorientierte Bewertungmedizinischer Web-Sites

Bonn - Frankfurt am Main

Rainer Schalnus, Peter Pinger

2 / 44


AgendaIndividuelle Qualitätsevaluation medizinischer Web-Sites ?

systematische individuelle Analyse & Optimierungübergreifende Maßnahmen zur Service-OptimierungNutzer- / Patientenorientiert

Benchmarking von webbasierten GesundheitsinformationenGesundheitsportale / RankingCheckliste für Gesundheits-Web SitesDefinition quantitativer Meßgrößen für die Ergebnisqualität

individuelle Analyse & Optimierungindividuelle Optimierung bei Relaunch /Qualitätsmanagement

3 / 44


Qualitäts-EvaluationQualitätssystem: „Messung“ der Ergebnisqualität

Kennzahlen, MeßgrößenKriterien definierenquantitativ

Nutzer- / Patienten-orientiertContentServiceUsability & Accessibility

Berücksichtigung bekannter Kriterien, z.B.HON, DISCERNAMA, URACAFGIS

QualitätQualität

Benchmarking

AnalyseAnalyse

4 / 44


Ergebnisqualität

ist das Maß derÜbereinstimmungvon Anforderungenund Beschaffenheiteines Produktes bzw.einer (Dienst-)leistung.

QualitätAnforderungenAnforderungen

QualitätQualität

0 % 100 %

Qualität > Ergebnisqualität

QualitätQualität

Benchmarking

AnalyseAnalyseBeschaffenheitBeschaffenheit

5 / 44


Welches Qualitäts-System ?

LeitlinienLeitlinien

Präzision von QM Systemen (individuelle Analyse)

Verg

leic

hbar

keit

(Ben

chm

arki

ng) Standards

(ISO, EN)Standards(ISO, EN)

individuellentwickelteChecklisten

individuellentwickelteChecklisten

??

Zeit

Qualitätssysteme

QualitätQualität

Benchmarking

AnalyseAnalyse

6 / 44


Prozessdefinition / Prozessanalyse

Identifikation Qualitätsrelevanter Prozesse & Kennzahlen

ProzessVerantwortung

Ressourcen Dokumente(Qualitäts-forderung,Qualitäts-nachweis)

Kennzahl

Messgrösse

Prozess-DefinitionProzess-Definition

Standard -Quantitative

Prozessanalyse

Standard -Quantitative

Prozessanalyse

7 / 44


Anforderungen an Qualitätskriterien

eindeutige Definition in einem Kriterienkatalogüberschneidungsfreie Einordnung in Kategorienbilden die Korrektheit und den Umfang des Inhaltes abbilden grundsätzliche Userbedürfnisse abbilden zielgruppenorientierte Userbedürfnisse abbilden Anbieterbedürfnisse abbilden die o.g. Eigenschaften flächendeckend abskalierte Bewertung der EinzelkriterienGewichtung der Kriterien nach Bedeutungheuristische Evaluationrechnerbasierte Evaluation möglich

QualitätQualität

Benchmarking

AnalyseAnalyse

8 / 44


Vergleichbarkeit unterschiedlicher Informationsangeboteinnerhalb einer Anbieterklasse

Vergleichbarkeit unterschiedlicher Informationsangeboteinnerhalb einer Eigenschaftenklasse

Gewichtete quantitative Bewertung des Informationsangebotes

intra- und interindividuell (Bewerter) reproduzierbareBewertung

individuelle Analyse eines Informationsangebotes

Benchmarking / Ranking unterschiedlicherInformationsangebote

Was müssen die Kriterien ermöglichen?

QualitätQualität

Benchmarking

AnalyseAnalyse

9 / 44


Bekannte (alternative) Ansätze

• HON, DISCERN, OMNI, URAC, AMA• ISO (9000, 13407, 9241 Serie)

10 / 44


Entwicklung einer Kriteriencheckliste

HON, DICERN, OMNI, AMA, URACISO (9000, 13407, 9241 Serie)Multimedia QMWeb Style Guides, W3C,...Usability-Labeigene ErhebungenIst - Soll Analyse

QualitätQualität

Benchmarking

AnalyseAnalyse

11 / 44


Kriterienkatalog

97 Kriterien97 Kriterien

-1 = Minimalanforderungen nicht erfüllt 0 = Service nicht vorhanden 1 = Minimalanforderung erfüllt 2 = Minimalanforderung + Eigenschaft 1 erfüllt 3 = Minimalanforderung + Eigenschaften 1 & 2 4 = Maximalanforderungen erfüllt

-1 = Minimalanforderungen nicht erfüllt 0 = Service nicht vorhanden 1 = Minimalanforderung erfüllt 2 = Minimalanforderung + Eigenschaft 1 erfüllt 3 = Minimalanforderung + Eigenschaften 1 & 2 4 = Maximalanforderungen erfüllt

Bewertung der KriterienBewertung der Kriterien

unterschiedliche Gewichtung der Kriterien je nachZielgruppe durch Multiplikation mit Faktoren

unterschiedliche Gewichtung der Kriterien je nachZielgruppe durch Multiplikation mit Faktoren

Gewichtung der KriterienGewichtung der Kriterien

12 / 44


ContentContent

ServiceService

Usability &AccessibilityUsability &

Accessibility

WebSiteWebSite

InformationsqualitätInformationsqualität

SprachenSprachen

PerformancePerformance




SchwerpunkteSchwerpunkte

BeratungsqualitätBeratungsqualität

SeriositätSeriosität

AktualitätAktualität

Interface DesignInterface Design

LinkingLinking

Site-/ Page-/ Grafik- DesignSite-/ Page-/ Grafik- Design

InteraktivitätInteraktivität

Online ServicesOnline Services

fachspezifische Servicesfachspezifische Services

SuchfunktionenSuchfunktionen

Zuordnung der Kriterien

13 / 44


Content

Service

Usability &Accessibility

Informationsqualität

Sprachen

Performance


24 Kriterien

18 Kriterien

Schwerpunkte

Beratungsqualität

Seriosität

Aktualität

Interface Design

Linking

Site-/ Page-/ Grafik- Design

Interaktivität

Online Services

fachspezifische Services

Suchfunktionen

WebSiteWebSite

Zuordnung der Kriterien für Content

14 / 44


Content

Service



Sprachen

Performance


24 Kriterien

18 Kriterien

Schwerpunkte

Beratungsqualität

Seriosität

Aktualität

Interface Design

Linking


Interaktivität

Online Services


Suchfunktionen

WebSite

WebSite

BeispieleBeispiele

Zuordnung der Kriterien für „Content“

15 / 44


Content

Service

Usability &Accessibili

ty


Sprachen

Performance

55 Kriterien

24 Kriterien

Schwerpunkte

Beratungsqualität

Seriosität

Aktualität

Interface Design

Linking

Site-/ Page-/ Grafik-Design

Interaktivität

Online Services


Suchfunktionen

BeispieleBeispiele

InformationstiefeInformationstiefe

InformationsbreiteInformationsbreite

DidaktikDidaktik

AutorenkompetenzAutorenkompetenz

TherapieverfahrenTherapieverfahren

Online-Beratung im Forum, QualitätOnline-Beratung im Forum, Qualität

Online-Beratung im Forum, BeantwortungszeitOnline-Beratung im Forum, Beantwortungszeit

WebSite

WebSite

Online-Beratung im Forum, BeraterkompetenzOnline-Beratung im Forum, Beraterkompetenz

KomplementaritätKomplementarität

AutorenidentitätAutorenidentität

Updating (Aktualität)Updating (Aktualität)

Zuordnung der Kriterien für „Content“

16 / 44


Content

Service



Sprachen

Performance

55 Kriterien

24 Kriterien


Schwerpunkte

Beratungsqualität

Seriosität

Aktualität

Interface Design

Linking


Interaktivität

Online Services


Suchfunktionen

WebSite

WebSite

Zuordnung der Kriterien für „Usabiblity“

17 / 44


Content

Service



Sprachen

Performance

55 Kriterien

24 Kriterien

Schwerpunkte

Beratungsqualität

Seriosität

Aktualität

Interface Design

Linking


Interaktivität

Online Services


Suchfunktionen

BeispieleBeispiele

WebSite

WebSite


18 / 44


Content

Service



Sprachen

Performance

55 Kriterien

24 Kriterien

Schwerpunkte

Beratungsqualität

Seriosität

Aktualität

Interface Design

Linking


Interaktivität

Online Services


Suchfunktionen

BeispieleBeispiele

Plattformübergreifende Funktionalität (Performance)Plattformübergreifende Funktionalität (Performance)

Suche/Suchfunktion (Interface Design)Suche/Suchfunktion (Interface Design)

Navigation (Interface Design)Navigation (Interface Design)

Homepagetyp (Site-, Page- & Grafik-Design)Homepagetyp (Site-, Page- & Grafik-Design)

Linking (Linking)Linking (Linking)

Site-Design (Site-, Page- & Grafik-Design)Site-Design (Site-, Page- & Grafik-Design)

Page-Design (Site-, Page- & Grafik-Design)Page-Design (Site-, Page- & Grafik-Design)

WebSite

WebSite

Grafik-Design (Site-, Page- & Grafik-Design)Grafik-Design (Site-, Page- & Grafik-Design)

behindertengerechte Codierung / Gestaltung / Typobehindertengerechte Codierung / Gestaltung / Typo

Feed back durch User / ZielgruppeFeed back durch User / Zielgruppe

Interaktivität mit User / ZielgruppeInteraktivität mit User / Zielgruppe


19 / 44


9%

55%

36%

Content

Usability & Accessibility

Service

Kategorie - Gewichtung

QualitätQualität

Benchmarking

AnalyseAnalyse

20 / 44


Studie: 19 „Gesundheitsportale“ (3/2001) Gesamtbewertung und Bewertung der Einzelkategorien in %

0

5

10

15

20

25

30

35

40

Proz

ent

0 10 20 30 40 50 60 70 80 90 1000

5

10

15

20

25

30

35

40

Proz

ent

0 10 20 30 40 50 60 70 80 90 100

0

5

10

15

20

25

30

Proz

ent

0 10 20 30 40 50 60 70 80 90 1000

5

10

15

20

25

30

Proz

ent

0 10 20 30 40 50 60 70 80 90 100

% der Gesamtbewertung % des Content

% der Usability & Accessibility % der Services

21 / 44


Benchmarking / Ranking

QualitätQualität

BenchmarkingBenchmarking

AnalyseAnalyse

Gesundheitsinformationen im WebStudie: 19 deutschsprachige GesundheitsportaleKlinikenPharma / Medizintechnik / Krankenversicherer

quantitative Mesgrösssen für ErgebnisqualitätContent (55 Kriterien)Service (24 Kriterien)Usability & Accessibility (18 Kriterien)

webbasierte DatenbankKategorie-spezifisches Ranking / BenchmarkingPasswort

22 / 44


Benchmarking / Ranking

QualitätQualität


AnalyseAnalyse

23 / 44


Individuelle Analyse &Optimierung - Qualitätssiegel

Individuelle Analysegezielte Stärken-Schwächen AnalyseOptimierung bei Relaunch

Grundlage für Entwicklung von Kriterien für„Gütesiegel“ o.ä.

AMIDI e.V.3-stufiges Bewertungssystem in Erprobung

QualitätQualität


AnalyseAnalyse

24 / 44


Individuelle Ist-Analyse, Beispiel

Soll-Wert = 100 %

Content > Informationsqualität

Usability & Accessibility > Interface Design

QualitätQualität


AnalyseAnalyse

25 / 44


Individualanalyse: Content, Service, Usability & Accessibility

81

46

52

0 20 40 60 80 100

Content

Service


Qualität in %


QualitätQualität


AnalyseAnalyse

26 / 44


Individualanalyse: Content, Service, Usability & Accessibility

81

46

52

0 20 40 60 80 100

Content

Service


Qualität in %


QualitätQualität


AnalyseAnalyse

27 / 44


Content

Service


WebSite


SprachenSprachen










LinkingLinking






Individuelle Ist-Analyse > Content

QualitätQualität


AnalyseAnalyse

28 / 44


Soll-Wert 100 %

78

70

60

92

100

0 20 40 60 80 100 120


Schwerpunktthemen

Beratungsqualität

Seriosität

Aktualität

Qualität in %

Individualanlyse > Content

QualitätQualität


AnalyseAnalyse

29 / 44


Soll-Wert = 100 %

78

70

60

92

100

0 20 40 60 80 100 120


Schwerpunktthemen

Beratungsqualität

Seriosität

Aktualität

Qualität in %

Individualanlyse > Content

QualitätQualität


AnalyseAnalyse

30 / 44


100

50

100

100

0

0

100

100

67

67

100

0 20 40 60 80 100 120

Informationstiefe

Informationsbreite

Didaktik

Werbung

Diagnosehilfe, inhaltliche Qualität

Diagnosehilfe, Beraterkompetenz

Thearpieverfahren, inhaltliche Qualität, EBM

Therapieverfahren, Beraterkompetenz

Erläuterungen zu diagnost. Eingriffen

Erläuterungen zu Operationen

Wirkung/Wechselwkg. Von Medikamenten

Qualität in %

Individualanlyse > Content > Info.Qualität Soll-Wert = 100 %

QualitätQualität


AnalyseAnalyse

31 / 44


ContentContent

ServiceService


WebSiteWebSite


SprachenSprachen










LinkingLinking






Individualanlyse > Usability & Accessibility

QualitätQualität


AnalyseAnalyse

32 / 44


Soll-Wert = 100 %

81

46

52

0 20 40 60 80 100

Content

Service


Qualität in %


QualitätQualität


AnalyseAnalyse

33 / 44


Soll-Wert = 100 %

81

46

52

0 20 40 60 80 100

Content

Service


Qualität in %


QualitätQualität


AnalyseAnalyse

34 / 44


Soll-Wert = 100 %

100

5

75

71

12

0 20 40 60 80 100 120

Performance

Interface Design

Linking

Site-/Page- &Graphik-Design

Interaktivität

Qualität in %


QualitätQualität


AnalyseAnalyse

35 / 44


Soll-Wert = 100 %

100

5

75

71

12

0 20 40 60 80 100 120

Performance

Interface Design

Linking

Site-/Page- &Graphik-Design

Interaktivität

Qualität in %


QualitätQualität


AnalyseAnalyse

36 / 44


Soll-Wert = 100 %

50

-25

-25

19

-40 0 40 80

Übersichtlichkeit der Startseite

direkter Informationszugriff (nicht überSuchfunktion)

Suchfunktion über Site

Navigation

Qualität in %

Individualanlyse > Usability & Accessibility> Interface Design

QualitätQualität


AnalyseAnalyse

37 / 44


Mindestanforderungen✔ Anbieter ausgewiesen / Impressum✔ Ziele ausgewiesen✔ ausgewiesene Themen mit Informationen belegt✔ Inhalte in der Regel verständlich✔ Feedbackmöglichkeit für den User✔ Legal Disclaimer o.ä.✔ Inhalte komplementär✔ Quellen für Inhalte angegeben und seriös✔ Autorenidentität eindeutig✔ Sponsoring & Werbung als solche erkennbar✔ Update auf Startseite✔ Wenn News, dann „aktuell“ (nicht älter als 1 Woche)✔ Hinweis auf Datensicherheit (Transparenz)✔ „Backtracking“ möglich✔ kein „Frame in Frame

QualitätQualität


AnalyseAnalyse

38 / 44


Keine Autorennennungkeine Deklaration der Zieleinhaltliche Tiefe oft geringVerstösse gegen TDDGverdeckte WerbungDatenbanken für User nicht erkennbarunvollständigspezielle Inhalte oft schlecht aufzufindenSuchfunktionen nicht nutzerfreundlichAngebote nicht behindertengerecht

Diskussion: Informationsangebote

39 / 44


Die Methode erlaubt sowohl die Individualanalyseals auch ein Ranking der Informationsangebotein gewissen Grenzen reproduzierbare ErgebnisseEvaluation der medizinischen Inhalte sehraufwendigVergleichbarkeit nur für identische Kriteriengruppenoder Anbieterklassenweitere Nutzerbefragungen / Usability LaberforderlichMethodik übertragbar (webbasierte Informationen,Call Centers, Messung der Ergebnisqualität imGesundheitwesen)

Diskussion: Methodik

40 / 44


ZusammenfassungEvaluation der Qualität medizinischer Web-Sites

ErgebnisqualitätNutzer- / Patienten-orientiertskalierte KriterienCheckliste: bekannten Kriterien, .....

Benchmarking von webbasierten GesundheitsinformationenGesundheitsportale (Patientenbelange, Beratung)Modifizierung der Checkliste für Gesundheits-Web SitesDefinition quantitativer Meßgrößen für die Ergebnisqualität

Optimierung & „Qualitätssiegel“individuelle Optimierung bei RelaunchQualitätsmanagement