Sundhedsinformatik og evaluering

Forelæsning nr.2 d.10.2.04

ST8: Design og evaluering af brugergrænseflader, forår 2004,

v/ Egil Boisen (Ph.D.-stud., HST, AAU)

Oversigt

• Medicinsk informatik og usability– van’t Riet, Beuscart-Zéfir, Kushniruk.

• Sundhedsportaler– Nødvendigt at forstå ’brugskontekst’:

Kommunikationsteoretiske aspekter, HON-code, anvendelsesformer osv.

• Opsamling om særlige udfordringer

Medicinsk informatik og usability – artiklerne

• van’t Riet: ’Spørg først!’ – web-erfaringer.

• Beuscart-Zéphir: generel usability er ikke nok – aktivitetsmodellering/ kognitiv evaluering.

• Kushniruk: Evaluér i brugers kontekst: ’hard data’ (pop-op Q) – video tænke-højttest.

van’t Riet: tre hovedpointer

• Undersøg først brugeres behov – I eksemplet implementerede udviklerne deres fejlagtige

fordomme.

• Brug kvalitative metoder hertil. – ’hard data’ lukker erfaringsrummet ift. prædefinerede

spørgsmål.

• Et patientinformationssystem behøver ikke at have kliniske resultater som succeskriterie, hvis det forbedrer aspekter som ’trust’ eller ’anxiety’.

van’t Riet: Amblyopia i Rotterdam

• Amblyopia kræver klap for øjet, 2-4 års alderen• Produkt: CD-ROM + web: QA, newsletter,

tegneserie, spil og chat mellem forældre 1 time ugentl kl. 19 – 20.

• Kvalitativ undersøgelse af 14 familier– Ingen problemer med ’coping’, ’anxiety’, komplians.– Ingen blev drillet– Produktet svarede til 7-års alderen– Kl.19-20 = rush hour! Chat ml. forældre er overkill =>

Ønske om asynkron mailliste med PRO.– Men: basalt set sympatisk projekt.

• Projektet blev lukket efterfølgende.

Beuscart-Zéphir: hovedpointer

Artefakter til klinisk informationsrepræsentation

• skal give beslutningsstøtte (integreres med aktiviteten) og sikre god data-management.

• har indflydelse på kompleks klinisk proces. ’Heuristisk evaluering’ skal for holde sig til dette; kræver specifikke (kognitive) arbejdsgangsanalyser.

Beuscart-Zéphir: Anæstesiologer• Forbereder sig inden en operation ved

patientinterview (sygehistorie)• 1-sides notatark med system af felter:

– Novicer gennemgår det slavisk

– Eksperter bruger inferenser, springer rundt, skriver kun relevant information.

– 24% af journaler havde ulæselige notater

– Muligt at fremhæve særlig vigtig information.

• ’Current representation’: ’expertise’ ~ ’structure of the paper file’ ~ kompleksiteten af aktuelle case.

Beuscart-Zéphir: Tabellar

• Bruger = udvikler (selv efter 2 år)• 10 skærmbilleder

– Serielt/ slavisk forløb– Herunder et sammenfatnings-vindue der dog

ikke var direkte tilgængeligt uden at skulle lukke andre sider

• Gav adgang til databaser under interview• Bedre registrering af journal-info.

Beuscart-Zéphir: Tabellar-test (1)

Den apriori/ kognitive analyse viste :

1. ’nogenlunde’ i forhold til opdateringen af sammenfatningsskærmbilledet

2. ’dårlig’ ift. fleksibilitet ved inddatering

3. ’god’ ang. visibility ift. at støtte data-gathering

4. ’dårlig’ ift. at markere særlig vigtig inf.

Beuscart-Zéphir: Tabellar-test (2.1)

Eksperimentel test:

• 2 anæstesi-novicer– Begge Tabellar-novicer

• 2 anæstesi-eksperter– En Tabellar-novice, en ’ekspert’

• 1 times oplæring

• Opgaver: ’nemme’ + ’komplekse’

• Patienter = ’trained actors’

Beuscart-Zéphir: Tabellar-test (2.2)Spændende resultat ~ Tabellar-utrænet ekspert• var markant hurtigst, både ved de simple og de

komplekse situationer, men var langsommere end novicen i både simple og komplekse situationer når begge brugte Tabellar. Navnlig hvad angår de komplekse situationer var der en markant forøgelse af tidsforbruget (fra 12,5 minut/ papir til 32,5 minut/ Tabellar), mens novicen her steg fra 18 min. til 23 min. ~ ’Copability’? (eb)

• oplevede at patientsamtalen blev styret af Tabellar.• Savnede mulighed for at fremhæve vigtige data.• Sygeplejerskerne: typesetting er godt; men mangel

på håndskrevne fremhævninger er skidt.

Kushniruk – budskaber (1)

Der kræves mere end de traditionelle teknikker • spørgeskemaundersøgelser: reliance on users’

recall; lav respons-rate.• laboratorier fortæller ikke om brug i ’real life

settings’.• New tech => new assessment methods• multiple metoder er nødvendige for at gå i dybden

(se figur 1).• few studies have reported hard empirical data on

.. point of care use

Kushniruk – budskaber (2)

• Medical informatics skal evalueres i forhold til ’effects on clinical processes’ (få studier), ikke blot i forhold til ’clinical outcomes’ (mange studier). – ’outcomes’-tilgangen orienterer sig i forhold til

en række pre-specified outcomes measures.– proces-tilgangen opnås via udgangspkt. i

cognitive science.

Kushniruk – evaluere så tæt som muligt på praksis (1)

• ’strategic scripting and presentation of online questionnaires’ – Popper op ved brug af sitet:

• Generelle + kontekstuelle Q før ’adgangen’• ’hvordan var det?’-Q ved afslutningen af en session

– Eb: forringer usability i sig selv.

• ’video-based usability (think-aloud) testing across the WWW’: – kamera fotograferer skærmbilledet hos brugeren og

optager lyden fra tænke-højt tests. – Eb: stadig brug af opgaver. Hvor langt er det så fra

laboratoriet?

Kushniruk – evaluere så tæt som muligt på praksis (2)

• Tracking system: CHECKPOINT– næranalysere af hvad web-bruger foretager sig.– analyse viste at brugere af PatCIS var

uopmærksomme på bestemte features.– Eb:’browser-visning’ ~ læsning ~ forståelse ~

anvendelse

• Telephone interiews, periodic, semi-structured

Kushniruk – eb-diskussion

Sympati for ’multiple metoder’, men:• Der skrives ikke om hvorvidt de lod de kvalitative

interviews berige af ’hard data’.• Det lyder dyrt og besværligt!• Hvor meget fik de ud af det, som de ikke fik med

ved brug af kvalitative metoder? – Eneste eksempel: manglende opmærksomhed på

feature fremgik ved analyse af CHECKPOINT-log.

• ’Hard data’ og ’processer’?

Forløb om sundhedsportaler

• Hvad er ’sundhedsportaler’?• Kommercielle – NGO – offentlige myndigheder • elementer, faciliteter• Væsentlige træk ved WWW

• WWW-baserede IKT-services på portaler• information • rådgivning• social interaktion

• 4 sundhedsfaglige implikationer

Hvad er sundhedsportaler?

Forsøg på en definition:

Et samlingspunkt for aktører indenfor sundhedsvæsnet

i form af et website der leverer en række IKT-services

til støtte for traditionelle sundhedsydelser.HONcode §2: ..support, not replace...

Hvem bestemmer hvad dette ord dækker?

HONcode + Europakomm.

Centrale principper..1. Authority2. Complementarity (ikke med på

Europakommissionens liste)

3. Confidentiality4. Transparency + honesty5. Currency6. Accountability (Europakommissionen)

7. Accessibility (Europakommissionen)

3 eksempler

• Offentlig myndighed: www.health.gov– Adgang til kvalitetsydelser, forebyggelsespro-

grammer, bedre integration af sundhedsydelser

• Kommercielt: www.netdoktor.dk– Reklameværdi, nyt marked for sundhedsydelser

• NGO: www.netjordemoderen.dk– ’second opinion’, tid, anonymitet, omsorg

Hvorfor så mange?

Dilemma ang. informativitet og ’critical mass’ for sociability?

Kan patienten på egen hånd indgive de rette oplysninger den slags faciliteter?

Væsentlige træk ved netmediet (1)

Info leveret af provider

leveret af bruger

Flow styret af provider

Transmission~ ’Kanal’ for info

Registrering~ ’indtastede’ data

og brugeradfærd

Flow styret af

bruger

Konsultation~ hypertekst

Konversation~ ’Interaktion’

(Efter Jens F. Jensen 1999)

En del af portalen?

• ’Nettet’: Internet = netværk af netværk ikraft af TCP/IP• Internettjenester:

• 1:1 (email)• 1:N (nyhedsbreve/ WWW/ portaler) • N:M (nyhedsgrupper/ communities)• N:1 (’omvendt portal’)

• Fysisk og mekanisk forankret (Sean Cubitt)

•’’information ikke PÅ nettet’• infrastruktur; kodning

• Digitalt: baseret på et mekanisk virksomt alfabet (Finnemann)

• Globalt vidensarkiv, potentielt set •Her&NU/ flygtigt medie; skidt og kanel; uoverskuelighed

• Interaktivt: bruger-indflydelse + responsivitet => usability• Interaktionelt: anonymitet, frimodighed, sociability (Preece; Sproull & Kiesler)

• Emergent: Metcalfes lov; online communities... (Jens F.Jensen)

Væsentlige træk ved netmediet (2)

3 IKT-services på portaler

- kommunikationsteoretiske problematikker ved portal~

• Informationsstrøm

• Rådgiving

• Social interaktion

Informationsstrøm

• Push– Email: 1:1 – 1:N – N:M – M:1– Website: kampagne (evt. vha. ’cookies’)

• Pull– ’Søge’ ~ ’finde’ (søgeord, links)– ’Vurdere lødighed’– ’Forstå’– ’Anvende’

Nye kompetencer nødvendige – nye krav til afsender og modtager.

A-B-samfund et problem.

Rådata skal ikke lægges ud! (Lausten, DSMI-årsmøde 5.4.02)

Af hensyn til personaliseringen

Information ~ rådgivning..

- klippet fra Netdoktor.dk..

SPØRGSMÅL: Vi er begge 35 år - skal vi få lavet en moderkageprøve?

SVAR: Stillingtagen til undersøgelse for kromosomafvigelse er en personlig ting.

Netop derfor kan I få rådgivning - ikke svar på hvad I skal gøre.

Rådgivning

• Q&A – brevkasse online– men svar skal jo stadig forstås og relateres

• Mail 1:1– 93% foreslog at patienten søgte læge– 59% havde diagnosen korrekt (Rice&Katz 2001, p.22)

• Chat og nyhedsgrupper– brugerne rådgiver hinanden..– asymmetri i kommunikationen..

Social interaktion

- videndelingen er ikke eneste formål..• Ikke at være alene om det, fællesskab• At få omsorg• At vise interesse, give støtte

– i egen interesse på flere måder

- empati kan fint trives online (Preece 1998)

Hvad er ’empati’?

Godtgør Preece’ fund at vi kan komme til ’forståelse’ af hinanden online?

Kvinder med fremskreden brystkræft der kommer i gruppeterapi overlevede dobbelt så længe som andre med tilsvarende sygdomme. (Spiegel et.al. 1989)

Virker det online?

4 sundhedsfaglige spørgsmål

• ’Clinical impact’ af de nye services?• Spredehagls-sundhedskampagner effektive? • Fighting spirit: godt eller risikabelt? (Watson 2000)

• Forventningsstrukturer hos patient ~ læge ?• at svare på mails? (tidsspilde, misforståelser)• at forholde sig til udprint?• at holde sig opdateret/ forholde sig til udprint

• Hvilke kriterier for SP – effektuering af dem? (HONcode, Europakomm)

• EPJ/ EFJ => omvendt portal? Personaliseret information

• Generel information ~ patientspecifik information.

• Patienten ’går ud på WWW’ ~ patienten ’går ind på sin egen web-side hos lægen’.

• Patienten søger information ~ informationen kommer til og opsamles hos patienten

• Patienten hos lægen ~ lægen hos patienten

Portal ~ omvendt portal

• Adgang fra standard-browser ~ også adgang via særlig applikation (evt. håndholdt)

• Mange brugere med forskellige behov ~ én bruger med få, fokuserede behov.

• Kort tid det enkelte sted ~ lang tid med ét produkt

Portal ~ omvendt portal

• Adgang fra standard-browser ~ også adgang via særlig applikation (evt. håndholdt)

• Mange brugere med forskellige behov ~ én bruger med få, fokuserede behov.

• Kort tid det enkelte sted ~ lang tid med ét produkt

Portal ~ omvendt portal

Opsamling: udfordringer for MI ~ design/ evaluering

• OPLÆRING: 70.000 skal lære EPJ (eksempelvis)• EKSPERTER ~ NOVICER: trade offs? ’Digital Divide’?• ’HYLDEVARER’ eller software-udvikling fra bunden? -

leverandørens usability/ -sundhedskultur skal vurderes!• SIKKERHED: a) ’tavs teknologi’? b) Ansvar og forståelse er vigtige

aspekter ift. sundhedsportaler. (2 eks.)• STANDARDHEURISTIKKER ~ ikke tilstrækkelige• USERS FIRST: sundhedsvirksomhed ~ data management (samarbejde,

fleksibilitet, økonomi, forskning) ~ patienten? • COPABILITY?: er usability + utility nok til at vurdere om brugerens

(nye) virksomhed er understøttet bedre?• EFFEKTVURDERING

– kvantitative metode lukker erfaringsrummet– ’gentagelighed’? Alle implementeringer er unikke.– Hvilke kriterier?

• TID: tid til at holde møder, tid til at teste, tid til at blive oplært, tid til at være ’superbruger’, tid til patienten...

Referencer om sundhedsportaler• Rice: R.E (2001): ’The Internet and Health Communication: A Framework of

Experiences.’ i: Rice, R.E. & Katz, J.E.: The Internet and Health Communication. Experiences and Expectations. Sage Publ., London 2001, pp. 5-46.

• HONcode-principperne: http://www.hon.ch/HONcode/Danish/?HONConduct917236

• EU Quality for Health Websites initiative. Petra Wilson, Health Telematics, DG13 EU; URL: http://www.v-chi.dk/arrangementer/sundhedsportaler/PetraWilson.pdf

• Jensen, Jens F. (1999): 'Roadmap til Informations-Motorvejen. Medietypologier for trafikmønstre på Internettet.' i: Jensen, Jens F. (ed.): Internet, World Wide Web, Netværkskommunik@tion. Aalborg Universitetsforlag 1999, s.25-68.

• Cubitt, Sean (1998): Digital Aesthetics. Sage Publications, London 1998• Sproull, L. and Kiesler, S. (1991) Connections: New Ways of Working in the Networked

Organization, Cambridge, MA: MIT Press.• Preece, J. (2000) Online Communities: Designing Usability, Supporting Sociability.

Chichester, UK: John Wiley & Sons• David Spiegel (et al): 'Effects of Psychosocial Treatment on Survival of Patients with

Metastatic Breast Cancer', Lancet nr. 8668, ii, 1989• Watson (2000): John E. Fetzer Institute 2000, ’Advances in Mind-Body Medicine’ 2000,

issue 16, s. 157-8 • Netværket nr. 13 (temanummer om sundhedsportaler), V-CHI, AAU okt.2001

URL:http://www.v-chi.dk/library/index.html

Referencer om sundhedsportaler (2)

• Mittman, R. & Cain, M.: 'The Future of the Internet in Health Care - A Five-Year Forecast.’ i: Rice, R.E. & Katz, J.E.: The Internet and Health Communication. Experiences and Expectations. Sage Publ., London 2001, pp. 47-73

• Levesque, Deborah A. et al. (2001): ’Assesing Medicare beneficiaries’ readiness to make informed health plan choices.’ i: Health Care Financing Review, Washington, ISSN: 01958631, vol.32, issue 1, Fall 2001, pp.87-104

• Preece, Jenny: Empathic Communities: Reaching out across the Web. Interactions, March 1998

– Eller: Preece, J. (1998) Empathic Communities: Balancing Emotional and Factual Communication. To appear in Interacting with Computers. The Interdisciplinary Journal of Human-Computer Interaction. Elsevier.