Kursus i udvikling af kliniske retningslinjer Kritisk vurdering af artikler Dag 5 d. 30.3.10

Center for Kliniske Retningslinjer • Nationalt Clearinghouse for Sygepleje, Aarhus Universitet

Kursus i udvikling af kliniske retningslinjer

Kritisk vurdering af artikler

Dag 5d. 30.3.10

Preben U. Pedersen, lektor, ph.dSasja Jul Håkonsen, cand.cur.

Center for Kliniske Retningslinjer


Dagens program

• 9.30 – 11.00: Introduktion til det quasie eksperimentelle design samt kritisk vurdering af artikler ved hjælp af tjeklister.

• 11.00 – 12.00: Kritisk vurdering af egne artikler

• 12.00 – 12.30: Frokost

• 12.30 – 14.15: Fortsat kritisk vurdering af egne artikler

• 14.15 – 15.00: Opsamling. Evt. spørgsmål.


Udarbejdelse af kliniske retningslinjer - processen

Identificering af problemstilling

Udarbejdelse affokuserede spørgsmål

Udarbejdelse af søgestrategi

Systematisklitteratursøgning

Vurdering af litteratur

Inkludering af litteratur Ekskludering af litteratur

Resumering i evidenstabel

Udarbejdelse af anbefalinger


Kritisk vurdering og udvælgelse af litteratur;


Hvad er kritisk vurdering af artikler?

Videnskabelig litteratur skal evidensvurderes. At evidensvurdere vil sige at vurdere kvaliteten af den litteratur, man har

fundet.


Hvordan kritisk vurderer vi artikler?• I en evidensvurdering vurderes hver enkelt artikels videnskabelige kvalitet.

Vurderingen skal foregå udfra ensartede kriterier, der er fastsat på forhånd. Til hjælp foreligger der nationale og internationale tjeklister, der anvendes for at sikre sig, at man har taget stilling til alle aspekter af artiklen.

• Sekretariatet for Referenceprogrammer under Center for Evaluering og Medicinsk Teknologivurdering har oversat australske tjeklister til både oversigtsartikler (reviews), metaanalyser, randomiserede kontrollerede undersøgelser, kohorte studier, case-control studier og diagnostiske tests.

• Disse tjeklister anvendes i regi af Center for Kliniske Retningslinjer til at kritisk gennemgå og vurdere kvaliteten af de kvantitative studier, der inkluderes i litteraturgennemgangen i en klinisk retningslinje



Graduering af evidensniveau(Sekretariatet for Referenceprogrammer, 2004)

Publikationstype Niveau Styrke

Metaanalyse, systematisk oversigt, Randomiseret kontrolleret studie

Ia Ib

A

Kontrolleret, ikke-randomiseret studieKohorteundersøgelseDiagnostisk test (direkte diagnostisk metode)

IIa

IIb

B

Case-kontrol undersøgelseDiagnostisk test (indirekte nosografisk metode)BeslutningsanalyseDeskriptiv undersøgelse

III C

Mindre serier, oversigtsartikelEkspertvurdering, ledende artikel

IV D


Evidensvurdering på grundlag af studiedesign

• En foreløbig evidensvurdering kan man i nogen grad foretage alene på grundlag af studiedesign.

• Inden for den primære litteratur betragtes randomiserede kontrollerede undersøgelser som rangerende højst med bedste evidens, mens kohorte studier og case control studier rangerer på et lavere evidensniveau.

• Men der kan være stor forskel på for eksempel forskellige randomiserede kontrollerede undersøgelser inden for samme behandlingsområde. Der kan f.eks. være forskel på undersøgelsens omfang (stor gruppe, lille gruppe), og dårlige randomiserede kontrollerede undersøgelser kan undertiden udkonkurreres af andre undersøgelsesdesign.


Hvilke elementer er indeholdt i tjeklisterne?

Det interessante er om vi kan tro på det resultat, som artiklen fremkommer med!

Den interne validitet: Du skal fremkomme med din vurdering af den interne validitet. Er undersøgelsen udført grundigt og skyldes undersøgelsens udfald den behandling der undersøges.

Hvert spørgsmål afdækker et område af metodologien som har væsentlig betydning for undersøgelsens konklusioner.

Er der valgt korrekt design til at besvare undersøgelsens formål og er det valgte design udført korrekt??


Tjeklisternes opbygning1. Artiklens troværdighed (Den interne validitet)

– Vurdering af metode– Statistik

2. Overordnet bedømmelse af studiet – Er der mange brud på den interne validitet?

3. Beskrivelse af studiet – (outcome, effekt, population)– sammenfatning af nøgleområder i studiet som efterfølgende

skal anføres i evidenstabellen

4. Generelle kommentarer


Checkliste 2: Randomiserede kontrollerede undersøgelserForfatter, titel: Tidsskrift, år:

Checkliste udfyldt af:

1. INTERN GYLDIGHED (troværdighed)

Evalueringskriterier I hvor høj grad er kriteriet opfyldt?

1.1 Er der en velafgrænset og relevant klinisk problemstilling?

1.2 Blev forsøgspersonerne randomiseret?

1.3 Var behandlings- og kontrolgruppen ens ved undersøgelsens start?

1.4 Var randomiseringen (allokeringen) skjult?

1.5 Blev forsøgspersonerne, behandler og forsker blindet?

1.6 Er alle relevante slutresultater (outcome) målt standardiseret, gyldigt og pålideligt?

1.7 Bortset fra den undersøgte behandling, blev grupperne så behandlet ens?

1.8 Hvor stor en del af de personer, der blev rekrutteret til undersøgelsen, blev endeligt medtaget i analyserne? (dropout)

1.9 Blev alle de undersøgte personer analyseret i henhold

til randomiseringen?(intention to treat analyse)

1.10 Er resultaterne homogene mellem de forskellige undersøgelsessteder (multicenterundersøgelser)?


2. OVERORDNET BEDØMMELSE AF UNDERSØGELSEN 2.1 I hvor høj grad forsøgte undersøgelsen at minimere bias? Anfør ++, + eller .

2.2 Hvis bedømt som + eller , i hvilken grad kan bias påvirke undersøgelsesresultatet?

2.3 Med baggrund i kliniske overvejelser, evaluering af metoden og undersøgelsens statistiske styrke, mener du så, at sluteffekten skyldes undersøgelsens ”intervention”?

2.4 Er resultatet af undersøgelsen direkte anvendeligt på referenceprogrammets patientmålgruppe?

3. BESKRIVELSE AF UNDERSØGELSEN

3.1 Hvilke behandlinger evalueres i undersøgelsen?

3.2 Hvilke måleparametre er anvendt på slutresultatet? (outcome)

3.3 Hvor mange patienter deltog i undersøgelsen? (totalt og i behandlings- hhv. kontrolgruppen).

3.4 Hvorledes er effekten målt? Og i hvilken retning gik den målte effekt?

3.5 Er der statistiske usikkerhedsberegninger? (p-værdier eller sikkerhedsintervaller)

3.6 Hvad karakteriserer deltagerne (populationen)? (fx køn, alder, sygdomsprævalens).

3.7 Hvorfra er forsøgspersonerne rekrutteret? (fx by, land, hospital, ambulatorier, almen praksis, amt).

3.8 Hvor mange grupper/centre er med i undersøgelsen?

3.9 Er der rejst nogle specifikke spørgsmål ved denne undersøgelse? Anfør generelle kommentarer vedr. undersøgelsens resultater og betydningen af disse).


Kritisk vurdering af artikler5 tjeklister til kvantitativ litteratur: 1. Systematiske review2. Randomiserede kontrollerede studier3. Diagnostiske tests 4. Case-controlstudier 5. Kohortestudier

1 tjekliste til kvalitativ litteratur: 1. CASP

Hvad med alle andre typer af studier som findes og som ikke umiddelbart kan klassificeres ud fra tjeklisterne??

Find den tjekliste som passer bedst på Jeres fundne studie og vurder studiet ud fra de overordnede karakteristika.

Evt. se bort fra randomisering, blinding osv.


Quasi eksperimentelt design

Quasi næsten eksperiment / som om. Et næsten ”ægte” eksperiment.

Quasi-eksperiment: forskellen i forhold til det ægte eksperiment er, atforsøgspersonerne ikke er udvalgt på en randomiseret måde samt/eller sammenligningsgrupper/kontrolgrupper ikke er anvendt.


Pedersen, P.U. ”Nutritional care: the effectiveness of actively involving older patients.” Journal of Clinical Nursing. 14; 247-255.

• Eksempel på et quasi eksperimentelt design hvor der ikke er anvendt randomisering, men der er dog kontrolgruppe.

Hvorfor er der ikke anvendt randomisering og blinding af patienterne?

• RCT er anset for at være det stærkeste design når man vil teste hypoteser/afprøve interventioner.

Hverken randomisering eller blinding var ikke muligt grundet interventionens karakter.

Randomisering ville have medført at kontrol- og interventionsgruppe lå ved siden af hinanden eller spiste sammen til måltider.

Blinding ville ikke være muligt pga studiets karakter.


Pedersen, P.U. ”Nutritional care: the effectiveness of actively involving

older patients.” Journal of Clinical Nursing. 14; 247-255.

Publikationstype Niveau Styrke

Metaanalyse, systematisk oversigt, Randomiseret kontrolleret studie

Ia Ib

A

Kontrolleret, ikke-randomiseret studieKohorteundersøgelseDiagnostisk test

IIa

IIb

B

Case-kontrol undersøgelseDiagnostisk testBeslutningsanalyseDeskriptiv undersøgelse

III C

Mindre serie, oversigtsartikelEkspertvurdering, ledende artikel

IV D


Pedersen, P.U. ”Nutritional care: the effectiveness of actively involving older patients.” Journal of Clinical Nursing. 14; 247-255.

Hvordan skal studiet så kritisk vurderes?

Anvende tjekliste til randomiserede kontrollerede undersøgelser – se bort fra randomisering og blinding.


Kritisk vurdering af artiklerFor hvert spørgsmål i tjeklisten skal det vurderes i hvor høj grad,

evalueringskriteriet er opfyldt ud fra nedenstående graduering:

1. I høj grad opfyldt 2. Tilstrækkeligt opfyldt 3. Dårligt opfyldt 4. Ikke opfyldt 5. Ikke oplyst 6. Ikke anvendeligt på den aktuelle undersøgelse


Checkliste 2: Randomiserede kontrollerede undersøgelser

Forfatter, titel: Pedersen, P.UTidsskrift, år: Journal of Clinical Nursing 14, 247-255

Checkliste udfyldt af: SJH

1. INTERN GYLDIGHED (troværdighed)

Evalueringskriterier I hvor høj grad er kriteriet opfyldt?

1.1 Er der en velafgrænset og relevant klinisk problemstilling?

1. I høj grad. Formålet er at undersøge effektiviteten af et sygeplejeprogram baseret på aktiv involvering af ældre patienter i deres ernæring. Hypotesen: at dette type sygeplejeprogram vil forbedre energi og protein indtag hos ældre ortopædkirigiske patienter.

1.2 Blev forsøgspersonerne randomiseret? 6. Ikke anvendeligt på dette studie, da der er tale om et quasi-eksperiment., hvorfor der ikke er foretaget randomisering af patienterne.

1.3 Var behandlings- og kontrolgruppen ens ved undersøgelsens start?

1. I høj grad. Se tabel 2 i artiklen

1.4 Var randomiseringen (allokeringen) skjult? 6. Ikke muligt i dette studie.

1.5 Blev forsøgspersonerne, behandler og forsker blindet?

6. Ikke muligt at udføre I dette studie grundet interventionens karakter.

1.6 Er alle relevante slutresultater (outcome) målt standardiseret, gyldigt og pålideligt?

1.I høj grad. Alle væsentlige resultater er medinddraget og målt gyldigt og pålideligt ved hjælp af statistiske analyser. Validiteten af kostregistreringen (måleredskabet) er desuden beskrevet.

1.7 Bortset fra den undersøgte behandling, blev grupperne så behandlet ens?

1. I høj grad. Man har netop ved selve studiedesignet imødekommet denne problematik. Hvis kontrol- og intervention fandt sted samtidig, ville der være høj risiko for at kontrolgruppen også modtog samme behandling som interventionsgrp. og omvendt.

1.8 Hvor stor en del af de personer, der blev rekrutteret til undersøgelsen, blev endeligt medtaget i analyserne? (dropout)

253 patienter var inkluderet i studiet. 242 gennemførte studiet. Drop out 4,3 %. Acceptabelt.

1.9 Blev alle de undersøgte personer analyseret i henhold til randomiseringen?(intention to treat analyse)

6. Ingen randomisering i dette studie. Patienterne er analyseret I forhold til om de gennemførte studiet.

1.10 Er resultaterne homogene mellem de forskellige undersøgelsessteder (multicenterundersøgelser)?

6. Singlecenter undersøgelse


2. OVERORDNET BEDØMMELSE AF UNDERSØGELSEN

2.1 I hvor høj grad forsøgte undersøgelsen at minimere bias? Anfør ++, + eller .

++. Omend studiedesignet ikke er randomiseret, har man forsøgt at tage højde for kendte confounders ved hjælp af analyser. Validering af måleredskab. Evidensstyrke B

2.2 Hvis bedømt som + eller , i hvilken grad kan bias påvirke undersøgelsesresultatet?

2.3 Med baggrund i kliniske overvejelser, evaluering af metoden og undersøgelsens statistiske styrke, mener du så, at sluteffekten skyldes undersøgelsens ”intervention”?

JA

2.4 Er resultatet af undersøgelsen direkte anvendeligt på referenceprogrammets patientmålgruppe?

3. BESKRIVELSE AF UNDERSØGELSEN

3.1 Hvilke behandlinger evalueres i undersøgelsen? Interventionsprogram

3.2 Hvilke måleparametre er anvendt på slutresultatet? (outcome) Energi og protein indtag postoperativt.

3.3 Hvor mange patienter deltog i undersøgelsen? (totalt og i behandlings- hhv. kontrolgruppen).

242 fuldførte studiet. 135 i kontrolgruppen og 107 i interventionsgruppen.

3.4 Hvorledes er effekten målt? Og i hvilken retning gik den målte effekt?

Effekten er målt på daglig postoperativ energi og protein indtag . Resultaterne afspejler effekt af aktiv involvering af patienter I egen ernæringspleje hos ældre ortopædkirirgiske patienter målt på et øget energi og protein indtag

3.5 Er der statistiske usikkerhedsberegninger? (p-værdier eller sikkerhedsintervaller)

P-værdier

3.6 Hvad karakteriserer deltagerne (populationen)? (fx køn, alder, sygdomsprævalens).

Patienter over 65 år som skall have foretaget hofte eller knæ alloplastik eller hoftefraktur.

3.7 Hvorfra er forsøgspersonerne rekrutteret? (fx by, land, hospital, ambulatorier, almen praksis, amt).

Hospital

3.8 Hvor mange grupper/centre er med i undersøgelsen? 1

3.9 Er der rejst nogle specifikke spørgsmål ved denne undersøgelse? Anfør generelle kommentarer vedr. undersøgelsens resultater og betydningen af disse).


Arbejde med egne opgaver…..

Placering af Jeres artikler / studier i evidenshierakiet – hvilke type studier er der tale om? (den kritiske vurdering udelukkende på baggrund af studiedesignet)

Påbegynde kritisk vurdering af artikler ved hjælp af tjeklister.

Næste gang: Introduktion til bias og confounders (RCT). Gruppearbejde – arbejde med 3 artikler på pensumlisten. Udfylde

tjeklister og præsentere i plenum. Fortolkning af statistiske begreber

Documents

Kursus i udvikling af kliniske retningslinjer Kritisk vurdering af artikler Dag 5 d. 30.3.10