41
STATENS BEREDNING FÖR MEDICINSK UTVÄRDERING Evidensgradering enligt GRADE Pernilla Östlund

Evidensgradering enligt GRADE - mah.se · Evidens –bevis –hur mycket kan vi lita på det vi fått fram? RISK FÖR BIAS Hur bra är studiernas kvalitet? Max -2 pluppar PRECISION

  • Upload
    vankhue

  • View
    216

  • Download
    0

Embed Size (px)

Citation preview

Page 1: Evidensgradering enligt GRADE - mah.se · Evidens –bevis –hur mycket kan vi lita på det vi fått fram? RISK FÖR BIAS Hur bra är studiernas kvalitet? Max -2 pluppar PRECISION

STATENS BEREDNING FÖRMEDICINSK UTVÄRDERING

Evidensgradering enligt GRADE

Pernilla Östlund

Page 2: Evidensgradering enligt GRADE - mah.se · Evidens –bevis –hur mycket kan vi lita på det vi fått fram? RISK FÖR BIAS Hur bra är studiernas kvalitet? Max -2 pluppar PRECISION

Arbetsprocessen– från förslag till färdig rapport

Förslaginkommer/fångas upp

Förslagetbereds

Prioritering och beslut om start

Experter utses

Precisering av frågeställningAvgränsning

Manus-bearbetning

Synpunkter från SBU:s kvalitets-

/prioriterings-grupp

Urval av studier

Granskning &syntes

Evidens-gradering

Litteratur-sökning

Godkännande av

projektplan

Extern granskning OK från experternaSBU:s råd & nämnd

– synpunkter & beslut

Kommunikation

Page 3: Evidensgradering enligt GRADE - mah.se · Evidens –bevis –hur mycket kan vi lita på det vi fått fram? RISK FÖR BIAS Hur bra är studiernas kvalitet? Max -2 pluppar PRECISION

GRADE är ett systematiskt sätt att skatta osäkerhet och bygger oftast på en metaanalys

Page 4: Evidensgradering enligt GRADE - mah.se · Evidens –bevis –hur mycket kan vi lita på det vi fått fram? RISK FÖR BIAS Hur bra är studiernas kvalitet? Max -2 pluppar PRECISION

Hur säkra är vi på resultatet?

Page 5: Evidensgradering enligt GRADE - mah.se · Evidens –bevis –hur mycket kan vi lita på det vi fått fram? RISK FÖR BIAS Hur bra är studiernas kvalitet? Max -2 pluppar PRECISION

Vad hade vi förut?

Page 6: Evidensgradering enligt GRADE - mah.se · Evidens –bevis –hur mycket kan vi lita på det vi fått fram? RISK FÖR BIAS Hur bra är studiernas kvalitet? Max -2 pluppar PRECISION

GRADE

Hur mycket man kan lita på evidensen…

Kommer inte att ändras

Kommer förmodligen inte att ändras

Kommer förmodligen att ändras

Vi vet inte ett skit!

Men hur kommer vi fram till det då?

Page 7: Evidensgradering enligt GRADE - mah.se · Evidens –bevis –hur mycket kan vi lita på det vi fått fram? RISK FÖR BIAS Hur bra är studiernas kvalitet? Max -2 pluppar PRECISION
Page 8: Evidensgradering enligt GRADE - mah.se · Evidens –bevis –hur mycket kan vi lita på det vi fått fram? RISK FÖR BIAS Hur bra är studiernas kvalitet? Max -2 pluppar PRECISION

Evidens – bevis – hur mycket kan vi lita på det vi fått fram?

1. RISK FÖR BIAS (kvalitet, snedvridning av resultat)

2. PRECISION

3. SAMSTÄMMIGHET

4. ÖVERFÖRBARHET

5. PUBLIKATIONSBIAS (snedvridning av vad som publicerats)

Page 9: Evidensgradering enligt GRADE - mah.se · Evidens –bevis –hur mycket kan vi lita på det vi fått fram? RISK FÖR BIAS Hur bra är studiernas kvalitet? Max -2 pluppar PRECISION

Evidens – bevis – hur mycket kan vi lita på det vi fått fram?

1. RISK FÖR BIAS (kvalitet, snedvridning av resultat)

2. PRECISION

3. SAMSTÄMMIGHET

4. ÖVERFÖRBARHET

5. PUBLIKATIONSBIAS (snedvridning av vad som publicerats)

Page 10: Evidensgradering enligt GRADE - mah.se · Evidens –bevis –hur mycket kan vi lita på det vi fått fram? RISK FÖR BIAS Hur bra är studiernas kvalitet? Max -2 pluppar PRECISION

RISK OF BIASHur bra är studiernas kvalitet?

1. SelektionRandomisering?

2. BehandlingBlindning?

3. BedömningMätt på ett exakt sätt?

4. BortfallHur många patienter hoppade av?

5. RapporteringHar man beskrivit studien bra?

6. IntressekonfliktHar forskarna fått ekonomiska fördelar?

Page 11: Evidensgradering enligt GRADE - mah.se · Evidens –bevis –hur mycket kan vi lita på det vi fått fram? RISK FÖR BIAS Hur bra är studiernas kvalitet? Max -2 pluppar PRECISION

Evidens – bevis – hur mycket kan vi lita på det vi fått fram?

1. RISK FÖR BIAS (kvalitet, snedvridning av resultat)

2. PRECISION

3. SAMSTÄMMIGHET

4. ÖVERFÖRBARHET

5. PUBLIKATIONSBIAS (snedvridning av vad som publicerats)

Page 12: Evidensgradering enligt GRADE - mah.se · Evidens –bevis –hur mycket kan vi lita på det vi fått fram? RISK FÖR BIAS Hur bra är studiernas kvalitet? Max -2 pluppar PRECISION

PRECISIONSpretar resultaten, blir en del patienter inte friska alls medan andra blir friska?

• Uppskattar hur osäker den sammanvägda effekten är– Få mätningar eller händelser

– Breda konfidensintervall

Page 13: Evidensgradering enligt GRADE - mah.se · Evidens –bevis –hur mycket kan vi lita på det vi fått fram? RISK FÖR BIAS Hur bra är studiernas kvalitet? Max -2 pluppar PRECISION

Att beakta!

• Innefattar konfidensintervallen möjlighet för ogynnsamma utfall eller en kliniskt signifikant effekt?

• Små studier, en enda studie, få utfall vanligaste orsakerna till nedgradering

Page 14: Evidensgradering enligt GRADE - mah.se · Evidens –bevis –hur mycket kan vi lita på det vi fått fram? RISK FÖR BIAS Hur bra är studiernas kvalitet? Max -2 pluppar PRECISION

Evidens – bevis – hur mycket kan vi lita på det vi fått fram?

1. RISK FÖR BIAS (kvalitet, snedvridning av resultat)

2. PRECISION

3. SAMSTÄMMIGHET

4. ÖVERFÖRBARHET

5. PUBLIKATIONSBIAS (snedvridning av vad som publicerats)

Page 15: Evidensgradering enligt GRADE - mah.se · Evidens –bevis –hur mycket kan vi lita på det vi fått fram? RISK FÖR BIAS Hur bra är studiernas kvalitet? Max -2 pluppar PRECISION

SAMSTÄMMIGHETVisar de olika studierna samma sak?

• Här bedöms i vilken utsträckning studierna kommer fram till samma resultat– Pekar de åt samma håll?

– Är effektstorleken av jämförbar storlek i de olika studierna?

Page 16: Evidensgradering enligt GRADE - mah.se · Evidens –bevis –hur mycket kan vi lita på det vi fått fram? RISK FÖR BIAS Hur bra är studiernas kvalitet? Max -2 pluppar PRECISION

Att beakta!

• Samstämmighet ska alltid utforskas – ibland föreligger uppenbara kliniskt rimliga förklaringar

• När bara en studie föreligger kan denna punkt inte bedömas

• När metaanalys saknas – rimlighetsbedömning

• Skillnad i effektens riktning kan vara allvarligt, men förklarligt om OR/RR ligger nära 1

Page 17: Evidensgradering enligt GRADE - mah.se · Evidens –bevis –hur mycket kan vi lita på det vi fått fram? RISK FÖR BIAS Hur bra är studiernas kvalitet? Max -2 pluppar PRECISION

Evidens – bevis – hur mycket kan vi lita på det vi fått fram?

1. RISK FÖR BIAS (kvalitet, snedvridning av resultat)

2. PRECISION

3. SAMSTÄMMIGHET

4. ÖVERFÖRBARHET

5. PUBLIKATIONSBIAS (snedvridning av vad som publicerats)

Page 18: Evidensgradering enligt GRADE - mah.se · Evidens –bevis –hur mycket kan vi lita på det vi fått fram? RISK FÖR BIAS Hur bra är studiernas kvalitet? Max -2 pluppar PRECISION

ÖVERFÖRBARHETÄr studierna gjorda i Kina eller i Norge?

• Med överförbarhet menas i vilken utsträckning det är generaliserbart och relevant för svenska förhållanden:– Hur väl överensstämmer patienterna med de man ser i daglig svensk sjukvård?

– Utförs behandlingen på samma sätt som i Sverige?

– Är kontrollgruppen relevant?

– Är sjukvårdsmiljön rimligt likartad?

Page 19: Evidensgradering enligt GRADE - mah.se · Evidens –bevis –hur mycket kan vi lita på det vi fått fram? RISK FÖR BIAS Hur bra är studiernas kvalitet? Max -2 pluppar PRECISION

Att beakta!

• Studiepopulationen - inkluderas äldre och kvinnor, patienter med andra sjukdomar, sjukdomsgrad, typisk patientgrupp ur ett svenskt perspektiv?

• Interventionen – är det exakt den metod som vi är intresserade av eller liknande? T ex läkemedel inom samma ”klass”, olika varianter på KBT, närbesläktade kirurgiska ingrepp. Doser, behandlingstider, intensitet i rådgivning. Är sjukvårdsmiljön överförbar till Sverige?

• Jämförelsegrupp - mot placebo eller mot den i dag bästa metoden? Direkta eller indirekta jämförelser?

• Effektmått - redovisas viktiga patientrelaterade effektmått eller surrogatmått?

Page 20: Evidensgradering enligt GRADE - mah.se · Evidens –bevis –hur mycket kan vi lita på det vi fått fram? RISK FÖR BIAS Hur bra är studiernas kvalitet? Max -2 pluppar PRECISION

Exempel på missvisande surrogatmått

Rothwell PM, Lancet 2005

Page 21: Evidensgradering enligt GRADE - mah.se · Evidens –bevis –hur mycket kan vi lita på det vi fått fram? RISK FÖR BIAS Hur bra är studiernas kvalitet? Max -2 pluppar PRECISION

Evidens – bevis – hur mycket kan vi lita på det vi fått fram?

1. RISK FÖR BIAS (kvalitet, snedvridning av resultat)

2. PRECISION

3. SAMSTÄMMIGHET

4. ÖVERFÖRBARHET

5. PUBLIKATIONSBIAS (snedvridning av vad som publicerats)

Page 22: Evidensgradering enligt GRADE - mah.se · Evidens –bevis –hur mycket kan vi lita på det vi fått fram? RISK FÖR BIAS Hur bra är studiernas kvalitet? Max -2 pluppar PRECISION

PUBLIKATIONSBIASFattas det studier där resultaten är negativa?

• Med publikationsbias menas att delar av det vetenskapliga underlaget inte är tillgängligt i publicerade studier– Består underlaget enbart av små studier som ar utförda av samma forskargrupp?

• www.clinicaltrials.gov

Page 23: Evidensgradering enligt GRADE - mah.se · Evidens –bevis –hur mycket kan vi lita på det vi fått fram? RISK FÖR BIAS Hur bra är studiernas kvalitet? Max -2 pluppar PRECISION

Evidens – bevis – hur mycket kan vi lita på det vi fått fram?

RISK FÖR BIAS Hur bra är studiernas kvalitet?

Max -2 pluppar

PRECISION Spretar resultaten, blir en del patienter inte friska alls medan andra blir friska?

Max -2 pluppar

SAMSTÄMMIGHET Visar de olika studierna samma sak?

Max -2 pluppar

ÖVERFÖRBARHET Är studierna gjorda i Kina eller i Norge?

Max -2 pluppar

PUBLIKATIONSBIAS Fattas det studier där resultaten är negativa?

Max -1 plupp

Page 24: Evidensgradering enligt GRADE - mah.se · Evidens –bevis –hur mycket kan vi lita på det vi fått fram? RISK FÖR BIAS Hur bra är studiernas kvalitet? Max -2 pluppar PRECISION

Då tar vi och räknar ihop avdragen!

Nu ska vi se… 4 pluppar från början… så drar vi av 2 för kvalitet. Och 2 för precision. Och 2 för överförbarhet. Och 2 för överensstämmelse. Och 1 för publikationsbias.

Hmmm…. 4 - 9 = -5

Det blir -5 pluppar!

Nej… Det går inte…Det kan inte bli mindre än 1 plupp!

Page 25: Evidensgradering enligt GRADE - mah.se · Evidens –bevis –hur mycket kan vi lita på det vi fått fram? RISK FÖR BIAS Hur bra är studiernas kvalitet? Max -2 pluppar PRECISION

Men de andra då?

• Observationsstudier?– Börjar på två pluppar…

• Diagnostiska studier?– Börjar på fyra pluppar…

• Intervjustudier?– Har inga pluppar alls…

Page 26: Evidensgradering enligt GRADE - mah.se · Evidens –bevis –hur mycket kan vi lita på det vi fått fram? RISK FÖR BIAS Hur bra är studiernas kvalitet? Max -2 pluppar PRECISION

UPPGRADERING AV OBSERVATIONSSTUDIER!

• Effektstorlek– Stora eller mycket stora effekter. Sannolikhetsbaserad ökning av evidensstyrkan

• Stor effekt: RR <0,5 eller >2 (kan öka ett steg)

• Mycket stor effekt: RR <0,2 eller >5 (kan öka två steg)

– Bör användas med omdöme. Baseras på minst två mycket välgjorda observationsstudier där confounders är korrekt hanterade

• Dos-respons/negativa confounders– I vissa fall tydligt dos-responssamband (kan öka ett steg)

– Om alla confounders talar för att det borde gå bättre för kontrollgruppen (kan öka ett steg)

– Båda dessa ovanliga och bör användas med försiktighet!

Page 27: Evidensgradering enligt GRADE - mah.se · Evidens –bevis –hur mycket kan vi lita på det vi fått fram? RISK FÖR BIAS Hur bra är studiernas kvalitet? Max -2 pluppar PRECISION
Page 28: Evidensgradering enligt GRADE - mah.se · Evidens –bevis –hur mycket kan vi lita på det vi fått fram? RISK FÖR BIAS Hur bra är studiernas kvalitet? Max -2 pluppar PRECISION

Sammanfattande resultattabell

Page 29: Evidensgradering enligt GRADE - mah.se · Evidens –bevis –hur mycket kan vi lita på det vi fått fram? RISK FÖR BIAS Hur bra är studiernas kvalitet? Max -2 pluppar PRECISION

Evidensstyrka och effektstorlek?

Lätt att blanda ihop!

1. Stark evidens för att läkemedel X har liten effekt på sänkning av blodtryck

2. Begränsad evidens för att läkemedel X har stor effekt på sänkning av blodtryck

Vilken skulle du välja?

Page 30: Evidensgradering enligt GRADE - mah.se · Evidens –bevis –hur mycket kan vi lita på det vi fått fram? RISK FÖR BIAS Hur bra är studiernas kvalitet? Max -2 pluppar PRECISION

Rekommendationer och evidensgradering kan skilja sig åt

Evidensstyrka Rekommendationer

⊕◯◯◯

⊕⊕◯◯

⊕⊕⊕◯

⊕⊕⊕⊕ 1

2

3

4

• Politik• Etik• Ekonomi• Preferenser• Organisation

Page 31: Evidensgradering enligt GRADE - mah.se · Evidens –bevis –hur mycket kan vi lita på det vi fått fram? RISK FÖR BIAS Hur bra är studiernas kvalitet? Max -2 pluppar PRECISION

Var finns det mer att läsa?

Page 32: Evidensgradering enligt GRADE - mah.se · Evidens –bevis –hur mycket kan vi lita på det vi fått fram? RISK FÖR BIAS Hur bra är studiernas kvalitet? Max -2 pluppar PRECISION

Övningsexempel

Page 33: Evidensgradering enligt GRADE - mah.se · Evidens –bevis –hur mycket kan vi lita på det vi fått fram? RISK FÖR BIAS Hur bra är studiernas kvalitet? Max -2 pluppar PRECISION

Er:YAG laser versus manual debridement and chlorhexidine irrigation/gel (6 months)

Page 34: Evidensgradering enligt GRADE - mah.se · Evidens –bevis –hur mycket kan vi lita på det vi fått fram? RISK FÖR BIAS Hur bra är studiernas kvalitet? Max -2 pluppar PRECISION

1. RISK FÖR BIAS (kvalitet, snedvridning av resultat)

2. PRECISION

3. SAMSTÄMMIGHET

4. ÖVERFÖRBARHET

5. PUBLIKATIONSBIAS (snedvridning av vad som publicerats)

Page 35: Evidensgradering enligt GRADE - mah.se · Evidens –bevis –hur mycket kan vi lita på det vi fått fram? RISK FÖR BIAS Hur bra är studiernas kvalitet? Max -2 pluppar PRECISION

1. RISK FÖR BIAS

Page 36: Evidensgradering enligt GRADE - mah.se · Evidens –bevis –hur mycket kan vi lita på det vi fått fram? RISK FÖR BIAS Hur bra är studiernas kvalitet? Max -2 pluppar PRECISION

2. PRECISION

• Få mätningar eller händelser?• Breda konfidensintervall?

Page 37: Evidensgradering enligt GRADE - mah.se · Evidens –bevis –hur mycket kan vi lita på det vi fått fram? RISK FÖR BIAS Hur bra är studiernas kvalitet? Max -2 pluppar PRECISION

3. SAMSTÄMMIGHET

Page 38: Evidensgradering enligt GRADE - mah.se · Evidens –bevis –hur mycket kan vi lita på det vi fått fram? RISK FÖR BIAS Hur bra är studiernas kvalitet? Max -2 pluppar PRECISION

4. ÖVERFÖRBARHET

– Hur väl överensstämmer patienterna med de man ser i daglig svensk sjukvård?

– Utförs behandlingen på samma sätt som i Sverige?

– Är kontrollgruppen relevant?

– Är sjukvårdsmiljön rimligt likartad?

Page 39: Evidensgradering enligt GRADE - mah.se · Evidens –bevis –hur mycket kan vi lita på det vi fått fram? RISK FÖR BIAS Hur bra är studiernas kvalitet? Max -2 pluppar PRECISION

5. PUBLIKATIONSBIAS

• Fattas det studier där resultaten är negativa?

Page 40: Evidensgradering enligt GRADE - mah.se · Evidens –bevis –hur mycket kan vi lita på det vi fått fram? RISK FÖR BIAS Hur bra är studiernas kvalitet? Max -2 pluppar PRECISION

En titt in i framtiden…

Page 41: Evidensgradering enligt GRADE - mah.se · Evidens –bevis –hur mycket kan vi lita på det vi fått fram? RISK FÖR BIAS Hur bra är studiernas kvalitet? Max -2 pluppar PRECISION