Evidens och missbruksbehandling Presentation IKMDOK-konferens, Linnéuniversitetet, 2 nov 2016

Patrik Karlsson, docent

Institutionen för socialt arbete

Stockholms universitet

patrik.karlsson@socarb.su.se

Presentationens fokus

● Missbruksbehandling och evidens i ett större

sammanhang

● Evidensrörelsen

● Den växande mängden evidens

● Studier av evidensproduktion

2016-11-10 2

Evidensrörelsen

● Allt högre krav på att de insatser som ges inom diverse områden skall vara

evidensbaserade

● Sackets klassiska definition av evidensbaserad praktik (”…the

conscientious, judicious and explicit use of current best evidence in making

decisions about the care of individual parents”) är den mest citerade

meningen någonsin från British Medical Journal (se Greenhalgh, 2012)

● Klinikern/praktikern förväntas använda insatser som har vetenskapligt stöd

för att vara effektiva

● Kunskap till Praktik var ett exempel på ett initiativ att göra svensk

missbruksvård mer evidensbaserad

2016-11-10 3

Evidensrörelsen, forts

● Olika perspektiv på hur EBP bör gå till: critical appraisal

vs the guideline model

● Critical appraisal: klinikern/praktikern skall själv söka

forskning och göra en kritisk bedömning av denna (t ex

vilken är den mest effektiva psykosociala insatsen mot

alkoholmissbruk enligt forskningen?)

● Guideline model: klinikern/praktikern följer de riktlinjer

som tas fram av tex Socialstyrelsen

2016-11-10 4

Nationella riktlinjer för missbruksbehandling

● Senaste riktlinjerna från 2015 (Socialstyrelsen, 2015)

● Ett antal rekommendationer, t ex att de psykosociala behandlingar som i första hand bör

erbjudas individer med missbruk/beroende av alkohol är (Socialstyrelsen, 2015, s. 9)

– MET (motivational enhancement therapy)

– KBT (kognitiv beteendeterapi)

– Återfallsprevention

– CRA (Community Reinforcement Approach)

– 12-stegsbehandling

– SBNT (Social Behaviour Network Therapy)

2016-11-10 5

Mängden evidens ökar explosionsartat

2016-11-10 6

Figur hämtad från Ioannidis, JPA (2016), The Milbank Quarterly Volume 94, Issue 3, pages 485-514, 13 SEP 2016 DOI: 10.1111/1468-0009.12210 http://onlinelibrary.wiley.com/doi/10.1111/1468-0009.12210/full#milq12210-fig-0001

Mängden evidens ökar explosionsartat, forts

● Mellan 1996 och 2011 publicerades mer än 25 miljoner

vetenskapliga artiklar av över 15 miljoner personer (Boyack

mfl, 2013)

● Exemplet ekokardiografi (hjärtundersökning med hjälp av

ultraljud): Nästan 114 000 studier som nämner ekokardiografi

mellan 1966 och 2010 registrererade i databasen PubMed.

Knappt 85 000 av dessa hade ekokardiografi som rubrik (Fraser

& Dunstan, 2010).

2016-11-10 7

Ett exempel

● Engelsk studie från 2005 av ett dygn på en akutmottagning

som innefattande 18 patienter med 44 diagnoser.

● Den evidens (nationella riktlinjer) som var direkt relevant i

förhållande till dessa patienter uppgick till över 3600 sidor.

● Bedömdes motsvara ca 120 timmars läsning (se Greenhalgh

mfl, 2014), dvs ca 5 dygn av oavbrutet läsande!

2016-11-10 8

Ett annat exempel

Ekokardiografi (igen). Tid det skulle ta att läsa alla artiklar som publicerats om detta i

PubMed (Fraser & Dunstan, 2010):

● Om en individ skulle läsa 5 artiklar/timme, 8 timmar om dagen, 5 dagar i veckan,

50 veckor om året skulle han/hon hinna läsa 10 000 artiklar om året

● Att läsa alla artiklar som publicerats mellan 1966 och 2010 skulle utifrån dessa

förutsättningar ta drygt 11 år.

● Under den tiden skulle dock runt 82 000 fler artiklar ha publicerats, vilka skulle ta

ytterligare runt 8 år att läsa…

2016-11-10 9

Forskning om evidensproduktion

● Parallellt med evidensrörelsens frammarsch har allt mer kritik kommit att riktas mot hur

”effekt-studier” ofta genomförs

● Viktigt att systematiskt granska forskning då tveksamma slutsatser från studier kan leda

till skadliga effekter för policy och praktik

● Inom biomedicinen har det gjorts skattningar som säger att 85% av de resurser som

avsätts till forskning är ”waste” (se McLeod mfl, 2014)

● Kan inte blunda för de problem/utmaningar som finns med evidensproduktion och EBP

● Finns en hel del lärdomar att dra från kritisk granskning av forskning från andra områden

som t ex medicinen (jfr Ioannidis mfl, 2015)

2016-11-10 10

Min ståndpunkt

● Håller med redaktörerna för tidskriften Plos Medicine:

– ”We acknowledge that most studies published should be viewed as hypothesis-generating, rather than conclusive…Consumers also need to become comfortable with uncertainty, and understand the strengths and weaknesses intrinsic to every study conducted and published.” (The PLoS Medicine Editors, 2005, s. e272)

● Viktigt att inte kasta ut barnet med badvattnet: (väl genomförd) forskning är

det bästa vi har för att bedöma effekter av olika insatser

● Kritik av hur en del forskning genomförs ska inte se som kritik av forskning

som sådan - det genomförs väldigt mycket högkvalitativ forskning

2016-11-10 11

Forskning om evidensproduktion, forts

● Metaforskning (meta-research) blivit ett eget, snabbt

växande, forskningsområde

● Mest kände företrädaren är John P.A Ioannidis vid

Stanford University

● METRIC (the Meta-Research Center at Stanford,

metrics.stanford.edu)

2016-11-10 12

Forskning om evidensproduktion, forts

● Utmaningar med evidensproduktion på flera olika nivåer, t ex

– Kvalitet på studier (när det gäller dataanalyser, rapportering och tolkning av resultat, etc)

– Kvalitet på sammanställningar av studier (systematic reviews)

2016-11-10 13

1. Kvalitet på studier

● Inom medicinen skrev Altman (1994) en kritisk artikel för

ca 20 år sedan (”The scandal of poor medical research”)

● Altman pekade på att många forskare inom medicinen

helt enkelt är dåligt skolade i att genomföra

forskningsstudier

● Han menade att roten till många av problemen är den

akademiska meriteringskulturen (i USA) med dess krav

på omfattande publicering (sk ”publish or perish”)

2016-11-10 14

John P. Ioannidis ”Why most published research findings are false”

● Enormt inflytelserik artikel från 2005 (citerad över 4000 gånger i Google

Scholar i oktober, 2016)

● Ioannidis hävdar att

” a research finding is less likely to be true when the studies conducted in a field are smaller; when effect sizes are smaller; when there is a greater number and lesser preselection of tested relationships; where there is greater flexibility in designs, definitions, outcomes, and analytical modes; when there is greater financial and other interest and prejudice; and when more teams are involved in a scientific field in chase of statistical significance. Simulations show that for most study designs and settings, it is more likely for a research claim to be false than true.” (Ioannidis, 2005, s. 0696)

● Just flexibiliteten är något som är högre i de ”mjuka” vetenskaperna (t ex

samhällsvetenskap) än i de ”hårda”

2016-11-10 15

Open Science collaboration och problemet med replikering

● Open Science Collaboration. Världens största försök att replikera studier inom

psykologi. Byggde på 100 replikeringar av tidigare studier

● Beskrevs i Dagens Nyheter som ett av 2015 års 10 viktigaste vetenskapliga

genombrott

● Några resultat (Open Science Collaboration, 2015):

– Effekterna i replikeringarna var runt hälften så stora som i originalstudierna – 36% av replikeringarna hade signifikanta (statistiskt säkerställda) resultat

jämfört med 97% av originalstudierna – Enbart 39% av replikeringsstudierna bedömdes ha lyckats replikera

originalstudierna

2016-11-10 16

Några problematiska faktorer

● ”Nyhetskrav”, många förväntar sig att studier ska komma fram till något nytt

snarare än replikera tidigare studier (jfr Open Science Collaboration, 2015)

● ”Kravet på positiva effekter”, lättare att publicera studier som visar på effekter

än studier som inte visar på några effekter – leder till jakt på att identifiera

statistiskt säkerställda samband (signifikans-fiskande, cherry picking, överbetona

ett fåtal signifikanta samband på bekostnad av ett flertal icke-signifikanta)

● ”Forskarjäv”, många interventioner utvärderas av de personer som utvecklade

dem. Studier med forskarjäv tenderar att visa på större effekter än studier utan

forskarjäv

2016-11-10 17

Gorman & Hubers analys av DARE-data

● Dennis Gorman och medarbetare har i en rad analyser pekat på problem i hur olika

drogpreventionsprogram utvärderats (fokus på dataanalyserna)

● I en intressant studie utgick Gorman och Huber (2009) från datamaterial över

preventionsprogrammet DARE (Drug Abuse Resistance Education)

● DARE ett drogpreventionsprogram som syftar till att få ungdomar att kunna motstå

grupptryck

● Allmänt känt att DARE inte minskar ungdomars droganvändning

● Gorman och Huber visar dock att man utifrån tveksamma (men vanliga)

analysmetoder kan få också DARE att se effektivt ut, t ex att köra materialet kors och

tvärs på jakt efter signifikanta samband

2016-11-10 18

2. Kvalitet på sammanställningar av studier

● En del av de problem som finns hos primärstudier återfinns också i

sammanställningar av dessa

● ”Garbage in, garbage out”

● Signifikansfiskande förekommer också i systematiska översikter

● Också de mest rigorösa översikterna är ofta behäftade med problem

2016-11-10 19

Egna studier av systematiska översikter

● Karlsson & Bergmark (2015), Karlsson, Bergmark & Lundström (2016)

● Fokus på systematiska översikter av psykosociala insatser mot missbruk respektive

beteendeproblem bland ungdomar gjorda av Cochrane- och Campbell collaboration

● Cochrane och Campbell är de mest prestigefyllda producenterna av systematiska

översikter inom det medicinska respektive sociala området. Ställer mycket rigorösa

krav på sina översikter

● Genomgående uppfattning att t ex Cochrane’s översikter är av bättre kvalitet än

systematiska översikter som publiceras i vetenskapliga tidskrifter

2016-11-10 20

I våra studier har vi dock identifierat centrala problem i dessa översikter

● Karlsson & Bergmark (2015): översikter om effekter av psykosociala insatser mot

missbruksproblem otydliga med betydelsen av vad experimentgruppen egentligen

jämförs med i effektstudier (”Compared with what?”).

● Detta trots att Cochrane’s egen handbok för systematiska översikter (används också

av Campbell) betonar hur viktigt det är att skilja på olika typer av kontrollgrupper

● Olika typer av kontrollgrupper (sedvanlig behandling, väntelista, etc) blandas ofta

samman trots att jämförelser med dessa ger fundamentalt olika mått

● Stor skillnad på att jämföra med en kontrollgrupp som inte får någon insats alls

jämfört med en kontrollgrupp som får någon form av insats

2016-11-10 21

Karlsson & Bergmark (2015), forts

● Känt att effekterna av olika psykosociala insatser mot missbruk

tenderar att vara ungefär lika stora

● Avsaknad av skillnad mellan experiment- och kontrollgrupp i studier

med ”aktiv” kontrollgrupp behöver därför inte betyda en nolleffekt

● Omvänt: inte säkert att skillnad mellan experiment och inaktiv

kontrollgrupp beror på den teoretiska modellen hos den aktiva

behandlingen. Att det går bättre för experimentgruppen kan också

bero på att klienterna i den gruppen fick mer uppmärksamhet, att

terapeuterna var mer entusiastiska etc (jfr Wampold, 2001)

2016-11-10 22

Karlsson, Bergmark och Lundström (2016)

● Analys av Cochrane- och Campbellöversikter om psykosociala

insatser mot beteendeproblem hos ungdomar

● Fokus på effekter, förekomst av forskarjäv, kontrollgrupper som

används, samt tolkning av resultat i översikter

● Var ganska varierande definitioner vad som räknades som

beteendeproblem i översikterna, i en översikt räknades t ex

sömnproblem som ett beteendeproblem

● Vi räknade ut en ”effektprocent” (effect percentage) – hur stor andel

av alla jämförelser i översikterna som var statistiskt säkerställda

2016-11-10 23

Karlsson, Bergmark och Lundström (2016), forts

● Andelen positiva, statistiskt säkerställda effekter utifrån

alla jämförelser som presenterades var i flera fall ganska

låg. Detta underbetonades dock i vissa fall till förmån för

ett fokus på de positiva effekterna i t ex

sammanfattningen av rapporten

● Klar förekomst av forskarjäv, i vissa översikter hade alla

primärstudier genomförts av de som utvecklat

programmen

● Klar förekomst av signifikansfiskande i vissa översikter

2016-11-10 24

Karlsson, Bergmark och Lundström (2014)

● Fokus på hur olika evidensproducenter i USA bedömer effekter av

Incredible Years (IY)

● IY ett populärt program för att minska beteendeproblem hos

ungdomar. Allmänt känt som evidensbaserat

● Utvecklat av Carolyn Webster-Stratton vid University of Washington

● Vi undersökte de procedurer som fyra olika evidensproducenter

använde för att bedöma effekten av programmet samt vilka

slutsatser kring effekt som de drog

2016-11-10 25

Karlsson, Bergmark och Lundström (2014)

● Inkluderade:

– What Works Clearinghouse (WWC)

– The National Regristry of Evidence-Based Programs and Practices (NREPP)

– Promising Practices Network (PPC)

– The California Evidence-Based Clearinghouse for Child Welfare (CEBC)

2016-11-10 26

Karlsson, Bergmark & Lundström (2014), forts

● Mycket stor variation i procedurer och slutsatser bland de fyra

evidensproducenterna

● WWC extremt strikt, näst intill ingen primärstudie av IY dög för att dra säkra

slutsatser (tex så exkluderas alla studier som gjorts utanför USA automatiskt)

● WWC mer rigorösa än de andra organisationerna

● NREPP och PPN tillåter nominering av program från programutvecklare. Kraven för

att sen listas som ett evidensbaserat program hos t ex NREPP låga. NREPP ger till

och med programutvecklarna stor frihet att själva bestämma vilka studier som ska

granskas

2016-11-10 27

Karlsson, Bergmark och Lundström (2014)

● Vi menar att processen med att producera evidens i vissa

fall kan liknas vid en marknad (i meningen

marknadsplats)

● Nästan omöjligt att inte listas som evidensbaserat på de

listor över evidensbaserade program som vissa av dessa

evidensproducenter inrättat. Begreppet evidensbaserat

blir i dessa sammanhang nästan meningslöst

2016-11-10 28

Pågående projekt vid Inst för socialt arbete, SU

● ”Föreställningen om en evidensbaserad praktik inom socialtjänsten”’

● Finansierat av Riksbankens Jubileumsfond (RJ)

● Projektledare professor Anders Bergmark

● Fokus på fyra teman

– Hur EBP är organiserat i Sverige och andra länder

– Metodologiska frågor

– Implementering av EBP

– Hur problem/utmaningar med EBP kan lösas

2016-11-10 29

Tack för mig!

2016-11-10 30

Referenser

Altman, D. G. (1994). The scandal of poor medical research. BMJ, 308, 283-284.

Boyack, K. W., Klavans, R., Sorensen, A. A., & Ioannidis, J. (2013). A list of highly influential biomedical researchers,

1996–2011. European Journal of Clinical Investigation, 43, 1339-1365.

Fraser, A. G., & Dunstan, F. D. (2010). On the impossibility of being expert. BMJ, 341, c6815.

Gorman, D. M., & Huber, J. C. (2009). The Social Construction of``Evidence-Based''Drug Prevention Programs A

Reanalysis of Data From the Drug Abuse Resistance Education (DARE) Program. Evaluation Review, 33(4), 396-414.

Greenhalgh, T. (2014). Evidence-based medicine: a movement in crisis. BMJ, 348, g3725

Ioannidis, J.P. (2016). The Mass Production of Redundant, Misleading, and Conflicted Systematic Reviewsand Meta-

analyses. The Milbank Quarterly, 94, 485-514.

Ioannidis, J. P. (2005). Why most published research findings are false. PLoS Med, 2(8), e124.

Ioannidis, J. P., Fanelli, D., Dunne, D. D., & Goodman, S. N. (2015). Meta-research: evaluation and improvement of

research methods and practices. PLoS Biol, 13(10), e1002264.

Karlsson, P. & Bergmark, A. (2015) Compared with what? An analysis of control group types in Cochrane and Campbell

reviews of psychosocial treatment efficacy with substance use disorders. Addiction, 110, 420-428

Karlsson, P., Bergmark, A., & Lundström, T. (2016, early online). Effects of psychosocial interventions on behavioural

problems in youth: a close look at Cochrane- and Campbell reviews. International Journal of Social Welfare.

2016-11-10 31

Karlsson, P., Bergmark, A., & Lundström, T. (2014). Procedures and claims among US evidence-producing organizations:

the case of the Incredible Years programme. Evidence & Policy, 10 (1): 61-76.

Macleod, M. R., Michie, S., Roberts, I., Dirnagl, U., Chalmers, I.,

Ioannidis, J. P., ... & Glasziou, P. (2014). Biomedical research: increasing value, reducing waste. The Lancet, 383, 101-

104.

Open Science Collaboration. (2015). Estimating the reproducibility of psychological science. Science, 349, aac4716.

Socialstyrelsen (2015). Nationella riktlinjer för vård och stöd vid missbruk och beroende. Stockholm: Socialstyrelsen

The PLoS Medicine Editors (2005) Minimizing Mistakes and Embracing Uncertainty. PLoS Med 2(8): e272.

doi:10.1371/journal.pmed.0020272

Wampold, B. E. (2001). The great psychotherapy debate: Models, methods, and findings. New YeJersey: Lawrence

Erlbaum Associates

2016-11-10 32