Förebyggande arbete – hur mäta med fokus på lokal nivå – erfarenheter, möjligheter

Förebyggande arbete – hur mäta med fokus på lokal nivå

– erfarenheter, möjligheter

Håkan LeifmanFörebygg.nu, 16 nov. 2011

Presentationen:

• mycket om statistik, mäta, indikatorer– Ej positivist, men tror att uppföljningar,

mätningar ofta är positivt – men avgörande är design, datakvalitet

• Design, mätproblem – ideal och verklighet

• Datakvalitet i ljuset av …

• …lokalt arbete – hur kan man göra

• Indikatorer – kan detta vara till någon hjälp?

Allt kan missbrukas:Sovjettiden – grader av statistiksekretess (ex Estland)

Secrecy rating Examples

1. Public - Total population of town/county - National structure of the republic

2. For official use only

- Population structure of town/country (sex age, nationalities, social status) - Causes of death - Sale (consumption) of alcoholic beverages (until 1985) - Alcohol poisonings and other harmful effects (until 1985) - The number of registered alcoholics

3. Secret - All information on “traditional” crimes, incl. alcohol-related crimes (excl. more secret data on certain types of crime)¨

4. Completely secret

- Economic crimes, corruption, illegal activities with foreign currency, etc. - Drug-related crimes - Amount of narcotics seized - Number of drug abusers registered by the militia

HUR AVLÄSA EFFEKT?

0

10

20

30

40

50

Förmätning Eftermätning

Interventionsgrupp

Jämförelsegrupp

Diff-2

Diff-1

Hälsa

Diff-2 Diff-2 ≈≈ Diff-1 = Diff-1 = ingen effektingen effekt

Int ervention

HUR AVLÄSA EFFEKT?

0

10

20

30

40

50

Förmätning Eftermätning

Interventionsgrupp

Jämförelsegrupp

Diff-2

Diff-1

Hälsa

Diff-2 Diff-2 >> Diff-1 = Diff-1 = effekteffekt

Två viktiga - avgörande – aspekter för att kunna avläsa öht.

God design

God datakvalitet i utfalls- och insatsmått

Designs: Scientific Methods Scale(Sherman m fl, 2002)

(5) Randomisering mellan intervention och kontroll

(4) Före – eftermätningar med kontrollgrupp och kontroll för andra förklaringar

(3) Före – eftermätningar med kontrollgrupp

(2) Före – eftermätningar utan kontrollgrupp

(1) Sambandsstudie vid ett tillfälle Låg

- -

- -

- -

- -

- H

ög

Låg

- -

- -

- -

- -

- H

ög

FÖRDEL MED RANDOMISERAT EXPERIMENT

Experimentet har (teoretiskt) högst intern validitet

Experimentets fördel är att randomisering gör att fördelningen av förutsedda och oförutsedda selektionsfaktorer är ungefär lika i både experiment (behandlingsgrupp) och kontrollgrupp (jämförelsegrupp)

Mätning 2,3 osv

Får ej program

Mätning 1

Får program

Mätning 1

Mätning 2,3 osv

Ev.match

Kvasiexperimentell (icke-randomiserad)

studiedesign

Grp 1

Grp 2

Möjligt utfall

Mätning 1

Experimentell (randomiserad)

studiedesign

Rand.

Får program

Får ej program

Mätning 2,3 etcGrp 1

Grp 2Mätning 2,3 etc

Möjligt utfall

Gladbehandling, randomiserad design

0

10

20

30

40

50

60

1 2 3 4 5 6

Mättillfälle 1-6

Gla

dp

oän

g

Effektstudie - randomiserad studie

• Experimentell, hypotestestande = möjliggör slutsatser om orsak och verkan/effekt

• Kräver mer planering• Svårare rekrytera studiedeltagare• Kräver mer resurser, men i gengäld mer ”pang för

pengarna” i form av samhällsnytta

• Men oftast inte möjligt, andra designs med svagare intern validitet – kvasiexp. design av olika slag

Design – bättre med fler än färre observationer, ex längre tidsserier

1

3

5

7

9

11

2006 2007 2008 2009 2010 2011

E G

m=2,83

m=4,67

Ju lägre siffra desto bättre

Design – bättre med fler än färre observationer, ex längre tidsserier

1

3

5

7

9

11

13

15

1988 1989 1990 1991 1992 1993 1994 1995 1996 1997 1998 1999 2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 2010 2011

E G

Ju lägre siffra desto bättre

Två mätpunkter: andel som prövat narkotika i olika delar av Europa samt i Sverige bland 15-

16-åringar (årskurs 9)

0

5

10

15

20

25

1999 2003

Per

cen

t eve

r use

d

Western Europe Eastern Europe Nordic countries Sweden All ESPAD-countries

Tre mätpunkter: andel som prövat narkotika i olika delar av Europa

samt i Sverige bland 15-16-åringar (årskurs 9)

0

5

10

15

20

25

30

1995 1999 2003

Per

cen

t eve

r us

ed

Western Europe Eastern Europe Nordic countries Sweden All ESPAD-countries

Design en sak – tillgång till data av god kvalitet en annan –

Både utfall (för uppföljningar) och insats och utfall och dess koppling (för utvärderingar)

Inte minst problematiskt i lokala uppf/utv. med brist på goda data.

Forskningsinsamlad data eller befintlig data

• Utvärdering av behandlande insatser, riskgrupper, skolprogram – egna forskningsdata -- egna datainsamlingar ofta enkäter

• Kommuner – ibland blandning av befintliga data kombinerat med forskningsdata

• Ibland endast befintliga data (alltså data som samlas in ”i alla fall” av ngn/ngr)

Nyttja befintliga/existerade data – både för verksamhetsuppföljning och för forskning - en utopi?

(Borde fungera bättre än det gör, borgar för långsiktighet)

Forskning-praktik

Befintliga/existerande

data

Forskning,utvärdering

Verksamhet

Forsknings-specifika

data

Tre exempel på lovande effektiva modeller på lokalt alkoholförebyggande som utvecklas i Sverige

• Kronobergsmetoden (har utvärderats av BRÅ)

• Ansvarsfull alkoholservering (STAD-metoden) (efficacy och effectiveness = två studier)

• Insatser för att begränsa våld och fylleri i samband med studentfester (utvärdering pågår)

Mycket arbete med att få fram data över både utfall och insatser – tar mkt tid, måste anlita experter för analyser mm – men i alla fallen befintliga data har använts.

Studier – utvärderingar av lokalt förebyggande arbete under senare år:

• Sex försökskommuner• Tre ggr tre• Småkommuner• LUMA

I varierande grad bygger alla på goda befintliga – redan existerande – data som är jämförbar: liknande mått/frågor, liknande datainsamling, hanterat på ungefär samma sätt: är det så idag: Många gånger NEJ

Om utfallsmått – problem, ännu större problem vad gäller insatser -- Kan och bör förbättras: indikatorer för att följa den nationella ANDT-strategin

Samspelet forskare (utv) och praktiker i lokala utvecklingsarbetet

• Ha bra och tydlig kommunikation• Redogör tydligt för vad ni vill mäta, vilka

indikatorer och mått, och på vilken nivå• Alltså relatera mätningarna till den nivå

man arbetar på och till de områden man fokuserar på, även om man främst är intresserad av befolkningsnivån

• Om dålig kommunikation: riskerna med långsiktiga bakslag är stor

Arbetsstrukturen – ht 2011Projektgrupp – SKL, FHI, SoRAD , CAN, SoS, ordf.

från Socialdepartementet.

Inom PG – olika arbetsgrupper för olika områden – bjuder in aktörer, semiarier mm. PG ger förslag till departementet , frågan bereds vidare på dep. av bl.a. ordf. och regeringen fattar beslut.

Referensgrupp med repr. från i stort sett alla ANDT-relaterade myndigheter – PG redovisar, ”bollar” förslag med referensgruppen.

Projekt-grupp

Arbetsgrupp Arbets

grupp

Arbetsgrupp

-Indikatorer

-Uppföljning

- Koordinering, igångsätta och

sprida indikatorer

Referensgrupp

Departementet

Regeringen

ANDT-strategin 2011-2015

-Övergripande mål – Ett samhälle fritt från narkotika och dopning med minskade medicinska och sociala skadeverkningar av alkohol och med ett minskat tobaksbruk

- Sju långsiktiga mål (LM)(1) lägre tillgång, (2) skydda barnet (inkl. ofödda barnet), (3) lägre nivåer bland barn (debut etc.) (4) minskning av riskkonsumtion, skadligt bruk, beroende, (5) ökad tillgänglighet till vård/stöd , (6) minskade skador (dödlighet, sjuklighet, våld, rattfylleri etc.), (7) Sverige verka för folkhälsobaserad och restriktiv ANDT-politik inom EU och internationellt

- Inom varje LM, flera prioriterade mål (processer, insatser) (PM)– Om möjligt, utveckla mätbara indikatorer (svårt, t.ex. ‘mer effektiv brottsbekämpning gällande illegal alkohol, effektivare och mer samordnad tillsyn)

För varje nivå och mål – indikatorer skall utvecklas och formerna för detta

Structure for the ANDT-strategy

LM 1 LM 2 LM 3 LM 4 LM 5 LM 6 LM 7

Övergripande mål

PM 1PM 2PM 3PM 4P M5

etc

PM 1PM 2PM 3PM 4PM 5

etc


etc


etc


etc


etc


etc

• Föreslå mätbara indikatorer – långsiktiga mål (utfall: beteende förändringar– bruk, risk kons., beroende, skador etc.) och prioriterade mål (process, aktiviteter, insatser)

• Inte bara ge definitioner – utan hela kedjan från definitioner till konkreta analyser: vilka data, vilken skala, hur analysera

• Föreslå hur detta skall samlas in - ett uppföljningssystem – vem och vad ska samlas in och hur ska dessa “riktlinjer” för indikatorer och monitorering spridas och implementeras utåt

UppdragetUppdraget

Indikatorer – vIndikatorer – varför gör vi detta?1. Ökar möjligheten till att förstå/förklarar förändringar och

2. En drivkraft i sig för mer systematiskt preventivt arbete

Eftersom den lokala nivån är viktig – indikatorer på lokal nivå (regional nivå) bör utvecklas när så är möjligt

Policy/insatser(nationell men ffa mäta på lokal/regional nivå)

Konsumption/Skador

(nationell och när möjligt bryta ner regionalt/lokalt)

Till detta kommer lokala/regionala ANDT-mätningar (ex skolundersökningar) som ej samlas in inom ramen för uppföljning av

strategin, men mätningarna kan göras mer lika varandra

• Kärnindikatorer: viktigast att följa – vissa kan pluggas in i lokala undersökningar – brygga mellan nationala och lokala undersökningar

Krit.: viktiga för få god bild av utveckling/omfattning, viktiga bestämningsfaktorer för skador

• Utökade indikatorer – kompletterar kärnindikatorer – ger bredare mer detaljerad bild men inte lika avgörande som kärnindikatorer, svårare att plugga in lokalt, ibland kvarstår vissa arbete

• Utvecklingsindikatorer: öppnar upp nya områden, behöver mer utveckling och kan inte idag användas som indikatorer, men kanske i framtiden

• Föreslå ett uppföljningssystem – vem och vad ska samlas in och hur ska dessa “riktlinjer” för indikatorer och monitorering spridas och implementeras utåt (ex lokalt)

Om olika typer av indikatorerOm olika typer av indikatorer

Vissa utgångspunkter• Systematisera, koordinera, lägg in i befintliga – utgå

från vad som görs (ex länsrapporterna och ö.j) – begränsa antalet undersökningar - finns för många idag. Förbättra befintliga

• Tänk långsiktigt – inte tillfällig ”projekt”, samtidigt kunna följa pågående strategi; måste fungera NU

• Vi föreslår – vad, vilka, som bör ingå i uppföljning av strategin, andra behövs de – kanske för andra ändamål?

Färdiga förslag i början av året (LM, vissa PM)

1. Om arbetet – förutsättningar, hur vi vill gå vidare mm

2. Förslag på indikator för resp. mål –

Mycket arbete gjorts, pågår, kvarstår• Inom varje målområde görs omfattande arbete, ex. Översyn, kvalitetsgranskning av frågeundersökningar, inte minst

hur mäta oregistrerad alkohol och tobak (också genom särskild pilot)

Revidering av skolenkäter – CANs och andra lokala/regionala

Möjligheter att använda öppenvårdsdata för ANT-sjukdomar och misshandel

Utveckling av FHIs Länsrapport

Men färdiga förslag i början av året vad gäller LM och vissa PM, där också ramarna för framtiden redovisas

Om arbetet framåt• Omfattande arbete – PG finnas under hela 2012 –

färdigställa indikatorerna (första halvan), få systemet att fungera och genomföra första uppföljningen andra halvan.

• Därefter flyttas över till aktör/myndighet som får uppdraget att följa upp hela strategin (och koordinera sprida, implementera indikatorerna/systemet utåt)

• Viktig del blir en webbportal/webbsida där alla indikatorer skall finnas samlade (trender, förklaringar, riktlinjer hur mäta). Utvecklas nu genom PG, sedan till uppföljningsansvarig.

• PG (och referensgruppen) bör i någon form finnas under hela strategiperioden

Om arbetet framåt• Implementeringsarbetet på resp. ansvarig

aktör/myndighet – avgörande för hur väl vi kommer att lyckas:– Att man sätter igång med arbete relativt omgående (i

dialog med PGs medlemmar)

– Att man arbetar proaktivt, inte reaktivt

– Att man har dessa resurser/möjligheter att kontinuerligt kvalitetssäkra och vidareutveckla

– Att man alltså inte ser mekaniskt på arbetet med indikatorer, eftersom saker och ting ständigt förändras, även hur man mäter bäst

Om arbetet framåt• Indikatorerna – för att följa upp den nationella

strategin därför:– Indikatorer som kan följa utvecklingen på nationell nivå

– Vissa kan brytas ner regionalt och ibland lokalt

– Prioriterade mål – insatser , metoder (processindikatorer) samlas många gånger in på lokal nivå i syfte att ge en samlad nationell bild

– Därutöver görs många undersökningar på regional/lokal nivå: därför viktigt att sprida våra indikatorer (definitioner, tillvägagångssätt , val av frågor etc.) till regionala/lokala planet.

– Detta är allra viktigast för kärnindikatorerna , inte minst de kärnindikatorer som föreslås att ”pluggas in” i regionala/lokala undersökningar

Ex. mål 1, tillgänglighet, mål 1 För varje, ex :• Indikator: antal försäljningsställen (K)- butiker/serveringsställen - Alkohol, tobak:

Definition: Antal systembolagsbutiker, antal ombud, antal butiker som säljer folköl och som säljer cigaretter samt antal restauranger per år, allt uttryck i antal och i antal per 10 000 invånare 15 år och äldre.

Ansvarig: FHI inom ramen för instruktionen för FHI § 2 och § 3 punkt 10.

Genomförande: FHI skall minst en gång per år sammanställa antalet försäljningsställen per ovan nämnd kategori och ge sammantagen bild av utvecklingen.

Grad av aggregerad nivå: nationell, regional och lokal

Kommentar: Antalet butiker som säljer folköl och cigaretter samlas in genom FHIs årliga s.k. Länsrapport.

Särskilt utvecklingsarbete: Bortfallet av kommuner som svarat på frågan om antalet butiker som säljer folköl och cigaretter måste minska.

Kostnad: Ingen extra kostnad jfr med idag.

Mål 1: Tillgången… (s. 11, s. 77) (EG3)Åldersgränser

• Utvecklingsindikator - efterlevnad av åldersgränser

Pris

• Utvecklingsindikator – pris på illegal alkohol, införsel etc.

Butikstäthet

Öppettider

Självuppskattad tillgänglighet i övrigt bland ungdomar

Ansvarig – för många FHI, självskattad - CAN

Mål 2: Barn ska skyddas (s. 21, s. 79) (EG4)• Barn som växer upp i missbrukar (risk)miljöer

• Rökning och riskbruk/missbruk hos blivande (mödrar) och nyblivna föräldrar

• Utvecklingsindikatorer för långsiktigt mål 2 (gravida med riskbruk, missbruk av alkohol, nyfödda med alkohol- narkotikaskador)

Brist på goda indikator

Nyfödda: MFR – få registreringar av här relevanta diagnoser gällande nyfödda – oklart varför (underrapp. o/e få faktiska fall) – få bättre bild av genom utvecklingsarbete på SoS

Barn/unga som föds i risk- missbr.miljöer:

- MFR –rökning bland gravida kvinnor sedan 1982/83 (spec. vecka 32-33). – ändring i förordning. Ta i bruk ny blanketten med bl.a AUDIT

Narkotikafrågor finns inte i MFR (eller MHV).

Om frågeundersökningar:• Många frågor att besvarar – riktlinjer – hur gör

man en skolundersökning – från ax till limpa (när, hur, vem delar ut, samlar in, vilka frågor, hur stansa in/scanna, hur analysera, beräkna, indexera (syntax mm) och hur redovisa data.

• Liknande för vuxna• Oreg. alkohol och tobak – hur göra framöver• Andra viktiga frågor för alla dessa:

bortfallsproblematik, finns någon framtid, spelar bortfallet roll

• Mallen/manual för andra lokalt/regionalt

En hel del arbete kvarstår

• Policy/processer – mycket arbete görs lokalt/regionalt, alltså behövs data på lokal och regional nivå : viktiga medel för att mäta detta: Länsrapporternas tillsynsdel och förebyggande del (preventionsindex), en annan öppna jfr: Kanske kan de koordineras: Om basen för framtida monitorering måste utvecklas och omhändertas (återkoppling, kvalitetsförbättringar, validitetsaspekter etc.)

• Glöm ej tobak och narkotika

• Länssamordnarna – hjälpa till att sprida kunskapen om indikatorer • Måste ner med indikatorerna på rätt nivå – implementering, spridning

av ”riktlinjer”

• Inte bara kommuner med aktiviteter, utfall, även regioner – landsting, polisen, arbetslivet etc.

Indikatorer – prioriterade målIndikatorer – prioriterade mål

• Inte bara kommuner med aktiviteter, utfall, även regioner – landsting, polisen, arbetslivet etc.

• FHI – nyckelroll

• Mål 1 – barn och unga – Tillsyn (FHI, Ls)

– Effektiv brottsbekämpning (Polisen)

– Bekämpning av illegal försäljning (FHI , Polisen)

• Mål 2 – barn och unga – kommunernas insatser för barn och ungdomar i risksituationer, inklusive

indikatorer (FHI, SoS)

– Öppna jfr (SoS)

– Nytt uppdrag till SKL –Stöd till utveckling av ett förstärkt barn- och föräldraperspektiv i missbruks- och beroenvården

– Marknadsföring (FHI , Polisen)


Vad kan indikatorerna bidra med• Forskningsstudier nödvändigt, många gånger

med egna data

• Kan genom indikatorsarbetet -- mer nyttja befintliga data av god kvalitet med ökad jfrbarhet – också i egna utv/uppf av lokala/regionala nivån.

• Om goda data på insats och utfall: bättre möjligheter koppla ihop dem, bättre än idag

• Men kausalitet och designfrågor löses inte med goda indikatorer i sig, men bra början

• Mål 3 – Barn och unga som börjar …minska

– En del kan fångas in via Länsrapporten och/eller via andra uppgifter från FHI. t.ex. : ökat deltagande av föräldrar”, satsning på Krogar mot knark, metodutveckling - utsatta grupper, för att kunna följa utveckling och marknadsföring av nya droger, dopningsmissbruk, tobak (tidiga insatser, efterlevnad av regler om rökfria miljöer)…


• Mål 4 – Skadligt bruk m.m

– En del kan fångas in via Länsrapporten och/eller via andra uppgifter från FHI (ex. stöd till studenthälsomottagningar, arbetsplatser?)

– SoS riktlinjer för förebyggande arbete

– Studenter-högskola inom ramen (spec. satsning, kanske särskild studie och/elelr befintlig data från studenthälsomott.

– Arbetslivet (egen undersökning)


Mål 6 – Döda, skadade

– Trafikområdet (Trafikverket): samverkan mellan myndigheter kommuner, beroendevård etc. (SMADIT), Alkolås, mer tillförlitlig statistik, ökad kunskap om rattfylleriets omfattning

– Ökad kunskap om AND-våldet (BRÅ)

– Ökad kunskap om orsaker till akuta dödsfall,

– Rutiner för samverkan mellan akutvård och missbruks- och beroendevården förbättras (SoS, ö.j).

– Ökad medvetenhet i hela befolkningen om ANDT-användningens effekter på hälsan


Documents

Förebyggande arbete – hur mäta med fokus på lokal nivå – erfarenheter, möjligheter