Evaluering av innbyggjarundersøkinga 2009/2010 Notat 2011:4 ISSN 1892‐1728 

Føreord Dette notatet går igjennom dei viktigaste funna frå evalueringa av innbyggjarundersøkinga 2009/2010. Innbyggjarundersøkinga er ei av dei største innbyggjar- og brukarundersøkingane av forvaltninga i Noreg. Eit overordna mål med evalueringa er å få kunnskap om styrker og veikskapar ved undersøkinga. Vi har freista å forfølgje problemstillingar for å få fram kva som har fungert godt og dårleg, vore nyttig, gjeve effekt og vidare freista å få fram framlegg til forbetringar/endringar. Metoden byggjer på kvalitative intervju med dei departementa og direktorata/etatane som har eit direkte og/eller fagleg ansvar for tenester eller tematikk i innbyggjarundersøkinga. Vidare har vi snakka med KS som representant for dei kommunale tenestene i undersøkinga. Vi har gjennomført eitt intervju per verksemd, til saman 21 intervju. Vi rettar ei takk til alle som stilte til intervju i samband med evalueringa. Tore Basmo Bergh og John Nonseid (prosjektleiar) har gjennomført intervjua og skrive rapporten. Avdelingsdirektør Eivor Bremer Nebben er ansvarleg for prosjektet. Oslo, 26. januar 2012 Hans Christian Holte direktør

Innhald

1  Oppsummering .......................................................................................... 3 

2  Kort om evalueringa ................................................................................. 7 

2.1  Målsetjing .................................................................................................... 7 2.2  Informantar .................................................................................................. 7 2.3  Metode ......................................................................................................... 7 2.4  Tema ............................................................................................................ 8 2.5  Kort om innbyggjarundersøkinga ................................................................ 8 

3   Nytte og relevans ....................................................................................... 9 

3.1 Overordna nytte og relevans ......................................................................... 9 3.2 Utdjuping av nytte og relevans .................................................................... 10 3.3 Difi sine kommentarar ................................................................................. 11 

4  Difi si formidling, analyse og samarbeid ............................................... 13 

4.1  Formidling ................................................................................................. 13 4.2  Analyse ...................................................................................................... 15 4.3  Samarbeid .................................................................................................. 17 4.4  Difi sine kommentarar ............................................................................... 18 

5  Vurdering av spørjeskjema .................................................................... 20 

5.1  Generelt om spørjeskjemaa ....................................................................... 20 5.2  Generelle tilbakemeldingar på del 1 .......................................................... 22 5.3  Framlegg til nye spørsmål del 1 ................................................................ 22 5.4  Generelle tilbakemeldingar på del 2 .......................................................... 24 5.5  Framlegg til nye spørsmål del 2 ................................................................ 26 5.6  Difi sine kommentarar ............................................................................... 27 

6  Vurderingar av metoden ........................................................................ 31 

6.1  Metode for gjennomføring ........................................................................ 31 6.2  Difi sine kommentarar ............................................................................... 34 

Vedlegg 1 Samtalerettleiing ............................................................................ 36 

Vedlegg 2 Liste over informantar .................................................................. 38 

Referanseark for Difi ...................................................................................... 39 

1 Oppsummering Eit overordna mål med evalueringa er å få kunnskap om styrker og veikskapar ved undersøkinga. Vi har freista å forfølgje problemstillingar for å få fram kva som har fungert godt og dårleg, vore nyttig, gjeve effekt og vidare freista å få fram framlegg til forbetringar/endringar. Metoden byggjer på kvalitative intervju med dei departementa og direktorata/etatane som har eit direkte og/eller fagleg ansvar for tenester eller tematikk i innbyggjarundersøkinga. Vidare har vi snakka med KS som representant for dei kommunale tenestene i undersøkinga. Vi har gjennomført eitt intervju per verksemd, til saman 21 intervju. Nedanfor følgjer ei kort oppsummering av dei viktigaste funna frå evalueringa og kva Difi vil fokusere på i vidareutviklinga av undersøkinga.  

Nytte Dei fleste meiner at undersøkinga er nyttig. Den gjev eit oversiktsbilete og utfyller eller kompletterer resultat frå eigne undersøkingar. Dei fleste peikar òg på at det er viktig at undersøkinga held fram. Tidsseriar vil auke nytten ytterlegare. Eit synspunkt er at nytten bør evaluerast på nytt etter nokre tidsseriar. Bruken av dataa varierer frå verksemd til verksemd. Eit funn som modererer inntrykket av nytte er at ingen av verksemdene har satt i gong utbetringstiltak på bakgrunn av resultata. Samstundes vert det peika på at resultata frå innbyggjarundersøkinga stadfester eigne resultat på område der det allereie er sett i gong utbetringstiltak. Difi si oppfølging Difi vil ha dialog med dei relevante fagansvarlege verksemdene for å fange opp synspunkt og innspel til spørsmål og tematikk som kan gjere innbyggjarundersøkinga enda meir nyttig. Dersom ein ynskjer det, vil Difi tilby rådgjeving og støtte til verksemder som ynskjer å kome i gong med analysar. På sikt vil Difi ta initiativ til prosjekt som grev vidare i funn frå undersøkinga for å finne ny kunnskap på området. Difi vil òg halde fram med formidlingsarbeidet sitt og invitere forskingsinstitusjonar og ekspertmiljø til vidare analyse av dataa. Spørjeskjema Dei fleste meiner at spørjeskjemaa er gode, har eit enkelt og klart språk, men det er mange tilbakemeldingar som peikar på at det er rom for betring. Det er òg ein del forslag til nye spørsmål og tema. Samstundes meiner dei fleste at vi bør vere forsiktige med å endre for mykje i spørjeskjemaa for å gjere det mogeleg å samanlikne. Fleire meiner del 1 er for lang. Ei tilbakemelding når det gjeld del 2 er at vi bør operere med fleire tenestespesifikke spørsmål. Vidare meiner somme at spørsmåla om dei tilsette vert opplevd som like. Eit anna innspel er å vurdere om respondenten skal svare på bakgrunn av ein type teneste og ein type kontakt

i staden for fleire. Slik kunne analysen vorte noko meir spesifikk når det gjeld kva slags erfaring og kontakt respondenten er nøgd eller misnøgd med. Difi si oppfølging Det vil bli lagd særskilt vekt på vidareutviklinga av spørjeskjemaa. Undersøkinga har berre vorte gjennomført ein gong og skal gjennomførast regelmessig over fleire år framover. Det er difor fornuftig å endre dei tilhøva som vil gjere undersøkinga klart betre no, og ikkje vente til seinare. Samstundes vil endringar redusere mogelegheitene for å samanlikne. Ei hovudutfordring er difor å balansere alle dei ulike endringsforslaga opp mot omsynet til å kunne samanlikne (tidsseriar) og omsynet til lengda på undersøkinga. Ei anna utfordring er å balansere behovet for generelle spørsmål på tvers av alle tenestene opp mot ynskjet om å måle fleire detaljerte eller spesifikke tilhøve om tenestene. Mange peikar på at del 1 av undersøkinga er lang, noko som i seg sjølv kan føre til fråfall. Difi vil difor freiste å redusere talet på spørsmål. Ei hjelp i dette arbeidet er analysen av korrelasjon og veit-ikkje-delar. Ved fyrste augnekast kan det verke som om enkelte spørsmål i undersøkinga ikkje tener til noko føremål, men dei er sett inn som viktige variablar for analysen. Difor er det ikkje utan vidare fornuftig å kutte ut heile bolkar med tema, men heller vurdere å kutte einskildspørsmål innafor dei ulike temaa som synest å måle det same. Når det gjeld del 2 legg vi særskilt merke til behovet for å sjå på moglegheita for å redusere talet på ”einsarta” spørsmål om dei tilsette, og auke talet på spørsmål om konkrete tilhøve ved tenestene. Difi vil òg arbeide vidare med systematikken av fellesspørsmål på tvers og behovet for å tilpasse spørsmål til dei einskilde tenestene og freiste å få inn fleire detaljerte spørsmål. Sjølve utviklingsarbeidet vil gå føre seg i samarbeid med verksemdene som har eit direkte eller fagleg ansvar for tenestene i undersøkinga. Det vil bli lagt særskilt vekt på forslag som tilfører noko nytt, som peikar på openberre veikskapar og feil og forslag som vil styrkje det metodiske eller analytiske. Difi vil òg teste ut nye og gamle versjonar av spørjeskjemaa i ei undersøking mot eit mindre utval. Her vil vi mellom anna sjå på om andre måtar å stille spørsmåla på faktisk utgjer ei endring i svara. Denne testen vil saman med innspela bli brukt til å ta dei endelege vegvala for skjemaa. Analyse og formidling Formidling og analyse i rapport vert i all hovudsak opplevd som god. Samstundes vert det spurt etter ytterlegare kategorisering ut frå typar av verksemder/tenester i analysen. Fleire ynskjer seg òg ein noko meir djuptgåande analyse. Faktaarka er populære og enkelte ynskjer at desse skal vidareutviklast med samanstilling av andre data. Det er få som har problem med å forstå poengindeksen frå 0-100 som vi brukar for å formidle resultata, og berre enkelte reagerer på inndelinga av poengindeksen i karakterintervall.

Fleire venta at undersøkinga skulle få meir merksemd i media og at det på sikt er ynskjeleg med meir merksemd rundt resultat og funn. Det er viktig for omdømmet, bruken og støtta til undersøkinga at den vert gjort meir kjent. Samstundes nemner mange at det viktigaste ikkje er talet på oppslag i media, men at undersøkinga vert rekna for å vere ei god og truverdig undersøking. Alle er positive til at Difi er opne og legg ut rådata på nettet. Når det gjeld samarbeid ynskjer eit klart fleirtal at Difi orienterer verksemdene om resultata før dei vert publisert. Vidare at Difi gjev ei forklaring til tala i ein rapport eller alternativt i artiklar. Enkelte peikar òg på at Difi bør få tydelegare fram kva slags analysemoglegheiter som ligg i materialet. Difi si oppfølging Evalueringa viser at det er eit tydeleg behov for analyse og forklaring av dataa før dei vert offentleggjort i ein rapport eller liknande (artiklar). Difi merker seg òg ynskjet om meir djupanalyse og vil freiste å seie meir om kor mykje både bakgrunnsvariablar og kvalitetsindikatorar har å seie for tilfredsheita ved neste publisering. Samstundes er det grunn til å streke under at det er fagmyndigheitene som sit inne med den relevante kompetansen for å trekkje faglege vurderingar av resultata. Difi ynskjer å informere partane før sjølve offentleggjeringa òg i neste runde. Vidare vil vi halde fram med å vere opne og publisere alle data og alt materiale på nettsidene våre. Vi vil òg halde fram med samarbeidet med Norsk samfunnsvitskapeleg datateneste som publiserer dataa på nettsidene sine. Gjennomføring og metode Det er få synspunkt på sjølve metoden for gjennomføring av undersøkinga. Dei få som uttalar seg, støttar dagens modell som består av utsending per post av papirskjema med moglegheit for å svare på nett. Det vert påpeika at del 1 og del 2 i undersøkinga bør sendast ut utan opphald for å vareta at respondentane svarar innafor erfaringsspennet på 12 månader. Eit anna synspunkt er at utvalet bør aukast med eit ekstrautval blant innvandrarar for å få inn betre data om gruppa. Svarprosenten vert rekna som god for denne typen spørjeundersøkingar. Fråfallet i innbyggjarundersøkinga liknar fråfall i tilsvarande undersøkingar, samstundes er eit innspel at fråfallet vert analysert ytterlegare. Eit fleirtal meiner gjennomføring annakvart år er tilstrekkeleg. Dette for å halde på merksemda frå gong til gong. Samstundes er det eit synspunkt at undersøkinga ikkje bør gjennomførast så ofte at ein ikkje ser nokon endringar frå gong til gong. Frekvensen bør vurderast på nytt etter ei viss tid i lys av dette. Difi si oppfølging Difi vil i hovudtrekk følgje metodikken frå den førre undersøkinga, både når det gjeld utvalstrekking, det å ha eitt utval for del 1 og del 2, storleiken på utvalet og sjølve metoden for innsamling av svar. Vi vil likevel vurdere forslaget om å trekkje ekstra utval blant enkelte innvandrargrupper for å få meir kunnskap om desse gruppene. Erfaring tilseier at andre undersøkingsmetodar som

oppsøkjande intervju fungerer betre mot slike grupper. Ekstrautval eller spesialundersøking er i alle tilfelle avhengig av ytterlegare finansiering. Difi meiner gjennomføring annakvart år er tilstrekkeleg for denne typen overordna undersøking. Det er fornuftig å halde på dette intervallet inntil vidare.

2 Kort om evalueringa 2.1 Målsetjing Eit overordna mål med å evaluere innbyggjarundersøkinga er å få kunnskap om styrkar og veikskapar ved undersøkinga. Vi har freista å forfølgje problemstillingar for å få fram kva som har fungert godt og dårleg, vore nyttig, gjeve effekt og vidare freista å få fram framlegg til forbetringar/endringar. Etter evalueringa følgjer ein fase der vi vil vidareutvikle spørjeskjemaa i undersøkinga. Vidareutviklinga vil ta utgangspunkt i funna og konklusjonane frå evalueringa. Evalueringa er difor fyrste fase i vidareutviklinga av innbyggjarundersøkinga. 2.2 Informantar For å få svar på problemstillingane i evalueringa har vi snakka med departementa og direktorata/etatane som har eit direkte og/eller fagleg ansvar for tenester eller tematikk i innbyggjarundersøkinga. Vidare har vi snakka med KS som representant for dei kommunale tenestene i undersøkinga. Vi har òg gjennomført samtalar med dei to private undersøkingsbyråa som høvesvis har pilotert og gjennomført undersøkinga og vi har intervjua SSB som var inne i utviklingsarbeidet. Vi har òg motteke innspel frå fagleg styringsgruppe og frå Fornyings-, administrasjons- og kyrkjedepartementet. (Sjå liste over verksemder i vedlegg 3). Vi har gjennomført eitt intervju per verksemd, til saman 21 intervju. Vi bad om å få snakke med dei med eit fagleg ansvar på området brukarundersøkingar og brukarretting. Fleire frå kvar enkelt verksemd tok del i dei fleste intervjua/samtalane.

2.3 Metode Metoden baserer seg på kvalitative intervju. Dei fleste spørsmåla i undersøkinga er opne, og vårt hovudfokus er ikkje å få fram kva for synspunkt som er representative for gruppa vi har intervjua. Det har vore viktigare å få innspel og idear som kan betre undersøkinga på ulike område. Innspela som informantane har gjeve oss, er ulike. Desse vert omtalt i teksten som innspel, kommentarar, vurderingar eller liknande, og det er ofte berre nokre få som står bak desse. Der berre ein til tre har uttrykt ei meining skriv vi at enkelte har peikt på dette. På visse område har fleire enn tre informantar uttrykt same meining. Då seier vi at nokre eller fleire informantar uttrykkjer same meining. Enkelte spørsmål er meir lukka. Her angjev vi om dei fleste eller fleirtalet uttrykkjer same meining. Det kan t.d. vere i høve til spørsmålet om undersøkinga er nyttig eller om respondentane er nøgd med vår analyse av resultata.

Vi har vore opptekne av å få fram breidda av innspel. Samstundes er nokon av innspela så detaljerte og tenestespesifikke at vi ikkje har teke dei med i notatet. Dei er likevel registrert og vil bli tekne opp til vurdering i samtalar som vi skal ha med tenesteeigarane (direktorat/etatar med fagleg ansvar for tenestene). 2.4 Tema Nedanfor har vi sett opp ei liste over temaa i evalueringa. Temaet om data/metode var av meir tekniske og metodiske problemstillingar og vart i hovudsak retta til personar med metodisk kompetanse (Synovate, TNS Gallup og fagleg styringsgruppe). Spørsmål om dei andre temaa vart retta til alle informantane. Nytte og relevans Her stilte vi spørsmål om behov, nytte og interesse for innbyggjardata og brukardata, og korleis undersøkinga har vorte motteke og følgd opp i verksemda. Difi si formidling, analyse og samarbeid Her bad vi om tilbakemeldingar på Difi si analyse, poengindeksen og karaktersetjinga og formidling i rapport, på nettsider og frukostseminar. Vi stilte òg spørsmål om samarbeid, mellom anna involveringa før offentleggjeringa av resultata, prosess for å vidareutvikle spørjeskjemaa, behov for samarbeid, tilrådingar/tips. Innspel til spørjeskjema Her bad vi om tilbakemelding på tematikk, spørsmål, rekkjefølgje på spørsmål, tenester, omsetjing, kor ofte undersøkinga bør gjennomførast. Data/metode Medrekna mellom anna datakvalitet (gyldigheit, kor påliteleg og representativ den er, fråfall), svarskala, metode for datafangst, utvalsstorleik, delinga av undersøkinga i to delar (innbyggjardel og brukardel). 2.5 Kort om innbyggjarundersøkinga Innbyggjarundersøkinga vert gjennomført ved at ein fyrst sender ut eit papirskjema (del 1) til eit bestemt tal på respondentar (30 000) over 18 år som vert trekt på måfå frå Folkeregisteret. Dette vert gjort per vanleg post. Det vert stilt spørsmål om kva for tenester dei har erfaring med anten som pårørande eller som brukar. Deretter får respondentar med erfaring tilsendt inntil fem spørjeskjema (del 2), eitt skjema for kvar teneste. Det er òg mogeleg å svare på undersøkinga over internett. Difi har til saman utvikla 23 tenesteskjema. Desse inneheld nokre spørsmål som vert stilt i alle tenester, nokre spørsmål som berre vert stilt i kategoriar av tenester og enkelte spørsmål som berre vert stilt i kvar enkelt teneste. Undersøkinga vart omsett til engelsk i tillegg til nynorsk og bokmål. Innbyggjarundersøkinga vart gjennomført fyrste gong i høvesvis 2009 og 2010. Sjå meir om sjølve innbyggjarundersøkinga på www.difi.no/innbyggerundersokelsen

3 Nytte og relevans Nedanfor går vi gjennom dei ulike synspunkta og kommentarane knytt til nytte og relevans frå dei 21 intervjua med ulike departement, direktorat og organisasjonar (sjå meir om dette framme i kapittel 1). Informantane vart bedne om å gje tilbakemelding på mellom anna behov, nytte og interesse for både innbyggjardata og brukardata, og korleis undersøkinga har vorte motteke og følgd opp i verksemda. Hovudinntrykka er som følgjer: Dei fleste peikar på at

o .. undersøkinga vert opplevd som nyttig o .. det er viktig at undersøkinga held fram o .. det er trong for data som kan samanliknast over tid og at tidsseriar

vil styrkje nytten ytterlegare o .. den gjev eit oversiktsbilete o .. den kan gje kunnskap om kor nøgde brukarane er i ulike grupper i

samfunnet o .. den kan brukast for å samanlikne med eigne data eller utfyller/

kompletterer eigne data Fleire peikar på at

o .. innbyggjardata er interessant (del 1), men brukardata er meir nyttige (del 2)

o .. fleire konkrete spørsmål og moglegheit for meir presis analyse vil gjere det lettare for verksemdene å følgje opp resultata

Kva vert resultata brukt til

o .. dei fleste brukar resultata i formidling, talar, presentasjonar o .. nokon for å dokumentere og samanlikne med ulike fakta o .. enkelte i styringsdialog og meldingsarbeid o .. svært få tiltak er sett i verk på bakgrunn av resultata

3.1 Overordna nytte og relevans På eit overordna spørsmål om undersøkinga er nyttig svarar så å seie alle positivt. Ei verksemd har inga særskild meining om spørsmålet. Så og seie alle seier at det er viktig at undersøkinga held fram. Mange peikar òg på at undersøkinga vil bli enda meir nyttig når det ligg føre tidsseriedata. Oppfølging av undersøkinga På spørsmål om korleis undersøkinga har vore følg opp, varierer svara. Mange har brukt og brukar dataa i formidlingsarbeid, som til dømes i talar, pressemeldingar og i presentasjonar. Nokre få melder om at dei har eller vil bruke resultat inn i meldingsarbeid og andre seier at dataa vert brukt som dokumentasjon. Enkelte seier at funn frå undersøkinga er teke med i styringsdialogen/tildelingsbrev.

Ei verksemd seier at dei stadig har etterspurnad etter data som vert brukt i samfunnsdebatten og at innbyggjarundersøkinga har vorte brukt fleire gongar til dette. På spørsmål om innbyggjarundersøkinga har ført til direkte oppfølging av resultat i form av konkrete tiltak svarar nesten alle nei. Samstundes peikar nokon på at innbyggjarundersøkinga har vore nyttig i høve til å stadfeste funn frå andre undersøkingar som ein allereie har innført tiltak for å følgje opp. Her peikar enkelte på at oppfølging vil bli meir aktuelt når tidsseriar ligg føre. Formidling av undersøkinga internt På spørsmål om verksemdene har formidla resultata i eiga verksemd svarar alle ja. Formidlinga har særleg vore til leiargruppa og/eller politisk leiing. Nokon seier konkret at dei i tillegg har formidla undersøkinga til dei tilsette. Samstundes går det ikkje fram av svara om resultata er brukt aktivt i fagavdelingane. Dei fleste vi har snakka med seier at undersøkinga har vorte godt motteken når resultata vart formidla internt. Fleire peikar på at undersøkinga vert rekna for å vere ei grundig og fagleg solid undersøking. 3.2 Utdjuping av nytte og relevans Fleire seier at undersøkinga er nyttig av di den kan gje meir kunnskap om dei viktigaste forventingane og drivarane for brukartilfredsheit blant ulike grupper i befolkninga (demografi). Vidare kan resultata gje kunnskap om ulikskapar mellom ulike tenestetypar både innetter i verksemder/tenester og mellom verksemder/tenester. Eit anna moment som vert trekt fram er at innbyggjarundersøkinga gjev dokumentasjon for å finne behov for betring. Som nemnt ovanfor trur mange at innbyggjarundersøkinga vil bli meir nyttig over tid. Difor understrekar òg fleire at Difi ikkje bør endre for mykje i spørjeskjema og gjennomføringsmetodikk når vi vidareutviklar undersøkinga. Ein annan kommentar er at innbyggjarundersøkinga er den einaste undersøkinga i forvaltninga som måler ulike verksemder eller tenester med same type metodikk; svarskala, overordna spørsmål og utval. Slik vert undersøkinga skildra som nyttig av di den gjev eit oversiktsbilete av kor godt nøgde brukarane er med forvaltninga. Undersøkinga opnar for analysar på både på tvers og i djupna, noko som ville vore vanskeleg med utgangspunkt i brukarundersøkingane dei ulike verksemdene gjennomfører sjølve. Ei verksemd meiner nytten sannsynlegvis varierer avhengig av i kva for grad tenesteeigarane sjølv gjennomfører eigne brukarundersøkingar. Same verksemd peikar samstundes på at innbyggjarundersøkinga er nyttig ut frå at ein kan sjå tinga litt i samanheng. Innbyggjarundersøkinga har òg ein funksjon av di resultata anten stadfester eller stiller spørsmål ved funn frå eigne undersøkingar. Der det er samsvar mellom resultata vert grunnlaget for å setje i verk val og tiltak styrka. I tillegg seier enkelte at innbyggjarundersøkinga gjev andre vinklingar og problemstillingar eller kompletterar deira eigne undersøkingar og får fram nye funn.

Ei verksemd signaliserte at undersøkinga førebels var lite nyttig for dei. Verksemda skaffar seg mykje harde data (dokumentasjon) sjølv. Vidare vert det gjennomført eigne brukarundersøkingar heilt ned på einingsnivå. Eit anna moment som kjem fram er at ei felles løysing som innbyggjarundersøkinga sannsynlegvis er meir ressurssparande enn at kvart enkelt departement og fagdirektorat lagar tilsvarande undersøkingar på sine fagområde. Standardiserte kontra tenestespesifikke spørsmål På spørsmål om nytte og relevans kjem det òg fram synspunkt på at resultata frå innbyggjarundersøkinga er noko generelle. I samband med dette vert det diskutert det om spørsmåla og tematikken i undersøkinga er vinkla for mykje ut frå behovet for samanlikning mellom tenestene. Ein seier at det er vanskeleg å vite kva for funn eller resultat ein skal følgje opp, når resultata ikkje handlar om heilt tenestespesifikke tilhøve i tenesta. Fleire ynskjer difor spørjeskjema som har noko meir detaljerte og tenestespesifikke spørsmål. Vidare at spørjeskjemaa opererer med bakgrunnsvariablar som gjev meir presise analysar av kva slags erfaring og kontakt tilfredsheita har samband med. Enkelte meiner òg at resultata ville vorte meir interessante dersom dei fanst på einingsnivå (t.d. ein bestemt barnehage) og ikkje berre på tenestenivå (barnehage). Mange av dei innspela vi har fått i samband med spørjeskjemaa må sjåast i direkte samanheng med kva informantane meiner vil styrkje innbyggjarundersøkinga. Sjå meir om dette i kapittel 4 vurdering av spørjeskjemaa. Behov for data om både innbyggjarane og brukarane? Det kjem stort sett fram synspunkt som støttar den delinga av undersøkinga vi har i dag. Del 1 er relevant, samstundes er nytten av del 2 størst då ein kan knyte resultata til brukarane sine erfaringar. Enkelte departement understreka òg kor viktig del 1 er, av di innbyggjarundersøkinga er den einaste undersøkinga i forvaltninga som gjev tal på det store biletet. Både del 1 og del 2 vil kunne tilleggjast enda større vekt når tidsseriedata ligg føre. Ei verksemd seier del 1 er interessant av di den gjev bakgrunnsvariablar for del 2. Stort potensiale? Ei tilbakemelding er at undersøkinga, med god vidareutvikling, gode analysar og meir merksemd i media, har potensial til å bli ”eit flaggskip” når det gjeld måling av tilfredsheit med offentlege verksemder. Ei anna tilbakemelding er at nytten ikkje berre må vurderast for departement, direktorat og tenesteeigarar, men òg for forskarar, utgreiingsmiljø, utdanningsinstitusjonar og liknande. 3.3 Difi sine kommentarar Tilbakemeldingane på nytte kan lesast på ulike måtar. Det synest klart at mange meiner undersøkinga er nyttig gjennom at den gjev eit overordna bilete eller status på brukartilfredsheit med dei store offentlege tenestene i forvaltninga.

Samstundes varierer typen bruk og styrken av bruken relativt mykje frå verksemd til verksemd. Det at data vert brukt i formidlingsarbeid, meldingsarbeid, i tildelingsbrev eller som referansekjelde for samanlikning mot eigne data, kan tolkast som positivt. Mange oppfattar slik undersøkinga som fagleg solid og påliteleg. Ei verksemd hentar inn svært mykje av dokumentasjonen sin heilt nede på einingsnivå. Innbyggjarundersøkinga er ikkje direkte nyttig for aktiviteten deira. Vi finner likevel døme på verksemder som òg har stor aktivitet når det gjeld måling av brukartilfredsheit og som meiner innbyggjarundersøkinga er viktig av di den anten kompletterer eller stadfestar det dei sjølv har funne ut. Ein intensjon med innbyggjarundersøkinga er at dataa òg skal vere nyttige i høve til brukarrettingsarbeid i verksemdene. Det er få av verksemdene som har brukt dataa til dette ifølgje informantane vi har snakka med. I denne samanhengen peikar samstundes fleire på at tidsseriar vil auke nytteverdien. Momenta over gjev grunnlag for å meine at nytten bør evaluerast meir inngåande etter at det er gjennomført nye rundar. Slik er det for tidleg å seie noko sikkert om nytten, bortsett frå at dei førebelse tilbakemeldingane i hovudsak er positive. Eit viktig mål med vidareutviklinga av undersøkinga vert uansett å styrkje dataa sin relevans i brukarrettingsarbeidet.

4 Difi si formidling, analyse og samarbeid Resultata vart presentert i ein rapport, på eigne prosjektsider på internett og i såkalla faktaark. Faktaarka er korte oppsummeringar av dei viktigaste resultata for kvar enkelt teneste (1 side). Difi valde òg å publisere alle rådata på internett. Det vart gjennomført orienteringsmøte med verksemdene det gjeld før publiseringa og pressekonferanse/frukostseminar då resultata vart offentleggjort. Hovudinntrykka er som følgjer: Dei fleste peikar på at

o .. Difi bør gjennomarbeide resultata (analyse) før dei vert publisert o .. rapporten og analysen var god og på eit passeleg nivå o .. faktaarka er nyttige o .. det er bra med fullt innsyn o .. skalaen frå 0-100 var enkel å forstå o .. involveringa i verksemdene før publiseringa var god o .. dei ikkje har særleg behov for analysebistand o .. dei ynskjer noko bistand for å sjå moglegheitene i datamaterialet o .. at dei ynskjer å hjelpe til i vidareutviklinga av spørjeskjemaa

Fleire nemner følgjande punkt for betring

o .. litt lite merksemd i media o .. ynskjeleg med meir analyse og formidling frå Difi o .. meir analyse innafor kategoriar av tenester

4.1 Formidling Rapport og faktaark Sjølve analysen i rapporten vert omtala nedanfor i punkt 3.2 På spørsmål om dei meir formmessige sidene (struktur, tema, språk) i rapporten og faktaarka, er dei fleste nøgde. Rapporten gjev ein oversiktleg gjennomgang av dataa. Fleire gjev òg faktaarka gode tilbakemeldingar, og meiner vi bør byggje ut desse med meir data. Samstundes kjem det inn innspel som går på at rapporten har eit potensial for betring. Ein seier at det vert mykje av det same i rapporten, at den verka noko repeterande. Eit anna innspel er at vi bør få fram prosentfordeling på svarskalaen, og ikkje berre formidle poeng frå 0-100. Ei anna verksemd meiner vi kan gå litt meir i djupna når det gjeld enkelte bakgrunnsvariablar. Ei verksemd meiner at Difi kunne lage artiklar anten i tillegg til rapport eller som erstatning for rapporten. Artiklar vil ifølgje informanten fange folk si merksemd i større grad. Korte artiklar kan òg lettare koplast opp og formidlast via nettet, og det er lettare å finne informasjon og bakgrunnstal for dei som er særskilt opptekne av eige fagområde.

Behov for rapport og positive til fullt innsyn Alle innspela gjekk ut på at det er ynskjeleg at Difi gjennomfører analyse før dataa vert publisert. På spørsmål om det er naudsynt med ei form for skriftleg rapport, svarte dei fleste òg stadfestande. Informantane gjev fleire grunnar til at ein rapport er ynskjeleg. Det er viktig at nokon spelar rolla som rettleiar når det gjeld kva dataa gjev grunnlag for å seie noko om og ikkje. I samband med dette meiner nokon at både media og forvaltninga treng analysehjelp før dei sjølv omset resultata til artiklar eller handling. Difi si rolle som ein uavhengig og nøytral fortolkar av dataa vert òg trekt fram som ein styrke. Vidare er det enkelt å distribuere ein rapport til relevante ressurs- eller fagpersonar i eiga verksemd. Det vert òg nemnt at det er nyttig å ha ein rapport for ettertida for verksemdene. Dei fleste er positive til at Difi praktiserer stor grad av innsyn og legg ut grafikk og rådata. Ikkje alle var klar over at rådata og liknande låg tilgjengeleg ute på difi.no. Eit innspel er å gjere dette betre kjent gjennom å auke formidlinga. Difi.no Det er få informantar som har ei meining om nettsidene våre. Enkelte peikar på at dei ikkje har vore noko særleg inne på desse sidene. Vi får òg enkelte innspel på at internettsidene har eit potensial for betring. Innspela går både på at det er vanskeleg å finne nettsidene om innbyggjarundersøkinga på Difi.no og vidare at enkelte element, som t.d. lysarkpresentasjonar, er vanskeleg å finne. Nokon peikar òg på at sidene er prega av at alt innhaldet er like viktig, at det er vanskeleg å skilje det viktige frå det uviktige. Det vil seie at sidene bør sortere informasjonen noko meir ved til dømes å ha data, grafikk og resultat på den eine sida, og artiklar, eigenproduserte faktaark, rapport osb. på den andre sida. Resultat og analysar bør framhevast. Eit anna ynskje er at vi legg ut tal i eit format som gjer det enkelt å lage eigen grafikk (t.d. excel-format). Pressekonferanse og frukostseminar Informantane hadde få kommentarar til frukostseminaret. Enkelte seier at dette var ein god måte å publisere tala på. Eit synspunkt er at vi fokuserte litt mykje på metode. Medverke til auka merksemd Fleire peikar på at undersøkinga ikkje fekk så mykje merksemd som venta. Fleire seier òg at innbyggjarundersøkinga kunne ha vorte ei større mediehending. På sikt er det ynskjeleg med meir merksemd kring resultat og funn. Det er viktig for omdømmet, bruken og støtta til undersøkinga at den vert gjort meir kjent. Enkelte meiner òg at auka merksemd vil setje meir fokus på brukarretting og kvalitetsarbeid i verksemdene. Vidare at Difi bør freiste å få meir publisitet for undersøkinga via konferansar eller seminar, i artiklar eller liknande. Samstundes peikar òg fleire på at det viktigaste med undersøkinga ikkje er talet på oppslag i media, men at den vert rekna for å vere ei god og truverdig

undersøking for verksemdene. Som nemnt tidlegare svarar fleire stadfestande på at undersøkinga vert vurdert som grundig og godt utforma. Slik er det viktigare at formidlinga er balansert og ikkje prega av tabloide eller forenkla konklusjonar. Eit synspunkt er at for stor grad av spissing og tabloidisering kan føre til mindre støtte for undersøkinga blant verksemdene som er omfatta av undersøkinga. 4.2 Analyse Dei fleste av informantane er nøgd med Difi si analyse av dataa før publiseringa. Eit fleirtal meiner òg at analysen er på eit passeleg eller riktig nivå. Dei fleste peikar òg på at tidsseriar vil styrkje analysen, at det vil gjere det meir interessant både for dei verksemdene det gjeld, forskarar og ålmenta. Mange har kommentarar til kva som kan gjere analysen betre. Kategorisering av tenester Dei fleste av informantane er nøgde med at vi presenterte tala ut frå kategoriar av tenester. At det var fornuftig å sjå eiga verksemd samanlikna med liknande verksemder og ikkje med alle verksemdene i undersøkinga. Dei fleste seier i samband med dette at det er mest interessant å samanlikne tidsseriar om si eiga verksemd. Dei mange ulike tenestene, alt frå skule, sjukehus til meir konkrete enkeltståande institusjonar som NAV og Statens vegvesen gjer at vi ikkje i for stor grad bør lage samanlikningar mellom alle tenestene, men heller samanlikne meir mellom kategoriar av tenester. Nokon meiner vi burde bruke kategoriseringa i endå større grad i presentasjonen av resultata. Skiljet mellom dei ulike kategoriane burde òg gjerast klarare i teksten. Ein seier det kunne vere ein tendens til at ein gløymde dette skiljet og samanlikna på tvers. Forslag til andre analysar Det er ynskjeleg med fleire analysar knytt til fordeling på bakgrunnsvariablar og variasjonen i prosentfordeling på svarskalaen. Andre forslag er analysar som skil mellom pårørande og brukarar, eller at vi i større grad problematiserer ulikskapar/likskapar mellom private og offentlege tenester. Ein merknad her er at Difi har gjennomført mange av desse analysane, samstundes er det ikkje publisert resultat med marginale ulikskapar mellom variablane. Små ulikskapar kan samstundes vere eit funn i seg sjølv og bør kommenterast. Ei verksemd ynskjer seg meir detaljerte tal og analysar innafor sitt eige område. Her reknar ein òg med samanlikningar mellom kva respondentane svarte i del 1 kontra del 2, og samanlikningar med same type spørsmål frå dei tidlegare undersøkingane av TNS-Gallup. Som nemnt ovanfor kom det òg fram ynskje om at vi problematiserer fråfall i noko større grad enn vi gjorde i rapporten. Djuptgåande analyse og kopling til andre data Enkelte ynskjer meir djuptgåande eller detaljerte analysar. Ein gjennomgang av resultat og fordelingar er viktig, men Difi bør òg freiste å analysere og fortolke

kva desse tala tyder når det gjeld brukarorientering, sevice, ulikskapar mellom kommunar og mellom ulike kategoriar av tenester. Eit innspel er å sjå på eigenskapar eller ulikskapar ved dei kommunale og statlege tenestene. Eit anna innspel er at vi analyserer oss fram til meir kunnskap om kva for drivarar eller tilhøve ved tenestene som er særskilt viktig i høve til den totale tilfredsheita. Eit anna innspel er å kople saman verksemdene sine data med data frå innbyggjarundersøkinga og data frå SSB. I samband med dette gjer ei verksemd framlegg om at vi knyter funna våre opp mot annan statistikk som finst, og inkluderer desse eksterne tala i faktaarka. Ytterlegare eit område er å samanlikne mellom del 1 og del 2 på ulike tenesteområde, og å samanlikne med liknande undersøkingar som er gjennomført tidlegare for å sjå på om trenden går i positiv eller negativ lei (t.d. TNS Gallup si kommuneundersøking). Det vert presisert frå mange at desse meir djuptgåande analysane kan gjennomførast i etterkant av sjølve publiseringstidspunktet for undersøkinga. Inndeling av poengskala i karakterar Den indekserte poengskalaen Difi tok i bruk i rapporten frå 0-100, vart forstått av dei fleste. Mange meinte òg at det var ein god og lettfatteleg måte å formidle dataa på. Fleire ynskte i tillegg meir fokus på den prosentvise fordelinga til svara på svarskalaen frå -3 til +3. Enkelte informantar meinte at inndeling av skalaen i intervall som deretter vart gjeve karakterar er problematisk. Inndelinga var som følgjer: 81-100 poeng: Svært nøgd 71-80 poeng: Nøgd 51-70 poeng: Delvis nøgd 0-50 poeng: Nøytral eller misnøgd Inndelinga er problematisk av di den byggjer på vår eiga fortolking eller kvalitative vurdering, og at vi har for liten kunnskap i dag til å vite kvar intervalla bør liggje. Inndelinga er òg problematisk då den er ei statisk uavhengig type teneste. Andre meiner inndelinga hjelper lesaren i sorteringa av resultata. Atter andre meiner denne inndelinga er for ”snill”. Ein del forsto ikkje utan vidare vår grunngjeving som låg bak inndelinga av skalaen. Vidare er det enkelte som lurar på kvifor intervallet delvis nøgd har eit intervall på 19 poeng, nøgd har eit intervall på berre 9 poeng og svært nøgd har igjen eit intervall på 19. Eit synspunkt er at intervalla bør inndelast direkte etter dei heile tala i svarskalaen, det vil seie +1, +2 og +3. Då ville intervalla vorte delvis nøgd frå 51-67 poeng, nøgd 67-84 osb. Ei anna tilbakemelding er at òg den negative delen av skalaen burde delast opp i intervall som speglar den positive enden av skalaen.

Eit av undersøkingsbyråa meiner vi bør leggje meir vekt på å kommentere ulikskapar innbyrdes for kvar einskild teneste og prosentfordelingar på svarskalaen, i staden for å kommentere intervall i form av karakterar. Tre tilfredsheitsspørsmål – ein tilfredsheitsskår I undersøkinga stiller vi som nemnt tre spørsmål for å måle den totale tilfredsheita (dei såkalla ACSI-spørsmåla). Desse spørsmåla er:

- Tenk tilbake på kva erfaringar du har med NN. Alt i alt, kor nøgd eller misnøgd er du med denne NN?

- I kor stor grad pleier denne NN å innfri forventingane dine? - Tenk deg ein ideell NN. Kor nært opp til dette idealet er NN du har

erfaring med? I rapporten vert dei tre skårane formidla kvar for seg, i tillegg til gjennomsnittet av dei tre (acsi-skåret) samla. Eit av byråa meiner vi konsekvent berre skal formidle tilfredsheitsskåren samla. Argumentet er at ACSI-spørsmåla vert stilt for å finne eit meir sikkert mål for tilfredsheita, og difor bør formidlast samla. Meir publisitet, større krav til analyse Enkelte tilbakemeldingar går på at Difi bør synleggjere moglegheitene som ligg i materialet betre enn i dag. Det kan dreie seg om både å gjere kjent at rådata ligg ute fritt til bruk, men òg å få fram kva slags analysemoglegheiter som finst i materialet. Enkelte meiner òg det er svært viktig at Difi søkjer meir merksemd i etterkant av sjølve publiseringa. Det er viktig at Difi gjer ein innsats fram til undersøkinga er meir kjend og vert brukt av fleire forskings- og utgreiingsmiljø. Eit innspel her er at Difi bør knyte til seg forskings- eller analysekompetanse for å få meir ut av dataa gjennom tenestespesifikke eller sektorvise analysar. Ei verksemd understrekar i samband med dette at auka merksemd rundt undersøkinga òg vil auke krava til analyse, utforming og formidling av stoffet. 4.3 Samarbeid Involvering før publisering av resultata Difi inviterte inn departementa, direktorata og enkelte andre verksemder som dette vedkjem, for å informere om resultata før dei vart lagt fram for ålmenta. Involveringa av verksemdene det galdt før publiseringa av del 1 vart skildra som noko knapp. Dei fleste var likevel godt nøgde med involveringa før publiseringa av del 2. Sjølve forma og nivået på involveringa vert oppfatta som riktig. Dei fleste skildrar òg gjennomgangen som nyttig særleg for å førebu politisk leiing eller toppleiarane i verksemda. På denne måten fekk ein høve til å gå inn i ein diskusjon om korleis resultata skulle møtast. Det kan verke som om behovet for å bli informert er viktigare for verksemdene med noko svakare skåre enn andre. Ei verksemd meiner det reint prinsipielt er problematisk å involvere utvalde verksemder før offentleggjeringa. Alle bør uansett om undersøkinga vedkjem dei eller ikkje få dataa samstundes. Her vert det vist til føresegner i Den statlege

kommunikasjonspolitikken og offentlegheitslova. Difi har lagt til ein merknad om at desse føresegnene gjeld likebehandling av medium. Eit innspel er å invitere inn verksemdene tidleg i analysefasen for å få tilbakemelding på eller kome med ynskje om analysar og problemstillingar. Vidare vert det òg foreslått at vi sender ut disposisjonen til rapporten i framkant for å få innspel/forslag til endring. Samarbeid om analyse På spørsmål om verksemdene ynskjer eit samarbeid om analyse med Difi, svarar dei fleste avventande. Samstundes er det òg nokre enkeltverksemder, både departement og direktorat, som ynskjer seg noko bistand. I samband med dette kjem det fram at fleire ynskjer hjelp til å få synleggjort analysemoglegheitene som ligg i materialet. Ein del av departementa meinte at direktorata var best eigna til å sjå interessante problemstillingar og difor burde gjennomføre ytterlegare analyse. Mange av desse verksemdene seier at dei har naudsynt kompetanse til å gjennomføre analysar. Enkelte verksemder er likevel usikre på om dei har denne kompetansen og ynskjer at Difi skal ha ei slik rolle.

Ei verksemd meiner det kunne vere ein idé å invitere inn verksemdene til å gje innspel til eller kome med ynskje til analysar, problematiseringar eller disposisjon før publiseringa. Då måtte det òg skje i ein tidleg fase av analysen.

Eit forslag går ut på at Difi lagar eit oversyn over datoar for hendingar og ferdige produkt før offentleggjeringa.

Samarbeid om vidare utvikling av spørjeskjema Dei fleste verksemdene som tenesteområda i del 2 (òg KS) gjeld for, var interessert i å gjennomføre arbeidsmøte med Difi hausten 2011 for å skreddarsy skjemaa i endå større grad. Utover dette har Difi planlagt å gjennomføre ei høyring av alle spørjeskjema i departementa, direktorata og utvalde organisasjonar våren 2012. Departementa ynskjer berre å gje tilbakemelding på vidareutvikla spørjeskjema i den planlagde høyringa. Eit departement kom med framlegg om at vi burde ha møte i framkant av høyringa der vi gjekk igjennom og presenterte endringane. 4.4 Difi sine kommentarar Difi har fått mange innspel når det gjeld formidling og analyse. Det er eit klart behov for ein rapport, eventuelt i form av fleire artiklar som gjennomarbeider materialet før resultata vert publisert. Det er òg behov for informasjon og orientering av verksemdene det gjeld om undersøkinga før resultata vert lagt fram. Faktaarka er populære. Somme ynskjer at vi vidareutviklar desse og koplar resultata frå innbyggjarundersøkinga saman med andre relevante data. Det synest òg klart at Difi bør vidareutvikle nettsidene dei har om undersøkinga. Vidare får vi støtte av di vi har valt å vere opne.

Tilbakemeldingane tyder på at vi framleis bør føre ei balansert line når det gjeld formidlinga, og framfor alt freiste å rettleie. Samstundes meiner fleire at Difi bør intensivere innsatsen slik at vi oppnår meir merksemd i media. I den samanheng trur vi det å kunne samanlikne mellom tidsseriar vil gjere stoffet meir interessant. Samstundes kan det vere at Difi bør tilføre prosjektet noko meir analyseressursar i perioden før dataa vert publisert. I den førre undersøkinga vart resultata frå del 1 og del 2 publisert med omlag eitt års mellomrom. Enkelte tilbakemeldingar tyder på vi bør vurdere å publisere alle resultata frå både del 1 og del 2 samstundes. Prosessane og førearbeidet vil slik bli noko meir krevjande neste gong, samstundes kan ei felles publisering av dei to delane gje meir merksemd totalt sett. Ut frå tilbakemeldingane er det naturleg å vidareføre og styrkje analysar innafor kategoriar av tenester. Dette er fornuftig særleg sett ut frå dei svarmønstra vi registrerte frå fyrste runde. Her viste dataa at tilfredsheita vart redusert etter ulike kategoriar av tenester, der dei som gjev oss noko utan å krevje noko tilbake kom på topp, medan verksemder som krev noko av oss og som utøvar mynde kom på botn. Samstundes kan ein diskutere om det å formidle alle data etter kategoriar av tenester er formålstenleg. Innbyggjarundersøkinga er utvikla mellom anna for å gje oversyn Som døme kan det vere interessant å vise resultat på tvers for å kommentere at brukartilfredsheita med tenestene som forvaltninga yter, framleis følgjer visse mønster etter type teneste, eventuelt at dette mønsteret vert brote. Vi vil òg forsøkje å lage analysar som gjev kunnskap om kva for indikatorar som er særskilt viktige for tilfredsheita, både innetter i kvar enkelt verksemd, innetter i kategoriar av verksemder og på tvers av ulike tenester i offentleg sektor. Når det gjeld samarbeid noterer vi oss framfor alt at Difi bør få fram kva slags analysemoglegheiter som ligg i materialet. Eit samarbeidsområde utover det å gjennomføre ulike kvantitative analysar, kan vere å grave djupare i overordna problemstillingar som vert reist i innbyggjarundersøkinga og i undersøkingane verksemdene utfører sjølv. Her kan ein t.d. bruke kvalitative metodar som fokusgrupper og intervju. Difi ynskjer òg å hjelpe verksemder som vil vidareutvikle sine eigne brukarundersøkingar. På sikt meiner vi det kan vere fornuftig å slå på moglegheitene for å skape nokon felles målepunkt eller problemstillingar der det er mogleg å samanlikne mellom eigne undersøkingar og innbyggjarundersøkinga. Vi registrerer at dei underliggjande verksemdene som har ansvar for tenestene i undersøkinga ynskjer å vere til hjelp i vidareutviklinga av spørjeskjemaa. Dette samarbeidet vil gå føre seg hausten 2011 og vinteren 2012.

5 Vurdering av spørjeskjema I dette kapittelet legg vi fram tilbakemeldingane på spørjeskjemaa i undersøkinga. Vi spurde informantane om deira synspunkt på tematikk, spørsmål, rekkjefølgje på spørsmål, om det mangla nokon tenester, om spørjeskjemaet burde omsetjast til fleire språk og kor ofte undersøkinga burde gjennomførast. Informantane har stort sett gjeve tilbakemelding på tilhøve i spørjeskjemaet eller undersøkinga som dreia seg om deira eige fagområde. Vi opererer difor i liten grad med opplysningar om kor mange informantar som representerer dei enkelte innspela. Hovudinntrykka er som følgjer: Fleire peikar på at

o .. dei er nøgde med spørjeskjemaa o .. vi bør vere varsame med å endre spørjeskjemaa o .. del 1 er omfattande o .. del 2 bør utvidast med fleire konkrete spørsmål om tenestene

Enkelte peikar på at

o .. mykje godt språk (klarspråk), men vi bør bli konsekvente i språkforma (du-form)

o .. vi opererer med ein del vanskelege omgrep for ”folk flest” o .. skjemaa bør omsetjast til fleire språk o .. vi bør konkretisere perspektivet / kva vi spør om i del 2 o .. vi bør betre den grafiske utforminga av skjemaa o .. vi bør gjere hjelpetekstane i spørjeskjemaet betre undervegs o .. vi bør måle tillit o .. vi bør ha fleire spørsmål om digitale tenester / fyrsteval o .. vi bør ha spørsmål om universell utforming o .. vi bør måle tilhøvet mellom likeverdige tenester og tilpassing til

den enkelte 5.1 Generelt om spørjeskjemaa Dei fleste av informantane vi har snakka med, uttrykkjer seg positivt om spørjeskjemaa til både del 1 og del 2 av undersøkinga. Tilbakemeldingar går på at vi har treft godt, har med dei viktige temaa og at mange av spørsmåla er relevante og godt formulerte. Samstundes kjem det inn fleire innspel til endringar. Innspela går både på nye problemstillingar/spørsmål og omgreps- og språkbruk. Dei fleste har òg generelle innvendingar som at del 1 er for lang og at fleire av spørsmåla i del 2 burde vere meir tenestespesifikke. Før vi legg fram dei spesifikke innspela til høvesvis del 1 og del 2, går vi igjennom tilhøve som gjeld heile undersøkinga sett under eitt.

Klarspråk og bruk av omgrep Enkelte peikar på at det er mykje godt eller klart språk i spørjeskjemaa. Vidare at eit direkte språk som nyttar ”du- form” fungerer bra. Samstundes vik vi frå denne forma av og til. ”Du-forma” bør nyttast konsekvent. Enkelte informantar meiner vi må jobbe vidare med å forenkle språket når det gjeld omgrep. Nokon av omgrepa er vanskelege å forstå for dei med liten kunnskap om forvaltninga, det norske samfunnet eller velferdsordningane. Delar av innvandrarbefolkninga er ei gruppe som vert nemnt i denne samanhengen. Det hender òg at vi nyttar omgrep som gjev ein bestemt konnotasjon eller retning på spørsmålet som ikkje var intendert eller ynskjeleg i utgangspunktet. Eit døme er omgrepet handtere. I visse samanhengar uttrykkjer handtere noko problematisk, til dømes som i å ”handtere innvandringa til Noreg” eller ”handtere internasjonale operasjonar”. Eit anna døme er ordet respekt som ifølgje enkelte av informantane har ulike konnotasjonar hjå ulike grupper. Fleire tenester Informantane har fleire forslag til tenester vi bør ta inn i undersøkinga. Her vert det nemnt alt frå barnevernet, PPT-tenesta, tannhelsetenesta til NSB og TV2. Eit anna synspunkt er at vi bør skilje mellom enkelte av tenestene som t.d. mellom bemanna bustad og omsorgsbustad, omsorgsbustad og aldersheim, helsestasjon og skulehelsetenesta. To departement ynskjer å vurdere om høvesvis offentlege museum og Statens innkrevingssentral burde inn i undersøkinga. Ulikt tilbod i tenestene Enkelte stiller spørsmål ved om tenester der den enkelte eininga har eit særpreg i tilbodet sitt skal vere med i undersøkinga. Eit døme her er tenester som høgskular og universitet. Tenestetilbodet er klart ulikt på dei enkelte høgskulane og universiteta, noko som gjer det vanskeleg å gjennomføre ei generell måling av desse tilboda. Det vert vist til at ein del av dei andre tenestene i undersøkinga som t.d. NAV, Politiet eller barnehagar forvaltar ordningar ut frå føresegner i lover og forskrifter, og på den måten tilbyr meir eller mindre standardiserte tenester i alle einingar. Dei same informantane meiner dagens undersøking av høgskular og universitet meir vert ei omdømmeundersøking enn ei reell brukarundersøking og difor at det er vanskeleg å sjå korleis resultata kan nyttast til forbetring. Grafikk og instruksjonstekstar Enkelte har synspunkt på den grafiske utforminga av undersøkinga. Synspunkta går på å rettleie respondenten litt meir undervegs i skjemaet, og at ein bør skilje ut variabelen ”veit ikkje” tydelegare. I lange batteri bør ein òg ha horisontale liner som skil ut kvar enkelt variabel. Eit tilhøve som kan setjast i samband med grafikk er plasseringa av bakgrunnsvariablar. Nokon peikar på at bakgrunnsvariablane burde samlast på ein stad og ikkje både framme og bak i skjemaet som i dag.

Vi har òg fått ein del kommentarar på instruksjonstekstar som vi kan få endå tydelegare fram og kanskje operere med på fleire stader. Ein viktig instruksjonstekst er til dømes at respondentane skal svare ut frå den erfaringa dei har gjort dei siste 12 månadene. Omsetjing til fleire språk Dei fleste av dei som har ei oppfatning, meiner vi bør omsetje spørjeskjemaa til fleire språk. Samstundes stiller enkelte andre spørsmål ved kor mykje vi eigentleg får igjen. Desse peikar på at engelsk er tilstrekkeleg for dei gruppene som vanlegvis svarar på denne typen undersøkingar. Difi vert rådd til å omsetje undersøkinga til dei tre til fire største innvandrarspråka. Polsk, urdu, somalisk og tyrkisk vert nemnt her, i tillegg til engelsk, samisk, nynorsk og bokmål. Namnet på undersøkinga Vi har fått tilbakemelding på at namna på delane i innbyggjarundersøkinga, ”Del 1” og ”Del 2”, gjev lite meining. Dette kan vere ei utfordring i samband med formidlingsarbeidet. Motivering av respondentane Difi har òg fått innspel på kor viktig det er å motivere respondentane til å svare på undersøkinga. Difi må få tydeleg fram overfor alle grupper kva som er målsettinga med undersøkinga, slik at fleire forstår kor viktig det er å svare. ”Whats in it for me” bør kome klarare fram. Auka motivasjon vert nemnt som særskilt viktig for minoritetar og unge respondentar. 5.2 Generelle tilbakemeldingar på del 1 Dei fleste som har ei oppfatning meiner del 1 er for omfattande. I tilknyting til dette meiner fleire at enkelte spørsmål må vere vanskeleg å svare på eller opplevast som lite relevante. Slik er spørsmål knytt til det nære, t.d. kommunen, lettare å svare på enn spørsmål knytt til ulike tilhøve i Noreg. Temaet om myndigheitene si handtering av ulike tilhøve vert nemnt her. Til dette kjem at mange respondentar ikkje har erfaring med temaa det vert spurd om, og at det er vanskeleg for folk å vite korleis myndigheitene arbeider på desse områda. Difor vert nokon av spørsmåla oppfatta meir som omdømmespørsmål som måler folk sin tillit uavhengig av dei eigentlege erfaringane deira. 5.3 Framlegg til nye spørsmål del 1 Det kom inn mange framlegg til nye problemstillingar eller spørsmål. Desse er stort sett knytt til enkeltinformantar. Nokre stader vert same tema nemnt av fleire. Framlegg fleire peikar på Tillit til myndigheiter – Tillit vert nemnt av fleire som ein viktig faktor for offentlege verksemder. Spørsmål om tillit kan til dømes erstatte spørsmåla om kor godt eller dårleg myndigheitene handterer ulike tilhøve i samfunnet. Ein kan alternativt stille dette spørsmålet i del 2 av undersøkinga. Digitale tenester – Fleire nemner òg behovet for å ta inn spørsmål rundt digitale løysingar. Døme er vilje til å ta i bruk ulike tenester og funksjonalitetar, spørje om framtidsbehov og preferansar. Kva slags ynskje folk har når det gjeld

digitale brev (digital postkasse), innloggingsløysingar og om ein er viljug til å betale for løysingar. Enkelte peikar på at vi bør ta med spørsmål om sosiale medium og nettapplikasjonar. Framlegga gjeld òg for del 2. Nærleik til tenesta – Gode digitale løysingar kan føre til at ein ikkje lenger treng å gå til eit fysisk kontor. Den fysiske avstanden til tenestestaden er det såleis mindre relevant å måle. Viktigare blir heller tilgang til og kor enkle dei digitale løysingane er å bruke. Mobile einingar slik ein har i politiet er eit anna døme. Det er difor ikkje utan vidare den fysiske nærleiken til sjølve politistasjonen som er viktig for opplevinga av nærleik til politiet. Viktigare er det kor raskt politiet kan yte hjelp / kome til åstaden eller kor til stades / synlege politiet er i lokalsamfunnet. Framlegg enkelte peikar på Universell utforming – Enkelte meiner undersøkinga bør styrkjast når det gjeld universell utforming. Universell utforming kan målast på fleire område, alt frå tilpassing i konsertsalar/kino, på arbeidsplassen eller i kollektivtransporten. Forbrukarperspektivet – Enkelte meiner vi bør utvide med fleire spørsmål om korleis myndigheitene varetek forbrukarperspektivet. Oppvekstvilkår – Enkelte peikar på at vi bør ha med fleire spørsmål om oppvekstvilkåra for barn og ungdom i kommunen, både når det gjeld idrett, kultur, organisasjonsliv osb. Tilgang til jobb i området der du bur – I dag måler vi tilgang på arbeid i bustadkommunen. Eit framlegg går ut på å i tillegg måle tilgang på jobb i området der du bur, meir uavhengig av akkurat kommunen du bur i. Spørsmål om tryggleik – Enkelte meiner vi bør ta med fleire spørsmål om temaet tryggleik, alt frå om politiet held ro og orden, innbyggjarane si oppleving av tilgang til trygge/gode medisinar og myndigheitene sitt arbeid for å sikre trygg og helsefremjande mat. Ulike problemstillingar knytt til minoritetar – Det kom inn fleire framlegg på spørsmål knytt til minoritetar eller innvandrarbefolkninga. Døme er om brukarane vert likeverdig behandla, om dei får tilbod om tolk, om respondenten opplever å ha fått oversyn over dei tenestene ein har rett til. Det kjem òg fram ynskje om å måle om grupper føler seg diskriminert, til dømes om dei har opplevd å bli urettferdig behandla på grunn av legning, landbakgrunn eller liknande. Bakgrunnsvariablar – Vi fekk òg ein del framlegg til bakgrunnsvariablar, mellom anna knytt til innvandrargrupper. Døme på dette er kor lenge respondenten har budd i landet og om båe foreldra er fødd i Noreg, er ein pårørande/brukar, kring medlemskap i foreiningar, ideelle organisasjonar og fritidsorganisasjonar. Framlegg til kutt i del 1

Informantane var relativt tilbakehaldne på kva som kan kuttast ut av spørsmål i del 1. Fleire meiner del 1 er omfattande, samstundes peikar òg fleire på at nytte og relevans må vurderast over tid. Nokre framlegg fekk vi likevel av enkeltinformantar. Om storting, kommunestyre og valdeltaking – Eit framlegg går ut på å kutte ut spørsmåla om storting, kommunestyre og valdeltaking med det argumentet at desse tilhøva likevel vert målt i andre undersøkingar. Eit anna tema som vert teke opp av nokre få, er myndigheitene si evne til å løyse ulike samfunnsmål som nemnt tidlegare. Myndigheitene si handtering av ulike oppgåver – Visse spørsmål som t.d. om myndigheitene si sløsing med ressursane, vert oppfatta som omdømmespørsmål då innbyggjarane neppe har kunnskap nok til eigentleg å vite noko om dette tilhøvet. På den andre sida meiner nokon at omdømmespørsmål er viktige å måle over tid då dei fortel kva inntrykk folk har av arbeidet myndigheitene gjer. Eit framlegg er å dreie spørsmåla om myndigheitene si ”handtering” av område til å måle den ”tilliten” ein har til myndigheitene på desse områda. Tilfredsheit med tenestene – Vi har òg fått tilbakemeldingar på at vi berre bør spørje om tilfredsheit med tenester i del 2 og ikkje i både del 1 og del 2 som no. Byrået som hadde ansvaret for å gjennomføre undersøkinga (Synovate Noreg A/S), fekk fleire tilbakemeldingar frå respondentar som ikkje ville svare på del 2 då dei allereie hadde svart på kor nøgde dei var med tenestene i del 1. 5.4 Generelle tilbakemeldingar på del 2 Ingen av informantane meiner spørjeskjemaa for del 2 er for omfattande. Fleire meiner òg at dette spørjeskjemaet må vere enklare å svare på enn del 1, at det er meir konkret. Samstundes kjem mange inn på at det er trong for å lage fleire tenestespesifikke spørsmål om tenestene. Fleire tenestespesifikke spørsmål I dag opererer undersøkinga med nokon standardiserte spørsmål i alle spørjeskjemaa. Det vil seie at det er to sett av standardiserte spørsmål, eit sett som vert stilt i alle tenestene og eit sett som vert stilt innafor kategoriar av tenester. Siste nivå kan seiast å vere dei tenestespesifikke spørsmåla som er unike for kvar enkelt teneste. Denne delinga meiner mange er fornuftig. Ein kommentar er at dei standardiserte spørsmåla gjer det vanskeleg å kjenne seg att i tenesta. Dei standardiserte spørsmåla passar med andre ord betre for nokon tenester enn for andre. Eit døme har vi allereie nemnt i samband med spørsmålet om ei idealverksemd. Nokon av informantane meiner vi bør vurdere å redusere talet på standardiserte spørsmål til fordel for dei meir verksemdsspesifikke spørsmåla. Spørsmål om dei tilsette I dagens spørjeskjema er det teke med relativt mange spørsmål om dei tilsette. Spørsmåla er tenkt å måle ulike element som serviceevne, kompetanse og evne til å finne gode løysingar eller oppfylle behov når det oppstår ein situasjon

utanom det vanlege. Eit synspunkt er at vi brukar mange relativt like spørsmål for å måle desse elementa. Nokon peikar òg på at enkelte av spørsmåla om dei tilsette ikkje er knytt til konkrete funksjonar som t.d. sakshandsamar, tilsette i fyrstelina, fastlege eller liknande. ACSI-spørsmåla (tilfredsheitsspørsmåla) Fleire av informantane har synspunkt på dei tre spørsmåla vi stiller til slutt om totaltilfredsheita med tenestene (dei såkalla ACSI-spørsmåla). Ein omtalar desse som ”litt svevande eller filosofiske”. Dette er spørsmål Difi ikkje utan vidare kan endre eller ta bort av omsyn til metodikken som ligg til grunn for undersøkinga og på grunn av at det må vere mogleg å kunne samanlikne. Spørsmåla er laga både for å skape eit robust mål for den totale tilfredsheita og for å kunne analysere seg fram til kva for aspekt ved tenesta som er viktigast for den samla tilfredsheita. Spørsmålet om å anbefale ei verksemd til vener og kjente vert det òg reagert på. Fleire meiner det verkar kunstig å skulle anbefale verksemder som driv med myndigheitsutøving, t.d. politiet eller NAV. Vidare verkar det kunstig når det ikkje ligg føre ein reell valmoglegheit mellom einingar innafor kvar enkelt teneste. Nokon meiner òg at det må vere utfordrande å svare på spørsmålet om kor nært verksemda/tenesta er idealet. Det gjeld særleg verksemder som driv med både myndigheitsutøving og tenesteyting. Desse skal ta omsyn til brukarane sine rettar eller plikter regulert i lover og forskrifter, og kan i mange samanhengar ikkje tilpasse seg behova til dei ulike brukarane. Respondenten kan difor fort forveksle spørsmålet om ideal med kva respondenten meiner er t.d. ideelle rettar. Spørsmålet om ideal kan i denne samanhengen oppfattast som eit politisk spørsmål, dvs. at rettane ikkje er gode nok. Ideal kan òg tolkast som at godane ikkje er godt nok tilpassa dei problema den enkelte har. Eit siste moment som vert trekt fram, er at det i mange tilfelle vil vere vanskeleg å sjå føre seg ei idealverksemd som t.d. NAV, då desse verksemdene er for samansette og kompliserte. Slik er det lettare å seie at Coca-Cola er nær ein ideell leskedrikk enn at NAV er nær ein ideell arbeids- og velferdsetat. Plassering av ACSI-spørsmåla Eit anna innspel er å plassere ACSI-spørsmåla fyrst i spørjeskjemaa. Ved å plassere spørsmåla fyrst vil ein få fram den direkte eller upåverka opplevinga av tilfredsheit. Presisjon i svar og analyse Skal respondenten svare på basis av fleire typar kontakt og tenester? Eit moment som kjem fram i samtalane knyter seg til om respondenten skal svare på basis av fleire typar kontakt. Då vil det vere vanskeleg å analysere kva resultata eigentleg knyter seg til. La oss gje eit døme. Korleis skal ein tolke svara av tilfredsheita dersom respondentane svarar at dei både har vore i kontakt med verksemda via internett og kommunisert med sakshandsamar direkte? Knyter tilfredsheita seg til sakshandsaminga eller internettsidene eller begge delar. Tilbakemeldinga går i sum ut på at skjemaa bør gjennomarbeidast ytterlegare for å gjere svara og analysane noko meir presise.

Det same problemet gjer seg òg gjeldande der ei verksemd har fleire typar tenester som t.d. NAV. Eit framlegg er å stille eit ekstra spørsmål der respondenten svarar på kva slags teneste som er viktigast for respondenten eller som ein har vore mest i kontakt med. Eit liknande moment som kjem opp er om respondentane svarar på bakgrunn av dei samla erfaringane dei har med ei teneste eller ut frå si siste erfaring. Ei sut er at svara til respondentane vert mindre presise dersom svara er ut frå samla erfaring. Svare som pårørande eller brukar Ein respondent kan vere både pårørande og brukar. Det vert peika på at instruksjonane i spørjeskjemaa bør bli tydelegare slik at ein konsekvent svarar som ein av dei to. Enkelte spørsmål kan òg vere tydelegare på om spørsmålet handlar om brukaren eller den pårørande. Eit framlegg går ut på å sende eigne spesialtilpassa spørjeskjema til høvesvis pårørande og brukarar. For nokre av tenestene tenar ikkje kategorien pårørande noko føremål. Til dømes pårørande til personar i Den norske kyrkja eller Folkebiblioteket. 5.5 Framlegg til nye spørsmål del 2 Det kom inn ei rekkje innspel til spørsmål eller problemstillingar ein saknar i spørjeskjemaa for del 2. Nokre er relevante for fleire typar tenester, andre berre for enkelte tenester. Nedanfor har vi laga ei kort oppsummering av innspela: Framlegg fleire peikar på Tillit til – Som for del 1 vert det peika på nytten av å ta med spørsmål som målar respondenten sin tillit til verksemda eller tenesteleverandøren. Spørsmålet er av overordna karakter og kan slik vere ein del av modellen. Digitale tenester – Som for del 1 er det ynskje om fleire spørsmål om digitale tenester. Mellom anna at vi må stille bakgrunnsspørsmål som gjer det mogleg å analysere grupper ut frå kven som har brukt og ikkje har brukt digitale tenester. Avslag eller medhald – Undersøkinga bør måle om respondenten har søkt og om vedkomande har fått avslag eller medhald i søknaden sin. Spørsmålet kan vere ein forklaringsvariabel for den totale tilfredsheita. Måle fleire aspekt rundt klagehandsaming – Det har kome ynskje om fleire spørsmål om klagehandsaming; kvifor brukarane klagar, korleis dei opplever klagegongen og klageordninga. Informasjon – Det har kome ynskje om fleire spørsmål som måler informasjon konkret knytt til sjølve produktet eller tenesta. Opne spørsmål – Her ynskjer ein eitt til to opne spørsmål i kvart skjema i del 2 der respondenten kan leggje att svar på kva som vert opplevd som særskilt vanskeleg, særskilt bra eller få høve til å føreslå nye løysingar/metodar.

Framlegg enkelte peikar på Binding til tenesta – Undersøkinga bør måle kor avhengig brukarane er av tenesta. Et døme er kor viktig barnebidrag er for den enkelte. Variabelen vil styrkje analysen kring kva tenesteleverandøren bør prioritere. Brukarmedverking – Det vert peika på at vi bør ta med spørsmål om i kva grad brukaren får ta del i utforminga eller tilpassinga av tenesta eller produktet (individuell tilpassing). Eit døme er individuell plan i NAV. Samhandling/koordinering mellom verksemder – Det vert peika på at vi bør ta med spørsmål som får fram korleis verksemder eller ulike tenester samarbeider/samhandlar til det beste for brukaren. Samhandlingsreforma og heilskapsprinsippet er stikkord i denne samanhengen. Førebyggjande aktivitetar – Undersøkinga bør måle meir om det vert jobba førebyggjande mot brukaren. Dette gjeld særleg verksemder som bør eller har dette som ein naturleg del av rolla si, t.d. Politiet Sakshandsamingstid og ventetid – Det bør lagast eit skilje mellom sakshandsamingstid og ventetida før ein får saka si handsama. I samband med dette vert det nemnt fleire døme som ventetid på telefon, ventetid på sjølve kontoret, ventetid på å få time med rettleiar, ventetid på å saka si opp til behandling og ventetid på eit vedtak. Universell utforming – Det er ynskjer om fleire spørsmål om universell utforming. Ikkje aktuelt – Enkelte peikar på at veit ikkje-variabelen ikkje er tilstrekkeleg, at vi òg bør ha med ikkje aktuelt eller ikkje relevant. Dei tilsette sin bemanningssituasjon – Vi bør ta med spørsmål som måler respondenten si oppfatning kring bemanningssituasjonen som ein mogleg forklaringsvariabel når det gjeld den totale tilfredsheita. 5.6 Difi sine kommentarar Sjølv om dei fleste av informantane meiner spørjeskjemaa er gode, med har viktige tema og spørsmål, så er det mange framlegg som i sum kan tolkast slik at det er rom for forbetring. Samstundes er mange opptekne av at det skal vere mogleg å samanlikne resultata, og at vi må vere varsame med å endre for mye. Undersøkinga skal gjennomførast regelmessig (annakvar år) i lang tid framover. Difor er det fornuftig å gjennomføre endringar som klart vil gjere undersøkinga betre, no. Det er likevel viktig å syte for at det vil vere mogleg å samanlikne resultata. Det vert ei utfordring og viktig å balansere dei to omsyna i vidareutviklinga av spørjeskjemaa. Informantane har stort sett gjeve tilbakemelding på tilhøve i spørjeskjemaet eller undersøkinga som dreier seg om deira eige fagområde. Dette gjer at vi har fått mange ulike enkeltinnspel. Det gjer det til dels utfordrande å vurdere kva for innspel og framlegg vi skal ta til etterretning. Nedanfor peikar vi likevel på

nokre overordna kriterium som vil bli brukt for å vurdere innspela. Difi vil vurdere spørjeskjemaa i samarbeid med styringsgruppa for innbyggjarundersøkinga, og med dei enkelte etatane som er omtala i spørjeskjemaa. Framlegg/innspel som vert reist av fleire Innspel som vert reist av fleire er t.d. trongen for å redusere talet på spørsmål i del 1 og vidare auke talet på konkrete spørsmål om tenestene i del 2. Dette er ikkje utan vidare ukjende problemstillingar for Difi og styringsgruppa, men det at så mange har synspunkt krev at vi vidareutviklar spørjeskjemaa i denne retninga. Det at del 1 av undersøkinga er for lang kan føre til fråfall. Difi har allereie sett i gong analysar som går på å vurdere kva for spørsmål som vert oppfatta som relevante og kva for spørsmål som ikkje vert det, kva for spørsmål som vert oppfatta som like og ikkje i både del 1 og 2. I samband med dette vil vi mellom anna sjå på samvariasjon og veit ikkje / fråfall. Målet er å redusere talet på spørsmål. Ved fyrste augnekast kan det verke som om enkelte spørsmål i undersøkinga ikkje tener til noko føremål, men dei er sett inn som viktige variablar for analysen. Ta til dømes spørsmåla om kommunestyre og storting. Desse tilhøva vert allereie målt i andre undersøkingar, noko som er eit argument for å ta dei ut av innbyggjarundersøkinga. Samstundes, ved å ta ut spørsmåla vil analysemoglegheitene for forvaltninga og for forskarar verte redusert ved at utvalet for innbyggjarundersøkinga ikkje har svart på spørsmåla. Difor er det ein klar fordel å måle oppfatninga både om politikarane sitt arbeid og forvaltninga sin innsats saman med spørsmål om tilfredsheit med ulike tilhøve. Difor er det ikkje utan vidare fornuftig å kutte ut heile tema, men heller vurdere å kutte einskildspørsmål innafor dei ulike temaa som synest å måle det same. Når det gjeld del 2 legg vi særskilt merke til behovet for å sjå på moglegheita for å redusere talet på ”einsarta” spørsmål om dei tilsette, og auke talet på spørsmål om konkrete tilhøve ved tenestene. Vi vil òg vurdere å redusere talet på spørsmål vi stiller på tvers i alle tenestene, og freiste å få inn fleire detaljerte spørsmål om tenesta. Andre døme er å få fram fleire aspekt kring klagehandsaminga, og lage spørsmål som måler brukarane sin tillit. Framlegg/innspel som tilfører noko nytt (er originale) Innspel som kan tilføre undersøkinga noko nytt er t.d. å måle kor avhengig brukaren er av tenesta eller i kva for grad brukaren opplever god samhandling mellom offentlege verksemder. Dette er moment som vil kunne styrkje analysemoglegheitene og få tydelegare fram kva verksemdene bør prioritere. Samstundes kan det vere ei utfordring å finne gode spørsmål som måler tilhøva. Framlegg/innspel som peikar på klare veikskapar eller feil Innspel her er t.d. å byte ut vanskelege omgrep for ulike grupper, eller spørsmål som kan tolkast på fleire måtar. Dette er veikskapar som vi har freista å unngå i utgangspunktet. Andre døme er innspel som går på at vi ikkje er heilt konsekvente i bruken av du-forma.

Framlegg/innspel som vil styrkje det metodiske/analytiske Respondenten kan ha erfaring med fleire typar tenester. I dagens spørjeskjema er det lagt opp til at ein kan velje fleire av desse tenestene. Difor kan det oppstå forvirring når det gjeld kva teneste respondenten eventuelt er nøgd eller misnøgd med. Ein måte å løyse problemet på, er å spørje om kva slags teneste som er viktigast for brukaren, og berre gje respondenten eitt val. Dette vil heilt klart styrkje undersøkinga både for dei som svarar og for analysen i etterkant. Eit anna innspel er at vi ber respondenten svare / gje ei vurdering av dei tilsette generelt. Her testar vi no ut og vil vurdere å dreie spørsmåla i retning av å meir konkret vurdere den tilsette ein har hatt kontakt med. Vi vil òg vurdere å dreie spørsmåla slik at ein fokuserer på rett funksjon, t.d. fastlegen, rettleiaren eller kontaktlæraren din osb. Dette vil gje respondenten ei klarare referanseramme og gjere det enklare å svare. Eit tiltak som kan gje meir informasjon om ulike grupper, er å auke utvalet for innbyggjarundersøkinga. Her tenkjer vi særskilt på eit større utval blant innvandrarar. Vi understrekar at dette framfor alt er eit økonomisk spørsmål. ACSI Fleire av informantane har synspunkt på spørsmålet om ideal som er eit av dei tre spørsmåla vi stiller til slutt om totaltilfredsheita med tenestene (dei såkalla ACSI-spørsmåla). Difor er det naturleg å vurdere spørsmålet om ideal. Samstundes er spørsmålet utvikla og utprøvd i ei rekkje undersøkingar over heile verda både for private og offentlege verksemder. Det inngår i modellen og indeksen for innbyggjarundersøkinga og kan heller ikkje bytast ut på kort sikt utan at det går utover moglegheita til å samanlikne. Difi vil vurdere å prøve ut alternative måtar å stille spørsmålet på som moglegvis vert teke med i neste runde. Dersom det nyutvikla spørsmålet fungerer godt i modellen, vil truleg spørsmåla om ideal verte erstatta på sikt. Fleire stiller seg òg tvilande til at respondenten må anbefale eller rå frå einingar/kontor der det er heilt klart at det ikkje er mogleg eller særleg relevant. Spørsmålet skal vere eitt av fleire mål på den totale tilfredsheita, men er ikkje ein del av indeksen. Ut frå argumentet om at dette ikkje er mogleg for enkelte av tenestene, vil vi sannsynlegvis ta ut spørsmålet. Eit anna innspel er å plassere ACSI-spørsmåla fyrst i spørjeskjemaa. Ved å plassere spørsmåla fyrst vil ein få fram den direkte opplevinga av tilfredsheit. Dette momentet har den faglege styringsgruppa allereie diskutert, og her fall gruppa ned på å plassere spørsmåla til slutt. Argument for å plassere detaljerte spørsmål fyrst, og deretter totaltilfredsheitsspørsmåla til slutt, er at respondenten skal gje si heilskaplege oppfatning nettopp på grunnlag av dei ulike sidene ved tenesta. Fleire tenester Difi vil òg vurdere å ta med fleire tenester – eit viktig kriterium her er at ein viss del av befolkninga tek tenestene i bruk. For å få svar på del 2 i

undersøkinga, må det vere gode utsikter til at vi trekkjer tilstrekkeleg mange med erfaring for å få svar på spørsmåla. Eit anna kriterium for å vurdere tenestene, er om denne typen undersøking er eigna til å måle tilfredsheita. Er målgruppa over 18 år? Dersom ikkje, vil svar frå pårørande gje nok konkret kunnskap tilbake til den etaten som har ansvaret for tenesta. Eit tredje kriterium er selskapsforma. Vi har t.d. tidlegare avgjort at aksjeselskap ikkje skal takast med i undersøkinga. Motivere respondentane Difi har freista i brev og i spørjeskjema å motivere respondenten ved å få fram ”whats in it for me”. Vi vil likevel utforske metodar for å styrkje motiveringa av ulike grupper ytterlegare. Døme kan vere å rette premiering meir mot grupper som i mindre grad er motivert til å svare på denne typen undersøkingar (unge). Vi vil vurdere å omsetje innbyggjarundersøkinga til fleire språk. Dette kan òg motivere fleire til å svare. Omsetjing til fleire språk vil sannsynlegvis hjelpe marginalt på svarprosenten, men det er gode prinsipielle argument likevel for å gjere det. Effekten kan evaluerast og vurderast på nytt ved neste runde. Nytt namn på undersøkinga Vi har registrert at enkelte har synspunkt på namnet innbyggjarundersøkinga ”del 1” og ”del 2” som ikkje får fram at dette er ei brukarundersøking. Vidare veit vi at mange andre verksemder som til dømes KS har eigne innbyggjarundersøkingar, noko som kan forvirre både media og befolkninga når det gjeld kva undersøking det vert vist til. Ideen med å nytte omgrepet innbyggjar er at undersøkinga skulle femne vidt i del 1, og i samband med dette få tilbakemelding frå alle innbyggjarar, og snevrast inn i del 2 der ein berre hentar inn brukarane sine oppfatningar. Vi vil sondere ulike namneframlegg med dei involverte verksemdene og freiste å få fram at dette er forvaltninga si eiga innbyggjar- og brukarundersøking.

6 Vurderingar av metoden I dette kapittelet går vi igjennom dei viktigaste innspela knytt til det metodiske. Hovudinntrykka er som følgjer: Få har sterke synspunkt på metoden Dei fleste meiner at

o .. det er fornuftig med ein innbyggjardel og ein brukardel o .. det er fornuftig med sjølvutfylling o .. at gjennomføring annakvart år er passeleg

Enkelte meiner

o .. vi bør trekkje ekstra utval med innvandrarar o .. vi bør redusere tida mellom utsending av del 1 og 2 o .. at det finst skeivskap – men omtrent som i tilsvarande

undersøkingar o .. at det er meir trong for analysar av fråfall, veit ikkje, skeivskap

6.1 Metode for gjennomføring Innbyggjarundersøkinga vert gjennomført ved at ein fyrst sender ut eit papirskjema (del 1) til eit bestemt tal på respondentar over 18 år som vert trekt på måfå frå Folkeregisteret. Dette vert gjort per vanleg post. Det vert stilt spørsmål om kva for tenester dei har erfaring med anten som pårørande eller som brukar. Deretter får respondentar med erfaring tilsendt inntil fem spørjeskjema (del 2), eitt skjema for kvar teneste. Få har synspunkt på denne metoden Alle som har synspunkt, meiner gjennomføringsmåten er fornuftig. Analysebyråa vi har snakka med, seier òg at utsending av papirskjema per post med sjølvutfylling gjev best svarprosent og truleg òg er den mest rekningssvarande måten å hente inn data på. Undersøkinga trekkjer berre eitt utval som skal svare både på del 1 og del 2. Ingen innspel går ut på at vi bør endre denne metoden. Enkelte peikar på at metoden er svært effektiv for å rekruttere respondentar med erfaring (del 2). Vidare at metoden gjev klare analytiske fordelar då ein kan samanlikne kva respondenten har svart i høvesvis del 1 og del 2. Enkelte av informantane framhevar fordelane ved sjølvutfylling på papir. Sjølvutfylling hindrar at respondenten vert påverka i svara og opnar for at respondenten kan svare i sitt eige tempo samanlikna med t.d. ei telefonundersøking. Kor ofte bør undersøkinga gjennomførast? Relativt få hadde sterke meiningar om kor ofte undersøkinga burde gjennomførast. Dei aller fleste av dei som svarte på spørsmålet, meiner annakvart år er passeleg. Enkelte meiner den bør gjennomførast ein gong kvart år, andre at frekvensen bør vurderast etter kvart som ein får tidsseriar og ser kor store ulikskapane er frå år til år. Nokon understrekar likevel at undersøkinga uansett bør gjennomførast annakvart år. Elles vil undersøkinga stå i fare for å

bli gløymd frå den eine gongen til den andre. Vidare nemner nokon at innbyggjarundersøkinga har ein funksjon òg ved at den kan skape merksemd kring arbeidet med brukarretting og kvalitetsutvikling i forvaltninga. Eit anna moment som kjem opp i denne samanheng er at undersøkinga ikkje bør gjennomførast samstundes med at det er kommune- eller stortingsval. Samanhangande utsending av del 1 og 2 Spørjeskjemaa for del 2 vart send ut noko seinare enn det som fyrst var planlagt. I del 1 vart respondentane bedne om å krysse av for kva verksemd de hadde erfaring med dei siste 12 månadane. Desse fekk deretter tilsendt skjema for del 2. På grunn av forseinkinga i utsendinga vil erfaringsramma ha vore meir i retning av siste 24 månader enn siste 12. Dette vert kritisert av enkelte informantar. Vi kan ikkje sjå bort frå at ein del av respondentane har oversett dette momentet heilt og har svart på skjemaet på bakgrunn av erfaring lengre tid tilbake enn dette. Eit moment som kjem opp i samband med dette (sjå punktet over) er om ikkje undersøkinga bør sendast ut utan opphald, dvs. at spørjeskjemaa for del 2 vert send ut så snart respondentane har svart på del 1. Då vil ein unngå problemet som er nemnt ovanfor. Vidare vil ein kunne presentere tal for del 1 og del 2 samstundes. I tilknyting til dette vert det tilrådd at vi startar opp undersøkinga på hausten og avsluttar på vårparten. Utval og stratifisering Utvalet i undersøkinga er stratifisert på variablane geografi, kjønn og alder og er trekt frå folkeregisteret. Ingen har motførestellingar mot denne stratifiseringa. Enkelte av informantane våre ynskjer at vi skal trekkje ekstra utval frå gruppa innvandrarar. Eit motargument som vert nemnt er at vi sannsynlegvis uansett ikkje vil få store nok grupper av innvandrarar til å kunne analysere kva desse meiner om tenestene i del 2. Enkelte peikar òg på at aldersvariabelen burde avgrensast oppover. Samstundes har det ikkje kome inn framlegg til kva for intervall vi bør velje eller høgaste årstal. Svarskala Innbyggjarundersøkinga opererer med ein svarskala frå -3 til +3 med 0 som midtpunkt. Det er berre ytterpunkta som har namn, svært misnøgd eller svært nøgd, svært god eller svært dårleg osb. Dette er ein relativt ny skala i norsk samanheng. Svært få av informantane hadde synspunkt på svarskalaen, bortsett frå at vi bør ha skalaen for å gjere det mogleg å samanlikne. Enkelte peikte òg på at skalaen skil godt mellom nøgd og misnøgd gjennom den bipolare inndelinga. Enkelte ville heller hatt ein meir kjend skala, aller helst den verksemdene nyttar i eigne

undersøkingar. Dette ville auka samanlikningsmoglegheitene med eigne resultat. Døme på skalaer som blir nemnt er 6 punkts eller 5 punkts tilfredsheitsskala. Eit anna moment som vert omtala, er at vi bør namngje alternativa på skalaen. At det vil gjere det lettare å formidle resultata. Positivt vridde svar Eit av undersøkingsbyråa vi intervjua har gjennomført analysar som viser at den bipolare svarskalaen vår fører til meir positive svar enn ein sekspunkts-svarskala. Resultatet av ei samanlikning dei har gjort, viser at fleire av respondentane enn tilsvarande for unipolar sekspunkts-svarskala legg seg på den positive enden av skalaen frå +1 til +3. Svarprosent Samla sett var det få som hadde synspunkt på svarprosenten. Byråa vi har snakka med seier svarprosenten er tilfredsstillande, samstundes som det alltid bør vere eit mål å auke svarprosenten. Utover å gje betre feilmarginar, er det viktig for innbyggjarundersøkinga for å få eit større rekrutteringsgrunnlag for del 2. Verkemiddel for å få opp svarprosenten vart ikkje diskutert i særleg grad. Det å auke spørsmåla sin relevans eller ta bort spørsmål vert trekt fram som faktorar som vil auke motivasjonen og kvaliteten på svara. Ottar Hellevik fekk i oppdrag å vurdere datakvaliteten til innbyggjarundersøkinga. Vurderinga hans er publisert på Difi sine nettsider. Her heiter det mellom anna: ”..innbyggjarundersøkinga er samansett av eit solid og omfattande datamateriale med mange respondentar og svar. Svarprosenten er generelt god og feilmarginane relativt små for delutvala til dei enkelte tenestene. Dataa kastar alt i alt grundig lys over tilfredsheita med ulike faktorar i offentlege tenester.” Analyse av fråfall og skeivskapar Undersøkingsbyråa vi har snakka med stadfestar at fråfallet i innbyggjarundersøkinga liknar fråfall dei sjølve erfarer i eigne liknande undersøkingar. Rapporten for del 2 kom til same resultat. Enkelte meiner vi bør gjennomføre fleire og meir djuptgåande fråfallsanalysar enn den som vart presentert i rapporten for del 2. I samanheng med dette bør vi kople fråfall i grupper frå del 1 mot fråfall i grupper frå del 2. Her peikte vi på at fråfallet var mest synleg blant dei unge og brukarane av omsorgstenester. Eit viktig spørsmål er om dette fråfallet er tilfeldig eller om det skuldast tilhøve ved undersøkinga og eigenskapar hjå respondentane. Difi vil vurdere desse momenta ytterlegare hausten 2011. Analysar av svarmønster og veit ikkje I tillegg til ynskje om at vi skal sjå meir på fråfallsanalysar får vi òg innspel som går ut på å analysere svarmønster og i kva for spørsmål veit ikkje-delen er

høg. Dette kan gje oss eit bilete av kva for spørsmål som ikkje vert opplevd som relevante eller som mange ikkje har kunnskap til å svare på. Svarmønster kan avdekkje om svara følgjer eit bestemt mønster eller varierer. Dersom svara ikkje varierer etter innhaldet i spørsmålet eller temaet dei omhandlar, er det fare for at spørsmåla vert opplevd som like. 6.2 Difi sine kommentarar Metode for gjennomføring Ingen av informantane meiner vi bør endre måten vi gjennomfører sjølve undersøkinga på (postal spørjeskjemaundersøking). Andre metodar vart likevel diskutert med informantane, då særleg telefonundersøking og nettpanel. Del 1 er ei omfattande undersøking, noko som gjer at telefonintervju som metode ikkje eignar seg. Telefonundersøkingar er òg ein kostnadskrevjande metode som stort sett resulterer i langt dårlegare svarprosentar. Studiar har òg vist at respondentane kan vere noko meir positive i svara når dei får spørsmål direkte frå ein som intervjuar dei. Eit av byråa vi snakka med skildrar nettpanel som ein svært god undersøkingsmetode. Litt avhengig av korleis panelet vert drive kan nettpanel vere ein kostnadskrevjande metode (bruk av insitament). Ei anna utfordring er at panela er sett opp ulikt i dei ulike byråa. Utsending av undersøkinga over nett (nettpanel) vil føre til at vi går glipp av den delen av befolkninga som ikkje har tilgang til eller ynskjer å svare over internett. Vår gjennomføringsmåte (eitt utval) gjer at dei same respondentane svarar både på del 1 og del 2. Då er det t.d. mogleg å sjå på om politisk ståstad, vurdering av eiga tilvere og ei rekkje andre variablar påverkar tilfredsheita med tenestene. Eitt utval gjev m.a.o. klare analytiske fordelar og kan auke nytten og bruken av dataa, t.d. innafor forsking. Framlegget om å sende ut del 1 og del 2 i undersøkinga utan opphald gjev fordelar særleg for dei som skal svare på undersøkinga. Det er òg viktig for å vareta at respondenten svarar innafor erfaringsspennet på 12 månader. Det vil vere naturleg å publisere dataa frå dei to delane samstundes dersom vi vel ei utsending utan opphald. Det gjev meining at undersøkinga bør gjennomførast annakvart år for å halde på ei viss merksemd. Frekvensen bør likevel vurderast på nytt etter kor store ulikskapar vi ser frå den eine gongen til den andre. Framlegget om å trekkje eit større utval for å kunne seie noko meir om minoritetar, t.d. gruppa innvandrarar, vil bli vurdert. Utvalet må sannsynlegvis aukast monaleg dersom det skal gje reell gevinst i analysen av tenesteskjemaa i del 2. Eit større utval vil òg føre til ein stor auke i kostnadene. Svarskala Svarskalaen i innbyggjarundersøkinga vart valt etter ein lang og grundig diskusjon. Eit av hovudargumenta var kort fortalt at den skil svært godt mellom dei som er nøgde og misnøgde ved at den er bipolar (negativ (-3) til positiv (+3)). Difor er det ikkje så lett å misforstå skalaen. I intervjua kjem det fram at

enkelte ynskjer same svarskala som den dei brukar i eigne undersøkingar. Dette er forståeleg ut frå ynskjet om å samanlikne med eigne resultat. Samstundes, for å kunne samanlikne mellom nøyaktige tal, må òg spørsmål og måten ein trekkjer utvalet på vere meir eller mindre likt. Difor er ulike typar skala ikkje det einaste hinderet for samanlikning. Det finst òg mange typar skalaer, t.d. sekspunkts, fempunkts og tipunkts. Difor vil det uansett vere utfordringar knytt til samanlikning. Ei samanlikning mellom trendar er i alle tilfelle mogleg. Eit innspel er at vi burde operere med fleire svarpunkt i skalaen då det gjev større rom for analyse. Andre undersøkingar som tek i bruk ACSI-metodikken opererer t.d. med ti punkt (frå 1-10). Vi opererer med 7 punkt, noko som gjev tilstrekkeleg rom for å nyansere svara. Namngjeven svarskala Eit synspunkt går på at vi bør namngje alternativa på skalaen for at det skal bli lettare å rapportere på resultata. Metoden vår som byggjer på ACSI-metodikken, krev at svarpunkta på skalaen er kontinuerlege. Det krev i sin tur at berre ytterpunkt kan ha namn. Positivt vridde svar Det kjem frå synspunkt på at svara våre gjev meir positivt vridde svar enn til dømes ein svarskala frå 1-6. Dersom ein bipolar skala faktisk gjev høgrevridde svar, så er samanlikning mellom bipolare og unipolare skalaer ytterlegare problematisk. Særleg når det gjeld eksakte tal. Dette utgjer likevel inga utfordring i høve til samanlikning mellom eigne resultat i innbyggjarundersøkinga. Svarprosent Som nemnt ovanfor vil det vere fornuftig å motivere respondentane i endå større grad ved neste runde. Målet må særleg vere å få fleire unge til å svare på undersøkinga gjennom t.d. premiering. Vi vil gjennomføre fleire analysar av fråfallet og i tillegg har vi sett i gong ein analyse av svarmønster og veit ikkje-delar. Målet er å fjerne spørsmål som vert oppfatta som like eller som lite relevante.

Vedlegg 1 Samtalerettleiing Difi ynskjer å evaluere innbyggjarundersøkinga. Føremålet med samtala er å innhente synspunkt på nytte, sterke og svake sider ved sjølve undersøkinga og ved Difi si formidling og analyse av dataa. Dette er berre ei rettleiing til korleis samtala kan gjennomførast, og er berre eit utgangspunkt for samtala. Vurdering av spørjeskjema Innbyggjarundersøkinga er delt i to delar. Difi ynskjer synspunkt og kommentarar på spørjeskjemaet både for del 1 og for del 2. Saknar verksemda di nokon tenester, tema, spørsmål eller bakgrunnsvariablar i undersøkinga? Nokon tema vi burde ha sett meir fokus på? Er det nokon tema eller spørsmål verksemda di meiner vi bør ta ut av undersøkinga? Er det nokon spørsmål eller tema vi absolutt ikkje bør ta ut, som er særleg nyttige for verksemda di? Har verksemda di nokon konkrete kommentarar til enkeltspørsmål når det gjeld språk, om dei er lette eller vanskelege å forstå eller liknande? Elles nokon kommentarar til korleis undersøkinga er utforma?

- Rekkjefølgje på spørsmål - Omsetjing / fleire språk - Kor ofte innbyggjarundersøkinga bør gjennomførast

Vurdering av Difi si analyse og formidling Difi formidla resultat frå undersøkinga i rapportar, på internett og på seminar. Har verksemda di kommentarar til sjølve formidlinga? Har verksemda di synspunkt på Difi si analyse av dataa? Har verksemda di kommentarar til Difi si inndeling av poengindeksen frå 0-100 som vi nytta i analysen? (0-50 poeng nøytral eller misnøgd, 51-70 poeng delvis nøgd, 71-80 poeng nøgd, 81-100 poeng svært nøgd (sjå meir om dette på side 8 i Difi-rapport 2010:14)) Har verksemda di andre synspunkt knytt til analysen eller offentleggjering av dataa? Vurderingar av nytte og relevans Innbyggjarundersøkinga skal sikre moglegheita for å samanlikne på tvers av tenester og følgje utviklinga over tid. Er det nytte og interesse for innbyggjarundersøkinga i verksemda di?

Innbyggjarundersøkinga er samansett av to delar, del 1 går ut til alle innbyggjarane, del 2 får berre brukarane svare på. Har verksemda di trong for begge desse datatypane? Korleis har innbyggjarundersøkinga vorte følgd opp av verksemda di? Har resultata frå innbyggjarundersøkinga vorte formidla internt i verksemda di? Har de noko inntrykk av korleis undersøkinga har vorte motteke internt i verksemda di? Ynskjer verksemda di å samanlikne eigne framtidige undersøkingar med innbyggjarundersøkinga? Samarbeid Har de synspunkt på Difi si involvering av verksemda di før resultata frå undersøkinga vart offentleggjort? Har verksemda di synspunkt på vidareutviklinga (prosessen) av innbyggjarundersøkinga? Har verksemda di ynskje om eller trong for samarbeid med Difi på område som t.d. analyse av resultata? Heilt til slutt, er det spørsmål vi har gløymt? Tilhøve de ynskjer å ta opp med oss, anbefalingar/tips? Data/metode I tillegg til å intervjue departement og verksemder med ansvar for dei enkelte tenestene, intervjua vi òg to undersøkingsbyrå og enkelte representantar i fagleg styringsgruppe. Dei fekk følgjande spørsmål i tillegg. Har du synspunkt på undersøkinga knytt til moglege målefeil? Validitet eller reliabilitet (skeivskapar, fråfall, målefeil.) Meiner du det er viktig å nytte same utval for høvesvis del 1 og del 2? I tilfelle ja, kvifor? Har du synspunkt på andre tilhøve som t.d.:

- Svarskala - Utvalsstorleik - Papirskjema/nettskjema

Er det andre meir kostnadseffektive måtar vi bør gjennomføre undersøkinga på?

Vedlegg 2 Liste over informantar

1. AD 2. BLD 3. FIN 4. JD 5. KD 6. KRD 7. KUD 8. Helsedirektoratet 9. IMDI 10. Kyrkjerådet 11. KS 12. Lånekassen 13. Nasjonalbiblioteket 14. NAV 15. POD 16. Statens vegvesen 17. Utdanningsdirektoratet 18. Skattedirektoratet 19. SSB 20. Synovate 21. TNS Gallup

Referanseark for Difi Tittel på rapport: Evaluering av innbyggjarundersøkinga

2009/10 DIFI sitt rapportnummer: 2011:4

Forfattar(ar): Tore Basmo Bergh og John Nonseid

Ev. eksterne samarbeidspartar:

Prosjektnummer: 2011/294

Prosjektnamn: Evaluering og videreutvikling av innbyggerundersøkelsen 2011

Prosjektleiar: John Nonseid

Prosjektansvarleg avdeling: Eivor Bremer Nebben

Oppdragsgjevar(ar): Fornyings-, administrasjons- og kirkedepartementet

Resymé/omtale: Dette notatet går igjennom dei viktigaste funna frå evalueringa av innbyggjarundersøkinga 2009/2010. Innbyggjarundersøkinga er ei av dei største innbyggjar- og brukarundersøkingane av forvaltninga i Noreg. Eit overordna mål med evalueringa er å få kunnskap om styrker og veikskapar ved undersøkinga. Vi har freista å forfølgje problemstillingar for å få fram kva som har fungert godt og dårleg, vore nyttig, gjeve effekt og vidare freista å få fram framlegg til forbetringar/endringar. Metoden byggjer på kvalitative intervju med dei departementa og direktorata/etatane som har eit direkte og/eller fagleg ansvar for tenester eller tematikk i innbyggjarundersøkinga. Vidare har vi snakka med KS som representant for dei kommunale tenestene i undersøkinga. Vi har gjennomført eitt intervju per verksemd, til saman 21 intervju. Emneord: Evaluering, innbyggjarundersøkinga, brukarar, tilfredshet med tilgjengelegheit, kommunikasjon, service, kompetanse. Samla tal på sider til trykking: Kun digital publikasjon Dato for utgjeving: 26.01.12 Utgjevar: DIFI

Postboks 8115 Dep 0032 OSLO www.difi.no