23.09.2013

1

Evalueringskonferansen 2013 Forventning og forvirring - følgeforskningens rotete roller Bergljot Baklien SIRUS

Dagens program: «Nytten av evalueringer avhenger av at resultatene er pålitelige og relevante. Hvilke metodiske utfordringer oppstår i ulike typer evalueringer? Kan utformingen av evalueringer bidra til at forskerne møter utfordringene på en måte som sikrer pålitelige og brukbare resultater?« Brukbar evaluering dreier seg om mye mer enn teknikker og resultater. Evalueringer kan være brukbare underveis: Prosess, formativt, følgeforskning

23.09.2013

2

Evalueringens potensiale for innovasjon og fornying Å forske med, ikke bare på eller for. Å forske med gir en åpning for å bidra til innovasjon Jf Michael Quinn Patton (2011), Developmental Evaluation: Applying Complexity Consepts to Enchance Innovation and Use.

Patton: Developmental evaluation – følgeforskning – Klargjør handlingsrommet, støtter utviklingen av innovasjon og av nye måter å gjøre ting på. Evalueringens resultat er utvikling og læring, ikke vurdering av måloppnåelse eller forbedring av en forhåndsutviklet modell Dette har konsekvenser for evaluatørens rolle, forutsetter en relasjon preget av respekt og tillit - resultatfokusert, læringsorientert.

23.09.2013

3

Følgeforskningens læringsprosess

Forskeren

Gi kunnskap og innsikt i prosessene i tiltaket

Deltakerne Utvikle selvrefleksjon og bevissthet om handlings- rom og prosesser Styrke intern læring, kompetanse og evne til nytenkning

Viktige forskjeller: Følgeforskeren er ”uansvarlig” - deltar ikke i aksjoner Forskerne er ikke ansvarlig hovedaktører, men heller ikke nøytrale betraktere

Følgeforskning som bindeledd

Forskning som observerer ”nøytralt” fra sidelinjen

Aktiv aksjonsforskning

Forskeren er bare ansvarlig i forhold til vitenskapelige krav om å drive relevant og god forskning, og å formidle denne både tradisjonelt og gjennom dialogen slik at den når fram.

23.09.2013

4

Dialogen mellom forskerne og de utforskede skal tydeliggjøre de utforskedes handlingsrom. Synliggjøre de ulike virkelighetsbildene og vise konsekvensene av at de er ulike. Forskerens forpliktelse til tilstedeværelse i prosessen Evalueringer foregår ofte i en uryddig virkelighet - Vi kan ikke late som om den er ryddig Deltakelsen innebærer en kronglete balanse mellom nærhet og distanse. Forskerrollen blir utydelig, særlig i datainnsamlingen, men også i formidlingsprosessen.

Sosiale relasjoner er et sentralt element i det vi studerer – sosiale prosesser påvirker hvordan det går i tiltaket Like viktig er relasjonene mellom evaluatør og nøkkelaktører/stakeholders. Forskeren har et relasjonelt ansvar og bør være seg bevisst hva hennes inngripen kan føre til. Abma, T.A. & Widdershoven, G.A.M. (2008): Evaluation and/as social relation. Evaluation 14: 209–225

23.09.2013

5

Dette er metodebøkenes blanke sider Øke bevisstheten om følgeforskerens uklare rolleavgrensninger og om handlingsrommet. Kanskje diskutere noen etiske spilleregler. Gjelder kvalitativ forskning generelt, men blir spesielt akutt i evalueringsforskning. Evalueringer kan ha store konsekvenser for de utforskede, de evaluerte. Prosjekter og tiltak kan bli nedlagt, eller de kan bli noe varig. Folk kan miste jobben. Å bidra til endring, betyr ofte å utfordre maktposisjoner.

Om nærhet og distanse (Album 1996): Vi må komme nær nok til å forstå de utforskedes verden. Vi må være fjernt nok til å kunne oppdage og sette ord på det selvfølgelige, og til løfte analysen fra det trivielle. Hvordan får vi til det? Utfordringene må løses der og da. De valgene evalueringsforskeren gjør, har konsekvenser for folk vi har kommet tett på. Jo lengre tid evalueringen får, jo nærmere kommer man hverandre, og jo større er sjansen for rollerot. Ofte stor nærhet i avgrensede tidsperioder.

23.09.2013

6

Jo lenger feltarbeid, jo nærere blir relasjonen mellom forsker og informant, og jo mer ladet blir relasjonen. Jo lenger feltarbeid, jo mer vil forsker og informant komme til å angå hverandre. Vi får mer kunnskap, men vi møter også flere utfordringer. Ensomheten i det lange feltarbeidet - Følgeforskeren er både utenfor og innenfor det fellesskapet som de utforskede representerer.

Evaluering av tiltak med høyt konfliktnivå - Når ulike parter i en bitter konflikt vil ha forskeren på sin side? Når vi blir utsatt for alliansebygging? Å bli noens alliansepartner, kan bedre tilgangen til data. Er det uproblematisk? Når blir vi brukt i et spill vi ikke ser rekkevidden av? Krav til diplomatiske evner – Kan vi være venner med alle?

23.09.2013

7

Forventninger til forskeren (Cronberg 1992): Være kompass for utstaking av en omstridt kurs? Være søppelbøtte der de utforskede kan tømme sine frustrasjoner? Skal vi skjerme oss for slike situasjoner? Fordi det kan bidra til et skjevt bilde av det vi evaluerer? Unngår vi søppelbøtte-situasjonene kan vi gå glipp av viktige rammebetingelser og prosesser i tiltaket vi følger/ evaluerer.

Samspill med dem vi liker og dem vi misliker Forskeren er ingen nøytral robot, men kan ha både sympatier og antipatier. Blant de utforskede møter vi systemer og folk som vi liker og som vi misliker. Hvordan forholder vi oss til det? Særlig hvis vi skal omgås vedkommende over tid, i felten?

23.09.2013

8

Feltarbeidet har ikke alltid et tydelig preg av arbeid. ”Vennskap som metode” kan gi gode data, men har etiske utfordringer. Den tilliten forskeren blir møtt med, kan knyttes mer til henne som person, og mindre til hennes posisjon og kompetanse som forsker.

Etiske utfordringer: • Hvordan forholder vi oss til datainnsamling fra svake og sårbare grupper? Rus? Psykiatri? (de kan bli psykotiske) • Hvordan møter vi mistillit? • Alle sosiale relasjoner er på en eller annen måte

hierarkiske, hvordan forholder vi oss til maktaspektet i relasjonene?

• Hvor ligger evalueringsforskerens lojalitet? Hvor bør den ligge?

23.09.2013

9

Jf. Fossåskaret (1997:263) I blant må vi manøvrere mellom motstridende lojalitetskrav:

• Lojalitet mot informanter og det sosiale

systemet som blir observert. • Lojalitet overfor faget.

«Ideelt sett kan ikkje forskaren prute på faglege krav fordi han ønskjer å ha det greitt med den han samhandlar med som observatør eller deltakande observatør.»

Hva er et intervju? Hvordan bruker vi feltsamtaler og data innhentet i uformelle sammenhenger? Når blir det rollerot? Når slutter jeg å være evalueringsforsker? Hvilke forventninger har de utforskede til oss?

23.09.2013

10

I hvilken grad er forskeren klar over hvilken rolle hun er i til en hver tid? Er de utforskede klar over hvilken rolle jeg er i? Hvordan behandler jeg den kunnskapen jeg får mens forsker og utforsket drikker øl sammen? Kanskje kan den være grunnlag for et intervju dagen etter?

Formidlingsprosessen Når vi har få og identifiserbare informanter Hvordan sier jeg at det gikk dårlig fordi tiltaket hadde en ubrukelig prosjektleder? Hvordan kan det å ha vært tett på, påvirke hva vi formidler etterpå?

23.09.2013

11

Til slutt: Det er ikke så enkelt som at «Nytten av evalueringer avhenger av at resultatene er pålitelige og relevante.» Den objektive tilnærmingen har noen normative konsekvenser. Den distanserte posisjonen kan bygge opp om eksisterende hierarkier og maktrelasjoner.

Evaluatøren har et relasjonelt ansvar og trenger bevissthet om rollene, om forventningene og forvirringen. Takk for oppmerksomheten.