Fire tekster om forskning og styringen av den

Ronny Kjelsberg

Sammendrag

Dette er en samling av fire ulike tekster/kronikker/innlegg jeg har skrevet over det siste året som

alle omhandler ulike aspekter av hvilke konsekvenser endringer i styringen av forskning får for

forskningen. De kan gjerne leses i sammenheng. Den første er fra Universitetsavisa og beskriver

hvordan den akademiske friheten er under press både internt ved institusjonene og eksternt fra,

og fungerer som en innledning til problemstillingene i tekstene som følger. Om man skal lese

de fire artiklene i sammenheng kan ellers følgende grovt skisseres: den andre tar for seg uheldig

påvirkning på selve forskningen, den tredje på presentasjonen og tilgjengeligheten av

forskningen og den fjerde på kvalitetssikringen av forskningen.

Den andre er en kronikk fra Adresseavisen som peker på utfordringer ved oppdragsforskning –

ved at oppdragsgiver på ulike måter kan få påvirket innholdet, og den henviser til

dokumentasjon på at den har gjort det systematisk innenfor medisinsk forskning i USA.

Den tredje er et innlegg i debatten om telling av publikasjoner i Morgenbladet. Den viser til

dokumentasjon på at antallet artikler som publiseres i seg selv kan være et problem for den som

skal benytte seg av forskningen, og på problematikken rundt «predatory publishers». I tillegg

problematiserer den bruk av siteringer som kvalitetsindikator.

Den fjerde er fra Forskningspolitikk, og ser på de betydelige problemene som er dokumentert

med fagfellevurdering de siste årene. I tillegg til de tidligere nevnte «predatory publishers» har

også journaler fra anerkjente utgivere i stor skala sluppet gjennom rent datagenererte, og

forskningsmessig innholdsløse artikler.

Artiklene foreslår også noen løsninger som: publiseringsplikt, strengere retningslinjer for å sikre

akademisk frihet, mindre bruk av enkle indikatormodeller, og akademisk samarbeid om

etablering av tidsskrifter som ikke vil ha økonomiske interesser i publiseringen.

Siden kronikker og lignende ikke gir rom for akademisk kildeføring, vil jeg i denne

«samleutgaven» legge inn en litteraturliste til slutt. Siden det i liten grad er referert direkte i

teksten, er litteraturlisten laget kronologisk og ikke alfabetisk.

30.4.2015 Akademisk frihet ­ kun for festtaler eller også for hverdagen? ­Universitetsavisa

http://www.universitetsavisa.no/leserbrev/article50303.ece

Skrevet av Ronny Kjelsberg, høgskolelektor og hovedtillitsvalgt for NTL, Høgskolen i Sør-Trøndelag Publisert: 30 april 2015 12:31Sist oppdatert: 30 april 2015 12:35

Dessverre er det som både denne og flere andre debatterviser, mye som tyder på at de faktisk gjør det.

For mange ansatte i sektoren handler problemstillingene idag først og fremst om akademisk frihet. Skal det være etbegrep med reelt innhold, og ikke bare et tomt begrep tilbruk i festtaler, må det innebære at de som driver detakademiske arbeidet - de som har fagkunnskapen - må haden avgjørende makten over måten det skal utføres på.

I dag begrenses denne friheten fra to hold. Det førstepåtrykket kommer utenfra institusjonene. Det handler om atmidlene til forskning i økende grad kanaliseres gjennomferdigdefinerte ordninger definert av bl.a. NFR og ulike EU-programmer. I tillegg styres midlene i økende grad via ulikemålstyringssystemer hvor midler fordeles etter oppfyllelse avulike typer indikatorer (tellekanter) som f.eks. antallpublikasjoner.

Alt dette er praksiser som er bredt kritisert av fagfolk (sef.eks. den nylige debatten om publikasjonspoeng iMorgenbladet).

Det andre påtrykket er internt ved institusjonene. Denfaglige baserte autoriteten fra fagmiljøene er i økende gradutfordret av en mer management-orientert styringsideologiogså internt. Dette er en utvikling som har sammenfalt medat de ansatte har fått mindre makt ved institusjonene. Førstved inntoget av eksterne styrerepresentanter, som gjorde atansatte havnet i et mindretall i styrene.

Deretter ved at stadig flere institusjoner har valgt å ansetteledere på ulike nivå etter at lovverket begynte å åpne fordette som et unntak. Under forrige regjering ble så valgt ogansatt rektor likestilt. Denne regjeringen har nå foreslått ågjøre ansatt rektor til hovedregel.

En konsekvens av dette fokuset på organisering, ledelse ogøkonomi heller enn på fag er at de fleste institusjonene harlaget seg interne budsjettmodeller som ligner de nasjonale,selv om positive effekter avdenne type insentivstyring - i noentilfeller ned til individnivå - mangler vitenskapelig belegg. Enannen er at selv åpenbare faglige utfordringer nå søkes løstmed organisatoriske endringer heller enn via faglige initiativ.Regjeringens pågående strukturreformer i sektoren er et

Hjem

Akademisk frihet - kun for festtalereller også for hverdagen?Universitetsavisas oppslag fra debatten mellom Aksel Tjora og Gunnar Bovim hadde overskriften“Ledere og ansatte i hver sin verden”. Dersom ledere ved universiteter og høgskoler virkelig lever ien helt annen verden enn sine ansatte er dette svært bekymringsfullt.

Tips osstips@universitetsavisa.no

POLITIKK FORSKNING STUDENT CAMPUS

!

På område etter område har akademikerealtså fått mindre og mindre innflytelse,

både på individuelt oginstitusjonsdemokratisk nivå, til å styre

forskningen. Det er vanskelig å unngå å seat dette går ut over den akademiske

friheten.

“

”

30.4.2015 Akademisk frihet ­ kun for festtaler eller også for hverdagen? ­Universitetsavisa

http://www.universitetsavisa.no/leserbrev/article50303.ece 2/3

talende eksempel. Heller ikke slike reformer kan vise til noesærlig dokumentasjon på effekt.

På område etter område har akademikere altså fått mindreog mindre innflytelse, både på individuelt oginstitusjonsdemokratisk nivå, til å styre forskningen. Det ervanskelig å unngå å se at dette går ut over den akademiskefriheten.

Det finnes lite som indikerer at forskning som blir styrt ogformet av andre ting enn de faglig-vitenskapeligevurderingene til de som sitter med fagkunnskapen, blir avbedre kvalitet (selv om man sikkert får økt uttelling på noenindikatorer). Det er derimot mye som tyder på at slike tingtvert imot kan redusere kvaliteten på den kunnskapen somutvikles. Det er nok derfor svært mange fagfolk på ulike nivåog i ulike deler av sektoren nå uttrykker bekymring for atfagligheten og den akademiske friheten er under press, ogkjemper mot denne utviklingen på mange fronter både ikamp mot tellekantmodeller, men også i kampen for valgteledere.

De bekymringene som ansatte ved universiteter og høgskolerbærer fram er strengt tatt ikke av ny dato. En av de bestebeskrivelsen av feilene ved en slik måte å styre på jeg kanhuske å ha lest kommer fra Konfucius (Samtaler bok 2):

"If the people be led by laws, and uniformity sought to be giventhem by punishments, they will try to avoid the punishment, buthave no sense of shame. If they be led by virtue, and uniformitysought to be given them by the rules of propriety, they will havethe sense of shame, and moreover will become good."

Denne svært gamle tanken støttes også av nyeremotivasjonsforskning. Ansatte som får frihet og tillit gjørarbeid av høyere kvalitet enn de som underleggesbelønningsmodeller. Og disse nye management-modellenefår også problematiske konsekvenser for forskningen, påområder som publisering, fagfellevurdering, og finansieringvs. forskningens konklusjoner. (Se f.eks. flere nyligeinternasjonale debatter med titler som “is science broken?”.)

Når andre hensyn enn de rent faglige får stå i førersetet (åpasse inn i ferdigdefinerte programmer, oppfyllemålstyringsparamentre etc.), går det selvsagt ut overforskningen. Det var i stor grad for å unngå slike feil at denakademiske friheten ble etablert. Nå er den - i sin konkreteform som innebærer makt på institusjonene og faglig styringover forskningsressursene - i ferd med å forvitre.

Det skremmer mange ansatte. Det ville ikke vært dumt avledere i sektoren å ta denne frykten noe mer på alvor.

Tips osstips@universitetsavisa.no

Ansvarlig redaktør TORE OKSHOLEN

!

PUBLISERT: 07 NOVEMBER 2014 05:00 SIST OPPDATERT: 07 NOVEMBER 2014 05:00

FORSIDEN / MENINGER / KRONIKK

MANIPULERING AV FORSKNINGSRESULTATER AV: RONNY KJELSBERG HØGSKOLELEKTOR, HOVEDTILLITSVALGT, NTL HIST

Medisin: Ronny Kjelsberg ser alvorlig på at manipulerte resultater brukes som grunnlag for hvilke legemiddel som

godkjennes. FOTO: LEIF ARNE HOLME, ADRESSEAVISEN

Kronikk fredag 7. november 2014

Manipulering av

forskningsresultater Vitenskapen er i dag trygt etablert som den beste måten å

kvalitetssikre, og oppnå ny kunnskap på. Det betyr selvsagt

ikke at vitenskapen slik den praktiseres i dag, ikke har

svakheter. Kronikk

Det har den. Betydelige. Men alle andre metoder for erkjennelse har både de problemene vitenskapen

i dag har, samt en hel rekke andre i tillegg. Likevel er det grunn til å se kritisk på måten store deler av

forskningen foregår på i dag.

En utfordring for vitenskapen er veksten i oppdragsforskning. Det finnes flere eksempler på

hvordan oppdragsgivere bevisst forsøker å påvirke forskningsresultatene. Et norsk eksempel er

hvordan Arbeidsdepartementet i 2010 forsøkte å manipulere Sintef til å endre konklusjonene i en

forskningsrapport. Sintef kunne ikke avdekke at det norske sykefraværet var spesielt stort

sammenlignet med andre land. Den konklusjonen var oppdragsgiveren mindre fornøyd med. I dette

tilfellet varslet forskeren om det hun syntes var et overtramp. Det vi ikke kjenner til er hvor mange

tilfeller vi har hvor forskeren føyer seg, hvor påvirkningen er mer subtil, eller rett og slett hvor

forskeren bevisst eller ubevisst har oppdragsgiveren i bakhodet mens forskningen utføres, og

rapporten/konklusjonene formuleres.

En kvantitativ studie fra 2010 på forskningsresultater innenfor medisin (Bourgeois, Murthy og

Mandl), viste at av industrifinansierte studier viste 85 prosent effekt av medisinen som ble testet,

mens offentlig finansierte studier ga positivt resultat på bare 50 prosent - av de samme medisinene.

Like viktig for forskningen og hva som framstår som den vitenskapelige konsensusen på et felt, som

selve forskningsresultatene, er hva som publiseres. En såkalt «publication bias» er veldokumentert.

Både fra tidsskriftenes side, og fra forskernes side vil man være villig til å legge litt mer arbeid i å få

publisert «spennende» forskningsresultater og forskningsresultater som bekrefter en teori man ønsker

å framsette, enn man vil med forskningsresultater som er mer «kjedelige», eller som ikke bekrefter

teorien din. Enkeltstudier gir ofte relativt lite informasjon (et statistisk avvik kan f.eks. være årsaken

til resultatet). Man er derfor avhengig av metastudier, eller systematiske review-artikler som

gjennomgår all forskning på et felt for å skaffe seg noenlunde sikker kunnskap. Når ikke all forskning

publiseres vil derimot resultatet av disse gjennomgangene kunne bli skjevt.

Den britiske legen Ben Goldacre har i boken «Bad Pharma» sett på dette innen medisinen. La oss se

på et av eksemplene han trekker fram:

I 2008 besluttet en gruppe forskere å sjekke publiseringen av alle forsøk som var blitt rapportert til

US Food and Drug Administration (FDA) for alle antidepressiva som kom på markedet mellom 1987

og 2004. Forskerne fant 74 studier totalt, som representerer 12500 pasienter. 38 av disse studiene

hadde positive resultater, og fant at den nye medisinen virker, 36 var negative. I virkeligheten var

altså studiene som viste effekt og ikke, jevnt fordelt.

Deretter lette forskerne etter disse studiene i den publiserte vitenskapelige litteraturen, det materialet

som er tilgjengelig for leger og pasienter. Dette ga et helt annet bilde. 37 av de positive studier - alle

unntatt én - ble offentliggjort i sin helhet, ofte med mye fanfare. Forsøkene med negative resultater

hadde derimot en helt annen skjebne: bare tre ble publisert. 22 ble aldri publisert, mens elleve som

hadde negative resultater i FDA-sammenheng, ble publisert som positive. Her ser vi altså en

kombinasjon av manipulering av forskningsresultatene (statistisk «knaing» av data for å få fram et

annet resultat enn det rent vitenskapelige), og en manipulering av publiseringen gjennom systematisk

å unnlate å publisere negative forsøk.

En påvirkning av innholdet i det enkelte forskningsresultat vil selvsagt være en manipulering av

forskningen, men likeledes vil en bevisst eller ubevisst manipulering av hva som publiseres eller ikke

i fagfellevurderte tidsskrifter være en manipulering av hva som er den samlede forskningsstatusen på

et felt, og det vil i sin tur manipulere resultatene av metastudier som oppsummerer og konkluderer på

statusen av forskningen på et felt. Dette er særlig alvorlig fordi det er disse studiene som ofte brukes

som grunnlag for avgjørelser, både på hvilke legemidler som godkjennes og på ulike politiske vedtak.

Nå kan det jo være at legemiddelindustrien er en av «verstingene», men det er ingen grunn til å tro at

mekanismer som dukker opp i medisinsk forskning, ikke også opptrer i andre deler av vitenskapen.

Dette er en utfordring som bør løses. En mulighet er at institusjoner pålegges publiseringsplikt på

sine forskningsresultater, og at kun forskningsresultater fra slike institusjoner kan tas inn i

metastudier og systematiske review-artikler. Alle slike aktører må likevel også ha strenge

retningslinjer som sikrer forskningens frihet og uavhengighet og hindrer påvirkning fra

utenforstående (oppdragsgiver, politiske interesser etc.) på forskningsresultatene og presentasjonen av

dem. Spørsmålet er om dette kan oppfylles i praksis for institusjoner som er økonomisk avhengig av

nye forskningsoppdrag. I så måte er en sterk offentlig grunnfinansiering uten bindinger den eneste

måten å garantere fri forskning på.

Publisering, telling og forskningsformidling Publisert: 17. april 2015 - 3:21

PUBLISERING Det har alltid vært et fokus på å

publisere i vitenskapen. Dette har derimot blitt

forsterket etter at stadig flere forskningsmiljøer er

omfattet av ulike typer av målstyringsregimer. Når

man belønner på bakgrunn av antall publiserte

artikler, vil man naturligvis få publisert stadig

flere artikler. Spørsmålet er om mengden artikler

er et godt mål for mengden forskning, eller

mengden utviklet kunnskap, slik Erik Boye

problematiserer i Morgenbladet 20. mars.

Såkalte «minste publiserbare enhet»-artikler er blitt en stående vits blant

akademikere. Når man har et forskningsresultat klart, er ikke det første spørsmålet

«Hvordan kan vi presentere dette på en faglig sett best mulig måte?», men heller

«Hvor mange artikler kan vi få ut av dette?»

Alper med flere har i artikkelen «How much effort is needed to keep up with the

literature relevant for primary care?», forsøkt å finne ut hvor mye tid en allmennlege

må bruke for å holde seg oppdatert på forskningen som er relevant for feltet sitt.

Forskerne samlet inn relevante akademiske artikler publisert i løpet av en måned.

Selv om man bare bruker få minutter på hver artikkel, beregnet de at det ville ta en

lege omtrent 29 timer hver ukedag å skumme igjennom alle.

Man har altså laget et system hvor måten forskningsresultater presenteres på, gjør at

de blir utilgjengelige for dem som burde kunne nyttiggjøre seg dem.

Måten de fagfellevurderte vitenskapelige tidsskriftene opererer på, er også

problematisk. Mange er eid av store private forlag som mottar artikler og får

RELATERTE ARTIKLER Mer eller mindre

publisering Publiser mindre, ikke mer Drukner i halvferdig

forskning Forvirrende kritikk

«Såkalte 'minste publiserbare enhet'-artikler er blitt en stående vits blant akademikere.»

fagfellevurdering utført helt gratis samtidig som abonnementene er svært dyre. Dette

gjør at svært mye potensielt viktig kunnskap stenges inne bak høye betalingsmurer.

Et svar på dette har vært såkalt åpen publisering, men der har kvalitetssikringen så

langt vært svært svak, og det har dukket opp en lang rekke såkalte «predatory

publishers». Disse tjener penger på å kreve høye publiseringsavgifter fra akademiske

institusjoner og har fagfellevurdering i navnet, men ikke i gavnet. Jeffrey Beall fra

University of Colorado har dokumentert en eksplosjon i slike utgivere fra 18 i 2011 til

477 i 2014. Den stadig økte (og innimellom institusjonaliserte) bruken av databasen

Google Scholar, som i liten grad filtrerer ut slike publikasjoner, forsterker dette

problemet.

Det er lett å være enig med Erik Boyes resept: «Stopp å telle artikler». Det er likevel

en betydelig fare for at politikere, byråkrater og ansatte ledere i sektoren som er godt

skolerte i «balansert målstyring» med tilhørende indikatorer og ressursallokering

basert på disse, kan velge å telle mer heller enn mindre. Statssekretær Haugstads

innlegg om publiseringer i Morgenbladet 27. mars, samt regjeringens

strukturmelding, hvor en rekke nye indikatorer skal utredes med en ambisjon om å

øke budsjettposten som tildeles på bakgrunn av disse, minker ikke denne

bekymringen.

Bruk av siteringer er den mest vanlige «kvalitetsindikatoren» på publikasjoner.

Dessverre er heller ikke denne uten fallgruver. En ting er å skille ut siteringer «til

skrekk og advarsel» eller basert på ren nyhetsverdi opp mot de faglig anerkjennende.

En annen ting er at det allerede er avdekket «siteringsringer» og forsøk fra

tidsskrifter på å presse forfattere til å sitere fra deres publikasjoner. Også her får altså

tellingen svært uheldige konsekvenser.

Disse svakhetene i måten forskning formidles på vil kunne få store konsekvenser for

de beslutninger som tas på bakgrunn av forskning, noe som samfunnsmessig er svært

uheldig. Når skal beslutningstagere ta innover seg at vitenskapen er for kompleks til å

styres etter enkle indikatormodeller? Forhåpentligvis før det er for sent.

Ronny Kjelsberg

Høgskolelektor og hovedtillitsvalgt NTL HiST

Svak kvalitetssikring av forskningenIfølge forfatteren av dette innlegget tyder mye på at fag-fellevurdering, slik den i dag praktiseres av så vel «open access» som tradisjonelle tidsskrifter, har så mange svak-heter at det reiser tvil om hvorvidt kvalitetssikringen av vitenskapelig kunnskap er god nok. Strukturelle endringer i publiseringssystemet er nødvendig, mener han.

ronny KjElSbErg, høgskolelektor, hovedtillitsvalgt ntl, Høgskolen i Sør-trøndelag ronny.kjelsberg@gmail.com

deBAT T

Det er i dag vel etablert at vitenskap er den beste måten å kvalitetssikre og oppnå ny kunnskap på. Det betyr selvsagt ikke at vitenskapen slik den praktiseres i dag, ikke har svakheter. Det har den. Betyde-lige. Men alle andre metoder for erkjen-nelse har ikke bare de problemene viten-skapen har, men også en hel rekke andre i tillegg. Ikke desto mindre er det grunn til å se kritisk på måten store deler av forsk-ningen foregår på i dag. Et av de viktigste elementene som gjør at vitenskap gir sikrere kunnskap enn andre informa-sjonskilder, er fagfellevurdering (peer review): alle arbeider som publiseres vitenskapelig, skal godkjennes og kvali-tetssikres av andre fagfolk i en anonym evalueringsprosess for å sikre at de holder mål.

Dagens vitenskapelige tidsskrifter blir ofte kritisert for at abonnementene er dyre og hindrer dem som ikke har råd til dem, i å få tilgang til viktig vitenskapelig kunnskap. Ett svar på utfordringene med dyre og lukkede tidsskrifter har vært såkalt «open access»-publisering, der institusjonene betaler tidsskriftene for at publikasjonene skal kunne legges ut åpent for alle. I utgangspunktet høres det ut som en god idé, men selv om open access sikrer åpen publisering, kan økonomien forvrenge forskningsresultatene også i dette systemet. I oktober 2013 avslørte John Bohannon i en artikkel i Science med tittelen Who’s Afraid of Peer Re-view? at fagfellevurderingen i store deler av open access-journalene er svært svak eller ikke-eksisterende. I løpet av ti måne-der hadde Bohannon under et fiktivt pseudonym med en fiktiv institusjons-adresse sendt en artikkel med åpenbare

og grunnleggende vitenskapelige feil til 304 open access-tidsskrifter. Ifølge Bo-hannon skulle “any reviewer with more than a high-school knowledge of che-mistry and the ability to understand a basic data plot [...] have spotted the paper’s short-comings immediately». Artikkelen ble antatt av 157 tidsskrifter og forkastet av 98. I disse tidsskriftene er altså reell fagfellevurdering unntaket, regelen er at hva som helst publiseres. Bohannon er ikke i tvil om årsaken:

«From humble and idealistic begin-nings a decade ago, open-access scientific journals have mushroomed into a global industry, driven by author publication fees rather than traditional subscriptions.»

Hvordan er så kvaliteten på fagfelle-vurderingen i tradisjonelle abonnements-tidsskrifter? Den er selvsagt svært varia-bel, avhengig av tidsskriftets renommé, men en del forskere frykter at det ikke nødvendigvis er noe bedre der. I en kro-nikk i Morgenbladet 17. januar i år hev-der Bjørn Samset og Henrik Svendsen at:

«[f]lere forskere og universitetsledere [...] har imidlertid påpekt at Bohannons prosjekt egentlig ikke hadde noe med open access å gjøre. […] Det er fullt mulig at de etablerte tidsskriftene ville ha gjort lignende tabber.» Dette ble bekref-tet i en artikkel i Nature 24. februar 2014 (Richard Van Noorden, Publishers withdraw more than 120 gibberish pa-pers) som avslørte at over 120 forsk-ningsartikler som overhodet ikke var skrevet av et menneske, men generert av et dataprogram og rent vitenskapelig var fullstendig innholdsløse, var sluppet

gjennom det nåløyet som peer review skal være hos så anerkjente vitenskapelige utgivere som Springer og IEEE (The Institute of Electrical and Electronics Engineers).

Dette er dramatisk og fortjener større oppmerksomhet både i forskningsmiljøer og allmennheten enn det har fått.

I sin kronikk kritiserte Samset og Svendsen dessuten de store tidsskriftene for å publisere artikler i større grad basert på nyhetsverdi enn på vitenskapelig kvali-tet. Det gir mange siteringer og dermed en kunstig høyere «ranking» i akademiske telle- og målesystemer. Igjen får vi altså bekreftet at New Public Management-systemer fungerer dårlig; mennesker har det med å tilpasse seg de strukturene de blir underlagt, og tillit og faglig integritet blir lett skadelidende.

Det er også åpenbart en fare for at det gratisarbeid som fagfellevurdering er, blir nedprioritert i en travel arbeidshverdag hvor målstyringssystemer skaper stadig økende press på å produsere nettopp de indikatorene som man måles på. Svak kvalitetssikring kan svekke forskningens kvalitet like mye som forskerslurv kan gjøre det.

Hvordan kan vi begrense disse problemene? Tidsskriftene og fagfellevurdert publise-ring bør for det første frigjøres fra kommersielle aktører som har sterke ikke-vitenskapelige interesser knyttet til publiseringen. F.eks. kan universiteter samarbeide om å opprette vitenskapelige tidsskrifter som ikke har som formål å tjene penger for utgiveren, men kun holde et høyt vitenskapelig nivå og å gjøre forskning tilgjengelig for allmennheten. Fagfellevurdering bør videre tas inn som en del av stillingsbrøken til de viten-skapelig ansatte som har disse oppgavene, slik at det ikke blir en nedprioritert «ekstraoppgave».

I de enkelte studier har man gjennom vitenskapelig metode utviklet en stringent metodikk for å luke ut ulike former for systematiske avvik. På metanivået har vi derimot tydeligvis ikke en metode som er like stringent og god. Strukturelle endrin-ger som foreslått over kan forhåpentligvis bidra til å rette opp i dette.

“selv om open access sikrer åpen publise-ring, kan økonomien forvrenge forsknings-resultatene også i dette systemet”

26 Forskningspolitikk 3/2014

Litteratur

Akademisk frihet - kun for festtaler eller også for hverdagen?

Time, Jon Kåre (2015) Drukner i halvferdig forskning. Morgenbladet 19.3.2015.

http://morgenbladet.no/samfunn/2015/drukner_i_halvferdig_forskning#.VXaFTYuzLAx

Meld.St. 18 (2014-2015) Konsentrasjon for kvalitet Strukturreform i universitets- og

høyskolesektoren. s. 69 https://www.regjeringen.no/nb/dokumenter/meld.-st.-18-2014-

2015/id2402377/

Elken, Mari, Stensaker Bjørn (2015) Organisering av flercampusuniversitet En diskusjon av

prinsipper og etablert praksis ved noen utenlandske læresteder. Arbeidsnotat 10/2015 NIFU.

http://www.ntnu.no/documents/1262755726/1262827395/NIFUarbeidsnotat2015-

10.pdf/28e53fff-ba1c-41a6-b615-874be9cfaaf8

Confucius (500 fvt.) The Analects. http://classics.mit.edu/Confucius/analects.1.1.html

Pink, Daniel (2011) Drive The Surprising Truth About What Motivates Us. Riverhead books

Woolstone, Chris (2015) Online debate erupts to ask: is science broken? Nature.com

http://www.nature.com/news/online-debate-erupts-to-ask-is-science-broken-1.17156

Manipulering av forskningsresultater

Moe, Ingeborg (2011) Ble forsøkt diktert av departement. Aftenposten 12.10.2011.

http://www.aftenposten.no/nyheter/iriks/Ble-forsokt-diktert-av-departement-5353035.html

Bourgeois FT, Murthy S, Mandl KD. (2010) Outcome Reporting Among Drug Trials

Registered in ClinicalTrials.gov. Annals of Internal Medicine. 2010;153(3):158–66

http://www.ncbi.nlm.nih.gov/pubmed/20679560

Goldacre, Ben (2012) Bad Pharma How Drug Companies Mislead Doctors and Harm

Patients. Fourth Estate

Publisering, telling og forskningsformidling

Boye, Erik (2015) Publiser mindre, ikke mer. Morgenbladet 20.3.2015.

http://morgenbladet.no/debatt/2015/publiser_mindre_ikke_mer#.VXaKrouzLAw

Alper, Brian S. m.fl. (2004) How much effort is needed to keep up with the literature relevant

for primary care? J Med Libr Assoc. 2004 Oct; 92(4): 429–437.

http://www.ncbi.nlm.nih.gov/pmc/articles/PMC521514/

Beall, Jeffrey (2015) Potential, possible, or probable predatory scholarly open-access publishers.

http://scholarlyoa.com/publishers/

Beall, Jeffrey (2014) Google Scholar is Filled with Junk Science.

http://scholarlyoa.com/2014/11/04/google-scholar-is-filled-with-junk-science/

Meld.St. 18 (2014-2015) Konsentrasjon for kvalitet Strukturreform i universitets- og

høyskolesektoren. s. 69 https://www.regjeringen.no/nb/dokumenter/meld.-st.-18-2014-

2015/id2402377/

Haugstad, Bjørn (2015) Norske forskere publiserer mer og bedre. Morgenbladet 27.3.2015.

http://morgenbladet.no/debatt/2015/norske_forskere_publiserer_mer_og_bedre#.VXaMgouzL

Aw

Rekdal, Ole Bjørn (2014) Tvilsom kildebruk truer kvaliteten i forskningen. Forskning.no

24.10.2015. http://forskning.no/meninger/kronikk/2014/10/tvilsom-akademisk-kildebrukden-

akademiske-hviskeleken

Noorden, Richard Van (2012) Researchers feel pressure to cite superfluous papers.

Nature.com 2.2.2012. http://www.nature.com/news/researchers-feel-pressure-to-cite-

superfluous-papers-1.9968

Svak kvalitetssikring av forskningen

Bohannon, John (2013) Who’s Afraid of Peer Review? Science 4.10.2013.

http://www.sciencemag.org/content/342/6154/60.full

Bjørn H. Samset, Henrik H. Svensen (2014) Forskning viser: Alt og ingenting. Morgenbladet

17/1 2014.

http://morgenbladet.no/ideer/2014/forskning_viser_alt_og_ingenting#.Uue8CrQ1imwW

Noorden, Richard Van (2014) Publishers withdraw more than 120 gibberish papers.

Nature.com 24.2.2014. http://www.nature.com/news/publishers-withdraw-more- than-120-

gibberish-papers-1.14763