Folk er subjektive vesen som juksar, slurvar og gjer feil. For at noko skal vere vitskap, må objektiviteten sikrast. Andre må ha mogelegheit til å gå arbeidet etter i saumane. Det blir kalla etterprøving.

Når dokumentasjonen av forskingsprosessen er god og tilgjengeleg, blir det mogeleg for uavhengige forskarar å gjere heile eller delar av arbeidet om att – for å sjå om resultatet blir nokolunde det same. Debatten rundt temaet har flamma opp den siste tida.

På fleire fagfelt har til dels oppsiktsvekkande mange forskingsfunn ikkje vore mogelege å reprodusere. Dette har ført til spørsmål kring verdien av dei originale funna – og enkelte har trekt heile fagfelt i tvil.

Praktisk vanskeleg

Geir Kjetil Sandve forskar på biomedisinsk informatikk ved Universitetet i Oslo (UiO) og veit kor praktisk vanskeleg etterprøvinga kan vere. Fleire gonger har han og mastergradsstudentane han rettleier prøvd seg på reproduksjon.

– Ved å få tak i data frå originalarbeid og gjere utrekningar og analysar på nytt, kan ein setje seg effektivt inn i eit felt, forklarer Sandve.

Bioinformatikk handlar dessutan mykje om å utvikle metodar. Det kan vere interessant å prøve desse på arbeidet til andre og samanlikne resultata. Problemet er at det nesten aldri fungerer.

– Det har ikkje vore nok detaljar i artiklane – sjølv frå tidsskrift som Nature. Då har vi kontakta forfattarane, men utan å få gode nok svar, seier Sandve.

Han meiner det berre er nokre få vitskapelege tidsskrift som går i bresjen og legg skikkeleg til rette for etterprøving. Konsekvensen er at få tek seg tid til slikt, trur Sandve.

Publiserer likevel

Mange tidsskrift ser gjennom fingrane med forsking som er vanskeleg å nøste opp i, trass i eigne retningsliner, meiner Joar Øveraas Halvorsen, psykolog og forskar ved Nidaros DPS ved St. Olavs Hospital i Trondheim.

Dei største tidsskrifta innan klinisk psykologi og klinisk medisin er samde om berre å publisere kliniske studiar der forskingsprotokollen er publisert i offentlege databasar på førehand.

Slike protokollar skildrar i detalj kva forskarane vil finne ut og korleis dei skal gå fram. Etterpå blir det enklare å sjå om strikken blei strekt for langt. Om protokollen skildrar noko anna enn den publiserte artikkelen, er det eit raudt flagg. Halvorsen er oppgitt over at retningsliner av denne typen berre blir etterlevd i avgrensa grad.

– Når tidsskrifta får inn sexy forskingsresultat, publiserer dei gjerne likevel, trass i at førehandsregistreringa manglar, seier psykologen.

Fisketur

Han understrekar at ein aldri kan stole på enkeltvise funn. Forskarar kan ha eigeninteresser både økonomisk og intellektuelt som påverkar resultata. Ein del statistisk signifikante funn kjem av tilfeldig variasjon.

Dersom ein forskar prøvar ut ulike analysemetodar på jakt etter noko å publisere, aukar faren for slike falske positive. Halvorsen meiner vi her står ved kjernen av det som blir kalla tvilsam praksis i forsking.

– Ein samlar inn store mengder data og set i gong med analysar utan å ha ein plan. Enkelte nyttar uttrykket «å dra på fisketur», seier Halvorsen.

Sandve skildrar problemet på denne måten:

– Det kan vere mykje prøving og feiling i forskingsprosessen. Ein startar kanskje med ti ulike mogelegheiter og tek ikkje bryet med å notere ned alle detaljar før ein kjem over noko som fungerer.

«Forskingsparasittar»

Dessutan er det lite prestisje å hente for forskarar som vil reprodusere arbeidet til andre. «Forskingsparasittar» var omgrepet som blei brukt av to redaktørar i ein kommentarartikkel i New England Journal of Medicine i januar.

– Sjølv om dei fleste er samde i at reproduksjon er viktig, så har ein synda mot det. Auka fokus på temaet er på høg tid, seier Halvorsen.

Han meiner forskarar bør vere forplikta til å gjere data tilgjengelege når finansieringa stammar frå det offentlege. Han etterlyser også meir fokus på reproduksjon frå institusjonane som løyver pengar.

Dei som har lyst å gjere den typen studiar, bør få finansiering. Finansieringsinstitusjonane bør også legge vekt på mogelegheitene for reproduksjon ved vurdering av metodedelen i eit prosjekt.

– Dersom det står mellom ein studie med ein sexy hypotese, og ein reproduksjon med god metode, meiner eg det er reproduksjonen som bør få finansiering, seier Halvorsen.

Han har ikkje sett at Forskingsrådet eller andre norske finansieringsinstitusjonar har hatt eksplisitt fokus på dette. Det same rapporterer Sandve:

– Eg har høyrt forskarar seie det er flott med reproduserbarheit, men at det ikkje opnar dører hjå Forskingsrådet, seier han.

Automatisk loggføring

Bioinformatikaren har trur på å bruke og utvikle system som automatisk loggfører statistiske utrekningar og endringar i data.

– Med dagens publiseringspress nyttar det ikkje å moralisere for å få folk til å loggføre prosessane meir nøyaktig. Det er betre med rutinar der ein nesten ikkje treng tenkje på dette, seier Sandve.

Han arbeider i systemet Galaxy, som UiO har satsa på som plattform for sine nettportalar innan livsvitskap.

– Dette er eitt av dei fremste systema i verda når det gjeld automatisk sikring av mogelegheitene til å kunne reprodusere forsking. Bruken er ikkje avhengig av forskingsdisiplinen, seier Sandve.

Verdifullt også utan robuste funn

Der omattforskinga til slutt viser nok anna enn originalforskinga, vil det ikkje nødvendigvis seie at ho avkreftar dei føregåande resultata. Det inneber likevel at vi ikkje kan vere trygge på at originalfunna var robuste. Det treng på si side ikkje bety at den første forskingsinnsatsen taper verdi.

– I mi verd finst det ikkje feil forskingsfunn med mindre det er snakk om juks eller metodiske feil. Testing av hypotesar som viser seg å ikkje stemme, har like stor verdi som forsking der hypotesane blir stadfesta, seier Halvorsen.

– Eit grunnleggande krav til all forsking

Forskingsrådet kunne kanskje finansiert fleire reproduksjonar, seier administrerande direktør Arvid Hallén.

Han meiner det er svært viktig at forskingsresultat lèt seg reprodusere.

– Ein enkeltståande studie vil normalt ikkje vere avklarande, men når fleire studiar kan stadfeste resultata, blir forskinga ny kunnskap, seier Hallén.

– Er reproduserbarheit eit sjølvstendig kriterium i søknadsprosessane?

– Reproduserbarheit er eit grunnleggande krav til forsking. Våre prosjekt blir vurdert ut frå vitskapeleg kvalitet. Dei internasjonale ekspertane vi brukar, er raske til å påpeike svak metodisk kvalitet i søknadane.

– Finansierer Forskingsrådet reproduksjonsstudiar – eventuelt kor mange?

– Vi har ikkje eit system der vi registrerer talet på reproduksjonsstudiar vi finansierer, men det er ikkje umogeleg at vi burde hatt fleire enn det vi har.

– Har Forskingsrådet på andre måtar signalisert til norske forskarar at reproduserbarheit er viktig?

– Søkarane til Forskingsrådet må gjere grundig greie for design, metode og gjennomføring. Krav om lagring av forskingsdata er éin måte å gjere forskinga etterprøvbar på.

– Meiner Forskingsrådet at reproduksjonsstudiar er viktige?

– Ja, og medvitet kring dette hjå oss og i forskingsmiljøa er aukande. Summen av forsking, inkludert reprodusering og overlappande studiar, gir solid kunnskap, seier Hallén.

Når vestlige forskere og politikere snakker om hvordan vi kan få ned klimagassutslippene til private bedrifter blir det ofte til en diskusjon om skatter og avgifter. Enten det er snakk skattelette til grønne firma eller avgiftssmekk til de som forurenser, er det toppledelsen og aksjonærene som skal avskrekkes fra å koke kloden.

Men nå har en gruppe forskere fra den amerikanske tenketanken National Bureau of Economic Research vist at det kan lønne seg å jobbe litt mer med arbeidstakerne, og mindre med sjefene. Spesielt når de jobber i en bransje som forurenser mye. 

Fikk pakker i posten med informasjon

Hver måned fikk flykapteinene i selskapet Virgin Atlantic Airways et brev i posten. I det fikk de klar beskjed om hvordan de hadde fløyet den siste måneden, og hvor effektiv drivstoffbruken deres hadde vært.

– Disse lavkostnadsinngrepene kan virkelig føre til store innsparinger, ikke bare for flyselskapet, men for samfunnet, sier Robert Metcalfe, en av forskerne bak studien, til The Washington Post.

Pilotene ble målt på hvor mye drivstoff de fylte før avgang, hvor effektivt de fløy mens de var i luften, og hvor mye drivstoff de brukte mens de kjørte på rullebanen før avgang og etter landing.

Alle gruppene gjorde det veldig bra

De 335 flykapteinene ble delt inn i fire grupper, som avgjorde hva som skulle stå i brevet. Noen fikk bare beskjed om hvor godt de hadde klart seg på hver av de tre fasene av flyvningen, andre fikk personlige mål de kunne prøve å møte neste måned.

• Les også: Forskere vil ha felles flyskatt i EU

Den tredje gruppen fikk beskjed om at flyselskapet ville donere penger i deres navn til en valgfri veldedighet, dersom de klarte å nå drivstoffmålene sine. De ble også minnet på hvor mye veldedigheten kom til å gå glipp av dersom de ikke fløy effektivt nok.

Den fjerde gruppen, som ble brukt som en kontrollgruppe, fikk de rapportene om drivstoffbruk de ellers hadde fått, uten noen inndeling i hvordan de gjorde det før, under og etter flyvning. Men de visste at drivstoffbruken deres ble målt.

Brukte mindre av å vite at noen følger med

Forskerne slår fast at en av de største effektene ble ikke avgjort av hvilken gruppe flykapteinene havnet i.

Veldedighetsgruppen gjorde det best, gruppen som kun fikk mål gjorde det nest best og informasjonsgruppen gjorde det litt mindre bra enn dem igjen. Kontrollgruppen, som ikke fikk noe som helst i posten, gjorde det dårligst.

Men forskjellene var overraskende små. Til og med de som aldri fikk vite hvordan de lå an, fløy mer effektivt og brukte mindre drivstoff.

– Det vi finner, er at kontrollgruppen også oppførte seg mer drivstoffeffektive, forklarer Robert Metcalfe fra University of Chicago.

Forskerne mener at den aller største innsparingen kom rett og slett fra av å fortelle pilotene at noen fulgte med på hvor mye bensin de brukte.  

Liten klimadråpe i stort hav

Flyverne sparte inn omtrent 683 tonn med drivstoff, som direkte følge av det åtte måneder lange prosjektet. Og siden karbondioksidutslippene er omtrent tre ganger så store som drivstoffet som brukes, betyr det at klimaet ble spart for litt over 21.500 tonn med CO₂.

Men selv om det kan høres imponerende ut, blir det en liten dråpe i et veldig stort hav. Virgin Atlantic Airways slapp ut over 4,7 millioner tonn med karbondioksid som direkte resultat av å fly i 2013, ifølge sin egen bærekraftrapport.

Og flybransjen er ansvarlig for 705 millioner tonn med CO₂ hvert år, det er omtrent to prosent av verdens karbondioksidutslipp. 

– Selv om du bare ser på innenlandstrafikken i Norge, så står den for 1,3 millioner tonn med CO₂ ekvivalenter, forteller Borgar Aamaas, seniorforsker ved CICERO senter for klimaforskning.

– De aller fleste tiltak vil virke veldig små

Han er likevel tydelig på at denne typen nudging, eller direkte påvirkning av enkeltpersoner til å oppføre seg mer miljøvennlig, er et nyttig verktøy i kampen mot klimagassene. 

– De aller fleste tiltak vil virke veldig små, men det betyr ikke at de ikke er viktige, sier Aaamaas.

• Les også: Faglig strid om fly og klima

Og selv små tiltak kan bety penger i kassa for flyselskapene. Forskerne anslår at selskapet sparte totalt 5,37 millioner amerikanske dollar på drivstoff i den åtte måneder lange prosjektperioden. 

– Dette var en stor oppgave, men de imponerende resultatene er et hedersbevis for alle som har vært involvert. Vi gleder oss til å se hvordan vi kan bygge på disse funnene i fremtiden, sier Emma Harvey, sjef for bærekraft ved Virgin Atlantic, i en pressemelding.

Referanse: 

Greer K. Gosnell, John A. List og Robert Metcalfe: “A New Approach to an Age-Old Problem: Solving Externalities by Incenting Workers Directly.” NBER Working Paper Nr. 22316. Juni 2016.