Reproducerbarhetsprojekt

The Reproducibility Project: Psychology var ett crowdsourcet samarbete av 270 bidragande författare för att upprepa 100 publicerade experimentella och korrelationspsykologiska studier. Detta projekt leddes av Center for Open Science och dess medgrundare, Brian Nosek , som startade projektet i november 2011. Resultaten av detta samarbete publicerades i augusti 2015. Reproducerbarhet är förmågan att producera samma resultat, med hjälp av samma metoder som originalverket, men på en annan datauppsättning (till exempel insamlad från en annan uppsättning deltagare). Projektet har illustrerat det växande problemet med misslyckad reproducerbarhet inom samhällsvetenskap. Detta projekt har startat en rörelse som har spridit sig genom vetenskapsvärlden med den utökade testningen av reproducerbarheten av publicerade verk.

Resultat

Brian Nosek från University of Virginia och kollegor försökte replikera 100 olika studier som alla publicerades 2008. Projektet hämtade dessa studier från tre olika tidskrifter, Psychological Science , Journal of Personality and Social Psychology och Journal of Experimental Psychology: Learning, Memory, and Cognition , publicerad 2008 för att se om de kunde få samma resultat som de första resultaten. I sina första publikationer påstod 97 av dessa 100 studier ha signifikanta resultat.

Hinder för att utföra replikationer av experiment inom cancerforskning, The Reproducibility Project: Cancer Biology

Gruppen gick igenom omfattande åtgärder för att förbli trogen de ursprungliga studierna, inklusive samråd med de ursprungliga författarna. Även med alla de extra steg som vidtagits för att säkerställa samma villkor för de ursprungliga 97 studierna, replikerades endast 35 (36,1%) av studierna, och om dessa effekter replikerades var de ofta mindre än de i originaldokumenten. Författarna betonade att resultaten speglar ett problem som påverkar hela vetenskapen och inte bara psykologin, och att det finns utrymme för att förbättra reproducerbarheten inom psykologin.

År 2021 visade projektet att av 193 experiment från 53 toppartiklar om cancer publicerade mellan 2010 och 2012, kunde endast 50 experiment från 23 tidningar replikeras. Dessutom visade det att effektstorlekarna för den fraktionen var 85 % mindre i genomsnitt än de ursprungliga fynden. Ingen av tidningarna hade sina experimentella protokoll fullständigt beskrivna och 70 % av experimenten krävde att man bad om nyckelreagens.

Statistisk relevans

Underlåtenhet att replikera kan ha olika orsaker. Det första är ett typ II-fel , vilket är när nollhypotesen inte kan förkastas när den är falsk. Detta kan klassificeras som ett falskt negativt. Ett typ I-fel är förkastandet av en nollhypotes även om den är sann, så detta anses vara ett falskt positivt. ^{[ citat behövs ]}

Centrum för öppen vetenskap

Center for Open Science grundades av Brian Nosek och Jeff Spies 2013 med ett anslag på 5,25 miljoner dollar från Laura och John Arnold Foundation . År 2017 hade stiftelsen tillhandahållit ytterligare 10 miljoner dollar i finansiering.

Resultat och betydelse

Det har haft flera konsekvenser av reproducerbarhetsprojektet. Människor överallt har börjat ifrågasätta legitimiteten hos vetenskapliga studier som har publicerats i uppskattade tidskrifter. Tidskrifter publicerar vanligtvis bara artiklar med stora effektstorlekar som förkastar nollhypotesen. Leder in i den enorma frågan om människor som gör om studier som redan har visat sig misslyckas, men utan att veta eftersom det inte finns några uppgifter om de misslyckade studierna, vilket kommer att leda till att fler falska positiva resultat publiceras. Det är okänt om någon av de ursprungliga studieförfattarna begick bedrägerier när de publicerade sina projekt, men några av författarna till de ursprungliga studierna är en del av de 270 bidragsgivarna till detta projekt.

En tidigare studie fann att forskning till ett värde av cirka 28 miljarder dollar per år inom medicinska områden är icke-reproducerbar.

Resultaten av reproducerbarhetsprojektet kan också påverka allmänhetens förtroende för psykologi. Lekmän som lärde sig om den låga replikeringsfrekvensen som hittades i reproducerbarhetsprojektet rapporterade senare om ett lägre förtroende för psykologi, jämfört med personer som fick veta att ett stort antal av studierna hade replikerats.

Se även

Extern länk

Officiell hemsida