Research Excellence Framework

Research Excellence Framework ( REF ) är en utvärdering av forskningseffekter av brittiska lärosäten. Den är efterföljaren till Research Assessment Exercise och den användes första gången 2014 för att bedöma perioden 2008–2013. REF genomförs av de fyra brittiska finansieringsorganen för högre utbildning: Research England , Scottish Funding Council (SFC), Higher Education Funding Council for Wales (HEFCW) och Department for the Economy , Northern Ireland (DfE).

Dess uttalade mål är att tillhandahålla ansvarsskyldighet för offentliga investeringar i forskning, fastställa "ryktemåttstockar" och därigenom uppnå en effektiv allokering av resurser. Kritiker menar bland annat att det är för mycket fokus på forskningens påverkan utanför universitetssystemet och att påverkan inte har någon egentlig relevans för forskningens kvalitet. [ citat behövs ] Det föreslås att REF faktiskt uppmuntrar medelmåttighet i publicerad forskning och avskräcker forskning som kan ha värde på lång sikt. [ citat behövs ] Det har upprepade gånger hävdats att REF gör mer skada än nytta för högre utbildning.

Den senaste REF var 2021, med resultat som släpptes i maj 2022, som fortsätter den tidigare bedömningsmodellen med fokus på forskningsresultat, forskningseffekt och forskningsmiljö. Denna process försenades något på grund av covid-19-pandemin .

Historia

I juni 2007 utfärdade Higher Education Funding Council for England (HEFCE) ett cirkulärbrev som tillkännagav att ett nytt ramverk för bedömning av forskningskvalitet vid brittiska universitet skulle ersätta Research Assessment Exercise (RAE), efter 2008 års RAE. Följande citat från brevet indikerar en del av den ursprungliga motiveringen:

Våra huvudmål för det nya ramverket kommer att vara:

  • att ta fram robusta brittiska indikatorer för forskningsexcellens för alla discipliner som kan användas för att jämföra kvalitet mot internationella standarder och för att driva rådets finansiering för forskning
  • att ge underlag för att fördela medel i första hand med hänvisning till spetsforskning och att finansiera utmärkt forskning i alla dess former varhelst den finns
  • att avsevärt minska den administrativa bördan för institutionerna i jämförelse med RAE
  • för att undvika att skapa några oönskade beteendeincitament
  • att främja jämställdhet och mångfald
  • att tillhandahålla en stabil ram för vårt fortsatta stöd till en världsledande forskningsbas inom högskolan.

I brevet angavs också en tidsplan för utvecklingen av REF. HEFCE genomförde en samrådsövning under september–december 2009 och begärde in svar från intressenter på förslagen. Dessa inkluderar till exempel svaret från Universities UK och svaret från University and College Union .

I juli 2010 (efter det allmänna valet i maj 2010 ) meddelade universitets- och vetenskapsministern David Willetts att REF kommer att försenas med ett år för att bedöma effekten av effektmåttet.

I juli 2016 publicerades Lord Nicholas Sterns recension, som utarbetade allmänna riktlinjer för nästa REF 2021. I allmänhet stödde granskningen den metod som användes 2014 för att utvärdera universitetens forskning, men den betonade behovet av mer engagemang med allmänheten och ökningen av antalet fallstudier som genomförde ett tvärvetenskapligt tillvägagångssätt. Research-impact.org-teamet vid Loughborough University Business and Economic School har experimenterat med crowdfunding för forskning för att öka universitetets forskares offentliga engagemang.

Forskningseffekt

REF:s påverkan definierades som "en effekt på, förändring eller nytta för ekonomin, samhället, kulturen, offentlig politik eller tjänster, hälsa, miljö eller livskvalitet, utanför akademin".

Betygskriterier

Bidragen bedöms enligt följande kriterier:

  • Fyrstjärnigt: Kvalitet som är världsledande i originalitet, betydelse och rigor.
  • Trestjärnigt: Kvalitet som är internationellt sett utmärkt i originalitet, betydelse och stringens men som inte uppfyller de högsta standarderna för excellens.
  • Tvåstjärnigt: Kvalitet som är internationellt erkänd i originalitet, betydelse och stringens.
  • En stjärna: Kvalitet som är erkänd nationellt i originalitet, betydelse och stringens.
  • Oklassificerad kvalitet: som faller under standarden för nationellt erkända arbeten. Eller arbete som inte uppfyller den publicerade definitionen av forskning för denna bedömning.

Prestandarankningar

Två förlag, Times Higher Education , (THE) och Research Professional News (RPN; används av The Guardian och andra tidningar) producerade övergripande rankningar av institutionella resultat i 2021 års REF baserat på forskningsstyrka, marknadsandel och kvalitet (GPA). THE institutionella GPA är ett genomsnitt av varje institutions GPA över bedömningsenheterna viktat med antalet heltidsekvivalenter som lämnats in till varje bedömningsenhet, måttet "forskningskraft" är denna institutionella GPA multiplicerat med antalet heltidsekvivalenter personal som lämnats in av institutionen, och måttet "marknadsandel" använder den viktning som används för att beräkna blockbidrag från institutionsprofilerna, med 4* betyg med en viktning av fyra, 3* betyg med en viktning av ett och 2* och lägre ges en viktning av noll.

Ranking THE quality (GPA) forskningskraften _ marknadsandelen _ RPN-effekt
1 Imperial College London Oxfords universitet Oxfords universitet Oxfords universitet
2 Institutet för cancerforskning University College London University College London University College London
3
= University of Cambridge = London School of Economics
Universitetet i Cambridge Universitetet i Cambridge Universitetet i Cambridge
4 University of Edinburgh University of Edinburgh University of Edinburgh
5 University of Bristol University of Manchester University of Manchester University of Manchester
6 University College London King's College London King's College London King's College London
7 Oxfords universitet University of Nottingham Imperial College London Imperial College London
8 University of Manchester University of Leeds University of Bristol University of Bristol
9 King's College London Imperial College London University of Nottingham University of Nottingham
10
= University of York = London School of Hygiene and Tropical Medicine
University of Bristol University of Leeds University of Leeds

Kontroverser och kritik

En särskild källa till kritik har varit den del av REF som tar upp forskningens "påverkan". Artiklarna nedan ger två invändningar. Den huvudsakliga är att "påverkan" har definierats som inverkan utanför akademin. Om forskare var tvungna att eftersträva denna form av påverkan skulle det undergräva den akademiska friheten . Den andra är att inverkan – som den tolkas för närvarande – är svår att mäta på något sätt som skulle anses vara rättvist och opartiskt.

Higher Education Funding Council för England hävdar att deras mått på "påverkan" är ett brett mått som kommer att omfatta inverkan på "ekonomin, samhället, offentlig politik, kultur och livskvalitet". Bedömningsstrukturen gör dock vilken effekt som praktiskt kan hävdas ganska snäv (4 sidgräns, ingen metoddel, 10 effektreferenser, 10 forskningsreferenser och endast 1 sida för att sammanfatta forskningen respektive effekten). Dessa strikta diskursiva riktlinjer vid sidan av REF:s daterade uppfattning om hur forskningseffekter fungerar (undervisningsforskningseffekt utesluten, linjär modell, etc.) begränsar vilken påverkan som praktiskt taget lämpar sig mer för bedömningen. [ citat behövs ]

Ett annat område av kritik, som REF ärvt från strukturen för RAE, är att för de flesta heltidsanställda anställda består inlämningen normalt av fyra publicerade "research output items". Det finns inget erkännande av skillnaden mellan en bok och en artikel när det gäller forskningsvärde. Därför motverkar REF-systemet långsiktiga projekt som strävar efter excellens. Detta problem är särskilt uppenbart inom humaniora, där merparten av den banbrytande forskningen traditionellt sett inte publiceras i artiklar. Därför drivs många forskare mot en relativt medioker aktivitet, som gör att de kan producera en eller två böcker under bedömningsperioden, men inte den sorts monografi som normalt skulle behöva fyra eller fem års forskning och skrivande. [ citat behövs ]

Dessutom avskräcker systemet med de fyra publicerade artiklarna långsiktiga projekt med relativt hög forskningsrisk även inom vetenskapen, eftersom forskare är ovilliga att engagera sig i projekt eller experiment som kanske inte blir framgångsrika och kanske inte leder till en publicering. Eftersom det mesta av den banbrytande forskningen inom vetenskapen sker med just sådana riskabla och fantasifulla projekt, är den typ av forskningsverksamhet som uppmuntras av REF-strukturen ganska konservativ. När det gäller inverkan av den undersökta forskningen är det inte heller ovanligt i vetenskapens och humaniorahistorien att det tar lite tid innan den fulla effekten av en upptäckt har gjorts. Det nuvarande systemet har en vy på bara fyra eller fem år. [ citat behövs ]

Times Higher Education avslöjade också att vissa universitet verkade "spela" REF-systemet. Detta inkluderade "REF Poaching", där personal med etablerade forskningsresultat headhuntades från sina universitet omedelbart före REF, vilket gav tjuvjaktinstitutionen full kredit för sina publikationer utan att ha tagit risken att stödja forskaren. Det inkluderade också att anställa ett stort antal anställda på 0,2 heltidskontrakt, den lägsta anställningsnivån som kvalificerar dem för REF-inlämning.

Utöver sådana farhågor om vad som verkligen kan mätas med fyra forskningsresultat och hur effekt kan mätas, kritiseras ofta hela systemet som onödigt komplext och dyrt, medan kvalitetsutvärdering i den digitala tidsåldern skulle kunna vara mycket enklare och effektivare.

Systemet, med tillhörande ekonomiska implikationer, har också kritiserats för att avleda resurser från undervisningen. Som sådan kan höjningar av studentavgifterna ofta inte ha lett till att mer personaltid lagts på undervisning. [ citat behövs ]

I juli 2016 publicerades Lord Nicholas Sterns recension, som utarbetade allmänna riktlinjer för nästa REF 2021. En av rekommendationerna var att öka forskningens offentliga engagemang. Forskningsengagemang innebär att förbättra leveransen av nyttan av forskning. Det innebär också att göra allmänheten mer medveten om forskningsresultaten och deras konsekvenser. En mekanism för allmänhetens engagemang är crowdfunding för forskning, där dedikerade plattformar är värd för crowdfundingkampanjer för universitetsforskning, inom en rad ämnen. Crowdfunding för forskning har två fördelar: den ena är en källa till en relativt hög garanterad finansiering, med en andel på cirka 50 %, för det andra är det ett mycket effektivt verktyg för att engagera sig med allmänheten.

Ett problem som Stern-granskningen inte tog upp i relation till forskningskonsekvensbedömningen är att strukturen på mallen för fallstudiedesign som påverkan bedöms inte innehåller ett metodavsnitt och därmed gör bedömningen av vilken typ av påverkan det var. hävdade ett retoriskt spel om vem som kan göra anspråk på mest (jfr Brauer, 2018). Därigenom stimuleras stora krav av bedömningsstrukturen. Problemet uppstår eftersom kvalitativa bedömningar av betydelsen och räckvidden av påverkan (utan en redogörelse för den bakomliggande metoden) cementerar samtida värden i bedömningen som sådan; "[...] kalla det socialt konstruerat, ömsesidigt lärande, social praktik vad som helst, nyckeln är att vi inte kan separera egenskaper hos Impact från processen som påtvingas värde och erkänna den som sådan." ( Derrick, 2018:160) När vi kontrollerar referensen till aktuella påståenden, dessa var antingen inte tillgängliga (t.ex. de relevanta webbplatserna togs ner), refererade på ett sådant sätt att det inte återspeglade självförfattarskap eller vittnesmål från individer kopplade till forskaren (Brauer, 2018:142- 147). På liknande sätt kritiserar Sayer (2014) den övergripande kollegiala granskningen av REF-processen, och beskriver den som dålig simulacrum av akademisk standardkvalitet och att bedömningsprocessen kompliceras ytterligare av den stora arbetsbelastningen av bedömningen (s. 35). På liknande sätt fann en RAND-studie att majoriteten av referenserna aldrig konsulterades, vissa bedömningspaneler avskräcktes från att använda internet och referenshjälpstrukturen för REF tog ibland två veckor att producera tillhörande referenser. Därmed disciplinerar fokus på extern påverkan bedömningen till att fokusera på externa värderingar.

2018 sa man att REF har negativa effekter på humaniora.

Se även

externa länkar