Forskningsbedömningsövning
Research Assessment Exercise ( RAE ) var en övning som genomfördes ungefär vart femte år på uppdrag av de fyra brittiska finansieringsråden för högre utbildning ( HEFCE , SHEFC , HEFCW , DELNI ) för att utvärdera kvaliteten på forskning som utförs av brittiska högre utbildningsinstitutioner. RAE-inlämningar från varje ämnesområde (eller bedömningsenhet ) får en rankning av en ämnesspecialist peer review-panel. Rankingen används för att informera om tilldelningen av kvalitetsvägda forskningsmedel (QR) som varje lärosäte får från sitt nationella finansieringsråd. Tidigare RAE ägde rum 1986, 1989, 1992, 1996 och 2001. De senaste resultaten publicerades i december 2008. Det ersattes av Research Excellence Framework (REF) 2014.
Olika medier har tagit fram serietabeller över institutioner och discipliner baserat på 2008 års RAE-resultat. Olika metoder leder till liknande men icke-identiska rankningar.
Historia
Den första utvärderingen av forskning inom högre utbildning i Storbritannien ägde rum 1986 under Margaret Thatchers regering. Det genomfördes av University Grants Committee under ordförandeskap av Cambridge-matematikern Peter Swinnerton-Dyer . Syftet med övningen var att fastställa tilldelningen av medel till brittiska universitet i en tid av snäva budgetrestriktioner. Kommittén mottog inlämningar av forskningsutlåtanden från 37 ämnesområden ("kostnadsställen") inom universiteten, tillsammans med fem utvalda forskningsresultat. Den utfärdade kvalitetsrankningar märkta "enastående", "över genomsnittet", "medelvärde" eller "under genomsnittet". De forskningsanslag som tilldelades universiteten (så kallade "kvalitetsrelaterad" finansiering) var beroende av ämnesområdenas kvalitetsbetyg. Enligt Swinnerton-Dyer var målet att skapa ett mått av transparens för tilldelningen av medel i en tid av sjunkande budgetar.
En efterföljande forskningsbedömning genomfördes 1989 under namnet "research selectivity exercise" av University Funding Council . Som svar på klagomålet från universiteten om att de inte fick lämna in sin "fulla styrka" tillät Swinnerton-Dyer att lämna in två forskningsresultat per varje anställd. Utvärderingen utökades också till 152 ämnesområden ("bedömningsenheter"). Enligt Roger Brown och Helen Carasso tilldelades endast cirka 40 procent av de forskningsrelaterade medlen baserat på bedömningen av bidragen. Resten fördelades utifrån personal- och studentantal samt forskningsbidragsinkomster.
avskaffades distinktionen mellan universitet och yrkeshögskolor . Universitetsfinansieringsrådet ersattes av regionala finansieringsråd som HEFCE . Behram Bekhradnia, katalogen för policy vid HEFCE, kom till slutsatsen att forskningsbedömningen behövde bli "mycket mer robust och rigorös." Detta ledde till inrättandet av Research Assessment Exercise 1992. Resultaten av 1992 års resultat ifrågasattes ändå i domstolen av Institute of Dental Surgery och domaren varnade för att systemet måste bli mer transparent. Bedömningspanelerna i de efterföljande övningarna måste vara mycket mer tydliga om kriterierna för utvärdering och arbetsmetoderna. 1996 togs all volymbaserad utvärdering bort för att ta hänsyn till kritiken att volym snarare än kvalitet belönades.
1992 års övning föreskrev också att den personal som lämnats in för bedömning måste vara i tjänst vid ett visst datum ("folkräkningsdatumet") för att motverka kritiken om att personalen som gått vidare fortfarande räknades med i bedömningen. Detta ledde till fenomenet "tjuvjakt" av högt kvalificerad personal av andra universitet före folkräkningsdatumet. Under övningen 2001 kunde äran för den personal som flyttade institutioner mitt i cykeln delas mellan de två institutionerna. I övningen 2008 avskaffades detta.
Bedömningen av 2008 innebar också en stor förändring. Istället för ett enda betyg för ett helt ämnesområde ("bedömningsenhet") sattes ett betyg på varje forskningsresultat. Detta gjordes för att motverka kritiken att stora avdelningar kunde dölja en "mycket lång svans" av mindre arbete och ändå få höga betyg och, omvänt, utmärkt personal på låggraderade avdelningar inte kunde få tillräcklig finansiering. Således ersattes de enskilda betygen för bedömningsenheter med "kvalitetsprofiler", som angav andelen av varje institutions forskning mot varje kvalitetskategori.
Skala
2008
2008 års RAE använde en fyragradig kvalitetsskala och gav en profil, snarare än ett enda samlat kvalitetspoäng, för varje enhet. Kvalitetsnivåerna – baserade på bedömning av forskningsresultat, forskningsmiljö och indikatorer för aktning – definieras som:
| Betyg | Beskrivning |
|---|---|
| 4* | Kvalitet som är världsledande vad gäller originalitet, betydelse och stringens |
| 3* | Kvalitet som är internationellt sett utmärkt vad gäller originalitet, betydelse och stringens men som ändå inte uppfyller de högsta standarderna för excellens |
| 2* | Kvalitet som är internationellt erkänd vad gäller originalitet, betydelse och stringens |
| 1* | Kvalitet som erkänns nationellt vad gäller originalitet, betydelse och stringens |
| Oklassificerad | Kvalitet som faller under standarden för nationellt erkända arbeten. Eller arbete som inte uppfyller den publicerade definitionen av forskning för denna bedömning. |
Varje bedömningsenhet fick en kvalitetsprofil – ett histogram med fem kolumner – som anger hur stor andel av forskningen som uppfyller var och en av fyra kvalitetsnivåer eller är oklassificerad.
Tidigare bedömningar
Under 1992, 1996 och 2001 användes följande beskrivningar för var och en av betygen.
| Betyg 2001 och 1996 | Betyg 1992 | Beskrivning |
|---|---|---|
| 5* | 5* | Forskningskvalitet som motsvarar uppnåbara nivåer av internationell spetskompetens i mer än hälften av den inlämnade forskningsverksamheten och uppnåbara nivåer av nationell spetskompetens i resten. |
| 5 | 5 | Forskningskvalitet som motsvarar uppnåbara nivåer av internationell spetskompetens i upp till hälften av den inlämnade forskningsaktiviteten och uppnåbara nivåer av nationell spetskompetens i praktiskt taget hela resten. (Samma definition) |
| 4 | 4 | Forskningskvalitet som motsvarar uppnåbara nivåer av nationell spetskompetens i praktiskt taget all inlämnad forskningsverksamhet, vilket visar vissa bevis på internationell spetskompetens. (Samma definition) |
| 3a | 3 | Forskningskvalitet som motsvarar uppnåbara nivåer av nationell excellens i över två tredjedelar av den inlämnade forskningsaktiviteten, vilket möjligen visar bevis på internationell excellens. (Forskningskvalitet som motsvarar uppnåbara nivåer av nationell spetskompetens inom en majoritet av delområdena, eller internationell nivå i vissa) |
| 3b | 3 | Forskningskvalitet som motsvarar uppnåbara nivåer av nationell spetskompetens i mer än hälften av den inlämnade forskningsverksamheten. (Forskningskvalitet som motsvarar uppnåbara nivåer av nationell spetskompetens inom en majoritet av delområdena, eller internationell nivå i vissa) |
| 2 | 2 | Forskningskvalitet som motsvarar uppnåbara nivåer av nationell spetskompetens i upp till hälften av den inlämnade forskningsaktiviteten. (Samma definition) |
| 1 | 1 | Forskningskvalitet som motsvarar uppnåbara nivåer av nationell excellens i ingen, eller praktiskt taget ingen, av den inlämnade forskningsverksamheten. (Samma definition) |
Dessa betyg har tillämpats på "bedömningsenheter", såsom franska eller kemi, som ofta i stort sett motsvarar universitetsavdelningar. Olika inofficiella serietabeller har skapats över universitetsforskningskapacitet genom att aggregera resultaten från bedömningsenheter. . Att sammanställa ligatabeller över universitet baserat på RAE är problematiskt, eftersom både volym och kvalitet är viktiga faktorer
Bedömningsprocess
Bedömningsprocessen för RAE fokuserar på kvaliteten på forskningsresultat (vilket vanligtvis innebär artiklar publicerade i akademiska tidskrifter och konferenshandlingar), forskningsmiljö och indikatorer på aktning. Varje ämnespanel bestämmer exakta regler inom allmänna råd. För RAE 2008 uppmanas institutionerna att lämna in fyra forskningsresultat, publicerade mellan januari 2001 och december 2007, för varje heltidsanställd personal som valts ut för inkludering.
Som svar på kritiken mot tidigare bedömningar och utvecklingen inom arbetsrätt, gör 2008 års RAE mer för att ta hänsyn till deltidsarbetande eller de som är nya med en tillräcklig nivå av tjänsteår för att inkluderas i processen.
Kritik
RAE har inte varit utan sina kritiker. I sina olika iterationer har den delat åsikter bland forskare, chefer och beslutsfattare. Bland kritiken är det faktum att den uttryckligen ignorerar publikationer från de flesta heltidsanställda forskare i Storbritannien, med motiveringen att de är anställda på visstidskontrakt. Enligt RAE 2008 riktlinjer är de flesta forskningsassistenter "inte berättigade att listas som forskningsaktiv personal". Publikationer av forskare på visstidskontrakt är undantagna från bedömningsövningen om inte dessa publikationer kan tillskrivas en anställd som är berättigad till RAE. Detta gäller även om den anställde som bedöms endast gjort ett mindre bidrag till artikeln. Det motsatta fenomenet är också sant, där icke-forskningsaktiv personal på tillsvidareanställning, såsom lektorer som i första hand har ansvarat för undervisningsverksamheten, också har hamnat under ett djupare avtalstryck från sina anställande universitet att producera forskningsresultat. En annan fråga är att det är tveksamt om expertpaneler har nödvändig expertis för att utvärdera kvaliteten på forskningsresultat, eftersom experter presterar mycket sämre så fort de befinner sig utanför sitt speciella specialiseringsområde.
Sedan 1996 har AUT , som nu ingår i UCU , upprätthållit en policy av motstånd mot forskningsbedömningsövningen. Enligt dess uppfattning,
RAE har haft en katastrofal inverkan på det brittiska högre utbildningssystemet, vilket har lett till nedläggning av avdelningar med starka forskningsprofiler och sund studentrekrytering. Den har varit ansvarig för förluster av arbetstillfällen, diskriminerande metoder, utbredd demoralisering av personal, inskränkning av forskningsmöjligheter genom överkoncentration av finansiering och undergrävning av förhållandet mellan undervisning och forskning.
Den officiella Review of Research Assessment, 2003 års "Roberts Report" på uppdrag av de brittiska finansiärerna, rekommenderade ändringar i forskningsbedömningen, delvis som svar på sådan kritik.
Underhusets utskott för vetenskap och teknik övervägde Roberts-rapporten och intog en mer optimistisk syn och hävdade att " RAE hade haft positiva effekter: det hade stimulerat universiteten att hantera sin forskning och hade sett till att medel riktades till områden av forskningsexcellens", drog den slutsatsen att "det hade skett en markant förbättring av universitetens forskningsresultat" . Ändå hävdade den att "RAE i dess nuvarande form hade haft sin dag" och föreslog en reformerad RAE, till stor del baserad på Roberts rekommendationer.
Planerade ändringar i RAE-systemet
Det tillkännagavs i 2006 års budget att efter övningen 2008 skulle ett system med mått utvecklas för att informera framtida tilldelningar av QR-finansiering. Efter inledande samråd med högskolesektorn är det tänkt att högskolefinansieringsråden kommer att införa ett måttbaserat system för bedömning för ämnen inom naturvetenskap, teknik, teknik och medicin. En process av peer review kommer sannolikt att finnas kvar för matematik, statistik, konst, humaniora och samhällskunskap.
HEFCE har utvecklat en ny uppsättning arrangemang, känd som Research Excellence Framework (REF), som har introducerats som en uppföljning på 2008 års RAE.
Vidare läsning
- Brown, Roger; Carasso, Helen (2013), Allt till salu? Marknadsföringen av Storbritanniens högre utbildning , Routledge