Känslighetsrevision

Känslighetsrevision är en förlängning av känslighetsanalys för användning i policyrelevanta modelleringsstudier. Dess användning rekommenderas - t.ex. i EU-kommissionens riktlinjer för konsekvensanalys och av European Science Academies - när en känslighetsanalys (SA) av en modellbaserad studie är avsedd att visa robustheten hos de bevis som modellen tillhandahåller, men i en sammanhang där slutsatsen matas in i en policy eller beslutsprocess.

Närma sig

I miljöer där vetenskapligt arbete matas in i politiken kan inramningen av analysen, dess institutionella sammanhang och dess författares motiveringar bli högst relevanta, och en ren SA - med fokus på parametrisk (dvs kvantifierad) osäkerhet - kan vara otillräcklig. Betoningen av inramningen kan bland annat härröra från policyutredningens relevans för olika valkretsar som kännetecknas av olika normer och värderingar, och därmed av en annan berättelse om `vad problemet är' och framför allt om `vem som är berätta historien'. Oftast innehåller inramningen implicita antaganden, som kan vara politiska (t.ex. vilken grupp som behöver skyddas) hela vägen till tekniska (t.ex. vilken variabel som kan behandlas som en konstant).

För att ta hänsyn till dessa problem, utökar känslighetsrevision instrumenten för känslighetsanalys för att ge en bedömning av hela kunskaps- och modellgenereringsprocessen. Den hämtar inspiration från NUSAP , en metod som används för att kvalificera värdet (kvaliteten) av kvantitativ information med generering av "Stamtavlor" av siffror. Likaså har känslighetsrevision utvecklats för att ge stamtavlor för modeller och modellbaserade slutsatser. Känslighetsrevision är särskilt lämplig i ett kontradiktoriskt sammanhang, där inte bara bevisens karaktär, utan även graden av säkerhet och osäkerhet som är förknippad med bevisningen, är föremål för partiska intressen. Dessa är de inställningar som beaktas i Post-normal vetenskap eller i Läge 2 vetenskap. Post-normal science (PNS) är ett koncept utvecklat av Silvio Funtowicz och Jerome Ravetz , som föreslår en undersökningsmetod som är lämplig när "fakta är osäkra, värderingar i tvisten, hög insats och brådskande beslut" (Funtowicz och Ravetz, 1992: 251–273). Mode 2 Science, myntad 1994 av Gibbons et al., hänvisar till ett sätt att producera vetenskaplig kunskap som är kontextstyrt, problemfokuserat och tvärvetenskapligt. Carrozza (2015) ger en diskussion om dessa begrepp och tillvägagångssätt. Känslighetsrevision – tillsammans med post-normal vetenskap är en av linserna som rekommenderas för att studera hållbarhet i.

Känslighetsrevision rekommenderas av Europeiska kommissionen för användning i konsekvensbedömningar för att förbättra kvaliteten på modellbaserade bevis som används för att stödja policybeslut. Liknande rekommendationer finns i rapporten från European Academies' association of science for policy SAPEA .

Reglerna

Känslighetsrevision sammanfattas av sju regler eller vägledande principer:

Kontrollera mot den retoriska användningen av matematisk modellering. Frågan: används modellen för att belysa eller fördunkla?;
Anta en "antagandejakt"-attityd. Frågan: vad "förutsattes"? Vilka är de tysta, preanalytiska, eventuellt normativa antaganden som ligger till grund för analysen?;
Upptäck Garbage In Garbage Out (GIGO). Problem som åtgärdats: artificiell deflation av osäkerhet verkade för att uppnå en önskad slutsats på en önskad nivå av förtroende. Det fungerar också på omvänd praxis, artificiell uppblåsning av osäkerheter, t.ex. för att avskräcka reglering;
Hitta känsliga antaganden innan de hittar dig. Problem som behandlas: förutse kritik genom att göra noggranna läxor via känslighets- och osäkerhetsanalyser innan resultat publiceras.
Sträva efter transparens. Problem som behandlas: intressenter bör kunna förstå och eventuellt replikera resultaten av analysen;
Gör rätt summor, vilket är viktigare än "Gör summorna rätt". Fråga som behandlas: försummas synen hos en relevant intressent? Vem bestämde att det fanns ett problem och vad var problemet?
Fokusera analysen på nyckelfrågan som modellen besvarar, och utforska hela utrymmet för antagandena holistiskt. Problem åtgärdat: utför inte slarviga analyser som bara "skrapar på ytan" av systemets potentiella osäkerheter.

Den första regeln tittar på den instrumentella användningen av matematisk modellering för att föra fram ens agenda. Denna användning kallas retorisk, eller strategisk, som användningen av latin för att förvirra eller fördunkla en samtalspartner.

Den andra regeln om 'antagandejakt' är en påminnelse om att leta efter vad som antogs när modellen ursprungligen inramades. Modes är fulla av ceteris paribus -antaganden. Till exempel, inom ekonomi, kan modellen förutsäga resultatet av en chock till en given uppsättning ekvationer, förutsatt att alla andra - alla andra indatavariabler och indata - förblir lika, men i verkligheten är "ceteris" aldrig "paribus" , vilket betyder att variabler tenderar att vara kopplade till varandra, så de kan inte realistiskt förändras oberoende av varandra.

Regel tre handlar om att artificiellt överdriva eller tona ner osäkerheter där det är lämpligt. Tobakslobbyerna överdrev osäkerheten om rökningens hälsoeffekter enligt Oreskes och Conway, medan förespråkarna för dödsstraff tonade ner osäkerheterna i de negativa relationerna mellan dödsstraff och brottsfrekvens. Tydligen ville de senare ha policyn, i det här fallet dödsstraffet, och var intresserade av att visa att bevisen var robusta. I det förra fallet ville lobbyerna inte ha reglering (t.ex. förbud mot tobaksrökning på offentliga platser) och var därför intresserade av att förstärka osäkerheten i orsakssambandet mellan rökning och hälsoeffekt.

Regel fyra handlar om att "bekänna" osäkerheter innan man offentliggör analysen. Denna regel är också ett av buden för tillämpad ekonometri enligt Kennedy: 'Du skall bekänna i närvaro av känslighet. Slutsats: Du skall förutse kritik”. Enligt denna regel bör en känslighetsanalys utföras innan resultaten av en modellstudie publiceras. Det finns många goda skäl för att göra detta, en är att en noggrant utförd känslighetsanalys ofta avslöjar vanliga kodningsfel eller modellbrister. Det andra är att analysen oftare än inte avslöjar osäkerheter som är större än vad modellutvecklarna förväntar sig.

Regel fem handlar om att presentera resultaten av modellstudien på ett transparent sätt. Båda reglerna härstammar från praktiken med konsekvensanalys, där en modellstudie som presenteras utan en ordentlig SA, eller som kommer från en modell som i själva verket är en svart låda, kan sluta förkastas av intressenter. Både regel fyra och fem antyder att reproducerbarhet kan vara ett villkor för transparens och att detta senare kan vara ett villkor för legitimitet.

Regel sex, om att göra rätt summa, är inte långt ifrån regeln om 'antagande-jakt'; det är bara mer allmänt. Den handlar om det faktum att en analytiker ofta sätts att arbeta med en analys godtyckligt inramad till en parts fördel. Ibland kommer detta genom valet av den disciplin som valts för att göra analysen. Således kan ett miljökonsekvensproblem ramas in genom ekonomins linser och presenteras som en kostnadsnytto- eller riskanalys, medan frågan har lite att göra med kostnader eller fördelar eller risker och mycket med vinster, kontroller och normer att göra. Ett exempel är i Marris et al. om frågan om genetiskt modifierade organismer, som framför allt presenteras i det offentliga samtalet som en livsmedelssäkerhetsfråga, medan spektrumet av oro hos GMO-motståndare - inklusive lekmän - verkar bredare. Ett tillvägagångssätt som utvidgar denna speciella regel till ett spektrum av rimliga ramar är den så kallade kvantitativa berättelsen .

Regel sju handlar om att undvika en slentrianmässig känslighetsanalys . En SA där varje osäker ingång flyttas åt gången medan alla andra ingångar lämnas fixerade är slarvigt. En sann SA bör göra en ärlig ansträngning för att utforska alla osäkerheter samtidigt, vilket lämnar modellen fri att visa sitt fullständiga olinjära och möjligen icke-additiva beteende. En liknande poäng görs i Sam L. Savages bok "The flaw of averages".

Frågor som behandlas av känslighetsrevision

Sammanfattningsvis är dessa regler avsedda att hjälpa en analytiker att förutse kritik, särskilt när det gäller modellbaserad slutledning som matas in i en konsekvensbedömning. Vilka frågor och invändningar kan modelleraren få? Här är en möjlig lista:

Du behandlade X som en konstant när vi vet att den är osäker med minst 30 %
Det skulle vara tillräckligt med ett 5% fel i X för att göra ditt uttalande om Z bräckligt
Din modell är bara en av de rimliga modellerna - du försummade modellosäkerheten
Du har instrumentellt maximerat din nivå av förtroende för resultaten
Din modell är en svart låda - varför ska jag lita på dina resultat?
Du har på konstgjord väg blåst upp osäkerheten
Din inramning är inte socialt robust
Du svarar på fel fråga

Känslighetsrevision i Europeiska kommissionens riktlinjer

Känslighetsrevision beskrivs i Europeiska kommissionens riktlinjer för konsekvensanalys. Relevanta utdrag är (s. 392):

"[... ]där det finns en stor oenighet bland intressenter om problemets natur, är känslighetsrevision lämpligare men känslighetsanalys är fortfarande att rekommendera som ett av stegen i känslighetsrevision."

"Känslighetsrevision, […] är en bredare övervägande av effekten av alla typer av osäkerhet, inklusive strukturella antaganden inbäddade i modellen, och subjektiva beslut som tas i utformningen av problemet."

"Det yttersta målet är att kommunicera öppet och ärligt i vilken utsträckning specifika modeller kan användas för att stödja politiska beslut och vilka deras begränsningar är."

"Generellt betonar känslighetsrevision idén att ärligt kommunicera i vilken utsträckning modellresultat kan litas på, med hänsyn till så mycket som möjligt alla former av potentiell osäkerhet och att förutse kritik från tredje part."

SAPEA-rapport

European Academies' Association of Science for Policy SAPEA beskriver i detalj känslighetsrevision i sin rapport från 2019 med titeln " Making sense of science for policy under conditions of complexity and uncertainty " .

Ansökningar

Tillämpning av begrepp från känslighetsrevision är till OECD-PISA-studien, livsmedelssäkerhet, nutrition, det ekologiska fotavtrycket .

Utvecklingen

Känslighetsrevision är bland de verktyg som rekommenderas i samband med en möjlig kvantifieringsetik , som syftar till att identifiera gemensamma etiska element i olika problem som ses vid kvantifiering, såsom metrikfixering, missbruk av statistik, dålig modellering och oetiska algoritmer.