Buller: Ett fel i mänskligt omdöme
 Främre omslaget till Noise: A Flaw in Human Judgment
| |
| Författare | Daniel Kahneman , Olivier Sibony & Cass Sunstein |
|---|---|
| Land | Förenta staterna |
| Språk | engelsk |
| Utgivare | Liten, brun gnista ; Hachette bokgrupp |
Publiceringsdatum |
18 maj 2021 |
| Sidor | 521 (kindle edition) |
| ISBN | 978-0-00-830899-5 |
| OCLC | 1242782025 |
| Hemsida | https://readnoise.com/ |
Noise: A Flaw in Human Judgment är en facklitteratur av professorerna Daniel Kahneman , Olivier Sibony och Cass Sunstein . Den publicerades första gången den 18 maj 2021. Boken handlar om "buller" i mänskligt omdöme och beslutsfattande . Författarna definierar buller i mänskligt omdöme som "oönskad variabilitet i bedömningar av samma problem" och fokuserar på frågans statistiska egenskaper och psykologiska perspektiv.
Exempel de ger är deras egna upptäckt hos ett försäkringsbolag att medianpremierna som försäkringsgivare satte oberoende av samma fem fiktiva kunder varierade med 55 %, fem gånger så mycket som förväntat av de flesta försäkringsgivare och deras chefer. Ett annat exempel är att två psykiatriker som oberoende diagnostiserade 426 statliga sjukhuspatienter kom överens om vilken psykisk sjukdom patienten led av endast i hälften av fallen och ett konstaterande att franska domstolsdomare var mer överseende om det råkade vara den tilltalades födelsedag.
Kahneman, Sibony och Sunstein hävdar att buller i mänskligt omdöme är ett grundligt utbrett och otillräckligt åtgärdat problem i bedömningsfrågor. De skriver att brus uppstår på grund av faktorer som kognitiva fördomar , humör , gruppdynamik och känslomässiga reaktioner . Samtidigt som de kontrasterar statistisk bias mot brus, beskriver de kognitiv bias som en signifikant faktor som ger upphov till både statistisk bias och brus.
Författarna skriver att buller kan leda till grova orättvisor, oacceptabla hälsorisker och förlust av tid och rikedom. De hävdar att organisationer bör vara mer engagerade i att minska buller och främja bullerrevisioner och beslutshygien som strategier för att upptäcka, mäta och förhindra buller. Noise: A Flaw in Human Judgment blev en The New York Times bestseller och fick allmänt positiva recensioner bland kritiker. Vanlig kritik mot ansträngningar att minska buller är att sådana ansträngningar avhumaniserar de som berörs av domarna och att det kan leda till diskriminering [ citat behövs ] . Vissa kommentatorer ifrågasatte också författarnas påståenden om nyheten i bullerkonceptet.
Innehåll
Buller i mänskligt omdöme
Noise: A Flaw in Human Judgment skrevs av psykologen och Nobelpristagaren i ekonomi Daniel Kahneman , managementkonsult och professor Olivier Sibony , och juridikprofessor och Holbergpristagare Cass Sunstein . De skriver att "buller" i mänskligt omdöme uppträder i flera former: oenighet mellan domare, oenighet inom domare, och till och med i domar som endast görs en gång av en person eller grupp, eftersom en sådan bedömning bara kan ses som ett möjligt resultat i en moln av möjliga domar som domaren i fråga kunde ha kommit fram till. (Observera att termen "domare" i boken betecknar varje person som gör en bedömning av något slag.)
Skälen som ges av författarna till varför brus uppstår inkluderar kognitiva fördomar , skillnader i skicklighet, skillnader i "smak" (preferenser) och känslomässiga reaktioner , humör i ögonblicket, nivå av trötthet och gruppdynamik . Författarna beaktar buller i förutsägelser och utvärderingar men inte i tankeprocesser som vanor och omedvetna beslut.
De skriver att medan det är bra att ha buller för vissa typer av bedömningar, som smakfrågor när det gäller kulturella helheter (till exempel filmrecensioner), borde samhället göra mycket för att minska bullret i bedömningsfrågor. Det beror på att buller leder till betydande konsekvenser för till exempel rättvisa, hälsa, säkerhet och kostnader i form av tid och pengar.
Brus, statistisk bias och kognitiv bias
Kahneman, Sibony och Sunstein använder en skjutbana som en analogi för att illustrera brus och statistisk fördom , och hur kognitiv fördom påverkar dem båda. Fig. 1 är en anpassning av samma illustration i boken, som jämför hur brus och fördomar påverkar noggrannheten i bedömningar gjorda av ett team av domare. (Originalillustrationen kommer från en akademisk artikel om buller av Kahneman och hans kollegor.)
- Mål a): Eftersom alla skott här är i eller nära bullseye är den kollektiva bedömningen korrekt .
- Mål b): Här är det mindre noggrannhet, på grund av statistisk bias: skotten går systematiskt i en riktning. Med andra ord är det i genomsnitt ett fel.
- Mål c): Här finns inget fel i genomsnitt och därmed ingen bias, eftersom felen från varje skott tar bort varandra. Det är dock mycket brus, eftersom bilderna skiljer sig mycket från varandra.
- Mål d): Detta fel är det största, eftersom det har både bias och brus. Att minska fel är svårast här.
Exempel på buller
I boken ger Kahneman, Sibony och Sunstein många exempel på buller i mänskligt omdöme. Utöver nedanstående områden där buller förekommer, tittar boken också på till exempel prestationsutvärdering och affärsstrategi . Ett återkommande uttalande i boken är dock att "varhelst det finns bedömningar, finns det buller, och mer av det än du tror", så de hävdar att det finns buller inom de flesta områden av mänskligt beslutsfattande.
Straffrätt
En studie på 208 brottsdomare visade att deras oberoende givna rekommendationer om straff i 16 fiktiva fall varierade mycket i hårdhet. Till exempel rekommenderade domarna bara enhälligt fängelse i tre av fallen, och medan det rekommenderade antalet fängelsesår i ett mål var 1,1 år i genomsnitt, var en rekommendation så hög som 15 år.
Utbildning
En studie tittade på 682 verkliga beslut av antagningstjänstemän och fann att tjänstemännen tilldelade de sökandes akademiska styrkor större vikt på molniga dagar och, omvänt, gynnade icke-akademiska styrkor på soliga dagar.
Medicin
En studie visade att medan vissa radiologer aldrig producerade falska negativa resultat (missade verklig bröstcancer) när de undersökte mammografi , gjorde andra radiologer det halva tiden. För falskt positiva var intervallet 1–64 %.
Rekrytering
En metaanalys visade att en fjärdedel av tiden var två separata rekryteringsintervjuare oense om vilken jobbkandidat som passade bäst för jobbet. Detta trots att intervjuarna satt i samma panel och därmed hade sett kandidaterna under exakt samma omständigheter.
Typer av buller
Typologi
Kahneman, Sibony och Sunstein föreslår följande typologi /komponenter av buller: nivåljud (uppstår på grund av olika helhetssyn på beslutsuppgiften bland domare), stabilt mönsterljud (uppstår på grund av permanenta eller semipermanenta skillnader mellan domare om hur de reagerar till vissa omständigheter i det som bedöms), och tillfälle till buller (uppstår på grund av faktorer som tillfälligt påverkar omdömet, har lite att göra med själva domen/ärendet).
Det som författarna kallar 'det första lotteriet' i hur ens fall kommer att bedömas gäller nivåljud och stabilt mönsterljud och därmed vilken domare som får i uppdrag att göra bedömningen, medan 'det andra lotteriet' avser tillfällesljud och därmed om domaren eller inte. gör domen vid ett tillfälle till fördel eller inte för dem som berörs av domen.
Relativt bidrag
Kahneman, Sibony och Sunstein skriver att det vanligtvis finns mer brus än statistisk bias. Inom bruset finns det vanligtvis mer mönsterbrus än nivåbrus. Inom mönsterbruset finns det vanligtvis mer stabilt mönsterbrus än tillfällesbrus, som ofta bara är en liten del av bruset; stabilt mönsterbrus är vanligtvis större än nivåbrus i sig. Allt detta illustreras i fig 2.
Med detta sagt betonar författarna att detta endast är en preliminär förståelse av de typiska relativa storlekarna för de olika typerna av buller och dessutom att det finns tydliga undantag. De noterar till exempel att buller i asylärenden nästan säkert främst består av nivåbuller.
Brusdetektering
Svår
Enligt författarna har det varit en stor brist på uppmärksamhet på buller. De spekulerar i att orsakerna till detta inkluderar att den mänskliga hjärnan tenderar att vara bättre på att upptäcka och förstå mönster snarare än slumpmässighet (brus). De skriver att det beror på att människor i allmänhet är mönstersökare. Människor söker ständigt efter orsaksförklaringar och nöjer sig ofta med ytliga förklaringar som de ofta inte ens försöker förfalska. Författarna kallar detta för det kausala tänkandet (som är en del av vad Kahneman har döpt till hjärnans System 1 ), i motsats till det statistiska tänkandet (som är en del av det Kahneman kallar System 2 ).
Utöver de problem som det mänskliga sinnet har med att förstå och se slumpmässighet jämfört med att se partiskhet, lägger Kahneman, Sibony och Sunstein fram flera möjliga ytterligare förklaringar till varför buller är relativt svårt att upptäcka. Dessa förklaringar inkluderar följande:
- Folk vill inte tro att det kan finnas så mycket oönskad variation mellan domare/domar.
- Det mänskliga sinnet vill alltid skylla på en partiskhet.
- Människor tror ofta att andra resonerar som de själva gör och kanske inte misstänker att det kan förekomma buller.
- Människor anser ofta dåliga beslut som sällsynta undantag eller avvikelser som tas av " dåliga äpplen ", snarare än att vara legitima datapunkter att ta hänsyn till.
De skriver att detektering och mätning av buller kräver medvetna ansträngningar, eftersom "Brus är till sin natur statistiskt: det blir synligt först när vi tänker statistiskt om en ensemble av liknande bedömningar." Av de tre typerna av buller är det ibland bara nivåljud som kan upptäckas utan att det krävs någon större ansträngning. Samtidigt hävdar Kahneman, Sibony och Sunstein att mätning av buller har en fördel jämfört med mätning av statistisk bias: buller kan mätas även när det verkliga värdet av bedömningsuppgiften är okänt (bullerögonen i fig 1 krävs inte).
Bullerrevision
Kahneman, Sibony och Sunstein föreslår en metod för att upptäcka buller som de kallar bullerrevision . En sådan granskning kan utföras i organisationer där olika domare rutinmässigt gör bedömningar i många liknande fall. En bullerrevision enligt författarnas beskrivning är en noggrant utformad studie inom organisationen som omfattar insamling av anonyma och oberoende beslut av anställda/team om noggrant förberedda fiktiva fall. Mängden buller beräknas sedan. Domare och chefer uppmanas också i förväg att avslöja sitt förtroende för sina bedömningar respektive hur mycket buller det kommer att bli, vilket författarna skriver ytterligare kan öka sannolikheten för ögonöppnande ögonblick när resultaten presenteras.
Bland andra varningar, men författarna varnar för att en bullerrevision kräver betydande nivåer av internt inköp och resurshängivenhet för att framgångsrikt kunna mäta buller objektivt. Oberoende mellan medarbetarna/teamen är ett viktigt kriterium.
Reducering av brus och förspänning
Kahneman, Sibony och Sunsteins uttalade förhoppning i boken är att skapa en ny undervetenskap fokuserad på att analysera och minska buller i organisationer och bedömningar av alla slag. De hävdar att det faktum att buller historiskt sett har förbigått i stort sett obemärkt och okontrollerat inte bara är en tragedi utan också en möjlighet, eftersom stora förbättringar av bedömningsnoggrannhet och därmed rättvisa etc. ligger inom relativt nära räckhåll.
Dessutom skriver författarna att brusreducering ofta går hand i hand med bias-reducering och därför kan hjälpa till att ta itu med sedan länge kända men fortfarande ihållande problem med bias också. Detta beror både på att bias kan minskas som ett direkt resultat av brusreducering och att reducering av brus kommer att göra bias lättare att upptäcka, eftersom mindre variabilitet i data innebär mindre maskering av bias-felet.
Med stöd av matematiska bevis konstaterar författarna också att eftersom en minskning av brus ger samma minskning av det totala felet som en lika stor minskning av bias, och eftersom brus ofta utgör den största delen av det totala felet, bör brusreducering ofta vara förstahandsvalet (om det inte finns en god anledning att inte göra det) eftersom det då är det enklaste sättet att realisera stora felminskningar.
Beslutshygien
Kahneman, Sibony och Sunstein använder begreppet beslutshygien för att beskriva användningen av olika tekniker som kan minska buller i mänskligt omdöme. Anledningen till att de föredrar hygienmetaforen var att både orsakerna till buller i mänskligt omdöme och själva bullret är svårt att se med blotta ögat. De skriver att hot kan skada dig även om de är osynliga, vilket ger liknelsen att om något går fel i operationsrummet är det inte nödvändigtvis på grund av skalpellmissbruk – det kan bero på att den mycket skickliga kirurgen glömde att utföra ordentlig handhygien innan han gick in . . Precis som hur handtvätt skyddar mot oidentifierade fiender vi inte ens ser, kan beslutshygien eliminera eller minska bullerkällor som vi inte ens tänker på.
I boken presenterar författarna olika beslutshygieniska tekniker genom olika fallstudiekapitel . Dessa tekniker inkluderar både relativt små förändringar av valarkitekturen (den fysiska och psykologiska miljön där bedömningen görs) som nudges (ett koncept som gjorts känt av Sunstein tillsammans med Richard Thaler ) och större förändringar. De sistnämnda inkluderar debiasing , användning av algoritmer / regler , användning av riktlinjer , användning av relativa skalor , användning av basrater , aggregering av bedömningar , strukturerade och noggrant sekvenserade beslutsprocesser , eller till och med helt enkelt att hitta bättre domare. En väg för beslutshygien är med andra ord att hjälpa domare på olika sätt, till exempel vilka faktorer de tittar på, hur de viktar de olika faktorerna och hur de använder den aktuella vågen. Den andra beslutshygieniska vägen är att helt ersätta mänskligt omdöme med algoritmer, hårda regler eller bättre domare. Exempel på det regelbaserade tillvägagångssättet är algoritmer för att fatta rättvisare och mer exakta borgensbeslut gällande flygrisk och de regler och procedurer läkare använder för att kvantifiera sendegeneration .
Vilken typ av beslutshygienteknik som är mest lämpad för den givna situationen beror på typen av omdöme, skriver författarna. Till exempel skiljer sig utvärderingar som utförs av statliga tjänstemän i många avseenden från förutsägelser från politiska rådgivare.
Kahneman, Sibony och Sunstein väver också ihop flera av dessa beslutshygientekniker till en beslutshygienprocedur som de kallar mediating assessments protocol (MAP) . De hävdar att organisationer av många olika slag bör använda MAP för gruppbeslut som kräver övervägande och viktning av flera dimensioner. Detta skulle inte göra beslutet lättare, medger de, men betoningen på en bra process kommer att göra beslutet bättre.
Noll brus är oönskat
Även om de argumenterar för mycket brusreducering, varnar Kahneman, Sibony och Sunstein också för att målet inte alltid ska vara noll buller i mänskligt omdöme. För det första är det kanske inte möjligt att nå noll buller av olika anledningar, inte minst på grund av kostnader och det faktum att det för många typer av bedömningar alltid kommer att finnas kvar en del buller. För det andra kanske det inte är önskvärt att nå noll buller eftersom det skulle minska flexibiliteten, särskilt om den beslutshygieniska tekniken som övervägs har att göra med regler. Här kan användning av standarder vara ett bättre alternativ. För det tredje är det ofta viktigt att låta domare ha en känsla av handlingsfrihet och känna tillfredsställelse efter att ha fattat ett beslut, vilket framgår av övergivandet av de bullermässigt framgångsrika federala straffmätningsriktlinjerna i USA. För det fjärde kan potentiellt viktig information som innehas av enskilda domare gå förlorad, återigen särskilt om den beslutshygieniska tekniken som övervägs har att göra med regler.
Av dessa skäl kommer det alltid att finnas utrymme och behov av intuition, hänsyn till detaljer och diskret bedömning – men helst inte förrän brusreducering har utförts, menar författarna. Tanken är att inte förlita sig på mänskligt omdöme hela vägen, speciellt inte på ett snabbt omdöme. Istället bör noggrant informerad intuition som är mindre benägen för fel, tack vare beslutshygien, användas.
Reception
Kritisk respons
Noise: A Flaw in Human Judgment fick generellt positiva betyg bland kritiker, med beröm av konceptet, dess betydelse och djupet i analysen av vilken det behandlades. Men vanlig kritik av boken riktades mot dess förståelighet, inkonsekvens i stil och längd.
I den amerikanska pressen recenserade The Washington Post boken som "väl undersökt, övertygande och praktisk" och kritiserade bara bristen på konsekvent stil: "en del meningar och avsnitt läses som en psykologi eller statistik lärobok, andra som en forskare. artikel, och ytterligare andra som Harvard Business Review ." New York Times kallade det "tour de force of scholarship and clear writing"; de hittade ingen kritik. Financial Times beskrev det som en "ödmjukande lektion i inexakthet" och jämförde det med Kahnemans tidigare verk Thinking, Fast and Slow . De påpekade också att Noise: A Flaw in Human Judgment kan vara svårare att ta för läsarna än Thinking, Fast and Slow eftersom det förstnämnda rör ett mer snävt problem och därför har svårt att nå samma underhållningsnivå . The Wall Street Journal Magazine listade boken i en artikel "The Nine Best Books of Spring".
I den brittiska pressen ansåg The Times boken som en "en rigorös inställning till ett viktigt ämne" och skrev att "alla som har funnit att litteraturen om kognitiva fördomar är viktig kommer att tycka att detta är ett värdefullt tillskott till sin kunskap". Men de inkluderade också kritik om konsekvens, tillgänglighet och längd. The Sunday Times , en systertidning till The Times , hävdade att boken är en "enastående studie" och "en monumental, gripande bok" men skrev också att boken är "en svår läsning om du inte råkar vara en statistiker ". The Economist krediterade bokens positiva ton men kritiserade att "trots bokens titel kämpade författarna för att extrahera signalen från bruset" och skrev att "ett hårdare argument skulle ha förstärkt de idéer de presenterar". The Guardian skrev att boken är "rubbig, halvdan" och säger att den "kunde ha varit halva längden och det skulle ha varit en mycket bättre bok för den".
Bokbranschens tidningar Publishers Weekly och Kirkus Reviews berömde bokens praktiska analys av buller och fördomar, men de fann att språket var något överkomplicerat och tätt.
Begreppskritik
Bieffekter
Den irländska finansministern Paschal Donohoe kommenterade att minskad utrymme för buller att uppstå kan öka stelheten, vilket kan demoralisera domare och dämpa deras kreativitet och känsla av yrkesstolthet och byråkrati. Donahoe berömde boken generellt men skrev i detta avseende att "Risken är att detta sker på bekostnad av mångfalden av tankar och synsätt som är central för mänsklig handlingsfrihet" och att "att styra beslut mot ett sterilt centralt medelvärde också kan skapa sårbarheter ".
I förutsättning av denna kritik (och flera andra, inklusive att människor kan känna sig avhumaniserade om de inte bedöms av en medmänniska), skrev Kahneman, Sibony och Sunstein i boken att denna rädsla för vad algoritmiskt beslutsfattande kan leda till verkligen är giltig, men främst för vissa typer av beslutshygien; andra typer kan i själva verket öka rollen för mänskligt omdöme genom att frigöra tid för eftertanke och övervägande och genom att gräva fram fler perspektiv på en fråga.
Författaren Michael Blastland undrade om brusreducering kan vara alltför riskabelt att utföra när det kommer till utvärderande bedömningar, med tanke på hur författarna själva säger – även om det inte är så tydligt som man skulle önska, skrev Blastland – att om en uppsättning bedömningar är partisk för sida av det verkliga värdet som har asymmetriskt stora konsekvenser, och brusreducering leder till lägre variabilitet i bedömningar, det betyder att en högre andel av bedömningarna kommer att ligga på fel sida av det verkliga värdet och därmed en högre sannolikhet för att katastrofer kan inträffa, som att företag fattar ett felaktigt beslut som slutar med att förstöra företaget. Så brusreducering kan vara en dålig idé i dessa domar, hävdade han.
För att förutse denna kritik skriver Kahneman, Sibony och Sunstein i boken att brusreducering helst bör följas av beslutsfattare som använder de nu bättre bedömningsdata tillsammans med deras värderingar och potentiella riskundvikande kriterier för att göra det optimala valet.
Nyhet
Vissa kommentatorer tolkade hur Kahneman, Sibony och Sunstein uttrycker sig i boken och i intervjuer (som ) och liknande forum som att de hävdar att begreppet brus i mänskligt omdöme är något nytt eller åtminstone har "upptäckts" av dem. Ovan nämnda Blastland samt professorn i statistik och statsvetenskap Andrew Gelman utmanade denna föreställning, särskilt med hänvisning till befintlig och liknande användning av begreppet inom statistik. Professor i experimentell och beteendeekonomi Andreas Ortmann gjorde det med hänvisning till den tidigare användningen av begreppet inom psykologi. Blastland hävdade också att buller helt enkelt kan ses som ett annat ord för subjektivitet .
Bokutveckling
Kahneman och Sibony arbetade med konceptet och utarbetningsprocessen intermittent i flera år innan de tog in Sunstein, och gjorde till och med en studie om buller på ett försäkringsbolag i form av vad de senare skulle kalla en bullerrevision. De diskuterade projektet med Sunstein vid ett möte i New York 2018. På mötet insåg de enligt uppgift alla den höga potentialen i att samarbeta i ämnet och bad honom att gå med samma dag. Författarna färdigställde manuskriptet under covid-19-pandemin . Kahneman har sagt att begränsningarna och svårigheterna i samband med covid-19-pandemin och den resulterande justerade skrivprocessen av videosamtal snarare än att träffas personligen gjorde skrivandet mer produktivt, vilket innebar att de kunde avsluta boken snabbare än vad annars skulle har varit fallet: "Vi kanske inte hade avslutat boken om det inte hade varit för viruset." Skrivprocessen koordinerades av den beslutsfattande forskaren Linnea Gandhi, som också gjorde mycket av redigeringen. Gandhi var också med och skrev Harvard Business Review- artikeln som introducerade begreppet buller i mänskligt omdöme 2016. I avsnittet Acknowledgements av boken tackar författarna många andra samhällsvetare för deras input under skrivandet av boken, inte minst på de statistiska delarna.
