Kalibrerad sannolikhetsbedömning

Kalibrerade sannolikhetsbedömningar är subjektiva sannolikheter som tilldelas av individer som har tränats i att bedöma sannolikheter på ett sätt som historiskt representerar deras osäkerhet. Till exempel, när en person har kalibrerat en situation och säger att de är "80% säker" i var och en av 100 förutsägelser de gjort, kommer de att få ungefär 80% av dem korrekta. På samma sätt kommer de att ha rätt 90% av gångerna de säger att de är 90% säkra, och så vidare.

Kalibreringsträning förbättrar subjektiva sannolikheter eftersom de flesta människor är antingen "översäkra" eller "undersäkra" (vanligtvis den förra). Genom att öva med en rad triviafrågor är det möjligt för försökspersoner att finjustera sin förmåga att bedöma sannolikheter. Till exempel kan ett ämne ställas:

Sant eller falskt: "En hockeypuck får plats i ett golfhål"
Säkerhet: Välj den sannolikhet som bäst representerar din chans att få den här frågan rätt...
50% 60% 70% 80% 90% 100%

Om en person inte har någon som helst aning, kommer de att säga att de bara är 50% säker. Om de är helt säkra på att de har rätt kommer de att säga 100%. Men de flesta kommer att svara någonstans däremellan. Om en kalibrerad person får ett stort antal sådana frågor kommer de att få ungefär lika många korrekta som de förväntat sig. En okalibrerad person som är systematiskt övermodig kan säga att de är 90% säker i ett stort antal frågor där de bara får 70% av dem korrekta. Å andra sidan kan en okalibrerad person som är systematiskt undersäker säga sig vara 50 % säker på ett stort antal frågor där de faktiskt får 70 % rätt.

Alternativt kommer praktikanten att bli ombedd att ange ett numeriskt intervall för en fråga som "I vilket år invaderade Napoleon Ryssland?", med instruktionen att det angivna intervallet ska representera ett 90 % konfidensintervall. Det vill säga att testtagaren ska vara 90 % säker på att intervallet innehåller rätt svar.

Kalibreringsträning innebär i allmänhet att man tar ett batteri av sådana tester. Feedback ges mellan testerna och försökspersonerna förfinar sina sannolikheter. Kalibreringsträning kan också innebära att lära sig andra tekniker som hjälper till att kompensera för konsekvent över- eller underförtroende. Eftersom försökspersoner är bättre på att sätta odds när de låtsas satsa pengar, lär försökspersonerna hur man konverterar kalibreringsfrågor till en typ av vadslagning som visar sig förbättra deras subjektiva sannolikheter. Olika samarbetsmetoder har utvecklats, såsom prediktionsmarknad , så att subjektiva uppskattningar från flera individer kan tas med i beräkningen.

Stokastiska modelleringsmetoder som Monte Carlo-metoden använder ofta subjektiva uppskattningar från "ämnesexperter". Forskning visar att sådana experter med stor sannolikhet är statistiskt översäkra och som sådan kommer modellen att tendera att underskatta osäkerhet och risk. Kalibreringsträning används för att öka en persons förmåga att ge korrekta uppskattningar för stokastiska metoder. Forskning fann att de flesta människor kunde kalibreras om de tog sig tid och att en persons kalibrering, dvs. prestation för att ge korrekta uppskattningar, överförs till uppskattningar som tillhandahålls för innehåll utanför kalibreringsträningen, såsom personens arbetsfält. Sådan kalibrering kunde bara förbättra noggrannheten i viss utsträckning och föreslog användning av korrigerande teknik utöver kalibrering av experter.

Metoden Applied Information Economics använder systematiskt kalibreringsträning som en del av en beslutsmodelleringsprocess.

Kritik av kalibrering Ett av fynden i Kalibrering av sannolikheter: Teknikens ståndpunkt fram till 1980 var att träning endast kan förbättra kalibreringen i begränsad utsträckning (Lichtenstein et al. 1981).

Se även

  1. ^ S. Lichtenstein, B. Fischhoff och LD Phillips, "Kalibrering av sannolikheter: The State of the Art till 1980," i Judgment under Uncertainty: Heuristics and Biases , ed. D. Kahneman och A. Tversky, (Cambridge University Press, 1982)
  2. ^ J. Edward Russo, Paul JH Schoemaker Beslutsfällor Simon & Schuster, 1989
  3. ^ Regina Kwon, "The Probability Problem", Baseline Magazine, 10 december 2001
  4. ^ B. Fischhoff, LD Phillips och S. Lichtenstein, "Calibration of Probabilities: The State of the Art till 1980," i Judgment under Uncertainty: Heuristics and Biases, ed. D. Kahneman och A. Tversky, (Cambridge University Press, 1982)
  5. ^ Douglas Hubbard "Hur man mäter vad som helst: Hitta värdet av immateriella tillgångar i affärer" John Wiley & Sons, 2007
  6. ^ Kynn, M. (2008), "heuristics and biases"-bias i expert-elicitation. Journal of the Royal Statistical Society, Series A (Statistics in Society), 171: 239-264. doi:10.1111/j.1467-985X.2007.00499.x
  7. ^ Lichtenstein, S., & Fischhoff, B. (1980). Utbildning för kalibrering. Organizational Behavior and Human Performance, 26(2), 149-171. doi: 10.1016/0030-5073(80)90052-5

externa länkar

Hämtad från " https://en.wikipedia.org/w/index.php?title=Calibrated_probability_assessment&oldid=1091546190 "