Tillåtlig beslutsregel
 |
| av |
|---|
| en serie om |
| Bayesiansk statistik |
| Posterior = Sannolikhet × Tidigare ÷ Bevisbakgrund |
| Modellbyggnad |
| Posterior approximation |
| Uppskattare |
| Modellutvärdering |
I statistisk beslutsteori är en tillåten beslutsregel en regel för att fatta ett beslut så att det inte finns någon annan regel som alltid är "bättre" än den (eller åtminstone ibland bättre och aldrig sämre), i den exakta betydelsen av "bättre" definieras nedan. Detta koncept är analogt med Pareto effektivitet .
Definition
Definiera uppsättningar , och , där är naturtillstånd, de möjliga observationerna och de åtgärder som kan vidtas. En observation är fördelad som och därför ger bevis om naturens tillstånd . En beslutsregel är en funktion där vid observation av väljer vi att vidta åtgärder .
Definiera även en förlustfunktion som specificerar förlusten vi skulle ådra oss genom att vidta åtgärder när det sanna naturtillståndet är . Vanligtvis kommer vi att vidta denna åtgärd efter att ha observerat data så att förlusten blir . (Det är möjligt även om det är okonventionellt att omarbeta följande definitioner i termer av en hjälpfunktion , vilket är det negativa med förlusten.)
Definiera riskfunktionen som förväntan
![R(\theta ,\delta )=\operatorname {E}_{{F(x\mid \theta )}}[{L(\theta ,\delta (x))]}.\,\!](https://wikimedia.org/api/rest_v1/media/math/render/svg/0bfa00f437ac2bcdf647696df75a4347bd2a1ede)
Huruvida en beslutsregel har låg risk beror på det verkliga naturtillståndet . En beslutsregel dominerar en beslutsregel om och endast om för alla , och olikheten är strikt för vissa .
En beslutsregel är tillåten (med avseende på förlustfunktionen) om och endast om ingen annan regel dominerar den; annars är det otillåtet . Således är en tillåten beslutsregel ett maximalt inslag med avseende på ovanstående delordning. En otillåten regel är inte att föredra (förutom av enkelhetsskäl eller beräkningseffektivitet), eftersom det per definition finns någon annan regel som kommer att uppnå lika eller lägre risk för alla . Men bara för att en regel är tillåten betyder det inte att det är en bra regel att använda. Att vara tillåtlig innebär att det inte finns någon annan enskild regel som alltid är lika bra eller bättre – men andra tillåtna regler kan ge lägre risk för de flesta som förekommer i praktiken. (Bayes-risken som diskuteras nedan är ett sätt att explicit överväga vilka som förekommer i praktiken.)
Bayes regler och generaliserade Bayes regler
Bayes regler
Låt vara en sannolikhetsfördelning på naturens tillstånd. Ur en Bayesiansk synvinkel skulle vi betrakta det som en tidigare distribution . Det vill säga, det är vår trodda sannolikhetsfördelning på naturtillstånden, innan vi observerar data. För en frekventist är det bara en funktion på utan någon sådan speciell tolkning. Bayes risk för beslutsregeln med avseende på är förväntningen
![r(\pi ,\delta )=\operatorname {E}_{{\pi (\theta )}}[R(\theta ,\delta )].\,\!](https://wikimedia.org/api/rest_v1/media/math/render/svg/bbde55dbc2f0b2c9e5d4e588456b46b5b133c8cd)
En beslutsregel som minimerar kallas en Bayes-regel med avseende på . Det kan finnas mer än en sådan Bayes-regel. Om Bayes-risken är oändlig för alla så är ingen Bayes-regel definierad.
Generaliserade Bayes regler
I den Bayesianska inställningen till beslutsteori anses det observerade fixat . Medan det frekventistiska tillvägagångssättet (dvs risk) medelvärden över möjliga sampel skulle Bayesian fixera det observerade urvalet och medelvärde över hypoteser . Det Bayesianska tillvägagångssättet är alltså att beakta den förväntade förlusten för våra observerade
![\rho (\pi ,\delta \mid x)=\operatorname {E}_{{\pi (\theta \mid x)}}[L(\theta ,\delta (x))].\,\!](https://wikimedia.org/api/rest_v1/media/math/render/svg/e32f5dc0daa21855fe3c213fcff8e4aeec283ce3)
där förväntningen ligger över baksidan av givet (erhållen från och med Bayes sats ).
Efter att ha expliciterat den förväntade förlusten för varje given separat, kan vi definiera en beslutsregel genom att specificera för varje en åtgärd som minimerar den förväntade förlusten. Detta är känt som en generaliserad Bayes-regel med avseende på . Det kan finnas mer än en generaliserad Bayes-regel, eftersom det kan finnas flera val av som uppnår samma förväntade förlust.
Till en början kan detta verka ganska annorlunda än Bayes regelmetoden i föregående avsnitt, inte en generalisering. Observera dock att Bayes-risken redan ligger i genomsnitt över på Bayesianskt sätt, och Bayes-risken kan återvinnas som förväntan över av förväntad förlust (där och . Grovt sett denna förväntan på förväntad förlust (dvs. är en Bayes-regel) om och endast om den minimerar den förväntade förlusten för varje separat (dvs. är en generaliserad Bayes-regel).
Varför är då begreppet generaliserade Bayes-regel en förbättring? Det motsvarar verkligen begreppet Bayes-regel när en Bayes-regel existerar och alla har positiv sannolikhet. Det finns dock ingen Bayes-regel om Bayes-risken är oändlig (för alla . I det här fallet är det fortfarande användbart att definiera en generaliserad Bayes-regel som åtminstone väljer en minsta förväntad förluståtgärd för de för vilka en åtgärd med ändlig förväntad förlust existerar. Dessutom kan en generaliserad Bayes-regel vara önskvärd eftersom den måste välja en minsta förväntad förluståtgärd för varje , medan en Bayes-regel skulle tillåtas avvika från denna policy på en uppsättning av mått 0 utan att påverka Bayes-risken.
Ännu viktigare är att det ibland är bekvämt att använda en felaktig föregående . I det här fallet är Bayes-risken inte ens väldefinierad, och det finns inte heller någon väldefinierad fördelning över . Den bakre -och därmed den förväntade förlusten - kan dock vara väldefinierad för varje , så att det fortfarande är möjligt att definiera en generaliserad Bayes-regel.
Tillåtligheten av (generaliserade) Bayes-regler
Enligt de fullständiga klasssatserna är varje tillåten regel under milda förhållanden en (generaliserad) Bayes-regel (med avseende på någon tidigare —möjligen en felaktig sådan— som gynnar distributioner där den regeln ger låg risk). I frekventistisk beslutsteori är det således tillräckligt att endast beakta (generaliserade) Bayes-regler.
Omvänt, medan Bayes-regler med avseende på korrekta prioriteringar praktiskt taget alltid är tillåtna, behöver generaliserade Bayes-regler som motsvarar olämpliga prioriteringar inte ge tillåtliga förfaranden. Steins exempel är en sådan berömd situation.
Exempel
James –Stein-estimatorn är en icke-linjär skattare av medelvärdet av Gaussiska slumpmässiga vektorer som kan visas dominera, eller överträffa, den vanliga minsta kvadrattekniken med avseende på en medelkvadratfelsförlustfunktion. Således är minsta kvadratuppskattning inte ett tillåtet uppskattningsförfarande i detta sammanhang. Vissa andra av de standarduppskattningar som är förknippade med normalfördelningen är också otillåtna: till exempel provuppskattningen av variansen när populationens medelvärde och varians är okända.
Anteckningar
- Cox, DR; Hinkley, DV (1974). Teoretisk statistik . Wiley. ISBN 0-412-12420-3 .
- Berger, James O. (1980). Statistical Decision Theory and Bayesian Analysis (2nd ed.). Springer-Verlag. ISBN 0-387-96098-8 .
- DeGroot, Morris (2004) [1st. pub. 1970]. Optimala statistiska beslut . Wiley Classics Library. ISBN 0-471-68029-X .
- Robert, Christian P. (1994). Det bayesianska valet . Springer-Verlag. ISBN 3-540-94296-3 .