Bayes linjär statistik

Bayes linjära statistik är en subjektivistisk statistisk metod och ramverk. Traditionell subjektiv Bayesiansk analys baseras på fullständigt specificerade sannolikhetsfördelningar , som är mycket svåra att specificera på den nödvändiga detaljnivån. Bayes linjära analys försöker lösa detta problem genom att utveckla teori och praktik för att använda delvis specificerade sannolikhetsmodeller. Bayes linjära i sin nuvarande form har främst utvecklats av Michael Goldstein. Matematiskt och filosofiskt utvidgar det Bruno de Finettis operativa subjektiva syn på sannolikhet och statistik.

Motivering

Överväg först en traditionell Bayesiansk analys där du förväntar dig att snart känna D och du skulle vilja veta mer om någon annan observerbar B . I det traditionella Bayesianska tillvägagångssättet krävs att alla möjliga utfall räknas upp, dvs varje möjliga utfall är korsprodukten av uppdelningen av en uppsättning av B och D . Om representerat på en dator där B kräver n bitar och D m bitar är antalet tillstånd som krävs $2^{n+m}$ . Det första steget till en sådan analys är att fastställa en persons subjektiva sannolikheter, t.ex. genom att fråga om deras spelbeteende för vart och ett av dessa resultat. När vi lär oss D bestäms villkorliga sannolikheter för B genom tillämpningen av Bayes regel.

Utövare av subjektiv Bayesiansk statistik analyserar rutinmässigt dataset där storleken på denna uppsättning är tillräckligt stor för att subjektiva sannolikheter inte kan bestämmas meningsfullt för varje element i D × B. Detta åstadkoms normalt genom att anta utbytbarhet och sedan använda parametriserade modeller med tidigare fördelningar över parametrar och vädja till de Finettis sats för att motivera att detta ger giltiga operationella subjektiva sannolikheter över D × B . Svårigheten med ett sådant tillvägagångssätt är att giltigheten av den statistiska analysen kräver att de subjektiva sannolikheterna är en bra representation av en individs övertygelse, men denna metod resulterar i en mycket exakt specifikation över D × B och det är ofta svårt att artikulera vad det skulle menar att anta dessa övertygelsespecifikationer.

I motsats till det traditionella Bayesianska paradigmet använder Bayes linjär statistik efter de Finetti Prevision eller subjektiv förväntan som en primitiv, sannolikhet definieras då som förväntan på en indikatorvariabel. Istället för att specificera en subjektiv sannolikhet för varje element i partitionen D × B specificerar analytikern subjektiva förväntningar på bara några få kvantiteter som de är intresserade av eller känner sig kunniga om. I stället för att villkora beräknas en justerad förväntan av en regel som är en generalisering av Bayes regel som är baserad på förväntan.

Användningen av ordet linjär i titeln hänvisar till de Finettis argument att sannolikhetsteori är en linjär teori (de Finetti argumenterade mot det vanligare måttteoretiska synsättet).

Exempel

I Bayes linjära statistik är sannolikhetsmodellen endast delvis specificerad, och det är inte möjligt att beräkna betingad sannolikhet med Bayes regel. Istället föreslår Bayes linear beräkningen av en justerad förväntan.

För att utföra en Bayes linjär analys är det nödvändigt att identifiera några värden som du förväntar dig att veta inom kort genom att göra mätningar D och något framtida värde som du skulle vilja veta B . Här D till en vektor som innehåller data och B till en vektor som innehåller kvantiteter du skulle vilja förutsäga. För följande exempel B och D vara tvådimensionella vektorer, dvs

B=(Y_{1},Y_{2}),~D=(X_{1},X_{2}).

För att specificera en Bayes linjär modell är det nödvändigt att tillhandahålla förväntningar för vektorerna B och D , och att även specificera korrelationen mellan varje komponent av B och varje komponent av D .

Till exempel är förväntningarna specificerade som:

E(Y_{1})=5,~E(Y_{2 })=3,~E(X_{1})=5,~E(X_{2})=3

och kovariansmatrisen specificeras som:

{\begin{array}{c|cccc}&X_{1}&X_{2}&Y_{1}&Y_{2}\\\hline X_{1}&1&u&\gamma &\gamma \\X_{2} &u&1&\gamma &\gamma \\Y_{1}&\gamma &\gamma &1&v\\Y_{2}&\gamma &\gamma &v&1\\\end{array}}.

Upprepningen i denna matris har några intressanta konsekvenser som ska diskuteras inom kort.

En justerad förväntan är en linjär skattare av formen

c_{0}+c_{1}X_{1}+c_{2}X_{2}

där $c_{0},c_{1}$ och $c_{2}$ är valda för att minimera den tidigare förväntade förlusten för observationerna, dvs $Y_ {1},Y_{2}}$ i det här fallet. Det är för $Y_{1}$

E([Y_{1}-c_{0}-c_{1}X_{1}-c_{2}X_ {2}]^{2})\,

var

c_{0},c_{1},c_{2}\,

väljs för att minimera den tidigare förväntade förlusten vid uppskattning av $Y_{1}$

I allmänhet beräknas den justerade förväntan med

E_{D}(X)=\summa _{i=0}^{k}h_{i}D_{i}.

Ställ in $h_{0},\dots ,h_{k}$ för att minimera

E\left(\left[X-\sum _{i=0}^{k}h_{i}D_{i}\right]^{2}\right).

Från ett bevis som tillhandahålls i (Goldstein och Wooff 2007) kan det visas att:

E_{D}(X)=E(X)+\mathrm {Cov} (X,D)\mathrm {Var} (D)^{-1}(DE(D)).\,

För fallet där $Var(D)$ inte är inverterbar bör Moore–Penrose-pseudoinversen användas istället.

ges den justerade variansen för variabeln $X$ efter observation av data $D av$

\mathrm {Var} _{D}(X)=\mathrm {Var} (X)-\mathrm {Cov} (X,D)\mathrm {Var} (D)^{-1}\mathrm {Cov} (D,X).

Se även

Oprecis sannolikhet

externa länkar

Bayes linjära metoder

Goldstein, M. (1981) Revising Previsions: a Geometric Interpretation (with Discussion) . Journal of the Royal Statistical Society , Series B, 43(2), 105-130
Goldstein, M. (2006) Subjektivismens principer och praktik . Bayesiansk analys] [1]
Michael Goldstein, David Wooff (2007) Bayes linjär statistik, teori och metoder , Wiley. ISBN 978-0-470-01562-9
de Finetti, B. (1931) "Probabilism: A Critical Essay on the Theory of Probability and on the Value of Science," (översättning av 1931 års artikel) i Erkenntnis, volym 31, september 1989. Hela dubbelnumret ägnas åt de Finetti, B. Finettis sannolikhetsfilosofi.
de Finetti, B. (1937) "La Prévision: ses lois logiques, ses sources subjektivs," Annales de l'Institut Henri Poincaré,

- "Foresight: its Logical Laws, Its Subjective Sources," (översättning av 1937 års artikel på franska) i HE Kyburg och HE Smokler (red), Studies in Subjective Probability, New York: Wiley, 1964.

de Finetti, B. ( 1974) Theory of Probability , (översättning av A Machi och AFM Smith från 1970 års bok) 2 volymer, New York: Wiley, 1974-5.