g-prior

Inom statistik är g-prior en objektiv prior för regressionskoefficienterna för en multipel regression . Den introducerades av Arnold Zellner . Det är ett nyckelverktyg i Bayes och empiriska Bayes variabelval .

Definition

Betrakta en datamängd $(x_{1},y_{1}),\ldots ,(x_{n},y_{n})$ , där $x_{i}$ är euklidiska vektorer och $y_{i}$ är skalärer . Multipel regressionsmodellen är formulerad som

$y_{i}=x_{i}^{\top }\beta +\varepsilon _{i}.$

där $\varepsilon _{i}$ är slumpmässiga fel. Zellners g-prior för $\beta$ är en multivariat normalfördelning med kovariansmatris proportionell mot den inversa Fisher-informationsmatrisen för ${\displaystyle \beta } ,$ liknande en Jeffreys prior .

Antag att $\varepsilon _{i}$ är iid normala med noll medelvärde och varians $\psi ^{-1}$ . Låt $X$ vara matrisen med ${\displaystyle i}:$ e raden lika med $x_{i}^{\top }$ . Då är g-priorn för $\beta$ den multivariata normalfördelningen med föregående medelvärde en hyperparameter $\beta _{0}$ och kovariansmatris proportionell mot ${ \displaystyle \psi ^{-1}(X^{\top }X)^{-1}} ,$ dvs.

$\beta |\psi \sim {\text{N}}[\beta _{0},g\psi ^{-1}(X^{\top }X)^{-1}].$

där g är en positiv skalär parameter.

Posterior distribution av beta

Den bakre fördelningen av $\beta$ anges som

$\beta |\psi ,x,y\sim {\text{N}}{\Big [}q{\hat {\beta }}+(1-q)\beta _{0},{\ frac {q}{\psi }}(X^{\top }X)^{-1}{\Big ]}.$

där $q=g/(1+g)$ och

${\hat {\beta }}=(X^{\top }X)^{-1}X^{\top }y.$

är den maximala sannolikheten (minsta kvadraterna) skattaren för $\beta$ . Vektorn av regressionskoefficienter $\beta$ kan uppskattas av dess bakre medelvärde under g-prior, dvs som det viktade medelvärdet av maximal sannolikhetsestimatorn och $\beta _{0}$ ,

${\tilde {\beta }}=q{\hat {\beta }}+(1-q)\beta _{0}.$

Tydligen, som g →∞, konvergerar det bakre medelvärdet till skattaren för maximal sannolikhet.

Urval av g

Uppskattning av g är något mindre enkel än uppskattning av $\beta$ . En mängd olika metoder har föreslagits, inklusive Bayes och empiriska Bayes-estimatorer.