Integrerade kapslade Laplace-approximationer

Integrated Nested Laplace approximations ( INLA ) är en metod för approximation av Bayesiansk slutledning baserad på Laplaces metod . Den är designad för en klass av modeller som kallas latenta Gaussiska modeller (LGM), för vilka den kan vara ett snabbt och korrekt alternativ för Markovkedjans Monte Carlo- metoder för att beräkna posteriora marginalfördelningar. På grund av dess relativa hastighet även med stora datamängder för vissa problem och modeller, har INLA varit en populär inferensmetod inom tillämpad statistik, i synnerhet rumslig statistik , ekologi och epidemiologi . Det är också möjligt att kombinera INLA med en finita elementmetodlösning av en stokastisk partiell differentialekvation för att studera t.ex. rumsliga punktprocesser och artfördelningsmodeller . INLA-metoden är implementerad i R-INLA R -paketet.

Latenta Gaussiska modeller

Låt ${\boldsymbol {y}}=(y_{1},\dots ,y_{n})$ beteckna svarsvariabeln (det vill säga observationerna) som tillhör en exponentiell familj där medelvärdet $\mu _{i}$ (av $y_{i}$ ) är kopplat till en linjär prediktor $\eta _{i }$ via en lämplig länkfunktion . Den linjära prediktorn kan ha formen av en (bayesiansk) additiv modell. Alla latenta effekter (den linjära prediktorn, skärningen, koefficienter för möjliga kovariater och så vidare) betecknas tillsammans med vektorn ${\boldsymbol {x}}$ . Modellens hyperparametrar betecknas med θ $\displaystyle {\boldsymbol {\theta }}$ } . Enligt Bayesiansk statistik ${\boldsymbol {x}}$ och ${\boldsymbol {\theta }}$ slumpvariabler med tidigare distributioner.

Observationerna antas vara villkorligt oberoende givet ${\boldsymbol {x}}$ och ${\boldsymbol {\theta }}$ :

$$\pi ({\boldsymbol {y}}|{\boldsymbol {x}},{\boldsymbol { \theta }})=\prod _{i\in {\mathcal {I}}}\pi (y_{i}|\eta _{i},{\boldsymbol {\theta }}),$$

där ${\mathcal {I}}$ är uppsättningen av index för observerade element i ${\boldsymbol {y}}$ (vissa element kan vara oobserverade, och för dessa beräknar INLA en posterior prediktiv fördelning ). Observera att den linjära prediktorn ${\boldsymbol {\eta }}$ är en del av ${\boldsymbol {x}}$ .

För att modellen ska vara en latent Gaussisk modell antas det att ${\boldsymbol {x}}|{\boldsymbol {\theta }}$ är ett Gaussiskt Markov Random Field (GMRF) (det vill säga en multivariat Gaussian med ytterligare villkorliga oberoendeegenskaper) med sannolikhetstäthet

$${\displaystyle \pi ({\boldsymbol {x}}|{\boldsymbol {\theta }})\propto \left|{\boldsymbol {$$

där ${\boldsymbol {Q_{\theta }}}$ är en ${\boldsymbol {\theta }}$ -beroende gles precisionsmatris och $\left|{\boldsymbol {Q_{\theta }}}\right|$ är dess determinant. Precisionsmatrisen är sparsam på grund av GMRF-antagandet. Den tidigare fördelningen $\pi ({\boldsymbol {\theta }})$ för hyperparametrarna behöver inte vara Gaussisk. Antalet hyperparametrar, $m=\mathrm {dim} ({\boldsymbol {\theta }})$ , antas dock vara litet (säg mindre än 15).

Ungefärlig Bayesiansk slutledning med INLA

I Bayesiansk inferens vill man lösa den bakre fördelningen av de latenta variablerna ${\boldsymbol {x}}$ och ${\boldsymbol {\theta }}$ . Tillämpa Bayes sats

$$\pi ({\boldsymbol {x}},{\boldsymbol { \theta }}|{\boldsymbol {y}})={\frac {\pi ({\boldsymbol {y}}|{\boldsymbol {x}},{\boldsymbol {\theta }})\pi ({ \boldsymbol {x}}|{\boldsymbol {\theta }})\pi ({\boldsymbol {\theta }})}{\pi ({\boldsymbol {y}})}},$$

den gemensamma bakre fördelningen av ${\boldsymbol {x}}$ och ${\boldsymbol {\theta }}$ ges av

$${\begin{aligned}\pi ({\boldsymbol {x}},{\boldsymbol {\theta }}|{\boldsymbol {y}})&\propto \pi ({\boldsymbol {\theta } })\pi ({\boldsymbol {x}}|{\boldsymbol {\theta }})\prod _{i}\pi (y_{i}|\eta _{i},{\boldsymbol {\theta } })\\&\propto \pi ({\boldsymbol {\theta }})\left|{\boldsymbol {Q_{\theta }}}\right|^{1/2}\exp \left(-{\ frac {1}{2}}{\boldsymbol {x}}^{T}{\boldsymbol {Q_{\theta }}}{\boldsymbol {x}}+\summa _{i}\log \left[\ pi (y_{i}|\eta _{i},{\boldsymbol {\theta }})\right]\right).\end{aligned}}$$

Att erhålla den exakta posterioren är i allmänhet ett mycket svårt problem. I INLA är huvudsyftet att approximera de bakre marginalerna

$${ \begin{array}{rcl}\pi (x_{i}|{\boldsymbol {y}})&=&\int \pi (x_{i}|{\boldsymbol {\theta }},{\boldsymbol { y}})\pi ({\boldsymbol {\theta }}|{\boldsymbol {y}})d{\boldsymbol {\theta }}\\\pi (\theta _{j}|{\boldsymbol {y }})&=&\int \pi ({\boldsymbol {\theta }}|{\boldsymbol {y}})d{\boldsymbol {\theta }}_{-j},\end{array}}$$

där ${\boldsymbol {\theta }}_{-j}=\left(\theta _{ 1},\dots ,\theta _{j-1},\theta _{j+1},\dots ,\theta _{m}\right)$ .

En nyckelidé med INLA är att konstruera kapslade approximationer som ges av

$${\begin{array}{rcl}{\widetilde {\pi }}(x_{i}|{\boldsymbol {y}})&=&\int {\widetilde {\pi }}(x_ {i}|{\boldsymbol {\theta }},{\boldsymbol {y}}){\widetilde {\pi }}({\boldsymbol {\theta }}|{\boldsymbol {y}})d{\ fetsymbol {\theta }}\\{\widetilde {\pi }}(\theta _{j}|{\boldsymbol {y}})&=&\int {\widetilde {\pi }}({\boldsymbol { \theta }}|{\boldsymbol {y}})d{\boldsymbol {\theta }}_{-j},\end{array}}$$

där ${\widetilde {\pi }}(\cdot |\cdot )$ är en ungefärlig bakre densitet. Approximationen till marginaldensiteten $\pi (x_{i}|{\boldsymbol {y}})$ erhålls på ett kapslat sätt genom att först approximera ${\ displaystyle \pi ({\boldsymbol {\theta }}|{\boldsymbol {y}})}$ och $\pi (x_{i}|{\boldsymbol {\theta } },{\boldsymbol {y}})$ , och sedan numeriskt integrera ut ${\boldsymbol {\theta }}$ som

$${\begin{aligned}{\widetilde {\pi }}(x_{i}|{\boldsymbol {y}})=\summa _{k}{\widetilde {\pi }}\left(x_{i}|{\boldsymbol {\theta }}_{k },{\boldsymbol {y}}\right)\times {\widetilde {\pi }}({\boldsymbol {\theta }}_{k}|{\boldsymbol {y}})\times \Delta _{ k},\end{aligned}}$$

där summeringen är över värdena för ${\boldsymbol {\theta }}$ , med integrationsvikter givna av $\Delta _{k}$ . Approximationen av $\pi (\theta _{j}|{\boldsymbol {y}})$ beräknas genom att numeriskt integrera $\displaystyle {\boldsymbol {\theta } }_{-j}}$ ut från ${\widetilde {\pi }}({\boldsymbol {\theta }}|{\boldsymbol {y}})$ .

För att få den ungefärliga fördelningen ${\displaystyle {\widetilde {\pi }}({\boldsymbol {\theta }}|{\boldsymbol {y}})} kan man använda$ relationen

$${\begin{aligned}{\pi }({\boldsymbol {\theta }} |{\boldsymbol {y}})={\frac {\pi \left({\boldsymbol {x}},{\boldsymbol {\theta }},{\boldsymbol {y}}\right)}{\pi \left({\boldsymbol {x}}|{\boldsymbol {\theta }},{\boldsymbol {y}}\right)\pi ({\boldsymbol {y}})}},\end{aligned}}$$

som utgångspunkt. Då erhålls ${\displaystyle {\widetilde {\pi }}({\boldsymbol {\theta }}|{\boldsymbol {y}})} vid ett specifikt värde av hyperparametrarna$${\boldsymbol {\theta }}={\boldsymbol {\theta }}_{k}$ med Laplaces approximation

$${\begin{aligned}{\widetilde {\pi }}({\boldsymbol {\theta }}_{k}|{\boldsymbol {y}})&\ propto \left.{\frac {\pi \left({\boldsymbol {x}},{\boldsymbol {\theta }}_{k},{\boldsymbol {y}}\right)}{{\widetilde { \pi }}_{G}\left({\boldsymbol {x}}|{\boldsymbol {\theta}}_{k},{\boldsymbol {y}}\right)}}\right\vert _{ {\boldsymbol {x}}={\boldsymbol {x}}^{*}({\boldsymbol {\theta }}_{k})},\\&\propto \left.{\frac {\pi ( {\boldsymbol {y}}|{\boldsymbol {x}},{\boldsymbol {\theta }}_{k})\pi ({\boldsymbol {x}}|{\boldsymbol {\theta}}_{ k})\pi ({\boldsymbol {\theta }}_{k})}{{\widetilde {\pi }}_{G}\left({\boldsymbol {x}}|{\boldsymbol {\theta }}_{k},{\boldsymbol {y}}\right)}}\right\vert _{{\boldsymbol {x}}={\boldsymbol {x}}^{*}({\boldsymbol {\ theta }}_{k})},\end{aligned}}$$

där ${\widetilde {\pi }}_{G}\left({\boldsymbol {x}}|{\boldsymbol {\theta }}_{k} ,{\boldsymbol {y}}\right)$ är den gaussiska approximationen till ${\pi }\left({\boldsymbol {x}}|{\boldsymbol {\theta }}_{k},{\boldsymbol {y}}\right)$ vars läge vid en given ${\boldsymbol {\theta }}_{k}$ är ${\ displaystyle {\boldsymbol {x}}^{*}({\boldsymbol {\theta }}_{k})}$ . Läget kan hittas numeriskt till exempel med Newton-Raphson-metoden .

Tricket i Laplace-approximationen ovan är det faktum att Gauss-approximationen appliceras på hela villkoret av ${\boldsymbol {x}}$ i nämnaren eftersom den vanligtvis är nära en Gauss på grund av GMRF-egenskapen för ${\boldsymbol {x}}$ . Att tillämpa approximationen här förbättrar metodens noggrannhet, eftersom den bakre ${\displaystyle {\pi }({\boldsymbol {\theta }}|{\boldsymbol {y}})} själv inte$ behöver vara nära en Gauss, så den Gaussiska approximationen appliceras inte direkt på ${\pi }({\boldsymbol {\theta }}|{\boldsymbol {y}})$ . Den andra viktiga egenskapen hos en GMRF, glesheten hos precisionsmatrisen ${\displaystyle {\boldsymbol {Q}}_{{\boldsymbol {\theta }}_{k}}}, krävs$ för effektiv beräkning av ${\widetilde {\pi }}({\boldsymbol {\theta }}_{k}|{\boldsymbol {y}})$ för varje värde ${{\boldsymbol {\theta }}_{k}}$ .

Erhålla den ungefärliga fördelningen ${\widetilde {\pi }}\left(x_{i}|{\boldsymbol {\theta }}_{k},{\boldsymbol {y}}\right)$ är mer involverad, och INLA-metoden ger tre alternativ för detta: Gauss approximation, Laplace approximation eller den förenklade Laplace approximationen. För den numeriska integrationen för att erhålla ${\displaystyle {\widetilde {\pi }}(x_{i}|{\boldsymbol {y}})} finns$ även tre alternativ tillgängliga: rutnätssökning, central kompositdesign, eller empirisk Bayes.

Vidare läsning

•   Gomez-Rubio, Virgilio (2021). Bayesiansk slutledning med INLA . Chapman och Hall/CRC. ISBN 978-1-03-217453-2 .