Vecchia uppskattning

Vecchia approximation är en Gaussisk processapproximationsteknik som ursprungligen utvecklades av Aldo Vecchia, en statistiker vid United States Geological Survey . Det är ett av de tidigaste försöken att använda Gaussiska processer i högdimensionella miljöer. Det har sedan dess generaliserats i stor omfattning, vilket ger upphov till många samtida approximationer.

Intuition

En gemensam sannolikhetsfördelning för händelser $A,B$ , och $C$ , betecknade $P(A,B,C)$ , kan uttryckas som

$P(A,B,C)=P(A)P(B|A)P (C|A,B)$

Vecchias approximation tar formen, t.ex.

$P(A,B,C)\approx P(A)P(B|A)P( C|A)$

och är korrekt när händelser $B$ och $C$ är nära villkorligt oberoende given kunskap om $A$ . Naturligtvis kunde man alternativt ha valt approximationen

$P(A,B,C)\approx P(A)P(B|A)P( C|B)$

och därför kräver användningen av approximationen viss kunskap om vilka händelser som är nära villkorligt oberoende givet andra. Dessutom kunde vi ha valt en annan ordning, till exempel

$P(A,B,C)\approx P(C)P(C|A)P(B|A).$

Lyckligtvis finns det i många fall bra heuristik för att fatta beslut om hur approximationen ska konstrueras.

Mer tekniskt leder allmänna versioner av approximationen till en sparsam Cholesky-faktor i precisionsmatrisen. Genom att använda standarden Cholesky-faktorisering produceras poster som kan tolkas som villkorliga korrelationer med nollor som indikerar inget oberoende (eftersom modellen är Gaussisk). Dessa oberoende relationer kan alternativt uttryckas med hjälp av grafiska modeller och det finns satser som kopplar samman grafstruktur och vertexordning med nollor i Cholesky-faktorn. I synnerhet är det känt att oberoende som är kodade i en moralisk graf leder till Cholesky-faktorer i precisionsmatrisen som inte har någon fyllning .

Formell beskrivning

Problemet

Låt $x$ vara en gaussisk process indexerad av ${\mathcal {S}}$ med medelfunktion $\mu$ och kovariansfunktion $K$ . Antag att $S=\{s_{1},\dots ,s_{n}\}\subset {\mathcal {S}}$ är en finit delmängd av ${\mathcal {S}}$ och $\mathbf {x} =(x_{1},\dots ,x_{n}))$ är en vektor av värden på $x$ utvärderade vid $S$ , dvs $x_{i}=x(s_{i})$ för $i=1,\dots ,n$ . Antag vidare att man observerar $\mathbf {y} =(y_{1},\dots ,y_{n})$ där $y_{i}=x_{i}+\varepsilon _{i}$ med $\varepsilon _{i}{\overset {\text{iid}} {\sim }}{\mathcal {N}}(0,\sigma ^{2})$ . I detta sammanhang inkluderar de två vanligaste slutledningsuppgifterna att utvärdera sannolikheten

${\mathcal {L}}(\mathbf {y} )=\int f(\mathbf {y} ,\mathbf {x} )\ ,d\mathbf {x} ,$

eller göra förutsägelser av värden på $x$ för $s^{*}\in {\mathcal {S}}$ och $s\not \in S$ , dvs beräknar

$f(x(s^{*})\mid y_{1},\dots ,y_{n}).$

Ursprunglig formulering

Den ursprungliga Vecchia-metoden börjar med observationen att fogtätheten för observationer $f(\mathbf {y} )=\left(y_{1},\dots ,y_{n}\right)$ kan skrivas som en produkt av villkorliga distributioner

$f(\mathbf {y} )=f(y_{1})\prod _{i=2}^{n}f(y_{i}\mid y_{i-1},\dots ,y_ {1}).$

Vecchia approximation antar istället att för vissa $k\ll n$

${\hat {f}}(\mathbf {y} )=f(y_{1})\prod _{i=2}^{n}f(y_{i}\mid y_{i-1 },\dots ,y_{\max(ik,1)}).$

Vecchia föreslog också att ovanstående approximation skulle tillämpas på observationer som omordnas lexikografiskt med hjälp av deras rumsliga koordinater. Även om hans enkla metod har många svagheter, reducerade den beräkningskomplexiteten till ${\mathcal {O}}(nk^{3})$ . Många av dess brister åtgärdades av de efterföljande generaliseringarna.

Allmän formulering

Även om det är begreppsmässigt enkelt, visar antagandet om Vecchia-approximationen sig ofta vara ganska restriktivt och felaktigt. Detta inspirerade till viktiga generaliseringar och förbättringar som introducerats i den grundläggande versionen under åren: införandet av latenta variabler, mer sofistikerad konditionering och bättre ordning. Olika specialfall av den allmänna Vecchia approximationen kan beskrivas i termer av hur dessa tre element väljs.

Latenta variabler

För att beskriva förlängningar av Vecchia-metoden i dess mest allmänna form, definiera $z_{i}=(x_{i},y_{i})$ och notera att för $\mathbf {z} =(z_{1},\dots ,z_{n})$ det gäller som i föregående avsnitt

$f(\mathbf {z} )=f(x_{1},y_{1})\left(\prod _{i=2}^{n}f(x_{i}\mid z_{1:i- 1})\right)\left(\prod _{i=2}^{n}f(y_{i}\mid x_{i})\right)$

eftersom givet $x_{i}$ är alla andra variabler oberoende av $y_{i}$ .

Beställning

Det har noterats allmänt att den ursprungliga lexikografiska ordningen baserad på koordinater när ${\mathcal {S}}$ är tvådimensionell ger dåliga resultat. På senare tid har en annan beställning föreslagits, av vilka några säkerställer att poängen ordnas på ett kvasi-slumpmässigt sätt. Mycket skalbara, de har visat sig också drastiskt förbättra noggrannheten.

Konditionering

I likhet med den grundläggande versionen som beskrivs ovan, för en given beställning kan en generell Vecchia-approximation definieras som

${\ displaystyle {\hat {f}}(\mathbf {z} )=f(x_{1},y_{1})\left(\prod _{i=2}^{n}f(x_{i}\ mid z_{q(i)})\right)\left(\prod _{i=2}^{n}f(y_{i}\mid x_{i})\right),}$

där $q(i)\subset \left\{1,\dots ,i-1\right\}$ . Eftersom $y_{i}\perp x_{-i},y_{-i}\mid x_{i}$ följer att ${\displaystyle f(x_{i}\mid z_{q( i)})=f(x_{i}\mid x_{q}(i),y_{q}(i))=f(x_{i}\mid x_{q}(i))} eftersom antyder$ att termerna $f(x_{i}\mid z_{q(i)})$ ska ersättas med $f(x_{i}\mid x_{q(i)})$ . Det visar sig emellertid att ibland villkorar vissa av observationerna $z_{i}$ ökar sparsiteten av Cholesky-faktorn för precisionsmatrisen för $(\mathbf {x} , \mathbf {y} )$ . Därför kan man istället överväga mängder $q_{y}(i)$ och $q_{x}(i)$ så att $q(i)=q_{y}(i)\cup q_{x}(i)$ och uttryck ${\hat {f}}$ som

${\hat {f}}(\mathbf {z} )=f(x_{1},y_{1})\left(\prod _{i=2}^{n}f(x_{i }\mid x_{q_{x}(i)},y_{q_{y}(i)})\right)\left(\prod _{i=2}^{n}f(y_{i}\ mitten x_{i})\höger).$

Flera metoder för att välja $q_{y}(i)$ och $q_{x}(i)$ har föreslagits, framför allt den Gaussiska processen som är närmast granne ( NNGP), meshed gaussisk process och multi-resolution approximation (MRA) tillvägagångssätt med användning av $q(i)=q_{x}(i)$ , standard Vecchia med $q(i)=q_{y}(i)$ och Sparse General Vecchia där både $q_{y}(i)$ och $q_{x}(i)$ är inte tomma.

programvara

Flera paket har utvecklats som implementerar vissa varianter av Vecchia-approximationen.

• GPvecchia är ett R-paket tillgängligt via CRAN (R-programmeringsspråk) som implementerar de flesta versioner av Vecchia-approximationen
• GpGp är ett R-paket tillgängligt via CRAN (R programmeringsspråk) som implementerar en skalbar beställningsmetod för rumsliga problem som avsevärt förbättrar noggrannheten.
• spNNGP är ett R-paket tillgängligt via CRAN (R-programmeringsspråk) som implementerar den latenta Vecchia-approximationen
• pyMRA är ett Python-paket tillgängligt genom pyPI som implementerar flerupplösningsapproximation, ett specialfall av den allmänna Vecchia-metoden som används i dynamiska tillståndsrymdsmodeller
• meshed är ett R-paket tillgängligt via CRAN (R programmeringsspråk) som implementerar Bayesianska rumsliga eller spatiotemporala multivariata regressionsmodeller baserade på en latent Meshed Gaussian Process (MGP) med Vecchia-approximationer på partitionerade domäner