Bayesiansk modellreduktion

Bayesiansk modellreduktion är en metod för att beräkna bevis och posterior över parametrarna för Bayesianska modeller som skiljer sig åt i sina tidigare . En fullständig modell anpassas till data med hjälp av standardmetoder. Hypoteser testas sedan genom att definiera en eller flera 'reducerade' modeller med alternativa (och vanligtvis mer restriktiva) prioriteringar, som vanligtvis – i gränsen – stänger av vissa parametrar. Bevisen och parametrarna för de reducerade modellerna kan sedan beräknas från bevisen och uppskattade ( posteriora ) parametrar för den fullständiga modellen med användning av Bayesiansk modellreduktion. Om priors och posteriors är normalfördelade , så finns det en analytisk lösning som kan beräknas snabbt. Detta har flera vetenskapliga och tekniska tillämpningar: dessa inkluderar poängsättning av bevis för ett stort antal modeller mycket snabbt och underlätta uppskattningen av hierarkiska modeller ( parametrisk empirisk Bayes) .

Teori

Betrakta en modell med parametrarna $\theta$ och en tidigare sannolikhetstäthet på dessa parametrar $p(\theta )$ . Den bakre övertygelsen om $\theta$ efter att ha sett data $p(\theta \mid y)$ ges av Bayes regel :

${\begin{aligned}p( \theta \mid y)&={\frac {p(y\mid \theta )p(\theta )}{p(y)}}\\p(y)&=\int p(y\mid \theta )p(\theta )\,d\theta \end{aligned}}$

 

 

 

 

(1)

Den andra raden i ekvation 1 är modellbeviset, vilket är sannolikheten att observera data givet modellen. I praktiken kan den bakre vanligtvis inte beräknas analytiskt på grund av svårigheten att beräkna integralen över parametrarna. Därför uppskattas de bakre med hjälp av metoder som MCMC-provtagning eller variations Bayes . En reducerad modell kan sedan definieras med en alternativ uppsättning priors ${\tilde {p}}(\theta )$ :

${\begin {aligned}{\tilde {p}}(\theta \mid y)&={\frac {p(y\mid \theta ){\tilde {p}}(\theta )}{{\tilde {p} }(y)}}\\{\tilde {p}}(y)&=\int p(y\mid \theta ){\tilde {p}}(\theta )\,d\theta \end{aligned }}$

 

 

 

 

(2)

Syftet med Bayesiansk modellreduktion är att beräkna den bakre ${\tilde {p}}(\theta \mid y)$ och bevis ${\tilde { p}}(y)$ av den reducerade modellen från den bakre $p(\theta \mid y)$ och bevis $p(y)$ av hela modellen . Genom att kombinera ekvation 1 och ekvation 2 och omarrangera, kan den reducerade posteriora ${\tilde {p}}(\theta \mid y)$ uttryckas som produkten av hela posterioren, förhållandet mellan tidigare och förhållandet mellan bevis:

${\begin{aligned}{\frac {{\tilde {p}}(\theta \mid y){\tilde {p}}(y)}{p(\theta \mid y)p(y)}}&={\frac {p(y\mid \theta ){\tilde {p} }(\theta )}{p(y\mid \theta )p(\theta )}}\\\Högerpil {\tilde {p}}(\theta \mid y)&=p(\theta \mid y) {\frac {{\tilde {p}}(\theta )}{p(\theta )}}{\frac {p(y)}{{\tilde {p}}(y)}}\end{aligned }}$

 

 

 

 

(3)

Beviset för den reducerade modellen erhålls genom att integrera över parametrarna för varje sida av ekvationen:

$\int {\tilde {p }}(\theta \mid y)\,d\theta =\int p(\theta \mid y){\frac {{\tilde {p}}(\theta )}{p(\theta )}}{ \frac {p(y)}{{\tilde {p}}(y)}}\,d\theta =1$

 

 

 

 

(4)

Och genom omarrangering:

${\begin{aligned}1&=\int p (\theta \mid y){\frac {{\tilde {p}}(\theta )}{p(\theta )}}{\frac {p(y)}{{\tilde {p}}(y )}}\,d\theta \\&={\frac {p(y)}{{\tilde {p}}(y)}}\int p(\theta \mid y){\frac {{\ tilde {p}}(\theta )}{p(\theta )}}\,d\theta \\\Högerpil {\tilde {p}}(y)&=p(y)\int p(\theta \ mitten av y){\frac {{\tilde {p}}(\theta )}{p(\theta )}}\,d\theta \end{aligned}}$

 

 

 

 

(5)

Gaussiska priorer och posteriors

Under Gaussiska tidigare och bakre densiteter, som används i samband med variationer av Bayes , har Bayesisk modellreduktion en enkel analytisk lösning. Definiera först normala densiteter för priors och posteriors:

${\begin{aligned}p(\theta )&=N(\theta ;\mu _{0},\Sigma _{0})\\{ \tilde {p}}(\theta )&=N(\theta ;{\tilde {\mu }}_{0},{\tilde {\Sigma }}_{0})\\p(\theta \ mid y)&=N(\theta ;\mu ,\Sigma )\\{\tilde {p}}(\theta \mid y)&=N(\theta ;{\tilde {\mu }},{\ tilde {\Sigma }})\\\end{aligned}}$

 

 

 

 

(6)

där tildesymbolen (~) indikerar kvantiteter relaterade till den reducerade modellen och sänkt noll – såsom $\mu _{0}$ – indikerar parametrar för priorerna. För enkelhetens skull definierar vi också precisionsmatriser, som är inversen av varje kovariansmatris:

${\begin{aligned}\Pi &=\Sigma ^{-1}\\\Pi _{ 0}&=\Sigma _{0}^{-1}\\{\tilde {\Pi }}&={\tilde {\Sigma }}^{-1}\\{\tilde {\Pi }} _{0}&={\tilde {\Sigma }}_{0}^{-1}\\\end{aligned}}$

 

 

 

 

(7)

Den fria energin för hela modellen $F$ är en approximation (nedre gräns) på loggmodellens bevis: $F\approx \ln {p(y)}$ som optimeras explicit i variationsmässiga Bayes (eller kan återvinnas från provtagningsuppskattningar). Den reducerade modellens fria energi ${\tilde {F}}$ och parametrar $({\tilde {\mu }},{\tilde {\Sigma }})$ ges sedan av uttrycken:

${\begin{aligned}{\tilde {F}}&={\frac {1}{2}}\ln |{\tilde {\Pi } }_{0}\cdot \Pi \cdot {\tilde {\Sigma }}\cdot \Sigma _{0}|\\&-{\frac {1}{2}}(\mu ^{T}\ Pi \mu +{\tilde {\mu }}_{0}^{T}{\tilde {\Pi}}_{0}{\tilde {\mu}}_{0}-\mu _{0 }^{T}\Pi _{0}\mu _{0}-{\tilde {\mu }}^{T}{\tilde {\Pi }}{\tilde {\mu }})+F\ \{\tilde {\mu }}&={\tilde {\Sigma }}(\Pi \mu +{\tilde {\Pi}}_{0}{\tilde {\mu}}_{0}- \Pi _{0}\mu _{0})\\{\tilde {\Sigma }}&=(\Pi +{\tilde {\Pi }}_{0}-\Pi _{0})^ {-1}\\\end{aligned}}$

 

 

 

 

(8)

Exempel

Exempel priors. I en "full" modell, till vänster, har en parameter en Gaussisk prior med medelvärde 0 och standardavvikelse 0,5. I en 'reducerad' modell, eller hur, har samma parameter tidigare medelvärde noll och standardavvikelse 1/1000. Bayesiansk modellreduktion gör att bevisen och parametrarna för den reducerade modellen kan härledas från bevisen och parametrarna för den fullständiga modellen.

Betrakta en modell med parametern $\theta$ och Gaussisk prior ${\displaystyle p(\theta )=N(0,0.5^{2})} ,$ vilket är normalfördelningen med medel noll och standardavvikelse 0,5 (illustrerad i figuren till vänster). Denna föregående säger att utan några data förväntas parametern ha värdet noll, men vi är villiga att underhålla positiva eller negativa värden (med ett 99% konfidensintervall [−1.16,1.16]). Modellen med denna prior är anpassad till data för att ge en uppskattning av parametern $q(\theta )$ och modellbeviset $p(y)$ .

För att bedöma om parametern bidrog till modellbeviset, dvs om vi lärde oss något om denna parameter, specificeras en alternativ 'reducerad' modell där parametern har en prior med mycket mindre varians: t.ex. ${\tilde {p}}_{0}=N(0,0,001^{2})$ . Detta illustreras i figuren (höger). Denna prior "stänger av" parametern och säger att vi nästan är säkra på att den har värdet noll. Parametern ${\tilde {q}}(\theta )$ och bevis ${\tilde {p}}(y)$ för denna reducerade modell beräknas snabbt från hela modellen med Bayesiansk modellreduktion.

Hypotesen att parametern bidrog till modellen testas sedan genom att jämföra de fullständiga och reducerade modellerna via Bayes-faktorn , som är förhållandet mellan modellbevis:

${\text{BF}}={\frac {p(y)}{{\tilde {p}}(y)}}$

Ju större detta förhållande, desto större bevis för hela modellen, som inkluderade parametern som en fri parameter. Omvänt, ju starkare bevis för den reducerade modellen är, desto mer säkra kan vi vara på att parametern inte bidrog. Observera att den här metoden inte är specifik för att jämföra "påslagen" eller "avstängd" parametrar, och eventuella mellanliggande inställning av priors kan också utvärderas.

Ansökningar

Neuroimaging

Bayesiansk modellreduktion utvecklades ursprungligen för användning i neuroimaging analys, i samband med modellering av hjärnanslutning, som en del av det dynamiska kausala modelleringsramverket (där det ursprungligen kallades post-hoc Bayesian modellval). Dynamiska orsaksmodeller (DCM) är differentialekvationsmodeller av hjärnans dynamik. Experimentledaren specificerar flera konkurrerande modeller som skiljer sig åt i sina priors - t.ex. i valet av parametrar som är fixerade vid deras tidigare förväntan på noll. Efter att ha utrustat en enda "full" modell med alla parametrar av intresse informerade av data, möjliggör Bayesiansk modellreduktion att bevisen och parametrarna för konkurrerande modeller snabbt kan beräknas, för att testa hypoteser. Dessa modeller kan specificeras manuellt av försöksledaren, eller genomsökas automatiskt, för att "beskära" eventuella överflödiga parametrar som inte bidrar till bevisningen.

Bayesiansk modellreduktion generaliserades därefter och tillämpades på andra former av Bayesianska modeller, till exempel parametriska empiriska Bayes (PEB) modeller av gruppeffekter. Här används den för att beräkna bevisen och parametrarna för varje given nivå i en hierarkisk modell under begränsningar (empiriska prioriteringar) som påtvingas av nivån ovan.

Neurobiologi

Bayesiansk modellreduktion har använts för att förklara hjärnans funktioner. I analogi med dess användning för att eliminera överflödiga parametrar från modeller av experimentella data, har det föreslagits att hjärnan eliminerar överflödiga parametrar från interna modeller av världen när den är offline (t.ex. under sömn).

Mjukvaruimplementationer

Bayesiansk modellreduktion implementeras i verktygslådan för statistisk parametrisk kartläggning, i Matlab -funktionen spm_log_evidence_reduce.m .