Bayesiansk kvadratur

Bayesiansk kvadratur är en metod för att approximera svårlösta integrationsproblem. Det faller inom klassen probabilistiska numeriska metoder . Bayesiansk kvadratur ser numerisk integration som en Bayesiansk slutledningsuppgift , där funktionsutvärderingar används för att uppskatta integralen av den funktionen. Av denna anledning kallas det ibland också för "bayesiansk probabilistisk numerisk integration" eller "bayesiansk numerisk integration". Namnet "Bayesian cubature" används också ibland när integranden är flerdimensionell. En potentiell fördel med detta tillvägagångssätt är att det ger probabilistisk osäkerhetskvantifiering för värdet av integralen.

Bayesiansk kvadratur

Numerisk integration

Låt $f:{\mathcal {X}}\rightarrow \mathbb {R}$ vara en funktion definierad på en domän ${\mathcal {X}}$ (där typiskt ${\displaystyle {\mathcal {X}}\subseteq \mathbb {R} ^{d}} )$ . I numerisk integration , funktionsutvärderingar $f(x_{1}),\ldots ,f(x_{n})$ på distinkta platser $x_{1},\ldots ,x_{n}$ i ${\mathcal {X}}$ används för att uppskatta integralen av $f$ mot ett mått $\nu$ : dvs ${\displaystyle \textstyle \nu [f]:=\int _{\mathcal {X}}f(x)\nu (\mathrm {d} x).} Angivna$ vikter ${ \displaystyle w_{1},\ldots ,w_{n}\i \mathbb {R} } ,$ en kvadraturregel är en estimator av $\nu [f]$ av formen $\textstyle {\hat {\nu }}[f]:=\summa _{i=1}^{n}w_{i}f(x_{i}).$

Bayesiansk kvadratur består av att specificera en tidigare fördelning över $f$ , konditionera denna prior på $f(x_{1}),\ldots ,f(x_ {n})$ för att erhålla en bakre fördelning $f$ , beräkna sedan den implicita bakre fördelningen på $\nu [f]$ . Namnet "kvadratur" kommer från det faktum att det bakre medelvärdet på $\nu [f]$ ibland tar formen av en kvadraturregel vars vikter bestäms av valet av prior.

Bayesisk kvadratur med gaussiska processer

Det vanligaste valet av tidigare fördelning för $f$ är en gaussisk process eftersom detta tillåter konjugerad slutledning för att erhålla en sluten form bakre fördelning på $\nu [f]$ . Antag att vi har en Gauss-process med tidigare medelfunktion $m:{\mathcal {X}}\rightarrow \mathbb {R}$ och kovariansfunktion (eller kärnfunktion) $k:{\mathcal {X}}\times {\mathcal {X}}\rightarrow \mathbb {R}$ . Sedan är den bakre fördelningen på $f$ en gaussisk process med medelvärde $m_{n}:{\mathcal {X}}\rightarrow \mathbb {R}$ och kärna $k_{n}:{\mathcal {X}}\times {\mathcal {X}}\rightarrow \mathbb {R}$ ges av:

$$m_{n}(x)=m(x)+k(x,X)k(X,X)^{-1}f(X)\qquad {\text{and}}\qquad k_{ n}(x,y)=k(x,y)-k(x,X)k(X,X)^{-1}k(X,y).$$

där $(k(X,X))_{ij}=k(x_{i},x_{j})$ , $(f(X))_{i}=f(x_{i})$ , $(k(\cdot ,X))_{i}=k(\cdot,x_{i})$ och ${ \displaystyle (k(X,\cdot ))_{i}=k(x_{i},\cdot )}$ .

Dessutom är den bakre fördelningen på $\nu [f]$ en univariat gaussisk fördelning med medelvärde $\mathbb {E} [\nu [f]]$ och varians $\mathbb {V} [\nu [f]]$ ges av

$$\mathbb {E} [\nu [f]]=\nu [m]+\nu [k(\cdot ,X)]k(X,X)^{-1}f(X)\qquad {\text{and}}\qquad \mathbb {V} [\nu [f]]=\nu \nu [k]-\nu [k(\cdot ,X)]k(X,X)^{- 1}\nu [k(X,\cdot )].$$

Funktionen $\textstyle \nu [k(\cdot ,x)]=\int _{\mathcal {X }}k(y,x)\nu (\mathrm {d} y)$ är kärnans medelinbäddning av $k$ och $\textstyle \nu \nu [k]=\int _{\mathcal {X}}k(x,y)\nu (dx)\nu (\mathrm {d} y)$ anger integralen av $k$ med avseende på båda ingångarna. Observera särskilt att det bakre medelvärdet är en kvadraturregel med vikter ${\displaystyle \textstyle w_{i}=(\nu [k(\cdot ,X)]k(X,X)^{-1})_{i}.} och den bakre variansen ger en kvantifiering av$ användarens osäkerhet över värdet på $\nu [f]$ .

I mer utmanande integrationsproblem, där den tidigare fördelningen inte kan förlitas på som en meningsfull representation av epistemisk osäkerhet, är det nödvändigt att använda data ${\displaystyle f(x_{$ för att ställa in kärnans hyperparametrar med till exempel maximal sannolikhetsuppskattning . Uppskattningen av kärnhyperparametrar introducerar adaptivitet i Bayesiansk kvadratur.

Exempel

Illustration av Bayesiansk kvadratur för att uppskatta $\textstyle \nu [f]=\int _{0}^{1}f(x)\,\mathrm {d } x$ där $\textstyle f(x)=(1+x^{2})\sin(5\ pi x)+8/5$ . Den bakre fördelningen (blå) koncentrerar sig på den sanna integralen när mer data (de röda punkterna) erhålls för integranden $f$ .

Överväg uppskattning av integralen

$$\nu [f]=\int _{0}^{1}f(x)\,\mathrm {d} x\approx 1,79\quad {\text{ av funktionen }}\quad f(x)=(1+x^{2}) \sin(5\pi x)+{\frac {8}{5}}$$

använda en Bayesiansk kvadraturregel baserad på en noll-medelvärde Gauss-process före med $\displaystyle \rho =1/5$ kovariansfunktion jämnhet $3/2$ och korrelationslängd . Denna kovariansfunktion är $\textstyle k(x,y)=(1+{\sqrt {3}}\,|xy|/\rho )\exp(\!-{\sqrt {3}}\,|xy|/ \rho ).$ Det är enkelt (även om det är tråkigt) att beräkna det

$$\nu [k(\cdot ,x)]=\int _{0}^{1}k(y,x)\, \mathrm {d} y={\frac {4\rho }{\sqrt {3}}}-{\frac {1}{3}}\exp {\bigg (}{\frac {{\sqrt {3 }}(x-1)}{\rho }}{\bigg )}{\big (}3+2{\sqrt {3}}\,\rho -3x{\big )}-{\frac {1 }{3}}\exp {\bigg (}-{\frac {{\sqrt {3}}\,x}{\rho }}{\bigg )}{\big (}3x+2{\sqrt { 3}}\,\rho {\big )}$$

$$\nu \nu [k]=\int _{0}^{1}\int _{0}^{1}k(x,y)\,\mathrm {d} x\,\mathrm { d} y={\frac {2\rho }{3}}{\Bigg [}2{\sqrt {3}}-3\rho +\exp {\bigg (}\!-{\frac {\sqrt {3}}{\rho }}{\bigg )}{\big (}{\sqrt {3}}+3\rho {\big )}{\Bigg ]}.$$

Konvergens av den Bayesianska kvadraturpunktskattningen $\mathbb {E} [\nu [f]]$ och koncentrationen av den bakre massan, kvantifierad med $\mathbb {V} [\nu [f]]$ , runt den sanna integralen $\nu [f]$ som $f$ utvärderas på fler och fler punkter visas i den medföljande animation.

Fördelar och nackdelar

Eftersom Bayesiansk kvadratur är ett exempel på probabilistisk numerik , ärver den vissa fördelar jämfört med traditionella numeriska integrationsmetoder :

• Det gör att osäkerhet kan kvantifieras och spridas genom alla efterföljande beräkningar för att explicit modellera effekten av numeriska fel.
• Den tillhandahåller ett principiellt sätt att införliva förkunskaper genom att använda ett omdömesgillt val av tidigare distributioner för ${\displaystyle f} ,$ som kan vara mer sofistikerad jämfört med den Gaussiska standardprocessen som just beskrivits.
• Det tillåter mer effektiv användning av information, t.ex. att gemensamt sluta sig till flera relaterade mängder av intresse eller använda aktivt lärande för att minska det erforderliga antalet poäng.

Trots dessa fördelar har Bayesianska kvadraturmetoder följande begränsningar:

• Även om det Bayesianska paradigmet tillåter en principiell behandling av kvantifieringen av osäkerhet, är den bakre inferensen över $\nu [f]$ inte alltid löslig, vilket kräver en uppskattning på andra nivån. För t.ex. Bayesiansk kvadratur med Gaussiska processer, har kärnans medelinbäddning $\nu [k(\cdot ,x)]$ inget uttryck i slutet form för en allmän kärna $k$ och mät $\nu$ .

• Beräkningskostnaden för Bayesianska kvadraturmetoder baserade på Gaussiska processer är i allmänhet ${\mathcal {O}}(n^{3})$ på grund av kostnaden för att invertera $n \times n$ matriser, som kan trotsa sina applikationer till storskaliga problem.

Algoritmisk design

Tidigare utdelningar

Den vanligaste priorn för $f$ är en Gaussisk process prior. Detta beror främst på fördelen med Gaussisk konjugation och det faktum att Gaussiska processer kan koda ett brett spektrum av förkunskaper inklusive jämnhet, periodicitet och sparsitet genom ett noggrant val av tidigare kovarians. Emellertid har även ett antal andra tidigare utdelningar föreslagits. Detta inkluderar Gaussiska processer med flera utdata , som är särskilt användbara när man tar itu med flera relaterade numeriska integrationsuppgifter samtidigt eller sekventiellt, och trädbaserade prioriteringar som Bayesianska additiv regressionsträd, som är väl lämpade för diskontinuerliga f {\displaystyle $}$ . Dessutom Dirichlet-processer föreslagits för integrationsmåttet $\nu$ .

Punktval

Punkterna $x_{1},\ldots ,x_{n}$ anses antingen vara givna eller kan väljas för att säkerställa baksidan på $\nu [f]$ koncentreras i en snabbare takt. En metod består i att använda punktuppsättningar från andra kvadraturregler. Till exempel, att ta oberoende och identiskt fördelade realisationer från $\nu$ återställer en Bayesiansk ansats till Monte Carlo , medan användning av vissa deterministiska punktuppsättningar som sekvenser med låg diskrepans eller gitter återställer ett Bayesianskt alternativ till quasi-Monte Carlo . Det är naturligtvis också möjligt att använda punktuppsättningar speciellt utformade för Bayesiansk kvadratur; se till exempel arbetet med vem som utnyttjade symmetrier i punktuppsättningar för att erhålla skalbara Bayesianska kvadraturestimatorer. Alternativt kan punkter också väljas adaptivt enligt principer från aktivt lärande och Bayesiansk experimentell design för att direkt minimera bakre osäkerhet, inklusive för Gaussiska processer med flera utgångar.

Kärnmedelvärde och initialfel

En av utmaningarna när man implementerar Bayesiansk kvadratur är behovet av att utvärdera funktionen $\nu [k(\cdot ,x)]$ och konstanten $\nu \nu [k]$ . Den förra kallas vanligen för kärnmedelvärde och är en kvantitet som är nyckeln till beräkningen av kärnbaserade avstånd såsom den maximala medelavvikelsen. Det senare kallas vanligen för det initiala felet eftersom det ger en övre gräns för integrationsfelet innan några funktionsvärden observeras. Tyvärr kan kärnans medelvärde och initialfel endast beräknas för ett litet antal $(k,\nu )$ par; se till exempel Tabell 1 in.

Teori

Det har funnits ett antal teoretiska garantier för Bayesiansk kvadratur. Dessa kräver vanligtvis Sobolev-jämnhetsegenskaper hos integranden, även om nyare arbeten även sträcker sig till integrander i den reproducerande kärnan Hilbert-utrymme i den Gaussiska kärnan. De flesta av resultaten gäller fallet med Monte Carlo eller deterministiska rutnätspunkter, men vissa resultat sträcker sig även till adaptiva konstruktioner.

programvara

• ProbNum : Probabilistiska numeriska metoder i Python, inklusive en Bayesiansk kvadraturimplementering.
• Emukit : Emulering och beslutsfattande under osäkerhet i Python.
• QMCPy : Bayesisk kvadratur med QMC-punktuppsättningar i Python.