Kärnmetoder för vektorutdata

Kärnmetoder är ett väletablerat verktyg för att analysera förhållandet mellan indata och motsvarande utdata från en funktion. Kärnor kapslar in egenskaperna hos funktioner på ett beräkningseffektivt sätt och tillåter algoritmer att enkelt byta funktioner av varierande komplexitet.

I typiska maskininlärningsalgoritmer producerar dessa funktioner en skalär utdata. Den senaste tidens utveckling av kärnmetoder för funktioner med vektorvärderad utdata beror, åtminstone delvis, på intresset för att samtidigt lösa relaterade problem. Kärnor som fångar förhållandet mellan problemen gör att de kan låna styrka av varandra. Algoritmer av denna typ inkluderar multi-task learning (även kallat multi-output learning eller vektorvärderad inlärning), transfer learning och co- kriging . Fleretikettsklassificering kan tolkas som avbildning av indata till (binära) kodningsvektorer med längd lika med antalet klasser.

I Gaussiska processer kallas kärnor för kovariansfunktioner . Funktioner med flera utdata motsvarar att överväga flera processer. Se Bayesiansk tolkning av regularisering för sambandet mellan de två perspektiven.

Historia

Historien om att lära sig vektorvärderade funktioner är nära kopplad till överföringsinlärning - lagring av kunskap som erhållits samtidigt som man löser ett problem och tillämpar den på ett annat men relaterat problem. Den grundläggande motivationen för överföringsinlärning inom området maskininlärning diskuterades i en NIPS-95-workshop om "Learning to Learning", som fokuserade på behovet av livslånga metoder för maskininlärning som behåller och återanvänder tidigare lärd kunskap. Forskning om överföringslärande har väckt stor uppmärksamhet sedan 1995 i olika namn: lära att lära, livslångt lärande, kunskapsöverföring, induktiv överföring, multitask-inlärning, kunskapskonsolidering, kontextkänsligt lärande, kunskapsbaserad induktiv bias, metalearning och inkrementell/ kumulativ lärande . Intresset för att lära sig vektorvärderade funktioner väcktes särskilt av multitask-inlärning, ett ramverk som försöker lära sig flera, möjligen olika uppgifter samtidigt.

Mycket av den initiala forskningen inom multitask-inlärning i maskininlärningsgemenskapen var algoritmisk till sin natur, och tillämpades på metoder som neurala nätverk, beslutsträd och k -närmaste grannar på 1990-talet. Användningen av probabilistiska modeller och Gaussiska processer var banbrytande och till stor del utvecklad inom ramen för geostatistik, där förutsägelse över vektorvärderade utdata är känd som cokriging. Geostatistiska tillvägagångssätt för multivariat modellering är mestadels formulerade kring den linjära modellen för samregionalisering (LMC), en generativ metod för att utveckla giltiga kovariansfunktioner som har använts för multivariat regression och i statistik för datoremulering av dyra multivariata datorkoder. Den legaliserings- och kärnteoretiska litteraturen för vektorvärderade funktioner följde på 2000-talet. Även om det Bayesianska perspektivet och regulariseringsperspektivet utvecklades oberoende av varandra, är de i själva verket nära besläktade.

Notation

I detta sammanhang är det övervakade inlärningsproblemet att lära sig funktionen $f$ som bäst förutsäger vektorvärderade utdata $\mathbf {y_{i}}$ givna indata (data) $\mathbf {x_{i}}$ .

$f(\mathbf {x_{i}} )=\mathbf {y_{i}}$ för $i=1,\ldots , N$

${\displaystyle \mathbf {x_{i}} \in {\mathcal {X}}} ,$ ett inmatningsutrymme (t.ex. ${\mathcal {X}}=\mathbb {R} ^{p}$ )

$\mathbf {y_{i}} \in \mathbb {R} ^{D}$

I allmänhet kan varje komponent i ( $\mathbf {y_{i}}$ ), ha olika indata ( $\mathbf {x_{d,i}}$ ) med olika kardinalitet ( $p$ ) och även olika inmatningsutrymmen ( ${\displaystyle {\mathcal {X}}} )$ . Geostatistisk litteratur kallar det här fallet heterotopiskt och använder isotop för att indikera att varje komponent i utgångsvektorn har samma uppsättning ingångar.

Här, för enkelhetens skull i notationen, antar vi att antalet och sampelutrymmet för data för varje utdata är desamma.

Regulariseringsperspektiv

Ur ett regulariseringsperspektiv är problemet att lära sig $f_{*}$ som tillhör en reproducerande kärna Hilbert-rymd av vektorvärderade funktioner ( ${\displaystyle {\mathcal {H}}} )$ . Detta liknar det skalära fallet med Tikhonov-regularisering , med lite extra försiktighet i notationen.

	Vektorvärderat fall	Skalärt fall
Återskapande kärna	$\mathbf {K} :{\mathcal {X}}\times {\mathcal {X}}\rightarrow \mathbb {R} ^{D\times D}$	$k:{\mathcal {X}}\times {\mathcal {X}}\rightarrow \mathbb {R}$
Inlärningsproblem	$f_{*}=\operatörsnamn {argmin } \sum \limits _{j=1}^{D}{\frac {1}{N}}\sum \limits _{i=1}^{N}(f_{j}(\mathbf {x_{ i}} )-y_{j,i})^{2}+\lambda \Vert \mathbf {f} \Vert _{\mathbf {K} }^{2}$	$f_{*}=\operatörsnamn {argmin} {\frac {1}{ N}}\summa \limits _{i=1}^{N}(f(\mathbf {x_{i}} )-y_{i})^{2}+\lambda \Vert \mathbf {f} \ Vert _{k}^{2}$
Lösning (härledd via representationssatsen $^{\dolk }$ )	$f_{*}(\mathbf {x} )=\summa \limits _{i=1}^{N}\ mathbf {K} (\mathbf {x_{i}} ,\mathbf {x} )c_{i}$ med ${\displaystyle {\bar {\mathbf {c} }}=(\mathbf {K} (\mathbf {X} , \mathbf {X} )+\lambda N\mathbf {(} I))^{-1}{\bar {\mathbf {y} }}} , där c ¯ och y ¯$ { \ ${\mathbf {y} }}}$$\ mathbf {c} }}{\text{ och }}{\$${\displaystyle \mathbf {K} (\mathbf {X} ,\mathbf {X} ){\text{ är en }}ND\times ND}-matris av N × N$ är koefficienterna och utdatavektorerna sammanlänkade för att bilda $ND$ vektorer och { $\ gånger N}$ block: $(\mathbf {K} (\mathbf {x_{i}} ,\mathbf {x_{j}} ))_{ d,d'}$	$f_{*}(\mathbf {x} )=\summa \limits _{i=1} ^{N}k(\mathbf {x_{i}} ,\mathbf {x} )c_{i}=\mathbf {k} _{\mathbf {x} }^{\intercal }\mathbf {c}$ Lös för $\mathbf {c}$ genom att ta derivatan av inlärningsproblemet, sätta det lika med noll och ersätta ${\displaystyle f_{*}} i uttrycket ovan$ : $\mathbf {c} =(\mathbf {K} +\lambda I)^{-1}\mathbf {y}$ där $\mathbf {K} _{ij}=k(\mathbf {x_{i}} ,\mathbf {x_{ j}} )=i^{\text{th}}{\text{ element av }}\mathbf {k} _{\mathbf {x_{j}} }$

$^{\dolk }$ Det är möjligt, även om det inte är trivialt, att visa att en representationssats också gäller för Tikhonov-regularisering i den vektorvärderade miljön.

Notera att den matrisvärdade kärnan $\mathbf {K}$ också kan definieras av en skalär kärna $R$ på utrymmet ${\displaystyle {\mathcal$ . En isometri existerar mellan Hilbert-utrymmena som är associerade med dessa två kärnor:

$(\mathbf {K} (x,x'))_{d, d'}=R((x,d),(x',d'))$

Gaussiskt processperspektiv

Estimatorn för det vektorvärderade regulariseringsramverket kan också härledas från en Bayesiansk synvinkel genom att använda Gaussiska processmetoder i fallet med en ändlig dimensionell reproducerande kärna Hilbert-rymd . Härledningen liknar den skalärvärderade fallet Bayesianska tolkningen av regularisering . Den vektorvärderade funktionen ${\textbf {f}}$ , bestående av $D$ ger ut $\left\{f_{d}\right\} _{d=1}^{D}$ , antas följa en Gaussisk process:

${\textbf {f}}\sim {\mathcal {GP}}({\textbf {m}},{\textbf {K}})$

där ${\displaystyle {\textbf {m}}:{\mathcal {X}}\to {\textbf {R}}^{D}} är nu$ en vektor av medelfunktionerna $\left\{m_{d}({\textbf {x}})\right\}_{d=1}^{D}$ för utgångarna och ${\ displaystyle {\textbf {K}}}$ är en positiv definitiv matrisvärderad funktion med inmatning ${\displaystyle ({\textbf {K}}({\textbf {x} },{\textbf {x}}'))_{d,d'}} som$ motsvarar kovariansen mellan utgångarna $f_{d}({\textbf {x}})$ och $f_{d'}({\textbf {x}}')$ .

För en uppsättning ingångar ${\textbf {X}}$ ges den tidigare fördelningen över vektorn ${\textbf {f}}({\textbf {X}})$ av ${\mathcal {N}}({\textbf {m}}({\textbf {X}}),{\textbf {K}} ({\textbf {X}},{\textbf {X}}))$ , där ${\textbf {m}}({\textbf {X}})$ är en vektor som sammanlänkar medelvektorerna associerade med utgångarna och ${\textbf {K}}({\textbf {X}},{\textbf {X}})$ är en blockuppdelad matris. Fördelningen av utsignalerna antas vara Gaussisk:

$p({\textbf {y}}\mid {\textbf {f}},{\textbf {x}}, \Sigma )={\mathcal {N}}({\textbf {f}}({\textbf {x}}),\Sigma )$

där $\Sigma \in {\mathcal {\textbf {R}}}^{D\times D}$ är en diagonal matris med elementen ${\ displaystyle \left\{\sigma _{d}^{2}\right\}_{d=1}^{D}}$ som anger bruset för varje utgång. Med hjälp av detta formulär för sannolikheten är den prediktiva fördelningen för en ny vektor ${\displaystyle {\textbf {x}}_{*}} :$

$p({\textbf {f}}( {\textbf {x}}_{*})\mid {\textbf {S}},{\textbf {f}},{\textbf {x}}_{*},\phi )={\mathcal { N}}({\textbf {f}}_{*}({\textbf {x}}_{*}),{\textbf {K}}_{*}({\textbf {x}}_{ *},{\textbf {x}}_{*}))$

där ${\textbf {S}}$ är träningsdata, och $\phi$ är en uppsättning hyperparametrar för ${\textbf {K}}( {\textbf {x}},{\textbf {x}}')$ och $\Sigma$ .

Ekvationer för ${\textbf {f}}_{*}$ och ${\textbf {K}}_{*}$ kan då erhållas:

${\textbf {f}}_{*}({\textbf {x}}_{* })={\textbf {K}}_{{\textbf {x}}_{*}}^{T}({\textbf {K}}({\textbf {X}},{\textbf {X }})+{\boldsymbol {\Sigma }})^{-1}{\bar {\textbf {y}}}$

${\textbf {K}}_{*}({\textbf {x}}_{*},{\textbf {x }}_{*})={\textbf {K}}({\textbf {x}}_{*},{\textbf {x}}_{*})-{\textbf {K}}_{ {\textbf {x}}_{*}}({\textbf {K}}({\textbf {X}},{\textbf {X}})+{\boldsymbol {\Sigma }})^{- 1}{\textbf {K}}_{{\textbf {x}}_{*}}^{T}$

där ${\displaystyle {\boldsymbol {\Sigma }}=\Sigma \otimes {\textbf {I}}_{N},{\textbf {K }}_{{\textbf {x}}_{*}}\in {\mathcal {\textbf {R}}}^{D\times ND}} har$ poster $({\textbf {K}}({\textbf {x}}_{*},{\textbf {x}}_{j}))_{d,d'}$ för $j=1,\cdots ,N$ och $d,d'=1,\cdots ,D$ . Observera att prediktorn ${\textbf {f}}^{*}$ är identisk med prediktorn som härleds i regulariseringsramverket. För icke-Gaussiska sannolikheter behövs olika metoder såsom Laplace-approximation och variationsmetoder för att approximera estimatorerna.

Exempel kärnor

Separerbar

En enkel, men brett tillämpbar, klass av kärnor med flera utdata kan separeras i produkten av en kärna på inmatningsutrymmet och en kärna som representerar korrelationerna mellan utdata:

${\displaystyle (\mathbf {K} (\mathbf {x} ,\mathbf {x' } ))_{d,d'}=k(\mathbf {x} ,\mathbf {x'} )k_{T}(d,d')} k {\displaystyle k} :$

$kärna$ på ${\mathcal {X}}\times {\mathcal {X}}$

$k_{T}$ : skalär kärna på ${ \displaystyle \{1,\ldots ,D\}\times \{1,\ldots ,D\}}$

I matrisform: $\mathbf {K} (\mathbf {x} ,\mathbf {x'} )=k(\mathbf {x} ,\mathbf {x'} )\mathbf {B}$ där $\mathbf {B}$ är en $D\times D$ symmetrisk och positiv semidefinitiv matris. Observera att inställning av $\mathbf {B}$ till identitetsmatrisen behandlar utdata som orelaterade och är likvärdigt med att lösa de skalära utdataproblemen separat.

För en lite mer allmän form, att lägga till flera av dessa kärnor ger summan av separerbara kärnor ( SoS kernels).

Från regulariseringslitteratur

Kommer från regularizer

Ett sätt att få $k_{T}$ är att specificera en regularizer som begränsar komplexiteten för $f$ på ett önskvärt sätt, och sedan härleda motsvarande kärna. För vissa regularizers kommer denna kärna att visa sig vara separerbar.

Reglerare med blandad effekt

$R(\mathbf {f} ) =A_{\omega }(C_{\omega }\sum \limits _{l=1}^{D}\|f_{l}\|_{k}^{2}+\omega D\summa \limits _{l=1}^{D}\|f_{l}-{\bar {f}}\|_{k}^{2})$

var:

• $A_{\omega }={\frac {1}{2(1-\omega )(1-\omega +\omega D )}}$
• $C_{\omega }=(2-2\omega +\omega D)$
• ${\bar {f}}={\frac {1}{D}}\summa \limits _{q=1}^{D}f_{q }$
• $K_{\omega }(x,x')=k(x,x')( \omega \mathbf {1} +(1-\omega )\mathbf {I} _{D}$

där $\mathbf {1} {\text{ är en }}D\ gånger D$ matris med alla poster lika med 1.

Denna regularizer är en kombination av att begränsa komplexiteten för varje komponent i estimatorn ( $f_{l}$ ) och att tvinga varje komponent i estimatorn att vara nära medelvärdet av alla komponenter. Inställningen $\omega =0$ behandlar alla komponenter som oberoende och är detsamma som att lösa de skalära problemen separat. Inställning av $\omega =1$ förutsätter att alla komponenter förklaras av samma funktion.

Klusterbaserad regularizer

$R (\mathbf {f} )=\varepsilon _{1}\summa _{c=1}^{r}\summa _{l\in I(c)}\|f_{l}-{\bar {f_ {c}}}\|_{k}^{2}+\varepsilon _{2}\sum \limits _{c=1}^{r}m_{c}\|{\bar {f_{c} }}\|_{k}^{2}$

var:

• $I(c)$ är indexuppsättningen av komponenter som tillhör kluster $c$
• $m_{c}$ är kardinaliteten för kluster $c$
• ${\bar {f_{c}}}={\frac {1}{m_{c}}}\summa \limits _{q \in I(c)}f_{q}$
• $\mathbf {M} _{l,q}={\frac {1}{m_{c}}}$ om $l$ och $q$ båda tillhör kluster $c$ ( $\mathbf {M} _{l,q}=0$ annars
• $K(x,x')=k(x,x')\mathbf {G} ^{\dolk }$

där $\mathbf {G} _{l,q}=\varepsilon _{1}\delta _{lq} +(\varepsilon _{2}-\varepsilon _{1})\mathbf {M} _{l,q}$

Denna regularizer delar upp komponenterna i $r$ -kluster och tvingar komponenterna i varje kluster att vara lika.

Graph regularizer

$R(\mathbf { f} )={\frac {1}{2}}\sum \limits _{l,q=1}^{D}\Vert f_{l}-f_{q}\Vert _{k}^{2 }\mathbf {M} _{lq}+\sum \limits _{l=1}^{D}\Vert f_{l}\Vert _{k}^{2}\mathbf {M} _{l, l}$

där $\mathbf {M} {\text{ är en }}D\ gånger D$ matris av vikter som kodar likheterna mellan komponenterna

$K(x,x')=k(x,x')\mathbf {L} ^{\dolk }$

där $\mathbf {L} =\mathbf {D} -\mathbf {M}$ , $\mathbf {D} _{l,q}=\delta _{l,q}(\sum \limits _{h=1}^{D}\mathbf {M} _{l, h}+\mathbf {M} _{l,q})$

Observera att $\mathbf {L}$ är grafen laplacian . Se även: grafkärna .

Lärt av data

Flera metoder för att lära $\mathbf {B}$ från data har föreslagits. Dessa inkluderar: att utföra ett preliminärt slutledningssteg för att uppskatta $\mathbf {B}$ från träningsdata, ett förslag att lära sig $\mathbf {B}$ och $\mathbf {f}$ tillsammans baserat på klusterregulariseraren och sparsitetsbaserade tillvägagångssätt som förutsätter att endast ett fåtal av funktionerna behövs.

Från Bayesiansk litteratur

Linjär modell för samregionalisering (LMC)

I LMC uttrycks utgångar som linjära kombinationer av oberoende slumpmässiga funktioner så att den resulterande kovariansfunktionen (över alla ingångar och utgångar) är en giltig positiv semidefinit funktion. Om vi ​​antar $D$ ger $\left\{f_{d}({\textbf {x}})\right\}_{d=1}^ {D}$ med ${\displaystyle {\textbf {x}}\i {\mathcal {\textbf {R}}}^{p}} , varje$ f $\displaystyle f_{d}}$ är uttryckt som:

$f_{d}({\textbf {x}})=\summa _{q=1}^{Q}{ a_{d,q}u_{q}({\textbf {x}})}$

där $a_{d,q}$ är skalära koefficienter och de oberoende funktionerna $u_{q}({\textbf {x}})$ har noll medelvärde och kovarians cov $[u_{q}({\textbf {x}}),u_{q'}({\ textbf {x}}')]=k_{q}({\textbf {x}},{\textbf {x}}')$ om $q=q'$ och 0 annars. Korskovariansen mellan två valfria funktioner $f_{d}({\textbf {x}})$ och $f_{d'}({\textbf {x }})$ kan sedan skrivas som:

$\operatörsnamn {cov} [f_{d}({\textbf {x}}),f_{d'}({\textbf {x}}')]=\summa _{q=1}^{Q}{\summa _{i=1}^{R_{q}}{a_{d,q}^{i}a_{d ',q}^{i}k_{q}({\textbf {x}},{\textbf {x}}')}}=\summa _{q=1}^{Q}{b_{d, d'}^{q}k_{q}({\textbf {x}},{\textbf {x}}')}$

där funktionerna $u_{q}^{i}({\textbf {x}})$ , med $q=1,\cdots ,Q$ och ${q}}$$[u_{q}^{i}({\textbf {x}}),u_{q'}^{i'}({\textbf {x}})' ]=k_{q}({\textbf {x}},{\textbf {x}}')$ har noll medelvärde och kovarians cov om $i=i'$ och $q=q'$ . Men $\operatorname {cov} [f_{d}({\textbf {x}}),f_{d'}({\textbf {x}}')]$ ges av $({\textbf {K}}({\textbf {x}},{\textbf {x} }'))_{d,d'}$ . Således kan kärnan ${\textbf {K}}({\textbf {x}},{\textbf {x}}')$ nu uttryckas som

${\textbf {K}}({\textbf {x}},{\textbf {x}}' )=\summa _{q=1}^{Q}{{\textbf {B}}_{q}k_{q}({\textbf {x}},{\textbf {x}}')}$

där varje ${\displaystyle {\textbf {B}}_{q}\in {\mathcal {\textbf {R}}}^{D\times D}} är känd som en$ samregionaliseringsmatris . Därför är kärnan härledd från LMC en summa av produkterna av två kovariansfunktioner, en som modellerar beroendet mellan utgångarna, oberoende av ingångsvektorn ${\textbf {x}}$ (samregionaliseringsmatrisen ${\textbf {B}}_{q}$ ), och en som modellerar ingångsberoendet, oberoende av $\left\{f_{d}( {\textbf {x}})\right\}_{d=1}^{D}$ (kovariansfunktionen ${\displaystyle k_{q}({\textbf {x}} ,{\textbf {x}}')} )$ .

Intrinsic coregionalization model (ICM)

ICM är en förenklad version av LMC, med $Q=1$ . ICM antar att elementen $b_{d,d'}^{q}$ i samregionaliseringsmatrisen $\mathbf {B} _{q}$ kan skrivas som ${\displaystyle b_{d,d'}^{q}=v_{d,d'}b_{q}} ,$ för några lämpliga koefficienter $v_{d,d'}$ . Med denna form för $b_{d,d'}^{q}$ :

$\operatörsnamn {cov} \left[f_{d}(\mathbf {x} ),f_{d'} (\mathbf {x} ')\right]=\summa _{q=1}^{Q}{v_{d,d'}b_{q}k_{q}(\mathbf {x} ,\mathbf { x} ')}=v_{d,d'}\sum _{q=1}^{Q}{b_{q}k_{q}(\mathbf {x} ,\mathbf {x} ')}= v_{d,d'}k(\mathbf {x} ,\mathbf {x} ')$

var

$k(\mathbf {x} ,\mathbf {x} ')=\sum _{q=1}^{Q}{b_{q}k_{q}(\mathbf {x} ,\mathbf { x} ')}.$

I detta fall koefficienterna

$v_{d,d'}=\summa _{i=1}^ {R_{1}}{a_{d,1}^{i}a_{d',1}^{i}}=b_{d,d'}^{1}$

och kärnmatrisen för flera utdata blir $\mathbf {K} (\mathbf {x} ,\mathbf {x} ')=k(\ mathbf {x} ,\mathbf {x} ')\mathbf {B}$ . ICM är mycket mer restriktiv än LMC eftersom den antar att varje grundläggande kovarians $k_{q}(\mathbf {x} ,\mathbf {x} ')$ bidrar lika mycket till konstruktionen av autokovarianserna och korskovarianserna för utgångarna. De beräkningar som krävs för slutsatsen är emellertid avsevärt förenklade.

Semiparametrisk latent faktormodell (SLFM)

En annan förenklad version av LMC är den semiparametriska latenta faktormodellen (SLFM), som motsvarar inställningen av $R_{q}=1$ (istället för $Q=1$ som i ICM ). Således har varje latent funktion $u_{q}$ sin egen kovarians.

Ej separerbar

Även om den är enkel, kan strukturen av separerbara kärnor vara för begränsande för vissa problem.

Anmärkningsvärda exempel på icke-separerbara kärnor i regulariseringslitteraturen inkluderar :

• Matrisvärderade exponentierade kvadratiska (EQ) kärnor designade för att uppskatta divergensfria eller krullningsfria vektorfält (eller en konvex kombination av de två)
• Kärnor definierade av transformationer

I det Bayesianska perspektivet producerar LMC en separerbar kärna eftersom utdatafunktionerna som utvärderas vid en punkt ${\textbf {x}}$ endast beror på värdena för de latenta funktionerna vid ${\textbf {x} }$ . Ett icke-trivialt sätt att blanda de latenta funktionerna är att kombinera en basprocess med en utjämningskärna. Om basprocessen är en gaussisk process, är den konvolverade processen också Gaussisk. Vi kan därför utnyttja faltningar för att konstruera kovariansfunktioner. Denna metod för att producera icke-separerbara kärnor är känd som processfalsning. Processfalsningar introducerades för flera utdata i maskininlärningsgemenskapen som "beroende Gaussiska processer".

Genomförande

När du implementerar en algoritm med någon av kärnorna ovan måste praktiska överväganden för att justera parametrarna och säkerställa rimlig beräkningstid övervägas.

Regulariseringsperspektiv

Sett ur ett regulariseringsperspektiv liknar parameterjusteringen det skalära fallet och kan i allmänhet åstadkommas med korsvalidering . Att lösa det linjära systemet som krävs är vanligtvis dyrt i minne och tid. Om kärnan är separerbar kan en koordinattransform konvertera $\mathbf {K} (\mathbf {X} ,\mathbf {X} )$ till en blockdiagonal matris , vilket avsevärt minskar beräkningen belastning genom att lösa D oberoende delproblem (plus egenuppdelningen av B $\displaystyle \mathbf {B} } )$ . Speciellt för en minsta kvadratförlustfunktion (Tikhonov-regularisering) finns det en sluten formlösning för ${\bar {\mathbf {c} }}$ :

${\bar {\mathbf {c} }}^{d}=\left(k(\ mathbf {X} ,\mathbf {X} )+{\frac {\lambda _{N}}{\sigma _{d}}}\mathbf {I} \right)^{-1}{\frac {{ \bar {\mathbf {y} }}^{d}}{\sigma _{d}}}$

Bayesianskt perspektiv

Det finns många arbeten relaterade till parameteruppskattning för Gaussiska processer. Vissa metoder som maximering av marginalsannolikheten (även känd som evidensapproximation, typ II maximal sannolikhet, empiriska Bayes), och minsta kvadrater ger punktuppskattningar av parametervektorn ϕ {\displaystyle \ $}$ . Det finns också verk som använder en fullständig Bayesiansk slutledning genom att tilldela priors till $\phi$ och beräkna den bakre fördelningen genom ett samplingsförfarande. För icke-Gaussiska sannolikheter finns det ingen sluten formlösning för den bakre fördelningen eller för den marginella sannolikheten. Den marginella sannolikheten kan emellertid approximeras under ett Laplace-, variationsbaserat Bayes- eller förväntansutbredning (EP) approximationsramverk för multipel utdataklassificering och användas för att hitta uppskattningar för hyperparametrarna.

Det huvudsakliga beräkningsproblemet i Bayesiansk synvinkel är detsamma som det som förekommer i regulariseringsteorin om att invertera matrisen

${\overline {\mathbf {K} (\mathbf {X} ,\mathbf {X} )}}=\mathbf {K} (\mathbf {X} ,\mathbf {X} )+{\boldsymbol {\Sigma }}.$

Detta steg är nödvändigt för att beräkna den marginella sannolikheten och den prediktiva fördelningen. För de flesta föreslagna approximationsmetoderna för att minska beräkningen är den erhållna beräkningseffektiviteten oberoende av den speciella metod som används (t.ex. LMC, processfaltning) som används för att beräkna multi-output kovariansmatrisen. En sammanfattning av olika metoder för att minska beräkningskomplexiteten i Gaussiska processer med flera utgångar presenteras i.