Kärninbäddning av distributioner

Inom maskininlärning innefattar kärninbäddningen av distributioner (även kallad kärnmedelvärde eller medelkarta ) en klass av icke-parametriska metoder där en sannolikhetsfördelning representeras som ett element i ett reproducerande kärna Hilbert-utrymme (RKHS). En generalisering av kartläggningen av individuella datapunktsfunktioner som görs i klassiska kärnmetoder , inbäddningen av distributioner i oändligt dimensionella funktionsutrymmen kan bevara alla statistiska egenskaper hos godtyckliga distributioner, samtidigt som man kan jämföra och manipulera distributioner med hjälp av Hilbert-rymdoperationer som t.ex. som inre produkter , avstånd, projektioner , linjära transformationer och spektralanalys . Detta inlärningsramverk är mycket generellt och kan tillämpas på distributioner över vilket utrymme ${\displaystyle \Omega } som helst$ på vilket en vettig kärnfunktion (mäter likhet mellan element i ${\displaystyle \Omega } )$ kan definieras. Till exempel har olika kärnor föreslagits för att lära av data som är: vektorer i ${\displaystyle \mathbb {R} ^{d}} ,$ diskreta klasser/kategorier, strängar , grafer / nätverk , bilder, tidsserier , grenrör , dynamiska system och andra strukturerade objekt. Teorin bakom kärninbäddningar av distributioner har i första hand utvecklats av Alex Smola , Le Song , Arthur Gretton och Bernhard Schölkopf . En recension av senaste arbeten om kärninbäddning av distributioner finns i.

Analysen av distributioner är grundläggande inom maskininlärning och statistik , och många algoritmer inom dessa områden förlitar sig på informationsteoretiska tillvägagångssätt som entropi , ömsesidig information eller Kullback–Leibler-divergens . Men för att uppskatta dessa kvantiteter måste man först antingen utföra densitetsuppskattning eller använda sofistikerade rymduppdelnings-/biaskorrigeringsstrategier som vanligtvis är omöjliga för högdimensionella data. Metoder för att modellera komplexa distributioner förlitar sig vanligtvis på parametriska antaganden som kan vara ogrundade eller beräkningsmässigt utmanande (t.ex. Gaussiska blandningsmodeller ), medan icke-parametriska metoder som kärndensitetsuppskattning (Obs: utjämningskärnorna i detta sammanhang har en annan tolkning än de kärnor som diskuteras här ) eller karakteristisk funktionsrepresentation (via Fouriertransformen av fördelningen) bryts ner i högdimensionella inställningar.

Metoder baserade på kärninbäddning av distributioner kringgår dessa problem och har även följande fördelar:

1. Data kan modelleras utan restriktiva antaganden om formen på fördelningarna och sambanden mellan variabler
2. Mellanliggande densitetsuppskattning behövs inte
3. Utövare kan specificera egenskaperna för en distribution som är mest relevant för deras problem (inkludera förkunskaper via val av kärna)
4. Om en karakteristisk kärna används kan inbäddningen unikt bevara all information om en distribution, medan tack vare kärntricket kan beräkningar på den potentiellt oändliga dimensionella RKHS implementeras i praktiken som enkla grammatrisoperationer
5. Dimensionalitetsoberoende konvergenshastigheter för det empiriska kärnmedelvärdet (uppskattat med hjälp av prover från distributionen) till kärninbäddningen av den verkliga underliggande fördelningen kan bevisas.
6. Inlärningsalgoritmer baserade på detta ramverk uppvisar god generaliseringsförmåga och finit urvalskonvergens, samtidigt som de ofta är enklare och effektivare än informationsteoretiska metoder

Således erbjuder inlärning via kärninbäddning av distributioner en principiell drop-in ersättning för informationsteoretiska tillvägagångssätt och är ett ramverk som inte bara subsumerar många populära metoder inom maskininlärning och statistik som specialfall, utan också kan leda till helt nya inlärningsalgoritmer.

Definitioner

Låt $X$ beteckna en slumpvariabel med domänen $\Omega$ och fördelningen $P.$ Givet en kärna $k$ på $\Omega \times \Omega ,$ hävdar Moore–Aronszajns sats existensen av en RKHS ${\mathcal { H}}$ (ett Hilbert-rum med funktioner $f:\Omega \to \mathbb {R}$ utrustad med inre produkter $\langle \cdot ,\cdot \rangle _{\mathcal {H}}$ och normer ${\displaystyle \|\cdot \|_{\mathcal {H}}} )$ där elementet $k (x,\cdot )$ uppfyller den reproducerande egenskapen

$\forall f\in {\mathcal {H}},\forall x\in \Omega \qquad \langle f,k(x,\cdot )\rangle _{\mathcal {H}}=f(x ).$

Man kan alternativt betrakta $k(x,\cdot )$ som en implicit funktionsmappning $\varphi (x)$ från $\Omega$ till ${\ displaystyle {\mathcal {H}}}$ (som därför också kallas egenskapsutrymmet), så att $k(x, x')=\langle \varphi (x),\varphi (x')\rangle _{\mathcal {H}}$ kan ses som ett mått på likheten mellan punkterna $x,x'\in \Omega .$ Även om likhetsmåttet är linjärt i funktionsutrymmet, kan det vara mycket olinjärt i det ursprungliga utrymmet beroende på valet av kärna.

Kärninbäddning

Kärninbäddningen av distributionen $P$ i ${\mathcal {H}}$ (även kallad kärnans medelvärde eller medelkarta ) ges av:

$\mu _{X}:=\mathbb {E} [ k(X,\cdot )]=\mathbb {E} [\varphi (X)]=\int _{\Omega }\varphi (x)\ \mathrm {d} P(x)$

Om $P$ tillåter en kvadratisk integrerbar densitet $p$ , då $\mu _{X}={\mathcal {E}}_{k}p$ , där ${\mathcal {E}}_{k}$ är Hilbert–Schmidt-integraloperatorn . En kärna är karakteristisk om medelinbäddningen $\mu :\{{\text{familj av distributioner över }}\Omega \}\to {\mathcal {H}}$ är injektiv. Varje distribution kan således representeras unikt i RKHS och alla statistiska egenskaper för distributioner bevaras av kärnans inbäddning om en karakteristisk kärna används.

Empirisk kärna inbäddning

Givet $n$ träningsexempel $\{x_{1},\ldots ,x_{n}\}$ ritade oberoende och identiskt fördelade (iid) från ${ \displaystyle P,}$ kärninbäddningen av $P$ kan empiriskt uppskattas som

${\widehat {\mu }}_{X}={\frac {1}{n}}\sum _{i=1} ^{n}\varphi (x_{i})$

Gemensam distribution inbäddning

Om $Y$ betecknar en annan slumpvariabel (för enkelhetens skull, anta att samdomänen för $Y$ också är $\Omega$ med samma kärna $k$ som uppfyller ${\displaystyle \langle \varphi (x)\otimes \varphi (y),\varphi (x')\otimes \varphi (y')\rangle =k(x,x')k(y,y')} ), sedan den$ gemensamma fördelningen ${ \displaystyle P(x,y))}$ kan mappas till ett tensor-produktfunktionsutrymme H $\displaystyle {\mathcal {H}}\otimes {\mathcal {H}}}$ via

${\mathcal {C}}_{XY }=\mathbb {E} [\varphi (X)\otimes \varphi (Y)]=\int _{\Omega \times \Omega }\varphi (x)\otimes \varphi (y)\ \mathrm {d } P(x,y)$

Genom ekvivalensen mellan en tensor och en linjär karta kan denna gemensamma inbäddning tolkas som en ocentrerad korskovariansoperator $C}}_{XY}:{\mathcal { H}}\till {\mathcal {H}}}$ { från vilka korskovariansen av funktioner $f,g\in {\mathcal {H}}$ kan beräknas som

$\operatörsnamn {Cov} (f(X),g(Y)):=\mathbb {E} [f(X)g(Y)] -\mathbb {E} [f(X)]\mathbb {E} [g(Y)]=\langle f,{\mathcal {C}}_{XY}g\rangle _{\mathcal {H}} =\langle f\otimes g,{\mathcal {C}}_{XY}\rangle _{{\mathcal {H}}\otimes {\mathcal {H}}}$

Givet $n$ par av träningsexempel $\{(x_{1},y_{1}),\dots , (x_{n},y_{n})\}$ ritad iid från $P$ , kan vi också empiriskt uppskatta den gemensamma distributionskärninbäddningen via

${\widehat {\mathcal {C}}}_{XY}={\frac {1}{n }}\summa _{i=1}^{n}\varphi (x_{i})\otimes \varphi (y_{i})$

Villkorlig distribution inbäddning

Givet en villkorlig fördelning $P(y\mid x),$ kan man definiera motsvarande RKHS-inbäddning som

$\mu _{Y\mid x}=\mathbb {E} [\varphi ( Y)\mid X]=\int _{\Omega }\varphi (y)\ \mathrm {d} P(y\mid x)$

Observera att inbäddningen av $P(y\mid x)$ således definierar en familj av punkter i RKHS indexerad av värdena $x$ tagna av konditioneringsvariabel $X$ . Genom att fixera $X$ till ett visst värde får vi ett enda element i ${\displaystyle {\mathcal {H}}} ,$ och därför är det naturligt att definiera operatorn

${\begin{cases}{\mathcal {C}}_{Y\mid X}:{\mathcal { H}}\till {\mathcal {H}}\\{\mathcal {C}}_{Y\mid X}={\mathcal {C}}_{YX}{\mathcal {C}}_{XX }^{-1}\end{cases}}$

som givet funktionsmappningen av $x$ matar ut den villkorliga inbäddningen av $Y$ givet $X=x.$ Antag att för alla $g\in {\mathcal {H}}:\mathbb {E} [g( Y)\mid X]\i {\mathcal {H}},$ kan det visas att

$\mu _{Y\mid x}={\mathcal {C}}_{Y\mid X}\varphi (x)$

Detta antagande är alltid sant för ändliga domäner med karakteristiska kärnor, men kanske inte nödvändigtvis gäller för kontinuerliga domäner. Icke desto mindre, även i de fall där antagandet misslyckas, ${\mathcal {C}}_{Y\mid X}\varphi (x)$ fortfarande användas för att approximera den villkorliga kärnan bäddar in $\mu _{Y\mid x},$ och i praktiken ersätts inversionsoperatorn med en regulariserad version av sig själv ( $\displaystyle ({ \mathcal {C}}_{XX}+\lambda \mathbf {I} )^{-1}}$ (där $\mathbf {I}$ betecknar identitetsmatrisen ).

Givet träningsexempel $\{(x_{1},y_{1}),\dots ,(x_{n},y_ {n})\},$ den empiriska kärnans villkorliga inbäddningsoperator kan uppskattas som

${\widehat {C}}_{Y\mid X}={\boldsymbol {\Phi }}(\mathbf {K} + \lambda \mathbf {I} )^{-1}{\boldsymbol {\Upsilon }}^{T}$

där ${\boldsymbol {\Phi }}=\left(\ varphi (y_{i}),\dots ,(y_{n})\right),{\boldsymbol {\Upsilon }}=\left(\varphi (x_{i}),\dots ,(x_{n} )\right)$ är implicit bildade funktionsmatriser, ${\displaystyle \mathbf {K} ={\boldsymbol {\Upsilon }}^{T}{\boldsymbol {\Upsilon }}} är$ grammatrisen för exempel på $X$ , och $\lambda$ är en regulariseringsparameter som behövs för att undvika överanpassning .

Således ges den empiriska uppskattningen av kärnans villkorliga inbäddning av en viktad summa av sampel av $Y$ i funktionsutrymmet:

${\widehat {\mu }}_{Y\mid x}=\summa _{ i=1}^{n}\beta _{i}(x)\varphi (y_{i})={\boldsymbol {\Phi }}{\boldsymbol {\beta }}(x)$

där ${\boldsymbol {\beta }}(x)=(\mathbf {K} +\lambda \mathbf {I} )^{-1 }\mathbf {K} _{x}$ och $\mathbf {K} _{x}=\left (k(x_{1},x),\dots ,k(x_{n},x)\right)^{T}$

Egenskaper

• Förväntningen på vilken funktion ${\displaystyle f} som helst$ i RKHS kan beräknas som en inre produkt med kärnans inbäddning:

$\mathbb {E} [ f(X)]=\langle f,\mu _{X}\rangle _{\mathcal {H}}$

• I närvaro av stora provstorlekar, manipulationer av $n\times n$ Gram matris kan vara beräkningskrävande. Genom att använda en approximation med låg rangordning av Gram-matrisen (såsom den ofullständiga Cholesky-faktoriseringen ), kan körtid och minneskrav för kärninbäddningsbaserade inlärningsalgoritmer minskas drastiskt utan att drabbas av stor förlust i approximationsnoggrannhet.

Konvergens av empirisk kärna betyder till den sanna distributionsinbäddningen

• Om $k$ är definierad så att $f$$[0,1]$ värden i för alla $f\in {\mathcal {H} }$ med $\|f\|_{\mathcal {H}}\leq 1$ (som är fallet för de allmänt använda radiella basfunktionskärnorna ), då med sannolikhet minst $1-\delta$ :

$\|\mu _{X}-{\widehat {\mu }}_{X}\|_{\mathcal { H}}=\sup _{f\in {\mathcal {B}}(0,1)}\left|\mathbb {E} [f(X)]-{\frac {1}{n}}\ summa _{i=1}^{n}f(x_{i})\right|\leq {\frac {2}{n}}\mathbb {E} \left[{\sqrt {\operatörsnamn {tr} K}}\right]+{\sqrt {\frac {\log(2/\delta )}{2n}}}$

där ${\mathcal {B}}(0,1)$ betecknar enhetskulan i ${\mathcal {H}}$ och $\mathbf {K} =(k_{ij})$ är grammatrisen med $k_{ij}=k(x_{i},x_{j}).$

• Konvergenshastigheten (i RKHS-norm) för den empiriska kärnans inbäddning till dess distributionsmotsvarighet är ${ \displaystyle O(n^{-1/2})}$ och beror inte på dimensionen på $X$ .

• Statistik baserad på kärninbäddningar undviker alltså dimensionalitetens förbannelse , och även om den verkliga underliggande fördelningen är okänd i praktiken kan man (med hög sannolikhet) få en approximation inom $O(n^{ -1/2})$ av den sanna kärninbäddningen baserat på ett ändligt urval av storleken $n$ .

• För inbäddning av villkorsfördelningar kan den empiriska uppskattningen ses som ett viktat medelvärde av särdragsmappningar (där vikterna $\beta _{i}(x)$ beror på värdet av konditioneringsvariabeln och fånga effekten av konditioneringen på kärnans inbäddning). I detta fall konvergerar den empiriska uppskattningen till den villkorliga fördelningen RKHS inbäddning med hastighet $O\left(n^{-1/4}\right)$ om regulariseringsparametern ${\ displaystyle \lambda }$ minskas som $O\left(n^{-1/2}\right),$ även om snabbare konvergenshastigheter kan uppnås genom att lägga ytterligare antaganden på gemensam distribution.

Universella kärnor

• Om vi ​​låter $C({\mathcal {X}})$ beteckna utrymmet för kontinuerligt avgränsade funktioner på kompakt domän ${\mathcal {X}}$ kallar vi en kärna $k$ universell om $k(x,\cdot )$ är kontinuerlig för alla $x$ och RKHS inducerad av $k$ är tät i ${ \displaystyle C({\mathcal {X}})}$ .

• Om $k$ inducerar en strikt positiv bestämd kärnmatris för någon uppsättning av distinkta punkter, så är det en universell kärna. Till exempel, den mycket använda gaussiska RBF-kärnan

$k(x,x')=\exp \left(- {\frac {1}{2\sigma ^{2}}}\|xx'\|^{2}\right)$

på kompakta delmängder av $\mathbb {R} ^{d}$ är universell.

• Om $k$ är skiftinvariant $h(xy)=k(x,y)$ och dess representation i Fourier-domänen är

$h(t)=\int e^{-i\langle t,\omega \rangle }\mu (d\omega )$

och stöd för $\mu$ är ett helt utrymme, då är $k$ universell. Till exempel är Gaussisk RBF universell, eftersom kärnan inte är universell.

• Om $k$ är universell, så är den karakteristisk , dvs kärninbäddningen är en-till-en.

Parameterval för villkorlig distributions kärna inbäddningar

• Den empiriska kärnans villkorliga distributionsinbäddningsoperator ${\widehat {\mathcal {C}}}_{Y|X}$ kan alternativt ses som lösningen på följande regulariserade minsta kvadraters (funktionsvärde) regressionsproblem

${\displaystyle \min _{{\mathcal {C}}:{\mathcal {H}}\ till {\mathcal {H}}}\summa _{i=1}^{n}\left\|\varphi (y_{i})-{\mathcal {C}}\varphi (x_{i})\ höger\|_{\mathcal {H}}^{2}+\lambda \|{\mathcal {C}}\|_{HS}^{2}} där ‖ ⋅ ‖ H$

S $\ cdot \|_{HS}}$ är Hilbert–Schmidt-normen .

• Man kan alltså välja regulariseringsparametern $\lambda$ genom att utföra korsvalidering baserat på den kvadratiska förlustfunktionen för regressionsproblemet.

Sannolikhetsregler som verksamhet i RKHS

Det här avsnittet illustrerar hur grundläggande probabilistiska regler kan omformuleras som (multi)linjära algebraiska operationer i kärnans inbäddningsramverk och är i första hand baserad på Song et al. Följande notation antas:

• $P(X,Y)=$ gemensam fördelning över slumpvariabler $X,Y$

• ${\ displaystyle P(X)=\int _{\Omega }P(X,\mathrm {d} y)=}$ marginalfördelning av $X$ ; $P(Y)=$ marginalfördelning av $Y$

• $P(Y\mid X )={\frac {P(X,Y)}{P(X)}}=$ villkorlig fördelning av $Y$ givet $X$ med motsvarande villkorlig inbäddningsoperator ${\mathcal {C}}_{Y\mid X}$

• $\pi (Y)=$ tidigare distribution över $Y$

• $Q$ används för att särskilja distributioner som inkorporerar föregående från distributioner $P$ som inte förlitar sig på föregående

I praktiken uppskattas alla inbäddningar empiriskt från data $\{(x_{1},y_{1}),\dots ,( x_{n},y_{n})\}$ och det antog att en uppsättning sampel $\{{\widetilde {y}}_{1}, \ldots ,{\widetilde {y}}_{\widetilde {n}}\}$ kan användas för att uppskatta kärninbäddningen av den tidigare fördelningen $\pi (Y)$ .

Kärnsummeregel

I sannolikhetsteorin kan marginalfördelningen av $X$ beräknas genom att integrera $Y$ från fogdensiteten (inklusive den tidigare fördelningen på $Y$ )

$Q(X)=\int _{\Omega }P(X\mid Y)\,\mathrm {d} \pi ( Y)$

Analogen till denna regel i kärnans inbäddningsramverk säger att $\mu _{X}^{\pi },$ RKHS-inbäddningen av $Q(X)$ , kan beräknas via

$\mu _{X}^{\pi }= \mathbb {E} [{\mathcal {C}}_{X\mid Y}\varphi (Y)]={\mathcal {C}}_{X\mid Y}\mathbb {E} [\varphi ( Y)]={\mathcal {C}}_{X\mid Y}\mu _{Y}^{\pi }$

där $\mu _{Y}^{\pi }$ är kärninbäddningen av $\pi (Y).$ I praktiska implementeringar har kärnsummeregeln följande form

${\widehat {\mu }}_{X}^{\pi }={\ widehat {\mathcal {C}}}_{X\mid Y}{\widehat {\mu }}_{Y}^{\pi }={\boldsymbol {\Upsilon }}(\mathbf {G} +\ lambda \mathbf {I} )^{-1}{\widetilde {\mathbf {G} }}{\boldsymbol {\alpha }}$

var

$\mu _{Y}^{\pi }=\summa _{i=1}^{\widetilde {n}}\ alfa _{i}\varphi ({\widetilde {y}}_{i})$

är den empiriska kärninbäddningen av den tidigare fördelningen, ${\boldsymbol {\alpha }}=(\alpha _{1},\ldots ,\alpha _ {\widetilde {n}})^{T},$${\boldsymbol {\Upsilon }}=\left(\varphi (x_) {1}),\ldots ,\varphi (x_{n})\right)$ och $\mathbf {G} ,{\widetilde {\mathbf {G} }}$ är grammatriser med poster ${\displaystyle \mathbf {G} _{ij}=k(y_{i},y_ {j}),{\widetilde {\mathbf {G} }}_{ij}=k(y_{i},{\widetilde {y}}_{j})} respektive$ .

Kärnkedjeregel

I sannolikhetsteorin kan en gemensam fördelning faktoriseras till en produkt mellan betingade och marginalfördelningar

$Q(X,Y)=P(X\mid Y)\pi (Y)$

Analogen av denna regel i kärnans inbäddningsramverk säger att ${\mathcal {C}}_{XY}^{\pi },$ den gemensamma inbäddningen av ${ \displaystyle Q(X,Y),}$ kan faktoriseras som en sammansättning av villkorlig inbäddningsoperator med auto-kovariansoperatorn associerad med $\pi (Y)$

${\mathcal {C}}_{XY}^{\pi }={\mathcal {C}}_{X\mid Y}{\mathcal {C}}_{YY}^{\pi }$

var

${\mathcal {C}}_{XY}^{\pi }=\mathbb {E} [\varphi (X)\ ibland \varphi (Y)],$

${\mathcal {C}}_{YY}^{\pi }=\mathbb {E} [\varphi (Y)\otimes \varphi (Y)].$

I praktiska implementeringar tar kärnkedjeregeln följande form

${\widehat {\mathcal {C}}} _{XY}^{\pi }={\widehat {\mathcal {C}}}_{X\mid Y}{\widehat {\mathcal {C}}}_{YY}^{\pi }={ \boldsymbol {\Upsilon }}(\mathbf {G} +\lambda \mathbf {I} )^{-1}{\widetilde {\mathbf {G} }}\operatörsnamn {diag} ({\boldsymbol {\alpha }}){\boldsymbol {\widetilde {\Phi }}}^{T}$

Kernel Bayes regel

I sannolikhetsteorin kan en posterior fördelning uttryckas i termer av en tidigare fördelning och en sannolikhetsfunktion som

$Q(Y\mid x)={\frac {P(x\mid Y)\pi (Y)}{ Q(x)}}$ där $Q(x)=\int _{\Omega }P(x\midt y)\, \mathrm {d} \pi (y)$

Analogen av denna regel i kärninbäddningsramverket uttrycker kärninbäddningen av den villkorliga distributionen i termer av villkorliga inbäddningsoperatorer som modifieras av den tidigare distributionen

$\mu _{Y\mid x}^{\pi }= {\mathcal {C}}_{Y\mid X}^{\pi }\varphi (x)={\mathcal {C}}_{YX}^{\pi }\left({\mathcal {C} }_{XX}^{\pi }\right)^{-1}\varphi (x)$

varifrån kedjeregeln:

${\mathcal {C}}_{YX}^{\pi }=\left({\mathcal {C}}_{X\mid Y}{\mathcal {C}}_{YY}^{ \pi }\right)^{T}.$

I praktiska implementeringar tar kärnan Bayes regel följande form

${\widehat {\mu }}_{Y\mid x}^{\pi }={\widehat {\mathcal {C}}}_{YX}^{\ pi }\left(\left({\widehat {\mathcal {C}}}_{XX}\right)^{2}+{\widetilde {\lambda }}\mathbf {I} \right)^{- 1}{\widehat {\mathcal {C}}}_{XX}^{\pi }\varphi (x)={\widetilde {\boldsymbol {\Phi }}}{\boldsymbol {\Lambda }}^{ T}\left((\mathbf {D} \mathbf {K} )^{2}+{\widetilde {\lambda }}\mathbf {I} \right)^{-1}\mathbf {K} \mathbf {D} \mathbf {K} _{x}$

var

${\boldsymbol {\Lambda }}=\left(\mathbf {G} +{\widetilde {\lambda }}\mathbf {I} \right)^{-1}{\widetilde {\mathbf {G } }}\operatörsnamn {diag} ({\boldsymbol {\alpha }}),\qquad \mathbf {D} =\operatörsnamn {diag} \left(\left(\mathbf {G} +{\widetilde {\lambda }}\mathbf {I} \right)^{-1}{\widetilde {\mathbf {G} }}{\boldsymbol {\alpha }}\right).$

Två regulariseringsparametrar används i detta ramverk: $\lambda$ för uppskattning av ${\widehat {\mathcal {C}}} _{YX}^{\pi },{\widehat {\mathcal {C}}}_{XX}^{\pi }={\boldsymbol {\Upsilon }}\mathbf {D} {\boldsymbol {\Upsilon }}^{T}$ och ${\widetilde {\lambda }}$ för uppskattning av den slutliga villkorliga inbäddningsoperatorn

${\widehat {\mathcal {C}}}_{Y\mid X}^{\pi }={\widehat {\mathcal {C}}}_{YX}^{\pi }\left( \left({\widehat {\mathcal {C}}}_{XX}^{\pi}\right)^{2}+{\widetilde {\lambda }}\mathbf {I} \right)^{- 1}{\widehat {\mathcal {C}}}_{XX}^{\pi }.$

Den senare regleringen görs på kvadraten av ${\widehat {\mathcal {C}}}_{XX}^{\pi }$ eftersom $D$ kanske inte är positiv definitiv .

Ansökningar

Mätning av avstånd mellan distributioner

Den maximala medeldiskrepansen (MMD) är ett avståndsmått mellan fördelningarna $P(X)$ och $Q(Y)$ som definieras som det kvadratiska avståndet mellan deras inbäddningar i RKHS

${\text{MMD}}(P,Q)=\left\|\mu _{X}-\mu _{Y}\ höger\|_{\mathcal {H}}^{2}$

Medan de flesta avståndsmått mellan distributioner, såsom den allmänt använda Kullback–Leibler-divergensen, antingen kräver densitetsuppskattning (antingen parametriskt eller icke-parametriskt) eller strategier för rymdpartitionering/biaskorrigering, uppskattas MMD lätt som ett empiriskt medelvärde som är koncentrerat kring det verkliga värdet av MMD. Karakteriseringen av detta avstånd som den maximala medeldiskrepansen hänvisar till det faktum att beräkning av MMD är likvärdig med att hitta RKHS-funktionen som maximerar skillnaden i förväntningar mellan de två sannolikhetsfördelningarna

${\text{MMD}}(P,Q)=\sup _ {\|f\|_{\mathcal {H}}\leq 1}\left(\mathbb {E} [f(X)]-\mathbb {E} [f(Y)]\right)$

Kärna två-prov test

Givet n träningsexempel från $P(X)$ och m sampel från $Q(Y)$ , kan man formulera en teststatistik baserad på den empiriska skattningen av MMD

${\begin{aligned}{\widehat {\text{MMD}}}(P,Q)&=\left\|{\frac {1}{n}}\sum _{i= 1}^{n}\varphi (x_{i})-{\frac {1}{m}}\sum _{i=1}^{m}\varphi (y_{i})\right\|_ {\mathcal {H}}^{2}\\[5pt]&={\frac {1}{n^{2}}}\summa _{i=1}^{n}\summa _{j= 1}^{n}k(x_{i},x_{j})+{\frac {1}{m^{2}}}\summa _{i=1}^{m}\summa _{j =1}^{m}k(y_{i},y_{j})-{\frac {2}{nm}}\summa _{i=1}^{n}\summa _{j=1} ^{m}k(x_{i},y_{j})\end{aligned}}$

för att få ett tvåprovstest av nollhypotesen att båda samplen härrör från samma fördelning (dvs $P=Q$ ) mot det breda alternativet $P\neq Q$ .

Densitetsuppskattning via kärninbäddningar

Även om inlärningsalgoritmer i kärnans inbäddningsramverk kringgår behovet av uppskattning av mellandensitet, kan man ändå använda den empiriska inbäddningen för att utföra densitetsuppskattning baserat på n sampel dragna från en underliggande distribution $P_{X}^{*}$ . Detta kan göras genom att lösa följande optimeringsproblem

$\max _{P_{X}}H(P_{X})$ beroende av $\| {\widehat {\mu }}_{X}-\mu _{X}[P_{X}]\|_{\mathcal {H}}\leq \varepsilon$

där maximeringen görs över hela utrymmet av distributioner på $\Omega .$ Här är $\mu _{X}[P_{X}]$ kärninbäddningen av den föreslagna densiteten $P_{X}$ och $H$ är en entropiliknande storhet (t.ex. Entropi , KL-divergens , Bregman-divergens ). Fördelningen som löser denna optimering kan tolkas som en kompromiss mellan att anpassa provens empiriska kärnmedel väl, samtidigt som man ändå allokerar en betydande del av sannolikhetsmassan till alla regioner i sannolikhetsutrymmet (av vilka mycket kanske inte är representerade i träningsexempel). I praktiken kan en bra ungefärlig lösning av den svåra optimeringen hittas genom att begränsa utrymmet för kandidatdensiteter till en blandning av M kandidatfördelningar med reguljära blandningsproportioner. Kopplingar mellan de idéer som ligger bakom Gauss-processer och villkorliga slumpmässiga fält kan dras med uppskattningen av villkorliga sannolikhetsfördelningar på detta sätt, om man ser särdragsmappningarna associerade med kärnan som tillräcklig statistik i generaliserade (möjligen oändliga dimensionella) exponentiella familjer .

Mätning av slumpvariablers beroende

Ett mått på det statistiska beroendet mellan slumpvariablerna $X$ och $Y$ (från alla domäner där vettiga kärnor kan definieras) kan formuleras baserat på Hilbert–Schmidts oberoende kriterium

${\text{HSIC}}(X,Y)=\left\|{\mathcal {C}}_ {XY}-\mu _{X}\otimes \mu _{Y}\right\|_{{\mathcal {H}}\otimes {\mathcal {H}}}^{2}$

och kan användas som en principiell ersättning för ömsesidig information , Pearson-korrelation eller något annat beroendemått som används i inlärningsalgoritmer. Mest anmärkningsvärt är att HSIC kan upptäcka godtyckliga beroenden (när en karakteristisk kärna används i inbäddningarna är HSIC noll om och endast om variablerna är oberoende ), och kan användas för att mäta beroendet mellan olika typer av data (t.ex. bilder och texttexter) ). Givet n iid sampel av varje slumpvariabel kan en enkel parameterfri opartisk skattare av HSIC som uppvisar koncentration kring det sanna värdet beräknas i $O(n(d_) {f}^{2}+d_{g}^{2}))$ tid, där grammatriserna för de två datamängderna approximeras med $\mathbf {A} \mathbf { A} ^{T},\mathbf {B} \mathbf {B} ^{T}$ med $\mathbf {A} \in \mathbb {R} ^{n\times d_{f}},\mathbf {B} \in \mathbb {R} ^{n\times d_{g}}$ . De önskvärda egenskaperna hos HSIC har lett till formuleringen av ett flertal algoritmer som använder detta beroendemått för en mängd vanliga maskininlärningsuppgifter såsom: funktionsval (BAHSIC), klustring (CLUHSIC) och dimensionsreduktion (MUHSIC).

HSIC kan utökas för att mäta beroendet av flera slumpvariabler. Frågan om när HSIC fångar oberoende i detta fall har nyligen studerats: för mer än två variabler

• på $\mathbb {R} ^{d}$ : den karakteristiska egenskapen för de individuella kärnorna förblir ett ekvivalent villkor.
• på allmänna domäner: den karakteristiska egenskapen hos kärnkomponenterna är nödvändig men inte tillräcklig .

Utbredning av kärnan

Trospridning är en grundläggande algoritm för slutledning i grafiska modeller där noder upprepade gånger skickar och tar emot meddelanden som motsvarar utvärderingen av villkorade förväntningar. I kärnans inbäddningsramverk kan meddelandena representeras som RKHS-funktioner och de villkorliga distributionsinbäddningarna kan tillämpas för att effektivt beräkna meddelandeuppdateringar. Givet n urval av slumpvariabler representerade av noder i ett Markov slumpfält , kan det inkommande meddelandet till nod t från nod u uttryckas som

$m_{ut}(\cdot )=\sum _{i=1}^{n}\beta _{ ut}^{i}\varphi (x_{t}^{i})$

om det antogs ligga i RKHS. Uppdateringsmeddelandet för kärntrosutbredning från t till nod s ges sedan av

${\widehat {m} {ts}=\left(\odot _{u\in N(t)\backslash s}\mathbf {K} _{t}{\boldsymbol {\beta }}_{ut}\right)^{T} (\mathbf {K} _{s}+\lambda \mathbf {I} )^{-1}{\boldsymbol {\Upsilon }}_{s}^{T}\varphi (x_{s})$

där $\odot$ anger den elementmässiga vektorprodukten, $N(t)\backslash s$ är uppsättningen av noder kopplade till t exklusive nod s , ${\boldsymbol {\beta }}_{ut}=\left(\beta _{ut}^{1},\dots ,\beta _{ut }^{n}\right)$ , $\mathbf {K} _{t},\mathbf {K} _{s}$ är grammatriserna för samplen från variablerna $X_{t},X_{s}$ respektive ${\displaystyle {\boldsymbol {\Upsilon }} _{s}=\left(\varphi (x_{s}^{1}),\dots ,\varphi (x_{s}^{n})\right)} är funktionsmatrisen för samplen$ från $X_{s}$ .

Således, om de inkommande meddelandena till nod t är linjära kombinationer av särdrag mappade sampel från $X_{t}$ , så är det utgående meddelandet från denna nod också en linjär kombination av särdrag mappade sampel från $X_{s}$ . Denna RKHS-funktionsrepresentation av meddelandeöverföringsuppdateringar producerar därför en effektiv trosutbredningsalgoritm i vilken potentialerna är icke-parametriska funktioner som härleds från data så att godtyckliga statistiska samband kan modelleras.

Icke-parametrisk filtrering i dolda Markov-modeller

I den dolda Markov-modellen (HMM) är två nyckelkvantiteter av intresse övergångssannolikheterna mellan dolda tillstånd $P(S^{t}\mid S^{t-1} )$ och emissionssannolikheterna $P(O^{t}\mid S^{t})$ för observationer. Genom att använda inbäddningsramverket för villkorad distribution av kärnan kan dessa kvantiteter uttryckas i termer av prover från HMM. En allvarlig begränsning av inbäddningsmetoderna i denna domän är behovet av träningsprov som innehåller dolda tillstånd, eftersom det annars inte är möjligt att sluta sig till godtyckliga distributioner i HMM.

En vanlig användning av HMM är filtrering där målet är att uppskatta den bakre fördelningen över det dolda tillståndet $s^{t}$ vid tidssteg t givet en historia av tidigare observationer $h^{t}=(o^{1},\dots ,o^{t})$ från systemet. Vid filtrering upprätthålls ett trostillstånd $P(S^{t+1}\mid h^{t+1})$ rekursivt via ett prediktionssteg (där uppdaterar ${\displaystyle P(S^{t+1}\mid h^{t})=\ mathbb {E} [P(S^{t+1}\mid S^{t})\mid h^{t}]} beräknas genom att marginalisera$ det tidigare dolda tillståndet) följt av ett konditioneringssteg (där uppdateringar $P(S^{t+1}\ mid h^{t},o^{t+1})\propto P(o^{t+1}\mid S^{t+1})P(S^{t+1}\mid h^{ t})$ beräknas genom att tillämpa Bayes regel för att villkora en ny observation). RKHS-inbäddningen av trostillståndet vid tidpunkten t+1 kan uttryckas rekursivt som

$\mu _{S ^{t+1}\mid h^{t+1}}={\mathcal {C}}_{S^{t+1}O^{t+1}}^{\pi }\left({ \mathcal {C}}_{O^{t+1}O^{t+1}}^{\pi }\right)^{-1}\varphi (o^{t+1})$

genom att beräkna inbäddningarna av prediktionssteget via kärnsummeregeln och inbäddningen av konditioneringssteget via kärnan Bayes regel . Om vi ​​antar ett träningsprov $({\widetilde {s}}^{1},\dots ,{\widetilde {s} }^{T},{\widetilde {o}}^{1},\dots ,{\widetilde {o}}^{T})$ ges, kan man i praktiken uppskatta

${\widehat {\mu }}_{S^{t+1}\mid h^ {t+1}}=\summa _{i=1}^{T}\alpha _{i}^{t}\varphi ({\widetilde {s}}^{t})$

och filtrering med kärninbäddningar implementeras således rekursivt med hjälp av följande uppdateringar för vikterna ${\boldsymbol {\alpha }}=(\alpha _{1},\dots, \alpha _{T})$

$\mathbf {D} ^{t+1}=\operatörsnamn {diag} \left((G+\lambda \mathbf {I} )^{-1}{\widetilde {G}}{\boldsymbol {\alpha }}^{t}\right)$

${\boldsymbol {\alpha }}^{t+1}=\mathbf {D} ^{t+1}\mathbf {K } \left((\mathbf {D} ^{t+1}K)^{2}+{\widetilde {\lambda }}\mathbf {I} \right)^{-1}\mathbf {D} ^ {t+1}\mathbf {K} _{o^{t+1}}$

där $\mathbf {G} ,\mathbf {K}$ betecknar grammatriserna för ${\widetilde {s}}^{1},\dots ,{\widetilde {s}}^{T}$ och ${\widetilde {o}}^{1},\dots ,{\widetilde {o}}^{ T}$ respektive, ${\widetilde {\mathbf {G} }}$ är en överförings grammatris definierad som ${\widetilde {\mathbf {G} }}_{ij}=k({\widetilde {s}}_{i},{\widetilde {s}}_{j+1}),$ och $\mathbf {K} _{o^{t+1}}=(k({\widetilde {o}}^{1},o^{t+1}),\dots ,k({\ widetilde {o}}^{T},o^{t+1}))^{T}.$

Stöd mätmaskiner

Stödmätmaskinen (SMM) är en generalisering av stödvektormaskinen (SVM) $\{P_{i},y_{i}\}_{i=1}^{n},\ y_{i}\in \{+1,-1\}$ träningsexemplen är sannolikhetsfördelningar parade med etiketter , . SMM:er löser standardproblemet med SVM- dubbeloptimering med hjälp av följande förväntade kärna

$K\left(P(X),Q(Z)\right) =\langle \mu _{X},\mu _{Z}\rangle _{\mathcal {H}}=\mathbb {E} [k(x,z)]$

som är beräkningsbar i sluten form för många vanliga specifika distributioner $P_{i}$ (som den Gaussiska distributionen) kombinerat med populära inbäddningskärnor $k$ (t.ex. den Gaussiska kärnan eller polynomkärnan), eller kan exakt empiriskt uppskattas från iid sampel $\{x_{i}\}_{i= 1}^{n}\sim P(X),\{z_{j}\}_{j=1}^{m}\sim Q(Z)$ via

${\widehat {K}}(X,Z)={\frac {1 }{nm}}\summa _{i=1}^{n}\summa _{j=1}^{m}k(x_{i},z_{j})$

Under vissa val av inbäddningskärnan $k$ tillämpades SMM på träningsexempel $\{P_{i},y_{i}\}_{i =1}^{n}$ är ekvivalent med en SVM tränad på prov $\{x_{i},y_{i}\}_{i=1}^ {n}$ , och därmed kan SMM ses som en flexibel SVM där en annan databeroende kärna (specificerad av den antagna formen av distributionen ${\displaystyle P_{i}})$ kan placeras på varje träning punkt.

Domänanpassning under kovariat-, mål- och villkorsskifte

Målet med domänanpassning är formuleringen av inlärningsalgoritmer som generaliserar väl när tränings- och testdata har olika fördelning. Givet träningsexempel $\{(x_{i}^{\text{tr}},y_{i}^{\text{tr}}) \}_{i=1}^{n}$ och en testuppsättning ${\displaystyle \{(x_{j}^{\text{te}} ,y_{j}^{\text{te}})\}_{j=1}^{m}} där$ y $\displaystyle y_{j}^{\text{te}}}$ är okända , tre typer av skillnader antas vanligtvis mellan fördelningen av träningsexemplen $P^{\text{tr}}(X,Y)$ och testfördelningen $P^{\text{te}}(X,Y)$ :

1. Kovariatskifte där marginalfördelningen av kovariaterna ändras mellan domäner: $P^{\text{tr}}(X)\neq P^{\text{te} }(X)$
2. Målskifte där marginalfördelningen av utdata ändras mellan domäner: $P^{\text{tr}}(Y)\neq P^{\text{te} }(Y)$
3. Villkorsförskjutning där $P(Y)$ förblir densamma över domäner, men de villkorliga fördelningarna skiljer sig: $P^{\ text{tr}}(X\mid Y)\neq P^{\text{te}}(X\mid Y)$ . I allmänhet leder förekomsten av villkorlig förskjutning till ett illa ställt problem , och det ytterligare antagandet att $P(X\mid Y)$ ändras endast under lokaliseringsskala (LS) transformationer på $X$ påtvingas vanligtvis för att göra problemet löst.

Genom att använda kärninbäddningen av marginella och villkorliga distributioner kan praktiska tillvägagångssätt för att hantera förekomsten av dessa typer av skillnader mellan tränings- och testdomäner formuleras. Kovariatförskjutning kan förklaras genom att omvikta exempel via uppskattningar av förhållandet $P^{\text{te}}(X)/P^{\text{tr}} (X)$ erhålls direkt från kärninbäddningarna av marginaldistributionerna av $X$ i varje domän utan behov av explicit uppskattning av distributionerna. Målskifte, som inte kan hanteras på liknande sätt eftersom inga prover från $Y$ är tillgängliga i testdomänen, redovisas genom att vikta träningsexempel med vektorn ${\boldsymbol {\ beta }}^{*}(\mathbf {y} ^{\text{tr}})$ som löser följande optimeringsproblem (där i praktiken empiriska approximationer måste användas)

${\displaystyle \min _{{\boldsymbol {\beta }}(y) }\left\|{\mathcal {C}}_{{(X\mid Y)}^{\text{tr}}}\mathbb {E} [{\boldsymbol {\beta }}(y)\varphi (y^{\text{tr}})]-\mu _{X^{\text{te}}}\right\|_{\mathcal {H}}^{2}} med förbehåll$ för ${\boldsymbol {\beta }}(y)\geq 0,\mathbb {E} [{\boldsymbol {\beta }}(y^{\text {tr}})]=1$

För att hantera platsskalans villkorsförskjutning kan man utföra en LS-transformation av träningspunkterna för att erhålla nya transformerade träningsdata $\mathbf {X} ^{\text{new}}= \mathbf {X} ^{\text{tr}}\odot \mathbf {W} +\mathbf {B}$ (där $\odot$ anger den elementmässiga vektorprodukten). För att säkerställa liknande fördelningar mellan de nya transformerade träningsproven och testdata, $\mathbf {W} ,\mathbf {B}$ genom att minimera följande empiriska kärninbäddningsavstånd

$\left\|{\widehat {\mu }} _{X^{\text{ny}}}-{\widehat {\mu }}_{X^{\text{te}}}\right\|_{\mathcal {H}}^{2}= \left\|{\widehat {\mathcal {C}}}_{(X\mid Y)^{\text{new}}}{\widehat {\mu }}_{Y^{\text{tr} }}-{\widehat {\mu }}_{X^{\text{te}}}\right\|_{\mathcal {H}}^{2}$

Generellt sett kan kärninbäddningsmetoderna för att hantera LS villkorligt skift och målskift kombineras för att hitta en omviktad transformation av träningsdata som efterliknar testfördelningen, och dessa metoder kan fungera bra även i närvaro av andra villkorade skift än plats -skalförändringar.

Domängeneralisering via invariant funktionsrepresentation

Givet N uppsättningar av träningsexempel samplade iid från distributioner ${\displaystyle P^{(1) }(X,Y),P^{(2)}(X,Y),\ldots ,P^{(N)}(X,Y)} , målet med domängeneralisering är att formulera inlärningsalgoritmer$ som fungerar bra på testexempel samplade från en tidigare osynlig domän $P^{*}(X,Y)$ där ingen data från testdomänen är tillgänglig vid träningstillfället. Om villkorsfördelningar $P(Y\mid X)$ antas vara relativt lika över alla domäner, måste en elev som kan generalisera domänen uppskatta ett funktionellt samband mellan variablerna som är robust för förändringar i marginalerna $P(X)$ . Baserat på kärninbäddningar av dessa distributioner, är Domain Invariant Component Analysis (DICA) en metod som bestämmer transformationen av träningsdata som minimerar skillnaden mellan marginella distributioner samtidigt som en gemensam villkorlig fördelning som delas mellan alla träningsdomäner bevaras. DICA extraherar således invarianter , funktioner som överförs över domäner, och kan ses som en generalisering av många populära dimensionsreduceringsmetoder såsom kärnans huvudkomponentanalys , överföringskomponentanalys och kovariansoperator invers regression.

Definiera en sannolikhetsfördelning ${\mathcal {P}}$ på RKHS ${\mathcal {H}}$ med

${\mathcal {P}}\left(\mu _{X^{(i)}Y^ {(i)}}\right)={\frac {1}{N}}\qquad {\text{ för }}i=1,\dots ,N,$

DICA mäter olikheter mellan domäner via distributionsvarians som beräknas som

$V_{\mathcal {H}}({\mathcal {P}})={\ frac {1}{N}}\operatörsnamn {tr} (\mathbf {G} )-{\frac {1}{N^{2}}}\summa _{i,j=1}^{N}\ mathbf {G} _{ij}$

var

$\mathbf {G} _{ij}=\left\langle \mu _{X^{(i)}},\mu _{X^{(j)}}\right\rangle _{\mathcal {H}}$

så $\mathbf {G}$ är en $N\times N$ grammatris över fördelningarna från vilka träningsdata samplas. Genom att hitta en ortogonal transformation till ett lågdimensionellt delrum B (i funktionsutrymmet) som minimerar fördelningsvariansen, säkerställer DICA samtidigt att B ligger i linje med baserna för ett centralt delrum C för vilket $Y$ blir oberoende av ${ \displaystyle X}$ ges $C^{T}X$ över alla domäner. I avsaknad av målvärden $Y$ kan en oövervakad version av DICA formuleras som hittar ett lågdimensionellt delutrymme som minimerar fördelningsvariansen samtidigt som variansen för ${\displaystyle X} maximeras$ (i funktionsutrymmet) över alla domäner (snarare än att bevara ett centralt delområde).

Fördelningsregression

Vid distributionsregression är målet att regressera från sannolikhetsfördelningar till reella (eller vektorer). Många viktiga maskininlärnings- och statistiska uppgifter passar in i detta ramverk, inklusive multi-instans-inlärning och punktuppskattningsproblem utan analytisk lösning (som hyperparameter eller entropiuppskattning ). I praktiken är endast stickprov från stickprovsfördelningar observerbara, och uppskattningarna måste förlita sig på likheter som beräknas mellan uppsättningar av punkter . Distributionsregression har framgångsrikt tillämpats till exempel i övervakad entropiinlärning och aerosolprediktion med hjälp av multispektrala satellitbilder.

Givet ${\left(\{X_{i,n}\}_{n=1}^{N_{i} },y_{i}\right)}_{i=1}^{\ell }$ träningsdata, där ${\displaystyle {\hat { X_{i}}}:=\{X_{i,n}\}_{n=1}^{N_{i}}} påse innehåller prover från en sannolikhetsfördelning X i {\displaystyle X_$ { $}$ och den $i^{\text{th}}$ utdataetiketten är $y_{i}\in \mathbb {R}$ , man kan ta itu med distributionsregressionsuppgiften genom att ta inbäddningarna av distributionerna och lära sig regressorn från inbäddningarna till utgångarna. Med andra ord, man kan överväga följande kärn- ryggregressionsproblem ( $\displaystyle (\lambda >0)}$

$J(f )={\frac {1}{\ell }}\sum _{i=1}^{\ell }\left[f\left(\mu _{\hat {X_{i}}}\right)- y_{i}\right]^{2}+\lambda \|f\|_{{\mathcal {H}}(K)}^{2}\till \min _{f\in {\mathcal {H }}(K)},$

var

$\mu _{{\hat { X}}_{i}}=\int _{\Omega }k(\cdot ,u)\,\mathrm {d} {\hat {X}}_{i}(u)={\frac {1 }{N_{i}}}\summa _{n=1}^{N_{i}}k(\cdot ,X_{i,n})$

med en $k$ kärna på domänen av $X_{i}$ -s $(k:\Omega \times \Omega \to \mathbb {R} )$ , $K$ är en kärna i de inbäddade distributionerna, och ${\mathcal {H}}(K)$ är RKHS som bestäms av $K$ . Exempel på $K$ inkluderar den linjära kärnan ${\displaystyle \left[K(\mu _{P},\ mu _{Q})=\langle \mu _{P},\mu _{Q}\rangle _{{\mathcal {H}}(k)}\right]} , den Gaussiska$ kärnan $\left[K(\mu _{P},\mu _{Q})=e ^{-\left\|\mu _{P}-\mu _{Q}\right\|_{H(k)}^{2}/(2\sigma ^{2})}\right]$ , den exponentiella kärnan $\left[K(\mu _{P},\ mu _{Q})=e^{-\left\|\mu _{P}-\mu _{Q}\right\|_{H(k)}/(2\sigma ^{2})} \right]$ , Cauchy-kärnan $\left[K(\mu _{P},\mu _{Q})=\left(1+\left\|\mu _{P}-\mu _{Q}\right\|_{H(k)}^{2} /\sigma ^{2}\right)^{-1}\right]$ , den generaliserade t-studentkärnan ${\displaystyle \left[K(\mu _{P},\mu _{Q})=\left(1+\left\|\mu _{P}- \mu _{Q}\right\|_{H(k)}^{\sigma }\right)^{-1},(\sigma \leq 2)\right]} , eller den inversa multiquadrics$ kärnan $\left[K(\mu _{P},\mu _{Q} )=\left(\left\|\mu _{P}-\mu _{Q}\right\|_{H(k)}^{2}+\sigma ^{2}\right)^{- {\frac {1}{2}}}\right]$ .

Förutsägelsen om en ny distribution $({\hat {X}})$ tar den enkla, analytiska formen

${\hat {y}}{\big (}{\hat {X}}{\big )}=\mathbf {k } [\mathbf {G} +\lambda \ell ]^{-1}\mathbf {y} ,$

där $\mathbf {k} ={\big [}K{\big (}\mu _{{\hat {X }}_{i}},\mu _{\hat {X}}{\big )}{\big ]}\in \mathbb {R} ^{1\times \ell }$ , $\mathbf {G} =[G_{ij}]\in \mathbb {R} ^{\ell \times \ell }$ , $G_{ij}=K{\big (}\mu _{{\hat {X}}_{i}},\mu _{{\hat {X}} _{j}}{\big )}\in \mathbb {R}$ , $\mathbf {y} =[y_{1};\ldots ;y_{\ell }]\in \mathbb {R} ^{\ell }$ . Under milda regularitetsförhållanden kan denna estimator visas vara konsekvent och den kan uppnå den enstegs samplade (som om man hade tillgång till den sanna $X_{i}$ -s) minimax optimala hastigheten. I $J$ objektivfunktionen är $y_{i}$ -s reella tal; resultaten kan också utökas till fallet när $y_{i}$ -s är $d$ -dimensionella vektorer, eller mer generellt element av ett separerbart Hilbert-utrymme med operatorvärde $K$ kärnor.

Exempel

I detta enkla exempel, som är hämtat från Song et al., antas $X,Y$ vara diskreta slumpvariabler som tar värden i mängden $\{1 ,\ldots ,K\}$ och kärnan är vald att vara Kronecker deltafunktionen , så $k(x,x')=\delta ( x,x')$ . Funktionskartan som motsvarar denna kärna är standardbasvektorn $x)=\mathbf {e} _{x}}$ ( . Kärninbäddningarna av en sådan distribution är alltså vektorer av marginella sannolikheter medan inbäddningarna av gemensamma distributioner i denna inställning är $K\times K$ -matriser som specificerar gemensamma sannolikhetstabeller, och den explicita formen av dessa inbäddningar är

$\mu _{X}=\mathbb {E} [\mathbf {e} _{X}] ={\begin{pmatrix}P(X=1)\\\vdots \\P(X=K)\\\end{pmatrix}}$

${\mathcal {C}}_{XY}=\mathbb {E} [\mathbf {e} _{X} \otimes \mathbf {e} _{Y}]=(P(X=s,Y=t))_{s,t\in \{1,\ldots ,K\}}$

Operatören för inbäddning av villkorlig distribution,

${\mathcal {C}}_{Y\mid X}={\mathcal {C}}_{YX}{\mathcal {C}} _{XX}^{-1},$

är i denna inställning en villkorad sannolikhetstabell

${\mathcal {C}}_{Y\mid X}=(P(Y =s\mid X=t))_{s,t\in \{1,\dots ,K\}}$

och

${\mathcal {C}}_{XX}={\begin{pmatrix}P(X=1) &\dots &0\\\vdots &\ddots &\vdots \\0&\dots &P(X=K)\\\end{pmatrix}}$

Således kan inbäddningarna av den villkorliga fördelningen under ett fast värde på $X$ beräknas som

$\mu _{Y\mid x}= {\mathcal {C}}_{Y\mid X}\varphi (x)={\begin{pmatrix}P(Y=1\mid X=x)\\\vdots \\P(Y=K\mid X=x)\\\end{pmatrix}}$

I denna diskreta inställning med Kronecker-deltatkärnan blir kärnsummeregeln

$\underbrace {\begin{pmatrix}Q(X=1)\\\vdots \\P(X=N)\\\end{pmatrix}} _{\mu _{X }^{\pi }}=\underbrace {\begin{pmatrix}\\P(X=s\mid Y=t)\\\\\end{pmatrix}} _{{\mathcal {C}}_{ X\mid Y}}\underbrace {\begin{pmatrix}\pi (Y=1)\\\vdots \\\pi (Y=N)\\\end{pmatrix}} _{\mu _{Y} ^{\pi }}$

Kärnkedjeregeln i detta fall ges av

$\underbrace {\begin{pmatrix}\\Q(X=s,Y=t)\\\\\end{pmatrix}} _{{\mathcal {C} }_{XY}^{\pi }}=\underbrace {\begin{pmatrix}\\P(X=s\mid Y=t)\\\\\end{pmatrix}} _{{\mathcal {C }}_{X\mid Y}}\underbrace {\begin{pmatrix}\pi (Y=1)&\dots &0\\\vdots &\ddots &\vdots \\0&\dots &\pi (Y= K)\\\end{pmatrix}} _{{\mathcal {C}}_{YY}^{\pi }}$

externa länkar

• Information Teoretical Estimators verktygslåda (distributionsregression demonstration).