Återskapa kärnan Hilbert space

Figur illustrerar relaterade men varierande sätt att se RKHS

I funktionell analys (en gren av matematik ) är en reproducerande kärna Hilbert-rymd ( RKHS ) ett Hilbert-rum av funktioner där punktutvärdering är en kontinuerlig linjär funktionell . Grovt sett betyder detta att om två funktioner $f$ och $g$ i RKHS är nära i norm, dvs. $\|fg\|$ är liten, då $f$ och $g$ är också punktvis nära, dvs $|f(x)-g(x)|$ är liten för alla $x$ . Det omvända behöver inte vara sant. Informellt kan detta visas genom att titta på den högsta normen : sekvensen av funktioner $\sin ^{n}(x)$ konvergerar punktvis, men konvergerar inte enhetligt dvs konvergerar inte med respekt till den högsta normen (detta är inte ett motexempel eftersom den högsta normen inte härrör från någon inre produkt på grund av att den inte uppfyller parallellogramlagen ) .

Det är inte helt okomplicerat att konstruera ett Hilbert-rum av funktioner som inte är ett RKHS. Några exempel har dock hittats.

L ² -utrymmen är inte Hilbert-rum med funktioner (och därmed inte RKHSs), utan snarare Hilbert-rum med ekvivalensklasser av funktioner (till exempel funktionerna $f$ och $g$ definierade av $f(x)=0$ och $g(x)=1_{\mathbb {Q} }$ är ekvivalenta i L ² ). Det finns dock RKHS:er där normen är en L ² -norm, såsom utrymmet för bandbegränsade funktioner (se exemplet nedan).

En RKHS är associerad med en kärna som reproducerar varje funktion i rummet i den meningen att för varje $x$ i uppsättningen som funktionerna definieras på, kan "utvärdering vid ${\displaystyle x}"$ utföras av ta en inre produkt med en funktion som bestäms av kärnan. En sådan reproducerande kärna existerar om och bara om varje utvärderingsfunktion är kontinuerlig.

Den reproducerande kärnan introducerades först i 1907 års arbete av Stanisław Zaremba angående problem med gränsvärde för harmoniska och biharmoniska funktioner . James Mercer undersökte samtidigt funktioner som uppfyller den reproducerande egenskapen i teorin om integralekvationer . Idén om den reproducerande kärnan förblev orörd i nästan tjugo år tills den dök upp i Gábor Szegős , Stefan Bergmans och Salomon Bochners avhandlingar . Ämnet utvecklades så småningom systematiskt i början av 1950-talet av Nachman Aronszajn och Stefan Bergman.

Dessa utrymmen har breda tillämpningar, inklusive komplex analys , harmonisk analys och kvantmekanik . Reproducera kärnan Hilbert-utrymmen är särskilt viktiga inom området för statistisk inlärningsteori på grund av den berömda representationssatsen som säger att varje funktion i en RKHS som minimerar en empirisk riskfunktion kan skrivas som en linjär kombination av kärnfunktionen som utvärderas vid träningspunkterna . Detta är ett praktiskt användbart resultat eftersom det effektivt förenklar det empiriska riskminimeringsproblemet från ett oändligt dimensionellt till ett finitdimensionellt optimeringsproblem.

För att underlätta förståelsen tillhandahåller vi ramverket för verkligt värdefulla Hilbert-utrymmen. Teorin kan lätt utvidgas till utrymmen med komplext värderade funktioner och inkluderar därför de många viktiga exemplen på att reproducera kärnan Hilbert-utrymmen som är utrymmen för analytiska funktioner .

Definition

Låt $X$ vara en godtycklig mängd och $H$ ett Hilbertrum med verkliga funktioner på ${\displaystyle X} ,$ utrustad med punktvis addition och punktvis skalär multiplikation. Utvärderingsfunktionen över Hilbert-utrymmet av funktioner $H$ är en linjär funktion som utvärderar varje funktion i en punkt ${\displaystyle x$ } ,

$L_{x}:f\mapsto f(x){\text{ }}\forall f\in H.$

Vi säger att H är en reproducerande kärna Hilbert-rymd om, för alla $x$ i $X$ , $L_{x}$ är kontinuerlig vid varje $f$ i $H$ eller, ekvivalent, om $L_{x}$ är en avgränsad operator på $H$ , dvs det finns några $M_{x}>0$ såsom den där

$|L_{x}(f)|:=|f(x)|\leq M_{x}\,\|f\|_{H}\qquad \forall f\in H.\,$

 

 

 

 

()

Även om $M_{x}<\infty$ antas för alla $x\in X$ , kan det fortfarande vara så att ${\textstyle \sup _{x}M_{x}=\infty }$ .

Även om egenskapen ( 1 ) är det svagaste villkoret som säkerställer både existensen av en inre produkt och utvärderingen av varje funktion i $H$ vid varje punkt i domänen, lämpar den sig inte för enkel tillämpning i praktiken. En mer intuitiv definition av RKHS kan erhållas genom att observera att denna egenskap garanterar att utvärderingsfunktionen kan representeras genom att ta den inre produkten av $f$ med en funktion $K_{x}$ i $H$ . Denna funktion är den så kallade reproducerande kärnan för Hilbert-utrymmet $H$ från vilket RKHS har fått sitt namn. Mer formellt Riesz-representationssatsen att det för alla $x$ i $X$ finns ett unikt element $K_{x}$ av $H$ med den reproducerande egenskapen ,

$f(x)=L_{x}(f)=\langle f,\ K_{x}\rangle _{H}\quad \forall f\in H.$

 

 

 

 

()

Eftersom $K_{x}$ i sig är en funktion definierad på $X$ med värden i fältet $\mathbb {R}$ (eller $\mathbb {C}$ i fallet med komplexa Hilbert-mellanslag) och eftersom $K_{x}$ är i $H$ har vi det

$K_{x}(y)=L_{y}(K_{x})=\langle K_{x} ,\ K_{y}\rangle _{H},$

där $K_{y}\in H$ är elementet i $H$ som är associerat med $L_{y}$ .

Detta gör att vi kan definiera den reproducerande kärnan av $H$ som en funktion $K:X\times X\to \mathbb {R}$ av

$K(x,y)=\langle K_{x},\ K_{y}\rangle _{H}.$

Från denna definition är det lätt att se att $K:X\times X\to \mathbb {R}$ (eller $\mathbb {C}$ i det komplexa fallet) är både symmetrisk (resp. konjugatsymmetrisk) och positiv definit , dvs

$\sum _{i,j=1}^{ n}c_{i}c_{j}K(x_{i},x_{j})=\summa _{i=1}^{n}c_{i}\left\langle K_{x_{i}} ,\summa _{j=1}^{n}c_{j}K_{x_{j}}\right\rangle _{H}=\left\langle \summa _{i=1}^{n}c_ {i}K_{x_{i}},\summa _{j=1}^{n}c_{j}K_{x_{j}}\right\rangle _{H}=\left\|\summa _ {i=1}^{n}c_{i}K_{x_{i}}\right\|_{H}^{2}\geq 0$

för $n\in \mathbb {N} ,x_{1},\dots ,x_{n}\in X,{\text{ och }}c_{1},\dots ,c_{n}\in \ mathbb {R} .$ Moore–Aronszajns sats (se nedan) är en sorts motsats till detta: om en funktion $K$ uppfyller dessa villkor så finns det ett Hilbert-rum med funktioner på $X$ för vilken det är en reproducerande kärna.

Exempel

Utrymmet för bandbegränsade kontinuerliga funktioner $H$ är en RKHS, som vi nu visar. Formellt, fixa någon gränsfrekvens $0<a<\infty$ och definiera Hilbert-utrymmet

$H=\{f\in C(\mathbb {R} )\mid \operatörsnamn {supp} (F )\subset [-a,a]\}$

där $C(\mathbb {R} )$ är uppsättningen av kontinuerliga kvadratintegrerbara funktioner, och ${\textstyle F(\omega )=\int _{-\infty }^{\infty }f(t)e^{-i\omega t}\,dt} är Fouriertransformen av$ f { \ $f}$ . Som den inre produkten av detta Hilbert-rum använder vi

$\langle f,g\rangle _{L^{2}}=\int _{-\infty }^{\infty }f(x)\cdot {\overline {g(x)}}\, dx.$

Från Fourier inversionssatsen har vi

$f(x)={\frac {1}{2\pi }}\int _{-a}^{a}F(\omega )e^{ix\omega }\,d\omega .$

Det följer sedan av Cauchy–Schwarz-olikheten och Plancherels teorem att för alla $x$ ,

$|f(x)|\leq {\frac {1}{2\pi }}{\sqrt {\int _{-a}^{a}2a|F(\omega )|^{2} \,d\omega }}={\frac {1}{\pi }}{\sqrt {{\frac {a}{2}}\int _{-\infty }^{\infty }|F(\ omega )|^{2}\,d\omega }}={\sqrt {\frac {a}{\pi }}}\|f\|_{L^{2}}.$

Denna olikhet visar att utvärderingsfunktionen är begränsad, vilket bevisar att $H$ verkligen är en RKHS.

Kärnfunktionen $K_{x}$ i detta fall ges av

$K_{x}(y)={\frac {a}{\pi }}\operatörsnamn {sinc} \left({\frac {a}{\pi }}(yx)\right)={\ frac {\sin(a(yx))}{\pi (yx)}}.$

Fouriertransformen av $K_{x}(y)$ som definierats ovan ges av

$infty }^{\infty }K_{x}(y)e^{-i\omega y}\,dy={\begin{cases}e^{-i\omega x}&{\text{if }}\omega \i [- a,a],\\0&{\textrm {annat}},\end{cases}}}$

vilket är en konsekvens av Fouriertransformens tidsförskjutande egenskap . Följaktligen, med hjälp av Plancherels sats , har vi

$\langle f,K_{x}\rangle _{L^{2}}=\int _{-\infty }^{\infty }f(y)\cdot {\overline {K_{x}( y)}}\,dy={\frac {1}{2\pi }}\int _{-a}^{a}F(\omega )\cdot e^{i\omega x}\,d\ omega =f(x).$

På så sätt får vi kärnans reproducerande egenskap.

$K_{x}$ i det här fallet är den "bandbegränsade versionen" av Dirac delta-funktionen , och att $K_{x}(y)$ konvergerar till $\delta (yx)$ i svag mening eftersom gränsfrekvensen $a$ tenderar till oändlighet.

Moore–Aronszajns sats

Vi har sett hur en reproducerande kärna Hilbert-rymden definierar en reproducerande kärnfunktion som är både symmetrisk och positiv bestämd . Moore–Aronszajns sats går åt andra hållet; den anger att varje symmetrisk, positiv bestämd kärna definierar ett unikt reproducerande kärn-Hilbert-utrymme. Satsen dök först upp i Aronszajns Theory of Reproducing Kernels , även om han tillskriver det EH Moore .

Sats . Antag att K är en symmetrisk, positiv bestämd kärna på en mängd X . Sedan finns det ett unikt Hilbert-utrymme med funktioner på X där K är en reproducerande kärna.

₀₀ Bevis . För alla x i X , definiera K _x = K ( x , ⋅ ). Låt H vara det linjära spannet av { K _x : x ∈ X }. Definiera en inre produkt på H by

${\ displaystyle \left\langle \sum _{j=1}^{n}b_{j}K_{y_{j}},\sum _{i=1}^{m}a_{i}K_{x_{i }}\right\rangle _{H_{0}}=\summa _{i=1}^{m}\summa _{j=1}^{n}{a_{i}}b_{j}K( y_{j},x_{i}),}$

vilket innebär $K(x,y)=\left\langle K_{x},K_{y}\right\rangle _{H_{0} }$ . Symmetrin hos denna inre produkt följer av symmetrin hos K och icke-degenerationen följer av det faktum att K är positivt definitivt.

₀ Låt H vara kompletteringen av H med avseende på denna inre produkt. Då H av funktioner av formen

$f(x )=\summa _{i=1}^{\infty }a_{i}K_{x_{i}}(x)\quad {\text{där}}\quad \lim _{n\to \infty } \sup _{p\geq 0}\left\|\sum _{i=n}^{n+p}a_{i}K_{x_{i}}\right\|_{H_{0}}= 0.$

Nu kan vi kontrollera den reproducerande egenskapen ( 2 ):

$\langle f,K_{x}\rangle _{H}=\summa _{i=1}^{\infty }a_{i}\left\langle K_{x_{i}},K_{x }\right\rangle _{H_{0}}=\summa _{i=1}^{\infty }a_{i}K(x_{i},x)=f(x).$

För att bevisa unikhet, låt G vara ytterligare ett Hilbert-rum med funktioner för vilket K är en reproducerande kärna. För varje x och y i X innebär ( 2 ) det

$\langle K_{x},K_{y}\rangle _{H}=K(x,y)=\langle K_{x},K_{y}\rangle _{G}.$

₀ Genom linjäritet, ${\displaystyle \langle \cdot ,\cdot \rangle _{H}=\langle \cdot ,\cdot \rangle _{G}} på$ spann av $\{K_{x}:x\in X\}$ . Sedan $H\subset G$ eftersom G är komplett och innehåller H och därför innehåller dess komplettering.

Nu måste vi bevisa att varje element i G finns i H . Låt $f$ vara ett element av G . Eftersom H är ett slutet delrum av G kan vi skriva $f=f_{H}+f_{H^{\bot }}$ där $f_{ H}\in H$ och $f_{H^{\bot }}\in H^{\bot }$ . Om nu $x\in X$ då, eftersom K är en reproducerande kärna av G och H :

$f(x)=\langle K_{x},f\rangle _{G}=\langle K_{x},f_{H}\rangle _{G}+\langle K_ {x},f_{H^{\bot }}\rangle _{G}=\langle K_{x},f_{H}\rangle _{G}=\langle K_{x},f_{H}\ rangle _{H}=f_{H}(x),$

där vi har använt det faktum att $K_{x}$ tillhör H så att dess inre produkt med $f_{H^{\bot }}$ i G är noll. Detta visar att $f=f_{H}$ i G och avslutar beviset.

Integraloperatorer och Mercers sats

Vi kan karakterisera en symmetrisk positiv bestämd kärna $K$ via integraloperatorn med hjälp av Mercers sats och få en ytterligare bild av RKHS. Låt $X$ vara ett kompakt utrymme utrustat med ett strikt positivt ändligt borelmått $\mu$ och $K:X\ gånger X\to \mathbb {R}$ en kontinuerlig, symmetrisk och positiv bestämd funktion. Definiera integraloperatorn $T_{K}:L_{2}(X)\to L_{2}(X)$ som

$[T_{K}f](\cdot )=\int _{X}K(\ cdot ,t)f(t)\,d\mu (t)$

där $L_{2}(X)$ är utrymmet för kvadratintegrerbara funktioner med avseende på $\mu$ .

Mercers sats säger att den spektrala nedbrytningen av integraloperatorn $T_{K}$ av $K$ ger en serierepresentation av $K$ i termer av egenvärden och egenfunktioner för ${ \displaystyle T_{K}}$ . Detta innebär då att $K$ är en reproducerande kärna så att motsvarande RKHS kan definieras i termer av dessa egenvärden och egenfunktioner. Vi tillhandahåller detaljerna nedan.

Under dessa antaganden är $T_{K}$ en kompakt, kontinuerlig, självadjoint och positiv operator. Spektralsatsen för självadjoinerande operatorer innebär att det finns en högst räknebar avtagande sekvens $(\sigma _{i})_{i}\geq 0$ så att ${\textstyle \lim _{i\to \infty }\sigma _{i}=0}$ och ${\displaystyle T_{K}\varphi _ {i}(x)=\sigma _{i}\varphi _{i}(x)} ,$ där $\{\varphi _{i}\}$ utgör en ortonormal bas för $L_{2}(X)$ . Genom positiviteten hos $T_{K},\sigma _{i}>0$ för alla $i.$ Man kan också visa att $T_{K}$ avbildas kontinuerligt i utrymmet för kontinuerliga funktioner $C(X)$ och därför kan vi välja kontinuerliga funktioner som egenvektorer, det vill säga $\varphi _{i}\in C(X)$ för alla $i.$ Sedan kan genom Mercers sats $K$ skrivas i termer av egenvärdena och kontinuerliga egenfunktioner som

$K(x,y)=\summa _{j=1}^{\infty }\sigma _ {j}\,\varphi _{j}(x)\,\varphi _{j}(y)$

för alla $x,y\in X$ så att

$\lim _{n\to \infty }\sup _{u,v}\left|K(u,v)-\sum _{j=1}^{n}\sigma _{ j}\,\varphi _{j}(u)\,\varphi _{j}(v)\right|=0.$

Denna serierepresentation ovan kallas en Mercer-kärna eller Mercer-representation av $K$ .

Dessutom kan det visas att RKHS $H$ för $K$ ges av

$H=\left\{f\in L_{2}(X)\,{\Bigg \vert }\,\summa _{i=1}^{\infty }{\frac {\left\langle f,\varphi _{i}\right\rangle _{L_{2}}^{2}}{\sigma _{i} }}<\infty \right\}$

där den inre produkten av $H$ ges av

$\left\langle f,g\right\rangle _{H}=\summa _{i=1}^{\infty }{\frac {\left\langle f,\varphi _{i}\right \rangle _{L_{2}}\left\langle g,\varphi _{i}\right\rangle _{L_{2}}}{\sigma _{i}}}.$

Denna representation av RKHS har tillämpning inom sannolikhet och statistik, till exempel på Karhunen-Loève-representationen för stokastiska processer och kärn-PCA .

Funktionskartor

En funktionskarta är en karta $\varphi \colon X\rightarrow F$ , där $F$ är ett Hilbert-utrymme som vi kommer att kalla egenskapsutrymmet. De första avsnitten presenterade sambandet mellan avgränsade/kontinuerliga utvärderingsfunktioner, positiva bestämda funktioner och integraloperatorer och i detta avsnitt ger vi en annan representation av RKHS i termer av funktionskartor.

Varje funktionskarta definierar en kärna via

$K(x,y)=\langle \varphi (x),\varphi (y)\rangle _{F}.$

 

 

 

 

()

Klart $K$ är symmetrisk och positiv definititet följer av egenskaperna hos inre produkt i $F$ . Omvänt har varje positiv bestämd funktion och motsvarande reproducerande kärna Hilbert-utrymme oändligt många associerade funktionskartor så att ( 3 ) gäller.

Till exempel kan vi trivialt ta $F=H$ och $\varphi (x)=K_{x}$ för alla $x\in X$ . Då ( 3 ) är uppfyllt av den reproducerande egenskapen. Ett annat klassiskt exempel på en funktionskarta relaterar till föregående avsnitt om integraloperatorer genom att ta $F=\ell ^{2}}$${ \displaystyle \varphi (x)=({\sqrt {\sigma _{i}}}\varphi _{i}(x))_{i}}$ och .

Denna koppling mellan kärnor och funktionskartor ger oss ett nytt sätt att förstå positiva bestämda funktioner och därmed reproducera kärnor som inre produkter i $H$ . Dessutom kan varje funktionskarta naturligtvis definiera en RKHS med hjälp av definitionen av en positiv bestämd funktion.

Slutligen tillåter funktionskartor oss att konstruera funktionsutrymmen som avslöjar ett annat perspektiv på RKHS. Tänk på det linjära utrymmet

$H_{\varphi }=\{f:X\to \mathbb {R} \mid \exists w\in F,f(x)=\langle w,\varphi (x)\rangle _{F} ,\forall {\text{ }}x\in X\}.$

Vi kan definiera en norm på $H_{\varphi }$ med

$\|f\|_{\varphi }=\inf\{\|w\|_{F}:w\in F,f(x)=\langle w,\varphi (x)\rangle _ {F},\forall {\text{ }}x\in X\}.$

Det kan visas att $H_{\varphi }$ är en RKHS med kärnan definierad av $K(x,y )=\langle \varphi (x),\varphi (y)\rangle _{F}$ . Denna representation antyder att elementen i RKHS är inre produkter av element i funktionsutrymmet och kan följaktligen ses som hyperplan. Denna syn på RKHS är relaterad till kärntricket i maskininlärning.

Egenskaper

Följande egenskaper hos RKHS kan vara användbara för läsare.

• Låt $(X_{i})_{i=1}^{p}$ vara en sekvens av mängder och $(K_{i })_{i=1}^{p}$ vara en samling av motsvarande positiva definitiva funktioner på ${\displaystyle (X_{i})_{i=1}^{p}.} Det$ följer sedan att

  $K((x_{1},\ldots,x_{p}),(y_{1},\ldots,y_{p} ))=K_{1}(x_{1},y_{1})\cdots K_{p}(x_{p},y_{p})$

  är en kärna på $X=X_{1}\times \dots \times X_{p}.$

• Låt $X_{0}\subset X,$ då är begränsningen av $K$ till $X_{0}\ gånger X_{0}$ också en reproducerande kärna .
• Betrakta en normaliserad kärna $K$ så att $K(x,x)=1$ för alla $x\in X$ . Definiera en pseudometrik på X som

  $d_{K}(x,y)=\|K_{x}-K_{y}\|_{H}^{2}=2(1-K(x,y))\qquad \forall x\in X.$

  Genom Cauchy–Schwarz-olikheten ,

  ${\displaystyle K(x,y)^{2}\leq K(x,x)K(y,y)=1\qquad \forall x,y\in X.} Denna olikhet tillåter oss att se$

  K $\ displaystyle K}$ som ett mått på likhet mellan ingångar. Om $x,y\in X$ är lika så kommer $K(x,y)$ att vara närmare 1 medan om $x,y\in X$ är olika så kommer $K(x,y)$ att vara närmare 0.

• Stängningen av spannet för $\{K_{x}\mid x\in X\}$ sammanfaller med $H$ .

Vanliga exempel

Bilinjära kärnor

$K(x,y)=\langle x,y\rangle$

RKHS $H$ som motsvarar denna kärna är det dubbla utrymmet, bestående av funktionerna $f(x)=\langle x,\beta \rangle$ som uppfyller $\|f\|_{H}^{2}=\|\beta \|^{2}$ .

Polynomkärnor

$K(x,y)=(\alpha \langle x,y\rangle +1)^ {d},\qquad \alpha \in \mathbb {R} ,d\in \mathbb {N}$

Radiella basfunktionskärnor

Dessa är en annan vanlig klass av kärnor som uppfyller $K(x,y)=K(\|xy\|)$ . Några exempel inkluderar:

• Gaussisk eller kvadratisk exponentiell kärna :

  $K(x,y)=e^{-{\frac {\|xy\| ^{2}}{2\sigma ^{2}}}},\qquad \sigma >0$

• Laplacian kärna :

  $K(x,y)=e^{-{\frac {\|xy\|}{\sigma }} },\qquad \sigma >0$

  Kvadratnormen för en funktion $f$ i RKHS $H$ med denna kärna är:

  $\|f\|_{H}^{2}=\int _{\mathbb {R} }{\Big (}{\frac {1}{\sigma }}f(x)^{2 }+\sigma f'(x)^{2}{\Big )}\mathrm {d} x.$

Bergman kärnor

Vi ger även exempel på Bergman-kärnor . Låt X vara ändlig och låt H bestå av alla komplext värderade funktioner på X . Då kan ett element av H representeras som en matris av komplexa tal. Om den vanliga inre produkten används är K _x funktionen vars värde är 1 vid x och 0 överallt annars, och $K(x,y)$ kan ses som en identitetsmatris eftersom

$K(x,y)={\begin{cases}1&x=y\\0&x\neq y\end{cases}}$

I det här fallet är H isomorft till $\mathbb {C} ^{n}$ .

Fallet $X=\mathbb {D}$ (där $\mathbb {D}$ anger enhetsskivan ) är mer sofistikerat. Här är Bergman-utrymmet $H^{2}(\mathbb {D} )$ utrymmet för kvadratintegrerbara holomorfa funktioner på $\mathbb {D}$ . Det kan visas att den reproducerande kärnan för $H^{2}(\mathbb {D} )$ är

$K(x,y)={\frac {1}{\pi }}{\frac {1}{(1-x{\overline {y}})^{2}}}.$

Slutligen är utrymmet för bandbegränsade funktioner i $L^{2}(\mathbb {R} )$ med bandbredd $2a$ en RKHS med reproducerande kärna

$K(x,y)={\frac {\sin a(xy)}{\pi (xy)}}.$

Utökning till vektorvärderade funktioner

I det här avsnittet utvidgar vi definitionen av RKHS till utrymmen av vektorvärderade funktioner eftersom denna utvidgning är särskilt viktig i multi-task inlärning och mångfaldig regularisering . Huvudskillnaden är att den reproducerande kärnan $\Gamma$ är en symmetrisk funktion som nu är en positiv semidefinitiv matris för varje $x,y$ i $X$ . Mer formellt definierar vi en vektorvärderad RKHS (vvRKHS) som ett Hilbert-rum med funktioner $f:X\to \mathbb {R} ^{T}$ så att för alla $c\in \mathbb {R} ^{T}$ och $x\in X$

$\Gamma _{x}c(y)=\Gamma (x,y)c\in H{\text{ för }}y\in X$

och

$\langle f,\Gamma _{x}c\rangle _{H}=f(x)^{\intercal }c.$

Denna andra egenskap är parallell med den reproducerande egenskapen för det skalärvärderade fallet. Denna definition kan också kopplas till integraloperatorer, begränsade utvärderingsfunktioner och funktionskartor som vi såg för den skalärvärderade RKHS. Vi kan på motsvarande sätt definiera vvRKHS som ett vektorvärderat Hilbert-utrymme med en begränsad utvärderingsfunktion och visa att detta antyder existensen av en unik reproducerande kärna enligt Riesz-representationsteoremet. Mercers sats kan också utökas för att ta itu med den vektorvärderade inställningen och vi kan därför få en vy över vvRKHS. Slutligen kan det också visas att stängningen av spännvidden av $\{\Gamma _{x}c:x\in X,c\in \ mathbb {R} ^{T}\}$ sammanfaller med $H$ , en annan egenskap som liknar det skalära fallet.

Vi kan få intuition för vvRKHS genom att ta ett komponentmässigt perspektiv på dessa utrymmen. I synnerhet finner vi att varje vvRKHS är isometriskt isomorf till ett skalärt värderat RKHS på ett visst ingångsutrymme. Låt $\Lambda =\{1,\dots ,T\}$ . Betrakta utrymmet $X\times \Lambda$ och motsvarande reproducerande kärna

$\gamma :X\times \Lambda \times X\times \Lambda \to \mathbb {R} .$

 

 

 

 

()

Som noterats ovan ges RKHS associerad med denna reproducerande kärna av stängningen av spannet för $\{\gamma _{(x,t) }:x\in X,t\in \Lambda \}$ där $\gamma _{( x,t)}(y,s)=\gamma ((x,t),(y,s))$ för varje uppsättning par $(x,t),(y,s)\i X\ gånger \Lambda$ .

Kopplingen till den skalärt värderade RKHS kan då göras genom att varje matrisvärderad kärna kan identifieras med en kärna av formen ( 4 ) via

$\Gamma (x,y)_{(t,s)}=\gamma ((x,t),(y,s)).$

Dessutom definierar varje kärna med formen av ( 4 ) en matrisvärderad kärna med uttrycket ovan. Låter nu kartan $D:H_{\Gamma }\to H_{\gamma }$ definieras som

$(Df)(x,t)=\langle f(x),e_{t}\rangle _{\mathbb {R} ^{T}}$

där $e_{t}$ är den ${\displaystyle t^{\text{th}}}-$ komponenten av den kanoniska grunden för $\mathbb {R} ^{T}$ , man kan visa att $D$ är bijektiv och en isometri mellan $H_{\Gamma }$ och $H_{\gamma }$ .

Även om denna syn på vvRKHS kan vara användbar vid multi-task-inlärning, reducerar denna isometri inte studiet av det vektorvärderade fallet till det skalärvärderade fallet. Faktum är att denna isometriprocedur kan göra både den skalärvärdade kärnan och inmatningsutrymmet för svårt att arbeta med i praktiken eftersom egenskaperna hos de ursprungliga kärnorna ofta går förlorade.

En viktig klass av reproducerande kärnor med matrisvärde är separerbara kärnor som kan faktoriseras som produkten av en skalärt värderad kärna och en $T$ -dimensionell symmetrisk positiv semidefinitiv matris. I ljuset av vår tidigare diskussion är dessa kärnor av formen

$\gamma ((x,t),(y,s))=K(x ,y)K_{T}(t,s)$

för alla $x,y$ i $X$ och $t,s$ i $T$ . Eftersom kärnan med skalärt värde kodar beroenden mellan ingångarna kan vi observera att den matrisvärdade kärnan kodar beroenden mellan både ingångarna och utgångarna.

Vi noterar slutligen att teorin ovan kan utökas ytterligare till funktionsutrymmen med värden i funktionsutrymmen, men att få kärnor för dessa utrymmen är en svårare uppgift.

Anslutning mellan RKHS med ReLU-funktion

ReLU -funktionen definieras vanligtvis som $f(x)=\max\{0,x\}$ och är en stöttepelare i arkitekturen för neurala nätverk där den används som en aktiveringsfunktion. Man kan konstruera en ReLU-liknande olinjär funktion med hjälp av teorin om att reproducera kärnan Hilbert-utrymmen. Nedan härleder vi denna konstruktion och visar hur det innebär representationskraften hos neurala nätverk med ReLU-aktiveringar.

Vi kommer att arbeta med Hilbert-utrymmet ${\mathcal {H}}=L_{2}^{1}(0)[0,\infty )$ av absolut kontinuerlig funktioner med $f(0)=0$ och kvadratintegrerbar (dvs $L_{2}$ ) derivata. Den har den inre produkten

$\langle f,g\rangle _{\mathcal {H}}=\int _{0}^{\infty }f'(x)g'(x)\,dx.$

För att konstruera den reproducerande kärnan räcker det med att betrakta ett tätt delrum, så låt $f\in C^{1}[0,\infty )$ och $f (0)=0$ . Den grundläggande satsen för kalkyl ger sedan

$f(y)=\int _{0 }^{y}f'(x)\,dx=\int _{0}^{\infty }G(x,y)f'(x)\,dx=\langle K_{y},f\rangle$

var

$G(x,y)={\begin{cases}1,&x<y\\0,&{\text{annat}}\end {fall}}$

och $K_{y}'(x)=G(x,y),\ K_{y}(0)=0$ dvs

$K(x,y)=K_{y}(x)=\int _{0}^{x}G(z,y)\,dz={\begin{cases }x,&0\leq x<y\\y,&{\text{annars.}}\end{cases}}=\min(x,y)$

Detta innebär att $K_{y}=K(\cdot ,y)$ återger $f$ .

Dessutom har minimifunktionen på $X\times X=[0,\infty )\times [0,\infty )$ följande representationer med ReLu-funktionen:

$\min(x,y)=x-\operatörsnamn {ReLU} (xy)=y-\operatörsnamn {ReLU} (yx).$

Med hjälp av denna formulering kan vi tillämpa representationssatsen på RKHS, så att man kan bevisa det optimala med att använda ReLU-aktiveringar i neurala nätverksinställningar.

Se även

• Positiv bestämd kärna
• Mercers teorem
• Kärntrick
• Kärninbäddning av distributioner
• Representantsats

Anteckningar

• Alvarez, Mauricio, Rosasco, Lorenzo och Lawrence, Neil, "Kernels for Vector-Valued Functions: a Review," https://arxiv.org/abs/1106.6251 , juni 2011.
•    Aronszajn, Nachman (1950). "Teorin om att reproducera kärnor" . Transaktioner från American Mathematical Society . 68 (3): 337–404. doi : 10.1090/S0002-9947-1950-0051437-7 . JSTOR 1990404 . MR 0051437 .
• Berlinet, Alain och Thomas, Christine. Reproducering av kärnan Hilbert-utrymmen i Probability and Statistics , Kluwer Academic Publishers, 2004.
•   Cucker, Felipe; Smale, Steve (2002). "Om lärandets matematiska grunder" . Bulletin från American Mathematical Society . 39 (1): 1–49. doi : 10.1090/S0273-0979-01-00923-5 . MR 1864085 .
• De Vito, Ernest, Umanita, Veronica och Villa, Silvia. "En utvidgning av Mercer-satsen till vektorvärderade mätbara kärnor," arXiv : 1110.4017 , juni 2013.
• Durrett, Greg. 9.520 Course Notes, Massachusetts Institute of Technology, https://www.mit.edu/~9.520/scribe-notes/class03_gdurett.pdf , februari 2010.
•   Kimeldorf, George; Wahba, Grace (1971). "Några resultat på Tchebycheffian Spline Functions" (PDF) . Journal of Mathematical Analysis and Applications . 33 (1): 82–95. doi : 10.1016/0022-247X(71)90184-3 . MR 0290013 .
• Okutmustur, Baver. "Reproducing Kernel Hilbert Spaces," MS-avhandling, Bilkent University, http://www.thesis.bilkent.edu.tr/0002953.pdf , augusti 2005.
• Paulsen, Vern. "En introduktion till teorin om att reproducera kärnan Hilbert-utrymmen," http://www.math.uh.edu/~vern/rkhs.pdf .
•   Steinwart, Ingo; Scovel, Clint (2012). "Mercers teorem om allmänna domäner: om interaktionen mellan mått, kärnor och RKHS". Constr. Ca . 35 (3): 363–417. doi : 10.1007/s00365-012-9153-3 . MR 2914365 .
• Rosasco, Lorenzo och Poggio, Thomas. "A Regularization Tour of Machine Learning – MIT 9.520 Lecture Notes" Manuskript, dec. 2014.
• Wahba, Grace , Spline Models for Observational Data , SIAM , 1990.
• Zhang, Haizhang; Xu, Yuesheng; Zhang, Qinghui (2012). "Förfining av operatörsvärderade reproducerande kärnor" (PDF) . Journal of Machine Learning Research . 13 : 91–136.