Radiell basfunktionskärna

Inom maskininlärning är den radiella basfunktionen kärna , eller RBF-kärnan , en populär kärnfunktion som används i olika kärniserade inlärningsalgoritmer. I synnerhet används det ofta för klassificering av vektormaskiner .

RBF-kärnan på två prov $\mathbf {x} \in \mathbb {R} ^{k}$ och x' , representerade som funktionsvektorer i något inmatningsutrymme , definieras som

K(\mathbf {x} ,\mathbf {x'} )=\exp \left(-{\ frac {\|\mathbf {x} -\mathbf {x'} \|^{2}}{2\sigma ^{2}}}\right)

$\textstyle \|\mathbf {x} -\mathbf {x'} \|^{2}$ kan kännas igen som det kvadratiska euklidiska avståndet mellan de två egenskapsvektorerna. $\sigma$ är en fri parameter. En ekvivalent definition involverar en parameter $\textstyle \gamma ={\tfrac {1}{2\sigma ^{2}}}$ :

K(\mathbf {x} ,\mathbf {x'} )=\exp(-\gamma \|\mathbf {x} -\mathbf {x'} \|^{2})

Eftersom värdet på RBF-kärnan minskar med avståndet och sträcker sig mellan noll (i gränsen) och ett (när $x = x'$ ), har den en klar tolkning som ett likhetsmått . Kärnan har ett oändligt antal dimensioner ; för $\sigma =1$ är dess expansion med hjälp av multinomialsatsen :

{\begin{alignedat}{2}\exp \left(-{\frac {1}{2}}\|\mathbf {x} -\ mathbf {x'} \|^{2}\right)&=\exp({\frac {2}{2}}\mathbf {x} ^{\top }\mathbf {x'} -{\frac { 1}{2}}\|\mathbf {x} \|^{2}-{\frac {1}{2}}\|\mathbf {x'} \|^{2})\\&=\ exp(\mathbf {x} ^{\top }\mathbf {x'} )\exp(-{\frac {1}{2}}\|\mathbf {x} \|^{2})\exp( -{\frac {1}{2}}\|\mathbf {x'} \|^{2})\\&=\summa _{j=0}^{\infty }{\frac {(\mathbf {x} ^{\top }\mathbf {x'} )^{j}}{j!}}\exp \left(-{\frac {1}{2}}\|\mathbf {x} \| ^{2}\right)\exp \left(-{\frac {1}{2}}\|\mathbf {x'} \|^{2}\right)\\&=\summa _{j= 0}^{\infty }\quad \sum _{n_{1}+n_{2}+\dots +n_{k}=j}\exp \left(-{\frac {1}{2}}\ |\mathbf {x} \|^{2}\right){\frac {x_{1}^{n_{1}}\cdots x_{k}^{n_{k}}}{\sqrt {n_{ 1}!\cdots n_{k}!}}}\exp \left(-{\frac {1}{2}}\|\mathbf {x'} \|^{2}\right){\frac { {x'}_{1}^{n_{1}}\cdots {x'}_{k}^{n_{k}}}{\sqrt {n_{1}!\cdots n_{k}!} }}\\&=\langle \varphi (\mathbf {x} ),\varphi (\mathbf {x'} )\rangle \end{alignedat}}

\varphi (\ mathbf {x} )=\exp \left(-{\frac {1}{2}}\|\mathbf {x} \|^{2}\right)\left(a_{l_{0}}^{ (0)},a_{1}^{(1)},\dots,a_{l_{1}}^{(1)},\dots,a_{1}^{(j)},\dots, a_{l_{j}}^{(j)},\dots \right)

där $l_{j}={\tbinom {k+j-1}{j}}$ ,

a_{l}^{(j)}={\frac {x_{1}^{n_{1}}\cdots x_{k}^{n_{k}}}{\sqrt {n_{1}!\cdots n_{k}!}}}\quad |\quad n_{1}+n_{2}+\dots +n_ {k}=j\kil 1\leq l\leq l_{j}

Uppskattningar

Eftersom stödvektormaskiner och andra modeller som använder kärntricket inte skalas bra till ett stort antal träningsprov eller ett stort antal funktioner i inmatningsutrymmet, har flera approximationer till RBF-kärnan (och liknande kärnor) introducerats. Vanligtvis tar dessa formen av en funktion z som mappar en enskild vektor till en vektor med högre dimensionalitet, och approximerar kärnan:

\langle z(\mathbf {x} ),z(\ mathbf {x'} )\rangle \approx \langle \varphi (\mathbf {x} ),\varphi (\mathbf {x'} )\rangle =K(\mathbf {x} ,\mathbf {x'} )

där $\textstyle \varphi$ är den implicita mappningen inbäddad i RBF-kärnan.

Ett sätt att konstruera ett sådant z är att slumpmässigt sampla från Fourier-transformationen av kärnan. Ett annat tillvägagångssätt använder Nyström-metoden för att approximera egennedbrytningen av Gram-matrisen K , med endast ett slumpmässigt urval av träningsuppsättningen.

Se även