Bayesiansk tolkning av kärnreglering

Inom bayesiansk statistik för maskininlärning uppstår kärnmetoder från antagandet om ett inre produktutrymme eller likhetsstruktur på indata . För vissa sådana metoder, såsom stödvektormaskiner (SVM), var den ursprungliga formuleringen och dess regularisering inte av Bayesiansk natur. Det är bra att förstå dem ur ett Bayesianskt perspektiv. Eftersom kärnorna inte nödvändigtvis är positiva semidefinita, kanske den underliggande strukturen inte är inre produktutrymmen, utan istället mer generella reproducerande kärna Hilbert-utrymmen . I Bayesiansk sannolikhet är kärnmetoder en nyckelkomponent i Gaussiska processer , där kärnfunktionen är känd som kovariansfunktionen. Kärnmetoder har traditionellt använts i övervakade inlärningsproblem där inmatningsutrymmet vanligtvis är ett utrymme av vektorer medan utgångsutrymmet är ett utrymme av skalärer . På senare tid har dessa metoder utvidgats till problem som handlar om flera resultat, till exempel i multi-task learning .

En matematisk motsvarighet mellan regulariseringen och den Bayesianska synvinkeln är lätt bevisad i fall där den reproducerande kärnan Hilbert-rymden är finitdimensionell . Det oändliga fallet väcker subtila matematiska frågor; vi kommer här att betrakta det finita dimensionella fallet. Vi börjar med en kort genomgång av huvudidéerna bakom kärnmetoder för skalärt lärande, och introducerar kort begreppen regularisering och gaussiska processer. Vi visar sedan hur båda synpunkterna kommer fram till i huvudsak likvärdiga estimatorer , och visar sambandet som binder dem samman.

Det övervakade inlärningsproblemet

Det klassiska övervakade inlärningsproblemet kräver att man uppskattar utdata för någon ny ingångspunkt $\mathbf {x} '$ genom att lära sig en skalärvärderad estimator ${\hat {f}}( \mathbf {x} ')$ på basis av en träningsuppsättning $S$ bestående av $n$ input-out-par, $S=(\mathbf {X} ,\mathbf {Y} )=(\mathbf {x} _{1},y_{1}),\ldots ,(\ mathbf {x} _{n},y_{n})$ . Med tanke på en symmetrisk och positiv bivariat funktion $k(\cdot ,\cdot )$ som kallas en kärna , ges en av de mest populära estimatorerna inom maskininlärning av

${\hat {f}}(\mathbf {x} ')=\mathbf {k} ^{\top }( \mathbf {K} +\lambda n\mathbf {I} )^{-1}\mathbf {Y} ,$

 

 

 

 

()

där $\mathbf {K} \equiv k(\mathbf {X} ,\mathbf {X} )$ är kärnmatrisen med poster $\mathbf {K} _{ij}=k(\mathbf {x} _{i},\mathbf {x} _{j})$ , $\mathbf {k} =[k(\mathbf {x} _{1},\mathbf {x} '),\ldots ,k(\mathbf {x} _{n},\mathbf {x} ')]^{\top }$ och $\mathbf {Y} =[y_{1} ,\ldots ,y_{n}]^{\top }$ . Vi kommer att se hur denna estimator kan härledas både ur ett regulariserings- och ett Bayesianskt perspektiv.

Ett legaliseringsperspektiv

Huvudantagandet i regulariseringsperspektivet är att uppsättningen funktioner ${\mathcal {F}}$ antas tillhöra en reproducerande kärna Hilbert space ${\mathcal {H}}_{k }$ .

Återskapa kärnan Hilbert space

En reproducerande kärna Hilbert-rymd (RKHS) ${\mathcal {H}}_{k}$ är ett Hilbert-rum med funktioner definierade av en symmetrisk , positiv-definitiv funktion $k:{\mathcal {X}}\times {\mathcal {X}}\rightarrow \mathbb {R}$ anropade den reproducerande kärnan så att funktionen $k(\mathbf {x} ,\cdot )$ tillhör ${\mathcal {H}}_{k}$ för alla $\mathbf {x} \in {\mathcal {X}}$ . Det finns tre huvudegenskaper som gör en RKHS tilltalande:

1. Den reproducerande egenskapen , som ger namn åt utrymmet,

$f(\mathbf {x} )=\langle f,k(\mathbf {x} ,\cdot ) \rangle _{k},\quad \forall \ f\in {\mathcal {H}}_{k},$

där $\langle \cdot ,\cdot \rangle _{k}$ är den inre produkten i ${\mathcal {H}}_{k}$ .

2. Funktioner i en RKHS ligger i stängningen av den linjära kombinationen av kärnan vid givna punkter,

$f(\mathbf {x} )=\summa _{i}k(\mathbf {x} _{i},\mathbf {x } )c_{i}$ .

Detta möjliggör konstruktionen i ett enhetligt ramverk av både linjära och generaliserade linjära modeller.

3. Den kvadratiska normen i en RKHS kan skrivas som

$\|f\|_{k}^{2}=\summa _{i,j}k(\ mathbf {x} _{i},\mathbf {x} _{j})c_{i}c_{j}$

och kan ses som en mätning av funktionens komplexitet .

Den regulariserade funktionella

Estimatorn härleds som minimeraren av den regulariserade funktionella

${\frac {1}{n}}\sum _{i=1}^{n }(f(\mathbf {x} _{i})-y_{i})^{2}+\lambda \|f\|_{k}^{2},$

 

 

 

 

()

där $f\in {\mathcal {H}}_{k}$ och $\|\cdot \|_{k}$ är normen i ${\ displaystyle {\mathcal {H}}_{k}}$ . Den första termen i denna funktion, som mäter medelvärdet av kvadraterna av felen mellan $f(\mathbf {x} _{i})$ och $y_{i }$ , kallas den empiriska risken och representerar kostnaden vi betalar genom att förutsäga $f(\mathbf {x} _{i})$ för det verkliga värdet $y_{i}$ . Den andra termen i det funktionella är den kvadratiska normen i ett RKHS multiplicerat med en vikt $\lambda$ och tjänar syftet att stabilisera problemet såväl som att lägga till en kompromiss mellan anpassning och komplexitet hos skattaren. Vikten $\lambda$ , kallad regularizer , bestämmer i vilken grad instabilitet och komplexitet hos estimatorn ska straffas (högre straff för att öka värdet på ${\displaystyle \lambda } )$ .

Härledning av estimatorn

Den explicita formen av estimatorn i ekvation ( 1 ) härleds i två steg. För det första anger representationssatsen att minimeraren för det funktionella ( 2 ) alltid kan skrivas som en linjär kombination av kärnorna centrerade vid träningssetpunkterna,

${\hat {f}}(\mathbf {x} ')=\summa _{ i=1}^{n}c_{i}k(\mathbf {x} _{i},\mathbf {x} ')=\mathbf {k} ^{\top }\mathbf {c} ,$

 

 

 

 

()

för vissa $\mathbf {c} \in \mathbb {R} ^{n}$ . Den explicita formen av koefficienterna ${\displaystyle \mathbf {c} =[c_{1},\ldots ,c_{n}]^{\top }} kan$ hittas genom att ersätta $f(\cdot )$ i den funktionella ( 2 ). För en funktion av formen i ekvation ( 3 ) har vi det

${\begin{aligned}\|f\|_{k}^{2}&=\langle f,f\rangle _{k},\\&=\left\langle \sum _{i= 1}^{N}c_{i}k(\mathbf {x} _{i},\cdot ),\sum _{j=1}^{N}c_{j}k(\mathbf {x} _ {j},\cdot )\right\rangle _{k},\\&=\summa _{i=1}^{N}\summa _{j=1}^{N}c_{i}c_{ j}\langle k(\mathbf {x} _{i},\cdot ),k(\mathbf {x} _{j},\cdot )\rangle _{k},\\&=\summa _{ i=1}^{N}\summa _{j=1}^{N}c_{i}c_{j}k(\mathbf {x} _{i},\mathbf {x} _{j}) ,\\&=\mathbf {c} ^{\top }\mathbf {K} \mathbf {c} .\end{aligned}}$

Vi kan skriva om den funktionella ( 2 ) som

${\frac {1}{n}}\|\mathbf {y} -\mathbf {K} \mathbf {c} \|^{2}+\lambda \mathbf {c} ^{\top } \mathbf {K} \mathbf {c} .$

Denna funktion är konvex i $\mathbf {c}$ och därför kan vi hitta dess minimum genom att sätta gradienten med avseende på $\mathbf {c}$ till noll,

${\begin{aligned}-{\frac {1}{n}}\mathbf {K} (\mathbf {Y} -\mathbf {K} \mathbf {c} )+\lambda \mathbf {K } \mathbf {c} &=0,\\(\mathbf {K} +\lambda n\mathbf {I} )\mathbf {c} &=\mathbf {Y} ,\\\mathbf {c} &= (\mathbf {K} +\lambda n\mathbf {I} )^{-1}\mathbf {Y} .\end{aligned}}$

Genom att ersätta koefficienterna i ekvation ( 3 ) med detta uttryck får vi estimatorn som angavs tidigare i ekvation ( 1 ),

${\hat {f}}(\mathbf {x} ')=\mathbf {k} ^{\top }(\mathbf {K} +\lambda n\mathbf {I} )^{-1} \mathbf {Y} .$

Ett Bayesianskt perspektiv

Begreppet en kärna spelar en avgörande roll i Bayesiansk sannolikhet som kovariansfunktionen för en stokastisk process som kallas Gauss-processen .

En genomgång av Bayesiansk sannolikhet

Som en del av det Bayesianska ramverket specificerar den Gaussiska processen den tidigare fördelningen som beskriver de tidigare föreställningarna om egenskaperna hos den funktion som modelleras. Dessa övertygelser uppdateras efter att ha beaktat observationsdata med hjälp av en sannolikhetsfunktion som relaterar de tidigare föreställningarna till observationerna. Sammantaget leder prioriteten och sannolikheten till en uppdaterad fördelning som kallas den posteriora fördelningen som vanligtvis används för att förutsäga testfall.

Den Gaussiska processen

En Gauss-process (GP) är en stokastisk process där ett ändligt antal slumpvariabler som samplas följer en gemensam normalfördelning . Medelvektorn och kovariansmatrisen för den Gaussiska fördelningen specificerar fullständigt GP. GPs används vanligtvis som a priori-fördelning för funktioner, och som sådan kan medelvektorn och kovariansmatrisen ses som funktioner, där kovariansfunktionen också kallas kärnan i GP. Låt en funktion $f$ följa en gaussisk process med medelfunktion $m$ och kärnfunktion $k$ ,

$f\sim {\mathcal {GP}}(m,k).$

När det gäller den underliggande gaussiska fördelningen har vi det för varje finit mängd $\mathbf {X} =\{\mathbf {x} _{i}\}_{i =1}^{n}$ om vi låter $f(\mathbf {X} )=[f(\mathbf { x} _{1}),\ldots ,f(\mathbf {x} _{n})]^{\top }$ sedan

$f(\mathbf {X} )\sim {\mathcal {N}}(\mathbf {m} ,\mathbf {K} ),$

där $\mathbf {m} =m(\mathbf {X} )=[m(\mathbf {x} _{1}),\ldots ,m(\mathbf {x} _{N})]^{\top }$ är medelvektorn och $\mathbf {K} = k(\mathbf {X} ,\mathbf {X} )$ är kovariansmatrisen för den multivariata Gaussfördelningen.

Härledning av estimatorn

Ytterligare information: Minsta medelkvadratfel § Linjär MMSE-estimator för linjär observationsprocess

I ett regressionssammanhang antas sannolikhetsfunktionen vanligtvis vara en Gaussfördelning och observationerna vara oberoende och identiskt fördelade (iid),

$p(y|f,\mathbf {x} ,\sigma ^{2})={\mathcal {N}}(f(\mathbf {x} ),\sigma ^{2}).$

Detta antagande motsvarar att observationerna är korrupta med nollmedelsbrus från Gauss med varians $\sigma ^{2}$ . iid-antagandet gör det möjligt att faktorisera sannolikhetsfunktionen över datapunkterna givet uppsättningen av ingångar $\mathbf {X}$ och variansen för bruset ${\displaystyle \sigma ^{2}} ,$ och sålunda kan den bakre fördelningen beräknas analytiskt. För en testingångsvektor $\mathbf {x} '$ , givet träningsdata $S=\{\mathbf {X} ,\mathbf {Y} \}$ , den bakre fördelningen ges av

$p(f(\mathbf {x} ')|S,\ mathbf {x} ',{\boldsymbol {\phi }})={\mathcal {N}}(m(\mathbf {x} '),\sigma ^{2}(\mathbf {x} ')),$

där ${\boldsymbol {\phi }}$ betecknar uppsättningen parametrar som inkluderar variansen av bruset $\sigma ^{2}$ och eventuella parametrar från kovariansfunktionen $k$ och var

${\begin{aligned}m(\mathbf {x} ')&=\mathbf {k} ^{\top }(\mathbf {K} +\sigma ^{2}\mathbf {I} )^ {-1}\mathbf {Y} ,\\\sigma ^{2}(\mathbf {x} ')&=k(\mathbf {x} ',\mathbf {x} ')-\mathbf {k} ^{\top }(\mathbf {K} +\sigma ^{2}\mathbf {I} )^{-1}\mathbf {k} .\end{aligned}}$

Sambandet mellan regularisering och Bayes

En koppling mellan regulariseringsteori och Bayesiansk teori kan endast uppnås i fallet med änddimensionell RKHS . Under detta antagande är regulariseringsteori och Bayesiansk teori sammankopplade genom Gaussisk processförutsägelse.

I det finita dimensionella fallet kan varje RKHS beskrivas i termer av en funktionskarta $\Phi :{\mathcal {X}}\rightarrow \mathbb {R} ^{p}$ så att

$k(\mathbf {x} ,\mathbf {x} ')=\sum _{i=1}^{p}\Phi ^{i}(\mathbf {x} )\Phi ^{i} (\mathbf {x} ').$

Funktioner i RKHS med kärnan $\mathbf {K}$ kan sedan skrivas som

$f_{\mathbf {w} }(\mathbf {x} )=\summa _ {i=1}^{p}\mathbf {w} ^{i}\Phi ^{i}(\mathbf {x} )=\langle \mathbf {w} ,\Phi (\mathbf {x} )\ rangle ,$

och det har vi också

$\|f_{\mathbf {w} }\|_{k}=\|\mathbf {w} \|.$

Vi kan nu bygga en gaussisk process genom att anta $\mathbf {w} =[w^{1},\ldots ,w^{p}]^{\top }$ ska fördelas enligt en multivariat Gauss-fördelning med nollmedelvärde och identitetskovariansmatris,

$\mathbf {w} \sim {\mathcal {N}}(0,\mathbf {I} )\propto \exp(-\|\mathbf {w} \|^{2}).$

Om vi ​​antar en Gaussisk sannolikhet har vi

$P(\mathbf {Y} |\mathbf {X} ,f)={\mathcal {N}}(f(\mathbf {X} ),\sigma ^{2}\mathbf {I} )\propto \exp \left(-{\frac {1}{\sigma ^{2}}}\|f_{\mathbf {w} }(\mathbf {X} )-\mathbf {Y} \|^{2}\right),$

där $f_{\mathbf {w} }(\mathbf {X} )=(\ langle \mathbf {w} ,\Phi (\mathbf {x} _{1})\rangle ,\ldots ,\langle \mathbf {w} ,\Phi (\mathbf {x} _{n}\rangle )$ Den resulterande bakre fördelningen ges av

$P(f|\mathbf {X} ,\mathbf {Y } )\propto \exp \left(-{\frac {1}{\sigma ^{2}}}\|f_{\mathbf {w} }(\mathbf {X} )-\mathbf {Y} \| _{n}^{2}+\|\mathbf {w} \|^{2}\right)$

Vi kan se att en maximal posterior (MAP) uppskattning är ekvivalent med minimeringsproblemet som definierar Tikhonov-regularisering , där i det Bayesianska fallet är regulariseringsparametern relaterad till brusvariansen.

Ur ett filosofiskt perspektiv spelar förlustfunktionen i en regulariseringsmiljö en annan roll än sannolikhetsfunktionen i den Bayesianska miljön. Medan förlustfunktionen mäter felet som uppstår när ${\displaystyle f(\mathbf {x} )} förutsägs$ istället för $y$ , mäter sannolikhetsfunktionen hur sannolika observationerna är från modellen det antogs vara sant i den generativa processen. Ur ett matematiskt perspektiv gör dock formuleringarna av regulariseringen och Bayesianska ramverken att förlustfunktionen och sannolikhetsfunktionen har samma matematiska roll att främja slutsatsen av funktioner f {\displaystyle f} som $etiketterna$ y $\displaystyle y }$ så mycket som möjligt.

Se även

• Regulerade minsta kvadrater
• Bayesiansk linjär regression
• Bayesiansk tolkning av Tikhonov-regularisering