Statistisk inlärningsteori

Den här artikeln handlar om statistisk inlärning i maskininlärning. För dess användning i psykologi, se Statistisk inlärning i språkinlärning .

Se även: Computational learning theory

Statistisk inlärningsteori är ett ramverk för maskininlärning från områdena statistik och funktionsanalys . Statistisk inlärningsteori behandlar det statistiska slutledningsproblemet att hitta en prediktiv funktion baserad på data. Statistisk inlärningsteori har lett till framgångsrika tillämpningar inom områden som datorseende , taligenkänning och bioinformatik .

Introduktion

Målen för lärande är förståelse och förutsägelse. Lärande delas in i många kategorier, inklusive övervakat lärande , oövervakat lärande , onlineinlärning och förstärkningsinlärning . Ur statistisk lärandeteoris perspektiv förstås övervakat lärande bäst. Övervakat lärande innebär att man lär sig från en utbildningsuppsättning data. Varje punkt i träningen är ett input-out-par, där ingången mappas till en utgång. Inlärningsproblemet består i att sluta sig till funktionen som mappar mellan input och output, så att den inlärda funktionen kan användas för att förutsäga output från framtida input.

Beroende på typen av resultat är problem med övervakad inlärning antingen problem med regression eller problem med klassificering . Om utgången tar ett kontinuerligt värdeintervall är det ett regressionsproblem. Med Ohms lag som exempel skulle en regression kunna utföras med spänning som ingång och ström som utgång. Regressionen skulle finna att det funktionella förhållandet mellan spänning och ström är $R$ , så att

$V=IR$

Klassificeringsproblem är sådana där utdata kommer att vara ett element från en diskret uppsättning etiketter. Klassificering är mycket vanligt för maskininlärningsapplikationer. I ansiktsigenkänning , till exempel, skulle en bild av en persons ansikte vara indata, och utdataetiketten skulle vara den personens namn. Ingången skulle representeras av en stor flerdimensionell vektor vars element representerar pixlar i bilden.

Efter att ha lärt sig en funktion baserad på träningsuppsättningens data, valideras den funktionen på en testuppsättning data, data som inte förekom i träningsuppsättningen.

Formell beskrivning

Ta $X$ för att vara vektorrymden för alla möjliga indata, och $Y$ för att vara vektorrymden för alla möjliga utdata. Statistisk inlärningsteori tar perspektivet att det finns någon okänd $p(z)=p({\vec {x}},y)$ över produktutrymmet $Z=X\ gånger Y$ , dvs det finns några okända . Träningsuppsättningen består av $n$ sampel från denna sannolikhetsfördelning och är noterad

$S=\{({\vec {x}} _{1},y_{1}),\dots ,({\vec {x}}_{n},y_{n})\}=\{{\vec {z}}_{1},\ prickar ,{\vec {z}}_{n}\}$

Varje ${\vec {x}}_{i}$ är en indatavektor från träningsdata, och $y_{i}$ är den utdata som motsvarar den.

I denna formalism består inferensproblemet i att hitta en funktion $f:X\to Y$ så att $f({\vec {x}})\ sim y$ . Låt ${\mathcal {H}}$ vara ett rum av funktioner $f:X\to Y$ som kallas hypotesrummet. Hypotesutrymmet är det utrymme av funktioner som algoritmen kommer att söka igenom. Låt $V(f({\vec {x}}),y)$ vara förlustfunktionen , ett mått för skillnaden mellan det förutsagda värdet ${ \displaystyle f({\vec {x}})}$ och det faktiska värdet $y$ . Den förväntade risken definieras som

$I[f]=\displaystyle \int _{X\ gånger Y} V(f({\vec {x}}),y)\,p({\vec {x}},y)\,d{\vec {x}}\,dy$

Målfunktionen, den bästa möjliga funktionen $f$ som kan väljas, ges av $f$ som uppfyller

$f=\mathrm {argmin} _{\{h\in {\mathcal {H}}\}}I[h]$

Eftersom sannolikhetsfördelningen $\displaystyle p({\vec {x}},y)}$ är okänd måste ett proxymått för den förväntade risken användas. Detta mått baseras på träningsuppsättningen, ett urval från denna okända sannolikhetsfördelning. Det kallas den empiriska risken

$I_{S}[f]={\frac {1}{n}}\displaystyle \sum _{i=1}^{n}V(f({\vec {x}}_{i}),y_{i})$

En inlärningsalgoritm som väljer funktionen $f_{S}$ som minimerar den empiriska risken kallas empirisk riskminimering .

Förlustfunktioner

Valet av förlustfunktion är en avgörande faktor för funktionen $f_{S}$ som kommer att väljas av inlärningsalgoritmen. Förlustfunktionen påverkar också konvergenshastigheten för en algoritm. Det är viktigt att förlustfunktionen är konvex .

Olika förlustfunktioner används beroende på om problemet är ett regressions- eller ett klassificeringsproblem.

Regression

Den vanligaste förlustfunktionen för regression är kvadratförlustfunktionen (även känd som L2-normen ) . Denna välbekanta förlustfunktion används i vanlig minsta kvadraters regression . Formen är:

$V(f({\vec {x}}),y)=(yf({\vec {x}} ))^{2}$

Den absoluta värdeförlusten (även känd som L1-normen ) används också ibland:

$V(f({\vec {x}}),y)=|yf({\vec {x}})|$

Klassificering

Huvudartikel: Statistisk klassificering

I någon mening är 0-1- indikatorfunktionen den mest naturliga förlustfunktionen för klassificering. Den tar värdet 0 om den förutsagda utsignalen är densamma som den faktiska utsignalen, och den tar värdet 1 om den förutsagda utsignalen skiljer sig från den faktiska utmatningen. För binär klassificering med $Y=\{-1,1\}$ är detta:

$V(f({\vec {x}}),y)=\theta (-yf({\vec { x}}))$

där $\theta$ är Heaviside-stegfunktionen .

Regularisering

Den här bilden representerar ett exempel på överanpassning i maskininlärning. De röda prickarna representerar träningsuppsättningsdata. Den gröna linjen representerar det verkliga funktionella förhållandet, medan den blå linjen visar den inlärda funktionen, som har överpassats till träningsuppsättningens data.

I maskininlärningsproblem är ett stort problem som uppstår det med överanpassning . Eftersom inlärning är ett prediktionsproblem, är målet inte att hitta en funktion som bäst passar de (tidigare observerade) data, utan att hitta en som mest exakt förutsäger utdata från framtida indata. Empirisk riskminimering löper denna risk för överanpassning: att hitta en funktion som matchar data exakt men som inte förutsäger framtida produktion väl.

Övermontering är symptomatisk för instabila lösningar; en liten störning i träningsuppsättningens data skulle orsaka en stor variation i den inlärda funktionen. Det kan visas att om stabiliteten för lösningen kan garanteras garanteras även generalisering och konsekvens. Regulering kan lösa övermonteringsproblemet och ge problemet stabilitet.

Regularisering kan åstadkommas genom att begränsa hypotesutrymmet ${\mathcal {H}}$ . Ett vanligt exempel skulle vara att begränsa ${\mathcal {H}}$ till linjära funktioner: detta kan ses som en minskning till standardproblemet med linjär regression . ${\mathcal {H}}$ skulle också kunna begränsas till polynom av grad ${\displaystyle p} ,$ exponentialer eller begränsade funktioner på L1 . Begränsning av hypotesutrymmet undviker överanpassning eftersom formen på de potentiella funktionerna är begränsad och därför inte tillåter valet av en funktion som ger empirisk risk godtyckligt nära noll.

Ett exempel på regularisering är Tikhonov-regularisering . Detta består i att minimera

${\frac {1}{n}}\displaystyle \sum _{i=1}^ {n}V(f({\vec {x}}_{i}),y_{i})+\gamma \|f\|_{\mathcal {H}}^{2}$

där $\gamma$ är en fast och positiv parameter, regulariseringsparametern. Tikhonov-regularisering säkerställer existens, unikhet och stabilitet hos lösningen.

Se även

• Återskapa kärnan Hilbert-mellanslag är ett användbart val för ${\mathcal {H}}$ .
• Proximala gradientmetoder för inlärning