Strukturell riskminimering

För annan användning, se Minimering .

Strukturell riskminimering (SRM) är en induktiv princip för användning i maskininlärning . Vanligtvis inom maskininlärning måste en generaliserad modell väljas från en ändlig datamängd, med åtföljande problem med överanpassning – modellen blir alltför starkt anpassad till träningsuppsättningens särdrag och generaliserar dåligt till nya data. SRM-principen tar itu med detta problem genom att balansera modellens komplexitet mot dess framgång med att anpassa träningsdata. Denna princip fastställdes först i ett papper från 1974 av Vladimir Vapnik och Alexey Chervonenkis och använder VC-dimensionen .

Rent praktiskt implementeras strukturell riskminimering genom att minimera $E_{train}+\beta H(W)$ , där $E_ {tåg}$ är tågfelet, funktionen $H(W)$ kallas en regulariseringsfunktion och $\beta$ är en konstant. $H(W)$ väljs så att den tar stora värden på parametrarna $W$ som hör till högkapacitetsdelmängder av parameterutrymmet. Att minimera $H(W)$ begränsar i själva verket kapaciteten för de tillgängliga delmängderna av parameterutrymmet, och kontrollerar därigenom avvägningen mellan att minimera träningsfelet och minimera det förväntade gapet mellan träningsfelet och testfelet .

SRM-problematiken kan formuleras i termer av data. Givet n datapunkter som består av data x och etiketter y, uttrycks objektivet ${\displaystyle J(\theta )} ofta på följande sätt:$

$J(\theta )={\frac {1 }{2n}}\summa _{i=1}^{n}(h_{\theta }(x^{i})-y^{i})^{2}+{\frac {\lambda }{ 2}}\summa _{j=1}^{d}\theta _{j}^{2}$

Den första termen är termen för medelkvadratfel (MSE) mellan värdet på den inlärda modellen, $h_{\theta }$ , och de givna etiketterna $y$ . Denna term är träningsfelet, ${\displaystyle E_{train}} ,$ som diskuterades tidigare. Den andra termen placerar en prior över vikterna, för att gynna sparsitet och straffa större vikter. Avvägningskoefficienten, $\lambda$ , är en hyperparameter som lägger mer eller mindre vikt på regulariseringstermen. Större $\lambda$ uppmuntrar glesare vikter på bekostnad av en mer optimal MSE, och mindre $\lambda$ minskar regulariseringen så att modellen kan anpassas till data. Observera att som $\lambda \to \infty$ blir vikterna noll, och som $\lambda \to 0$ lider modellen typiskt av överanpassad.

Se även

• Vapnik–Chervonenkis teori
• Stöd vektor maskiner
• Modellval
• Occam Learning
• Empirisk riskminimering

externa länkar

• Strukturell riskminimering på webbplatsen för supportvektormaskiner.