Deterministiskt brus

I (övervakad) maskininlärning , speciellt när man lär sig från data, finns det situationer då datavärdena inte kan modelleras. Detta kan uppstå om det finns slumpmässiga fluktuationer eller mätfel i data som inte är modellerade och lämpligen kan kallas stokastiskt brus ; eller när fenomenet som modelleras (eller lärs in) är för komplext, och därför innehåller data denna extra komplexitet som inte är modellerad. Denna extra komplexitet i data har kallats deterministiskt brus . Även om dessa två typer av buller uppstår av olika orsaker, är deras negativa effekt på inlärning likartad. Överanpassningen uppstår eftersom modellen försöker passa in det (stokastiska eller deterministiska) bruset (den del av data som den inte kan modellera) på bekostnad av att passa den del av data som den kan modellera. När endera typen av brus förekommer är det vanligtvis tillrådligt att reglera inlärningsalgoritmen för att förhindra att modellen överanpassas till data och får sämre prestanda. Regularisering resulterar vanligtvis i en lägre variansmodell på bekostnad av bias .

Man kan också försöka lindra effekterna av brus genom att upptäcka och ta bort de bullriga träningsexemplen innan man tränar den övervakade inlärningsalgoritmen. Det finns flera algoritmer som identifierar bullriga träningsexempel, och att ta bort de misstänkta bullriga träningsexemplen före träningen kommer vanligtvis att förbättra prestandan.