Kernel adaptivt filter

Vid signalbehandling är ett adaptivt kärnfilter en typ av olinjärt adaptivt filter. Ett adaptivt filter är ett filter som anpassar sin överföringsfunktion till förändringar i signalegenskaper över tid genom att minimera en fel- eller förlustfunktion som kännetecknar hur långt filtret avviker från idealbeteende. Anpassningsprocessen bygger på lärande från en sekvens av signalsamplingar och är således en onlinealgoritm . Ett olinjärt adaptivt filter är ett där överföringsfunktionen är olinjär.

Kernel adaptiva filter implementerar en icke-linjär överföringsfunktion med hjälp av kärnmetoder . I dessa metoder mappas signalen till ett högdimensionellt linjärt särdragsutrymme och en icke-linjär funktion approximeras som en summa över kärnor, vars domän är särdragsutrymmet. Om detta görs i ett reproducerande kärna Hilbert-utrymme , kan en kärnmetod vara en universell approximator för en icke-linjär funktion. Kärnmetoder har fördelen att de har konvexa förlustfunktioner, utan lokala minima, och att de bara är måttligt komplexa att implementera.

Eftersom högdimensionellt funktionsutrymme är linjärt kan adaptiva kärnfilter ses som en generalisering av linjära adaptiva filter. Liksom med linjära adaptiva filter finns det två allmänna tillvägagångssätt för att anpassa ett filter: filtret med minsta medelkvadrat (LMS) och det rekursiva minsta kvadratfiltret (RLS).

Självorganiserande adaptiva kärna-filter som använder iteration för att uppnå konvex LMS-felminimering tar upp några av de statistiska och praktiska frågorna med icke-linjära modeller som inte uppstår i det linjära fallet. Regularisering är särskilt viktigt för icke-linjära modeller och används också ofta i linjära adaptiva filter för att minska statistiska osäkerheter. Men eftersom icke-linjära filter vanligtvis har en mycket högre potentiell strukturell komplexitet (eller högre dimensionellt särdragsutrymme) jämfört med det delutrymme som faktiskt krävs, måste någon typ av regularisering hantera den underbestämda modellen. Även om vissa specifika former av parameterregularisering som föreskrivs av Vapinks SRM & SVM löser dimensionsproblemet statistiskt i viss utsträckning, finns det ytterligare statistiska och praktiska problem för verkligt adaptiva icke-linjära filter. Adaptiva filter används ofta för att spåra beteendet hos ett eller flera tidsvarierande system som inte helt kan modelleras utifrån tillgänglig data och struktur, varför modellerna kanske inte bara behöver anpassa parametrar utan struktur också.

Där strukturella parametrar för kärnor härleds direkt från data som bearbetas (som i ovanstående "Support Vector"-tillvägagångssätt) finns det bekväma möjligheter för analytiskt robusta metoder för självorganisering av kärnorna som är tillgängliga för filtret. Det linjäriserade funktionsutrymmet som induceras av kärnor tillåter linjär projicering av nya sampel på modellens nuvarande struktur där nyhet i nya data lätt kan särskiljas från brusförorsakade fel som inte bör resultera i en förändring av modellstrukturen. Analytiska mått för strukturanalys kan användas för att på ett sparsamt sätt öka modellkomplexiteten när så krävs eller för att optimalt beskära den befintliga strukturen när processorresursgränserna nås. Strukturuppdateringar är också relevanta när systemvariationer upptäcks och långtidsminnet för modellen bör uppdateras som för Kalmanfilterfallet i linjära filter.

Iterativ gradientnedstigning som vanligtvis används i adaptiva filter har också vunnit popularitet i offline-batch-mode-stöd för vektorbaserad maskininlärning på grund av dess beräkningseffektivitet för bearbetning av stora datamängder. Både tidsserier och batchdatabehandlingsprestanda rapporteras enkelt kunna hantera över 100 000 träningsexempel med så lite som 10 kB RAM. Så här stora datastorlekar är utmanande för de ursprungliga formuleringarna av stödvektormaskiner och andra kärnmetoder, som till exempel förlitade sig på begränsad optimering med linjär eller kvadratisk programmeringsteknik.