Att lära sig vektorkvantisering

Inom datavetenskap är inlärning av vektorkvantisering ( LVQ ) en prototypbaserad övervakad klassificeringsalgoritm . LVQ är den övervakade motsvarigheten till vektorkvantiseringssystem .

Översikt

LVQ kan förstås som ett specialfall av ett artificiellt neuralt nätverk , mer exakt, det tillämpar en vinnare-ta-allt Hebbian-inlärningsbaserad metod. Det är en föregångare till självorganiserande kartor (SOM) och relaterad till neuralgas , och till k-närmaste grannalgoritmen (k-NN). LVQ uppfanns av Teuvo Kohonen .

Ett LVQ-system representeras av prototyperna $W=(w(i),...,w(n))$ som definieras i har utrymme för observerade data. I vinnare-ta-allt träningsalgoritmer bestämmer man, för varje datapunkt, den prototyp som ligger närmast ingången enligt ett givet avståndsmått. Placeringen av denna så kallade vinnarprototyp anpassas då, dvs vinnaren flyttas närmare om den korrekt klassificerar datapunkten eller flyttas bort om den klassificerar datapunkten felaktigt.

En fördel med LVQ är att det skapar prototyper som är lätta att tolka för experter inom respektive applikationsdomän. LVQ-system kan appliceras på flerklassiga klassificeringsproblem på ett naturligt sätt.

En nyckelfråga i LVQ är valet av ett lämpligt mått på avstånd eller likhet för träning och klassificering. Nyligen har tekniker utvecklats som anpassar ett parametriserat avståndsmått under träningen av systemet, se t.ex. (Schneider, Biehl och Hammer, 2009) och referenser däri.

LVQ kan vara en källa till stor hjälp vid klassificering av textdokument. ^{[ citat behövs ]}

Algoritm

Nedan följer en informell beskrivning. Algoritmen består av tre grundläggande steg. Algoritmens indata är:

hur många neuroner kommer systemet att ha $M$ (i det enklaste fallet är det lika med antalet klasser)
vilken vikt varje neuron har ${\vec {w_{i}}}$ för $i=0,1,...,M-1$
motsvarande etikett $c_{i}$ till varje neuron ${\vec {w_{i}}}$
hur snabbt neuronerna lär sig $\eta$
och en ingångslista $L$ innehållande alla vektorer för vilka etiketterna redan är kända (träningsuppsättning).

Algoritmens flöde är:

För nästa inmatning ${\vec {x}}$ (med etikett $y$ ) i ${\displaystyle L},$ hitta närmaste neuron ${\vec {w_{m }}}$ , dvs ${\displaystyle d({\vec {x}},{\vec {w_{m}}} )=\min \limits _{i}{d({\vec {x}},{\vec {w_{i}}})}} , där d {\displaystyle \,d} är det$ mått $används$ ( euklidiskt , etc. ).
Uppdatera ${\vec {w_{m}}}$ . En bättre förklaring är att få ${\vec {w_{m}}}$ närmare ingången ${\vec {x}}$ , om ${\vec { x}}$ och ${\vec {w_{m}}}$ tillhör samma etikett och får dem längre isär om de inte gör det. ${\vec {w_{m}}}\får {\vec {w_{m}}}+\eta \cdot \left ({\vec {x}}-{\vec {w_{m}}}\right)$ om $c_{m}=y$ (närmare) eller ${\vec {w_{m}}}\får {\vec {w_{m}}}-\eta \cdot \left({\vec {x} }-{\vec {w_{m}}}\right)$ om $c_{m}\neq y$ (längre ifrån varandra).
Medan det finns vektorer kvar i $L$ gå till steg 1, annars avsluta.

Obs: ${\vec {w_{i}}}$ och ${\vec {x}}$ är vektorer i funktionsrymden.

^ T. Kohonen. Självorganiserande kartor. Springer, Berlin, 1997.
^ T. Kohonen (1995), "Learning vector quantization", i MA Arbib (red.), The Handbook of Brain Theory and Neural Networks , Cambridge, MA: MIT Press, s. 537–540
^ P. Schneider, B. Hammer och M. Biehl (2009). "Adaptiva relevansmatriser vid inlärning av vektorkvantisering". Neural beräkning . 21 (10): 3532–3561. CiteSeerX 10.1.1.216.1183 . doi : 10.1162/neco.2009.10-08-892 . PMID 19635012 . S2CID 17306078 . {{ citera journal }} : CS1 underhåll: använder författarens parameter ( länk )

Vidare läsning

Självorganiserande kartor och lärande vektorkvantisering för funktionssekvenser, Somervuo och Kohonen. 2004 (pdf)

externa länkar

lvq_pak officiell release (1996) av Kohonen och hans team

[1] T. Kohonen. Självorganiserande kartor. Springer, Berlin, 1997.

[2] T. Kohonen (1995), "Learning vector quantization", i MA Arbib (red.), The Handbook of Brain Theory and Neural Networks , Cambridge, MA: MIT Press, s. 537–540

[3] P. Schneider, B. Hammer och M. Biehl (2009). "Adaptiva relevansmatriser vid inlärning av vektorkvantisering". Neural beräkning . 21 (10): 3532–3561. CiteSeerX 10.1.1.216.1183 . doi : 10.1162/neco.2009.10-08-892 . PMID 19635012 . S2CID 17306078 . {{ citera journal }} : CS1 underhåll: använder författarens parameter ( länk )