FastICA

FastICA är en effektiv och populär algoritm för oberoende komponentanalys uppfunnen av Aapo Hyvärinen vid Helsingfors tekniska högskola . Liksom de flesta ICA-algoritmer söker FastICA en ortogonal rotation av förvitade data, genom ett fastpunkts- iterationsschema , som maximerar ett mått på icke-Gaussianitet hos de roterade komponenterna. Icke-gaussianitet fungerar som en proxy för statistiskt oberoende , vilket är ett mycket starkt tillstånd och kräver oändliga data för att verifiera. FastICA kan också alternativt härledas som en approximativ Newton-iteration.

Algoritm

Förvitning av data

Låt $\mathbf {X} :=(x_{ij})\i \mathbb {R} ^{N\ gånger M}$ beteckna indata matris, $M$ antalet kolumner som motsvarar antalet sampel av blandade signaler och $N$ antalet rader som motsvarar antalet oberoende källsignaler. Indatamatrisen $\mathbf {X}$ måste vara förvitad , eller centrerad och blekad, innan FastICA-algoritmen tillämpas på den.

Att centrera data innebär att förnedra varje komponent av indata ${\displaystyle \mathbf {X} } ,$ dvs.

x_{ij}\leftarrow x_{ij}-{\frac {1}{M}}\sum _{j^{\prime }}x_{ij^{\prime }}

för varje

i=1,\ldots ,N

och

j=1,\ldots ,M

. Efter centrering har varje rad av

{\displaystyle \mathbf {X} } ett

förväntat värde på

0

.

Att vita data kräver en linjär transformation $\mathbf {L} :\mathbb {R} ^{N\ gånger M}\till \mathbb {R} ^{N\ gånger M}$ av den centrerade datan så att komponenterna i $\mathbf {L} (\mathbf {X} )$ är okorrelerade och har varians ett. Mer exakt, om $\mathbf {X}$ är en centrerad datamatris, kovariansen av $\mathbf {L} _{\mathbf {x} }:=\ mathbf {L} (\mathbf {X} )$ är den $(N\ gånger N)$ -dimensionell identitetsmatris, det vill säga,

\mathrm {E} \left\{\mathbf {L} _{\mathbf {x} }\mathbf {L} _{\mathbf {x} }^ {T}\right\}=\mathbf {I} _{N}

En vanlig metod för blekning är genom att utföra en egenvärdesuppdelning på kovariansmatrisen för de centrerade data

{\displaystyle \mathbf {X} } ,

E

\displaystyle E\left\{\ mathbf {X} \mathbf {X} ^{T}\right\}=\mathbf {E} \mathbf {D} \mathbf {E} ^{T}} , där E {\displaystyle \mathbf {

E

}

är matrisen av egenvektorer och

\mathbf {D}

är den diagonala matrisen av egenvärden. Den vitade datamatrisen definieras sålunda av

\mathbf {X} \leftarrow \mathbf {D} ^{-1/2}\mathbf {E} ^{T}\mathbf {X} .

Enkomponentsextraktion

Den iterativa algoritmen hittar riktningen för viktvektorn $\mathbf {w} \in \mathbb {R} ^{N}$ som maximerar ett mått på icke-Gaussianitet för projektionen ${\ displaystyle \mathbf {w} ^{T}\mathbf {X} }$ , där $\mathbf {X} \in \mathbb {R} ^{N\times M}$ betecknar en förvitad datamatris enligt beskrivningen ovan. Observera att $\mathbf {w}$ är en kolumnvektor. För att mäta icke-Gaussianitet förlitar sig FastICA på en icke-kvadratisk olinjär funktion $f(u)$ , dess första derivata $g(u)$ , och dess andra derivata $g^{\prime }(u)$ . Hyvärinen uppger att funktionerna

f(u)=\log \cosh(u),\quad g(u)=\tanh(u),\quad {\text{and}}\quad {g}'(u)=1-\tanh ^{2}(u),

är användbara för allmänna ändamål, medan

f( u)=-e^{-u^{2}/2},\quad g(u)=ue^{-u^{2}/2},\quad {\text{and}}\quad {g }'(u)=(1-u^{2})e^{-u^{2}/2}

kan vara mycket robust. Stegen för att extrahera viktvektorn $\mathbf {w}$ för en enkel komponent i FastICA är följande:

Randomisera den initiala viktvektorn $\mathbf {w}$
Låt $\mathbf {w} ^{+}\leftarrow E\left\{\mathbf {X } g(\mathbf {w} ^{T}\mathbf {X} )^{T}\right\}-E\left\{g'(\mathbf {w} ^{T}\mathbf {X}) \right\}\mathbf {w}$ , där $E\left\{...\right\}$ betyder medelvärde över alla kolumnvektorer av matris $\mathbf {X}$
Låt $\mathbf {w} \leftarrow \mathbf {w} ^{+}/\|\mathbf {w} ^{+}\|$
Om inte konvergerat, gå tillbaka till 2

Extraktion av flera komponenter

Den iterativa enenhetsalgoritmen uppskattar endast en viktvektor som extraherar en enda komponent. Att uppskatta ytterligare komponenter som är ömsesidigt "oberoende" kräver att algoritmen upprepas för att erhålla linjärt oberoende projektionsvektorer - notera att begreppet oberoende här syftar på att maximera icke-Gaussianitet i de uppskattade komponenterna. Hyvärinen tillhandahåller flera sätt att extrahera flera komponenter med det enklaste är följande. Här $\mathbf {1_{M}}$ en kolumnvektor med 1:or av dimensionen $M$ .

Algoritm FastICA

Ingång:

C

Antal önskade komponenter

Indata:

\mathbf {X} \in \mathbb {R} ^{N\times M}

Förvitad matris, där varje kolumn representerar ett

N

-dimensionellt prov, där

C<=N

Utdata:

\mathbf {W} \in \mathbb {R} ^{N \times C}

Avblandningsmatris där varje kolumn projicerar

\mathbf {X}

på en oberoende komponent.

Utdata:

\mathbf {S} \in \mathbb {R} ^{C\times M}

Oberoende komponentmatris, med

M

kolumner som representerar ett sampel med

{\ displaystyle C}

dimensioner.

 
     
        
        

  

   för  p  i  1 till C:  $\mathbf {w_{p}} \leftarrow$  Slumpmässig vektor med längden N  medan  $\mathbf {w_{p}}$  ändras  $\mathbf {w_{p}} \leftarrow {\frac {1}{M}}\mathbf { X} g(\mathbf {w_{p}} ^{T}\mathbf {X} )^{T}-{\frac {1}{M}}g'(\mathbf {w_{p}} ^{ T}\mathbf {X} )\mathbf {1_{M}} \mathbf {w_{p}}$  $\mathbf {w_{p}} \leftarrow \mathbf {w_{p}} -\sum _{j=1}^{p-1}(\mathbf {w_{p}} ^{T}\mathbf {w_ {j}} )\mathbf {w_{j}}$  $\mathbf {w_{p}} \leftarrow {\frac {\mathbf {w_{p}} }{ \|\mathbf {w_{p}} \|}}$  utgång  $\mathbf {W} \leftarrow {\begin{bmatrix}\mathbf {w_{1} } ,\dots ,\mathbf {w_{C}} \end{bmatrix}}$  utdata  $\mathbf {S} \leftarrow \mathbf {W^{T}} \mathbf {X}$

Se även

Oövervakat lärande
Maskininlärning
IT ++ -biblioteket har en FastICA-implementering i C++
Infomax

externa länkar