Uppriktning av grenrör

Manifold alignment är en klass av maskininlärningsalgoritmer som producerar projektioner mellan uppsättningar av data, givet att de ursprungliga datamängderna ligger på ett gemensamt grenrör . Konceptet introducerades först som sådant av Ham, Lee och Saul 2003, vilket lade till en mångfaldig begränsning till det allmänna problemet med att korrelera uppsättningar av högdimensionella vektorer.

Översikt

Manifold-inriktning förutsätter att olika datamängder producerade av liknande genereringsprocesser kommer att dela en liknande underliggande mångfaldsrepresentation . Genom att lära sig projektioner från varje originalutrymme till det delade mångfalden, återvinns korrespondenser och kunskap från en domän kan överföras till en annan. De flesta mångfaldiga inriktningstekniker beaktar endast två datamängder, men konceptet sträcker sig till godtyckligt många initiala datamängder.

Tänk på fallet med att justera två datamängder, $X$ och $Y$ , med $X_{i}\in \mathbb {R} ^{m}$ och $Y_{i}\in \mathbb {R} ^{n}$ .

Algoritmer för grenrörsinriktning försöker projicera både $X$ och $Y$ i ett nytt d -dimensionellt utrymme så att projektionerna både minimerar avståndet mellan motsvarande punkter och bevarar den lokala grenrörsstrukturen för originaldata. Projektionsfunktionerna betecknas:

$\phi _{X}:\,\mathbb {R} ^{m}\högerpil \mathbb {R} ^{d}$

$\phi _{Y}:\,\mathbb {R} ^{n}\högerpil \mathbb {R} ^{d}$

Låt $W$ representera den binära korrespondensmatrisen mellan punkter i $X$ och $Y$ :

$W_{i,j}={\begin{cases}1&if\,X_{i}\leftrightarrow Y_{ j}\\0&annars\end{fall}}$

Låt $S_{X}$ och $S_{Y}$ representera punktvisa likheter inom datamängder. Detta kodas vanligtvis som värmekärnan för närliggande matris i en k -närmaste granne-graf .

Till sist, introducera en koefficient ${\displaystyle 0\leq \mu \leq 1} ,$ som kan ställas in för att justera vikten av målet 'bevara grenrörsstrukturen' kontra målet 'minimera motsvarande punktavstånd'.

Med dessa definitioner på plats kan förlustfunktionen för grenrörsinriktning skrivas:

$\arg \min _{\phi _{X},\phi _{Y}}\mu \sum _{i,j}\left\Vert \phi _{X}\left(X_{i}\right)-\phi _ {X}\left(X_{j}\right)\right\Vert ^{2}S_{X,i,j}+\mu \sum _{i,j}\left\Vert \phi _{Y} \left(Y_{i}\right)-\phi _{Y}\left(Y_{j}\right)\right\Vert ^{2}S_{Y,i,j}+\left(1-\ mu \right)\sum _{i,j}\Vert \phi _{X}\left(X_{i}\right)-\phi _{Y}\left(Y_{j}\right)\Vert ^ {2}W_{i,j}$

Att lösa detta optimeringsproblem är ekvivalent med att lösa ett generaliserat egenvärdeproblem med hjälp av grafen laplacian för den gemensamma matrisen, G :

$G=\left[{\begin{array}{cc}\mu S_{X}&\left( 1-\mu \right)W\\\left(1-\mu \right)W^{T}&\mu S_{Y}\end{array}}\right]$

Inter-data korrespondenser

Algoritmen som beskrivs ovan kräver fullständig parvis överensstämmelseinformation mellan indatauppsättningar; ett paradigm för övervakat lärande . Men denna information är vanligtvis svår eller omöjlig att få tag på i verkliga tillämpningar. Nyligen arbete har utökat algoritmen för justering av kärnan i grenröret till inställningar för semiövervakade , oövervakade och flera instanser .

En-stegs kontra två-stegs justering

Algoritmen som beskrivits ovan utför en "ettstegs"-inriktning och hittar inbäddningar för båda datamängderna samtidigt. En liknande effekt kan också uppnås med "tvåstegs" justeringar, efter en något modifierad procedur:

Projicera varje indatauppsättning till ett mindre dimensionellt utrymme oberoende, med hjälp av någon av en mängd olika dimensionsreduceringsalgoritmer .
Utför linjär grenrörsjustering på den inbäddade datan, håll den första datamängden fixerad, mappa varje ytterligare datamängd på den förstas grenrör. Detta tillvägagångssätt har fördelen av att dekomponera den erforderliga beräkningen, vilket minskar minneskostnader och tillåter parallella implementeringar.

Projektioner på instansnivå kontra funktionsnivå

Manifoldjustering kan användas för att hitta linjära (funktionsnivå) projektioner, eller olinjära (instansnivå) inbäddningar. Även om versionen på instansnivå i allmänhet ger mer exakta justeringar, offrar den en stor grad av flexibilitet eftersom den inlärda inbäddningen ofta är svår att parametrisera. Projektioner på funktionsnivå gör att alla nya instanser enkelt kan bäddas in i det mångfaldiga utrymmet, och projektioner kan kombineras för att bilda direkta mappningar mellan de ursprungliga datarepresentationerna. Dessa egenskaper är särskilt viktiga för applikationer för kunskapsöverföring.

Ansökningar

Uppriktning av grenrör är lämplig för problem med flera korpus som ligger på ett delat grenrör, även när varje korpus har olika dimensioner. Många verkliga problem passar denna beskrivning, men traditionella tekniker kan inte dra fördel av alla korpora samtidigt. Manifold anpassning underlättar också överföringsinlärning , där kunskap om en domän används för att kickstarta lärande i korrelerade domäner.

Tillämpningar av grenrörsinriktning inkluderar:

Tvärspråkig informationshämtning / automatisk översättning
- Genom att representera dokument som vektor för ordantal kan manifold alignment återställa mappningen mellan dokument på olika språk.
- Tvärspråkig dokumentkorrespondens är relativt lätt att få tag på, särskilt från flerspråkiga organisationer som Europeiska unionen .
Överför lärande av policy och statliga representationer för förstärkande lärande
Inriktning av protein-NMR- strukturer
Accelerera modellinlärning inom robotik genom att dela data som genereras av andra robotar

Se även

Flerfaldig hypotes

Vidare läsning

Xiong, L.; F. Wang; C. Zhang (2007). "Halvdefinitiv grenrörsinriktning". Proceedings of the 18th European Conference on Machine Learning . CiteSeerX 10.1.1.91.7346 .
Wang, Chang; Sridhar Mahadevan (2009). "A General Framework for Manifold Alignment" (PDF) . AAAI höstsymposium om mångfaldigt lärande och dess tillämpningar .
Wang, Chang; Sridhar Mahadevan (2010). "Multiscale Manifold Alignment" (PDF) . Univ. Från Massachusetts TR UM-CS-2010-049 .
Ma, Yunqian (15 april 2012). Flerfaldigt lärande teori och tillämpningar . Taylor & Francis Group. sid. 376. ISBN 978-1-4398-7109-6 .
Chang Wangs samlingsöversikt