Likhetsinlärning

Likhetsinlärning är ett område för övervakad maskininlärning inom artificiell intelligens . Det är nära relaterat till regression och klassificering , men målet är att lära sig en likhetsfunktion som mäter hur lika eller relaterade två objekt är. Den har applikationer i rankning , i rekommendationssystem , visuell identitetsspårning, ansiktsverifiering och högtalarverifiering.

Inlärningsupplägg

Det finns fyra vanliga inställningar för likhet och metriskt distansundervisning.

Regressionslikhetsinlärning tillsammans: I denna uppsättning ges objektpar $(x_{i}^{1},x_{i}^{2})$ med ett mått på deras likhet $y_{i}\in R$ . Målet är att lära sig en funktion som approximerar $f(x_{i}^{1},x_{i}^{2})\sim y_{i }$ för varje nytt märkt triplettexempel $(x_{i}^{1},x_{i}^{2},y_{i})$ . Detta uppnås vanligtvis genom att minimera en reglerad förlust $\min _{W}\sum _ {i}förlust(w;x_{i}^{1},x_{i}^{2},y_{i})+reg(w)$ .
Klassificering likhetsinlärning: Givet är par av liknande objekt $(x_{i},x_{i}^{+})$ och icke liknande objekt ${\ visningsstil (x_{i},x_{i}^{-})}$ . En ekvivalent formulering är att varje par $(x_{i}^{1},x_{i}^{2})$ ges tillsammans med en binär etikett $y_{i}\in \{0,1\}$ som avgör om de två objekten är lika eller inte. Målet är återigen att lära sig en klassificerare som kan avgöra om ett nytt par objekt är lika eller inte.
Ranking likhetsinlärning: Givet är tripletter av objekt $(x_{i},x_{i}^{+},x_{i}^{-})$ vars relativa likhet följer en fördefinierad ordning: $x_{i}$ är känt för att vara mer lik $x_{i}^{+}$ än $x_{i} ^{-}$ . Målet är att lära sig en funktion $f$ så att för varje ny triplett av objekt $(x,x^{+},x^{-})$ , den lyder $f(x,x^{+})>f(x,x^{-})$ ( kontrastiv inlärning ). Denna uppställning förutsätter en svagare form av övervakning än i regression, eftersom istället för att ge ett exakt mått på likhet , behöver man bara ange den relativa likhetsordningen. Av denna anledning är rankningsbaserad likhetsinlärning lättare att tillämpa i verkliga storskaliga applikationer.
Locality sensitive hashing (LSH): Hashes indataobjekt så att liknande objekt mappas till samma "buckets" i minnet med hög sannolikhet (antalet hinkar är mycket mindre än universum av möjliga indataobjekt). Det används ofta i närmaste grannsökning på storskalig högdimensionell data, t.ex. bilddatabaser, dokumentsamlingar, tidsseriedatabaser och genomdatabaser.

Ett vanligt tillvägagångssätt för inlärningslikhet är att modellera likhetsfunktionen som en bilinjär form . Till exempel, vid rangordning av likhetsinlärning, strävar man efter att lära sig en matris W som parametriserar likhetsfunktionen $f_{W}(x,z)=x^ {T}Wz$ . När data finns i överflöd är ett vanligt tillvägagångssätt att lära sig ett siamesiskt nätverk - En djup nätverksmodell med parameterdelning.

Metrisk inlärning

Likhetsinlärning är nära relaterat till distansinlärning . Metrisk inlärning är uppgiften att lära sig en distansfunktion över objekt. En metrisk funktion eller avståndsfunktion måste lyda fyra axiom: icke-negativitet , identitet av oskiljaktiga , symmetri och subadditivitet (eller triangelolikheten). I praktiken ignorerar metriska inlärningsalgoritmer villkoret för identitet för oskiljbara och lär sig en pseudometrik.

När objekten $x_{i}$ är vektorer i $R^{d}$ , då valfri matris $W$ i den symmetriska positiva halvdefinita konen ${\ displaystyle S_{+}^{d}}$ definierar en pseudometrisk avstånd för rummet av x genom formen $D_{W}(x_{1},x_{2})^{2}=(x_{1}-x_{2})^{\top }W(x_{1}-x_{2 })$ . När $W$ är en symmetrisk positiv definitiv matris, är $D_{W}$ ett mått. Dessutom, eftersom varje symmetrisk positiv semidefinitiv matris $W\in S_{+}^{d}$ kan dekomponeras som $W=L^{\top } L$ där $L\in R^{e\times d}$ och $e\geq rank(W)$ , avståndsfunktionen $D_{W}$ kan skrivas om på motsvarande sätt $D_{W}(x_{1},x_{2})^{2}=(x_{1}-x_{2})^{\top }L^{\top } L(x_{1}-x_{2})=\|L(x_{1}-x_{2})\|_{2}^{2}$ . Avståndet $D_{W}(x_{1},x_{2})^{2}=\|x_ {1}'-x_{2}'\|_{2}^{2}$ motsvarar det euklidiska avståndet mellan de transformerade egenskapsvektorerna $x_{1}'=Lx_{1 }$ och $x_{2}'=Lx_{2}$ .

Många formuleringar för metriskt lärande har föreslagits. Några välkända tillvägagångssätt för metrisk inlärning inkluderar Lärande från relativa jämförelser som är baserad på triplettförlusten, Stor marginal närmaste granne , Informationsteoretisk metrisk inlärning (ITML).

I statistiken används kovariansmatrisen för data ibland för att definiera ett avståndsmått som kallas Mahalanobis- avstånd .

Ansökningar

Likhetsinlärning används i informationssökning för att lära sig rangordna , i ansiktsverifiering eller ansiktsidentifiering och i rekommendationssystem . Många tillvägagångssätt för maskininlärning förlitar sig också på vissa mätvärden. Detta inkluderar oövervakat lärande som klustring , som grupperar nära eller liknande objekt. Det inkluderar också övervakade tillvägagångssätt som K-närmaste granne-algoritm som förlitar sig på etiketter för närliggande objekt för att bestämma etiketten för ett nytt objekt. Metriskt lärande har föreslagits som ett förbearbetningssteg för många av dessa tillvägagångssätt.

Skalbarhet

Metrisk och likhetsinlärning skalas naivt kvadratiskt med dimensionen av inmatningsutrymmet, vilket lätt kan ses när det inlärda måttet har en bilinjär form $f_{W}(x,z )=x^{T}Wz$ . Skalning till högre dimensioner kan uppnås genom att upprätthålla en gleshetsstruktur över matrismodellen, som gjort med HDSL och med COMET.

programvara

metric-learn är ett gratis Python- bibliotek som erbjuder effektiva implementeringar av flera övervakade och svagt övervakade likhets- och metriska inlärningsalgoritmer. API:et för metric-learn är kompatibelt med scikit-learn .

OpenMetricLearning är ett Python- ramverk för att träna och validera modellerna som producerar högkvalitativa inbäddningar.

Se även

Vidare läsning

För ytterligare information om detta ämne, se undersökningarna om metriskt och likhetsinlärning av Bellet et al. och Kulis.