Engångslärande

Engångsinlärning är ett problem med objektkategorisering, som mest finns i datorseende . Medan de flesta maskininlärningsbaserade objektkategoriseringsalgoritmer kräver träning i hundratals eller tusentals exempel, syftar one-shot learning till att klassificera objekt från ett, eller endast ett fåtal, exempel. Termen få-skottslärning används också för dessa problem, särskilt när mer än ett exempel behövs.

Motivering

Förmågan att lära sig objektkategorier från få exempel, och i snabb takt, har visats hos människor. Det uppskattas att ett barn lär sig nästan alla 10 ~ 30 tusen objektkategorier i världen vid sex års ålder. Detta beror inte bara på det mänskliga sinnets beräkningskraft, utan också på dess förmåga att syntetisera och lära sig nya objektkategorier från befintlig information om olika, tidigare inlärda kategorier. Med tanke på två exempel från två objektkategorier: ett, ett okänt objekt sammansatt av välbekanta former, det andra, en okänd, amorf form; det är mycket lättare för människor att känna igen det förra än det senare, vilket tyder på att människor använder sig av tidigare inlärda kategorier när de lär sig nya. Den viktigaste motivationen för att lösa one-shot-inlärning är att system, liksom människor, kan använda kunskap om objektkategorier för att klassificera nya objekt.

Bakgrund

Som med de flesta klassificeringsscheman innefattar engångslärande tre huvudutmaningar:

Representation: Hur ska objekt och kategorier beskrivas?
Lärande: Hur kan sådana beskrivningar skapas?
Igenkänning: Hur kan ett känt objekt filtreras från omslutande röran, oavsett ocklusion, synvinkel och belysning?

One-shot-inlärning skiljer sig från enstaka objektigenkänning och standardkategoriigenkänningsalgoritmer i sin betoning på kunskapsöverföring, som använder sig av tidigare inlärda kategorier.

Modellparametrar: Återanvänder modellparametrar, baserat på likheten mellan gamla och nya kategorier. Kategorier lärs först på många träningsexempel, sedan lär man sig nya kategorier genom att transformera modellparametrar från dessa initiala kategorier eller välja relevanta parametrar för en klassificerare.
Funktionsdelning: Delar delar eller funktioner av objekt över kategorier. En algoritm extraherar "diagnostisk information" i patchar från redan inlärda kategorier genom att maximera patcharnas ömsesidiga information och sedan tillämpar dessa funktioner på inlärningen av en ny kategori. En hundkategori kan till exempel läras in i ett skott från tidigare kunskaper om häst- och kokategorier, eftersom hundföremål kan innehålla liknande särskiljande fläckar.
Kontextuell information: Tilltalar global kunskap om scenen där objektet förekommer. Sådan global information kan användas som frekvensfördelningar i ett villkorligt ramverk för slumpmässiga fält för att känna igen objekt. Alternativt kan sammanhanget överväga kamerahöjd och scengeometri. Algoritmer av denna typ har två fördelar. Först lär de sig objektkategorier som är relativt olika; och för det andra fungerar de bra i ad hoc-situationer där en bild inte har beskurits och justerats för hand.

Teori

Den Bayesianska one-shot inlärningsalgoritmen representerar förgrunden och bakgrunden för bilder som parametriseras av en blandning av konstellationsmodeller. Under inlärningsfasen lärs parametrarna för dessa modeller in med hjälp av en konjugerad densitetsparameter posterior och Variational Bayesian Expectation-Maximization (VBEM). I detta skede informerar de tidigare inlärda objektkategorierna valet av modellparametrar via överföring av kontextuell information. För objektigenkänning på nya bilder används den posteriora erhållna under inlärningsfasen i ett Bayesianskt beslutsramverk för att uppskatta förhållandet mellan p(objekt | test, tåg) och p(bakgrundsklotter | test, tåg) där p är sannolikheten för resultatet.

Bayesiansk ram

Med tanke på uppgiften att hitta ett visst objekt i en frågebild, är det övergripande syftet med den Bayesianska one-shot-inlärningsalgoritmen att jämföra sannolikheten för att objektet är närvarande med sannolikheten att endast bakgrundsclutter är närvarande. Om den förra sannolikheten är högre, rapporterar algoritmen objektets närvaro, annars rapporterar algoritmen sin frånvaro. För att beräkna dessa sannolikheter måste objektklassen modelleras från en uppsättning (1 ~ 5) träningsbilder som innehåller exempel.

För att formalisera dessa idéer, låt $I$ vara frågebilden, som antingen innehåller ett exempel på förgrundskategorin $O_{fg}$ eller bara bakgrundsplätt av en generisk bakgrundskategori $O_{bg}$ . Låt också $I_{t}$ vara uppsättningen träningsbilder som används som förgrundskategori. Beslutet om $I$ innehåller ett objekt från förgrundskategorin eller bara röran från bakgrundskategorin är:

R={\frac {p(O_{fg}|I,I_{t})}{p(O_{bg}|I,I_{t})} }={\frac {p(I|I_{t},O_{fg})p(O_{fg})}{p(I|I_{t},O_{bg})p(O_{bg}) }},

där klassen posteriors $p(O_{fg}|I,I_{t})$ och $p( O_{bg}|I,I_{t})$ har utökats av Bayes' sats , vilket ger ett förhållande mellan sannolikheter och ett förhållande mellan objektkategori priors . Vi bestämmer att bilden $I$ innehåller ett objekt från förgrundsklassen om $R$ överskrider en viss tröskel $T$ . Vi introducerar sedan parametriska modeller för förgrunds- och bakgrundskategorierna med parametrarna $\theta$ respektive $\theta _{bg}$ . Denna parametriska förgrundsmodell lärs in under inlärningsstadiet från ${\displaystyle I_{t}} ,$ såväl som tidigare information om inlärda kategorier. Bakgrundsmodellen antar vi vara enhetlig över bilder. Utelämnar det konstanta förhållandet av kategori priors, ${\frac {p(O_{fg})}{p(O_{bg})}}$ och parametrisering över $\theta$ och $\theta _{bg}$ ger

{\displaystyle R\propto {\frac {\int {p(I|\theta ,O_{fg})p(\theta |I_{t},O_{fg})}d\theta }{\ int {p(I|\theta _{bg},O_{bg})p(\theta _{bg}|I_{t},O_{bg})}d\theta _{bg}}}={\ frac {\int {p(I|\theta )p(\theta |I_{t},O_{fg})}d\theta }{\int {p(I|\theta _{bg})p(\ theta _{bg}|I_{t},O_{bg})}d\theta _{bg}}}} , efter att ha förenklat

p

\displaystyle p(I|\theta , O_{fg})}

och

p(I|\theta ,O_{bg})

till

{\displaystyle p(I|\ theta _{fg})

p(I|\theta _{bg}).

och

Den bakre fördelningen av modellparametrar givet träningsbilderna, $p(\theta |I_{t},O_{fg})$ uppskattas i inlärningsfasen. I denna uppskattning skiljer sig engångsinlärning kraftigt från mer traditionella Bayesianska skattningsmodeller som approximerar integralen som $\delta (\theta ^{ML})$ . Istället använder den ett varierande tillvägagångssätt med hjälp av tidigare information från tidigare inlärda kategorier. Den traditionella maximala sannolikhetsuppskattningen av modellparametrarna används dock för bakgrundsmodellen och de kategorier som lärts i förväg genom utbildning.

Objektkategorimodell

För varje frågebild $I$ och träningsbilder $I_{t}$ används en konstellationsmodell för representation. För att erhålla denna modell för en given bild $I$ detekteras först en uppsättning N intressanta regioner i bilden med hjälp av Kadir brady saliency-detektorn . Varje vald region representeras av en plats i bilden, $X_{i}$ och en beskrivning av dess utseende, $A_{i}$ . Låter $X=\summa _{i=1}^{N}X_{i},A=\summa _{i= 1}^{N}A_{i}$ och $X_{t}$ och $A_{t}$ de analoga representationerna för träningsbilder, uttrycket för R blir:

R\propto {\frac {\int {p(X,A|\theta ,O_{fg}) p(\theta |X_{t},A_{t},O_{fg})}d\theta }{\int {p(X,A|\theta _{bg},O_{bg})p(\ theta _{bg}|X_{t},A_{t},O_{bg})}d\theta _{bg}}}={\frac {\int {p(X,A|\theta )p( \theta |X_{t},A_{t},O_{fg})}d\theta }{\int {p(X,A|\theta _{bg})p(\theta _{bg}|X_ {t},A_{t},O_{bg})}\,d\theta _{bg}}}

Sannolikheterna $p(X,A|\theta )$ och $p(X,A|\theta _{bg})$ representeras som blandningar av konstellationsmodeller. En typisk konstellationsmodell har P(3 ~ 7) delar, med N(~100) intresseområden. Således tilldelar en P-dimensionell vektor h en region av intresse (av N regioner) till varje modelldel (för P-delar). Således betecknar h en hypotes (en tilldelning av intresseregioner till modelleringsdelar) för modellen och en full konstellationsmodell representeras genom att summera alla möjliga hypoteser h i hypotesutrymmet $H$ . Äntligen är sannolikheten skriven

p(X,A|\theta )=\summa _{\omega =1}^{\Omega }\summa _{{\textbf {h}}\in H}p(X,A,{\ textbf {h}},\omega |\theta ).

De olika $\omega$ representerar olika konfigurationer av delar, medan de olika hypoteserna h representerar olika tilldelningar av regioner till delar, givet en delmodell $\omega$ . Antagandet att modellens form (som representeras av $X$ , samlingen av delplatser) och utseende är oberoende gör att man kan överväga sannolikhetsuttrycket ${\ displaystyle p(X,A,{\textbf {h}},\omega |\theta )}$ som två separata sannolikheter för utseende och form.

Utseende

Utseendet för varje funktion representeras av en punkt i utseendeutrymmet (diskuteras nedan i implementering). "Varje del $p$ i konstellationsmodellen har en Gaussisk densitet inom detta utrymme med medelvärde och precisionsparametrar ${\displaystyle \theta _{p ,\omega }^{A}={\mu _{p,\omega }^{A},\Gamma _{p,\omega }^{A}}} .$ " Utifrån dessa beräknas den ovan beskrivna sannolikheten för utseende som en produkt av Gausser över modelldelarna för en giva hypotes h och blandningskomponent $\omega$ .

Form

Formen på modellen för en given blandningskomponent $\omega$ och hypotesen h representeras som en gemensam Gaussisk täthet av egenskapernas lägen. Dessa särdrag omvandlas till ett skala- och translationsinvariant utrymme innan de modelleras delarnas relativa läge med en 2(P - 1)-dimensionell Gaussian. Från detta får vi formsannolikheten, och kompletterar vår representation av $p(X,A,{\textbf {h}},\omega |\theta )$ . För att minska antalet hypoteser i hypotesutrymmet $H$ beaktas endast de hypoteser som uppfyller ordningsbegränsningen att x-koordinaten för varje del är monotont ökande. Detta eliminerar $P!$ hypoteser från $H$ .

Konjugerade tätheter

För att beräkna $R$ , integralen $\displaystyle \int {p(X,A| \theta )p(\theta |X_{t},A_{t},O_{fg})}d\theta }$ måste utvärderas, men är analytiskt svårhanterlig. Objektkategorimodellen ovan ger information om ${\displaystyle p(X,A|\theta )} ,$ så det som återstår är att undersöka ${\ displaystyle p(\theta |X_{t},A_{t},O)} ,$ den bakre delen av $\theta$ , och hitta en tillräcklig approximation för att göra integralen traktbar. Tidigare arbete approximerar den bakre med en $\delta$ -funktion centrerad vid $) {\displaystyle p( X,A|\theta ^{*})}$ $\displaystyle \theta ^{*}}$ , och kollapsar integralen i fråga till . Denna $\theta ^{*}$ uppskattas normalt med en maximal sannolikhet ( ${\displaystyle \theta ^{*}=\theta ^{ML}} )$ eller Maximum A Posteriori ( $\theta ^{*}=\theta ^{MAP}$ ) procedur. Men eftersom få träningsexempel används i engångsinlärning, kommer fördelningen inte att vara vältoppad, vilket antas i en $\delta$ funktionsapproximation. Så istället för denna traditionella approximation, försöker $p(\theta |X_{t},A_{t},O_{fg})$ Bayesianska one-shot inlärningsalgoritmen att "hitta en parametrisk form av $p(\theta )$ så att inlärningen av är genomförbart". Algoritmen använder en Normal - Wishart-fördelning som konjugat före p $\displaystyle p(\theta |X_{t},A_{t},O_{fg}$ , och i inlärningsfasen används variationsmässiga Bayesianska metoder med samma beräkningskomplexitet som maximum likelihood-metoder för att lära sig fördelningens hyperparametrar . Sedan, eftersom $p(X,A|\theta )$ är en produkt av Gausser, som valts i objektkategorimodellen, reduceras integralen till en multivariat Students T-fördelning , vilket kan utvärderas.

Genomförande

Funktionsdetektering och representation

För att upptäcka särdrag i en bild så att den kan representeras av en konstellationsmodell, används Kadir Brady-funktionsdetektorn på bilder i gråskala och hittar framträdande områden i bilden. Dessa regioner klustras sedan, vilket ger ett antal funktioner (klustren) och formparametern ${\displaystyle X} ,$ sammansatt av klustrets centra. Kadir Brady-detektorn valdes eftersom den producerar färre, mer framträdande regioner, i motsats till funktionsdetektorer som multiscale Harris, som producerar många mindre betydande regioner.

Regionerna tas sedan från bilden och skalas om till en liten lapp på 11 x 11 pixlar, vilket gör att varje lapp kan representeras i 121-dimensionellt rymd. Denna dimensionalitet reduceras med hjälp av principal komponentanalys och ${\displaystyle A},$ utseendeparametern, bildas sedan av de första 10 huvudkomponenterna i varje patch.

Inlärning

För att erhålla form- och utseendepreferenser lär man sig tre kategorier (fläckiga katter, ansikten och flygplan) med hjälp av maximal sannolikhetsuppskattning. Dessa objektkategorimodellparametrar används sedan för att uppskatta hyperparametrarna för de önskade priorerna.

Med en uppsättning träningsexempel kör algoritmen funktionsdetektorn på dessa bilder och bestämmer modellparametrar från de framträdande regionerna. Hypotesindexet h som tilldelar egenskaper till delar förhindrar en sluten lösning av den linjära modellen, så den bakre $p(\theta |X_{t},A_ {t},O_{fg})$ uppskattas genom variationsmässig Bayesiansk förväntningsmaximering, som körs tills parameterkonvergens efter ~ 100 iterationer. Att lära sig en kategori på det här sättet tar under en minut på en 2,8 GHz-maskin med en 4-delad modell och < 10 träningsbilder.

Experimentella resultat

Exempel på motorcykel

För att lära dig motorcykelkategorin:

Sex träningsbilder väljs från motorcykelkategorin i Caltech 4 Data Set och Kadir Brady-detektorn appliceras, vilket ger $X_{t}$ och genom PCA , $A_{t}$ .
Därefter beräknas parametrarna för föregående modell från 30 modeller ${\displaystyle \theta _{t}} ,$ 10 från var och en av de tre inlärda kategorierna: fläckiga katter, ansikten och flygplan. Denna beskrivning kodar för kunskapen att "modeller som saknar visuell konsistens [dvs bakgrundskonsistens] upptar en annan del av parameterutrymmet [från] koherenta modeller."
Vid inlärning, som utförs härnäst, biasar priorn den bakre $p(\theta |X_{t},A_{t},O_{fg})$ mot delar av parameterutrymmet som motsvarar koherenta modeller. Endast en blandningskomponent används, låter $\Omega =1$ . Uppskattningen av den bakre delen visas nedan.
Slutligen visar figurerna nedan den lärda motorcykelmodellen med form och utseende på delar, och motsvarande funktioner.
För igenkänningstest tillämpas modellen ovan på 50 bilder som innehåller motorcyklar och 50 som inte gör det. Bilden nedan visar en ROC-kurva, som mäter sannolikheten för upptäckt över sannolikheten för falsk detektering, samt några kända exempel.

Delade densiteter på transformationer

En annan algoritm använder kunskapsöverföring genom modellparametrar för att lära sig en ny objektkategori som till utseendet liknar tidigare inlärda kategorier. En bild representeras som antingen en textur och form, eller som en latent bild som har transformerats, betecknad med $I=T(I_{L})$ .

Ett siamesiskt neuralt nätverk arbetar i tandem på två olika ingångsvektorer för att beräkna jämförbara utdatavektorer.

Stelnar

I detta sammanhang är stelning "den samtidiga vektoriseringen av var och en av en uppsättning bilder till varandra". För en uppsättning träningsbilder av en viss kategori omvandlar stelning iterativt varje bild för att minimera bildernas gemensamma pixelvisa entropier E, där

E=\sum _{p=1}^{P}H(\nu (p)),

"där $\nu (p)$ är den binära slumpmässiga variabeln definierad av värdena för en viss pixel p över alla bilder, $H()$ är den diskreta entropifunktionen av den variabeln, och $1\leq p\leq P$ är uppsättningen av pixelindex för bilden."

Den stelnade algoritmen börjar med en uppsättning bilder $I_{i}$ och en motsvarande transformationsmatris ${\displaystyle U_{i}} ,$ som i slutet av algoritmen kommer att representera transformationen av $I_{i}$ till sin latenta $I_{L_{i}}$ . Dessa latenta $I_{L_{i}}$ minimerar de gemensamma pixelvisa entropierna. Sålunda är uppgiften för stelningsalgoritmen att uppskatta transformationerna $U_{i}$ .

Skiss av algoritm:

Initiera $U_{I}$ till identiteten.
Beräkna de gemensamma pixelvisa entropierna för den aktuella uppsättningen bilder.
För varje bild $I_{i}$ , iterera genom alla möjliga affina transformationer $A$ (rotation, x-translation, y-translation, x-scale, y-scale, x-shear, y -skjuvning) och testa om $AU_{i}$ minskar de gemensamma pixelvisa entropierna. Om så är fallet, ställ in $U_{i}=AU_{i}$ .
Upprepa föregående steg tills konvergens.

I slutet av algoritmen, $U_{i}(I)=I_{L_{i}}$ och $T=U_{ i}^{-1}$ omvandlar den latenta bilden tillbaka till den ursprungligen observerade bilden.

Klassificering

För att använda denna modell för klassificering måste den uppskattas med maximal posterior sannolikhet givet en observerad bild $I$ . Att tillämpa Bayes regel på $P(c_{j}|I)$ och parametrisering genom transformationen $T$ ger en svår integral som måste approximeras, och sedan den bästa transformationen $T$ (det som mappar testbilden till dess latenta bild) måste hittas. När denna transformation väl har hittats kan testbilden omvandlas till sin latenta, och en närmaste grannklassificerare baserad på Hausdorffs avstånd mellan bilder kan klassificera latenten (och därmed testbilden) som tillhörande en viss klass $c_ {j}$ .

För att hitta $T$ infogas testbilden I i träningsensemblen för stelningsprocessen. Eftersom testbilden är hämtad från en av kategorierna $c_{j}$ ger stelning ett motsvarande $T_{\text{test}}=U_{\text{ test}}^{-1}$ som mappar I till dess latenta. Det latenta kan sedan klassificeras.

Klassificering med ett exempel

Givet en uppsättning transformationer $B_{i}$ som erhållits från stelning av många bilder av en viss kategori, kan klassificeraren utökas till fallet där endast en träning I t {\ ${t}}$ exempel på en ny kategori $c$ är tillåten. Genom att tillämpa alla transformationer $B_{i}$ sekventiellt på $I_{t}$ skapas en artificiell träningsuppsättning för $c$ . Denna artificiella datamängd kan göras större genom att låna transformationer från många redan kända kategorier. När denna datamängd väl har erhållits $I$ , en testinstans av $c$ , klassificeras som i den normala klassificeringsproceduren. Det viktigaste antagandet är att kategorier är tillräckligt lika för att transformationerna från en kan tillämpas på en annan.

I naturlig språkbehandling

Med introduktionen av praxis att skala upp språkmodeller som OpenAI:s GPT-2 och GPT-3 , har få-shot-prestanda för sådana modeller visat sig uppnå konkurrenskraftiga resultat på naturliga språkbearbetningsuppgifter (NLP), ibland överträffande tidigare tillstånd -moderna finjusteringsmetoder . Exempel på sådana NLP-uppgifter är översättning , frågesvar , cloze -uppgifter, avkodning av ord och att använda ett nytt ord i en mening. I dessa fall har one-shot och few-shot inlärning demonstrerats enbart via textinteraktion med modellen. Detta görs genom att föreställa exempel direkt till prompten som matas in i modellen för slutledning . Skapandet och optimeringen av sådana uppmaningar kallas prompt engineering och är nu ett aktivt studieområde.

Se även

Citat

Li, Fei Fei (2006). "Kunskapsöverföring för att lära sig känna igen visuella objektklasser" ( PDF) . Internationell konferens om utveckling och lärande (ICDL) .
Li, Fei Fei; Fergus, R.; Perona, P. (2006). "One-Shot-inlärning av objektkategorier" (PDF) . IEEE-transaktioner på mönsteranalys och maskinintelligens . 28 (4): 594–611. doi : 10.1109/TPAMI.2006.79 . PMID 16566508 . S2CID 6953475 .
Mjölnare; Matsakis; Viola (2000). "Lära av ett exempel genom delade tätheter på transformationer" ( PDF) . Proc. Datorseende och mönsterigenkänning .
Li, FF; VanRullen, R.; Coch, C.; Perona, P. (2002). "Snabb kategorisering av naturliga scen i nästan frånvaro av uppmärksamhet" . PNAS . 99 (14): 9596–9601. Bibcode : 2002PNAS...99.9596L . doi : 10.1073/pnas.092277599 . PMC 123186 . PMID 12077298 .
Thorpe, S.; Fize, D.; Marlot, C. (1996). "Bearbetningshastighet i det mänskliga visuella systemet" (PDF) . Naturen . 381 (6582): 520–522, 1996. Bibcode : 1996Natur.381..520T . doi : 10.1038/381520a0 . PMID 8632824 . S2CID 4303570 .
Biederman, I. (1987). "Erkännande av komponenter: en teori om mänsklig förståelse" (PDF) . Psykologisk granskning . 94 (2): 115–147. doi : 10.1037/0033-295X.94.2.115 . PMID 3575582 .
Fink, M. (2004). "Objektklassificering från ett enda exempel som använder klassrelevans-pseudometrik". NIPS . CiteSeerX 10.1.1.91.7461 .
Bart; Ullman (2005). "Cross-generalization: lära sig nya klasser från ett enda exempel genom att byta funktioner" ( PDF) . CVPR .
Murphy, K.; Torralba, A.; Freeman, WT (2004). "Att använda skogen för att se träden: en grafisk modell som relaterar till funktioner, objekt och scener" ( PDF) . NIPS .
Hoiem, D.; Efros, AA; Herbert, M. (2005). "Geometrisk kontext från en enda bild" (PDF) . ICCV .
Attias, H. (1999). "Att sluta parametrar och struktur för latenta variabla modeller av Variational Bayes". Proc. Af den 15:de konf. I osäkerhet i artificiell intelligens : 21–30. arXiv : 1301.6676 .
Burl, M.; Weber, M.; Perona, P. (1996). "Ett probabilistiskt tillvägagångssätt för objektigenkänning med hjälp av lokal fotometri och global geometri" ( PDF) . Proc. Europeiska konf. Datorseende . Föreläsningsanteckningar i datavetenskap. 1407 : 628–641. doi : 10.1007/BFb0054769 . ISBN 978-3-540-64613-6 .
Fergus, R.; Perona, P.; Zisserman, A. (2003). "Objektklassigenkänning genom oövervakad skalinvariant inlärning" (PDF) . Proc. Datorseende och mönsterigenkänning : 264–271.
Weber, M.; Welling, M.; Perona, P. (2000). "Oövervakad inlärning av modeller för erkännande" ( PDF) . Proc. Europeiska konf. Datorseende . Föreläsningsanteckningar i datavetenskap. 1842 : 101–108. doi : 10.1007/3-540-45054-8_2 . ISBN 978-3-540-67685-0 .
Kadir, T.; Brady, M. (2001). "Skala, framträdande och bildbeskrivning" . International Journal of Computer Vision . 45 (2): 83–105. doi : 10.1023/A:1012460413855 . S2CID 825395 .