Multimodalt lärande

Multimodalt lärande försöker modellera kombinationen av olika datamodaliteter , som ofta uppstår i verkliga tillämpningar. Ett exempel på multimodal data är data som kombinerar text (vanligtvis representerad som diskreta ordräkningsvektorer) med bilddata som består av pixelintensiteter och annoteringstaggar. Eftersom dessa modaliteter har fundamentalt olika statistiska egenskaper, är det icke-trivialt att kombinera dem, varför specialiserade modelleringsstrategier och algoritmer krävs.

Motivering

Många modeller och algoritmer har implementerats för att hämta och klassificera en viss typ av data, t.ex. bild eller text (där människor som interagerar med maskiner kan extrahera bilder i form av bilder och text som kan vara vilket meddelande som helst etc.). Men data kommer vanligtvis med olika modaliteter (det är i vilken grad ett systems komponenter kan separeras eller kombineras) som bär olika information. Det är till exempel väldigt vanligt att texta en bild för att förmedla informationen som inte presenteras i själva bilden. På samma sätt är det ibland enklare att använda en bild för att beskriva information som kanske inte är uppenbar från texter. Som ett resultat, om olika ord förekommer i liknande bilder, så beskriver dessa ord sannolikt samma sak. Omvänt, om ett ord används för att beskriva till synes olika bilder, kan dessa bilder representera samma objekt. I de fall som handlar om multimodala data är det alltså viktigt att använda en modell som tillsammans kan representera informationen så att modellen kan fånga korrelationsstrukturen mellan olika modaliteter. Dessutom bör den också kunna återställa saknade modaliteter givet observerade sådana (t.ex. förutsäga möjliga bildobjekt enligt textbeskrivning). Multimodal Deep Boltzmann Machine-modellen uppfyller ovanstående syften.

Bakgrund: Boltzmann-maskin

En Boltzmann-maskin är en typ av stokastiskt neuralt nätverk som uppfanns av Geoffrey Hinton och Terry Sejnowski 1985. Boltzmann-maskiner kan ses som den stokastiska , generativa motsvarigheten till Hopfield-nät . De är uppkallade efter Boltzmann-fördelningen inom statistisk mekanik. Enheterna i Boltzmann-maskiner är indelade i två grupper: synliga enheter och dolda enheter. Allmänt Boltzmann-maskiner tillåter anslutning mellan alla enheter. Men inlärning är opraktisk med allmänna Boltzmann-maskiner eftersom beräkningstiden är exponentiell till storleken på maskinen [ . En mer effektiv arkitektur kallas begränsad Boltzmann-maskin där anslutning endast tillåts mellan dold enhet och synlig enhet, vilket beskrivs i nästa avsnitt.

Begränsad Boltzmann-maskin

En begränsad Boltzmann-maskin är en oriktad grafisk modell med stokastiska synliga variabler och stokastiska dolda variabler. Varje synlig variabel är kopplad till varje dold variabel. Modellens energifunktion definieras som

$E(\mathbf {v} ,\mathbf {h} ;\theta )=-\summa _{i=1}^{D}\summa _{j=1}^{F}W_{ij}v_{i }h_{j}-\summa _{i=1}^{D}b_{i}v_{i}-\summa _{j=1}^{F}a_{j}h_{j}$

där ${\displaystyle \theta =\{\mathbf {v} ,\mathbf {h} ;\theta \}} är$ modellparametrar: $W_{ij}$ representerar den symmetriska interaktionstermen mellan synlig enhet $i$ och dold enhet $j$ ; $b_{i}$ och $a_{j}$ är biastermer. Systemets gemensamma distribution definieras som

$P(\mathbf {v} ;\theta )={\frac {1}{ {\mathcal {Z}}(\theta )}}\sum _{\mathbf {h} }\mathrm {exp} (-E(\mathbf {v} ,\mathbf {h} ;\theta ))$

där ${\mathcal {Z}}(\theta )$ är en normaliseringskonstant. Den villkorliga fördelningen över dolda $\mathbf {h}$ och $\mathbf {v}$ kan härledas som logistisk funktion i termer av modellparametrar.

$P(\mathbf {h} |\mathbf {v} ;\theta )=\prod _{j=1} ^{F}p(h_{j}|\mathbf {v} )$ , med $p (h_{j}=1|\mathbf {v} )=g(\summa _{i=1}^{D}W_{ij}v_{i}+a_{j})$

$P(\mathbf {v} |\mathbf {h} ;\theta )=\prod _{i=1}^{D}p( v_{i}|\mathbf {h} )$ , med $p(v_{i}= 1|\mathbf {h} )=g(\sum _{j=1}^{F}W_{ij}h_{j}+b_{i})$

där $g(x)={\frac {1}{(1+\mathrm {exp} (-x))}}$ är logistikfunktionen.

Derivatan av log-sannolikheten med avseende på modellparametrarna kan dekomponeras som skillnaden mellan modellens förväntan och databeroende förväntan .

Gaussian-Bernoulli RBM

Gaussian-Bernoulli RBMs är en variant av begränsad Boltzmann-maskin som används för att modellera vektorer med verkligt värde som pixelintensiteter. Det används vanligtvis för att modellera bilddata. Energin i systemet av Gaussian-Bernoulli RBM definieras som

$E(\mathbf {v} ,\mathbf {h} ;\theta )=\summa _{i=1}^{D }{\frac {(v_{i}-b_{i})^{2}}{2\sigma _{i}^{2}}}-\summa _{i=1}^{D}\summa _{j=1}^{F}{\frac {v_{i}}{\sigma _{i}}}W_{ij}v_{i}h_{j}-\sum _{i=1}^ {D}b_{i}v_{i}-\sum _{j=1}^{F}a_{j}h_{j}$

där ${\displaystyle \theta =\{\mathbf {a} ,\mathbf {b} ,\mathbf {w} ,\mathbf {\sigma } \}} är$ modellen parametrar. Den gemensamma distributionen definieras på samma sätt som den i begränsad Boltzmann-maskin . De villkorliga fördelningarna blir nu

$P(\mathbf {h} |\mathbf {v} ;\theta )=\prod _{j=1} ^{F}p(h_{j}|\mathbf {v} )$ , med ${\ displaystyle p(h_{j}=1|\mathbf {v} )=g(\sum _{i=1}^{D}W_{ij}{\frac {v_{i}}{\sigma _{i }}}+a_{j})}$

${\displaystyle P(\mathbf {v} |\mathbf {h} ;\theta )=\prod _{i=1}^{D}p(v_{i}|\mathbf {h})} ,$ med $p(v_{i}|\mathbf {h} )\sim {\mathcal {N}}(\sigma _{i}\sum _{j=1} ^{F}W_{ij}h_{j}+b_{i},\sigma _{i}^{2})$

I Gaussian-Bernoulli RBM modelleras den synliga enheten betingad på dolda enheter som en Gaussisk fördelning.

Replikerad Softmax-modell

Den replikerade Softmax-modellen är också en variant av begränsad Boltzmann-maskin och används ofta för att modellera ordräkningsvektorer i ett dokument. I ett typiskt textutvinningsproblem , låt $K$ vara ordboksstorleken och $M$ vara antalet ord i dokumentet. Låt $\mathbf {V}$ vara en $M\times K$ binär matris med $v_{ik}=1$ endast när ${\ displaystyle i^{th}}$ ordet i dokumentet är $k^{th}$ ordet i ordboken. ${\hat {v}}_{k}$ anger antalet $k^{th}$ ordet i ordboken. Energin för tillståndet $\{\mathbf {V} ,\mathbf {h} \}$ för ett dokument innehåller $M$ ord definieras som

${\ displaystyle E(\mathbf {V} ,\mathbf {h} )=-\summa _{j=1}^{F}\summa _{k=1}^{K}W_{jk}{\hat {v }}_{k}h_{j}-\summa _{k=1}^{K}b_{k}{\hat {v}}_{k}-M\summa _{j=1}^{ F}a_{j}h_{j}}$

De villkorliga fördelningarna ges av

$p(h_{j}=1|\mathbf {V} )=g(Ma_ {j}+\summa _{k=1}^{K}{\hat {v}}_{k}W_{jk})$

$p(v_{ik}=1|\mathbf {h } )={\frac {\mathrm {exp} (b_{k}+\summa _{j=1}^{F}h_{j}W_{jk}}{\sum _{q=1}^{ K}\mathrm {exp} (b_{q}+\sum _{j=1}^{F}h_{j}W_{jq}}})$

Deep Boltzmann-maskiner

En djup Boltzmann-maskin har en sekvens av lager av dolda enheter. Det finns bara kopplingar mellan intilliggande dolda lager, såväl som mellan synliga enheter och dolda enheter i det första dolda lagret. Systemets energifunktion lägger till termer för lagerinteraktion till energifunktionen för allmänt begränsade Boltzmann-maskiner och definieras av ${\begin{aligned}E({\mathbf {v} ,\mathbf {h} ; \theta })=&-\summa _{i=1}^{D}\summa _{j=1}^{F_{1}}W_{ij}^{(1)}v_{i}h_{ j}^{(1)}-\summa _{j=1}^{F_{1}}\summa _{l=1}^{F_{2}}W_{jl}^{(2)}h_ {j}^{(1)}h_{l}^{(2)}\\&-\summa _{l=1}^{F_{2}}\summa _{p=1}^{F_{ 3}}W_{lp}^{(3)}h_{l}^{(2)}h_{p}^{(3)}-\summa _{i=1}^{D}b_{i} v_{i}-\summa _{j=1}^{F_{1}}b_{j}^{(1)}h_{j}^{(1)}-\summa _{l=1}^ {F_{2}}b_{l}^{(2)}h_{l}^{(2)}-\summa _{p=1}^{F_{3}}b_{p}^{(3 )}h_{p}^{(3)}\end{aligned}}$

Den gemensamma fördelningen är

$P(\mathbf {v } ;\theta )={\frac {1}{{\mathcal {Z}}(\theta )}}\summa _{\mathbf {h} }\mathrm {exp} (-E(\mathbf {v} ,\mathbf {h} ^{(1)},\mathbf {h} ^{(2)},\mathbf {h} ^{(3)};\theta ))$

Multimodala djupa Boltzmann-maskiner

Multimodal djup Boltzmann-maskin använder en bild-text bi-modal DBM där bildvägen är modellerad som Gaussian-Bernoulli DBM och textväg som Replicated Softmax DBM, och varje DBM har två dolda lager och ett synligt lager. De två DBM:erna förenas i ett extra, övre dolt lager. Den gemensamma fördelningen över de multimodala ingångarna definierade som ${\begin{aligned}P(\mathbf {v} ^{m},\mathbf {v} ^{t};\theta )&=\summa _{\mathbf {h} ^{(2m)},\ mathbf {h} ^{(2t)},\mathbf {h} ^{(3)}}P(\mathbf {h} ^{(2m)},\mathbf {h} ^{(2t)},\ mathbf {h} ^{(3)})(\sum _{\mathbf {h} ^{(1m)}}P(\mathbf {v} _{m},\mathbf {h} ^{(1m) }|\mathbf {h} ^{(2m)}))(\sum _{\mathbf {h} ^{(1t)}}P(\mathbf {v} ^{t},\mathbf {h} ^ {(1t)}|\mathbf {h} ^{(2t)}))\\&={\frac {1}{{\mathcal {Z}}_{M}(\theta )}}\summa _ {\mathbf {h} }\mathrm {exp} (\sum _{kj}W_{kj}^{(1t)}v_{k}^{t}h_{j}^{(1t)}\\& +\summa _{jl}W_{jl}^{(2t)}h_{j}^{(1t)}h_{l}^{(2t)}+\summa _{k}b_{k}^{ t}v_{k}^{t}+M\sum _{j}b_{j}^{(1t)}h_{j}^{(1t)}+\summa _{l}b_{l}^ {(2t)}h_{l}^{(2t)}\\&-\sum _{i}{\frac {(v_{i}^{m}-b_{i}^{m})^{ 2}}{2\sigma ^{2}}}+\summa _{ij}{\frac {v_{i}^{m}}{\sigma _{i}}}W_{ij}^{(1m )}h_{j}^{(1m)}\\&+\sum _{jl}W_{jl}^{(2m)}h_{j}^{(1m)}h_{l}^{(2m) )}+\summa _{j}b_{j}^{(1m)}h_{j}^{(1m)}+\summa _{l}b_{l}^{(2m)}h_{l} {(2m)}\\&+\summa _{lp}W^{(3t)}h_{l}^{(2t)}h_{p}^{(3)}+\summa _{lp}W ^{(3m)}h_{l}^{(2m)}h_{p}^{(3)}+\summa _{p}b_{p}^{(3)}h_{p}^{( 3)}\end{aligned}}$

De villkorliga fördelningarna över de synliga och dolda enheterna är

$p(h_{j}^{(1m)}=1|\mathbf {v} ^{m},\mathbf { h} ^{(2m)})=g(\sum _{i=1}^{D}W_{ij}^{(1m)}{\frac {v_{i}^{m}}{\sigma _{i}}}+\summa _{l=1}^{F_{2}^{m}}W_{jl}^{(2m)}h_{l}^{(2m)}+b_{j }^{(1m)})$

$p(h_{l}^{(2m)}=1|\ mathbf {h} ^{(1m)},\mathbf {h} ^{(3)})=g(\summa _{j=1}^{F_{1}^{m}}W_{jl}^ {(2m)}h_{j}^{(1m)}+\sum _{p=1}^{F_{3}}W_{lp}^{(3m)}h_{p}^{(3) }+b_{l}^{(2m)})$

$p(h_{j}^{(1t)}= 1|\mathbf {v} ^{t},\mathbf {h} ^{(2t)})=g(\summa _{k=1}^{K}W_{kl}^{(1t)}v_ {k}^{(t)}+\summa _{l=1}^{F_{2}^{t}}W_{jl}^{(2t)}h_{l}^{(2t)}+ Mb_{j}^{(1t)})$

$p(h_{l}^{(2t)}= 1|\mathbf {h} ^{(1t)},\mathbf {h} ^{(3)})=g(\summa _{j=1}^{F_{1}^{t}}W_{ jl}^{(2t)}h_{j}^{(1t)}+\summa _{p=1}^{F_{3}}W_{lp}^{(3t)}h_{p}^{ (3)}+b_{l}^{(2t)})$

$p(h_{p}^{3)}=1|\mathbf {h} ^{(2)})=g(\summa _{l=1}^{F_{ 2}^{m}}W_{lp}^{(3m)}h_{l}^{(2m)}+\summa _{l=1}^{F_{2}^{t}}W_{lp }^{(3t)}h_{l}^{(2t)}+b_{p}^{(3)})$

$p(v_{ik}^{t}=1|\mathbf {h} ^{(1t)})={\frac {\mathrm {exp} (\summa _{j=1}^{F_{1}^{t}}h_{j}^{(1t)}W_{jk}^{(1t)}+b_{k}^{t})}{\ summa _{q=1}^{K}\mathrm {exp} (\summa _{j=1}^{F_{1}^{t}}h_{j}^{(1t)}W_{jq} ^{(1t)}+b_{k}^{t})}}$

$p(v_{i}^{m}|\mathbf {h} ^{(1m)})\sim {\mathcal {N}} (\sigma _{i}\summa _{j=1}^{F_{1}^{m}}W_{ij}^{(1m)}h_{j}^{(1m)}+b_{i }^{m},\sigma _{i}^{2})$

Slutledning och lärande

Exakt maximal sannolikhetsinlärning i denna modell är svårhanterlig, men ungefärlig inlärning av DBM:er kan utföras genom att använda en variationsmetod, där medelfältsinferens används för att uppskatta databeroende förväntningar och en MCMC-baserad stokastisk approximationsprocedur används för att approximera modellens förväntade tillräcklig statistik.

Ansökan

Multimodala djupa Boltzmann-maskiner används framgångsrikt vid klassificering och hämtning av saknad data. Klassificeringsnoggrannheten för multimodala djupa Boltzmann-maskiner överträffar stödvektormaskiner , latent Dirichlet-allokering och djupt belief-nätverk , när modeller testas på data med både bild-text-modaliteter eller med singelmodalitet [ . Multimodal djup Boltzmann-maskin kan också förutsäga saknade modaliteter givet de observerade med någorlunda god precision [ . Self Supervised Learning ger en mer intressant och kraftfull modell för multimodalitet. OpenAI utvecklade CLIP- och DALL-E- modeller som revolutionerade multimodalitet.

Multimodal djupinlärning används för cancerscreening – minst ett system under utveckling integrerar så olika typer av data.

Se även

• Hopfield nätverk
• Markov slumpmässigt fält
• Markov-kedjan Monte Carlo