Variationsmeddelande passerar

Variational message passing ( VMP ) är en ungefärlig inferensteknik för kontinuerliga eller diskreta värderade Bayesianska nätverk , med konjugatexponentiella föräldrar, utvecklad av John Winn. VMP utvecklades som ett sätt att generalisera de ungefärliga variationsmetoderna som används av sådana tekniker som latent Dirichlet-allokering och fungerar genom att uppdatera en ungefärlig fördelning vid varje nod genom meddelanden i nodens Markov-filt .

Sannolikhet nedre gräns

Givet en uppsättning dolda variabler och observerade variabler , är målet med ungefärlig slutledning att sänka sannolikheten för att en grafisk modell är i konfigurationen . Över viss sannolikhetsfördelning (som ska definieras senare),

.

Så, om vi definierar vår nedre gräns att vara

,

då är sannolikheten helt enkelt denna gräns plus den relativa entropin mellan och . Eftersom den relativa entropin är icke-negativ är funktionen som definieras ovan verkligen en nedre gräns för logsannolikheten för vår observation . Fördelningen kommer att ha en enklare karaktär än eftersom marginalisering över är svårhanterlig för alla utom de enklaste grafiska modellerna . I synnerhet använder VMP en faktoriserad fördelning

där är en disjunkt del av den grafiska modellen.

Fastställer uppdateringsregeln

Sannolikhetsuppskattningen måste vara så stor som möjligt; eftersom det är en nedre gräns förbättrar man närmre approximationen av logsannolikheten. Genom att ersätta i den faktoriserade versionen av , , parametriserad över de dolda noderna som ovan, är helt enkelt den negativa relativa entropi mellan och plus andra termer oberoende av om definieras som

,

där är förväntan över alla fördelningar förutom . Således, om vi sätter till maximeras den bundna

Meddelanden i variationsmeddelande passerar

Föräldrar skickar sina barn förväntan på sin tillräckliga statistik medan barn skickar sina föräldrar sin naturliga parameter , vilket också kräver att meddelanden skickas från medföräldrarna till noden.

Förhållande till exponentiella familjer

Eftersom alla noder i VMP kommer från exponentiella familjer och alla föräldrar till noder är konjugerade till sina barnnoder, kan förväntan på den tillräckliga statistiken beräknas från normaliseringsfaktorn .

VMP algoritm

Algoritmen börjar med att beräkna det förväntade värdet av den tillräckliga statistiken för den vektorn. Sedan, tills sannolikheten konvergerar till ett stabilt värde (detta uppnås vanligtvis genom att ställa in ett litet tröskelvärde och köra algoritmen tills den ökar med mindre än det tröskelvärdet), gör följande vid varje nod:

  1. Få alla meddelanden från föräldrar.
  2. Få alla meddelanden från barn (detta kan kräva att barnen får meddelanden från medföräldrarna).
  3. Beräkna det förväntade värdet av noderna tillräcklig statistik.

Begränsningar

Eftersom varje barn måste vara konjugerat till sin förälder har detta begränsat de typer av distributioner som kan användas i modellen. Till exempel måste föräldrarna till en Gaussfördelning vara en Gaussfördelning (motsvarande medelvärdet ) och en gammafördelning (motsvarande precisionen, eller en över i vanligare parametreringar). Diskreta variabler kan ha Dirichlet- föräldrar, och Poisson och exponentiella noder måste ha gammaföräldrar . På senare tid har VMP utvidgats till att hantera modeller som bryter mot denna villkorade konjugationsbegränsning.

externa länkar