Variationsmeddelande passerar
Variational message passing ( VMP ) är en ungefärlig inferensteknik för kontinuerliga eller diskreta värderade Bayesianska nätverk , med konjugatexponentiella föräldrar, utvecklad av John Winn. VMP utvecklades som ett sätt att generalisera de ungefärliga variationsmetoderna som används av sådana tekniker som latent Dirichlet-allokering och fungerar genom att uppdatera en ungefärlig fördelning vid varje nod genom meddelanden i nodens Markov-filt .
Sannolikhet nedre gräns
Givet en uppsättning dolda variabler och observerade variabler , är målet med ungefärlig slutledning att sänka sannolikheten för att en grafisk modell är i konfigurationen . Över viss sannolikhetsfördelning (som ska definieras senare),
- .
Så, om vi definierar vår nedre gräns att vara
- ,
då är sannolikheten helt enkelt denna gräns plus den relativa entropin mellan och . Eftersom den relativa entropin är icke-negativ är funktionen som definieras ovan verkligen en nedre gräns för logsannolikheten för vår observation . Fördelningen kommer att ha en enklare karaktär än eftersom marginalisering över är svårhanterlig för alla utom de enklaste grafiska modellerna . I synnerhet använder VMP en faktoriserad fördelning
där är en disjunkt del av den grafiska modellen.
Fastställer uppdateringsregeln
Sannolikhetsuppskattningen måste vara så stor som möjligt; eftersom det är en nedre gräns förbättrar man närmre approximationen av logsannolikheten. Genom att ersätta i den faktoriserade versionen av , , parametriserad över de dolda noderna som ovan, är helt enkelt den negativa relativa entropi mellan och plus andra termer oberoende av om definieras som
- ,
där är förväntan över alla fördelningar förutom . Således, om vi sätter till maximeras den bundna
Meddelanden i variationsmeddelande passerar
Föräldrar skickar sina barn förväntan på sin tillräckliga statistik medan barn skickar sina föräldrar sin naturliga parameter , vilket också kräver att meddelanden skickas från medföräldrarna till noden.
Förhållande till exponentiella familjer
Eftersom alla noder i VMP kommer från exponentiella familjer och alla föräldrar till noder är konjugerade till sina barnnoder, kan förväntan på den tillräckliga statistiken beräknas från normaliseringsfaktorn .
VMP algoritm
Algoritmen börjar med att beräkna det förväntade värdet av den tillräckliga statistiken för den vektorn. Sedan, tills sannolikheten konvergerar till ett stabilt värde (detta uppnås vanligtvis genom att ställa in ett litet tröskelvärde och köra algoritmen tills den ökar med mindre än det tröskelvärdet), gör följande vid varje nod:
- Få alla meddelanden från föräldrar.
- Få alla meddelanden från barn (detta kan kräva att barnen får meddelanden från medföräldrarna).
- Beräkna det förväntade värdet av noderna tillräcklig statistik.
Begränsningar
Eftersom varje barn måste vara konjugerat till sin förälder har detta begränsat de typer av distributioner som kan användas i modellen. Till exempel måste föräldrarna till en Gaussfördelning vara en Gaussfördelning (motsvarande medelvärdet ) och en gammafördelning (motsvarande precisionen, eller en över i vanligare parametreringar). Diskreta variabler kan ha Dirichlet- föräldrar, och Poisson och exponentiella noder måste ha gammaföräldrar . På senare tid har VMP utvidgats till att hantera modeller som bryter mot denna villkorade konjugationsbegränsning.
- Winn, JM; Bishop, C. (2005). "Variationsmeddelande passerar" (PDF) . Journal of Machine Learning Research . 6 : 661-694.
- Beal, MJ (2003). Variationsalgoritmer för ungefärlig Bayesiansk slutledning (PDF) (PhD). Gatsby Computational Neuroscience Unit, University College London. Arkiverad från originalet (PDF) 2005-04-28 . Hämtad 2007-02-15 .
externa länkar
- Infer.NET : ett inferensramverk som inkluderar en implementering av VMP med exempel.
- dimple : ett inferenssystem med öppen källkod som stöder VMP.
- En äldre implementering av VMP med användningsexempel.