Förväntningsutbredning

Expectation propagation (EP) är en teknik inom Bayesiansk maskininlärning .

EP hittar approximationer till en sannolikhetsfördelning . Den använder en iterativ metod som använder faktoriseringsstrukturen för målfördelningen. Det skiljer sig från andra Bayesianska approximationsmetoder såsom variationsmässiga Bayesianska metoder .

Mer specifikt, anta att vi vill approximera en intraktabel sannolikhetsfördelning $p(\mathbf {x} )$ med en trakterbar fördelning $q(\mathbf {x} )$ . Förväntningsutbredning uppnår denna approximation genom att minimera $\mathrm {KL} (p||q)$ -Leibler-divergensen . Variationella Bayesianska metoder minimerar istället ${\displaystyle \mathrm {KL} (q||p)}.$

Om $q(\mathbf {x} )$ är en Gaussisk ${\mathcal {N}}(\mathbf {x} |\mu ,\Sigma )$ , då minimeras $\mathrm {KL} (p||q)$ med $\mu$ och $\Sigma$ är lika med medelvärdet av $p(\mathbf {x} )$ respektive kovariansen av p ( $displaystyle p(\mathbf {x} )}$ ; detta kallas momentmatchning.

Ansökningar

Förväntningsutbredning via momentmatchning spelar en viktig roll vid approximation för indikatorfunktioner som visas när man härleder meddelandet som passerar ekvationer för TrueSkill .

Thomas Minka (2-5 augusti 2001). "Förväntningsutbredning för ungefärlig Bayesiansk slutledning". I Jack S. Breese, Daphne Koller (red.). UAI '01: Proceedings of the 17th Conference in Uncertainty in Artificial Intelligence (PDF) . University of Washington, Seattle, Washington, USA. s. 362–369.

externa länkar