Villkorlig ömsesidig information

Venn diagram av informationsteoretiska mått för tre variabler $x$ , $y$ och $z$ , representerade av de nedre vänstra, nedre högra respektive övre cirklarna. De villkorliga ömsesidiga informationerna $I(x;z|y)$ , $I(y;z|x)$ och $I(x;y|z)$ representeras av de gula, cyan- respektive magenta-områdena.

Inom sannolikhetsteorin , särskilt informationsteorin , är den villkorliga ömsesidiga informationen , i sin mest grundläggande form, det förväntade värdet av den ömsesidiga informationen för två slumpvariabler givet värdet av en tredje.

Definition

För slumpvariabler $X$ , $Y$ och $Z$ med stöduppsättningar ${\mathcal {X}}$ , ${\mathcal {Y} }$ och ${\mathcal {Z}}$ definierar vi den villkorliga ömsesidiga informationen som

$I(X;Y|Z)=\ int _{\mathcal {Z}}D_{\mathrm {KL} }(P_{(X,Y)|Z}\|P_{X|Z}\ibland P_{Y|Z})dP_{Z}$

Detta kan skrivas i termer av förväntningsoperatorn: $I(X;Y|Z)=\mathbb {E} _{Z}[D_{\mathrm {KL} }(P_{(X,Y)|Z}\|P_{X|Z}\otillfällen P_{ Y|Z})]$ .

Således är $I(X;Y|Z)$ den förväntade (med avseende på $Z}$$P_{(X,Y)|Z}$ ) Kullback–Leibler-divergensen från den villkorliga ledfördelningen till produkten av de villkorliga marginalerna $P_{X|Z}$ och $P_{Y|Z}$ . Jämför med definitionen av ömsesidig information .

När det gäller PMF för diskreta distributioner

För diskreta slumpvariabler $X$ , $Y$ och $Z$ med stöduppsättningar ${\mathcal {X}}$ , ${\mathcal {Y }}$ och ${\mathcal {Z}}$ , den villkorliga ömsesidiga informationen $I(X;Y|Z)$ är som följer

$I(X;Y|Z)=\summa _{z\in {\mathcal {Z}}}p_{Z}(z)\summa _{y\in {\mathcal {Y}}}\summa _{x\in {\mathcal {X}}}p_{X,Y|Z}(x,y|z)\log {\frac {p_{X,Y|Z}( x,y|z)}{p_{X|Z}(x|z)p_{Y|Z}(y|z)}}$

där marginella, gemensamma och/eller villkorliga sannolikhetsmassfunktioner betecknas med $p$ med lämplig nedsänkning. Detta kan förenklas som

$I(X;Y|Z)=\summa _{z\in {\mathcal {Z}}}\summa _{y\in {\mathcal {Y}}}\summa _{x\in { \mathcal {X}}}p_{X,Y,Z}(x,y,z)\log {\frac {p_{Z}(z)p_{X,Y,Z}(x,y,z) }{p_{X,Z}(x,z)p_{Y,Z}(y,z)}}.$

När det gäller PDF-filer för kontinuerliga distributioner

För (absolut) kontinuerliga slumpvariabler $X$ , $Y$ och $Z$ med stöduppsättningar ${\mathcal {X}}$ , ${\ mathcal {Y}}$ och ${\mathcal {Z}}$ , den villkorliga ömsesidiga informationen $I(X;Y|Z)$ är som följer

$I(X;Y|Z)=\int _{\mathcal {Z}}{\ bigg (}\int _{\mathcal {Y}}\int _{\mathcal {X}}\log \left({\frac {p_{X,Y|Z}(x,y|z)}{p_ {X|Z}(x|z)p_{Y|Z}(y|z)}}\right)p_{X,Y|Z}(x,y|z)dxdy{\bigg )}p_{Z }(z)dz$

där marginella, gemensamma och/eller villkorliga sannolikhetstäthetsfunktioner betecknas med $p$ med lämplig sänkning. Detta kan förenklas som

$I(X;Y|Z)=\int _{\mathcal {Z}}\int _{\mathcal {Y}}\int _{\mathcal {X}}\log \left({\frac {p_{Z}(z)p_{X,Y,Z}(x,y,z)}{p_{X,Z}(x,z)p_{Y,Z}(y,z)}}\ höger)p_{X,Y,Z}(x,y,z)dxdydz.$

Vissa identiteter

Alternativt kan vi skriva i termer av gemensamma och villkorade entropier som

${\begin{aligned}I(X;Y|Z)&=H(X,Z)+H(Y,Z)-H(X,Y,Z)-H(Z)\\&= H(X|Z)-H(X|Y,Z)\\&=H(X|Z)+H(Y|Z)-H(X,Y|Z).\end{aligned}}$

Detta kan skrivas om för att visa dess förhållande till ömsesidig information

$I(X;Y|Z)=I(X;Y,Z)-I(X;Z )$

vanligtvis omarrangeras som kedjeregeln för ömsesidig information

$I(X;Y,Z)=I(X;Z)+I(X;Y|Z) )$

eller

$I(X;Y|Z)=I(X;Y)-(I(X;Z)-I(X;Z|Y))\,.$

En annan likvärdig form av ovanstående är

${\begin{aligned}I(X;Y|Z)&=H(Z|X)+H(X)+H(Z|Y)+H(Y)-H(Z|X,Y )-H(X,Y)-H(Z)\\&=I(X;Y)+H(Z|X)+H(Z|Y)-H(Z|X,Y)-H(Z) )\end{aligned}}\,.$

En annan likvärdig form av den villkorade ömsesidiga informationen är

${\begin{aligned}I(X;Y|Z)=I(X,Z;Y,Z)-H(Z)\end{aligned}}\,.$

Liksom ömsesidig information kan villkorad ömsesidig information uttryckas som en Kullback–Leibler-divergens :

$I(X;Y|Z)=D_{\mathrm {KL} [p(X,Y,Z)\|p(X|Z)p(Y|Z)p(Z)].$

Eller som ett förväntat värde av enklare Kullback–Leibler-divergenser:

$I( X;Y|Z)=\summa _{z\in {\mathcal {Z}}}p(Z=z)D_{\mathrm {KL} [p(X,Y|z)\|p(X |z)p(Y|z)]$ ,

$I(X;Y|Z)=\summa _{y\in {\mathcal {Y}}}p(Y=y)D_{\mathrm {KL} }[p (X,Z|y)\|p(X|Z)p(Z|y)]$ .

Mer allmän definition

En mer allmän definition av villkorlig ömsesidig information, tillämplig på slumpvariabler med kontinuerliga eller andra godtyckliga fördelningar, kommer att bero på begreppet regelbunden villkorlig sannolikhet . (Se även.)

Låt $(\Omega ,{\mathcal {F}},{\mathfrak {P}})$ vara ett sannolikhetsutrymme , och låt de slumpmässiga variablerna $X$ , $Y$ , och $Z$ definieras var och en som en Borel-mätbar funktion från $\Omega$ till något tillståndsutrymme försett med en topologisk struktur.

Betrakta Borel-måttet (på σ-algebra som genereras av de öppna uppsättningarna) i tillståndsutrymmet för varje slumpvariabel som definieras genom att tilldela varje Borel-mängd ${\mathfrak {P}}$ -måttet för dess förbild i ${\mathcal {F}}$ . Detta kallas pushforward-måttet ${\displaystyle X_{*}{\mathfrak {P}}={\mathfrak {P}}{\big (}X^{-1}(\cdot ){\big )}.} Stöd för$ en slumpvariabel definieras som det topologiska stödet för detta mått, dvs $\mathrm {supp} \,X=\mathrm {supp} \,X_{*}{\mathfrak {P}}.$

Nu kan vi formellt definiera det villkorade sannolikhetsmåttet givet värdet av en (eller, via produkttopologin , fler) av de slumpmässiga variablerna. Låt $M$ vara en mätbar delmängd av $\Omega ,$ (dvs $M\in {\mathcal {F}},$ ) och låt $x\in \mathrm {supp} \,X.$ Använd sedan desintegrationssatsen :

${\mathfrak {P}}(M|X=x)=\lim _{U\ni x}{\frac {{\mathfrak {P}}(M\cap \{X\ i U\})}{{\mathfrak {P}}(\{X\in U\})}}\qquad {\textrm {och}}\qquad {\mathfrak {P}}(M|X)= \int _{M}d{\mathfrak {P}}{\big (}\omega |X=X(\omega ){\big )},$

där gränsen tas över de öppna kvarteren $U$ av $x$ , eftersom de tillåts bli godtyckligt mindre med avseende på setinkludering .

Slutligen kan vi definiera den villkorliga ömsesidiga informationen via Lebesgue-integration :

$I(X;Y|Z)=\int _{\Omega }\log {\Bigl (}{\frac {d{\mathfrak {P}}(\omega |X ,Z)\,d{\mathfrak {P}}(\omega |Y,Z)}{d{\mathfrak {P}}(\omega |Z)\,d{\mathfrak {P}}(\omega |X,Y,Z)}}{\Bigr )}d{\mathfrak {P}}(\omega ),$

där integranden är logaritmen för en Radon-Nikodym-derivata som involverar några av de villkorade sannolikhetsmåtten vi just har definierat.

Anmärkning om notation

I ett uttryck som $I(A;B|C),$$A,$$B,$ och $C$ behöver inte nödvändigtvis begränsas till att representera individuella slumpvariabler, utan kan också representera den gemensamma fördelningen av en samling slumpvariabler definierade på samma sannolikhetsutrymme . Som vanligt inom sannolikhetsteorin kan vi använda kommatecken för att beteckna en sådan gemensam fördelning, t.ex. $I(A_{0},A_{1};B_{1},B_{2},B_{3}|C_{0},C_{1}).$ Därför användes semikolon (eller ibland ett kolon eller till och med en kil $\wedge$ ) för att separera de huvudsakliga argumenten för den ömsesidiga informationssymbolen. (Ingen sådan åtskillnad är nödvändig i symbolen för gemensam entropi , eftersom den gemensamma entropin för valfritt antal slumpvariabler är densamma som entropin för deras gemensamma fördelning.)

Egenskaper

Icke-negativitet

Det är alltid sant att

$I(X;Y|Z)\geq 0$ ,

för diskreta, gemensamt fördelade slumpvariabler $X$ , $Y$ och $Z$ . Detta resultat har använts som en grundläggande byggsten för att bevisa andra ojämlikheter i informationsteori, i synnerhet de som kallas Shannon-typ ojämlikheter. Villkorlig ömsesidig information är också icke-negativ för kontinuerliga slumpvariabler under vissa regularitetsförhållanden.

Interaktionsinformation

Konditionering av en tredje slumpvariabel kan antingen öka eller minska den ömsesidiga informationen: det vill säga skillnaden $I(X;Y)-I(X;Y |Z)$ , kallad interaktionsinformation , kan vara positiv, negativ eller noll. Detta är fallet även när slumpvariabler är parvis oberoende. Så är fallet när:

$$X\sim \mathrm {Bernoulli} (0,5),Z\sim \mathrm {Bernoulli} (0,5),\quad Y=\left\{{\begin{array}{ll}X&{\text{if }}Z=0\ \1-X&{\text{if }}Z=1\end{array}}\right.$$

i vilket fall $X$ , $Y$ och $Z$ är parvis oberoende och i synnerhet $I(X;Y)=0$ , men $I(X;Y|Z)=1.$

Kedjeregel för ömsesidig information

Kedjeregeln (som härledd ovan) tillhandahåller två sätt att dekomponera $I(X;Y,Z)$ :

${\begin{aligned}I (X;Y,Z)&=I(X;Z)+I(X;Y|Z)\\&=I(X;Y)+I(X;Z|Y)\end{aligned}}$

Ojämlikheten i databehandlingen är nära relaterad till villkorad ömsesidig information och kan bevisas med hjälp av kedjeregeln.

Interaktionsinformation

Huvudartikel: Interaktionsinformation

Den villkorade ömsesidiga informationen används för att induktivt definiera interaktionsinformationen, en generalisering av ömsesidig information, enligt följande:

$\displaystyle I(X_$

var

$I(X_{1};\ldots ;X_{n}|X_{n+1})=\mathbb {E} _{X_{n+1}}[D_{\mathrm {KL} }( P_{(X_{1},\ldots ,X_{n})|X_{n+1}}\|P_{X_{1}|X_{n+1}}\otimes \cdots \otimes P_{X_{ n}|X_{n+1}})].$

Eftersom den villkorliga ömsesidiga informationen kan vara större än eller mindre än dess ovillkorliga motsvarighet, kan interaktionsinformationen vara positiv, negativ eller noll, vilket gör den svår att tolka.