Informationsmängder

Ett missvisande informationsdiagram som visar additiva och subtraktiva samband mellan Shannons grundläggande informationskvantiteter för korrelerade variabler $X$ och $Y$ . Arean som finns i båda cirklarna är den gemensamma entropin $\mathrm {H} (X,Y)$ . Cirkeln till vänster (röd och violett) är den individuella entropin ${\displaystyle \mathrm {H} (X)} ,$ där den röda är den villkorliga entropin $\mathrm { H} (X|Y)$ . Cirkeln till höger (blå och violett) är $\mathrm {H} (Y)$ , där den blå är $\mathrm {H} (Y|X )$ . Den violetta är den ömsesidiga informationen $\operatorname {I} (X;Y)$ .

Den matematiska informationsteorin bygger på sannolikhetsteori och statistik och mäter information med flera informationskvantiteter . Valet av logaritmisk bas i följande formler bestämmer vilken enhet för informationsentropi som används. Den vanligaste informationsenheten är biten , eller mer korrekt shannon , baserat på den binära logaritmen . Även om "bit" används oftare i stället för "shannon", skiljer sig inte dess namn från biten som används i databehandling för att referera till ett binärt värde eller ström oavsett dess entropi (informationsinnehåll) Andra enheter inkluderar nat . , baserat på den naturliga logaritmen , och hartley , baserat på basen 10 eller vanlig logaritm .

I det följande anses ett uttryck av formen $p\log p\,$ enligt konventionen vara lika med noll närhelst $p$ är noll. Detta är motiverat eftersom $\lim _{p\rightarrow 0+}p\log p=0$ för vilken logaritmisk bas som helst.

Självinformation

Shannon härledde ett mått på informationsinnehåll som kallas självinformation eller "överraskning" av ett meddelande $m$ :

$\operatörsnamn {I} (m)=\log \left({\frac {1}{p (m)}}\right)=-\log(p(m))\,$

där $p(m)=\mathrm {Pr} (M=m)$ är sannolikheten att meddelandet $m$ väljs bland alla möjliga val i meddelandeutrymmet $M$ . Basen för logaritmen påverkar endast en skalningsfaktor och följaktligen i vilka enheter det uppmätta informationsinnehållet uttrycks. Om logaritmen är bas 2 uttrycks informationsmåttet i enheter av shannon eller oftare helt enkelt "bitar" (en bit definieras i andra sammanhang snarare som en "binär siffra", vars genomsnittliga informationsinnehåll är högst 1 shannon) .

Information från en källa erhålls av en mottagare endast om mottagaren inte redan hade den informationen till att börja med. Meddelanden som förmedlar information om en viss (P=1) händelse (eller en som är känd med säkerhet, till exempel genom en bakkanal) ger ingen information, vilket ovanstående ekvation indikerar. Sällan förekommande meddelanden innehåller mer information än mer frekvent förekommande meddelanden.

Det kan också visas att ett sammansatt meddelande av två (eller flera) icke-relaterade meddelanden skulle ha en mängd information som är summan av informationsmåtten för varje meddelande individuellt. Det kan härledas med denna definition genom att betrakta ett sammansatt meddelande $m\&n$ som ger information om värdena för två slumpvariabler M och N med hjälp av ett meddelande som är sammanlänkningen av de elementära meddelandena m och n , vardera av vars informationsinnehåll ges av $\operatorname {I} (m)$ respektive $\operatorname {I} (n)$ . Om meddelandena m och n var och en endast beror på M och N, och processerna M och N är oberoende , då $P(m\&n)= P(m)P(n)$ (definitionen av statistiskt oberoende) framgår av definitionen ovan att $\operatorname {I } (m\&n)=\operatörsnamn {I} (m)+\operatörsnamn {I} (n)$ .

Ett exempel: Väderprognossändningen är: "Kattens prognos: Mörkt. Fortsatt mörker tills spritt ljus på morgonen." Detta meddelande innehåller nästan ingen information. En prognos om en snöstorm skulle dock säkert innehålla information eftersom det inte händer varje kväll. Det skulle finnas en ännu större mängd information i en korrekt snöprognos för en varm plats, som Miami . Mängden information i en snöprognos för en plats där det aldrig snöar (omöjlig händelse) är högst (oändligt).

Entropi

Entropin för ett diskret meddelandeutrymme $M$ är ett mått på hur stor osäkerhet man har om vilket meddelande som kommer att väljas. Den definieras som den genomsnittliga självinformationen för ett meddelande $m$ från det meddelandeutrymmet:

$\mathrm {H} (M)=\mathbb {E} \left[\operatörsnamn {I} (M)\right]=\summa _{m\in M}p(m)\operatörsnamn {I} (m)=-\summa _{m\in M}p(m)\log p(m).$

var

$\mathbb {E} [-]$ anger den förväntade värdeoperationen .

En viktig egenskap hos entropin är att den maximeras när alla meddelanden i meddelandeutrymmet är lika sannolika (t.ex. ${\displaystyle p(m)=1/|M|} )$ . I detta fall $\mathrm {H} (M)=\log |M|$ .

Ibland uttrycks funktionen $\mathrm {H}$ i termer av fördelningens sannolikheter:

${\displaystyle \mathrm {H} (p_{1},p_{2},\ldots ,p_ {k})=-\summa _{i=1}^{k}p_{i}\log p_{i},} där varje p i ≥ {\displaystyle p_{i$ } $p_{i}\geq 0$ and $\sum _{i=1}^{k}p_{i}=1.$

Ett viktigt specialfall av detta är den binära entropifunktionen :

$\mathrm {H} _{\mbox{b}}(p)=\mathrm {H} (p,1-p)=-p\log p-(1-p)\log(1-p ).\,$

Ledentropi

Den gemensamma entropin för två diskreta slumpvariabler $X$ och $Y$ definieras som entropin för den gemensamma fördelningen av $X$ och $Y$ :

$\mathrm {H} (X,Y)=\mathbb {E} _{X,Y}\vänster[-\log p(x,y)\right]=-\summa _{x,y}p(x,y)\log p(x,y)\,$

Om $X$ och $Y$ är oberoende , så är den gemensamma entropin helt enkelt summan av deras individuella entropier.

(Obs: Den gemensamma entropin ska inte förväxlas med korsentropin, trots liknande notationer.)

Villkorlig entropi (tveksamhet)

Givet ett särskilt värde på en slumpvariabel ${\displaystyle Y} definieras$ den villkorliga entropin för $X$ givet $Y=y$ som:

$\mathrm {H} (X|y)=\mathbb { E} _{\vänster[X|Y\höger]}[-\log p(x|y)]=-\summa _{x\in X}p(x|y)\log p(x|y)$

där $p(x|y)={\frac {p(x,y)}{p(y)}}$ är villkoret sannolikheten för $x$ givet $y$ .

Den villkorliga entropin för $X$ givet $Y$ , även kallad tvetydigheten av $X$ om $Y$ ges då av:

$\mathrm {H} (X|Y)=\mathbb {E} _{Y}\left[\mathrm {H} \left(X|y\right)\right]=-\summa _{y \in Y}p(y)\summa _{x\in X}p(x|y)\log p(x|y)=\summa _{x,y}p(x,y)\log {\ frac {p(y)}{p(x,y)}}.$

Detta använder den betingade förväntan från sannolikhetsteorin.

En grundläggande egenskap hos den villkorliga entropin är att:

$\mathrm {H} (X|Y)=\mathrm {H} (X,Y)-\mathrm {H} (Y).\,$

Kullback–Leibler divergens (informationsvinst)

Kullback –Leibler-divergensen (eller informationsdivergens , informationsvinst eller relativ entropi ) är ett sätt att jämföra två fördelningar, en "sann" sannolikhetsfördelning $p$ , och en godtycklig sannolikhetsfördelning $q$ . Om vi ​​komprimerar data på ett sätt som antar att $q$ är fördelningen som ligger bakom vissa data, när i verkligheten $p$ är den korrekta fördelningen, är Kullback–Leibler-divergensen antalet genomsnittliga ytterligare bitar per datum som krävs för komprimering, eller, matematiskt,

$D_{\mathrm {KL} }{\bigl (}p(X)\|q(X){\bigr )}=\summa _{x\in X}p(x)\log {\frac {p(x)}{q(x)}}.$

Det är i någon mening "avståndet" från $q$ till $p$ , även om det inte är ett sant mått på grund av att det inte är symmetriskt.

Ömsesidig information (transinformation)

Det visar sig att ett av de mest användbara och viktigaste måtten på information är den ömsesidiga informationen , eller transinformation . Detta är ett mått på hur mycket information som kan erhållas om en slumpvariabel genom att observera en annan. Den ömsesidiga informationen för $X$ i förhållande till $Y$ (som begreppsmässigt representerar den genomsnittliga mängd information om $X$ som kan erhållas genom att observera $Y$ ) ges av :

$\operatorname {I} (X;Y)=\summa _{y\in Y}p(y)\summa _{x\in X}{p(x|y)\log {\frac {p (x|y)}{p(x)}}}=\summa _{x,y}p(x,y)\log {\frac {p(x,y)}{p(x)\,p (y)}}.$

En grundläggande egenskap hos den ömsesidiga informationen är att:

$\operatörsnamn {I} (X;Y)=\mathrm {H} (X)-\mathrm {H} (X|Y).\,$

Det vill säga, om vi känner till $Y$ , kan vi spara ett genomsnitt av $\operatorname {I} (X;Y)$ bitar i kodning av $X$ jämfört med inte att veta $Y$ . Ömsesidig information är symmetrisk :

$\operatörsnamn {I} (X;Y)=\operatörsnamn {I} (Y;X)=\mathrm {H} (X)+\mathrm {H} (Y)-\mathrm {H} (X) ,Y).\,$

Ömsesidig information kan uttryckas som den genomsnittliga Kullback–Leibler-divergensen (informationsvinst) för den bakre sannolikhetsfördelningen av $X$ givet värdet av $Y$ till den tidigare fördelningen på $X$ :

$\operatorname {I} (X;Y)=\mathbb {E} _{p(y)}\left[D_{\mathrm {KL} }{\bigl (}p(X|Y=y) \|p(X){\bigr )}\right].$

Detta är med andra ord ett mått på hur mycket sannolikhetsfördelningen på ${\displaystyle X} i genomsnitt$ kommer att förändras om vi får värdet på $Y$ . Detta räknas ofta om som divergensen från produkten av marginalfördelningarna till den faktiska gemensamma fördelningen:

$\operatorname {I} (X;Y)=D_{\mathrm {KL} }{\bigl (}p(X,Y)\|p(X)p(Y){\bigr )}.$

Ömsesidig information är nära relaterad till log-likelihood-kvotstestet i sammanhanget av kontingenstabeller och multinomialfördelningen och till Pearsons χ ^{2 -} test : ömsesidig information kan betraktas som en statistik för att bedöma oberoende mellan ett par av variabler, och har en väl- specificerad asymptotisk fördelning.

Differentialentropi

Huvudartikel: Differentialentropi

De grundläggande måtten för diskret entropi har utvidgats analogt till kontinuerliga rum genom att ersätta summor med integraler och sannolikhetsmassfunktioner med sannolikhetstäthetsfunktioner . Även om ömsesidig information i båda fallen uttrycker antalet informationsbitar som är gemensamma för de två källorna i fråga, innebär analogin inte identiska egenskaper; till exempel kan differentiell entropi vara negativ.

De differentiella analogierna av entropi, ledentropi, villkorlig entropi och ömsesidig information definieras enligt följande:

$h(X)=-\int _{X}f(x)\log f(x)\,dx$

$h(X,Y)=-\int _{Y}\int _{ X}f(x,y)\log f(x,y)\,dx\,dy$

${ \displaystyle h(X|y)=-\int _{X}f(x|y)\log f(x|y)\,dx}$

$h(X|Y)=\int _{Y}\int _{X}f(x,y)\log {\frac {f(y)}{f(x,y)}}\,dx\,dy$

$\operatörsnamn {I} (X;Y)=\int _{Y}\int _{X}f(x,y)\log {\frac {f( x,y)}{f(x)f(y)}}\,dx\,dy$

där $f(x,y)$ är fogdensitetsfunktionen, $f(x)$ och $f(y)$ är marginalfördelningar, och $f(x|y)$ är den villkorliga fördelningen.

Se även

• Informationsteori