Binär entropifunktion

Entropi av en Bernoulli-försök som en funktion av binär utfallsannolikhet, kallad den binära entropifunktionen .

I informationsteori , den binära entropifunktionen , betecknad $\operatorname {H} (p)$ eller $\operatorname {H} _{\text{b}} (p)$ , definieras som entropin för en Bernoulli-process med sannolikheten $p$ för ett av två värden. Det är ett specialfall av $\mathrm {H} (X)$ , entropifunktionen . Matematiskt är Bernoulli-försöket modellerat som en slumpvariabel $X$ som bara kan anta två värden: 0 och 1, som är ömsesidigt uteslutande och uttömmande.

Om $\operatörsnamn {Pr} (X=1)=p$ , då $\operatörsnamn {Pr} (X=0 )=1-p$ och entropin för $X$ (i shannons ) ges av

$\operatörsnamn {H} (X)=\operatörsnamn {H} _{\text{b}}(p)=-p\log _{2}p-(1-p)\log _{2}(1-p)$ ,

där $0\log _{2}0$ antas vara 0. Logaritmerna i denna formel tas vanligtvis (som visas i grafen) till basen 2. Se binär logaritm .

När $p={\tfrac {1}{2}}$ uppnår den binära entropifunktionen sitt maximala värde. Detta är fallet med en opartisk myntvändning .

$\operatorname {H} (p)$ särskiljs från entropifunktionen $\mathrm {H} (X)$ genom att den förra tar ett enda reellt tal som en parameter medan den senare tar en fördelnings- eller slumpvariabel som parameter. Ibland skrivs den binära entropifunktionen också som $\operatorname {H} _{2}(p)$ . Den skiljer sig dock från och bör inte förväxlas med Rényi-entropin , som betecknas som $\mathrm {H} _{2}(X)$ .

Förklaring

När det gäller informationsteori anses entropi vara ett mått på osäkerheten i ett meddelande. För att uttrycka det intuitivt, anta att $p=0$ . Med denna sannolikhet är det säkert att händelsen aldrig inträffar, så det finns ingen osäkerhet alls, vilket leder till en entropi på 0. Om $p=1$ är resultatet återigen säkert, så entropin är 0 här också. När $p=1/2$ är osäkerheten maximal; om man skulle lägga en rättvis satsning på resultatet i detta fall finns det ingen fördel att vinna med förkunskaper om sannolikheterna. I detta fall är entropin maximal vid ett värde av 1 bit. Mellanvärden faller mellan dessa fall; till exempel, om $p=1/4$ finns det fortfarande ett mått på osäkerhet på utfallet, men man kan fortfarande förutsäga utfallet korrekt oftare än inte, så osäkerhetsmåttet eller entropin , är mindre än 1 hel bit.

Derivat

Derivatan av den binära entropifunktionen kan uttryckas som det negativa av logitfunktionen :

${d \over dp}\operatörsnamn {H} _{\text{b}} (p)=-\operatörsnamn {logit} _{2}(p)=-\log _{2}\left({\frac {p}{1-p}}\right)$ .

Taylor-serien

Taylor -serien för den binära entropifunktionen i ett område av 1/2 är

$\operatörsnamn {H} _{\text{b}} (p)=1-{\frac {1}{2\ln 2}}\sum _{n=1}^{\infty }{\frac {(1-2p)^{2n}}{n(2n -1)}}$

för $0\leq p\leq 1$ .

Gräns

Följande gränser gäller för $0<p<1$ :

$\ln(2 )\cdot \log _{2}(p)\cdot \log _{2}(1-p)\leq H_{\text{b}}(p)\leq \log _{2}(p)\ cdot \log _{2}(1-p)$

och

$4p(1-p)\leq H_{\text{b}}( p)\leq (4p(1-p))^{(1/\ln 4)}$

där $\ln$ anger naturlig logaritm.

Se även

• Metrisk entropi
• Informationsteori
• Informationsentropi
• Informationsmängder

Vidare läsning

•   MacKay, David JC Informationsteori, slutlednings- och inlärningsalgoritmer Cambridge: Cambridge University Press, 2003. ISBN 0-521-64298-1