Shannon (enhet)

Shannon (symbol: Sh) är en informationsenhet uppkallad efter Claude Shannon , grundaren av informationsteorin . IEC 80000-13 definierar shannon som informationsinnehållet 1/2 associerat med en händelse när sannolikheten för att händelsen inträffar är . Den förstås som sådan inom området för informationsteorin och är begreppsmässigt skild från biten , en term som används vid databehandling och lagring för att beteckna en enda instans av en binär signal . En sekvens av n binära symboler (som finns i datorminne eller en binär dataöverföring) beskrivs korrekt som bestående av n bitar, men informationsinnehållet i dessa n symboler kan vara mer eller mindre än n shannons enligt a priori sannolikheten av den faktiska sekvensen av symboler.

Shannon fungerar också som en enhet av informationsentropin för en händelse, vilket definieras som det förväntade värdet av informationsinnehållet i händelsen (dvs. det sannolikhetsvägda medelvärdet av alla potentiella händelser). Givet ett antal möjliga utfall, till skillnad från informationsinnehåll, har entropin en övre gräns, vilket inträffar när de möjliga utfallen är lika sannolika. Den maximala entropin för n bitar är n Sh. En ytterligare kvantitet som den används för är kanalkapacitet (vanligtvis per tidsenhet), som är det maximala av det förväntade värdet av informationsinnehållet som kan överföras med försumbar sannolikhet för felkodat över en kanal.

Icke desto mindre hörs termen informationsbitar eller helt enkelt bitar oftare, även inom informations- och kommunikationsteori , snarare än shannoner ; att bara säga bitar kan därför vara tvetydigt. Att använda enheten shannon är en explicit referens till en mängd informationsinnehåll, informationsentropi eller kanalkapacitet, och är inte begränsad till binära data, medan "bitar" lika väl kan hänvisa till antalet binära symboler som är involverade, som termen som används inom områden som databehandling.

Liknande enheter

Shannon är genom proportionalitetskonstanter kopplad till två andra informationsenheter:

1 Sh ≈ 0,693 nat ≈ 0,301 Hart .

Hartley , en sällan använd enhet, är uppkallad efter Ralph Hartley , en elektronikingenjör som är intresserad av kapaciteten hos kommunikationskanaler. Även om det är av mer begränsad natur, gör hans tidiga arbete, som föregick Shannon, honom också erkänd som en pionjär inom informationsteori. Precis som shannon beskriver den maximala möjliga informationskapaciteten för en binär symbol, beskriver hartley informationen som kan finnas i en 10-är symbol, det vill säga en siffra mellan 0 och 9 när a priori sannolikheten för varje siffra är 1/10 _ _ . Omräkningsfaktorn ovan ges av log ₁₀ (2).

Ur ett matematiskt perspektiv är nat en mer naturlig enhet av information, men 1 nat motsvarar inte ett fall där alla möjligheter är lika sannolika, till skillnad från shannon och hartley. I varje fall innebär formler för kvantifiering av informationskapacitet eller entropi att ta logaritmen för ett uttryck som involverar sannolikheter. Om bas-2-logaritmer används, uttrycks resultatet i shannoner, om bas-10 ( vanliga logaritmer ) är resultatet i hartleys, och om naturliga logaritmer (bas e ), är resultatet i nats. Till exempel, informationskapaciteten för en 16-bitars sekvens (uppnås när alla 65536 möjliga sekvenser är lika sannolika) ges av log(65536), alltså log 10 (65536) Hart ≈ ​​4,82 Hart , log e ₍ 65536 ) nat _≈ 11,09 nat , eller log ₂ (65536) Sh = 16 Sh .

Informationsåtgärder

Inom informationsteori och derivatområden som kodningsteori kan man inte kvantifiera "informationen" i ett enda meddelande (symbolsekvens) ur sitt sammanhang, utan snarare hänvisas till modellen för en kanal (som bitfelsfrekvens ) eller till den underliggande statistiken för en informationskälla. Det finns alltså olika mått på eller relaterade till information som alla kan använda shannon som en enhet.

Till exempel, i exemplet ovan kan en 16-bitars kanal sägas ha en kanalkapacitet på 16 Sh, men när man är ansluten till en viss informationskälla som bara skickar ett av 8 möjliga meddelanden, skulle man beräkna entropin för dess utdata som högst 3 Sh. Och om man redan hade blivit informerad via en sidokanal att meddelandet måste vara bland det ena eller andra uppsättningen av 4 möjliga meddelanden, så skulle man kunna beräkna den ömsesidiga informationen för det nya meddelandet (med 8 möjliga tillstånd) som högst 2 Sh . Även om det finns oändliga möjligheter för ett reellt tal valt mellan 0 och 1, kan så kallad differentialentropi användas för att kvantifiera informationsinnehållet i en analog signal, till exempel relaterat till förbättringen av signal-brusförhållandet eller konfidensen för en hypotestest .

Shannon (eller nat, eller hartley) är alltså en informationsenhet som används för helt olika mängder och i olika sammanhang, alltid beroende av en angiven modell, snarare än att ha en ganska kontextfri och entydig betydelse som grammet har som en massenhet.