Informationsdiagram

Ett informationsdiagram är en typ av Venn-diagram som används i informationsteori för att illustrera samband mellan Shannons grundläggande informationsmått : entropi , ledentropi , villkorlig entropi och ömsesidig information . Informationsdiagram är ett användbart pedagogiskt verktyg för att lära ut och lära om dessa grundläggande informationsmått. Informationsdiagram har också tillämpats på specifika problem som för att visa den informationsteoretiska likheten mellan uppsättningar av ontologiska termer .

• 

  Venndiagram som visar additiva och subtraktiva samband mellan olika informationsmått associerade med korrelerade variabler X och Y . Arean som finns i båda cirklarna är den gemensamma entropin $H(X,Y)$ . Cirkeln till vänster (röd och violett) är den individuella entropin $H(X)$ , där den röda är den villkorliga entropin $H(X|Y)$ . Cirkeln till höger (blå och violett) är $H(Y)$ , där den blå är $H(Y|X)$ . Den violetta är den ömsesidiga informationen $I(X;Y)$ .

• 

  Venndiagram över informationsteoretiska mått för tre variabler x, y och z . Varje cirkel representerar en individuell entropi : $H(x)$ är den nedre vänstra cirkeln, $H(y)$ den nedre högra och $H (z)$ är den övre cirkeln. Skärningspunkterna mellan två cirklar representerar den ömsesidiga informationen för de två associerade variablerna (t.ex. $I(x;z)$ är gul och grå). Unionen av två cirklar är den gemensamma entropin för de två associerade variablerna (t.ex. $H(x,y)$ är allt utom grönt). Den gemensamma entropin $H(x,y,z)$ för alla tre variablerna är föreningen av alla tre cirklarna. Den är uppdelad i 7 delar, röd, blå och grön är de villkorliga entropierna $H(x| y,z),H(y|x,z),H(z|x,y)$ respektive, gul, magenta och cyan är de villkorliga ömsesidiga informationerna $I(x;z|y),I(y;z|x)$ respektive $I(x;y|z)$ , och grå är interaktionsinformation $I(x;y;z)$ . Interaktionsinformationen är den enda av alla som kan vara negativ.