Dubbel total korrelation

För mer information om sannolikhetsteori och informationsteori , se Ömsesidig information .

Inom informationsteorin är dubbel total korrelation (Han 1978), informationshastighet (Dubnov 2006), överskottsentropi (Olbrich 2008) eller bindande information (Abdallah och Plumbley 2010) en av flera kända icke-negativa generaliseringar av ömsesidig information. Medan den totala korrelationen begränsas av summaentropierna för de n elementen, begränsas den dubbla totala korrelationen av de n elementens gemensamma entropi. Även om den sköter sig väl har den dubbla totala korrelationen fått mycket mindre uppmärksamhet än den totala korrelationen. Ett mått känt som "TSE-komplexitet" definierar ett kontinuum mellan den totala korrelationen och den dubbla totala korrelationen (Ay 2001).

Definition

Venndiagram över informationsteoretiska mått för tre variabler x, y och z. Den dubbla totala korrelationen representeras av föreningen av de tre ömsesidiga informationerna och visas i diagrammet av de gula, magenta, cyan och grå områdena.

För en uppsättning av n slumpvariabler $\{X_{1},\ldots ,X_{n}\}$ , den dubbla totala korrelationen $D(X_{1},\ldots ,X_{n})$ ges av

$D(X_{1},\ldots ,X_{n})=H\left(X_{1},\ldots ,X_{n}\right)-\sum _{i=1} ^{n}H\left(X_{i}\mid X_{1},\ldots,X_{i-1},X_{i+1},\ldots,X_{n}\right),$

där $H(X_{1},\ldots ,X_{n})$ är den gemensamma entropin för variabelmängden $\{X_{1},\ldots ,X_{n}\}$ och $H(X_{i}\mid \cdots )$ är den villkorliga entropin för variabel ${\ displaystyle X_{i}}$ , givet resten.

Normaliserad

Den dubbla totala korrelationen normaliserad mellan [0,1] är helt enkelt den dubbla totala korrelationen dividerat med dess maximala värde $H(X_{1},\ldots ,X_{n})$ ,

$ND(X_{1},\ldots,X_{n})={\frac {D(X_{1},\ldots,X_{n})}{H(X_{1},\ldots, X_{n})}}.$

Gräns

Dubbel totalkorrelation är icke-negativ och ovanför begränsad av den gemensamma entropin $H(X_{1},\ldots ,X_{n})$ .

$0\leq D(X_{1},\ldots ,X_{n})\leq H(X_{1},\ldots ,X_{n}).$

För det andra har Dual total korrelation ett nära samband med total korrelation, $C(X_{1},\ldots ,X_{n})$ . Särskilt,

${\frac {C(X_{1},\ldots ,X_{n})}{n-1}}\leq D(X_{1},\ldots ,X_{n})\leq (n -1)\;C(X_{1},\ldots ,X_{n}).$

Historia

Han (1978) definierade ursprungligen den dubbla totala korrelationen som,

${\begin{aligned}&D(X_{1},\ldots ,X_{n})\\[10pt]\equiv {}&\left[\sum _{i=1}^{n}H (X_{1},\ldots ,X_{i-1},X_{i+1},\ldots,X_{n})\höger]-(n-1)\;H(X_{1},\ ldots ,X_{n})\;.\end{aligned}}$

Men Abdallah och Plumbley (2010) visade sin motsvarighet till den lättare att förstå formen av den gemensamma entropin minus summan av villkorade entropier via följande:

${\begin{aligned}&D(X_{1},\ldots ,X_{n})\\[10pt]\equiv {}&\left[\sum _{i=1}^{n}H (X_{1},\ldots ,X_{i-1},X_{i+1},\ldots,X_{n})\right]-(n-1)\;H(X_{1},\ ldots ,X_{n})\\={}&\left[\sum _{i=1}^{n}H(X_{1},\ldots ,X_{i-1},X_{i+1 },\ldots ,X_{n})\right]+(1-n)\;H(X_{1},\ldots ,X_{n})\\={}&H(X_{1},\ldots ,X_{n})+\vänster[\summa _{i=1}^{n}H(X_{1},\ldots ,X_{i-1},X_{i+1},\ldots ,X_ {n})-H(X_{1},\ldots ,X_{n})\höger]\\={}&H\left(X_{1},\ldots,X_{n}\höger)-\summa _{i=1}^{n}H\left(X_{i}\mid X_{1},\ldots,X_{i-1},X_{i+1},\ldots,X_{n}\ höger)\;.\end{aligned}}$

Se även

• Interaktionsinformation
• Ömsesidig information
• Total korrelation

• Han, Te Sun (1978). "Icke-negativa entropimått på multivariata symmetriska korrelationer" . Information och kontroll . 36 (2): 133–156. doi : 10.1016/S0019-9958(78)90275-9 .
• Fujishige, Satoru (1978). "Polymatroidal beroendestruktur för en uppsättning slumpvariabler" . Information och kontroll . 39 : 55–72. doi : 10.1016/S0019-9958(78)91063-X .
•   Dubnov, Shlomo (2006). "Spektrala förväntningar". Computer Music Journal . 30 (2): 63–83. doi : 10.1162/comj.2006.30.2.63 . S2CID 2202704 .
•   Olbrich, E.; Bertschinger, N.; Ay, N.; Jost, J. (2008). "Hur ska komplexitet skalas med systemstorlek?" . European Physical Journal B . 63 (3): 407–415. Bibcode : 2008EPJB...63..407O . doi : 10.1140/epjb/e2008-00134-9 . S2CID 120391127 .
• Abdallah, Samer A.; Plumbley, Mark D. (2010). "Ett mått på statistisk komplexitet baserat på prediktiv information". arXiv : 1012.1890v1 [ math.ST ].
• Nihat Ay, E. Olbrich, N. Bertschinger (2001). Ett enande ramverk för komplexitetsmått för ändliga system. Europeiska konferensen om komplexa system. pdf .