Överför entropi

Transferentropi är en icke-parametrisk statistik som mäter mängden riktad (tidsasymmetrisk) överföring av information mellan två slumpmässiga processer . Överföring av entropi från en process X till en annan process Y är mängden osäkerhet som reduceras i framtida värden på Y genom att känna till tidigare värden på X givet tidigare värden på Y . Mer specifikt, om $X_{t}$ och $Y_{t}$ för $t\in \mathbb {N}$ anger två slumpmässiga processer och mängden information mäts med Shannons entropi , kan överföringsentropin skrivas som:

${X \rightarrow Y}=H\left(Y_{t}\mid Y_{t-1:tL}\right)-H\left(Y_{t}\mid Y_{t-1:tL},X_{t- 1:tL}\right),}$

där H ( X ) är Shannon-entropin av X. Ovanstående definition av överföringsentropi har utökats med andra typer av entropimått såsom Rényi-entropi .

Överföringsentropi är villkorlig ömsesidig information , med historiken för den påverkade variabeln $Y_{t-1:tL}$ i villkoret:

$T_{X\rightarrow Y}=I(Y_{t};X_{t-1:tL}\mid Y_{t-1:tL}).$

Överföringsentropi minskar till Granger-kausalitet för vektorautoregressiva processer . Därför är det fördelaktigt när modellantagandet om Granger-kausalitet inte håller, till exempel analys av icke-linjära signaler . Det kräver dock vanligtvis fler prover för korrekt uppskattning. Sannolikheterna i entropiformeln kan uppskattas med olika tillvägagångssätt (binning, närmaste grannar) eller, för att minska komplexiteten, med hjälp av en olikformig inbäddning. Även om det ursprungligen definierades för bivariat analys , har överföringsentropi utökats till multivariata former, antingen beroende på andra potentiella källvariabler eller överväger överföring från en samling källor, även om dessa former kräver fler prover igen.

Transferentropi har använts för uppskattning av funktionell anslutning av neuroner , social påverkan i sociala nätverk och statistisk kausalitet mellan väpnade konflikthändelser. Transferentropi är en finit version av den riktade informationen som definierades 1990 av James Massey som $I (X^{n}\to Y^{n})=\summa _{i=1}^{n}I(X^{i};Y_{i}|Y^{i-1})$ , där $X^{n}$ anger vektorn $X_{1},X_{2},...,X_{n}$ och $Y^{n}$ betecknar $Y_{1},Y_{2},...,Y_{n}$ . Den riktade informationen spelar en viktig roll i att karakterisera de grundläggande gränserna ( kanalkapacitet ) för kommunikationskanaler med eller utan feedback och spelande med kausal sidoinformation.

Se även

• Villkorlig ömsesidig information
• Kausalitet
• Kausalitet (fysik)
• Strukturell ekvationsmodellering
• Rubin kausal modell
• Ömsesidig information

externa länkar

• "Transfer Entropy Toolbox" . Google-kod . , en verktygslåda, utvecklad i C++ och MATLAB , för beräkning av överföringsentropi mellan spiktåg.
• "Java Information Dynamics Toolkit (JIDT)" . GitHub . 2019-01-16. , en verktygslåda, utvecklad i Java och användbar i MATLAB , GNU Octave och Python , för beräkning av överföringsentropi och relaterade informationsteoretiska mått i både diskreta och kontinuerligt värderade data.
• "Multivariate Transfer Entropy (MuTE) Toolbox" . GitHub . 2019-01-09. , en verktygslåda, utvecklad i MATLAB , för beräkning av överföringsentropi med olika estimatorer.