Entropihastighet

I den matematiska sannolikhetsteorin är entropihastigheten eller källinformationshastigheten för en stokastisk process , informellt , tidstätheten för den genomsnittliga informationen i en stokastisk process. För stokastiska processer med ett räknebart index är entropihastigheten $H(X)}$ displaystyle gränsen för den gemensamma entropin för $n$ medlemmar av processen $X_{k}$ dividerat med $n$ , eftersom $n$ tenderar till oändlighet :

$H(X)=\lim _{n\to \infty }{\frac {1}{n} }H(X_{1},X_{2},\dots X_{n})$

när gränsen finns. En alternativ, relaterad kvantitet är:

$H'(X)=\lim _{n\to \infty }H( X_{n}|X_{n-1},X_{n-2},\dots X_{1})$

För starkt stationära stokastiska processer, $H(X)=H'(X)$ . Entropihastigheten kan ses som en allmän egenskap hos stokastiska källor; detta är den asymptotiska ekvipartitionsegenskapen . Entropihastigheten kan användas för att uppskatta komplexiteten hos stokastiska processer. Den används i olika applikationer som sträcker sig från att karakterisera språkens komplexitet, blind källseparering till att optimera kvantiserare och datakomprimeringsalgoritmer. Till exempel kan ett kriterium för maximal entropihastighet användas för funktionsval i maskininlärning .

Entropipriser för Markov-kedjor

Eftersom en stokastisk process definierad av en Markov-kedja som är irreducerbar , aperiodisk och positiv återkommande har en stationär fördelning , är entropihastigheten oberoende av den initiala fördelningen.

Till exempel, för en sådan Markov-kedja $Y_{k}$ definierad på ett räknebart antal tillstånd, givet övergångsmatrisen $P_{ij}$ , $H (Y)$ ges av:

$\displaystyle H(Y)=-\sum _{ij}\mu _{i}P_{ij}\log P_{ I j}$

där $\mu _{i}$ är den asymptotiska fördelningen av kedjan.

En enkel konsekvens av denna definition är att en stokastisk process har en entropihastighet som är densamma som entropin för varje enskild medlem av processen.

Se även

• Informationskälla (matematik)
• Markov informationskälla
• Asymptotisk ekvipartitionsegenskap
• Maximal entropy random walk - vald för att maximera entropihastigheten

•   Cover, T. och Thomas, J. (1991) Elements of Information Theory, John Wiley and Sons, Inc., ISBN 0-471-06259-6 [1]