Info-mått

Info-metrics är ett tvärvetenskapligt tillvägagångssätt för vetenskaplig modellering , slutledning och effektiv informationsbehandling . Det är vetenskapen om att modellera, resonera och dra slutsatser under förhållanden med bullrig och begränsad information. Ur vetenskapens synvinkel är detta ramverk i skärningspunkten mellan informationsteori , statistiska inferensmetoder , tillämpad matematik , datavetenskap , ekonometri , komplexitetsteori , beslutsanalys , modellering och vetenskapsfilosofi .

Info-metrics tillhandahåller en begränsad optimeringsram för att hantera underbestämda eller illa ställda problem – problem där det inte finns tillräckligt med information för att hitta en unik lösning. Sådana problem är mycket vanliga inom alla vetenskaper: tillgänglig information är ofullständig , begränsad, bullrig och osäker . Infometrik är användbar för modellering , informationsbearbetning , teoribildning och slutledningsproblem över hela det vetenskapliga spektrumet. Ramverket för infometrics kan också användas för att testa hypoteser om konkurrerande teorier eller orsaksmekanismer .

Historia

Infometrik utvecklades från den klassiska maximala entropiformalismen , som är baserad på Shannon . Tidiga bidrag var mestadels inom naturvetenskap och matematisk/statistisk vetenskap. Sedan mitten av 1980-talet och särskilt i mitten av 1990-talet generaliserades den maximala entropimetoden och utvidgades för att hantera en större klass av problem inom samhälls- och beteendevetenskap, särskilt för komplexa problem och data. Ordet "info-metrics" myntades 2009 av Amos Golan, precis innan det tvärvetenskapliga Info-Metrics Institute invigdes.

Preliminära definitioner

Betrakta en slumpvariabel ${\textstyle X}$ som kan resultera i ett av K distinkta utfall. Sannolikheten ${\textstyle p_{k}}$ för varje utfall ${\textstyle x_{k}}$ är ${\textstyle p_{k}=p(x_{k})$ } för ${\textstil k=1,2,\ldots ,K}$ . Således ${\textstyle P}$ en K -dimensionell sannolikhetsfördelning definierad för ${\textstyle X}$ så att $p_{k}\epsilon [0,1]$ och ${\textstyle \sum _{k}p_{k}=1}$ . Definiera informationsinnehållet för ett enskilt resultat ${\textstyle x_{k}}$ till ${\textstyle h(x_{k} )=h(p_{k})=\log _{2}(1/p_{k})}$ (t.ex. Shannon). Att observera ett utfall i spetsen av distributionen (en sällsynt händelse) ger mycket mer information än att observera ett annat, mer troligt, utfall. Entropin är det förväntade informationsinnehållet för ett utfall av den slumpmässiga variabeln X vars sannolikhetsfördelning är P :

H(P)=\summa _{k=1}^{K}p_{k}\log _{2}\left({\frac {1}{p_{k}}}\right) =-\summa _{k=1}^{K}p_{k}\log _{2}(p_{k})=\operatörsnamn {E} \left[\log _{2}\left({\ frac {1}{P(X)}}\höger)\höger]

Här $p_{k}\log _{2}(p_{k})\equiv 0$ om $p_{k}=0$ , och $\operatorname {E}$ är förväntningsoperatorn .

Det grundläggande infometriska problemet

Betrakta problemet med att modellera och härleda den oobserverade sannolikhetsfördelningen för någon K -dimensionell diskret slumpvariabel givet bara medelvärdet (förväntat värde) för den variabeln. Vi vet också att sannolikheterna är icke-negativa och normaliserade (dvs summera till exakt 1). För alla K > 2 är problemet underbestämt. Inom ramen för infometrics är lösningen att maximera entropin för den slumpmässiga variabeln med de två begränsningarna: medelvärde och normalisering. Detta ger den vanliga maximala entropilösningen. Lösningarna på det problemet kan utökas och generaliseras på flera sätt. För det första kan man använda en annan entropi istället för Shannons entropi. För det andra kan samma tillvägagångssätt användas för kontinuerliga slumpvariabler, för alla typer av villkorsmodeller (t.ex. regression, ojämlikhet och olinjära modeller) och för många begränsningar. För det tredje kan priors införlivas inom denna ram. För det fjärde kan samma ram utvidgas för att rymma större osäkerhet: osäkerhet om de observerade värdena och/eller osäkerhet om själva modellen. Till sist kan samma grundläggande ramverk användas för att utveckla nya modeller/teorier, validera dessa modeller med all tillgänglig information och testa statistiska hypoteser om modellen.

Exempel

Sexsidiga tärningar

Slutsats baserad på information från upprepade oberoende experiment.

Följande exempel tillskrivs Boltzmann och populariserades ytterligare av Jaynes . Tänk på en sexsidig tärning , där kastning av tärningen är händelsen och de distinkta resultaten är siffrorna 1 till 6 på tärningens ovansida . Experimentet är de oberoende upprepningarna av att kasta samma tärning . Anta att du bara observerar det empiriska medelvärdet, y, av N kast av en sexsidig tärning . Med tanke på den informationen vill du härleda sannolikheterna för att ett specifikt värde på ansiktet kommer att dyka upp i nästa kast med tärningen . Du vet också att summan av sannolikheterna måste vara 1. Att maximera entropin (och använda logbas 2) under förutsättning av dessa två begränsningar (medelvärde och normalisering) ger den mest oinformerade lösningen.

{\begin{aligned} &{\underset {\{P\}}{\text{maximize}}}&&H(\mathbf {p} )=-\summa _{k=1}^{6}p_{k}\log _{2 }(p_{k})\\&{\text{med förbehåll för}}&&\summa _{k}p_{k}x_{k}=y{\text{ och }}\summa _{k}p_{ k}=1\end{aligned}}

för ${\textstil x_{k}=k}$ och ${\textstyle k=1,2,\ldots ,6}$ . Lösningen är

{\widehat {p}}_{k}={\frac {2^{ -{\widehat {\lambda }}x_{k}}}{\sum _{k=1}^{6}2^{-{\widehat {\lambda }}x_{k}}}}\equiv { \frac {2^{-\lambda x_{k}}}{\Omega }}

där ${\textstyle {\widehat {p}}_{k}}$ är den antagna sannolikheten för händelsen ${\textstyle k}$ , ${\textstyle {\widehat {\lambda }}}$ är den antagna Lagrange multiplikatorer associerade med medelbegränsningen, och ${\textstyle \Omega }$ är partitionsfunktionen (normalisering). Om det är en rättvis tärning med ett medelvärde på 3,5 skulle du förvänta dig att alla ansikten är lika sannolika och att sannolikheterna är lika. Detta är vad den maximala entropilösningen ger. Om tärningen är orättvis (eller laddad) med ett medelvärde av 4, blir den resulterande maximala entropilösningen ${\textstyle p_{k}=(0.103, ,0,146,0,174,0,207,0,247)}$ . För jämförelse, minimering av minsta kvadraters kriteriet ${\textstyle \left(\sum _{k=1}^{6}p_{k}^{2}\right)} istället$ för Maximera entropiutbytet ${\ texTStyle p_ {k} (ls) = (0,095,0,124,0,152,0,181,0,210,0,0,0,0,0,238}$ .

Några tvärvetenskapliga exempel

Nederbördsförutsägelse : Med hjälp av det förväntade dagliga nederbörden (arithmetiskt medelvärde) kan den maximala entropiramen användas för att sluta sig till och förutsäga den dagliga nederbördsfördelningen.

Portföljförvaltning : Anta att det finns en portföljförvaltare som behöver allokera vissa tillgångar eller tilldela portföljvikter till olika tillgångar, samtidigt som man tar hänsyn till investerarens begränsningar och preferenser. Genom att använda dessa preferenser och begränsningar, såväl som den observerade informationen, såsom marknadens genomsnittliga avkastning och kovarianser, för varje tillgång under en viss tidsperiod, kan entropimaximeringsramverket användas för att hitta de optimala portföljvikterna. I det här fallet representerar entropin i portföljen dess mångfald. Detta ramverk kan modifieras för att inkludera andra begränsningar såsom minimal varians, maximal mångfald etc. Den modellen involverar ojämlikheter och kan ytterligare generaliseras till att inkludera blankning. Fler sådana exempel och relaterad kod finns på

En omfattande lista över arbeten relaterat till infometrics finns här: http://info-metrics.org/bibliography.html

Se även

Vidare läsning

Klassiker

Rudolf Clausius . "Xi. om arten av rörelsen som vi kallar värme". The London, Edinburgh, and Dublin Philosophical Magazine and Journal of Science , 14 (91):108–127, 1857.
Ludwig Boltzmann. "Ytterligare studier om den termiska jämvikten hos gasmolekyler (weitere studien über das wärmegleichgewicht unter gasmolekülen)". Sitzungsberichte der Akademie der Wissenschaften, Mathematische-Naturwissenschaftliche Klasse , sidorna 275–370, 1872.
JW Gibbs . Elementära principer i statistisk mekanik . (New Haven, CT: Yale University Press), 1902.
CE Shannon . "En matematisk teori om kommunikation". Bell System Technical Journal , 27 :379–423, 1948.
Y. Alhassid och RD Levine. "Experimentella och inneboende osäkerheter i den informationsteoretiska ansatsen". Chemical Physics Letters , 73 (1):16–20, 1980.
RB Ash. Informationsteori . Interscience, New York, 1965.
En Caticha. Relativ entropi och induktiv slutledning . 2004.
En Caticha. "Föreläsningar om sannolikhet, entropi och statistisk fysik". MaxEnt, Sao Paulo, Brasilien , 2008.
Jan M. Van Campenhout Cover och Thomas M. "Maximum entropy and conditional probability". IEEE Transactions on Information Theory , IT-27, nr 4, 1981.
I. Csiszar. "Varför minsta kvadrater och maximal entropi? en aximomatisk inställning till slutledning för linjärt inverst problem". The Annals of Statistics , 19 :2032–2066, 1991.
David Donoho, Hossein Kakavand och James Mammen. "Den enklaste lösningen på ett underbestämt system av linjära ekvationer". I Information Theory, 2006 IEEE International Symposium on , sidorna 1924–1928. IEEE, 2007.

Grundböcker och forskningsmonografier

Golan, Amos. Grunderna för infometrik: modellering, slutledning och imperfekt information . Oxford University Press, 2018.
Golan. "Information och entropi ekonometri - en översyn och syntes". Foundations and Trends in Econometrics , 2(1-2):1–145, 2008.
RD Levine och M. Tribus. Den maximala entropiformalismen . MIT Press, Cambridge, MA, 1979.
JN Kapur. Maximala entropimodeller inom naturvetenskap och teknik . Wiley, 1993.
J. Harte. Maximal entropi och ekologi: en teori om överflöd, distribution och energi . Oxford U Press, 2011.
A. Golan, G. Judge och D. Miller. Maximal entropi ekonometri: Robust uppskattning med begränsad data . John Wiley & Sons, 1996.
ET Jaynes . Sannolikhetsteori: Vetenskapens logik . Cambridge University Press, 2003.

Andra representativa ansökningar

JR Banavar, A. Maritan och I. Volkov. "Tillämpningar av principen om maximal entropi: från fysik till ekologi". Journal of Physics-Condensed Matter , 22(6), 2010.
Anil K. Bera och Sung Y. Park. "Optimal portföljdiversifiering med principen om maximal entropi". Econometric Reviews , 27(4-6):484–512, 2008.
Bhati, B. Buyuksahin och A. Golan. "Image reconstruction: An information theoretic approach". American Statistical Association Proceedings , 2005.
Peter W Buchen och Michael Kelly. "Den maximala entropifördelningen för en tillgång härledd från optionspriser". Journal of Financial and Quantitative Analysis , 31(01):143–159, 1996.
Randall C Campbell och R Carter Hill. "Förutsäga multinomialval med maximal entropi". Economics Letters , 64(3):263–269, 1999.
Ariel Caticha och Amos Golan. "En entropisk ram för modellering av ekonomier". Physica A: Statistical Mechanics and its Applications , 408:149–163, 2014.
Marsha Courchane, Amos Golan och David Nickerson. "Uppskattning och utvärdering av lånediskriminering: en informationsstrategi". Journal of Housing Research , 11(1):67–90, 2000.
Tsukasa Fujiwara och Yoshio Miyahara. "De minimala entropi-martingalmåtten för geometriska Lévy-processer". Finance and Stochastics , 7(4):509–531, 2003.

Marco Frittelli. "Det minimala entropi-martingalmåttet och värderingsproblemet på ofullständiga marknader". Matematisk ekonomi , 10(1):39–52, 2000.

D. Glennon och A. Golan. "En Markov-modell av bankkonkurs uppskattad med hjälp av en informationsteoretisk metod banker". Rapport, US Treasury, 2003.
A. Golan. "En multivariabel stokastisk teori om storleksfördelning av företag med empiriska bevis". Advances in Econometrics , 10:1–46, 1994.
A. Golan. "Modcomp-modell för ersättningens effekt på personalretention – ett informationsteoretiskt tillvägagångssätt". Rapport, US Navy, februari 2003.

Amos Golan och Volker Dose. "En generaliserad informationsteoretisk strategi för tomografisk rekonstruktion". Journal of Physics A: Mathematical and General , 34(7):1271, 2001.

Bart Haegeman och Rampal S Etienne. "Entropimaximering och den rumsliga fördelningen av arter". The American Naturalist , 175(4):E74–E90, 2010.
UV Toussaint, A. Golan och V. Dose och, "Maximum Entropy Decomposition of Quadruple Mass Spectra." Journal of Vacuum Science and Technology A 22(2), Mar/apr 2004, 401–406
Golan A. och D. Volker, "A Generalized Information Theoretical Approach to Tomographic Reconstruction," J. of Physics A: Mathematical and General (2001) 1271–1283.

externa länkar

"Info-Metrics Institute: Information-Theoretic Data Analysis and Exposition | American University, Washington, DC" american.edu . Hämtad 2017-11-07 .
"Center for Science of Information NSF STC" . soihub.org . Hämtad 2017-11-07 .
http://info-metrics.org/