Infomax
Infomax är en optimeringsprincip för artificiella neurala nätverk och andra informationsbehandlingssystem. Den föreskriver att en funktion som mappar en uppsättning ingångsvärden I till en uppsättning utdatavärden O ska väljas eller läras in så att den genomsnittliga Shannon ömsesidiga informationen mellan I och O maximeras , med förbehåll för en uppsättning specificerade begränsningar och/eller brus. processer. Infomax-algoritmer är inlärningsalgoritmer som utför denna optimeringsprocess. Principen beskrevs av Linsker 1988.
Infomax, i sin noll-brusgräns, är relaterad till principen om redundansreduktion som föreslogs för biologisk sensorisk bearbetning av Horace Barlow 1961, och tillämpas kvantitativt på retinal bearbetning av Atick och Redlich.
En av tillämpningarna av infomax har varit en oberoende komponentanalysalgoritm som hittar oberoende signaler genom att maximera entropin . Infomax-baserad ICA beskrevs av Bell och Sejnowski och Nadal och Parga 1995.
Se även
- Bell AJ, Sejnowski TJ (december 1997). "De "oberoende komponenterna" i naturscener är kantfilter" . Vision Res . 37 (23): 3327–38. doi : 10.1016/S0042-6989(97)00121-1 . PMC 2882863 . PMID 9425547 .
- Linsker R (1997). "En lokal inlärningsregel som möjliggör informationsmaximering för godtyckliga inputdistributioner". Neural beräkning . 9 (8): 1661–65. doi : 10.1162/neco.1997.9.8.1661 . S2CID 42857188 .
- Stone, JV (2004). Oberoende komponentanalys: En handledningsintroduktion . Cambridge MA: MIT Press. ISBN 978-0-262-69315-8 .