Fisher informationsmått

Inom informationsgeometri är Fisher -informationsmåttet ett speciellt Riemann-mått som kan definieras på ett jämnt statistiskt grenrör , dvs. ett jämnt grenrör vars punkter är sannolikhetsmått definierade på ett gemensamt sannolikhetsutrymme . Den kan användas för att beräkna informationsskillnaden mellan mätningarna.

Måttet är intressant i flera avseenden. Enligt Chentsovs teorem är Fishers informationsmått på statistiska modeller det enda Riemannska mått (upp till omskalning) som är invariant under tillräcklig statistik .

Det kan också förstås som den infinitesimala formen av den relativa entropin ( dvs. Kullback –Leibler-divergensen) ; specifikt är det divergensens hessian . Alternativt kan det förstås som metriken inducerad av den euklidiska metriken för det platta utrymmet , efter lämpliga förändringar av variabeln. När den utvidgas till komplext projektivt Hilbert-rum , blir det Fubini-Study-metriken ; när det skrivs i termer av blandade tillstånd , är det kvant Bures-metriken .

Betraktad rent som en matris, är den känd som Fisher informationsmatris . Betraktad som en mätteknik, där den används för att uppskatta dolda parametrar i termer av observerade slumpvariabler, är den känd som den observerade informationen .

Definition

Givet ett statistiskt grenrör med koordinater $\theta =(\theta _{1},\theta _{2},\ldots ,\theta _{n} )$ , skriver man $p(x,\theta )$ för sannolikhetsfördelningen som en funktion av $\theta$ . Här $x$ från värdeutrymmet R för en (diskret eller kontinuerlig) slumpvariabel X . Sannolikheten normaliseras med $\int _{X}p(x,\theta )\,dx=1$

Fisher informationsmåttet tar sedan formen:

$g_{jk}(\theta )=\int _{X}{\frac {\partial \log p(x,\theta )}{\partial \theta _{j}}}{\frac {\ partiell \log p(x,\theta )}{\partial \theta _{k}}}p(x,\theta )\,dx.$

Integralen utförs över alla värden x i X . Variabeln $\theta$ är nu en koordinat på ett Riemann-grenrör . Etiketterna j och k indexerar de lokala koordinataxlarna på grenröret.

När sannolikheten härleds från Gibbs-måttet , som det skulle vara för alla markoviska processer , så kan $\theta$ också förstås som en Lagrange-multiplikator ; Lagrangemultiplikatorer används för att upprätthålla begränsningar, som att hålla förväntningsvärdet för någon kvantitet konstant. Om det finns n begränsningar som håller n olika förväntningsvärden konstanta, är grenrörets dimension n dimensioner mindre än det ursprungliga utrymmet. I det här fallet kan måtten explicit härledas från partitionsfunktionen ; en härledning och diskussion presenteras där.

Genom att ersätta $i(x,\theta )=-\log {}p(x,\theta )$ från informationsteorin , en ekvivalent form av definitionen ovan är:

$g_{jk}(\theta )=\int _{X}{\frac {\partial ^{2}i(x,\theta )}{\partial \theta _{j}\,\partial \ theta _{k}}}p(x,\theta )\,dx=\mathrm {E} \left[{\frac {\partial ^{2}i(x,\theta )}{\partial \theta _ {j}\,\partial \theta _{k}}}\right].$

För att visa att den ekvivalenta formen är lika med definitionen ovan, notera att

$\mathrm {E} \left[{\frac {\partial \log {}p(x,\theta )}{\partial \theta _{j}}}\right]=0$

och tillämpa ${\frac {\partial }{\partial \theta _{k}}}$ på båda sidor.

Relation till Kullback–Leibler-divergensen

Alternativt kan måtten erhållas som andraderivatan av den relativa entropin eller Kullback–Leibler-divergensen . För att få detta tar man hänsyn till två sannolikhetsfördelningar $P(\theta )$ och ${\displaystyle P(\theta _{0})} ,$ som ligger oändligt nära varandra, så den där

$P(\theta )=P(\theta _{0})+\summa _{j}\Delta \theta ^{j}\left.{\frac {\partial P}{\partial \theta ^{j}}}\right|_{\theta _{0}}$

med $\Delta \theta ^{j}$ en oändligt liten förändring av $\theta$ i j- riktningen. Sedan, eftersom Kullback–Leibler-divergensen $D_{\mathrm {KL} }[P(\theta _{0})\|P(\theta ) ]$ har ett absolut minimum på 0 när ${\displaystyle P(\theta )=P(\theta _{0})} ,$ man har en expansion upp till andra ordningen i $\theta =\theta _{0}$ av formuläret

$f_ {\theta _{0}}(\theta ):=D_{\mathrm {KL} [P(\theta _{0})\|P(\theta )]={\frac {1}{2} }\sum _{jk}\Delta \theta ^{j}\Delta \theta ^{k}g_{jk}(\theta _{0})+\mathrm {O} (\Delta \theta ^{3} )$ .

Den symmetriska matrisen $g_{jk}$ är positiv (halv)definitiv och är den hessiska matrisen för funktionen $f_{\theta _{0}}(\theta )$ vid extrempunkten $\theta _{0}$ . Detta kan intuitivt tänkas som: "Avståndet mellan två oändligt nära punkter på en statistisk differentialgren är informationsskillnaden mellan dem."

Relation till Ruppeiner geometri

Ruppeiner -måttet och Weinhold-måttet är Fisher-informationsmåttet beräknat för Gibbs-fördelningar som de som finns i statistisk jämviktsmekanik.

Förändring i fri entropi

Verkan av en kurva på ett Riemann-grenrör ges av

$A={\frac {1}{2}}\int _{a}^{b} {\frac {\partial \theta ^{j}}{\partial t}}g_{jk}(\theta ){\frac {\partial \theta ^{k}}{\partial t}}dt$

Vägparametern här är tid t ; denna åtgärd kan förstås ge förändringen i fri entropi för ett system när det förflyttas från tid a till tid b . Specifikt har man

$\Delta S=(ba)A\,$

som förändringen i fri entropi. Denna observation har resulterat i praktiska tillämpningar inom kemisk industri och processindustri : för att minimera förändringen i fri entropi i ett system bör man följa den minsta geodetiska vägen mellan de önskade slutpunkterna för processen. Geodetiken minimerar entropin, på grund av Cauchy–Schwarz-ojämlikheten , som säger att handlingen begränsas nedan av kurvans längd, kvadratiskt.

Relation till Jensen–Shannon-divergensen

Fisher-måttet låter också åtgärden och kurvlängden relateras till Jensen–Shannon-divergensen . Specifikt har man

$(ba)\int _{a}^{b}{\ frac {\partial \theta ^{j}}{\partial t}}g_{jk}{\frac {\partial \theta ^{k}}{\partial t}}\,dt=8\int _{a }^{b}dJSD$

där integrand dJSD förstås vara den oändliga förändringen i Jensen–Shannon-divergensen längs vägen. På liknande sätt har man för kurvlängden

$\int _{a}^{b}{\sqrt {{\frac {\partial \theta ^{j}}{\partial t}}g_{jk}{\frac {\partial \theta ^{k}}{\partial t}}}}\,dt={\sqrt {8}}\ int _{a}^{b}{\sqrt {dJSD}}$

Det vill säga kvadratroten av Jensen–Shannon-divergensen är bara Fisher-måttet (dividerat med kvadratroten ur 8).

Som euklidisk metrik

För ett diskret sannolikhetsutrymme , det vill säga ett sannolikhetsutrymme på en ändlig uppsättning objekt, kan Fisher-måttet helt enkelt förstås som det euklidiska måttet begränsat till en positiv "kvadrant" av en enhetssfär, efter lämpliga förändringar av variabel.

Betrakta ett platt, euklidiskt utrymme, med dimensionen N +1 , parametriserad av punkterna $y=(y_{0},\cdots ,y_{n})$ . Måttet för euklidiskt rum ges av

$h=\sum _{i=0}^{N}dy_{i}\;dy_{i}$

där $\textstyle dy_{i}$ är 1-former ; de är grundvektorerna för det cotangenta rummet . Att skriva $\textstyle {\frac {\partial }{\partial y_{j}}}$ som basvektorer för tangentrymden , så att

$dy_{j}\left({\frac {\partial }{\partial y_{k}}}\right)=\delta _{jk}$ ,

den euklidiska metriken kan skrivas som

$h_{jk}^{\mathrm {platt} }=h\left({\frac {\partial }{\partial y_{j}}},{\frac {\partial }{\partial y_{k}}}\right)=\delta _{jk}$

Den upphöjda "platt" är till för att påminna om att, när den skrivs i koordinatform, är detta mått med avseende på koordinaten med platta mellanrum y {\ $y}$ .

En N -dimensionell enhetssfär inbäddad i ( N + 1)-dimensionell euklidisk rymd kan definieras som

$\sum _{i=0}^{N}y_{i}^{2}=1$

Denna inbäddning inducerar en metrik på sfären, den ärvs direkt från den euklidiska metriken på det omgivande rummet. Det tar exakt samma form som ovan, och se till att koordinaterna är begränsade till att ligga på sfärens yta. Detta kan göras, t.ex. med tekniken Lagrange multiplikatorer .

Betrakta nu förändringen av variabeln $p_{i}=y_{i}^{2}$ . Sfärvillkoret blir nu sannolikhetsnormaliseringsvillkoret

$\sum _{i}p_{i}=1$

medan måtten blir

${\begin{aligned}h&=\sum _{i}dy_{i}\;dy_{i}=\sum _{i}d{\sqrt {p_{i}}}\; d{\sqrt {p_{i}}}\\&={\frac {1}{4}}\sum _{i}{\frac {dp_{i}\;dp_{i}}{p_{i }}}={\frac {1}{4}}\sum _{i}p_{i}\;d(\log p_{i})\;d(\log p_{i})\end{aligned }}$

Den sista kan identifieras som en fjärdedel av Fishers informationsmått. För att slutföra processen, kom ihåg att sannolikheterna är parametriska funktioner för de mångfaldiga variablerna ${\displaystyle \theta } ,$ det vill säga en har $p_{i}=p_{i}( \theta )$ . Sålunda inducerar ovanstående ett mått på parametergrenröret:

${\begin{aligned}h&={\frac {1}{4}}\summa _{i}p_ {i}(\theta )\;d(\log p_{i}(\theta ))\;d(\log p_{i}(\theta ))\\&={\frac {1}{4} }\summa _{jk}\summa _{i}p_{i}(\theta )\;{\frac {\partial \log p_{i}(\theta )}{\partial \theta _{j}} }{\frac {\partial \log p_{i}(\theta )}{\partial \theta _{k}}}d\theta _{j}d\theta _{k}\end{aligned}}$

eller, i koordinatform, är Fishers informationsmått:

${\begin{aligned}g_{jk} (\theta )=4h_{jk}^{\mathrm {fisher} }&=4h\left({\frac {\partial }{\partial \theta _{j}}},{\frac {\partial }{ \partial \theta _{k}}}\right)\\&=\sum _{i}p_{i}(\theta )\;{\frac {\partial \log p_{i}(\theta )} {\partial \theta _{j}}}\;{\frac {\partial \log p_{i}(\theta )}{\partial \theta _{k}}}\\&=\mathrm {E} \left[{\frac {\partial \log p_{i}(\theta )}{\partial \theta _{j}}}\;{\frac {\partial \log p_{i}(\theta )} {\partial \theta _{k}}}\right]\end{aligned}}$

där, som tidigare,

$d\theta _{j}\left({\frac {\partial }{\partial \theta _{k}}}\right)=\delta _{jk}.$

Den upphöjda 'fisher' är närvarande för att påminna om att detta uttryck är tillämpligt för koordinaterna $\theta$ ; medan den icke-koordinerade formen är densamma som den euklidiska (platt-rymden) metriska. Det vill säga, Fisher-informationsmåttet på ett statistiskt grenrör är helt enkelt (fyra gånger) det euklidiska måttet begränsat till den positiva kvadranten av sfären, efter lämpliga förändringar av variabeln.

När den slumpmässiga variabeln $p$ inte är diskret, utan kontinuerlig, gäller argumentet fortfarande. Detta kan ses på ett av två olika sätt. Ett sätt är att noggrant omarbeta alla ovanstående steg i ett oändligt dimensionellt utrymme, var noga med att definiera gränser på lämpligt sätt, etc., för att säkerställa att alla manipulationer är väldefinierade, konvergenta, etc. Det andra sättet, som noterat av Gromov , är att använda en kategoriteoretisk ansats; det vill säga att notera att ovanstående manipulationer förblir giltiga i kategorin sannolikheter. Här bör man notera att en sådan kategori skulle ha egenskapen Radon–Nikodym , det vill säga Radon–Nikodyms sats gäller i denna kategori. Detta inkluderar Hilbert-utrymmena ; dessa är kvadratintegrerbara, och i manipulationerna ovan är detta tillräckligt för att säkert ersätta summan över kvadrater med en integral över kvadrater.

Som Fubini–Studiemått

Ovanstående manipulationer som härleder Fisher-metriken från den euklidiska metriken kan utökas till komplexa projektiva Hilbert-rum . I det här fallet får man Fubini–Study-måttet . Detta borde kanske inte vara någon överraskning, eftersom Fubini–Study-måttet tillhandahåller sättet att mäta information i kvantmekanik. Bures -metriken , även känd som Helström-metriken , är identisk med Fubini-Study-metriken, även om den senare vanligtvis skrivs i termer av rena tillstånd , som nedan, medan Bures-metriken skrivs för blandade tillstånd . Genom att sätta fasen för den komplexa koordinaten till noll, erhåller man exakt en fjärdedel av Fisher-informationsmåttet, precis som ovan.

Man börjar med samma trick, att konstruera en sannolikhetsamplitud , skriven i polära koordinater , så:

$\psi (x;\theta )={\sqrt {p(x;\theta )}}\;e^ {i\alpha (x;\theta )}$

Här är $\psi (x;\theta )$ en sannolikhetsamplitud med komplext värde ; $p(x;\theta )$ och $\alpha (x;\theta )$ är strikt reella. De tidigare beräkningarna erhålls genom att sätta $\alpha (x;\theta )=0$ . Det vanliga villkoret att sannolikheter ligger inom en simplex , nämligen att

$\int _{X}p(x;\theta )\,dx=1$

uttrycks på samma sätt av idén att kvadratamplituden ska normaliseras:

$\int _{X}\vert \psi (x;\theta )\vert ^{2}\,dx=1$

När $\psi (x;\theta )$ är verklig, är detta ytan på en sfär.

Fubini –Study-metriken , skriven i infinitesimal form, med kvantmekanisk bra–ket-notation , är

$ds^{2}={\frac {\langle \delta \psi \mid \delta \psi \rangle }{\langle \psi \mid \psi \rangle }}-{\frac {\langle \delta \psi \mid \psi \rangle \;\langle \psi \mid \delta \psi \rangle }{{\langle \psi \mid \psi \rangle }^{2}}}.$

I denna notation har man att $\langle x\mid \psi \rangle =\psi (x;\theta )$ och integration över hela måttutrymmet X är skrivet som

$\langle \phi \mid \psi \rangle =\int _{X}\phi ^{*}(x;\theta )\psi (x;\theta )\,dx.$

Uttrycket $\vert \delta \psi \rangle$ kan förstås som en infinitesimal variation; på motsvarande sätt kan det förstås vara en 1-form i kotangensutrymmet . Med den infinitesimala notationen är den polära formen av sannolikheten ovan helt enkelt

$\delta \psi =\left({\frac {\delta p}{2p}}+i\delta \alpha \right)\psi$

Att infoga ovanstående i Fubini–Study-måttet ger:

${\begin{aligned}ds^{2}={}&{\frac {1}{4}}\int _{X}(\delta \log p)^{2}\;p\,dx\\[8pt]{}&+\int _{X}(\delta \alpha )^{2}\;p\,dx-\left(\ int _{X}\delta \alpha \;p\,dx\right)^{2}\\[8pt]&{}-{\frac {i}{2}}\int _{X}(\delta \log p\delta \alpha -\delta \alpha \delta \log p)\;p\,dx\end{aligned}}$

Att sätta $\delta \alpha =0$ i ovanstående gör det klart att den första termen är (en fjärdedel av) Fishers informationsmått. Den fullständiga formen av ovanstående kan göras något tydligare genom att ändra notation till den för standard Riemannsk geometri, så att metriken blir en symmetrisk 2-form som verkar på tangentrymden . Ändringen av notation görs helt enkelt genom att ersätta $\delta \to d$ och $ds^{2}\to h$ och notera att integralerna bara är förväntade värden; så:

${\ start{aligned}h={}&{\frac {1}{4}}\mathrm {E} \left[(d\log p)^{2}\right]+\mathrm {E} \left[( d\alpha )^{2}\right]-\left(\mathrm {E} \left[d\alpha \right]\right)^{2}\\[8pt]{}&-{\frac {i }{2}}\mathrm {E} \left[d\log p\wedge d\alpha \right]\end{aligned}}$

Den imaginära termen är en symbolisk form , det är Berry-fasen eller den geometriska fasen . I indexnotation är måttet:

$_ displaystyle {\begin{aligned}h_{jk}={}&h\left({\frac {\partial }{\partial \theta _{j}}},{\frac {\partial }{\partial \theta _ {k}}}\right)\\[8pt]={}&{\frac {1}{4}}\mathrm {E} \left[{\frac {\partial \log p}{\partial \theta _{j}}}{\frac {\partial \log p}{\partial \theta _{k}}}\right]\\[8pt]{}&+\mathrm {E} \left[{\frac {\partial \alpha }{\partial \theta _{j}}}{\frac {\partial \alpha }{\partial \theta _{k}}}\höger]-\mathrm {E} \left[{ \frac {\partial \alpha }{\partial \theta _{j}}}\right]\mathrm {E} \left[{\frac {\partial \alpha }{\partial \theta _{k}}} \right]\\[8pt]&{}-{\frac {i}{2}}\mathrm {E} \left[{\frac {\partial \log p}{\partial \theta _{j}} }{\frac {\partial \alpha }{\partial \theta _{k}}}-{\frac {\partial \alpha }{\partial \theta _{j}}}{\frac {\partial \log p}{\partial \theta _{k}}}\right]\end{aligned}}}$

Återigen, den första termen kan tydligt ses vara (en fjärdedel av) Fishers informationsmått, genom att sätta $\alpha =0$ . På motsvarande sätt kan Fubini-Study-metriken förstås som metriken på komplext projektivt Hilbert-rum som induceras av den komplexa förlängningen av den platta euklidiska metriken. Skillnaden mellan detta, och Bures-måttet, är att Bures-måttet är skrivet i termer av blandade tillstånd.

Kontinuerligt värderade sannolikheter

En något mer formell, abstrakt definition kan ges enligt följande.

Låt X vara ett orienterbart grenrör , och låt $(X,\Sigma ,\mu )$ vara ett mått på X . På motsvarande sätt, låt $(\Omega ,{\mathcal {F}},P)$ vara ett sannolikhetsutrymme på $\Omega =X$ , med sigma algebra ${\mathcal {F}}=\Sigma$ och sannolikhet $P=\mu$ .

Det statistiska grenröret S ( X ) för X definieras som utrymmet för alla måtten $\mu$ på X (med sigma-algebra $\Sigma$ fast). Observera att det här utrymmet är oändligt dimensionellt och vanligtvis anses vara ett Fréchet-utrymme . Punkterna för S ( X ) är mått.

Välj en punkt $\mu \in S(X)$ och betrakta tangentrymden $T_{\mu }S$ . Fishers informationsmått är då en inre produkt på tangentrymden. Med visst missbruk av notation kan man skriva detta som

$g(\sigma _{1},\sigma _{2})=\int _{X}{ \frac {d\sigma _{1}}{d\mu }}{\frac {d\sigma _{2}}{d\mu }}d\mu$

Här är $\sigma _{1}$ och $\sigma _{2}$ vektorer i tangentrymden; det vill säga $\sigma _{1},\sigma _{2}\in T_{\mu }S$ . Missbruket av notation är att skriva tangentvektorerna som om de är derivator, och att infoga det främmande d i att skriva integralen: integrationen är avsedd att utföras med måttet $\mu$ över hela rymden X . Detta missbruk av notation anses i själva verket vara helt normalt i måttteorin ; det är standardnotationen för Radon–Nikodym-derivatan .

För att integralen ska vara väldefinierad måste rymden S ( X ) ha egenskapen Radon–Nikodym , och mer specifikt är tangentrymden begränsad till de vektorer som är kvadratintegrerbara . Kvadratintegrerbarhet motsvarar att säga att en Cauchy-sekvens konvergerar till ett ändligt värde under den svaga topologin : utrymmet innehåller sina gränspunkter. Observera att Hilbert-utrymmen har denna egenskap.

Denna definition av måttet kan ses vara likvärdig med föregående, i flera steg. Först väljer man en undergren av S ( X ) genom att endast beakta de måtten $\mu$ som parametriseras av någon jämnt varierande parameter $\theta$ . Sedan, om $\theta$ är ändlig-dimensionell, så är undergrenen det också; på samma sätt har tangentrymden samma dimension som $\theta$ .

Med ytterligare visst missbruk av språket noterar man att den exponentiella kartan ger en karta från vektorer i ett tangentutrymme till punkter i ett underliggande grenrör. Således, om $\sigma \in T_{\mu }S$ är en vektor i tangentrymden, då $p=\exp(\sigma )$ är motsvarande sannolikhet associerad med punkt $p\in S(X)$ (efter parallelltransporten av den exponentiella kartan till $\mu$ .) Omvänt, givet en punkt $p\in S(X)$ , logaritmen ger en punkt i tangentrymden (grovt sett måste man återigen transportera från origo till punkt $\mu$ ; för detaljer , se originalkällor). Således har man utseendet av logaritmer i den enklare definitionen, som tidigare angetts.

Se även

• Cramér–Rao bunden
• Fisher information
• Hellinger avstånd
• Informationsgeometri

Anteckningar

• Garvesh Raskutti Sayan Mukherjee, (2014). Informationsgeometrin för spegelnedstigning https://arxiv.org/pdf/1310.7780.pdf

•    Feng, Edward H.; Crooks, Gavin E. (2009). "Långt-ifrån-jämviktsmätningar av termodynamisk längd". Fysisk granskning E . 79 (1 Pt 1): 012104. arXiv : 0807.0621 . Bibcode : 2009PhRvE..79a2104F . doi : 10.1103/PhysRevE.79.012104 . PMID 19257090 . S2CID 8210246 .
• Shun'ichi Amari (1985) Differentialgeometriska metoder i statistik , Lecture Notes in Statistics, Springer-Verlag, Berlin.
• Shun'ichi Amari, Hiroshi Nagaoka (2000) Metoder för informationsgeometri , översättningar av matematiska monografier; v. 191, American Mathematical Society.
• Paolo Gibilisco, Eva Riccomagno, Maria Piera Rogantin och Henry P. Wynn, (2009) Algebraic and Geometric Methods in Statistics , Cambridge U. Press, Cambridge.