Cramér–Rao bunden

I uppskattningsteori och statistik uttrycker Cramér –Rao-gränsen ( CRB ) en nedre gräns på variansen av opartiska skattare av en deterministisk (fast, men okänd) parameter, variansen för en sådan skattare är minst lika hög som den omvända av Fisher -informationen . På motsvarande sätt uttrycker den en övre gräns för precisionen (variansens invers) för opartiska skattare: precisionen för en sådan skattare är högst Fisher-informationen. Resultatet är uppkallat efter Harald Cramér och CR Rao , men har oberoende även tagits fram av Maurice Fréchet , Georges Darmois , samt Alexander Aitken och Harold Silverstone .

En opartisk skattare som uppnår denna nedre gräns sägs vara (fullständigt) effektiv . En sådan lösning uppnår lägsta möjliga medelkvadratfel bland alla opartiska metoder, och är därför den minsta variansen opartiska (MVU) skattaren. Men i vissa fall existerar ingen opartisk teknik som uppnår gränsen. Detta kan inträffa antingen för en opartisk skattare, det finns en annan med en strikt mindre varians, eller om det finns en MVU-uppskattare, men dess varians är strikt större än inversen av Fisher-informationen.

Cramér–Rao-gränsen kan också användas för att binda variansen av partiska skattare av given bias. I vissa fall kan ett partiskt tillvägagångssätt resultera i både en varians och ett medelkvadratfel som ligger under den opartiska Cramér–Rao nedre gränsen; se estimatorbias .

Påstående

Cramér–Rao-gränsen anges i det här avsnittet för flera alltmer allmänna fall, som börjar med fallet där parametern är en skalär och dess estimator är opartisk . Alla versioner av bunden kräver vissa regularitetsvillkor, som gäller för de flesta väluppfostrade distributioner. Dessa villkor listas längre fram i detta avsnitt .

Skalärt opartiskt fall

Antag att $\theta$ är en okänd deterministisk parameter som ska uppskattas från $n$ oberoende observationer (mått) av $x$ , var och en från en fördelning enligt någon sannolikhetstäthetsfunktion $f(x;\theta )$ . Variansen för en opartisk estimator ${\hat {\theta }}$ av $\theta$ begränsas sedan av det reciproka av Fisher-informationen $}$${\displaystyle I(\theta$ ) :

$\operatorname {var} ({\hat {\theta }})\geq {\frac {1}{I(\theta )}}$

där Fisher-informationen $I(\theta )$ definieras av

$I(\theta )=n\operatörsnamn {E} _{\theta }\left[\left({ \frac {\partial \ell (X;\theta )}{\partial \theta }}\right)^{2}\right]$

och $\ell (x;\theta )=\log(f(x;\theta ))$ är den naturliga logaritmen för sannolikhetsfunktionen för ett enstaka prov anger $x$ och $\operatorname {E} _{\theta }$ det förväntade värdet med avseende på densiteten $f(x;\ theta )$ av $X$ . Om $\ell (x;\theta )$ är dubbelt differentierbar och vissa regularitetsvillkor gäller, kan Fisher-informationen också definieras enligt följande:

$I(\theta )=-n\operatörsnamn {E} _{\theta }\left[{\frac {\partial ^{2}\ell (X;\theta )}{\partial \theta ^{2}}}\right]$

Effektiviteten hos en opartisk estimator $}}$ } mäter hur nära denna estimators varians kommer denna nedre gräns; estimator effektivitet definieras som

$e({\hat {\theta }})={\frac {I(\theta )^{-1}}{\ operatornamn {var} ({\hat {\theta }})}}$

eller minsta möjliga varians för en opartisk skattare dividerad med dess faktiska varians. Cramér–Raos nedre gräns ger alltså

$e({\hat {\theta }})\leq 1$ .

Allmänt skalärt fall

En mer generell form av gränsen kan erhållas genom att betrakta en partisk estimator $T(X)$ , vars förväntan inte är $\theta$ utan en funktion av denna parameter, säg $\psi (\theta )$ . Därför ${\displaystyle E\{T(X)\}-\theta =\psi (\theta )-\theta } i$ allmänhet inte lika med 0. I detta fall ges gränsen av

$\operatorname {var} (T)\geq {\frac {[\psi '(\theta )]^{2}}{ I(\theta )}}$

där $\psi '(\theta )$ är derivatan av $\psi (\theta )$ (av $\theta$ ), och $I(\theta )$ är Fisher-informationen definierad ovan.

Bundet på variansen av partiska skattare

Förutom att vara en gräns för skattare av funktioner hos parametern, kan detta tillvägagångssätt användas för att härleda en gräns för variansen av förspända skattare med en given förspänning, enligt följande. Betrakta en estimator ${\hat {\theta }}$ med bias $b(\theta )=E\{{\hat {\theta } }\}-\theta$ , och låt $\psi (\theta )=b(\theta )+\theta$ . Enligt resultatet ovan har varje opartisk estimator vars förväntan är $\psi (\theta )$ en varians större än eller lika med $(\ psi '(\theta ))^{2}/I(\theta )$ . Således uppfyller alla estimatorer ${\hat {\theta }}$ vars bias ges av en funktion $b(\theta )$

$\operatorname {var} \left({\hat {\theta }}\right)\geq {\frac {[1+b'(\theta )]^{2}}{I(\theta )} }.$

Den opartiska versionen av bunden är ett specialfall av detta resultat, med $b(\theta )=0$ .

Det är trivialt att ha en liten varians − en "skattare" som är konstant har en varians på noll. Men från ovanstående ekvation finner vi att medelkvadratfelet för en partisk estimator begränsas av

$\operatörsnamn {E} \left(({\hat {\ theta }}-\theta )^{2}\right)\geq {\frac {[1+b'(\theta )]^{2}}{I(\theta )}}+b(\theta )^ {2},$

med hjälp av standardsönderdelningen av MSE. Observera dock att om $1+b'(\theta )<1$ kan denna gräns vara mindre än den opartiska Cramér–Rao-gränsen $1/I(\theta )$ . Till exempel, i exemplet med att uppskatta varians nedan , $1+b'(\theta )={\frac {n}{n+2}}< 1$ .

Multivariat fall

Utvidga Cramér–Rao bunden till flera parametrar, definiera en parameterkolumnvektor

${\boldsymbol {\theta }}=\left[\theta _{1},\theta _{2},\dots , \theta _{d}\right]^{T}\in \mathbb {R} ^{d}$

med sannolikhetstäthetsfunktion $f(x;{\boldsymbol {\theta }})$ som uppfyller de två regularitetsvillkoren nedan.

Fishers informationsmatris är en $d\times d$ matris med element $I_{m,k}$ definierade som

$I_{m,k}=\operatörsnamn {E} \left[{\frac {\partial }{\partial \theta _{m}}}\log f\left(x;{\boldsymbol {\theta }}\right){\frac {\partial }{\partial \theta _{k}}}\log f\left(x;{\boldsymbol {\theta }}\right)\right]=-\operatörsnamn { E} \left[{\frac {\partial ^{2}}{\partial \theta _{m}\,\partial \theta _{k}}}\log f\left(x;{\boldsymbol {\ theta }}\right)\right].$

Låt ${\boldsymbol {T}}(X)$ vara en skattare av någon vektorfunktion av parametrar, ${\displaystyle {\boldsymbol {T}}(X)=(T_{1}(X),\ldots ,T_{d}(X))^{T}} , och beteckna dess$ förväntansvektor $\operatorname {E} [{\boldsymbol {T}}(X)]$ med ${\boldsymbol {\psi }}({\boldsymbol {\theta }})$ . Cramér–Rao-gränsen anger sedan att kovariansmatrisen för ${\boldsymbol {T}}(X)$ uppfyller

$I\left({\boldsymbol {\theta }}\right)\geq \phi (\theta )^{T}\operatörsnamn {cov} _{\boldsymbol {\theta }}\left({\boldsymbol {T}}(X)\right)^{-1}\phi (\theta )$ ,

$\operatorname {cov} _{\boldsymbol {\theta }}\left({\boldsymbol {T}} (X)\right)\geq \phi (\theta )I\left({\boldsymbol {\theta }}\right)^{-1}\phi (\theta )^{T}$

var

• Matrisolikheten $A\geq B$ förstås som att matrisen $AB$ är positiv semidefinit , och
• $\phi (\theta ):=\partial {\boldsymbol {\psi }}({\boldsymbol {\theta }})/\partial {\ fetsymbol {\theta }}$ är den jakobianska matrisen vars $ij$ element ges av $\partial \psi _{i}({\boldsymbol {\ theta }})/\partial \theta _{j}$ .

Om ${\boldsymbol {T}}(X)$ är en opartisk skattare av ${\boldsymbol {\theta }}$ (dvs ${\displaystyle { \boldsymbol {\psi }}\left({\boldsymbol {\theta }}\right)={\boldsymbol {\theta }}} ),$ sedan reduceras Cramér–Rao-gränsen till

$\operatorname {cov} _{\boldsymbol {\theta }}\left({\boldsymbol {T}}(X)\right)\geq I\left({\boldsymbol {\theta }}\right) ^{-1}.$

Om det är obekvämt att beräkna inversen av Fisher-informationsmatrisen , kan man helt enkelt ta den reciproka av motsvarande diagonala element för att hitta en (eventuellt lös) nedre gräns.

$\operatorname {var} _{\boldsymbol {\theta }}(T_{m}(X))=\left[\operatörsnamn {cov} _{\boldsymbol {\theta }}\left({\boldsymbol {T}}(X)\höger)\höger]_{mm}\geq \left[I\left({\boldsymbol {\theta }}\right)^{-1}\höger]_{mm}\ geq \left(\left[I\left({\boldsymbol {\theta }}\right)\right]_{mm}\right)^{-1}.$

Regularitetsförhållanden

Gränsen förlitar sig på två svaga regularitetsvillkor på sannolikhetstäthetsfunktionen , $f(x;\theta )$ , och estimatorn $T(X)$ :

• Fisher-informationen är alltid definierad; på motsvarande sätt för alla $x$ så att $f(x;\theta )>0$ ,
  $${\frac {\partial }{\partial \theta }}\log f(x;\theta )$$
  existerar och är ändlig.
• Operationerna för integration med avseende på $x$ och differentiering med avseende på $\theta$ kan bytas ut i förväntan på $T$ ; det är,
  $${\frac {\partial }{\partial \theta }}\left[\int T(x)f(x;\theta )\,dx\right]=\int T(x)\left[{\frac {\partial }{\partial \theta }} f(x;\theta )\right]\,dx$$
  när den högra sidan är ändlig. Detta tillstånd kan ofta bekräftas genom att använda det faktum att integration och differentiering kan bytas ut när något av följande fall gäller:
  1. Funktionen $f(x;\theta )$ har begränsat stöd i $x$ , och gränserna beror inte på $\theta$ ;
  2. Funktionen $f(x;\theta )$ har oändligt stöd, är kontinuerligt differentierbar och integralen konvergerar enhetligt för alla $\theta$ .

Bevis

Bevis för det allmänna fallet baserat på Chapman-Robbins bundna

Bevis baserat på.

Bevis

Första ekvationen:

Låt $\delta$ vara en infinitesimal, sedan för valfri ${\displaystyle v\in \mathbb {R} ^{n}} ,$ pluggning $\theta ' =\theta +\delta v$ in, vi har $(E_{\theta '}[T]-E_{\theta }[T])=v^{T}\ phi (\theta )\delta ;\quad \chi ^{2}(\mu _{\theta '};\mu _{\theta })=v^{T}I(\theta )v\delta ^{ 2}$

Att plugga in detta i multivariat Chapman–Robbins bound ger $I(\theta )\geq \phi (\theta )\operatorname { Cov} _{\theta [T]^{-1}\phi (\theta )^{T}$ .

Andra ekvationen:

Det räcker för att bevisa detta för skalärt fall, där $h(X)$ tar värden i $\mathbb {R}$ . För för allmän $T(X)$ kan vi ta vilken ${\displaystyle v\in som helst \mathbb {R} ^{m}} ,$ och sedan definiera ${\textstyle h:=\sum _{j}v_{j}T_{j}} ,$ det skalära fallet ger

$$\operatörsnamn {Var} _{\theta }[h ]=v^{T}\operatörsnamn {Cov} _{\theta [T]v\geq v^{T}\phi (\theta )I(\theta )^{-1}\phi (\theta ) ^{T}v$$

Detta gäller för alla ${\displaystyle v\in \mathbb {R} ^{m}} ,$ så vi kan dra slutsatser

$$\operatorname {Cov} _{\theta }[T]\geq \phi (\theta )I(\theta )^{-1}\phi (\theta )^{T}$$

Det skalära fallet anger att $\operatorname {Var} _{\theta }[h]\geq \phi (\theta )^{T}I(\theta )^{-1}\phi (\theta )$ med $\phi (\theta ):=\nabla _ {\theta }E_{\theta [h]$ .

Låt $\delta$ vara en infinitesimal, sedan för valfri ${\displaystyle v\in \mathbb {R} ^{n}} ,$ med $\theta ' =\theta +\delta v$ i envariat Chapman–Robbins bunden ger $\operatornamn {Var} _ {\theta [h]\geq {\frac {\langle v,\phi (\theta )\rangle ^{2}}{v^{T}I(\theta )v}}$ .

Med linjär algebra, ${\displaystyle \sup _{v\neq 0}{\frac {\langle w,v\rangle ^{$ för vilken positiv-definitiv matris ${\displaystyle M} som helst$ , så får vi

$$\operatorname {Var} _{\theta }[h]\geq \phi (\theta )^{T}I(\theta )^{-1}\phi (\theta ).$$

Ett fristående bevis för det allmänna skalära fallet

Antag att $T=t(X)$ är en estimator med förväntan $\psi (\theta )$ (baserat på observationerna $X$ ), dvs att $\operatörsnamn {E} (T)=\psi (\theta )$ . Målet är att bevisa att för alla $\theta$ ,

$\operatorname {var} (t(X))\geq {\frac {[\psi ^{\prime }(\theta )]^{2}}{I(\theta )}}.$

Låt $X$ vara en slumpvariabel med sannolikhetstäthetsfunktion $f(x;\theta )$ . Här $T=t(X)$ en statistik , som används som en estimator för $\psi (\theta )$ . Definiera $V$ som poängen :

$V={\frac {\partial }{\partial \theta }}\ ln f(X;\theta )={\frac {1}{f(X;\theta )}}{\frac {\partial }{\partial \theta }}f(X;\theta )$

där kedjeregeln används i den slutliga jämlikheten ovan. Då är förväntan på $V$ , skriven ${\displaystyle \operatorname {E} (V)} ,$ noll. Det här är för att:

$\operatörsnamn {E} (V)=\int f(x;\theta )\left[{\frac {1}{f(x;\theta )}}{\frac {\partial }{\partial \theta } }f(x;\theta )\right]\,dx={\frac {\partial }{\partial \theta }}\int f(x;\theta )\,dx=0$

där den integrala och den partiella derivatan har bytts ut (motiverad av det andra regularitetsvillkoret).

Om vi ​​betraktar kovariansen $\operatorname {cov} (V,T)$ av $V$ och $T$ , har vi ${\displaystyle \operatorname {cov} (V,T)=\operatörsnamn {E} (VT)} ,$ eftersom $\operatorname {E} (V)= 0$ . Att utöka detta uttryck vi har

${\display style {\begin{aligned}\operatörsnamn {cov} (V,T)&=\operatörsnamn {E} \left(T\cdot \left[{\frac {1}{f(X;\theta )}}{\ frac {\partial }{\partial \theta }}f(X;\theta )\right]\right)\\[6pt]&=\int t(x)\left[{\frac {1}{f( x;\theta )}}{\frac {\partial }{\partial \theta }}f(x;\theta )\right]f(x;\theta )\,dx\\[6pt]&={\ frac {\partial }{\partial \theta }}\left[\int t(x)f(x;\theta )\,dx\right]={\frac {\partial }{\partial \theta }}E (T)=\psi ^{\prime }(\theta )\end{aligned}}}$

igen eftersom integrations- och differentieringsoperationerna pendlar (andra villkoret).

Cauchy och Schwarz visar det

${\sqrt {\operatörsnamn {var} (T)\operatörsnamn {var} (V)}}\geq \left|\operatörsnamn {cov} (V,T)\right|=\left|\psi ^ {\prime }(\theta )\right|$

därför

$\operatörsnamn {var} (T)\geq {\frac {[ \psi ^{\prime }(\theta )]^{2}}{\operatörsnamn {var} (V)}}={\frac {[\psi ^{\prime }(\theta )]^{2} }{I(\theta )}}$

vilket bevisar förslaget.

Exempel

Multivariat normalfördelning

För fallet med en d -variat normalfördelning

${\boldsymbol {x}}\sim N_{d}\left({\boldsymbol {\mu }}({\boldsymbol {\theta } }),{\boldsymbol {C}}({\boldsymbol {\theta }})\right)$

Fishers informationsmatris har element

${\,displaystyle I_ }={\frac {\partial {\boldsymbol {\mu }}^{T}}{\partial \theta _{m}}}{\boldsymbol {C}}^{-1}{\frac {\partial {\boldsymbol {\mu }}}{\partial \theta _{k}}}+{\frac {1}{2}}\operatörsnamn {tr} \left({\boldsymbol {C}}^{-1 }{\frac {\partial {\boldsymbol {C}}}{\partial \theta _{m}}}{\boldsymbol {C}}^{-1}{\frac {\partial {\boldsymbol {C} }}{\partial \theta _{k}}}\right)}$

där "tr" är spåret .

Låt till exempel $w[n]$ vara ett urval av $N$ oberoende observationer med okänt medelvärde $\theta$ och känd varians $\sigma ^{ 2}$ .

$w[n]\sim \mathbb {N} _{N}\left(\theta {\boldsymbol {1}},\sigma ^{2}{\boldsymbol {I}}\right).$

Då är Fisher-informationen en skalär som ges av

$I=(\theta ) \left({\frac {\partial {\boldsymbol {\mu }}(\theta )}{\partial \theta }}\right)^{T}{\boldsymbol {C}}^{-1}\left ({\frac {\partial {\boldsymbol {\mu }}(\theta )}{\partial \theta }}\right)=\summa _{i=1}^{N}{\frac {1}{ \sigma ^{2}}}={\frac {N}{\sigma ^{2}}},$

och så är Cramér–Rao bunden

$\operatorname {var} \left({\hat {\theta }}\right)\geq {\frac {\sigma ^{2}}{N}}.$

Normal varians med känt medelvärde

Antag att X är en normalfördelad slumpvariabel med känt medelvärde $\mu$ och okänd varians $\sigma ^{2}$ . Tänk på följande statistik:

$T={\frac {\sum _{i=1}^{n}(X_{i}-\mu )^{2}}{n}}.$

Då är T opartisk för $\sigma ^{2}$ , eftersom $E(T)=\sigma ^{2}$ . Vad är variansen för T ?

$\operatörsnamn {var} (T)=\operatörsnamn {var} \left({\frac {(X-\mu )^{2}}{n}}\right) ={\frac {\operatörsnamn {var} (X-\mu )^{2}}{n^{2}}}={\frac {1}{n^{2}}}\left[\operatörsnamn { E} \left\{(X-\mu )^{4}\right\}-\left(\operatörsnamn {E} \{(X-\mu )^{2}\}\höger)^{2} \höger]$

(den andra jämlikheten följer direkt av definitionen av varians). Den första termen är det fjärde momentet om medelvärdet och har värdet $3(\sigma ^{2})^{2}$ ; den andra är kvadraten på variansen, eller $(\sigma ^{2})^{2}$ . Således

$\operatorname {var} (T)={\frac {2(\sigma ^{2})^{2}}{n}}.$

Vad är Fisher-informationen i provet? Kom ihåg att partituren $V$ definieras som

$V={\frac {\partial }{\partial \sigma ^{2}}}\log \left[L(\sigma ^ {2},X)\höger]$

där $L$ är likelihood-funktionen . Så i detta fall,

$\log \left[L(\sigma ^{2},X)\right]=\log \left[{\frac {1}{\sqrt {2\pi \sigma ^{2} }}}e^{-(X-\mu )^{2}/{2\sigma ^{2}}}\right]=-\log({\sqrt {2\pi \sigma ^{2}} })-{\frac {(X-\mu )^{2}}{2\sigma ^{2}}}$

$V={\frac { \partial }{\partial \sigma ^{2}}}\log \left[L(\sigma ^{2},X)\right]={\frac {\partial }{\partial \sigma ^{2} }}\left[-\log({\sqrt {2\pi \sigma ^{2}}})-{\frac {(X-\mu )^{2}}{2\sigma ^{2}} }\right]=-{\frac {1}{2\sigma ^{2}}}+{\frac {(X-\mu )^{2}}{2(\sigma ^{2})^{ 2}}}$

där den andra likheten är från elementär kalkyl. Således är informationen i en enskild observation bara minus förväntan av derivatan av $V$ , eller

$I=-\operatörsnamn {E} \left({\frac {\partial V}{\partial \sigma ^{2}}}\right)=-\operatörsnamn {E} \left(-{\frac {(X-\mu )^{2}}{(\sigma ^{2})^{3}}}+{\frac {1}{2(\sigma ^{2})^{2}}} \right)={\frac {\sigma ^{2}}{(\sigma ^{2})^{3}}}-{\frac {1}{2(\sigma ^{2})^{2 }}}={\frac {1}{2(\sigma ^{2})^{2}}}.$

Således är informationen i ett urval av $n$ oberoende observationer bara $n$ gånger detta, eller ${\frac {n}{2(\sigma ^{2})^{2}}}.$

Cramér–Rao bunden säger att

$\operatörsnamn {var} (T)\geq {\frac {1}{I}}.$

I detta fall är ojämlikheten mättad (likhet uppnås), vilket visar att skattaren är effektiv .

Däremot kan vi uppnå ett lägre medelkvadratfel med hjälp av en partisk estimator. Uppskattaren

$T={\frac {\sum _{i=1}^{n}(X_{i}-\mu )^{2}}{n+2}}.$

har uppenbarligen en mindre varians, vilket faktiskt är

$\operatorname {var} (T)={\frac {2n(\sigma ^{2})^{2}}{(n+2)^{2}}}.$

Dess partiskhet är

$\left(1-{\frac {n}{n+2}}\right)\sigma ^{2}={\frac {2\sigma ^{2}}{n+2}}$

så dess medelkvadratfel är

$\operatörsnamn {MSE} (T) =\left({\frac {2n}{(n+2)^{2}}}+{\frac {4}{(n+2)^{2}}}\right)(\sigma ^{2 })^{2}={\frac {2(\sigma ^{2})^{2}}{n+2}}$

vilket är klart mindre än vad opartiska skattare kan uppnå enligt Cramér–Rao-gränsen.

När medelvärdet inte är känt, uppnås det minsta medelkvadratfelsuppskattningen av variansen för ett urval från Gauss-fördelningen genom att dividera med $n+1$ istället för $n-1$ eller $n+2$ .

Se även

• Chapman–Robbins bunden
• Kullbacks ojämlikhet
• Brascamp–Lieb ojämlikhet

Vidare läsning

•   Amemiya, Takeshi (1985). Avancerad ekonometri . Cambridge: Harvard University Press. s. 14 –17. ISBN 0-674-00560-0 .
•   Bos, Adriaan van den (2007). Parameteruppskattning för forskare och ingenjörer . Hoboken: John Wiley & Sons. s. 45–98. ISBN 978-0-470-14781-8 .
•   Kay, Steven M. (1993). Fundamentals of Statistical Signal Processing, Volym I: Estimation Theory . Prentice Hall. ISBN 0-13-345711-7 . . Kapitel 3.
•   Shao, Jun (1998). Matematisk statistik . New York: Springer. ISBN 0-387-98674-X . . Avsnitt 3.1.3.

externa länkar

• FandPLimitTool en GUI-baserad programvara för att beräkna Fisher-informationen och Cramér-Rao nedre gräns med tillämpning på enkelmolekylsmikroskopi.