Chapman–Robbins bunden

Inom statistik är Chapman –Robbins bound eller Hammersley–Chapman–Robbins bound en nedre gräns för variansen av estimatorer för en deterministisk parameter. Det är en generalisering av Cramér–Rao bunden ; jämfört med Cramér–Rao-gränsen är den både snävare och tillämpbar på ett bredare spektrum av problem. Det är dock oftast svårare att beräkna.

Bindningen upptäcktes oberoende av John Hammersley 1950 och av Douglas Chapman och Herbert Robbins 1951.

Påstående

Låt $\Theta$ vara uppsättningen parametrar för en familj av sannolikhetsfördelningar $\{\mu _{\theta }:\theta \in \Theta \}$ .

För alla två $\theta ,\theta '\in \Theta$ , låt $\chi ^{2}(\mu _{\ theta '};\mu _{\theta })$ vara $\chi ^{2}$ -divergensen från $\mu _{\theta }$ till $\mu _{\theta '}$ . Sedan

Sats — Givet vilken skalär funktion som helst på parametern ${\displaystyle {\hat {g}}:\Theta \to \mathbb {R} } ,$ och två valfria $\ theta ,\theta '\i \Theta$$\operatorname {Var} _{\theta }[{\hat {g}}]\geq \sup _{\theta '\neq \theta \in \Theta }{\frac {( E_{\theta '}[{\hat {g}}]-E_{\theta [{\hat {g}}])^{2}}{\chi ^{2}(\mu _{\theta '};\mu _{\theta })}}$ vi har .

En generalisering till det multivariabla fallet är

Teorem — Givet valfri multivariatfunktion på modellen ${\displaystyle {\hat {g}}:\Theta \to \mathbb {R} ^{m}} ,$ och alla $\theta ,\theta '\in \Theta$ , $\chi ^{2}(\mu _{\theta '};\mu _{\theta })\geq (E_{ \theta '}[{\hat {g}}]-E_{\theta }[{\hat {g}}])^{T}\operatörsnamn {Cov} _{\theta }[{\hat {g} }]^{-1}(E_{\theta '}[{\hat {g}}]-E_{\theta [{\hat {g}}])$

Bevis

Genom variationsrepresentationen av chi-kvadratdivergens ,

$$\chi ^{2}(P;Q)=\sup _{g }{\frac {(E_{P}[g]-E_{Q}[g])^{2}}{\operatörsnamn {Var} _{Q}[g]}}$$

Plugga in $g={\hat {g}},P=\mu _{\theta '},Q=\mu _{\theta }$ , för att få

$$\chi ^{2}(\mu _{\ theta '};\mu _{\theta })\geq {\frac {(E_{\theta '}[{\hat {g}}]-E_{\theta [{\hat {g}}]) ^{2}}{\operatörsnamn {Var} _{\theta }[{\hat {g}}]}}$$

Byt nämnare och vänster sida, och ta överlägsen $\theta '$ för att få fallet med envariabel.

För det multivariata fallet definierar vi ${\textstyle h=\sum _{i=1}^{m}v_{i}{\hat {g}}_{i }}$ för valfri $v\neq 0\in \mathbb {R} ^{m}$ . Anslut sedan $g=h$ i variationsrepresentationen för att få

$$\chi ^{2}(\mu _{\theta '};\mu _{\theta })\geq {\frac {(E_{\theta '}[h]-E_{\theta }[h])^{2}}{\operatörsnamn {Var} _{\theta }[h]}}={\frac {\langle v,E_{\theta ' [{\hat {g}}]-E_{\theta [{\hat {g}}]\rangle ^{2}}{v^{T}\operatörsnamn {Cov} _{\theta }[{ \hat {g}}]v}}$$

Ta det högsta över ${\displaystyle v\neq 0\in \mathbb {R} ^{m}} ,$ med hjälp av det linjära algebra faktum att $\sup _{v\neq 0}{\frac {v^{T}ww^{T}v}{v^{T}Mv}}=w^{T}M^{ -1}w$ , vi får det multivariata fallet.

Relation till Cramér–Rao bunden

Uttrycket inuti supremumet i Chapman–Robbins-bunden konvergerar till Cramér–Rao-bunden när $\theta '\to \theta$ , förutsatt att regelbundenheten för Cramér-Rao-bunden håller. Detta innebär att, när båda gränserna existerar, är Chapman-Robbins-versionen alltid minst lika snäv som Cramér-Rao bunden; i många fall är den betydligt stramare.

Chapman-Robbins bunden håller också under mycket svagare regularitetsförhållanden. Till exempel görs inget antagande om differentiabilitet för sannolikhetstäthetsfunktionen p ( x ; θ ). När p ( x ; θ ) är icke-differentierbar är Fisher-informationen inte definierad, och därför existerar inte Cramér-Rao-gränsen.

Se även

• Cramér–Rao bunden
• Uppskattningsteori

Vidare läsning

•   Lehmann, EL; Casella, G. (1998), Theory of Point Estimation (2:a upplagan), Springer, s. 113–114, ISBN 0-387-98502-6