Steins opartiska riskuppskattning

I statistiken är Steins opartiska riskuppskattning (SURE) en opartisk skattare av medelkvadratfelet för "en nästan godtycklig , ickelinjär partisk skattare." Med andra ord ger det en indikation på noggrannheten hos en given estimator. Detta är viktigt eftersom det sanna medelkvadratfelet för en estimator är en funktion av den okända parametern som ska uppskattas och därför inte kan bestämmas exakt.

Tekniken är uppkallad efter dess upptäckare, Charles Stein .

Formellt uttalande

Låt $\mu \in {\mathbb {R} }^{d}$ vara en okänd parameter och låt $x\in {\mathbb {R} }^{d }$ vara en mätvektor vars komponenter är oberoende och normalfördelade med medelvärdet $\mu _{i},i=1,...,d,$ och varians $\sigma ^{2}$ . Antag att $h(x)$ är en estimator av $\mu }$$h(x)=x+g(x)$ från $x$ , och kan skrivas , där $g$ är svagt differentierbar . Sedan ges Steins opartiska riskuppskattning av

$\operatörsnamn {SURE} (h)=d\sigma ^{2}+\|g(x)\|^{2}+ 2\sigma ^{2}\summa _{i=1}^{d}{\frac {\partial }{\partial x_{i}}}g_{i}(x)=-d\sigma ^{2 }+\|g(x)\|^{2}+2\sigma ^{2}\summa _{i=1}^{d}{\frac {\partial }{\partial x_{i}}} Hej X),$

där $g_{i}(x)$ är den $i$ :e komponenten av funktionen $g(x)$ , och $\|\cdot \|$ är den euklidiska normen .

Vikten av SURE är att det är en opartisk uppskattning av medelkvadratfelet (eller kvadratisk felrisk) för $h(x)$ , dvs.

$\operatörsnamn {E} _{\mu }\{\operatörsnamn {SURE} (h)\}=\operatörsnamn {MSE} (h ),\,\!$

med

$\operatörsnamn {MSE} (h)=\operatörsnamn {E} _{\mu }\|h(x)-\mu \|^{2}.$

Således kan minimering av SURE fungera som ett surrogat för att minimera MSE. Observera att det inte finns något beroende av den okända parametern $\mu$ i uttrycket för SURE ovan. Således kan den manipuleras (t.ex. för att bestämma optimala uppskattningsinställningar) utan kunskap om $\mu$ .

Bevis

Det vill vi visa

$\operatörsnamn {E} _{\mu }\|h(x)-\mu \|^{2}=\operatörsnamn {E} _{\mu }\{\operatörsnamn {SURE} (h)\ }.$

Vi börjar med att utöka MSE som

${\begin{aligned}\operatörsnamn {E} _{\mu }\|h(x)-\mu \|^{2}&=\operatörsnamn {E} _{\mu }\|g( x)+x-\mu \|^{2}\\&=\operatörsnamn {E} _{\mu }\|g(x)\|^{2}+\operatörsnamn {E} _{\mu } \|x-\mu \|^{2}+2\operatörsnamn {E} _{\mu }g(x)^{T}(x-\mu )\\&=\operatörsnamn {E} _{\ mu }\|g(x)\|^{2}+d\sigma ^{2}+2\operatörsnamn {E} _{\mu }g(x)^{T}(x-\mu ).\ end{aligned}}$

Nu använder vi integrering av delar för att skriva om den sista termen:

${\begin{aligned}\operatörsnamn {E} _{\mu }g(x)^{T}(x-\mu )&=\int _{{\mathbb {R} }^{d} }{\frac {1}{\sqrt {2\pi \sigma ^{2d}}}}\exp \left(-{\frac {\|x-\mu \|^{2}}{2\sigma ^{2}}}\right)\summa _{i=1}^{d}g_{i}(x)(x_{i}-\mu _{i})d^{d}x\\& =\sigma ^{2}\summa _{i=1}^{d}\int _{{\mathbb {R} }^{d}}{\frac {1}{\sqrt {2\pi \sigma ^{2d}}}}\exp \left(-{\frac {\|x-\mu \|^{2}}{2\sigma ^{2}}}\right){\frac {dg_{i }}{dx_{i}}}d^{d}x\\&=\sigma ^{2}\sum _{i=1}^{d}\operatörsnamn {E} _{\mu }{\frac {dg_{i}}{dx_{i}}}.\end{aligned}}$

Genom att ersätta detta med uttrycket för MSE kommer vi fram till

$\operatörsnamn {E} _{\mu }\|h(x)-\mu \|^{2}=\operatörsnamn {E} _{\mu }\left(d\sigma ^{2}+ \|g(x)\|^{2}+2\sigma ^{2}\summa _{i=1}^{d}{\frac {dg_{i}}{dx_{i}}}\right ).$

Ansökningar

En standardtillämpning av SURE är att välja en parametrisk form för en estimator och sedan optimera parametrarnas värden för att minimera riskuppskattningen. Denna teknik har tillämpats i flera inställningar. Till exempel kan en variant av James–Stein-estimatorn härledas genom att hitta den optimala krympningsuppskattaren . Tekniken har också använts av Donoho och Johnstone för att bestämma den optimala krympningsfaktorn i en wavelet- denoising -inställning.