Steins lemma

Steins lemma , namngiven för att hedra Charles Stein , är ett teorem för sannolikhetsteori som är av intresse främst på grund av dess tillämpningar på statistisk slutledning - i synnerhet till James–Stein uppskattning och empiriska Bayes metoder - och dess tillämpningar på portföljvalsteori . Satsen ger en formel för kovariansen av en stokastisk variabel med värdet av en funktion av en annan, när de två stokastiska variablerna är gemensamt normalfördelade .

Uttalande av lemma

Antag att X är en normalfördelad stokastisk variabel med förväntan μ och varians σ ² . Antag vidare att g är en funktion för vilken de två förväntningarna E( g ( X ) ( X − μ)) och E( g ′( X )) båda existerar. (Förekomsten av förväntan på en slumpvariabel är ekvivalent med ändligheten av förväntan på dess absoluta värde .)

$E{\bigl (}g(X)(X-\mu ){\bigr )}=\sigma ^{2}E{\bigl (}g'(X){\bigr )}.$

Antag i allmänhet att X och Y är gemensamt normalfördelade. Sedan

$\operatörsnamn {Cov} (g(X),Y)=\operatörsnamn {Cov} (X,Y)E(g'(X)).$

Bevis

Den univariata sannolikhetstäthetsfunktionen för den univariata normalfördelningen med förväntan 0 och varians 1 är

$\varphi (x)={1 \over {\sqrt {2\pi }}}e^{-x^{2}/2}$

Eftersom $\int x\exp(-x^{2}/2)\,dx=-\exp (-x^{2}/2)$ vi får från integration av delar :

$E[g(X)X]={\frac {1}{\sqrt {2\pi }}}\int g(x)x\exp(-x^ {2}/2)\,dx={\frac {1}{\sqrt {2\pi }}}\int g'(x)\exp(-x^{2}/2)\,dx=E [g'(X)]$ .

Fallet med generell varians $\sigma ^{2}$ följs av substitution .

Mer allmänt uttalande

Antag att X är i en exponentiell familj , det vill säga X har densiteten

$f_{\eta }(x)=\exp(\eta 'T(x)-\Psi (\eta ))h(x).$

Antag att denna densitet har stöd för $(a,b)$ där $a,b$ kan vara $-\infty ,\infty$ och som $x\rightarrow a{\text{ eller }}b$ , $\exp(\eta 'T( x))h(x)g(x)\högerpil 0$ där $g$ är vilken funktion som helst så att $E|g'(X)|<\infty$ or $\exp(\eta 'T(x))h(x) )\rightarrow 0$ om $a,b$ ändlig. Sedan

$E\left[\left({\frac {h'(X)}{h(X)}}+\sum \eta _{i}T_{i}'(X)\right)\cdot g (X)\right]=-E[g'(X)].$

Härledningen är samma som specialfallet, nämligen integrering av delar.

Om vi ​​bara vet att $X$ har stöd för $\mathbb {R}$ , så kan det vara så att $E|g(X)|<\infty {\text{ och }}E|g'(X)|<\infty$ men ${ \displaystyle \lim _{x\rightarrow \infty }f_{\eta }(x)g(x)\not =0}$ . För att se detta, sätt helt enkelt $g(x)=1$ och $f_{\eta }(x)$ med oändliga toppar mot oändligheten men fortfarande integrerbara. Ett sådant exempel skulle kunna anpassas från $f(x)={\begin{cases}1&x\in [n,n+2^ {-n})\\0&{\text{annars}}\end{cases}}$ så att $f$ blir jämn.

Förlängningar till elliptiskt konturformade distributioner finns också.

Se även

• Steins metod
• Taylor-expansioner för momenten av funktioner för slumpvariabler
• Stein diskrepans