Steins exempel

Inom beslutsteori och uppskattningsteori är Steins exempel (även känt som Steins fenomen eller Steins paradox ) observationen att när tre eller flera parametrar uppskattas samtidigt finns det kombinerade skattare som är mer exakta i genomsnitt (det vill säga med lägre förväntat medelkvadratfel ) än någon metod som hanterar parametrarna separat. Det är uppkallat efter Charles Stein från Stanford University , som upptäckte fenomenet 1955.

En intuitiv förklaring är att optimering för medelkvadratfelet för en kombinerad estimator inte är detsamma som att optimera för felen hos separata estimatorer för de individuella parametrarna. Rent praktiskt, om det kombinerade felet faktiskt är av intresse, bör en kombinerad estimator användas, även om de underliggande parametrarna är oberoende. Om man istället är intresserad av att estimera en enskild parameter, så hjälper det inte att använda en kombinerad estimator och är faktiskt sämre.

Formellt uttalande

Följande är den enklaste formen av paradoxen, det speciella fallet där antalet observationer är lika med antalet parametrar som ska uppskattas. Låt ${\boldsymbol {\theta }}$ vara en vektor som består av $n\geq 3$ okända parametrar. För att uppskatta dessa parametrar utförs en enda mätning ${\displaystyle X_{i}} för varje parameter$${\displaystyle \theta _{i}} ,$ vilket resulterar i en vektor $\mathbf {X}$ av längden $n$ . Anta att mätningarna är kända för att vara oberoende Gaussiska slumpvariabler , med medelvärde ${\boldsymbol {\theta }}$ och varians 1, dvs. $\mathbf {X } \sim {\mathcal {N}}({\boldsymbol {\theta }},\mathbf {I} _{n})$ . Således uppskattas varje parameter med hjälp av en enda bullrig mätning, och varje mätning är lika inexakt.

Under dessa förhållanden är det intuitivt och vanligt att använda varje mätning som en uppskattning av dess motsvarande parameter. Denna så kallade "vanliga" beslutsregel kan skrivas som ${\displaystyle {\hat {\boldsymbol {\theta }}}=\mathbf {X} } ,$ vilket är den maximala sannolikhetsskattaren (MLE). Kvaliteten på en sådan estimator mäts genom dess riskfunktion . En vanlig riskfunktion är medelkvadratfelet , definierat som $\mathbb {E} [\|{\boldsymbol {\theta }}-{\hat {\boldsymbol { \theta }}}\|^{2}]$ . Överraskande nog visar det sig att den "vanliga" beslutsregeln är suboptimal ( otillåtlig ) i termer av medelkvadratfel när $n\geq 3$ . Med andra ord, i den inställning som diskuteras här, finns det alternativa estimatorer som alltid uppnår lägre medelkvadratfel , oavsett vad värdet på ${\boldsymbol {\theta }}$ är. För en given ${\boldsymbol {\theta }}$ skulle man uppenbarligen kunna definiera en perfekt "estimator" som alltid bara är ${\displaystyle {\boldsymbol {\theta }}} ,$ men denna estimator skulle vara dålig för andra värden på ${\boldsymbol {\theta }}$ .

Estimatorerna av Steins paradox är, för en given ${\displaystyle {\boldsymbol {\theta }}} ,$ bättre än den "vanliga" beslutsregeln $\mathbf {X}$ för vissa $\mathbf {X}$ men nödvändigtvis värre för andra. Det är bara i genomsnitt som de är bättre. Mer exakt sägs en estimator ${\hat {\boldsymbol {\theta }}}_{1}$ dominera en annan estimator ${\hat {\boldsymbol {\theta } }}_{2}$ om, för alla värden på ${\displaystyle {\boldsymbol {\theta }}},$ risken för ${\hat {\boldsymbol {\theta }}}_{ 1}$ är lägre än, eller lika med, risken för ${\displaystyle {\hat {\boldsymbol {\theta }}}_{2}} ,$ och om olikheten är strikt för vissa ${\boldsymbol {\theta }}$ . En estimator sägs vara tillåten om ingen annan estimator dominerar den, annars är den otillåten . Således kan Steins exempel enkelt uttryckas enligt följande: Den "vanliga" beslutsregeln för medelvärdet för en multivariat Gaussfördelning är otillåten under risk för medelkvadratfel.

Många enkla, praktiska estimatorer uppnår bättre prestanda än den "vanliga" beslutsregeln. Det mest kända exemplet är James–Stein-estimatorn , som krymper $\mathbf {X}$ mot en viss punkt (som origo) med en mängd omvänt proportionell mot avståndet $\mathbf { X}$ från den punkten. För en skiss över beviset för detta resultat, se Proof of Steins exempel . Ett alternativt bevis beror på Larry Brown: han bevisade att den vanliga estimatorn för en $n$ -dimensionell multivariat normal medelvektor är tillåten om och endast om den $n$ -dimensionella Brownska rörelsen är återkommande. Eftersom den Brownska rörelsen inte är återkommande för $n\geq 3$ , är MLE inte tillåtet för $n\geq 3$ .

En intuitiv förklaring

För något speciellt värde på ${\boldsymbol {\theta }}$ kommer den nya skattaren att förbättra åtminstone ett av de individuella medelkvadratfelen ${\displaystyle \mathbb {E} [(\theta _{i}-{\hat {\theta }}_{i})^{2}].} Detta är inte svårt − till exempel om θ$ { $displaystyle {\boldsymbol {\theta }}}$ är mellan −1 och 1, och $\sigma =1$ , då en estimator som linjärt krymper $\mathbf {X}$ mot 0 med 0,5 ( dvs ${\displaystyle \operatörsnamn {tecken} (X_{i})\max(|X_{i}|-0.5,0)} ,$ mjuk tröskel med tröskelvärde $0.5$ ) kommer att ha ett lägre medelkvadratfel än $\mathbf {X}$ själv. Men det finns andra värden på ${\boldsymbol {\theta }}$ för vilka denna estimator är sämre än $\mathbf {X}$ själv. Knepet med Stein-estimatorn, och andra som ger Stein-paradoxen, är att de justerar skiftet på ett sådant sätt att det alltid finns (för varje θ {\displaystyle {\ ${\theta }}}$ vektor) minst en $X_{i}$ vars medelkvadratfel är förbättrat, och dess förbättring mer än kompenserar för eventuell försämring av medelkvadratfel som kan uppstå för ett annat ${\hat {\theta }}_ {i}$ . Problemet är att, utan att känna till ${\boldsymbol {\theta }}$ , vet du inte vilket av de $n$ medelkvadratfelen som är förbättrade, så du kan inte använda Stein-estimatorn endast för dessa parametrar.

Ett exempel på ovanstående inställning förekommer vid kanaluppskattning inom telekommunikation, till exempel, eftersom olika faktorer påverkar den övergripande kanalprestandan.

Implikationer

Steins exempel är överraskande, eftersom den "vanliga" beslutsregeln är intuitiv och allmänt använd. Faktum är att många metoder för estimatorkonstruktion, inklusive maximal sannolikhetsuppskattning , bästa linjära opartiska skattning , minsta kvadratuppskattning och optimal ekvivariantuppskattning , alla resulterar i den "vanliga" skattaren. Ändå, som diskuterats ovan, är denna estimator suboptimal.

Exempel

För att visa den ointuitiva karaktären hos Steins exempel, överväg följande exempel i verkligheten. Anta att vi ska uppskatta tre orelaterade parametrar, såsom den amerikanska veteutbytet för 1993, antalet åskådare vid Wimbledon-tennisturneringen 2001 och vikten av en slumpmässigt vald godiskaka från snabbköpet. Antag att vi har oberoende gaussiska mätningar av var och en av dessa storheter. Steins exempel säger oss nu att vi kan få en bättre uppskattning (i genomsnitt) för vektorn av tre parametrar genom att samtidigt använda de tre orelaterade mätningarna.

Vid första anblicken verkar det som om vi på något sätt får en bättre uppskattning av USA:s veteutbyte genom att mäta annan orelaterade statistik som antalet åskådare på Wimbledon och vikten på en godisbar. Vi har dock inte erhållit en bättre estimator för amerikanskt veteskörd i sig, men vi har tagit fram en estimator för vektorn av medelvärdena för alla tre slumpvariablerna, vilket har en minskad total risk . Detta beror på att kostnaden för en dålig uppskattning i en komponent av vektorn kompenseras av en bättre uppskattning i en annan komponent. En specifik uppsättning av de tre uppskattade medelvärdena som erhålls med den nya skattaren kommer inte nödvändigtvis att vara bättre än den vanliga uppsättningen (de uppmätta värdena). Det är bara i genomsnitt som den nya skattaren är bättre.

Skissat bevis

Riskfunktionen för beslutsregeln $d(\mathbf {x} )=\mathbf {x$ } är

$R(\theta ,d)=\operatörsnamn {E} _{\theta }[|{\boldsymbol {\theta }}-\mathbf {X} |^{2}]$

$=\int ({\boldsymbol {\theta }}-\mathbf {x} )^{T}({\boldsymbol {\theta }}-\mathbf {x} )\left({\frac {1}{2\pi }}\right)^{n /2}e^{(-1/2)({\boldsymbol {\theta }}-\mathbf {x} )^{T}({\boldsymbol {\theta }}-\mathbf {x} )}dx$

$=n.$

Överväg nu beslutsregeln

$d'(\mathbf {x} )=\mathbf {x} -{\frac {\alpha }{|\mathbf {x} |^{2}}}\mathbf {x} ,$

där $\alpha =n-2$ . Vi kommer att visa att $d'$ är en bättre beslutsregel än $d$ . Riskfunktionen är

$R(\theta ,d')=\operatörsnamn {E} _{\theta }\left[\left|\mathbf {\theta -X} +{\frac {\alpha }{|\mathbf {X} |^{2}}}\mathbf {X} \right|^{2}\right]$

$=\operatörsnamn {E} _{\theta }\left[|\mathbf {\theta -X} |^{2}+2(\mathbf {\theta -X} )^{T}{ \frac {\alpha }{|\mathbf {X} |^{2}}}\mathbf {X} +{\frac {\alpha ^{2}}{|\mathbf {X} |^{4}} }|\mathbf {X} |^{2}\right]$

$=\operatörsnamn {E} _{\theta }\left[|\mathbf {\theta -X} |^{2}\right]+2\alpha \operatörsnamn {E} _{\theta } \left[{\frac {\mathbf {(\theta -X)} ^{T}\mathbf {X} }{|\mathbf {X} |^{2}}}\right]+\alpha ^{2 }\operatörsnamn {E} _{\theta }\left[{\frac {1}{|\mathbf {X} |^{2}}}\right]$

— en kvadratisk i $\alpha$ . Vi kan förenkla mellantermen genom att överväga en allmän "väluppfostrad" funktion $h:\mathbf {x} \mapsto h(\mathbf {x} )\in \mathbb {R}$ och använder integrering av delar . För $1\leq i\leq n$ , för varje kontinuerligt differentierbar $h$ som växer tillräckligt långsamt för stora $x_{i}$ har vi:

$\operatörsnamn {E} _{\theta }[(\theta _{i}-X_{i})h(\mathbf {X} )\mid X_{j}=x_{j}(j\neq i)]=\int (\theta _{i}-x_{i})h(\mathbf {x} )\left({ \frac {1}{2\pi }}\right)^{n/2}e^{-(1/2)({\boldsymbol {\theta }}-\mathbf {x} )^{T}( {\boldsymbol {\theta }}-\mathbf {x} )}dx_{i}$

${ \displaystyle =\left[h(\mathbf {x} )\left({\frac {1}{2\pi }}\right)^{n/2}e^{-(1/2)({\ fetsymbol {\theta }}-\mathbf {x} )^{T}({\boldsymbol {\theta }}-\mathbf {x} )}\right]_{x_{i}=-\infty }^{ \infty }-\int {\frac {\partial h}{\partial x_{i}}}(\mathbf {x} )\left({\frac {1}{2\pi }}\right)^{ n/2}e^{-(1/2)({\boldsymbol {\theta }}-\mathbf {x} )^{T}({\boldsymbol {\theta }}-\mathbf {x} )} dx_{i}}$

$=-\operatörsnamn {E} _{\theta }\left[{\frac {\partial h}{\partial x_{i}}}(\mathbf {X} )\mid X_{j}=x_ {j}(j\neq i)\höger].$

Därför,

$\operatörsnamn {E} _{\theta }[(\theta _{i}-X_{i})h(\mathbf {X} )]=-\operatörsnamn {E} _{\theta }\left [{\frac {\partial h}{\partial x_{i}}}(\mathbf {X} )\right].$

(Detta resultat är känt som Steins lemma .) Nu väljer vi

$h(\mathbf {x} )={\frac {x_{i}}{|\mathbf {x} |^{2}}}.$

Om $h$ uppfyllde villkoret "väluppfostrade" (det gör det inte, men detta kan åtgärdas—se nedan), skulle vi ha

${\frac {\partial h}{\partial x_{i}}}={\frac {1}{|\mathbf {x} |^{2}}}-{\frac {2x_{i }^{2}}{|\mathbf {x} |^{4}}}$

och så

$\operatorname {E} _{\theta }\left[{\frac {({\boldsymbol {\theta }}-\mathbf {X} )^{T}\mathbf {X} }{| \mathbf {X} |^{2}}}\right]=\summa _{i=1}^{n}\operatörsnamn {E} _{\theta }\left[(\theta _{i}-X_ {i}){\frac {X_{i}}{|\mathbf {X} |^{2}}}\right]$

$=-\summa _{i=1}^{n}\operatörsnamn {E} _{\theta }\left[{\frac {1}{|\mathbf {X} |^{2} }}-{\frac {2X_{i}^{2}}{|\mathbf {X} |^{4}}}\right]$

$=-(n-2)\operatörsnamn {E} _{\theta }\left[{\frac {1}{|\mathbf {X} |^{2}}}\right].$

Återgår sedan till riskfunktionen för $d'$ :

$R(\theta ,d')=n-2\alpha (n-2)\operatörsnamn {E} _{\theta }\left[{\frac {1}{|\mathbf {X} |^ {2}}}\right]+\alpha ^{2}\operatörsnamn {E} _{\theta }\left[{\frac {1}{|\mathbf {X} |^{2}}}\right ].$

Denna kvadratiska i $\alpha$ minimeras vid $\alpha =n-2$ , vilket ger

$R(\theta ,d')=R(\theta ,d)-(n-2)^{2}\operatörsnamn {E} _{\theta }\left[{\frac {1} {|\mathbf {X} |^{2}}}\right]$

vilket givetvis uppfyller $R(\theta ,d')<R(\theta ,d).$ vilket gör $d$ till en otillåten beslutsregel.

Det återstår att motivera användningen av

$h(\mathbf {X} )={\frac {\mathbf {X} }{|\mathbf {X} |^{2}}}.$

Denna funktion är inte kontinuerligt differentierbar, eftersom den är singular vid $\mathbf {x} =0$ . Men funktionen

$h(\mathbf {X} )={\frac {\mathbf {X} }{\varepsilon +|\mathbf {X} |^{2}}}$

är kontinuerligt differentierbar, och efter att ha följt algebra genom och låtit $\varepsilon \to 0$ får man samma resultat.

Se även

• James–Stein skattare

Anteckningar

•   Lehmann, EL ; Casella, G. (1998), "ch.5", Theory of Point Estimation (2nd ed.), ISBN 0-471-05849-1
•   Stein, C. (1956). "Otillåtlighet av den vanliga skattaren för medelvärdet av en multivariatfördelning" . Proceedings of the Third Berkeley Symposium on Mathematical Statistics and Probability . Vol. 1. s. 197–206. MR 0084922 .
• Samworth, RJ (2012), "Stein's Paradox" (PDF) , Eureka , 62 : 38–41