Opartisk uppskattning av standardavvikelse

I statistik och i synnerhet statistisk teori är opartisk uppskattning av en standardavvikelse beräkningen från ett statistiskt urval av ett uppskattat värde av standardavvikelsen (ett mått på statistisk spridning ) för en population av värden, på ett sådant sätt att det förväntade värdet av beräkningen är lika med det verkliga värdet. Förutom i några viktiga situationer, som beskrivs senare, har uppgiften liten relevans för tillämpningar av statistik eftersom dess behov undviks genom standardprocedurer, såsom användningen av signifikanstest och konfidensintervall , eller genom att använda Bayesiansk analys .

Men för statistisk teori ger den ett exemplariskt problem i samband med skattningsteori som är både enkelt att ange och för vilket resultat inte kan erhållas i sluten form. Det ger också ett exempel där kravet på opartisk uppskattning kan ses som att bara lägga till besvär, utan någon verklig fördel.

Motivering

I statistik uppskattas standardavvikelsen för en population av siffror ofta från ett slumpmässigt urval från populationen . Detta är provets standardavvikelse, som definieras av

s={\sqrt {{\frac {1}{n}}\sum _{i=1}^{n}( x_{i}-{\overline {x}})^{2}}},

där $\{x_{1},x_{2},\ldots ,x_{n}\}$ är stickprovet (formellt realisationer från en slumpvariabel X ) och ${\overline {x}}$ är sampelmedelvärdet .

Ett sätt att se att detta är en partisk estimator av populationens standardavvikelse (om den finns och stickproven dras oberoende med ersättning) är att s ^{2 redan} är en estimator av populationsvariansen σ ² med låg bias. Eftersom endast linjära funktioner pendlar med att ta förväntningar och kvadratroten är en strikt konkav funktion, följer det av Jensens olikhet att kvadratroten av urvalsvariansen också har en låg bias.

Användningen av n − 1 istället för n i formeln för urvalsvariansen kallas Bessels korrigering , och det ger

s={\sqrt {{\frac {1}{n-1}}\sum _{i=1}^{n}(x_{i}-{\overline {x}})^{2 }}}.

Den korrigerar snedvridningen i uppskattningen av populationsvariansen, och en del, men inte hela, biasen i uppskattningen av populationens standardavvikelse.

Det är inte möjligt att hitta en uppskattning av standardavvikelsen som är opartisk för alla populationsfördelningar, eftersom biasen beror på den specifika fördelningen. Mycket av det följande hänför sig till uppskattning med antagande av en normalfördelning .

Fördomskorrigering

Resultat för normalfördelningen

Korrektionsfaktor

c_{4}

kontra provstorlek n .

När den slumpmässiga variabeln är normalfördelad , finns en mindre korrigering för att eliminera bias. För att härleda korrigeringen , notera att för normalfördelat X innebär Cochrans sats att $(n-1)s^{2}/\sigma ^{2}$ har en chi kvadratfördelning med $n-1$ frihetsgrader och därmed dess kvadratrot, ${\sqrt {n-1}}s/\sigma$ har en chi-fördelning med $n-1$ frihetsgrader. Följaktligen beräknar förväntan av detta sista uttryck och omarrangerar konstanter,

\operatörsnamn {E} [s]=c_{4}(n)\sigma

där korrektionsfaktorn $c_{4}(n)$ är skalmedelvärdet för chi-fördelningen med $n-1$ frihetsgrader, $\mu _{1}/{\sqrt {n-1}}$ . Detta beror på provstorleken n och ges enligt följande:

c_{ 4}(n)={\sqrt {\frac {2}{n-1}}}{\frac {\Gamma \left({\frac {n}{2}}\right)}{\Gamma \left ({\frac {n-1}{2}}\right)}}=1-{\frac {1}{4n}}-{\frac {7}{32n^{2}}}-{\frac {19}{128n^{3}}}+O(n^{-4})

där Γ(·) är gammafunktionen . En opartisk estimator av σ kan erhållas genom att dividera $s$ med $c_{4}(n)$ . När $n$ blir stor närmar den sig 1, och även för mindre värden är korrigeringen mindre. Figuren visar ett diagram av $c_{4}(n)$ kontra provstorlek. Tabellen nedan ger numeriska värden för $c_{4}(n)$ och algebraiska uttryck för vissa värden på $n$ ; mer fullständiga tabeller kan hittas i de flesta läroböcker ^{[ citat behövs ]} om statistisk kvalitetskontroll .

Provstorlek	Uttryck för $c_{4}$	Numeriskt värde
2	${\sqrt {\frac {2}{\pi }}}$	0,7978845608
3	${\frac {\sqrt {\pi }}{2}}$	0,8862269255
4	$2{\sqrt {\frac {2}{3\pi }}}$	0,9213177319
5	${\frac {3}{4}}{\sqrt {\frac {\pi }{2}}}$	0,9399856030
6	${\frac {8}{3}}{\sqrt {\frac {2}{5\pi }}}$	0,9515328619
7	${\frac {5{\sqrt {3\pi }}}{16}}$	0,9593687891
8	${\frac {16}{5}}{\sqrt {\frac {2}{7\pi }}}$	0,9650304561
9	${\frac {35{\sqrt {\pi }}}{64}}$	0,9693106998
10	${\frac {128}{105}}{\sqrt {\frac {2}{\pi }}}$	0,9726592741
100		0,9974779761
1000		0,9997497811
10 000		0,9999749978
2k	${\sqrt {\frac {2}{\pi (2k-1)}}}{\frac {2^{2k-2}(k-1)!^{2}}{(2k-2) )!}}$
2k+1	${\sqrt {\frac {\pi }{k}}}{\frac {(2k-1)!}{2^{2k-1}(k-1)!^{2}}}$

Det är viktigt att komma ihåg att denna korrigering endast producerar en opartisk estimator för normalt och oberoende fördelade X . När detta villkor är uppfyllt är ett annat resultat om s som involverar $c_{4}(n)$ att standardfelet för s är $\sigma {\sqrt { 1-c_{4}^{2}}}$ , medan standardfelet för den opartiska skattaren är $\sigma {\sqrt {c_{4}^{-2}-1}}.$

Tumregel för normalfördelningen

Om beräkningen av funktionen c ₄ ( n ) verkar för svår finns det en enkel tumregel för att ta skattaren

{\hat {\sigma }}={\sqrt {{\frac {1}{n-1.5}}\summa _{i=1}^{n}(x_{i}-{\överlinje {x}})^{2}}}

Formeln skiljer sig från det välbekanta uttrycket för s ² endast genom att ha n − 1,5 istället för n − 1 i nämnaren. Detta uttryck är endast ungefärligt; faktiskt,

\operatorname {E} \left[{\hat {\sigma }}\right]=\sigma \cdot \left(1+{\frac {1}{16n^{2}}}+{\frac {3}{16n^{3}}}+O(n^{-4})\höger).

Biasen är relativt liten: säg, för $n=3$ är den lika med 1,3 %, och för $n=9$ är biasen redan 0,1%.

Andra distributioner

I de fall där statistiskt oberoende data modelleras av en parametrisk familj av andra fördelningar än normalfördelningen, kommer populationens standardavvikelse, om den finns, att vara en funktion av modellens parametrar. Ett allmänt tillvägagångssätt för uppskattning skulle vara maximal sannolikhet . Alternativt kan det vara möjligt att använda Rao–Blackwell-satsen som en väg för att hitta en bra uppskattning av standardavvikelsen. I ingetdera fallet skulle de erhållna uppskattningarna vanligtvis vara opartiska. I teorin kan teoretiska justeringar erhållas för att leda till opartiska uppskattningar, men till skillnad från de för normalfördelningen skulle dessa vanligtvis bero på de uppskattade parametrarna.

Om kravet helt enkelt är att minska biasen för en uppskattad standardavvikelse, snarare än att eliminera den helt, så finns två praktiska tillvägagångssätt tillgängliga, båda inom ramen för omsampling . Dessa är jackknifing och bootstrapping . Båda kan tillämpas antingen på parametriskt baserade uppskattningar av standardavvikelsen eller på provets standardavvikelse.

För icke-normalfördelningar är en ungefärlig (upp till O ( n ⁻¹ ) termer) formel för den opartiska skattaren av standardavvikelsen

{\hat {\sigma }}={\sqrt {{\frac {1}{n -1.5-{\tfrac {1}{4}}\gamma _{2}}}\summa _{i=1}^{n}\left(x_{i}-{\overline {x}}\right )^{2}}},

där γ ₂ anger populationsöverskottet kurtosis . Överskottet av kurtos kan antingen vara känt i förväg för vissa distributioner eller uppskattat från data.

Effekt av autokorrelation (seriell korrelation)

Materialet ovan, för att återigen betona poängen, gäller endast oberoende data. Däremot uppfyller verkliga data ofta inte detta krav; den är autokorrelerad (även känd som seriell korrelation). Som ett exempel kommer de successiva avläsningarna av ett mätinstrument som innehåller någon form av "utjämnande" (mer korrekt, lågpassfiltrering) process att autokorreleras, eftersom ett visst värde beräknas från någon kombination av tidigare och senare avläsningar.

Uppskattningar av variansen och standardavvikelsen för autokorrelerade data kommer att vara partiska. Det förväntade värdet på urvalsvariansen är

{\rm {E}}\left[s^{2}\ höger]=\sigma ^{2}\left[1-{\frac {2}{n-1}}\sum _{k=1}^{n-1}\left(1-{\frac {k }{n}}\right)\rho _{k}\right]

där n är provstorleken (antal mätningar) och $\rho _{k}$ är autokorrelationsfunktionen (ACF) för datan. (Observera att uttrycket inom parentes helt enkelt är ett minus den genomsnittliga förväntade autokorrelationen för avläsningarna.) Om ACF består av positiva värden kommer uppskattningen av variansen (och dess kvadratrot, standardavvikelsen) att vara lågt partisk. Det vill säga, den faktiska variabiliteten hos datan kommer att vara större än den som indikeras av en okorrigerad varians eller standardavvikelseberäkning. Det är viktigt att inse att, om detta uttryck ska användas för att korrigera för bias, genom att dividera uppskattningen $s^{2}$ med kvantiteten inom parentes ovan, så måste ACF vara känd analytiskt , inte via uppskattning från data. Detta beror på att den uppskattade ACF i sig kommer att vara partisk.

Exempel på bias i standardavvikelse

För att illustrera storleken på förspänningen i standardavvikelsen, överväg en datauppsättning som består av sekventiella avläsningar från ett instrument som använder ett specifikt digitalt filter vars ACF är känt för att ges av

\rho _{k}=(1-\alpha )^{k}

där α är parametern för filtret, och det tar värden från noll till enhet. Således är ACF positiv och geometriskt minskande.

Bias i standardavvikelse för autokorrelerade data.

Figuren visar förhållandet mellan den uppskattade standardavvikelsen och dess kända värde (som kan beräknas analytiskt för detta digitala filter), för flera inställningar av α som funktion av provstorleken n . Att ändra α ändrar variansreduktionsförhållandet för filtret, vilket är känt för att vara

{\rm {VRR}}={\frac {\alpha }{2-\alpha }}

så att mindre värden på α resulterar i mer variansreduktion, eller "utjämning". Förspänningen indikeras av värden på den vertikala axeln som skiljer sig från enhet; det vill säga, om det inte fanns någon bias skulle förhållandet mellan den uppskattade och kända standardavvikelsen vara enhet. Det är uppenbart att för blygsamma urvalsstorlekar kan det finnas betydande bias (en faktor två eller mer).

Varians av medelvärdet

Det är ofta av intresse att uppskatta variansen eller standardavvikelsen för ett uppskattat medelvärde snarare än variansen för en population. När data autokorreleras har detta en direkt effekt på den teoretiska variansen av urvalsmedelvärdet, vilket är

{\rm {Var}}\left[{\overline {x}}\right]={\frac {\sigma ^{2}}{n}}\left[1+2\summa _{k =1}^{n-1}{\left(1-{\frac {k}{n}}\right)\rho _{k}}\right].

Variansen för urvalsmedelvärdet kan sedan uppskattas genom att ersätta en uppskattning av σ ² . En sådan uppskattning kan erhållas från ekvationen för E[s ² ] som ges ovan. Definiera först följande konstanter, med antagande, återigen, en känd ACF:

\gamma _{1}\equiv 1-{\frac {2}{n-1}}\ summa _{k=1}^{n-1}{\left(1-{\frac {k}{n}}\right)}\rho _{k}

\gamma _{2}\equiv 1+2\summa _{k=1}^{n-1}{\left(1-{\frac {k }{n}}\right)}\rho _{k}

så att

{\rm {E}}\left[s^{2}\right]=\sigma ^{2}\ gamma _{1}\Rightarrow {\rm {E}}\left[{\frac {s^{2}}{\gamma _{1}}}\right]=\sigma ^{2}

Detta säger att det förväntade värdet av kvantiteten som erhålls genom att dividera den observerade provvariansen med korrektionsfaktorn $\gamma _{1}$ ger en opartisk uppskattning av variansen. På liknande sätt, om du skriver om uttrycket ovan för variansen av medelvärdet,

{\rm {Var}}\left[{\overline {x}}\right]={\frac {\sigma ^{2}}{n }}\gamma _{2}

och att ersätta uppskattningen för $\sigma ^{2}$ ger

{\rm {Var}}\left[ {\overline {x}}\right]={\rm {E}}\left[{\frac {s^{2}}{\gamma _{1}}}\left({\frac {\gamma _ {2}}{n}}\right)\right]={\rm {E}}\left[{\frac {s^{2}}{n}}\left\{{\frac {n-1 }{{\frac {n}{\gamma _{2}}}-1}}\right\}\right]

som är en opartisk estimator av variansen av medelvärdet i termer av den observerade provvariansen och kända kvantiteter. Om autokorrelationerna $\rho _{k}$ är identiskt noll, reduceras detta uttryck till det välkända resultatet för variansen av medelvärdet för oberoende data. Effekten av förväntningsoperatorn i dessa uttryck är att jämlikheten håller i medelvärdet (dvs i genomsnitt).

Uppskattning av standardavvikelsen för befolkningen

Med uttrycken ovan som involverar variansen av populationen, och en uppskattning av medelvärdet för den populationen, verkar det logiskt att helt enkelt ta kvadratroten av dessa uttryck för att få opartiska uppskattningar av respektive standardavvikelser. Men det är så att eftersom förväntningar är integraler,

{\rm {E}}[s]\neq {\sqrt {{\rm {E}}\left[s^{2}\right ]}}\neq \sigma {\sqrt {\gamma _{1}}}

Antag istället att en funktion θ existerar så att en opartisk estimator av standardavvikelsen kan skrivas

{\rm {E}}[s]=\sigma \theta {\sqrt {\gamma _{1}}}\Rightarrow { \hat {\sigma }}={\frac {s}{\theta {\sqrt {\gamma _{1}}}}}

och θ beror på provstorleken n och ACF. I fallet med NID-data (normalt och oberoende distribuerade) är radikanden enhet och θ är bara c ₄ -funktionen som ges i det första avsnittet ovan. Liksom med c _{4 närmar sig} θ enhet när provstorleken ökar (liksom γ 1 ₎ .

Det kan påvisas genom simuleringsmodellering att man ignorerar θ (det vill säga tar det för att vara enhet) och använder

{\rm {E}}[s]\approx \sigma {\sqrt {\gamma _{1}}}\Rightarrow {\hat { \sigma }}\approx {\frac {s}{\sqrt {\gamma _{1}}}}

tar bort alla utom några få procent av bias som orsakas av autokorrelation, vilket gör detta till en reducerad -bias-estimator snarare än en opartisk skattare. I praktiska mätsituationer kan denna minskning av bias vara betydande och användbar, även om en relativt liten bias kvarstår. Figuren ovan, som visar ett exempel på biasen i standardavvikelsen vs. urvalsstorleken, är baserad på denna approximation; den faktiska biasen skulle vara något större än vad som anges i dessa grafer eftersom transformationsbiasen θ inte är inkluderad där.

Uppskattning av standardavvikelsen för provmedelvärdet

Den opartiska variansen av medelvärdet i termer av populationsvariansen och ACF ges av

{\rm {Var}}\left[{\overline {x}}\right]={\frac {\sigma ^{2}}{n }}\gamma _{2}

och eftersom det inte finns några förväntade värden här, kan i detta fall kvadratroten tas, så att

\sigma _{\overline {x}}={\frac {\sigma }{\sqrt {n}}}{\sqrt {\gamma _{2}}}

Genom att använda det opartiska uppskattningsuttrycket ovan för σ blir en uppskattning av standardavvikelsen för medelvärdet då

{\hat {\sigma }}_{\overline {x}}={\frac {s}{\theta {\sqrt {n}}}} {\frac {\sqrt {\gamma _{2}}}{\sqrt {\gamma _{1}}}}

Om data är NID, så att ACF försvinner, minskar detta till

{\hat {\sigma }}_{\overline {x}}={\frac {s}{c_{4}{\sqrt {n}}}}

I närvaro av en icke-noll ACF leder ignorering av funktionen θ som tidigare till den reducerade -bias-estimatorn

{\hat {\sigma }}_{\overline {x}}\approx {\frac {s}{ \sqrt {n}}}{\frac {\sqrt {\gamma _{2}}}{\sqrt {\gamma _{1}}}}={\frac {s}{\sqrt {n}}} {\sqrt {\frac {n-1}{{\frac {n}{\gamma _{2}}}-1}}}

vilket återigen kan påvisas ta bort en användbar majoritet av partiskheten.

Se även

Douglas C. Montgomery och George C. Runger, Applied Statistics and Probability for Engineers , 3:e upplagan, Wiley and sons, 2003. (se avsnitt 7–2.2 och 16–5)

externa länkar

En interaktiv Java-grafik som visar Helmert PDF-filen från vilken bias-korrigeringsfaktorerna härleds.
Monte-Carlo simuleringsdemo för opartisk uppskattning av standardavvikelse.
http://www.itl.nist.gov/div898/handbook/pmc/section3/pmc32.htm Vad är variabelkontrolldiagram?

Den här artikeln innehåller material som är allmän egendom från National Institute of Standards and Technology .