Chauvenets kriterium

I statistisk teori är Chauvenets kriterium (uppkallat efter William Chauvenet ) ett sätt att bedöma om en del av experimentella data - en extremvärde - från en uppsättning observationer sannolikt är falsk.

Härledning

Tanken bakom Chauvenets kriterium är att hitta ett sannolikhetsband, centrerat på medelvärdet av en normalfördelning , som rimligen borde innehålla alla n sampel av en datamängd. Genom att göra detta kan alla datapunkter från de n stickproven som ligger utanför detta sannolikhetsband betraktas som extremvärden, tas bort från datamängden och ett nytt medelvärde och standardavvikelse baserat på de återstående värdena och ny urvalsstorlek kan beräknas. Denna identifiering av extremvärdena kommer att uppnås genom att hitta antalet standardavvikelser som motsvarar gränserna för sannolikhetsbandet runt medelvärdet ( ${\displaystyle D_{\mathrm {max} }})$ och jämföra det värdet med det absoluta värdet av skillnaden mellan de misstänkta extremvärdena och medelvärdet dividerat med provets standardavvikelse (Ekv.1).

$D_{\mathrm {max} }\geq {\frac {|x-{\bar {x}}|}{s_{x}}}$

 

 

 

 

()

var

• $D_{\mathrm {max} }$ är den maximala tillåtna avvikelsen,
• $|\cdot |$ är det absoluta värdet,
• $x$ är värdet på misstänkt extremvärde,
• ${\bar {x}}$ är exempelmedelvärde och
• $s_{x}$ är exempel på standardavvikelse.

För att anses inkludera alla $n$ observationer i urvalet, måste sannolikhetsbandet (centrerat på medelvärdet) endast stå för $n-{\tfrac {1}{2} }$ sampel (om $n=3$ måste endast 2,5 av stickproven tas med i sannolikhetsbandet). I verkligheten kan vi inte ha partiella sampel så $n-{\tfrac {1}{2}}$ (2.5 för $n=3$ ) är ungefär $n$ . Allt mindre än $n-{\tfrac {1}{2}}$ är ungefär $n-1$ (2 om $n=3$ ) och är inte giltigt eftersom vi vill hitta sannolikhetsbandet som innehåller $n$ observationer, inte $n-1$ sampel. Kort sagt, vi letar efter sannolikheten, $P$ , som är lika med $n-{\tfrac {1}{2}}$ av $n$ sampel (Ekv. 2).

$P={\frac {n-{\tfrac {1}{2}}}{n}}=1-{\tfrac {1}{2n }}$

 

 

 

 

()

var

• $P$ är sannolikhetsbandet centrerat på urvalsmedelvärdet och
• $n$ är provstorleken.

Kvantiteten ${\tfrac {1}{2n}}$ motsvarar den kombinerade sannolikheten representerad av de två svansarna av normalfördelningen som faller utanför sannolikhetsbandet $P$ . För att hitta standardavvikelsenivån associerad med $P$ behöver endast sannolikheten för en av normalfördelningens svansar analyseras på grund av dess symmetri (Eq.3).

$P_{z}={\frac {1}{4n}}$

 

 

 

 

()

var

• $P_{z}$ är sannolikhet representerad av en svans av normalfördelningen och
• $n$ = provstorlek.

Ekv.1 är analog med $Z$ -poängekvationen (Ekv.4).

$Z={\frac {x-\mu }{\sigma }}$

 

 

 

 

()

var

• $Z$ är $Z$ -poängen,
• $x$ är exempelvärdet,
• $\mu =0$ är medelvärdet av standardnormalfördelning, och
• $\sigma =1$ är standardavvikelsen för standardnormalfördelningen.

Baserat på ekv.4, för att hitta $D_{\mathrm {max} }$ (Ekv.1) hitta z-poängen som motsvarar $P_{z}$ i ett $Z$ -poängtabell. $D_{\mathrm {max} }$ är lika med poängen för $P_{z}$ . Med den här metoden $D_{\mathrm {max} }$ bestämmas för vilken provstorlek som helst. I Excel $D_{\mathrm {max} }$ hittas med följande formel: =ABS(NORM.S.INV(1/(4 n ))).

Beräkning

För att tillämpa Chauvenets kriterium, beräkna först medelvärdet och standardavvikelsen för de observerade data. Baserat på hur mycket det misstänkta datumet skiljer sig från medelvärdet, använd normalfördelningsfunktionen (eller en tabell därav) för att bestämma sannolikheten för att en given datapunkt kommer att vara vid värdet av den misstänkta datapunkten. Multiplicera denna sannolikhet med antalet tagna datapunkter. Om resultatet är mindre än 0,5 kan den misstänkta datapunkten kasseras, dvs en avläsning kan avvisas om sannolikheten för att erhålla den specifika avvikelsen från medelvärdet är mindre än 1 2 n {\displaystyle { ${ 2n}}}$ .

Exempel

Anta till exempel att ett värde mäts experimentellt i flera försök som 9, 10, 10, 10, 11 och 50, och vi vill ta reda på om 50 är en extremvärde.

Först hittar vi $P_{z}$ .

$P_{z}=1-{\frac {1}{4n}}=1-{\frac { 1}{4\times 6}}=1-{\frac {1}{24}}\approx .9583$

Sedan hittar vi $D_{max}$ genom att koppla in $P_{z}$ i Quantile Function .

$D_{max}=Q(P_{z})\approx 1,7317$

Sedan hittar vi z-poängen 50.

$z={\frac {50-{\bar {x}}}{s_{x}}}={\frac {50-16,67} {16.34}}\ca 2.04$

Därifrån ser vi att $z>D_{max}$ och kan dra slutsatsen att 50 är en outlier enligt Chauvenets kriterium.

Peirces kriterium

En annan metod för att eliminera falska data kallas Peirces kriterium . Det utvecklades några år innan Chauvenets kriterium publicerades, och det är ett mer rigoröst tillvägagångssätt för rationell radering av extremdata. Andra metoder som Grubbs test för extremvärden nämns under listningen för extremvärde .

Kritik

Radering av extremdata är en kontroversiell praxis som många forskare och vetenskapsinstruktörer ogillar; medan Chauvenets kriterium tillhandahåller en objektiv och kvantitativ metod för dataavvisning, gör det inte praktiken mer vetenskapligt eller metodologiskt sund, särskilt i små uppsättningar eller där en normalfördelning inte kan antas. Avvisande av extremvärden är mer acceptabelt inom områden där den underliggande modellen för processen som mäts och den vanliga fördelningen av mätfel är säkert kända.

Bibliografi

• Taylor, John R. En introduktion till felanalys . 2:a upplagan. Sausalito, Kalifornien: University Science Books, 1997. s 166–8.
•   Barnett, Vic och Lewis, Toby. "Outliers i statistiska data". 3:e upplagan. Chichester: J.Wiley and Sons, 1994. ISBN 0-471-93094-6 .
• Aicha Zerbet, Mikhail Nikulin. En ny statistik för att upptäcka extremvärden i exponentiellt fall, Communications in Statistics: Theory and Methods, 2003, v.32, s. 573–584.