Anderson–Darling test

Anderson –Darling-testet är ett statistiskt test av huruvida ett givet urval av data dras från en given sannolikhetsfördelning . I sin grundläggande form antar testet att det inte finns några parametrar att uppskatta i den distribution som testas, i vilket fall testet och dess uppsättning kritiska värden är distributionsfritt. Testet används dock oftast i sammanhang där en familj av distributioner testas, i vilket fall måste parametrarna för den familjen uppskattas och hänsyn måste tas till detta vid justering av antingen teststatistiken eller dess kritiska värden. När den används för att testa om en normalfördelning på ett adekvat sätt beskriver en uppsättning data, är den ett av de mest kraftfulla statistiska verktygen för att upptäcka de flesta avvikelser från normalitet . K -sample Anderson–Darling-tester finns tillgängliga för att testa om flera samlingar av observationer kan modelleras som att de kommer från en enda population, där fördelningsfunktionen inte behöver specificeras.

Utöver dess användning som ett test av passform för distributioner, kan den användas i parameteruppskattning som grund för en form av minimiavståndsuppskattningsprocedur .

Testet är uppkallat efter Theodore Wilbur Anderson (1918–2016) och Donald A. Darling (1915–2014), som uppfann det 1952.

Enkelprovstestet

Anderson–Darling och Cramér–von Mises-statistiken tillhör klassen kvadratisk EDF- statistik (tester baserade på den empiriska fördelningsfunktionen) . Om den antagna fördelningen är $F$ och den empiriska (exempel) kumulativa fördelningsfunktionen är $F_{n}$ , så mäter den kvadratiska EDF-statistiken avståndet mellan $F$ och $F_{n}$ av

n\int _{-\infty }^{\infty }(F_{n} (x)-F(x))^{2}\,w(x)\,dF(x),

där $n$ är antalet element i provet, och $w(x)$ är en viktningsfunktion. När viktningsfunktionen är $w(x)=1$ , är statistiken Cramér–von Mises-statistiken . Anderson–Darling (1954) test baseras på avståndet

A^{2}=n\ int _{-\infty }^{\infty }{\frac {(F_{n}(x)-F(x))^{2}}{F(x)\;(1-F(x)) }}\,dF(x),

som erhålls när viktfunktionen är $w(x)=[F(x)\;(1-F(x) ))]^{-1}$ . Jämfört med avståndet Cramér–von Mises lägger alltså avståndet Anderson–Darling större vikt vid observationer i utbredningens svansar.

Grundläggande teststatistik

Anderson–Darling-testet bedömer om ett urval kommer från en specificerad distribution. Den använder sig av det faktum att, när man ges en hypotes underliggande fördelning och antar att data härrör från denna fördelning, kan den kumulativa distributionsfunktionen (CDF) av datan antas följa en enhetlig fördelning . Uppgifterna kan sedan testas för enhetlighet med ett avståndstest (Shapiro 1980). Formeln för teststatistik $A$ för att bedöma om data $\{Y_{1}<\cdots <Y_{n}\}$ (observera att data måste sättas i ordning) kommer från en CDF $F$ är

A^{2}=-nS\,,

var

S=\sum _{i=1}^{n}{\frac {2i-1}{n}}\left[\ln(F(Y_{i}))+\ln \left(1 -F(Y_{n+1-i})\höger)\höger].

Teststatistiken kan sedan jämföras mot de kritiska värdena för den teoretiska fördelningen. I detta fall uppskattas inga parametrar i relation till den kumulativa fördelningsfunktionen $F$ .

Tester för familjer av distributioner

I huvudsak samma teststatistik kan användas i passningstestet för en familj av distributioner, men då måste den jämföras mot de kritiska värden som är lämpliga för den familjen av teoretiska fördelningar och även beroende av metoden som används för parameteruppskattning.

Testa för normalitet

Empiriska tester har funnit att Anderson–Darling-testet inte är riktigt lika bra som Shapiro–Wilk-testet , men är bättre än andra test. Stephens fann att $A^{2}$ var en av de bästa statistiken över empiriska fördelningsfunktioner för att detektera de flesta avvikelser från normalitet.

Beräkningen skiljer sig beroende på vad som är känt om fördelningen:

Fall 0: Medelvärdet $\mu$ och variansen $\sigma ^{2}$ är båda kända.
Fall 1: Variansen $\sigma ^{2}$ är känd, men medelvärdet $\mu$ är okänt.
Fall 2: Medelvärdet $\mu$ är känt, men variansen $\sigma ^{2}$ är okänd.
Fall 3: Både medelvärdet $\mu$ och variansen $\sigma ^{2}$ är okända.

De n observationerna, $X_{i}$ , för $i=1,\ldots n$ , av variabeln $X$ måste sorteras så att $X_{1}\leq X_{2}\leq ...\leq X_{n}$ och notationen i det följande antar att X _i representerar de ordnade observationerna. Låta

{\displaystyle {\hat {\mu }}={\begin{cases}\mu ,&{\text{om medelvärdet är känt.}}\\{\bar {X}},={\frac {1 }{n}}\summa _{i=1}^{n}X_{i}&{\text{annars.}}\end{cases}}} σ ^ 2

{\hat {\sigma }}^{2}={\begin{cases}\sigma ^{2},&{\text{om variansen är känd.}}\\{\frac {1} {n}}\summa _{i=1}^{n}(X_{i}-\mu )^{2},&{\text{om variansen inte är känd, men medelvärdet är.}}\ \{\frac {1}{n-1}}\sum _{i=1}^{n}(X_{i}-{\bar {X}})^{2},&{\text{annars .}}\end{cases}}

Värdena $X_{i}$ är standardiserade för att skapa nya värden ${\displaystyle Y_{i}} ,$ givna av

Y_{i}={\frac {X_{i}-{\hat {\mu }}}{\hat {\sigma }}}.

Med standardnormal CDF $\Phi$ beräknas $\displaystyle A^{2}} med hjälp av$ {

A^{2}=-n-{\frac {1}{n}}\sum _{i=1}^{n}(2i-1)(\ln \Phi (Y_{i}) +\ln(1-\Phi (Y_{n+1-i})))).

Ett alternativt uttryck där endast en enda observation behandlas vid varje steg av summeringen är:

A^{2}=-n-{\frac {1}{n}}\sum _{i=1}^{n}\left[(2i-1)\ln \Phi (Y_{i })+(2(ni)+1)\ln(1-\Phi (Y_{i}))\höger].

En modifierad statistik kan beräknas med hjälp av

A^{*2}={\begin{cases}A^{2}\left(1+{\frac {4}{n}}-{\frac {25}{n^{2}} }\right),&{\text{om variansen och medelvärdet båda är okända.}}\\A^{2},&{\text{annars.}}\end{cases}}

Om $A^{2}$ eller $A^{*2}$ överskrider ett givet kritiskt värde, så förkastas hypotesen om normalitet med någon signifikansnivå. De kritiska värdena anges i tabellen nedan för värden på $A^{*2}$ .

Notera 1: Om ${\hat {\sigma }}$ = 0 eller någon $\Phi (Y_{i})=$ (0 eller 1) då $A^{2}$ kan inte beräknas och är odefinierad.

Not 2: Ovanstående justeringsformel är hämtad från Shorack & Wellner (1986, s239). Försiktighet krävs vid jämförelser mellan olika källor eftersom den specifika justeringsformeln ofta inte anges.

Not 3: Stephens noterar att testet blir bättre när parametrarna beräknas från data, även om de är kända.

Note 4: Marsaglia & Marsaglia ger ett mer exakt resultat för fall 0 vid 85 % och 99 %.

Fall	n	15 %	10 %	5 %	2,5 %	1 %
0	$\geq 5$	1,621	1,933	2,492	3,070	3,878
1			0,908	1,105	1,304	1,573
2	$\geq 5$		1,760	2,323	2,904	3,690
3	10	0,514	0,578	0,683	0,779	0,926
	20	0,528	0,591	0,704	0,815	0,969
	50	0,546	0,616	0,735	0,861	1,021
	100	0,559	0,631	0,754	0,884	1,047
	$\infty$	0,576	0,656	0,787	0,918	1,092

Alternativt, för fall 3 ovan (både medelvärde och varians okänd), D'Agostino (1986) i Tabell 4.7 på sid. 123 och på sidorna 372–373 ger den justerade statistiken:

A^{*2}=A^{2}\left(1+{\frac {0.75}{n}}+{\frac {2.25}{n^{2}}}\right).

och normaliteten förkastas om $A^{*2}$ överstiger 0,631, 0,754, 0,884, 1,047 eller 1,159 vid signifikansnivåer på 10 %, 5 %, 2,5 %, 1 % respektive 0,5 %; proceduren gäller för provstorlek minst n=8. Formlerna för att beräkna p -värdena för andra värden på $A^{*2}$ ges i Tabell 4.9 på sid. 127 i samma bok.

Tester för andra distributioner

Ovan antogs att variabeln $X_{i}$ testades för normalfördelning. Vilken annan familj av distributioner som helst kan testas men testet för varje familj implementeras genom att använda en annan modifiering av den grundläggande teststatistiken och detta hänvisas till kritiska värden som är specifika för den familjen av distributioner. Modifieringarna av statistiken och tabellerna över kritiska värden ges av Stephens (1986) för exponential-, extremvärde-, Weibull-, gamma-, logistisk-, Cauchy- och von Mises-fördelningarna. Tester för (två-parametrar) log-normalfördelningen kan implementeras genom att transformera data med en logaritm och använda ovanstående test för normalitet. Detaljer för de erforderliga modifieringarna av teststatistiken och för de kritiska värdena för normalfördelningen och exponentialfördelningen har publicerats av Pearson & Hartley (1972, tabell 54). Detaljer för dessa distributioner, med tillägg av Gumbel-distributionen , ges också av Shorack & Wellner (1986, s239). Detaljer för den logistiska distributionen ges av Stephens (1979). Ett test för (två parametrar) Weibull-fördelningen kan erhållas genom att utnyttja det faktum att logaritmen för en Weibull-variat har en Gumbel-fördelning .

Icke-parametriska k -prov tester

Fritz Scholz och Michael A. Stephens (1987) diskuterar ett test, baserat på Anderson–Darlings mått på överensstämmelse mellan fördelningar, för huruvida ett antal slumpmässiga urval med möjligen olika urvalsstorlekar kan ha uppstått från samma fördelning, där denna fördelning är ospecificerad. R -paketet kSamples och Python -paketet Scipy implementerar detta rangtest för att jämföra k-prover bland flera andra sådana rangtest.

För $k$ -sampel kan statistiken beräknas enligt följande under antagandet att fördelningsfunktionen $}}$ för $i$ -th samplet är kontinuerlig

A_{kN}^{2} ={\frac {1}{N}}\summa _{i=1}^{k}{\frac {1}{n_{i}}}\summa _{j=1}^{N-1} {\frac {(NM_{ij}-jn_{i})^{2}}{j(Nj)}}

var

$n_{i}$ är antalet observationer i det $i$ -e provet
$N$ är det totala antalet observationer i alla prover
$Z_{1}<...<Z_{N}$ är det sammanslagna beställda provet
$M_{ij}$ är antalet observationer i det $i$ -e provet som inte är större än $Z_{j}$ .

Se även

Vidare läsning

Corder, GW, Foreman, DI (2009). Icke-parametrisk statistik för icke-statistiker: A Step-by-Step Approach Wiley, ISBN 978-0-470-45461-9
Mehta, S. (2014) Statistikämnen ISBN 978-1499273533
Pearson ES, Hartley, HO (Redaktörer) (1972) Biometrika Tables for Statisticians , Volym II. KOPP. ISBN 0-521-06937-8 .
Shapiro, SS (1980) Hur man testar normalitet och andra fördelningsantaganden. I: ASQC:s grundläggande referenser inom kvalitetskontroll: statistiska tekniker 3, s. 1–78.
Shorack, GR, Wellner, JA (1986) Empiriska processer med tillämpningar till statistik, Wiley. ISBN 0-471-86725-X .
Stephens, MA (1979) Test of fit för den logistiska distributionen baserat på den empiriska distributionsfunktionen, Biometrika, 66(3), 591–5.

externa länkar

US NIST Handbook of Statistics