Nästan säker hypotestestning

I statistiken använder nästan säker hypotestestning eller som hypotestestning nästan säker konvergens för att bestämma giltigheten av en statistisk hypotes med sannolikhet ett. Detta är att säga att närhelst nollhypotesen är sann, kommer ett as-hypotestest inte att förkasta nollhypotesen wp 1 för alla tillräckligt stora urval. På liknande sätt, närhelst den alternativa hypotesen är sann, kommer ett som hypotestest att förkasta nollhypotesen med sannolikhet ett, för alla tillräckligt stora urval. På liknande sätt innehåller ett as- konfidensintervall så småningom parametern av intresse med sannolikhet 1. Dembo och Peres (1994) bevisade förekomsten av nästan säkra hypotestest.

Beskrivning

För enkelhetens skull, antag att vi har en sekvens av oberoende och identiskt fördelade normala slumpvariabler, ${\displaystyle \textstyle x_{i}\sim N(\mu ,1)} ,$ med medelvärde $\textstyle \mu$ , och enhetsvarians. Antag att naturen eller simuleringen har valt det sanna medelvärdet att vara $\textstyle \mu _{0}$ , då ges sannolikhetsfördelningsfunktionen för medelvärdet, $\textstyle \mu$ , av

\Pr(\mu \leq t)=[t\in [\mu _{0},+\infty ]]

där ett Iverson-fäste har använts. Ett naivt tillvägagångssätt för att uppskatta denna fördelningsfunktion skulle vara att ersätta sant medelvärde på höger sida med en uppskattning som exempelmedelvärdet, ${\displaystyle \textstyle {\hat {\mu }}} ,$ men

{\ start{aligned}&\operatörsnamn {E} \left[t\in \left[{\widehat {\mu }},+\infty \right]\right]=\Pr({\widehat {\mu }}\ leq t)\\[4pt]={}&\Phi ({\sqrt {n}}(t-\mu _{0}))\högerpil \Pr(\mu \leq t)-0,5[\mu _ {0}=t]\end{aligned}}

vilket innebär att approximationen till den sanna fördelningsfunktionen kommer att vara avstängd med 0,5 vid det sanna medelvärdet. ${\displaystyle \textstyle \left[{\widehat {\mu }},+\infty \right]} är$ dock inget mer än ett ensidigt 50 % konfidensintervall; mer allmänt, låt $\textstyle Z_{\alpha _{n}}$ vara det kritiska värdet som används i en ensidig $\textstyle 1-\alpha _{n}$ konfidensintervall alltså

\operatörsnamn {E} \left[t \in \left[{\hat {\mu }}-{\frac {Z_{\alpha _{n}}}{\sqrt {n}}},+\infty \right]\right]\rightarrow \Pr (\mu \leq t)-\lim _{n\högerpil +\infty }\alpha _{n}[\mu _{0}=t]

Om vi sätter $\textstyle \alpha _{n}=0,05$ så reduceras approximationsfelet från 0,5 till 0,05, vilket är en faktor på 10. Naturligtvis, om vi låter $\textstyle \alpha _{n}\högerpil 0$ , sedan

\operatörsnamn {E} \left[t\in \left[{\widehat {\mu }} -{\frac {Z_{\alpha _{n}}}{\sqrt {n}}},+\infty \right]\right]\rightarrow \Pr(\mu \leq t)

Detta visar dock bara att förväntan ligger nära gränsvärdet. Naaman (2016) visade att inställning av signifikansnivån till $\textstyle \alpha _{n}=n^{-p}$ med $\textstyle p>1$ resultat i ett ändligt antal typ I- och typ II-fel wp1 under ganska milda regularitetsförhållanden. Detta betyder att för varje $\textstyle t$ finns det en ${\displaystyle \textstyle N(t)} ,$ så att för alla $\textstyle n>N (t)$ ,

\left[t\in \left[{\widehat {\mu }}-{\frac {Z_{ \alpha _{n}}}{\sqrt {n}}},+\infty \right]\right]=\Pr(\mu \leq t)

där likheten håller wp 1. Så indikatorfunktionen för ett ensidigt som konfidensintervall är en bra approximation till den sanna fördelningsfunktionen.

Ansökningar

Valfritt stopp

Anta till exempel att en forskare utförde ett experiment med en provstorlek på 10 och hittade inget statistiskt signifikant resultat. Anta sedan att hon bestämde sig för att lägga till ytterligare en observation och testa om att fortsätta denna process tills ett signifikant resultat hittades. I det här scenariot, givet att den initiala omgången av 10 observationer resulterade i ett obetydligt resultat, kan sannolikheten för att experimentet kommer att stoppas vid någon ändlig urvalsstorlek, $N_{s}$ , begränsas med Booles olikhet

\Pr(N_{s}<+\infty )<\summa _{n=11}^{+\infty }\ alfa _{n}<0.0952

där $\alpha _{n}=n^{-2}$ . Detta kan jämföras positivt med testning av fast signifikansnivå som har en ändlig stopptid med sannolikhet ett; denna gräns kommer dock inte att vara meningsfull för alla sekvenser av signifikansnivå, eftersom summan ovan kan vara större än en (inställningen $\alpha _{n}=n^{-1.2}$ skulle vara ett exempel). Men även med den bandbredden, om testet gjordes i omgångar om 10, då

\Pr \left(N_{s}<+\infty \right)<\sum \limits _{i= 2}^{\infty }\left(10i\right)^{-1.2}<0.3

vilket resulterar i en relativt stor sannolikhet att processen aldrig tar slut.

Publikationsbias

Som ett annat exempel på kraften i detta tillvägagångssätt, om en akademisk tidskrift bara accepterar artiklar med p-värden mindre än 0,05, så skulle ungefär 1 av 20 oberoende studier av samma effekt hitta ett signifikant resultat när det inte fanns något. Men om tidskriften krävde en minsta urvalsstorlek på 100 och en maximal signifikansnivå ges av ${\displaystyle \alpha _{n}<n^{-1.2}} ,$ skulle man förvänta sig ungefär 1 i 250 studier skulle finna en effekt när det inte fanns någon (om den minsta urvalsstorleken var 30 skulle den fortfarande vara 1 av 60). Om den maximala signifikansnivån gavs av ${\displaystyle \alpha _{n}<n^{-2}} ($ vilket kommer att ha bättre prestanda i små prov med avseende på typ I-fel när flera jämförelser är en oro), skulle man förvänta sig att ungefär 1 av 10 000 studier skulle finna en effekt när det inte fanns någon (om den minsta urvalsstorleken var 30 skulle det vara 1 av 900). Dessutom är AS-hypotestestning robust för de många jämförelserna.

Jeffreys-Lindley paradox

Lindleys paradox uppstår när

Resultatet är "signifikant" av ett frekventistiskt test, till exempel på 5%-nivån, vilket indikerar tillräckligt med bevis för att förkasta nollhypotesen, och
Den bakre sannolikheten för nollhypotesen är hög, vilket tyder på starka bevis för att nollhypotesen stämmer bättre överens med data än den alternativa hypotesen.

Paradoxen gäller dock inte som hypotesprov. Bayesianen och frekventisten kommer så småningom att komma till samma slutsats.

Se även

Naaman, Michael (2016). "Nästan säker hypotestestning och en upplösning av Jeffreys–Lindley-paradoxen". Electronic Journal of Statistics . 10 (1): 1526–1550.
Dembo, Amir; Peres, Yuval (1994). "Ett topologiskt kriterium för hypotestestning". Statistikens annaler . 22 (1): 106–117.