Behrens–Fisher problem

Olöst problem i statistiken :

Är en approximation analog med Fishers argument nödvändig för att lösa Behrens-Fisher-problemet?

(fler olösta problem i statistiken)

I statistiken är Behrens –Fisher-problemet , uppkallat efter Walter Behrens och Ronald Fisher , problemet med intervalluppskattning och hypotestestning som rör skillnaden mellan medelvärdena för två normalfördelade populationer när varianserna för de två populationerna inte antas vara lika , baserat på två oberoende urval.

Specifikation

En svårighet med att diskutera Behrens–Fisher-problemet och föreslagna lösningar är att det finns många olika tolkningar av vad som menas med "Behrens–Fisher-problemet". Dessa skillnader involverar inte bara vad som räknas som en relevant lösning, utan även det grundläggande uttalandet av sammanhanget som beaktas.

Sammanhang

Låt X ₁ , ..., X _n och Y ₁ , ..., Y _m vara iidprover från två populationer som båda kommer från samma plats-skala familj av distributioner. Skalparametrarna antas vara okända och inte nödvändigtvis lika, och problemet är att bedöma om platsparametrarna rimligen kan behandlas som lika. Lehmann konstaterar att "Behrens–Fisher-problemet" används både för denna allmänna form av modell när familjen av distributioner är godtycklig och för när begränsningen till en normalfördelning görs. Medan Lehmann diskuterar ett antal tillvägagångssätt för det mer allmänna problemet, huvudsakligen baserat på icke-parametriska, verkar de flesta andra källor använda "Behrens–Fisher-problemet" för att endast referera till det fall där fördelningen antas vara normal: det mesta av denna artikel gör detta antagande.

Krav på lösningar

Lösningar på Behrens-Fisher-problemet har presenterats som använder sig av antingen en klassisk eller en Bayesiansk slutledningssynpunkt och båda lösningarna skulle vara teoretiskt ogiltiga bedömda från den andra synvinkeln. Om hänsyn begränsas till enbart klassisk statistisk slutledning, är det möjligt att söka lösningar på slutledningsproblemet som är enkla att tillämpa i praktisk mening, med företräde åt denna enkelhet framför eventuella felaktigheter i motsvarande sannolikhetssatser. Om det krävs exakta signifikansnivåer för statistiska tester kan det finnas ett ytterligare krav på att proceduren ska utnyttja den statistiska informationen i datamängden maximalt. Det är välkänt att ett exakt test kan erhållas genom att slumpmässigt kassera data från den större datamängden tills urvalsstorlekarna är lika, sammanställa data i par och ta skillnader, och sedan använda ett vanligt t-test för att testa om medelskillnaden är noll: detta skulle helt klart inte vara "optimalt" i någon mening.

Uppgiften att specificera intervalluppskattningar för detta problem är en där ett frekventistiskt tillvägagångssätt inte ger en exakt lösning, även om vissa uppskattningar finns tillgängliga. Standard Bayesianska metoder ger inte heller ett svar som kan uttryckas som enkla enkla formler, men moderna beräkningsmetoder för Bayesiansk analys tillåter i huvudsak exakta lösningar att hittas. Således studie av problemet kan användas för att klargöra skillnaderna mellan de frekventistiska och Bayesianska metoderna för intervalluppskattning.

Översikt över olika tillvägagångssätt

Behrens och Fisher närmar sig

Ronald Fisher introducerade 1935 fiducial inferens för att tillämpa den på detta problem. Han hänvisade till en tidigare artikel av Walter Ulrich Behrens från 1929. Behrens och Fisher föreslog att man skulle hitta sannolikhetsfördelningen för

$T\equiv {{\bar {x}}_{1}-{\bar {x}}_{ 2} \över {\sqrt {s_{1}^{2}/n_{1}+s_{2}^{2}/n_{2}}}}$

där ${\bar {x}}_{1}$ och ${\bar {x}}_{2}$ är de två exempelmedelvärdena och s ₁ och s ₂ är deras standardavvikelser . Se Behrens–Fisher distribution . Fisher approximerade fördelningen av detta genom att ignorera den slumpmässiga variationen av de relativa storlekarna på standardavvikelserna,

${s_{1}/{\sqrt {n_{1}}} \över {\sqrt {s_{1}^{2}/n_{1}+s_{2}^{2}/n_{ 2}}}}.$

Fishers lösning väckte kontroverser eftersom den inte hade egenskapen att hypotesen om lika medel skulle förkastas med sannolikhet α om medlen i själva verket var lika. Många andra metoder för att behandla problemet har föreslagits sedan dess, och effekten på de resulterande konfidensintervallen har undersökts.

Welchs ungefärliga t lösning

Huvudartiklar: Welchs t-test och Welch–Satterthwaite-ekvationen

En mycket använd metod är den av BL Welch , som liksom Fisher var vid University College London . Variansen av medelskillnaden

${\bar {d}}={\bar {x}}_{1}-{\bar {x}}_{2}$

resulterar i

$s_{\bar {d}}^{2}={\frac {s_{1}^{2}}{n_{1}}}+{\frac {s_{2}^{2}} {n_{2}}}.$

Welch (1938) approximerade fördelningen av $s_{\bar {d}}^{2}$ med Pearson-fördelningen av typ III (en skalad chi-kvadratfördelning ) vars första två moment överensstämmer med den för $s_{\bar {d}}^{2}$ . Detta gäller för följande antal frihetsgrader (df), som vanligtvis inte är heltal:

$\nu \approx {(\gamma _{1}+\gamma _{2})^{2} \över \gamma _{1}^{2}/(n_{1}-1)+\ gamma _{2}^{2}/(n_{2}-1)}\quad {\text{ där }}\gamma _{i}=\sigma _{i}^{2}/n_{i} .$

Under nollhypotesen om lika förväntningar, μ ₁ = μ ₂ , kan fördelningen av Behrens–Fisher-statistiken T , som också beror på varianskvoten σ ₁ ² / σ ₂ ² , nu approximeras med Students t-fördelning med dessa ν grader av frihet. Men detta ν innehåller populationsvarianserna σ _i ² , och dessa är okända. Följande uppskattning ersätter bara populationsvarianserna med urvalsvarianserna:

${\hat {\nu }}\approx {\frac {(g_{1}+g_{2})^{2}}{g_{1}^{2}/(n_{1}-1 )+g_{2}^{2}/(n_{2}-1)}}\quad {\text{ där }}g_{i}=s_{i}^{2}/n_{i}.$

Denna ${\hat {\nu }}$ är en slumpvariabel. En t-fördelning med ett slumpmässigt antal frihetsgrader existerar inte. Ändå kan Behrens–Fisher T jämföras med en motsvarande kvantil av Students t-fördelning med dessa uppskattade antal frihetsgrader, ${\displaystyle {\hat {\nu }}} ,$ som i allmänhet inte är heltal. På detta sätt beräknas gränsen mellan acceptans- och förkastningsregionen för teststatistiken T baserat på de empiriska varianserna s _i ² , på ett sätt som är en jämn funktion av dessa.

Denna metod ger inte heller exakt den nominella räntan, men ligger i allmänhet inte för långt borta. Men om populationsvarianserna är lika, eller om urvalen är ganska små och populationsvarianserna kan antas vara ungefär lika, är det mer korrekt att använda Students t-test .

Exakt metod: Testet

Testet är att ta itu med det berömda Behrens-Fisher-problemet, det vill säga att jämföra skillnaden mellan medelvärdena för två normalfördelade populationer när varianserna för de två populationerna inte antas vara lika, baserat på två oberoende stickprov.

Testet är utvecklat som ett Exakt-test , vilket möjliggör ojämna urvalsstorlekar och ojämna varianser för två populationer. Den exakta egenskapen håller fortfarande även med liten extremt liten och obalanserad urvalsstorlek (t.ex. ${\displaystyle n_{1}=5,n_{2}=50} )$ .

Te-statistiken för att testa om medelvärdena är olika kan beräknas enligt följande:

Låt $X=[X_{1},X_{2},\ldots ,X_{m}]^{T}$ och $Y=[Y_{1},Y_{2},\ldots ,Y_{n}]^{T}$ vara iid-sampelvektorerna ( ${ \displaystyle m>n}$ ) från $N(\mu _{1},\sigma _{1}^{2})$ och $N(\mu _{2},\sigma _{2}^{2})$ separat.

Låt $(P^{T})_{n\times n}$ vara en $n\times n$ ortogonal matris vars element i den första raden alla är $1/{\sqrt {n}}$ , på samma sätt, låt $(Q^{T})_{n\times m}$ vara de första n raderna av en $m\times m$ ortogonal matris (vars element i den första raden alla är ${\displaystyle 1/{\sqrt {m}}} )$ .

Sedan $Z:=(Q^{T})_{n\ gånger m}X/{\sqrt {m}}-(P^{T})_{n\ gånger n}Y/{\sqrt {n}}$ är en n-dimensionell normal slumpmässig vektor.

$Z\sim N((\mu _{1}-\mu _{2},0,...,0)^{T},({\frac {\sigma _{1}^{2 }}{m}}+{\frac {\sigma _{2}^{2}}{n}})I_{n}).$

Av ovanstående fördelning ser vi det

$Z_{1}-(\mu _{1}-\mu _{2})\sim N(0,{\frac {\sigma _{1}^{2}}{m}}+{\frac {\sigma _{2}^{2}}{n}}),$

${\frac {\sum _{i=2}^{n }Z_{i}^{2}}{n-1}}\sim {\frac {\chi _{n-1}^{2}}{n-1}}\ gånger ({\frac {\sigma _{1}^{2}}{m}}+{\frac {\sigma _{2}^{2}}{n}})$

$Z_{1}-(\mu _{1}-\mu _{2})\perp \sum _{i=2}^{n}Z_{i}^{2}.$

$T_{e}:={\frac {Z_{1}-(\mu _{1}-\mu _{2})}{\sqrt {(\sum _{i=2}^{n }Z_{i}^{2})/n-1}}}\sim t_{n-1}.$

Andra tillvägagångssätt

Ett antal olika tillvägagångssätt för det allmänna problemet har föreslagits, av vilka några hävdar att de "löser" någon version av problemet. Bland dessa finns,

• det av Chapman 1950,
• det av Prokof'yev och Shishkin 1974,
• det av Dudewicz och Ahmed 1998.
• det av Chang Wang 2022.

I Dudewiczs jämförelse av utvalda metoder fann man att Dudewicz–Ahmed-proceduren rekommenderas för praktisk användning.

Exakta lösningar på de vanliga och generaliserade Behrens-Fisher-problemen

Under flera decennier trodde man allmänt att det inte fanns någon exakt lösning på det vanliga Behrens-Fisher-problemet. Men det bevisades 1966 att det har en exakt lösning. Under 2018 bevisades sannolikhetstäthetsfunktionen för en generaliserad Behrens–Fisher-fördelning av m medelvärden och m distinkta standardfel från m urval av distinkta storlekar från oberoende normalfördelningar med distinkta medelvärden och varianser och artikeln undersökte också dess asymptotiska approximationer. En uppföljningsrapport visade att det klassiska parade t -testet är ett centralt Behrens–Fisher-problem med en populationskorrelationskoefficient som inte är noll och härledde dess motsvarande sannolikhetstäthetsfunktion genom att lösa dess associerade icke-centrala Behrens–Fisher-problem med en population som inte är noll korrelationskoefficient. Det löste också ett mer allmänt icke-centralt Behrens–Fisher-problem med en populationskorrelationskoefficient som inte var noll i bilagan.

Varianter

En mindre variant av Behrens–Fisher-problemet har studerats. I det här fallet är problemet, om man antar att de två populationsmedlen faktiskt är desamma, att dra slutsatser om det gemensamma medelvärdet: man kan till exempel kräva ett konfidensintervall för det gemensamma medelvärdet.

Generaliseringar

En generalisering av problemet involverar multivariat normalfördelning med okända kovariansmatriser, och är känt som det multivariata Behrens–Fisher-problemet .

Det icke-parametriska Behrens–Fisher-problemet antar inte att fördelningarna är normala. Testerna inkluderar Cucconi-testet 1968 och Lepage-testet 1971.

Anteckningar

• Behrens, WU (1929). "Ein Beitrag zur Fehlerberechnung bei wenigen Beobachtungen" [ Ett bidrag till feluppskattning med få observationer]. Landwirtschaftliche Jahrbücher . Berlin: Wiegandt och Hempel. 68 : 807–37.
•   Belloni, A.; Didier, G. (2008). "Om Behrens-Fisher-problemet: En globalt konvergent algoritm och en studie med ändligt urval av Wald-, LR- och LM-testerna". Annals of Statistics . 36 (5): 2377–2408. arXiv : 0811.0672 . doi : 10.1214/07-AOS528 . S2CID 15968707 .
•   Chang, CH; Pal, N (2008). "Ett återbesök av Behrens–Fisher-problemet: Jämförelse av fem testmetoder". Kommunikation i statistik - Simulering och beräkning . 37 (6): 1064–1085. doi : 10.1080/03610910802049599 . S2CID 32811488 .
• Dudewicz, EJ; Ahmed, SU (1998). "Ny exakt och asymptotiskt optimal lösning på Behrens–Fisher-problemet, med tabeller". American Journal of Mathematical and Management Sciences . 18 (3–4): 359–426. doi : 10.1080/01966324.1998.10737471 .
• Dudewicz, EJ; Ahmed, SU (1999). "Nya exakta och asymptotiskt optimala heteroskedastiska statistiska procedurer och tabeller, II" . American Journal of Mathematical and Management Sciences . 19 (1–2): 157–180. doi : 10.1080/01966324.1999.10737478 .
• Dudewicz, EJ; Maj.; Mai, SE; Su, H. (2007). "Exakta lösningar på Behrens-Fisher-problemet: Asymptotiskt optimalt och ändligt urval effektivt val bland". Journal of Statistical Planning and Inference . 137 (5): 1584–1605. doi : 10.1016/j.jspi.2006.09.007 .
• Fisher, RA (1935). "The fiducial argument in statistical inferens". Annals of Eugenics . 8 (4): 391–398. doi : 10.1111/j.1469-1809.1935.tb02120.x . hdl : 2440/15222 .
• Fisher, RA (1941). "Den asymptotiska inställningen till Behrens' integral med ytterligare tabeller för d-testet av signifikans". Annals of Eugenics . 11 : 141–172. doi : 10.1111/j.1469-1809.1941.tb02281.x .
• Fraser, DAS; Rousseau, J. (2008). "Studentisering och härledning av korrekta p-värden" . Biometrika . 95 (1): 1–16. doi : 10.1093/biomet/asm093 .
•     Lehmann, EL (1975) Nonparametrics: Statistical Methods Based on Ranks , Holden-Day ISBN 0-8162-4996-6 , McGraw-Hill ISBN 0-07-037073-7
• Ruben, H. (2002) "En enkel konservativ och robust lösning av Behrens–Fisher-problemet", Sankhyā : The Indian Journal of Statistics , Series A, 64 (1),139–155.
• Pardo, JA; Pardo, MD (2007). "En simuleringsstudie av en ny familj av teststatistik för Behrens–Fisher-problemet". Kybernetes . 36 (5–6): 806–816. doi : 10.1108/03684920710749866 .
• Sawilowsky, Shlomo S (2002). "Fermat, Schubert, Einstein och Behrens–Fisher: Den troliga skillnaden mellan två medel när σ ₁ ≠ σ ₂ " . Journal of Modern Applied Statistical Methods . 1 (2). doi : 10.22237/jmasm/1036109940 .
•   Welch, BL (1938). " Betydelsen av skillnaden mellan två medel när populationsvariationerna är ojämna". Biometrika . 29 (3/4): 350–62. doi : 10.2307/2332010 . JSTOR 2332010 .
•    Welch, BL (1947), "Generaliseringen av "Students" problem när flera olika populationsvariationer är involverade", Biometrika , 34 (1–2): 28–35, doi : 10.1093/biomet/34.1-2.28 , MR 0019277 , PMID 20287819
• Voinov, V.; Nikulin, M. (1995). "Om problemet med medel för viktade normalpopulationer". Questiio . 19 (2): 7–20.
• Zheng, SR; Shi, NZ; Ma, WQ (2010). "Statistisk slutsats om skillnad eller förhållande mellan medel från heteroskedastiska normala populationer". Journal of Statistical Planning and Inference . 140 (5): 1236–1242. doi : 10.1016/j.jspi.2009.11.010 .

externa länkar

• Dong, BL (2004) The Behrens–Fisher Problem: An Empirical Likelihood Approach Econometrics Working Paper EWP0404, University of Victoria