Harmoniskt medelvärde p -värde

Det harmoniska medelvärdet p -värde (HMP) är en statistisk teknik för att lösa problemet med flera jämförelser som styr den starka familjemässiga felfrekvensen (detta påstående har ifrågasatts). Den förbättrar kraften hos Bonferroni -korrigering genom att utföra kombinerade tester, dvs genom att testa om grupper av p -värden är statistiskt signifikanta, som Fishers metod . Det undviker dock det restriktiva antagandet att p -värdena är oberoende , till skillnad från Fishers metod. Följaktligen kontrollerar den den falska positiva frekvensen när tester är beroende, på bekostnad av mindre effekt (dvs. en högre falsk negativ frekvens ) när tester är oberoende. Förutom att tillhandahålla ett alternativ till metoder som Bonferroni-korrigering som kontrollerar den stringenta familjemässiga felfrekvensen, tillhandahåller den också ett alternativ till den allmänt använda Benjamini-Hochberg-proceduren (BH) för att kontrollera den mindre stringenta falska upptäcktsfrekvensen . Detta beror på att HMP:s förmåga att upptäcka signifikanta grupper av hypoteser är större än förmågan hos BH att upptäcka signifikanta individuella hypoteser.

Det finns två versioner av tekniken: (i) direkt tolkning av HMP som ett ungefärligt p -värde och (ii) en procedur för att transformera HMP till ett asymptotiskt exakt p -värde . Tillvägagångssättet tillhandahåller en testprocedur på flera nivåer där de minsta grupperna av p -värden som är statistiskt signifikanta kan sökas.

Direkt tolkning av det harmoniska medelvärdet p -värde

Det viktade harmoniska medelvärdet av p -värdena ${\textstyle p_{1},\dots ,p_{L}}$ definieras som

{\overset {\circ }{p}}={\frac {\sum _{i=1}^{ L}w_{i}}{\sum _{i=1}^{L}w_{i}/p_{i}}},

där

{\textstyle w_{1},\dots ,w_{L}}

är vikter som måste summera till ett, dvs

{\textstyle \sum _{i =1}^{L}w_{i}=1}

. Lika vikter kan väljas, i vilket fall

{\textstyle w_{i}=1/L}

.

är det antikonservativt att tolka HMP direkt som ett p -värde, vilket betyder att frekvensen av falskt positiva är högre än förväntat. Men när HMP blir mindre, under vissa antaganden, minskar diskrepansen, så att direkt tolkning av signifikans uppnår en falsk positiv frekvens nära den som antyds för tillräckligt små värden (t.ex. p ∘ < 0,05 {\displaystyle {\ $) }{p}}<0.05}$ ).

HMP är aldrig antikonservativ med mer än en faktor ${\textstyle e\,\log L}$ för liten ${\textstyle L}$ eller ${\textstyle \log L}$ för stor ${\textstyle L}$ . Dessa gränser representerar dock värsta scenarier under godtyckligt beroende som sannolikt kommer att vara konservativa i praktiken. I stället för att tillämpa dessa gränser kan asymptotiskt exakta p -värden framställas genom att transformera HMP.

Asymptotiskt exakt harmoniskt medelvärde för p -värde

Generaliserad central gränssats visar att ett asymptotiskt exakt p -värde, ${\textstyle p_{\overset {\circ }{p}}},$ kan beräknas från HMP, ${\overset {\ circ }{p}}$ med formeln

p_{\overset {\circ }{p}}=\int _{1/{\overset {\circ }{p}}}^{\infty }f_{\textrm {Landau}}\left( x\,|\,\log L+0,874,{\frac {\pi }{2}}\right)\mathrm {d} x.

Med förbehåll för antagandena om generaliserad central gränssats , blir detta transformerade p -värde exakt när antalet tester,

{\textstyle L}

, blir stort. Beräkningen använder Landau-fördelningen , vars densitetsfunktion kan skrivas

f_{\textrm {Landau}}(x\,|\,\mu ,\sigma )={\frac {1}{\pi \sigma }}\int _{0}^{\infty }{ \textrm {e}}^{-t{\frac {(x-\mu )}{\sigma }}-{\frac {2}{\pi }}t\log t}\,\sin(2t) \,{\textrm {d}}t.

Testet implementeras av kommandot p.hmp i paketet harmonicmeanp R ; en handledning finns tillgänglig online.

På motsvarande sätt kan man jämföra HMP med en tabell med kritiska värden (tabell 1). Tabellen illustrerar att ju mindre frekvensen av falskt positiva är, och ju mindre antalet tester, desto närmare är det kritiska värdet frekvensen för falskt positiva.

Tabell 1. Kritiska värden för HMP ${\textstyle {\overset {\circ }{p}}}$ för varierande antal tester ${\textstyle L}$ och falska positiva frekvenser ${\textstyle \alpha }$ .
${\textstyle L}$	${\textstil \alpha =0,05}$	${\textstil \alpha =0,01}$	${\textstil \alpha =0,001}$
10	0,040	0,0094	0,00099
100	0,036	0,0092	0,00099
1 000	0,034	0,0090	0,00099
10 000	0,031	0,0088	0,00098
100 000	0,029	0,0086	0,00098
1 000 000	0,027	0,0084	0,00098
10 000 000	0,026	0,0083	0,00098
100 000 000	0,024	0,0081	0,00098
1 000 000 000	0,023	0,0080	0,00097

Flera tester via flernivåtestproceduren

Om HMP är signifikant på någon nivå ${\textstyle \alpha }$ för en grupp av ${\textstyle L}$ p -värden, kan man söka i alla delmängder av ${\textstyle L}$ p -värdena för den minsta signifikanta gruppen , samtidigt som den starka familjemässiga felfrekvensen bibehålls. Formellt utgör detta ett slutet testförfarande .

När ${\textstyle \alpha }$ är liten (t.ex. ${\textstyle \alpha <0,05}$ ), kontrollerar följande flernivåtest baserat på direkt tolkning av HMP den starka familjemässiga felfrekvensen på nivån ungefär ${\textstil \alpha :}$

Definiera HMP för varje delmängd ${\textstyle {\mathcal {R}}}$ av ${\textstyle L}$ p -värdena som ska vara ${\overset {\circ }{p}}_{\mathcal {R}}={\frac {\sum _{i\in {\mathcal {R}}}w_{i}}{\sum _{i\in {\mathcal {R}}}w_{i}/p_{i}}}.$
Förkasta nollhypotesen att inget av p -värdena i delmängd ${\textstyle {\mathcal {R}}}$ är signifikant om ${\textstyle {\overset {\circ }{p}}_ {\mathcal {R}}\leq \alpha \,w_{\mathcal {R}}} , där w$ R $textstyle w_{\mathcal {R}}=\summa _{i \in {\mathcal {R}}}w_{i}}$ . (Kom ihåg att per definition ${\textstyle \sum _{i=1}^{L}w_{i}=1} .$ )

En asymptotiskt exakt version av ovanstående ersätter ${\textstyle {\overset {\circ }{p}}_{\mathcal {R}}}$ i steg 2 med

p_{{\overset {\circ }{p}}_{\mathcal {R}}}=\max \left\{{\overset {\circ }{p}}_{\mathcal {R}},w_{\mathcal {R}}\ int _{w_{\mathcal {R}}/{\overset {\circ }{p}}_{\mathcal {R}}}^{\infty }f_{\textrm {Landau}}\left(x\ ,|\,\log L+0.874,{\frac {\pi }{2}}\right)\mathrm {d} x\right\},

där

{\textstyle L}

anger antalet p -värden, inte bara de i delmängden

{\textstyle {\mathcal {R}}}

.

Eftersom direkt tolkning av HMP är snabbare kan en tvåstegsprocedur användas för att identifiera delmängder av p -värden som sannolikt är signifikanta med hjälp av direkt tolkning, med förbehåll för bekräftelse med den asymptotiskt exakta formeln.

HMP:s egenskaper

HMP har en rad egenskaper som härrör från generaliserad central gränssats. Det är:

Robust till positivt beroende mellan p -värdena.
Okänslig för det exakta antalet tester, L .
Robust för viktfördelning, w .
Mest påverkad av de minsta p -värdena.

När HMP inte är signifikant, är det inte heller någon delmängd av ingående tester. Omvänt, när flernivåtestet bedömer att en delmängd av p -värden är signifikant, är HMP för alla p -värden kombinerade sannolikt signifikant; detta är säkert när HMP tolkas direkt. När målet är att bedöma signifikansen av individuella p -värden, så att kombinerade tester avseende grupper av p -värden inte är av intresse, är HMP likvärdig med Bonferroni -proceduren men föremål för den strängare signifikanströskeln ${ \textstyle \alpha _{L}<\alpha }$ (Tabell 1).

HMP antar att de individuella p -värdena har (inte nödvändigtvis oberoende) enhetliga standardfördelningar när deras nollhypoteser är sanna. Ett stort antal underpowered tester kan därför skada kraften hos HMP.

Även om valet av vikter är oviktigt för giltigheten av HMP under nollhypotesen, påverkar vikterna kraften i proceduren. Kompletterande metoder §5C av och en online handledning överväga frågan mer i detalj.

Bayesianska tolkningar av HMP

HMP skapades i analogi med Bayesiansk modellmedelvärde och kan tolkas som omvänt proportionell mot en modellberoende Bayes-faktor när man kombinerar p -värden från sannolikhetsförhållandetester .

Den harmoniska genomsnittliga tumregeln

IJ Good rapporterade ett empiriskt samband mellan Bayes-faktorn och p -värdet från ett sannolikhetsförhållandetest. För en nollhypotes ${\textstyle H_{0}}$ kapslad i en mer allmän alternativ hypotes ${\textstyle H_{A},}$ observerade han att ofta,

{\textrm {BF}}_{i}\approx {\frac {1}{\gamma \,p_{i}}}, \quad 3{\frac {1}{3}}<\gamma <30,

där

{\textstyle {\textrm {BF}}_{i}}

anger Bayes-faktorn till förmån för

{\textstyle H_{A}}

kontra

H_{0}.

Extrapolerande föreslog han en tumregel där HMP antas vara omvänt proportionell mot den modellberoende Bayes-faktorn för en samling

{\textstyle L}

-test med vanlig nollhypotes:

{\overline {\textrm {BF}}}=\sum _{i=1}^{L}w_{i}\,{\textrm {BF}}_{i}\approx \sum _{ i=1}^{L}{\frac {w_{i}}{\gamma \,p_{i}}}={\frac {1}{\gamma \,{\overset {\circ }{p} }}}.

For Good, hans tumregel stödde en utbytbarhet mellan Bayesianska och klassiska metoder för hypotestestning.

Bayesisk kalibrering av p -värden

Om fördelningarna av p -värdena under de alternativa hypoteserna följer Beta-fördelningar med parametrar ${\displaystyle \left(0<\xi _{i}<1,1\right)} ,$ en form som anses av Sellke, Bayarri och Berger, så kan den omvända proportionaliteten mellan den modellberoende Bayes-faktorn och HMP formaliseras som

{\ displaystyle {\overline {\textrm {BF}}}=\sum _{i=1}^{L}\mu _{i}\,{\textrm {BF}}_{i}=\summa _{i =1}^{L}\mu _{i}\,\xi _{i}\,p_{i}^{\xi _{i}-1}\approx {\bar {\xi }}\summa _{i=1}^{L}w_{i}\,p_{i}^{-1}={\frac {\bar {\xi }}{\overset {\circ }{p}}}, }

var

${\textstyle \mu _{i}}$ är den tidigare sannolikheten för alternativ hypotes ${\textstyle i,}$ så att ${\textstyle \sum _{i=1} ^{L}\mu _{i}=1,}$
${\textstyle \xi _{i}/(1+\xi _{i})}$ är det förväntade värdet av ${\textstyle p_{i}}$ under alternativ hypotes ${\textstyle i,}$
${\textstyle w_{i}=u_{i}/{\bar {\xi }}}$ är vikten som tillskrivs p -värde ${\textstyle i,}$
${\textstyle u_{i}=\left(\mu _{i}\,\xi _{i}\right)^{1/( 1-\xi _{i})}}$ införlivar den tidigare modellens sannolikheter och potenser i vikterna, och
${\textstyle {\bar {\xi }}=\sum _{i=1}^{L}u_{i}} normaliserar$ vikterna.

Approximationen fungerar bäst för väldrivna tester ( ${\displaystyle \xi _{i}\ll 1} )$ .

Det harmoniska medelvärdet av p -värdet som en gräns för Bayes-faktorn

För sannolikhetsförhållandetester med exakt två frihetsgrader, innebär Wilks sats att ${\textstyle p_{i}=1/R_{i}} ,$ där ${\textstyle R_{i}}$ är det maximerade sannolikhetsförhållandet till förmån för alternativ hypotes ${\textstyle i,}$ och därför ${\textstyle {\overset {\circ }{p}}=1/{\bar {R} }}$ , där ${\textstyle {\bar {R}}}$ är det viktade genomsnittliga maximerade sannolikhetsförhållandet, med hjälp av vikter ${\textstyle w_{1},\dots ,w_{L}.}$ Eftersom ${\textstyle R_{i}}$ är en övre gräns för Bayes-faktorn, ${\textstyle {\textrm {BF}}_ {i}}$ , sedan ${\textstyle 1/{\overset {\circ }{p}}}$ är en övre gräns för den modellberoende Bayes-faktorn:

{\overline {\textrm {BF}}}\leq {\frac {1}{\overset {\circ }{p}}}.

Medan ekvivalensen endast gäller för två frihetsgrader, är förhållandet mellan

{\textstyle {\overset {\circ }{p}}}

och

{\textstyle {\bar {R}},}

och därför

{\textstyle {\overline {\textrm {BF}}},}

beter sig på liknande sätt för andra frihetsgrader.

Under antagandet att fördelningarna av p -värdena under de alternativa hypoteserna följer Beta-fördelningar med parametrar $\left(1,\kappa _{i}>1\right),$ och att vikterna $w_{i}=\mu _{i},$ ger HMP en snävare övre gräns för den modellgenomsnittliga Bayes-faktorn:

{\overline {\textrm {BF}}}\leq {\frac {1}{e\,{\overset {\circ }{p}}}},

ett resultat som återigen reproducerar den omvända proportionaliteten av Goods empiriska förhållande.

^ ^a ^b ^c Good, IJ (1958). "Betydlighetstester parallellt och i serie". Journal of the American Statistical Association . 53 (284): 799–813. doi : 10.1080/01621459.1958.10501480 . JSTOR 2281953 .
^ ^a ^b ^c ^d ^e ^f ^g ^h ⁱ ^j ^k ^l ^m ⁿ Wilson, DJ (2019). "Det harmoniska medelvärdet p -värde för att kombinera beroende tester" . Proceedings of the National Academy of Sciences USA . 116 (4): 1195–1200. doi : 10.1073/pnas.1814092116 . PMC 6347718 . PMID 30610179 .
^ ^a ^b ^c Vovk, Vladimir ; Wang, Ruodu (25 april 2019). "Kombinera p-värden via medelvärdesberäkning" (PDF) . Algoritmiskt lärande i en slumpmässig värld .
^ Goeman, Jelle J.; Rosenblatt, Jonathan D.; Nichols, Thomas E. (2019-11-19). "Det harmoniska medelvärdet av p-värdet: Stark kontra svag kontroll och antagandet om oberoende" . Proceedings of the National Academy of Sciences . 116 (47): 23382–23383. doi : 10.1073/pnas.1909339116 . ISSN 0027-8424 . PMC 6876242 . PMID 31662466 .
^ Fisher, RA (1934). Statistiska metoder för forskare (5:e upplagan). Edinburgh, Storbritannien: Oliver och Boyd.
^ Benjamini Y, Hochberg Y (1995). "Kontrollera den falska upptäcktsfrekvensen: En praktisk och kraftfull metod för flera tester". Journal of the Royal Statistical Society. Serie B (metodologisk) . 57 (1): 289–300. doi : 10.1111/j.2517-6161.1995.tb02031.x . JSTOR 2346101 .
^ Marcus R, Eric P, Gabriel KR (1976). "Om slutna testprocedurer med särskild hänvisning till beställd variansanalys". Biometrika . 63 (3): 655–660. doi : 10.1093/biomet/63.3.655 . JSTOR 2335748 .
^ Wilson, Daniel J (17 augusti 2019). "Uppdaterad korrigering till "Det harmoniska medelvärdet för p-värde för att kombinera oberoende tester" " ( PDF ) .
^ Bra, IJ (1984). "C192. En svans mot två svansar, och den harmoniska tumregeln". Journal of Statistical Computation and Simulation . 19 (2): 174–176. doi : 10.1080/00949658408810727 .
^ Bra, IJ (1984). "C193. Parade kontra oparade jämförelser och tumregeln för harmoniskt medelvärde". Journal of Statistical Computation and Simulation . 19 (2): 176–177. doi : 10.1080/00949658408810728 .
^ Bra, IJ (1984). "C213. En skärpning av tumregeln för harmonisk medelvärde för att kombinera tester "parallellt" " . Journal of Statistical Computation and Simulation . 20 (2): 173–176. doi : 10.1080/00949658408810770 .
^ Bra, IJ (1984). "C214. Tumregeln för harmoniskt medelvärde: Vissa applikationsklasser". Journal of Statistical Computation and Simulation . 20 (2): 176–179. doi : 10.1080/00949658408810771 .
^ Bra, Irving John. (2009). Bra tänkande: grunderna för sannolikhet och dess tillämpningar . Dover Publikationer. ISBN 9780486474380 . OCLC 319491702 .
^ Sellke, Thomas; Bayarri, M.J; Berger, James O (2001). "Kalibrering av p-värden för att testa exakta nollhypoteser". Den amerikanska statistikern . 55 (1): 62–71. doi : 10.1198/000313001300339950 . ISSN 0003-1305 . S2CID 396772 .
^ Wilson, DJ (2019). "Svar till Held: När är ett harmoniskt medelvärde p -värde en Bayes-faktor?" (PDF) . Proceedings of the National Academy of Sciences USA . 116 (13): 5857–5858. doi : 10.1073/pnas.1902157116 . PMC 6442550 . PMID 30890643 .
^ Held, L (2019). "Om den Bayesianska tolkningen av det harmoniska medelvärdet p -värde" . Proceedings of the National Academy of Sciences USA . 116 (13): 5855–5856. doi : 10.1073/pnas.1900671116 . PMC 6442579 . PMID 30890644 .

[:0-1] Good, IJ (1958). "Betydlighetstester parallellt och i serie". Journal of the American Statistical Association . 53 (284): 799–813. doi : 10.1080/01621459.1958.10501480 . JSTOR 2281953 .

[:1-2] ^ ^a ^b ^c ^d ^e ^f ^g ^h ⁱ ^j ^k ^l ^m ⁿ Wilson, DJ (2019). "Det harmoniska medelvärdet p -värde för att kombinera beroende tester" . Proceedings of the National Academy of Sciences USA . 116 (4): 1195–1200. doi : 10.1073/pnas.1814092116 . PMC 6347718 . PMID 30610179 .

[:2-3] Vovk, Vladimir ; Wang, Ruodu (25 april 2019). "Kombinera p-värden via medelvärdesberäkning" (PDF) . Algoritmiskt lärande i en slumpmässig värld .

[4] Goeman, Jelle J.; Rosenblatt, Jonathan D.; Nichols, Thomas E. (2019-11-19). "Det harmoniska medelvärdet av p-värdet: Stark kontra svag kontroll och antagandet om oberoende" . Proceedings of the National Academy of Sciences . 116 (47): 23382–23383. doi : 10.1073/pnas.1909339116 . ISSN 0027-8424 . PMC 6876242 . PMID 31662466 .

[5] Fisher, RA (1934). Statistiska metoder för forskare (5:e upplagan). Edinburgh, Storbritannien: Oliver och Boyd.

[6] Benjamini Y, Hochberg Y (1995). "Kontrollera den falska upptäcktsfrekvensen: En praktisk och kraftfull metod för flera tester". Journal of the Royal Statistical Society. Serie B (metodologisk) . 57 (1): 289–300. doi : 10.1111/j.2517-6161.1995.tb02031.x . JSTOR 2346101 .

[7] Marcus R, Eric P, Gabriel KR (1976). "Om slutna testprocedurer med särskild hänvisning till beställd variansanalys". Biometrika . 63 (3): 655–660. doi : 10.1093/biomet/63.3.655 . JSTOR 2335748 .

[8] Wilson, Daniel J (17 augusti 2019). "Uppdaterad korrigering till "Det harmoniska medelvärdet för p-värde för att kombinera oberoende tester" " ( PDF ) .

[9] Bra, IJ (1984). "C192. En svans mot två svansar, och den harmoniska tumregeln". Journal of Statistical Computation and Simulation . 19 (2): 174–176. doi : 10.1080/00949658408810727 .

[10] Bra, IJ (1984). "C193. Parade kontra oparade jämförelser och tumregeln för harmoniskt medelvärde". Journal of Statistical Computation and Simulation . 19 (2): 176–177. doi : 10.1080/00949658408810728 .

[11] Bra, IJ (1984). "C213. En skärpning av tumregeln för harmonisk medelvärde för att kombinera tester "parallellt" " . Journal of Statistical Computation and Simulation . 20 (2): 173–176. doi : 10.1080/00949658408810770 .

[12] Bra, IJ (1984). "C214. Tumregeln för harmoniskt medelvärde: Vissa applikationsklasser". Journal of Statistical Computation and Simulation . 20 (2): 176–179. doi : 10.1080/00949658408810771 .

[13] Bra, Irving John. (2009). Bra tänkande: grunderna för sannolikhet och dess tillämpningar . Dover Publikationer. ISBN 9780486474380 . OCLC 319491702 .

[14] Sellke, Thomas; Bayarri, M.J; Berger, James O (2001). "Kalibrering av p-värden för att testa exakta nollhypoteser". Den amerikanska statistikern . 55 (1): 62–71. doi : 10.1198/000313001300339950 . ISSN 0003-1305 . S2CID 396772 .

[:3-15] Wilson, DJ (2019). "Svar till Held: När är ett harmoniskt medelvärde p -värde en Bayes-faktor?" (PDF) . Proceedings of the National Academy of Sciences USA . 116 (13): 5857–5858. doi : 10.1073/pnas.1902157116 . PMC 6442550 . PMID 30890643 .

[16] Held, L (2019). "Om den Bayesianska tolkningen av det harmoniska medelvärdet p -värde" . Proceedings of the National Academy of Sciences USA . 116 (13): 5855–5856. doi : 10.1073/pnas.1900671116 . PMC 6442579 . PMID 30890644 .