Oprecis Dirichlet-process

Inom sannolikhetsteori och statistik är Dirichlet-processen (DP) en av de mest populära Bayesianska icke-parametriska modellerna. Det introducerades av Thomas Ferguson som en tidigare över sannolikhetsfördelningar.

En Dirichlet-process $\mathrm {DP} \left(s,G_{0}\right)$ definieras helt av sina parametrar: $G_{0}$ (basen distribution eller basmått ) är en godtycklig fördelning och $s$ ( koncentrationsparametern ) är ett positivt reellt tal (det betecknas ofta som $\alpha$ ). Enligt det Bayesianska paradigmet bör dessa parametrar väljas baserat på tillgänglig tidigare information om domänen.

Frågan är: hur ska vi välja de tidigare parametrarna $\left(s,G_{0}\right)$ för DP, i synnerhet den oändliga dimensionella $G_{0}$ , vid brist på förhandsinformation?

För att ta itu med detta problem är den enda tidigare föreslagna hittills den begränsande DP som erhållits för ${\displaystyle s\rightarrow 0} ,$ som har introducerats under namnet Bayesian bootstrap av Rubin; i själva verket kan det bevisas att den Bayesianska bootstrap är asymptotiskt likvärdig med den frekventistiska bootstrap som introducerades av Bradley Efron . Den begränsande Dirichlet-processen $s\rightarrow 0$ har kritiserats på olika grunder. Ur en a-priori synvinkel är den främsta kritiken att ta $s\rightarrow 0$ är långt ifrån att leda till en icke-informativ prior. Dessutom, a-posteriori, tilldelar den noll sannolikhet till varje uppsättning som inte inkluderar observationerna.

Den oprecisa Dirichlet-processen har föreslagits för att övervinna dessa problem. Grundidén är att fixa $s>0$ men inte välja något exakt basmått $G_{0}$ .

Mer exakt definieras den oprecisa Dirichlet-processen (IDP) enligt följande:

~~\mathrm {IDP} :~\left\{\mathrm {DP} \left(s,G_{0}\right) :~~G_{0}\in \mathbb {P} \right\}

där $\mathbb {P}$ är mängden av alla sannolikhetsmått. Med andra ord, IDP är mängden av alla Dirichlet-processer (med ett fast $s>0$ ) som erhålls genom att låta basmåttet $G_{0}$ spänna över mängden av alla sannolikhetsmått .

Slutsatser med den oprecisa Dirichlet-processen

Låt $P$ en sannolikhetsfördelning på $(\mathbb {X} ,{\mathcal {B}})$ (här är $\mathbb {X}$ en standard Borel space med Borel $\sigma$ -fält ${\mathcal {B}}$ ) och antag att $P\sim \mathrm {DP} ( s,G_{0})$ . Betrakta sedan en verkligt värderad begränsad funktion $f$ definierad på $(\mathbb {X} ,{\mathcal {B}})$ . Det är välkänt att förväntan på $E[f]$ med avseende på Dirichlet-processen är

{\mathcal {E}}[E(f)]={\mathcal {E}}\left[\int f\,dP\right]=\int f\,d{\mathcal {E}} [P]=\int f\,dG_{0}.

En av de mest anmärkningsvärda egenskaperna hos DP-priorerna är att den bakre fördelningen av $P$ återigen är en DP. Låt $X_{1},\dots ,X_{n}$ vara ett oberoende och identiskt fördelat prov från $P$ och ${\ displaystyle P\sim Dp(s,G_{0})}$ , då är den bakre fördelningen av $P$ givet observationerna

{\displaystyle P

där $\delta _{X_{i}}$ är ett atomärt sannolikhetsmått (Diracs delta) centrerat vid $X_{i}$ . Följaktligen följer att ${\displaystyle {\mathcal {E}}[E(f)\mid X_{1},\dots ,X_{n}]=\int f\,dG_{n}.} Därför, för alla fasta$ G $\ displaystyle G_{0}}$ kan vi utnyttja de tidigare ekvationerna för att härleda tidigare och efterföljande förväntningar.

I IDP: n $G_{0}$ sträcka sig över uppsättningen av alla distributioner $\mathbb {P}$ . Detta innebär att vi kommer att få en annan för- och efterförväntning av $E(f)$ för alla val av $G_{0}$ . Ett sätt att karakterisera inferenser för IDP är genom att beräkna nedre och övre gränser för förväntan på $E(f)$ wt $G_{0}\in \mathbb {P}$ . A-priori dessa gränser är:

{\underline {\ mathcal {E}}}[E(f)]=\inf \limits _{G_{0}\in \mathbb {P} }\int f\,dG_{0}=\inf f,~~~~{ \overline {\mathcal {E}}}[E(f)]=\sup \limits _{G_{0}\in \mathbb {P} }\int f\,dG_{0}=\sup f,

den nedre (övre) gränsen erhålls genom ett sannolikhetsmått som sätter all massa på infimum (supremum) av $f$ , dvs. $G_{0}=\delta _{X_ {0}}$ med $X_{0}=\arg \inf f$ (eller med $X_{0}=\arg \sup f$ ). Från ovanstående uttryck för de nedre och övre gränserna kan det observeras att intervallet för ${\mathcal {E}}[E(f)]$ under IDP är detsamma som det ursprungliga intervallet för $f$ . Med andra ord, genom att specificera IDP, ger vi ingen tidigare information om värdet av förväntan på $f$ . A-priori IDP därför en modell av tidigare (nära)-okunnighet för $E(f)$ .

A-posteriori kan IDP lära sig av data. De bakre nedre och övre gränserna för förväntan på $E(f)$ ges i själva verket av:

{\begin{aligned}{\underline {\mathcal {E}}}[E(f)\mid X_{1},\dots ,X_{n}]&=\inf \limits _{G_{ 0}\in \mathbb {P} }\int f\,dG_{n}={\frac {s}{s+n}}\inf f+\int f(X){\frac {1}{s+ n}}\summa \limits _{i=1}^{n}\delta _{X_{i}}(dX)\\&={\frac {s}{s+n}}\inf f+{\ frac {n}{s+n}}{\frac {\sum \limits _{i=1}^{n}f(X_{i})}{n}},\\[6pt]{\overline { \mathcal {E}}}[E(f)\mid X_{1},\dots ,X_{n}]&=\sup \limits _{G_{0}\in \mathbb {P} }\int f \,dG_{n}={\frac {s}{s+n}}\sup f+\int f(X){\frac {1}{s+n}}\summa \limits _{i=1} ^{n}\delta _{X_{i}}(dX)\\&={\frac {s}{s+n}}\sup f+{\frac {n}{s+n}}{\frac {\sum \limits _{i=1}^{n}f(X_{i})}{n}}.\end{aligned}}

Det kan observeras att de bakre inferenserna inte beror på $G_{0}$ . För att definiera IDP behöver modelleraren bara välja $s$ (koncentrationsparametern). Detta förklarar innebörden av adjektivet nära i tidigare nästan okunnighet, eftersom IDP kräver av modelleraren att en parameter framkallas. Detta är dock ett enkelt framkallningsproblem för en icke-parametrisk prior, eftersom vi bara behöver välja värdet på en positiv skalär (det finns inte oändligt många parametrar kvar i IDP-modellen).

Slutligen, observera att för $n\rightarrow \infty$ , uppfyller IDP

{\underline {\mathcal {E }}}\left[E(f)\mid X_{1},\dots ,X_{n}\right],\quad {\overline {\mathcal {E}}}\left[E(f)\mid X_{1},\dots ,X_{n}\right]\högerpil S(f),

där $S(f)=\lim _{n\rightarrow \infty }{\tfrac {1}{n}} \sum _{i=1}^{n}f(X_{i})$ . Med andra ord är IDP konsekvent.

Nedre (röd) och övre (blå) kumulativ fördelning för observationerna {−1,17, 0,44, 1,17, 3,28, 1,44, 1,98}

Val av tidigare styrka $s$

IDP är helt specificerad av $s$ , som är den enda parametern som finns kvar i den tidigare modellen. Eftersom värdet på $s$ bestämmer hur snabbt nedre och övre posteriora förväntningar konvergerar vid ökningen av antalet observationer, kan $s$ väljas så att den matchar en viss konvergenshastighet. Parametern $s$ kan också väljas att ha några önskvärda frekventistiska egenskaper (t.ex. trovärdiga intervall som ska kalibreras frekventistintervall, hypotestest som ska kalibreras för typ I-felet, etc.), se Exempel: mediantest

Exempel: uppskattning av den kumulativa fördelningen

Låt $X_{1},\dots ,X_{n}$ vara iid reella slumpvariabler med kumulativ fördelningsfunktion $F(x)$ .

Eftersom ${\displaystyle F(x)=E[\mathbb {I} _{(\infty ,x]}]} ,$ där $\mathbb {I} _{(\infty ,x]}$ är indikatorfunktionen , vi kan använda IDP för att härleda slutsatser om $F(x).$ Det nedre och övre bakre medelvärdet av $F(x)$ är

{\begin{aligned}&{\underline {\mathcal {E}}}\left[F(x)\mid X_{1},\dots ,X_{n}\right]={\underline { \mathcal {E}}}[E(\mathbb {I} _{(\infty ,x]})\mid X_{1},\dots ,X_{n}]\\={}&{\frac { n}{s+n}}{\frac {\sum \limits _{i=1}^{n}\mathbb {I} _{(\infty ,x]}(X_{i})}{n} }={\frac {n}{s+n}}{\hat {F}}(x),\\[12pt]&{\overline {\mathcal {E}}}\left[F(x)\ mid X_{1},\dots ,X_{n}\right]={\overline {\mathcal {E}}}\left[E(\mathbb {I} _{(\infty ,x]})\mid X_{1},\dots ,X_{n}\right]\\={}&{\frac {s}{s+n}}+{\frac {n}{s+n}}{\frac { \sum \limits _{i=1}^{n}\mathbb {I} _{(\infty ,x]}(X_{i})}{n}}={\frac {s}{s+n }}+{\frac {n}{s+n}}{\hat {F}}(x).\end{aligned}}

där ${\hat {F}}(x)$ är den empiriska fördelningsfunktionen . Här, för att få den lägre, har vi utnyttjat det faktum att $\inf \mathbb {I} _{(\infty ,x]}=0$ och för den övre som $\sup \mathbb {I} _{(\infty ,x]}=1$ .

Betafördelningar för den nedre (röd) och övre (blå) sannolikheten som motsvarar observationerna {-1,17, 0,44, 1,17, 3,28, 1,44, 1,98}. Arean i [0,0,5] ger den nedre (0,891) och den övre (0,9375) sannolikheten för hypotesen "medianen är större än noll".

Observera att för alla exakta val av $G_{0}$ (t.ex. normalfördelning $\displaystyle {\mathcal {N}}(x;0,1)} )$ , posterior förväntan på $F(x)$ kommer att inkluderas mellan den nedre och övre gränsen.

Exempel: mediantest

IDP kan också användas för hypotestestning, till exempel för att testa hypotesen ${\displaystyle F(0)<0,5} ,$ dvs medianen för $F$ är större än noll. Genom att beakta partitionen $(-\infty ,0],(0,\infty )$ och egenskapen för Dirichlet-processen, kan det visas att den bakre fördelningen av $F(0)$ är

F(0)\sim \mathrm {Beta} (\alpha _{0}+n_{<0},\ beta _{0}+n-n_{<0})

där $n_{<0}$ är antalet observationer som är mindre än noll,

\alpha _{0}=s\int _{-\infty }^{0}dG_{0}

och

\beta _{0}=s\int _{0}^{\infty }dG_{0}.

Genom att utnyttja den här egenskapen följer det

{\underline {\mathcal {P}}}[F(0)<0.5\mid X_{1},\dots ,X_{n}]=\int \limits _{0 }^{0.5}\mathrm {Beta} (\theta ;s+n_{<0},n-n_{<0})d\theta =I_{1/2}(s+n_{<0},n -n_{<0}),

{\overline {\mathcal {P}}}[F(0)<0.5\mid X_{1},\dots ,X_{n}]=\int \limits _{0}^{0.5}\ mathrm {Beta} (\theta ;n_{<0},s+n-n_{<0})d\theta =I_{1/2}(n_{<0},s+n-n_{<0} ).

där $I_{x}(\alpha ,\beta )$ är den regulariserade ofullständiga betafunktionen . Vi kan alltså utföra hypotestestet

{\underline {\mathcal {P}}}[F(0)<0.5\mid X_{1},\dots ,X_{n}]>1-\gamma ,~~{\overline {\mathcal {P}}}[ F(0)<0,5\mid X_{1},\dots ,X_{n}]>1-\gamma ,

(med $1-\gamma =0,95$ till exempel) och sedan

om båda olikheterna är uppfyllda kan vi deklarera att $F(0)<0.5$ med sannolikhet större än $1-\gamma$ ;
om bara en av ojämlikheterna är uppfyllda (vilket nödvändigtvis måste vara den för den övre), är vi i en obestämd situation, dvs vi kan inte bestämma oss;
om båda inte är uppfyllda kan vi förklara att sannolikheten för att $F(0)<0,5$ är lägre än den önskade sannolikheten på $1-\gamma$ .

IDP returnerar ett obestämt beslut när beslutet är tidigare beroende (det vill säga när det skulle bero på valet av ${\displaystyle G_{0}} )$ .

Genom att utnyttja sambandet mellan den kumulativa fördelningsfunktionen för Beta-fördelningen och den kumulativa fördelningsfunktionen för en slumpvariabel Z från en binomialfördelning , där "sannolikheten för framgång" är p och urvalsstorleken är n :

F(k ;n,p)=\Pr(Z\leq k)=I_{1-p}(nk,k+1)=1-I_{p}(k+1,nk),

vi kan visa att mediantestet härlett med th IDP för valfritt val av $s\geq 1$ omfattar det ensidiga frekventistteckentestet som ett test för medianen. Det kan faktiskt verifieras att för ${\displaystyle s=1} är$ $p$ -värdet för teckentestet lika med $1-{\underline {\mathcal {P}}}[F(0)<0.5\mid X_{1},\dots ,X_{n}]$ . Således, om ${\underline {\mathcal {P}}}[F(0)<0,5\mid X_{1}, \dots ,X_{n}]>0.95$ så är $p$ -värdet mindre än $0.05$ och därför har de två testerna samma effekt.

Tillämpningar av den oprecisa Dirichlet-processen

Dirichlet-processer används ofta i Bayesiansk icke-parametrisk statistik. Den oprecisa Dirichlet-processen kan användas istället för Dirichlet-processerna i alla applikationer där förhandsinformation saknas (det är därför viktigt att modellera detta tillstånd av tidigare okunnighet).

I detta avseende har den oprecisa Dirichlet-processen använts för icke-parametrisk hypotestestning, se det statistiska paketet för Imprecise Dirichlet Process . Baserat på den oprecisa Dirichlet-processen har Bayesianska icke-parametriska nästan-okunnighetsversioner av följande klassiska icke-parametriska estimatorer härletts: Wilcoxon rank summa test och Wilcoxon signed-rank test.

En Bayesiansk icke-parametrisk nära-okunnighetsmodell presenterar flera fördelar med avseende på en traditionell metod för hypotestestning.

Den bayesianska ansatsen gör att vi kan formulera hypotestestet som ett beslutsproblem. Detta innebär att vi kan verifiera bevisen till förmån för nollhypotesen och inte bara förkasta den och fatta beslut som minimerar den förväntade förlusten.
På grund av den icke-parametriska tidigare nästan okunnighet, tillåter IDP-baserade tester oss att starta hypotestestet med mycket svaga tidigare antaganden, mycket i riktning mot att låta data tala för sig själva.
Även om IDP-testet delar flera likheter med ett standard Bayesianskt tillvägagångssätt, förkroppsligar det samtidigt en betydande förändring av paradigm när det gäller att fatta beslut. Faktum är att de IDP-baserade testerna har fördelen att de ger ett obestämt resultat när beslutet är förut-beroende. Med andra ord, IDP-testet avbryter bedömningen när alternativet som minimerar den förväntade förlusten ändras beroende på Dirichlet-processens basmått vi fokuserar på.
Det har verifierats empiriskt att när IDP-testet är obestämt, beter sig de frekventa testerna praktiskt taget som slumpmässiga gissare. Detta överraskande resultat får praktiska konsekvenser vid hypotesprövning. Antag att vi försöker jämföra effekterna av två medicinska behandlingar (Y är bättre än X) och att IDP-testet, givet tillgängliga data, är obestämbart. I en sådan situation ger frekventisttestet alltid ett bestämt svar (till exempel kan jag säga att Y är bättre än X), men det visar sig att dess svar är helt slumpmässigt, som om vi skulle kasta ett mynt. Å andra sidan erkänner IDP-testet omöjligheten att fatta ett beslut i dessa fall. Genom att säga "Jag vet inte", ger IDP-testet således en rikare information till analytikern. Analytikern kan till exempel använda denna information för att samla in mer data.

Kategoriska variabler

För kategoriska variabler , dvs när $\mathbb {X}$ har ett ändligt antal element, är det känt att Dirichlet-processen reduceras till en Dirichlet-fördelning . I det här fallet reduceras den oprecisa Dirichlet-processen till den oprecisa Dirichlet-modellen som föreslagits av Walley som en modell för tidigare (nästan) okunnighet för chanser.

Se även

Oprecis sannolikhet

Robust Bayesiansk analys

externa länkar