Hyperparameter

I Bayesiansk statistik är en hyperparameter en parameter av en tidigare fördelning ; termen används för att skilja dem från parametrar i modellen för det underliggande systemet som analyseras.

Om man till exempel använder en betafördelning för att modellera fördelningen av parametern p för en Bernoulli-fördelning , då:

p är en parameter för det underliggande systemet (Bernoulli-fördelning), och
α och β är parametrar för den tidigare fördelningen (betafördelning), därav hyperparametrar .

Man kan ta ett enda värde för en given hyperparameter, eller så kan man iterera och ta en sannolikhetsfördelning på själva hyperparametern, kallad hyperprior .

Syfte

Man använder ofta en prior som kommer från en parametrisk familj av sannolikhetsfördelningar – detta görs delvis för tydlighetens skull (så att man kan skriva ner en fördelning och välja form genom att variera hyperparametern, snarare än att försöka producera en godtycklig funktion), och dels så att man kan variera hyperparametern, särskilt i metoden för konjugerat priors , eller för känslighetsanalys.

Konjugera priors

När man använder ett konjugat tidigare kommer den bakre fördelningen att vara från samma familj, men kommer att ha olika hyperparametrar, som återspeglar den tillagda informationen från data: i subjektiva termer har ens övertygelser uppdaterats. För en allmän förfördelning är detta beräkningsmässigt mycket involverat, och den bakre delen kan ha en ovanlig eller svårbeskrivbar form, men med en konjugerad föregående finns det i allmänhet en enkel formel som relaterar värdena för hyperparametrarna i den bakre till de för tidigare, och därför är beräkningen av den bakre fördelningen mycket enkel.

Känslighetsanalys

En viktig fråga för användare av Bayesiansk statistik, och kritik från kritiker, är beroendet av den bakre fördelningen av ens tidigare. Hyperparametrar tar itu med detta genom att låta en enkelt variera dem och se hur den bakre fördelningen (och olika statistik över den, såsom trovärdiga intervall ) varierar: man kan se hur känsliga ens slutsatser är för ens tidigare antaganden, och processen kallas känslighetsanalys .

På liknande sätt kan man använda en tidigare fördelning med ett intervall för en hyperparameter, kanske reflekterande osäkerhet i rätt före tagning, och reflektera detta i ett intervall för slutlig osäkerhet.

Hyperpriors

Istället för att använda ett enda värde för en given hyperparameter kan man istället överväga en sannolikhetsfördelning av själva hyperparametern; detta kallas en " hyperprior ." I princip kan man upprepa detta, kalla parametrar för en hypertidigare "hyperhyperparametrar" och så vidare.

Se även

Empirisk Bayes metod

Vidare läsning

Bernardo, JM; Smith, AFM (2000). Bayesiansk teori . New York: Wiley. ISBN 0-471-49464-X .
Gelman, A .; Hill, J. (2007). Dataanalys med hjälp av regression och flernivå-/hierarkiska modeller . New York: Cambridge University Press. s. 251–278. ISBN 978-0-521-68689-1 .
Kruschke, JK (2010). Gör Bayesiansk dataanalys: En handledning med R och BUGGAR . Akademisk press. s. 241–264. ISBN 978-0-12-381485-2 .