Bayesianskt informationskriterium

Inom statistik är det Bayesianska informationskriteriet ( BIC ) eller Schwarz informationskriteriet (även SIC , SBC , SBIC ) ett kriterium för modellval bland en ändlig uppsättning modeller; modeller med lägre BIC är i allmänhet att föredra. Den är delvis baserad på sannolikhetsfunktionen och den är nära relaterad till Akaike informationskriteriet ( AIC).

Vid montering av modeller är det möjligt att öka sannolikheten genom att lägga till parametrar, men att göra det kan leda till övermontering . Både BIC och AIC försöker lösa detta problem genom att införa en straffterm för antalet parametrar i modellen; strafftiden är större i BIC än i AIC för urvalsstorlekar större än 7.

BIC utvecklades av Gideon E. Schwarz och publicerades i en tidning 1978, där han gav ett Bayesianskt argument för att anta det.

Definition

BIC definieras formellt som

\mathrm {BIC} =k\ln(n)-2\ln({\widehat {L}}).\

var

${\hat {L}}$ ${\hat {L}}=p(x\mid {\widehat {\theta }},M)$ det maximerade värdet av sannolikhetsfunktionen för modellen $M$ , dvs , där ${\widehat {\theta }}$ är parametervärdena som maximerar sannolikhetsfunktionen;
$x$ = observerade data;
$n$ = antalet datapunkter i $x$ , antalet observationer eller motsvarande urvalsstorleken;
$k$ = antalet parametrar som uppskattas av modellen. Till exempel i multipel linjär regression är de uppskattade parametrarna skärningspunkten, $q$ lutningsparametrarna och den konstanta variansen av felen; alltså, $k=q+2$ .

Härledning

Konishi och Kitagawa härleder BIC för att approximera fördelningen av data, och integrerar parametrarna med hjälp av Laplaces metod , med början med följande modellbevis :

p(x\mid M)=\int p(x\mid \theta ,M)\pi ( \theta \mid M)\,d\theta

där $\pi (\theta \mid M)$ är prioriteten för $\theta$ under modell $M$ .

Log-sannolikheten, $\ln(p(x|\theta ,M))$ , utökas sedan till en andra ordningens Taylor-serie om MLE , ${\widehat {\theta }}$ , förutsatt att det är dubbelt differentierbart enligt följande:

{\

där ${\mathcal {I}}(\theta )$ är den genomsnittliga observerade informationen per observation och $R(x,\theta )$ anger resttermen . I den mån $R(x,\theta )$ är försumbar och $\pi (\theta \mid M)$ är relativt linjär nära ${\widehat {\theta }}$ , vi kan integrera ut $\theta$ för att få följande:

p(x\mid M)\approx {\hat {L}}{\left({\frac {2\pi}{n}}\right)}^{\ frac {k}{2}}|{\mathcal {I}}({\widehat {\theta }})|^{-{\frac {1}{2}}}\pi ({\widehat {\theta }})

När $n$ ökar kan vi ignorera $|{\mathcal {I}}({\widehat {\theta }})|$ och $\pi ({\widehat {\theta }})$ eftersom de är $O(1)$ . Således,

p(x \mid M)=\exp \left(\ln {\widehat {L}}-{\frac {k}{2}}\ln(n)+O(1)\right)=\exp \left(- {\frac {\mathrm {BIC} }{2}}+O(1)\höger),

där BIC definieras enligt ovan, och ${\widehat {L}}$ antingen (a) är det Bayesianska posteriora läget eller (b) använder MLE och föregående $\ pi (\theta \mid M)$ har en lutning som inte är noll vid MLE. Sedan den bakre

p(M\mid x)\propto p(x\mid M) p(M)\approx \exp \left(-{\frac {\mathrm {BIC} }{2}}\right)p(M)

Användande

När man väljer bland flera modeller är i allmänhet sådana med lägre BIC-värden att föredra. BIC är en ökande funktion av felvariansen $\sigma _{e}^{2}$ och en ökande funktion av k . Det vill säga, oförklarad variation i den beroende variabeln och antalet förklarande variabler ökar värdet på BIC. En lägre BIC betyder dock inte nödvändigtvis att en modell är bättre än en annan. Eftersom det innefattar approximationer är BIC bara en heuristik. I synnerhet bör skillnader i BIC aldrig behandlas som transformerade Bayes-faktorer.

Det är viktigt att komma ihåg att BIC kan användas för att jämföra skattade modeller endast när de numeriska värdena för den beroende variabeln är identiska för alla modeller som jämförs. De modeller som jämförs behöver inte vara kapslade , till skillnad från fallet när modeller jämförs med ett F-test eller ett sannolikhetsförhållandetest . ^{[ citat behövs ]}

Egenskaper

BIC:n straffar generellt fria parametrar hårdare än Akaike-informationskriteriet , även om det beror på storleken på n och den relativa storleken på n och k .
Det är oberoende av föregående.
Den kan mäta effektiviteten hos den parametriserade modellen när det gäller att förutsäga data.
Det straffar komplexiteten i modellen där komplexitet avser antalet parametrar i modellen.
Det är ungefär lika med kriteriet för minsta beskrivningslängd men med negativt tecken.
Den kan användas för att välja antalet kluster enligt den inneboende komplexiteten som finns i en viss datamängd.
Det är nära besläktat med andra bestraffade sannolikhetskriterier som avvikelseinformationskriteriet och Akaike informationskriteriet .

Begränsningar

BIC lider av två huvudsakliga begränsningar

Ovanstående approximation är endast giltig för provstorlek $n$ mycket större än antalet $k$ parametrar i modellen.
BIC kan inte hantera komplexa samlingar av modeller som i problemet med variabelval (eller funktionsval ) i hög dimension.

Gaussiskt specialfall

Under antagandet att modellfelen eller störningarna är oberoende och identiskt fördelade enligt en normalfördelning och gränsvillkoret att derivatan av logsannolikheten med avseende på den sanna variansen är noll, blir detta ( upp till en additiv konstant , vilket beror på endast på n och inte på modellen):