Varians inflationsfaktor

I statistiken är variansinflationsfaktorn ( VIF ) förhållandet ( kvoten ) av variansen för att uppskatta en parameter i en modell som inkluderar flera andra termer (parametrar) med variansen av en modell konstruerad med bara en term . Den kvantifierar allvaret av multikollinearitet i en vanlig minsta kvadraters regressionsanalys . Det tillhandahåller ett index som mäter hur mycket variansen (kvadraten på uppskattningens standardavvikelse ) för en uppskattad regressionskoefficient ökas på grund av kollinearitet. Cuthbert Daniel säger sig ha uppfunnit konceptet bakom variansinflationsfaktorn, men kom inte på namnet.

Definition

Betrakta följande linjära modell med k oberoende variabler:

₀ Y = β + β ₁ X ₁ + β ₂ X ₂ + ... + β _k X _k + ε .

Standardfelet för skattningen av β _j är kvadratroten av j + 1 diagonalelementet av s ² ( X ′ X ) ⁻¹ , där s är rotmedelkvadratfelet (RMSE) ( observera att RMSE ² är en konsekvent estimator av den sanna variansen för feltermen, ${\displaystyle \sigma ^{2}} )$ ; X är regressionsdesignmatrisen — en matris så att Xi _{fallet , j +1} är värdet på den j: ^te oberoende variabeln för det i: ^te eller observationen, och sådan att Xi _{,1 ,} prediktorvektorn associerad med intercepttermen , är lika med 1 för alla i . Det visar sig att kvadraten på detta standardfel, den uppskattade variansen av skattningen av β _j , kan uttryckas ekvivalent som:

{\widehat {\operatörsnamn {var} }}({\hat {\beta }}_{j})={\frac {s^{2}}{(n-1){\widehat {\operatörsnamn {var} }}(X_{j})}}\cdot {\frac {1 }{1-R_{j}^{2}}},

där Rj ² är multipeln R ² för regressionen av X _j på de andra kovariaterna (en regression som inte involverar svarsvariabeln Y ₎ . Denna identitet separerar influenserna från flera distinkta faktorer på variansen av koefficientuppskattningen:

s ² : större spridning i data runt regressionsytan leder till proportionellt sett större varians i koefficientuppskattningarna
n : större urvalsstorlek resulterar i proportionellt sett mindre varians i koefficientuppskattningarna
${\widehat {\operatörsnamn {var} }}(X_{j})$ : större variabilitet i en viss kovariat leder till proportionellt mindre varians i motsvarande koefficientuppskattning

Den återstående termen, 1 / (1 − R _j² ) är VIF. Den speglar alla andra faktorer som påverkar osäkerheten i koefficientskattningarna. _med 1 när vektorn Xj är ortogonal mot varje kolumn i designmatrisen för regressionen av Xj _på de andra kovariaterna. Däremot är VIF större _än 1 när vektorn Xj inte är ortogonal mot alla kolumner i designmatrisen för regressionen av _Xj på de andra kovariaterna. _Slutligen , notera att VIF är invariant till skalningen av variablerna (det vill säga vi skulle kunna skala varje variabel X _j med en konstant cj utan att ändra VIF).

{\widehat {\operatörsnamn {var} }}({\hat {\beta }}_{j})= s^{2}[(X^{T}X)^{-1}]_{jj}

Låt nu ${\displaystyle r=X^{T}X} ,$ och utan att förlora allmänhet, ordnar vi om kolumnerna i X för att ställa in den första kolumnen till $X_{j}$

r^{-1}={\begin{bmatrix}r_{j,j} &r_{j,-j}\\r_{-j,j}&r_{-j,-j}\end{bmatrix}}^{-1}

r_{j,j}=X_{j }^{T}X_{j},r_{j,-j}=X_{j}^{T}X_{-j},r_{-j,j}=X_{-j}^{T}X_ {j},r_{-j,-j}=X_{-j}^{T}X_{-j}

.

Genom att använda Schur-komplement är elementet i den första raden och första kolumnen i ${\displaystyle r^{-1}} ,$

r_{1,1}^{-1}=[ r_{j,j}-r_{j,-j}r_{-j,-j}^{-1}r_{-j,j}]^{-1}

Då har vi,

{\begin{aligned}&{\widehat {\operatörsnamn {var } }}({\hat {\beta }}_{j})=s^{2}[(X^{T}X)^{-1}]_{jj}=s^{2}r_{ 1,1}^{-1}\\={}&s^{2}[X_{j}^{T}X_{j}-X_{j}^{T}X_{-j}(X_{- j}^{T}X_{-j})^{-1}X_{-j}^{T}X_{j}]^{-1}\\={}&s^{2}[X_{j }^{T}X_{j}-X_{j}^{T}X_{-j}(X_{-j}^{T}X_{-j})^{-1}(X_{-j} ^{T}X_{-j})(X_{-j}^{T}X_{-j})^{-1}X_{-j}^{T}X_{j}]^{-1} \\={}&s^{2}[X_{j}^{T}X_{j}-{\hat {\beta}}_{*j}^{T}(X_{-j}^{T }X_{-j}){\hat {\beta}}_{*j}]^{-1}\\={}&s^{2}{\frac {1}{\mathrm {RSS} _{ j}}}\\={}&{\frac {s^{2}}{(n-1){\widehat {\operatörsnamn {var} }}(X_{j})}}\cdot {\frac {1}{1-R_{j}^{2}}}\end{aligned}}

Här är ${\hat {\beta }}_{*j}$ regressionskoefficienten för beroende variabel $X_{j}$ över kovariat $X_{ -j}$ . $\mathrm {RSS} _{j}$ är motsvarande restsumma av kvadrater .

Beräkning och analys

Vi kan beräkna k olika VIF:er (en för varje X _i ) i tre steg:

Steg ett

Först kör vi en vanlig minsta kvadratregression som har X _i som funktion av alla andra förklaringsvariabler i den första ekvationen. Om i = 1, till exempel, skulle ekvationen vara

X_{1}=\alpha _{0}+\alpha _{2}X_{2}+\ alfa _{3}X_{3}+\cdots +\alpha _{k}X_{k}+e

där $\alpha _{0}$ är en konstant och e är feltermen .

Steg två

Beräkna sedan VIF-faktorn för ${\hat {\beta }}_{i}$ med följande formel:

\mathrm {VIF} _{i}={\frac {1}{1-R_{i}^{2}}}

där R ²_i är bestämningskoefficienten för regressionsekvationen i steg ett, med $X_{i}$ på vänster sida och alla andra prediktorvariabler (alla andra X-variabler) på höger sida sida.

Steg tre

Analysera storleken på multikollinearitet genom att överväga storleken på $\operatorname {VIF} ({\hat {\beta }}_{i})$ . En tumregel är att om $\operatorname {VIF} ({\hat {\beta }}_{i})>10$ så är multikollineariteten hög (en cutoff på 5 används också ofta). Det finns dock inget värde på VIF som är större än 0 där variansen av lutningarna för prediktorer inte är uppblåsta. Som ett resultat kommer att inkludera två eller flera variabler i en multipel regression som inte är ortogonala (dvs. har korrelation = 0), att ändra varandras lutning, SE av lutningen och P-värdet, eftersom det finns delad varians mellan prediktorerna som kan inte unikt tillskrivas någon av dem.

Vissa program beräknar istället toleransen som bara är den ömsesidiga av VIF. Valet av vilken du vill använda är en fråga om personlig preferens.

Tolkning

Kvadratroten ur variansinflationsfaktorn anger hur mycket större standardfelet ökar jämfört med om den variabeln hade 0 korrelation med andra prediktorvariabler i modellen.

Exempel Om variansinflationsfaktorn för en prediktorvariabel var 5,27 (√5,27 = 2,3), betyder det att standardfelet för koefficienten för den prediktorvariabeln är 2,3 gånger större än om den prediktorvariabeln hade 0-korrelation med de andra prediktorvariablerna.

Genomförande

vif -funktion i bil R -paketet
ols_vif_tol -funktionen i olsrr R -paketet
PROC REG i SAS System
varians_inflation_factor funktion i statsmodels Python -paket
estat vif i Stata
r.vif addon för GRASS GIS

Vidare läsning

Allison, PD (1999). Multipel regression: A Primer . Thousand Oaks, CA: Pine Forge Press. sid. 142.
Hår, JF; Anderson, R.; Tatham, RL; Svart, WC (2006). Multivariat dataanalys . Upper Saddle River, NJ: Prentice Hall.
Kutner, MH; Nachtsheim, CJ; Neter, J. (2004). Tillämpade linjära regressionsmodeller (4:e upplagan). McGraw-Hill Irwin.
Longnecker, MT; Ott, RL (2004). En första kurs i statistiska metoder . Thomson Brooks/Cole. sid. 615.
Marquardt, DW (1970). "Generaliserade inverser, åsregression, partisk linjär uppskattning och icke-linjär uppskattning". Teknometri . 12 (3): 591–612 [s. 605–7]. doi : 10.1080/00401706.1970.10488699 .
Studenmund, AH (2006). Using Econometrics: A Practical Guide (5:e upplagan). Pearson International. s. 258–259.
Zuur, AF; Ieno, EN; Elphick, CS (2010). "Ett protokoll för datautforskning för att undvika vanliga statistiska problem". Metoder i ekologi och evolution . 1 :3–14. doi : 10.1111/j.2041-210X.2009.00001.x . S2CID 18814132 .

Se även

Designeffekt