Skivad omvänd regression

Sliced ​​invers regression (eller SIR) är ett verktyg för dimensionalitetsreduktion inom området multivariat statistik .

Inom statistik är regressionsanalys en metod för att studera sambandet mellan en svarsvariabel y och dess indatavariabel $underline {x}}} ,$ \ som är en p -dimensionell vektor. Det finns flera tillvägagångssätt inom kategorin regression. Till exempel inkluderar parametriska metoder multipel linjär regression, och icke-parametriska metoder inkluderar lokal utjämning.

Eftersom antalet observationer som behövs för att använda lokala utjämningsmetoder skalas exponentiellt med högdimensionella data (i takt med att p växer), kan en minskning av antalet dimensioner göra operationen beräkningsbar. Dimensionalitetsreduktion syftar till att uppnå detta genom att endast visa den viktigaste dimensionen av datan. SIR använder den inversa regressionskurvan, ${\displaystyle E({\underline {x}}\,|\,y)} ,$ för att utföra en viktad huvudkomponentanalys.

Modell

Givet en svarsvariabel $\,Y$ och en (slumpmässig) vektor $X\i \mathbb {R} ^{p}$ av förklarande variabler, är SIR baserad på modellen

$Y=f(\beta _{1}^{\top }X,\ldots ,\beta _{k} ^{\top }X,\varepsilon )\quad \quad \quad \quad \quad (1)$

där $\beta _{1},\ldots ,\beta _{k}$ är okända projektionsvektorer, $\,k$ är ett okänt tal mindre än ${\ displaystyle \,p}$ , $\;f$ är en okänd funktion på $\mathbb {R} ^{k+1}$ eftersom den bara beror på $\,k$ argument, och $\varepsilon$ är en slumpvariabel som representerar fel med $E[\varepsilon |X]=0$ och en ändlig varians på $\sigma ^{2}$ . Modellen beskriver en ideal lösning, där $\,Y$ beror på $X\in \mathbb {R} ^{p}$ endast genom en $\,k$ dimensionell delutrymme; dvs man kan reducera dimensionen av förklaringsvariablerna från $\,p$ till ett mindre antal $\,k$ utan att förlora någon information.

En ekvivalent version av $\,(1)$ är: den villkorliga fördelningen av $\,Y$ givet ${\displaystyle \,X} beror$ endast på $\,X$ genom den $\,k$ dimensionella slumpmässiga vektorn $(\beta _{1}^{\top }X,\ldots ,\beta _{ k}^{\top }X)$ . Det antas att denna reducerade vektor är lika informativ som den ursprungliga $\,X$ för att förklara $\,Y$ .

De okända $\,\beta _{i}'s$ kallas de effektiva dimensionsreducerande riktningarna (EDR-riktningar). Det utrymme som sträcks över av dessa vektorer betecknas med det effektiva dimensionsreducerande utrymmet ( EDR-rymden).

Relevant linjär algebrabakgrund

Givet ${\underline {a}}_{1},\ldots ,{\underline {a}}_{r}\in \mathbb {R} ^ {n}$ , sedan $V:=L({\underline {a}}_{1},\ldots ,{\underline {a} }_{r})$ kallas mängden av alla linjära kombinationer av dessa vektorer ett linjärt delrum och är därför ett vektorrum. Ekvationen säger att vektorerna ${\displaystyle {\underline {a}}_{1},\ldots ,{\underline {a}}_{r}} spänner$ över $\ ,V$ , men vektorerna som spänner över rymden $\,V$ är inte unika.

Dimensionen för $\,V(\in \mathbb {R} ^{n})$ är lika med det maximala antalet linjärt oberoende vektorer i $\,V$ . En uppsättning av $\,n$ linjära oberoende vektorer av $\mathbb {R} ^{n}$ utgör en bas för $\mathbb {R} ^{n}$ . Dimensionen av ett vektorrum är unik, men själva basen är det inte. Flera baser kan spänna över samma utrymme. Beroende vektorer kan fortfarande sträcka sig över ett mellanslag, men de linjära kombinationerna av de senare är endast lämpliga för en uppsättning vektorer som ligger på en rät linje.

Omvänd regression

Att beräkna den omvända regressionskurvan (IR) innebär istället för att leta efter

• $\,E[Y|X=x]$ , vilket är en kurva i $\mathbb {R} ^{p}$

det är det faktiskt

• ${\displaystyle \,E[X|Y=y]} ,$ som också är en kurva i ${\displaystyle \mathbb {R} ^{p}} ,$ men som består av $\, p$ endimensionella regressioner.

Mitten av den omvända regressionskurvan ligger vid $\,E[E[X|Y]]=E[X]$ . Därför är den centrerade inversa regressionskurvan

• $\,E[X|Y=y]-E[X]$

som är en $\,p$ dimensionskurva i $\mathbb {R} ^{p}$ .

Invers regression kontra dimensionsreduktion

Den centrerade inversa regressionskurvan ligger på ett $\,k$ -dimensionellt delrum som sträcks av $\,\Sigma _{xx}\beta _{i}\,'s$ . Detta är ett samband mellan modellen och omvänd regression.

Givet detta villkor och $\,(1)$ , den centrerade inversa regressionskurvan $\,E[X|Y=y]-E[X]$ finns i det linjära delutrymmet som spänns av ${\displaystyle \,\Sigma _{xx}\beta _{k}(k=1,\ldots ,K)} , där$ Σ $\displaystyle \,\Sigma _{xx }=Cov(X)}$ .

Uppskattning av EDR-riktningarna

Efter att ha tittat på alla teoretiska egenskaper är målet nu att uppskatta EDR-riktningarna. För det ändamålet behövs viktade huvudkomponentanalyser. Om provet betyder ${\displaystyle \,{\hat {m}}_{h}\,'s} ,$ skulle $\,X$ ha standardiserats till ${\displaystyle \,Z=\Sigma _{xx}^{-1/2}\{XE(X)\$ . Motsvarande satsen ovan är IR-kurvan $\,m_{1}(y)=E[Z|Y=y]$ ligger i utrymmet som spänns av $\,(\eta _ {1},\ldots ,\eta _{k})$ , där $\,\eta _{i}=\Sigma _{xx}^{1/ 2}\beta _{i}$ . Som en konsekvens, kovariansmatrisen $\,cov[E[Z|Y]]$ är degenererad i valfri riktning vinkelrät mot $\,\eta _{i}\,'s$ . Därför är egenvektorerna $\,\eta _{k}(k=1,\ldots ,K)$ associerade med de största $\,K$ egenvärdena är de standardiserade EDR-riktningarna.

Algoritm

Algoritmen för att uppskatta EDR-riktningarna via SIR är som följer.

1. Låt $\,\Sigma _{xx}$ vara kovariansmatrisen för $\,X$ . Standardisera $\,X$ till

$\,Z=\Sigma _{xx}^{-1/2}\{XE(X)\}$

( $\,(1)$ kan också skrivas om som

$Y=f(\eta _{1}^{\top }Z,\ldots ,\eta _{k}^{\ topp }Z,\varepsilon )$

där $\,\eta _{k}=\beta _{k}\Sigma _{xx}^{1/2}\quad \forall \; k$ .)

2. Dela upp området för $\,y_{i}$ i $\,S$ icke-överlappande skivor ${\displaystyle \,H_{s}(s=1,\ldots ,S).\;n_{s}} är$ antalet observationer inom varje segment och $\,I_{H_{ s}}$ är indikatorfunktionen för skivan:

$n_{s}=\summa _{i=1}^{n}I_{H_{s}}(y_{i})$

3. Beräkna medelvärdet av $\,z_{i}$ över alla skivor, vilket är en grov uppskattning $\,{\hat {m}}_{1}$ av inversen regressionskurva $\,m_{1}$ :

$\,{\bar {z}}_{s}=n_{s}^{-1}\summa _{i=1}^{n}z_{i}I_{H_{s}}(y_{i})$

4. Beräkna uppskattningen för $\,Cov\{m_{1}(y)\}$ :

$\,{\hat {V}}=n^{-1}\summa _{i=1}^{S }n_{s}{\bar {z}}_{s}{\bar {z}}_{s}^{\top }$

5. Identifiera egenvärdena $\,{\hat {\lambda }}_{i}$ och egenvektorerna $\,{\hat {\eta }}_{i}$ av $\,{\hat {V}}$ , som är de standardiserade EDR-riktningarna.

6. Förvandla de standardiserade EDR-riktningarna tillbaka till den ursprungliga skalan. Uppskattningarna för EDR-riktningarna ges av:

$\,{\hat {\beta }}_{i}={\hat {\Sigma }}_{xx}^{-1/ 2}{\hat {\eta}}_{i}$

(som inte nödvändigtvis är ortogonala)

• Li, KC. (1991) "Sliced ​​Inverse Regression for Dimension Reduction", Journal of the American Statistical Association , 86, 316–327 Jstor
• Cook, RD och Sanford Weisberg, S. (1991) "Sliced ​​Inverse Regression for Dimension Reduction: Comment", Journal of the American Statistical Association , 86, 328–332 Jstor
•   Härdle, W. och Simar, L. (2003) Applied Multivariate Statistical Analysis , Springer Verlag. ISBN 3-540-03079-4
• Kurzfassung zur Vorlesung Mathematik II im Sommersemester 2005, A. Brandt