Generaliserad funktionell linjär modell

Den generaliserade funktionella linjära modellen ( GFLM ) är en förlängning av den generaliserade linjära modellen (GLM) som gör att man kan regressera univariata svar av olika typer (kontinuerliga eller diskreta) på funktionella prediktorer, som mestadels är slumpmässiga banor genererade av en kvadratintegrerbar stokastisk processer . På samma sätt som GLM relaterar en länkfunktion svarsvariabelns förväntade värde till en linjär prediktor, som i fallet med GFLM erhålls genom att bilda skalärprodukten av den slumpmässiga prediktorfunktionen X {\displaystyle X} med $jämn$ parameterfunktion $\beta$ . Funktionell linjär regression, funktionell poissonregression och funktionell binomial regression, med den viktiga funktionella logistiska regressionen inkluderad, är specialfall av GFLM. Tillämpningar av GFLM inkluderar klassificering och diskriminering av stokastiska processer och funktionella data .

Översikt

En nyckelaspekt av GFLM är uppskattning och slutledning för den jämna parameterfunktionen $\beta$ som vanligtvis erhålls genom dimensionsreduktion av den oändliga dimensionella funktionella prediktorn. En vanlig metod är att expandera prediktorfunktionen $X$ i en ortonormal basis av L ² space , Hilbertrymden av kvadratintegrerbara funktioner med den samtidiga expansionen av parameterfunktionen i samma bas . Denna representation kombineras sedan med ett trunkeringssteg för att reducera bidraget från parameterfunktionen $\beta$ i den linjära prediktorn till ett ändligt antal regressionskoefficienter. Funktionell huvudkomponentanalys (FPCA) som använder Karhunen–Loève-expansionen är en vanlig och sparsam metod för att åstadkomma detta. Andra ortogonala expansioner, såsom Fourier-expansion och B-spline- expansion kan också användas för dimensionsreduktionssteget. Akaike informationskriteriet (AIC) kan användas för att välja antalet inkluderade komponenter. Minimering av korsvalideringsförutsägelsefel är ett annat kriterium som ofta används i klassificeringstillämpningar. När dimensionen av prediktorprocessen har reducerats, tillåter den förenklade linjära prediktorn att använda GLM och kvasi-likelihood- uppskattningstekniker för att erhålla uppskattningar av de finita dimensionella regressionskoefficienterna som i sin tur ger en uppskattning av parameterfunktionen $\beta$ i GFLM.

Modellkomponenter

Linjär prediktor

Prediktorfunktionerna $\textstyle X(t),t\in T$ , är typiskt kvadratiska integrerbara stokastiska processer på ett reellt intervall $T$ och den okända jämna parameterfunktionen $\beta (t),t\in T$ , antas vara kvadratisk integrerbar på $T$ . Givet ett reellt mått $dw$ på $T$ ges den linjära prediktorn av ${\displaystyle \eta = \alpha +\int X^{c}(t)\beta (t)\,dw(t)} där$ X $\displaystyle X^{ c}(t)=X(t)-{\text{E}}(X(t))}$ är den centrerade prediktorprocessen och $\alpha$ är en skalär som fungerar som en skärning.

Responsvariabel och variansfunktion

Utfallet $Y$ är vanligtvis en slumpvariabel med reellt värde som kan vara antingen kontinuerlig eller diskret. Ofta anges den villkorliga fördelningen av $Y$ givet prediktorprocessen inom den exponentiella familjen . Det räcker dock också att beakta den funktionella kvasi-sannolikheten, där man istället för fördelningen av svaret specificerar den villkorliga variansfunktionen, V $\displaystyle {\rm {{Var}(Y\mid X)=\sigma ^{2}(\mu )}}} ,$ som en funktion av det villkorliga medelvärdet, ${\rm {{E }(Y\mid X)=\mu }}$ .

Länkfunktion

Länkfunktionen $g$ är en jämn inverterbar funktion, som relaterar det villkorliga medelvärdet av svaret ${\rm {{E}(Y\mid X)=\mu }}$ med den linjära prediktorn $\eta =\alpha +\int X^{c}(t)\beta (t) \,dw(t)$ . Sambandet ges av $\mu =g(\eta )$ .

Formulering

För att implementera den nödvändiga dimensionsreduktionen utökas den centrerade prediktorprocessen $X^{c}(t)$ och parameterfunktionen ${\displaystyle \beta (t)} som$ ,

X^{c}(t)=\ summa _{j=1}^{\infty }\xi _{j}\rho _{j}(t){\text{ och }}\beta (t)=\summa _{j=1}^{ \infty }\beta _{j}\rho _{j}(t),

där $\rho _{j},j=1,2,\ldots$ är en ortonormal bas för funktionsutrymmet $L^ {2}(dw),$ så att $\int _{T}\rho _{j}(t)\ rho _{k}(t)\,dw(t)=\delta _{jk}$ där $\delta _{jk}=1$ om $j=k$ och $0$ annars.

Slumpvariablerna $\xi _{j}$ ges av $\xi _{j}=\int X ^{c}(t)\rho _{j}(t)\,dw(t)$ och koefficienterna $\beta _{j}$ som $\beta _{j}=\int \beta (t)\rho _{j}(t)\,dw(t)$ för ${\ displaystyle j=1,2,\ldots }$ .

${\text{E}}(\xi _{j})=0$ och $\sum _{j=1}^ {\infty }\beta _{j}^{2}<\infty$ och betecknar ${\displaystyle \sigma _{j}^{2}= {\text{Var}}(\xi _{j})={\text{E}}(\xi _{j}^{2})} ,$ så $\sum _{j=1}^{\infty }\sigma _{j}^{2}=\int {\text{E}} (X^{c}(t))^{2}\,dw(t)<\infty$ .

Av ortonormaliteten för basfunktionerna $\rho _{j}$ följer omedelbart att $\int X^{c}(t)\beta (t)\,dw(t)=\sum _{j=1}^{\infty }\beta _{j}\xi _{j}$ .

Nyckelsteget är då att approximera $\eta =\alpha +\int X^ {c}(t)\beta (t)\,dw(t)=\alpha +\summa _{j=1}^{\infty }\beta _{j}\xi _{j}$ av ${\displaystyle \eta \approx \alpha +\sum _{j=1}^{p}\beta _{j}\xi _{j}} för en lämpligt$ vald trunkeringspunkt $p$ .

FPCA ger den mest sparsamma approximationen av den linjära prediktorn för ett givet antal basfunktioner eftersom egenfunktionsbasen förklarar mer av variationen än någon annan uppsättning basfunktioner.

För en differentierbar länkfunktion med avgränsad förstaderivata är approximationsfelet för den $p$ -trunkerade modellen, dvs den linjära prediktorn trunkerad till summan av de första $p$ -komponenterna, en konstant multipel av ${\text{ Var}}(\sum _{j=p+1}^{\infty }\beta _{j}\xi _{j})={\text{E}}\left(\left(\summa _{ j=p+1}^{\infty }\beta _{j}\xi _{j}\right)^{2}\right)=\summa _{j=p+1}^{\infty }\ beta _{j}\sigma _{j}^{2}$ .

En heuristisk motivering för trunkeringsstrategin härrör från det faktum att ${\text{E}}\left(\left(\sum _{j=p+1}^{\infty }\beta _{j} \xi _{j}\right)^{2}\right)=\summa _{j=p+1}^{\infty }\beta _{j}\sigma _{j}^{2}\leq \sum _{j=p+1}^{\infty }\beta _{j}^{2}\ \sum _{j=p+1}^{\infty }\sigma _{j}^{2 }$ som är en konsekvens av Cauchy–Schwarz-olikheten och genom att notera att den högra sidan av den sista olikheten konvergerar till 0 som $p\rightarrow \infty$ eftersom båda $\sum _{j=1}^{\infty }\beta _{j}^{2}$ och $\sum _{j=1}^{\ infty }\sigma _{j}^{2}$ är ändliga.

För specialfallet med egenfunktionsbasen motsvarar sekvensen $\sigma _{j}^{2},j=1,2,\ldots$ sekvensen av egenvärdena för kovarianskärnan $G(s,t)={\text{Cov}}(X (s),X(t)),\ s,t\in T$ .

För data med $n$ iid -observationer, inställning ${\displaystyle \xi _{j}^{0}=1} ,$ β $\displaystyle \beta _{0}=\alpha }$ och $\xi _{j}^{i}=\int X_{i}(t)\rho _{j} (t)\,dw(t)$ , de approximerade linjära prediktorerna kan representeras som ${\displaystyle \eta _{i} =\summa _{j=0}^{p}\beta _{j}\xi _{j}^{i},i=1,2,\ldots ,n} som är relaterade till medel$ genom $\mu _{i}=g(\eta _{i})$ .

Uppskattning

Huvudsyftet är att uppskatta parameterfunktionen $\beta$ .

När $p$ väl har fixerats kan standard GLM och quasi-likelihood-metoder användas för den $p$ -trunkerade modellen för att uppskatta ${\ displaystyle {\boldsymbol {\beta }}^{T}=(\beta _{0},\beta _{1},\ldots ,\beta _{p})} genom att$ lösa skattningsekvationen eller poängekvationen $U(\beta )=0.$

Den vektorvärderade poängfunktionen visar sig vara $U(\beta )= \sum _{i=1}^{n}(Y_{i}-\mu _{i})g'(\eta _{i})\xi _{i}/\sigma ^{2}(\ mu _{i})$ som beror på ${\boldsymbol {\beta }}$ till $\mu$ och $\eta$ .

löses ekvationen ${\displaystyle U(\beta )=0} med iterativa metoder som$ Newton–Raphson (NR) eller Fisher scoring (FS) eller iterativt omvägda minsta kvadrater (IWLS) till få uppskattningen av regressionskoefficienterna ${\boldsymbol {\hat {\beta }}}$ , vilket leder till uppskattningen av parameterfunktionen ${\hat {\beta }}(t)={\hat {\beta }}_{o}+\sum _{j=1}^{p}{\hat {\beta }}_{j}\rho _{j}(t)$ . När du använder den kanoniska länkfunktionen är dessa metoder likvärdiga.

Resultat finns tillgängliga i litteraturen av $p$ -trunkerade modeller som $p\rightarrow \infty$ som ger asymptotisk slutledning för avvikelsen av den uppskattade parametriska funktionen från den sanna parametriska funktionen och även asymptotiska tester för regressionseffekter och asymptotiska konfidensregioner .

Exponentiellt familjesvar

Om svarsvariabeln $Y_{i}$ , givet $X_{i}\in L^{2}(T)$ följer den exponentiella familjen med en parameter, då dess sannolikhetstäthetsfunktion eller sannolikhetsmassfunktion (i förekommande fall) är

f(y_{i}\mid X_{i})=\ exp \left({\frac {y_{i}\theta _{i}-b(\theta _{i})}{\phi }}+c(y_{i},\phi )\right)

för vissa funktioner $b$ och $c$ , där $\theta _{i}$ är den kanoniska parametern, och $\phi$ är en spridningsparameter som vanligtvis är antas vara positivt.

I den kanoniska uppsättningen är $\eta _{i}=\alpha +\int X_{i}^ {c}(t)\beta (t)\,dw(t)=\theta _{i}$ och från egenskaperna för exponentiell familj,

\mu _{i}=b'(\theta _{i}),{\text{ och så }}\mu _{i}=b'(\eta _{i}).

Därför fungerar $b'$ som en länkfunktion och kallas den kanoniska länkfunktionen.

${\text{ Var}}(y_{i})=\phi b''(\theta _{i})=\phi b''(\eta _{i})=\phi g'(\eta _{i}) =\phi g'(g^{-1}(\mu _{i})))$ är motsvarande variansfunktion och $\phi$ dispersionsparametern.

Speciella fall

Funktionell linjär regression (FLR)

Funktionell linjär regression, ett av de mest användbara verktygen för funktionell dataanalys, är ett exempel på GFLM där svarsvariabeln är kontinuerlig och ofta antas ha en normalfördelning . Variansfunktionen är en konstant funktion och länkfunktionen är identitet. Under dessa antaganden minskar GFLM till FLR,

\mu =\operatörsnamn {E} (Y\mid X)=\eta = \alpha +\int X^{c}(t)\beta (t)\,dw(t)

Utan normalitetsantagandet motiverar den konstanta variansfunktionen användningen av kvasinormala tekniker.

Funktionell binär regression

När svarsvariabeln har binära utfall, dvs 0 eller 1, väljs fördelningen vanligtvis som Bernoulli , och då $\mu _{i}=P(Y_ {i}=1\mid X_{i})$ . Populära länkfunktioner är exitfunktionen, som är inversen av logitfunktionen (funktionell logistisk regression) och probitfunktionen (funktionell probitregression). Varje kumulativ fördelningsfunktion F har intervallet [0,1] som är intervallet för binomialmedelvärde och kan därför väljas som en länkfunktion. En annan länkfunktion i detta sammanhang är den komplementära log–log-funktionen , som är en asymmetrisk länk. Variansfunktionen för binära data ges av $\operatorname {Var} (Y_{i})=\phi \mu _{i}(1 -\mu _{i})$ där dispersionsparametern $\phi$ tas som 1 eller alternativt används kvasi-likelihood-metoden.

Funktionell Poisson-regression

Ett annat specialfall av GFLM inträffar när utfallen räknas, så att fördelningen av svaren antas vara Poisson . Medelvärdet $\mu _{i}$ är typiskt kopplat till den linjära prediktorn $\eta _{i}$ via en log-länk, som också är den kanoniska länken . Variansfunktionen är ${\displaystyle \operatorname {Var} (Y_{i})=\phi \mu _{i}} ,$ där spridningsparametern $\phi$ är 1, förutom när data kan vara överdispergerade, vilket är när kvasi-Poisson-metoden används.

Tillägg

Utvidgningar av GFLM har föreslagits för de fall där det finns flera prediktorfunktioner. En annan generalisering kallas Semi Parametric Quasi-likelihood Regression (SPQR) som tar hänsyn till situationen där länken och variansfunktionerna är okända och uppskattas icke-parametriskt från data. Denna situation kan också hanteras av enstaka eller flera indexmodeller, med till exempel Sliced Inverse Regression (SIR).

En annan förlängning inom denna domän är Functional Generalized Additive Model (FGAM)) som är en generalisering av generaliserad additiv modell (GAM) där

g^{-1}(\operatörsnamn {E} (Y\mid X))= \alpha +\sum _{j=1}^{p}f_{j}(\xi _{j}),

där $\xi _{j}$ är expansionskoefficienterna för den slumpmässiga prediktorfunktionen $X$ och varje $f_{j}$ är en okänd jämn funktion som måste uppskattas och där ${\text{E}}(f_{j}(\xi _{j}))=0.$ .

I allmänhet kräver uppskattning i FGAM att man kombinerar IWLS med backfitting . Men om expansionskoefficienterna erhålls som funktionella huvudkomponenter kommer de i vissa fall (t.ex. Gaussisk prediktorfunktion $X$ ), att vara oberoende i vilket fall backfitting inte behövs, och man kan använda populära utjämningsmetoder för uppskatta de okända parameterfunktionerna $f_{j}$ .

Ansökan

Äggläggningsbanor för medflugor under de första 25 dagarna

En populär datauppsättning som har använts för ett antal analyser inom området funktionell dataanalys består av antalet ägg som läggs dagligen fram till döden av 1000 medelhavsfruktflugor (eller kortare medflugor) [1] [ 2 ] . Handlingen här visar äggläggningsbanorna under de första 25 dagarna av livet för cirka 600 honflugor (de som har minst 20 ägg kvar under sin livstid). De rödfärgade kurvorna tillhör de flugor som kommer att lägga mindre än medianantalet kvarvarande ägg, medan de blåfärgade kurvorna tillhör flugorna som kommer att lägga mer än medianantalet kvarvarande ägg efter 25 års ålder. Ett relaterat problem med att klassificera medflugor lika långlivad eller kortlivad baserat på de initiala äggläggningsbanorna som prediktorer och flugornas efterföljande livslängd som respons har studerats med GFLM

Se även