Tvåstegs M-skattare

Tvåstegs M-estimatorer hanterar M-uppskattningsproblem som kräver preliminär uppskattning för att erhålla parametern av intresse. Tvåstegs M-uppskattning skiljer sig från vanliga M-uppskattningsproblem eftersom asymptotisk fördelning av andrastegsuppskattaren i allmänhet beror på förstastegsuppskattaren. Att redogöra för denna förändring i asymptotisk distribution är viktigt för giltig slutledning.

Beskrivning

Klassen av tvåstegs M-estimatorer inkluderar Heckmans urvalsuppskattning , viktade icke-linjära minsta kvadrater och vanliga minsta kvadrater med genererade regressorer .

För att fixa idéer, låt $\{W_{i}\}_{i=1}^{n}\subseteq R^{d}$ vara ett iid -exempel. $\Theta$ och $\Gamma$ är delmängder av euklidiska utrymmen $R^{p}$ respektive $R^{q}$ . Givet en funktion ${\displaystyle m(;;;):R^{d}\times \Theta \times \Gamma \rightarrow R} ,$ tvåstegs M -estimator ${\hat {\theta }}$ definieras som:

${\hat {\theta }}:=\arg \max _{\theta \in \Theta } {\frac {1}{n}}\sum _{i}m{\bigl (}W_{i},\theta,{\hat {\gamma }}{\bigr )}$

där ${\hat {\gamma }}$ är en M-uppskattning av en störningsparameter som måste beräknas i det första steget.

Konsistens hos tvåstegs M-uppskattare kan verifieras genom att kontrollera konsistensförhållandena för vanliga M-uppskattare, även om viss modifiering kan vara nödvändig. I praktiken är det viktiga villkoret att kontrollera identifieringsvillkoret . Om ${\hat {\gamma }}\rightarrow \gamma ^{*},$ där $\gamma ^{*}$ är en icke-slumpmässig vektor, då identifieringsvillkor är att $E[m(W_{1},\theta ,\gamma ^{*})]$ har en unik maximerare över $\Theta$ .

Asymptotisk fördelning

Under regularitetsförhållanden har tvåstegs M-estimatorer asymptotisk normalitet . En viktig punkt att notera är att den asymptotiska variansen för en tvåstegs M-estimator i allmänhet inte är densamma som den för den vanliga M-estimatorn där den första stegsuppskattningen inte är nödvändig. Detta faktum är intuitivt eftersom ${\hat {\gamma }}$ är ett slumpmässigt objekt och dess variation bör påverka uppskattningen av $\Theta$ . Det finns emellertid ett speciellt fall där den asymptotiska variansen av tvåstegs M-skattare tar formen som om det inte fanns något förstastegsuppskattningsprocedur. Sådant specialfall inträffar om:

$E{\frac {\partial }{\partial \theta \partial \gamma }}m(W_{1},\theta _{ 0},\gamma ^{*})=0$

där $\theta _{0}$ är det sanna värdet av $\theta$ och $\gamma ^{*}$ är sannolikhetsgränsen för ${\hat {\gamma }}$ . För att tolka detta villkor, observera först att under regularitetsförhållanden, $E{\frac {\partial }{\partial \theta }}m(W_{1 },\theta _{0},\gamma ^{*})=0$ eftersom $\theta _{0}$ är maximeraren för ${\ displaystil E[m(W_{1},\theta ,\gamma ^{*})]}$ . Så villkoret ovan antyder att liten störning i γ inte har någon inverkan på första ordningens tillstånd . Således, i ett stort urval, påverkar variabiliteten av ${\hat {\gamma }}$ inte argmax för den objektiva funktionen, vilket förklarar den invarianta egenskapen för asymptotisk varians. Naturligtvis är detta resultat endast giltigt eftersom urvalsstorleken tenderar till oändlighet, så egenskapen för finita sampel kan vara helt annorlunda.

Involverar MLE

När det första steget är en maximal sannolikhetsestimator , under vissa antaganden, är tvåstegs M-estimator mer asymptotiskt effektiv (dvs. har mindre asymptotisk varians) än M-estimator med känd förstastegsparameter. Konsistens och asymptotisk normalitet hos estimatorn följer av det allmänna resultatet på tvåstegs M-estimatorer.

Låt {V _i ,W _i ,Z _i }
ⁿ _i=1 vara ett slumpmässigt urval och andrastegs M-estimatorn ${\widehat {\theta }}$ är följande:

${\widehat {\theta }}:={\underset {\ theta \in \Theta }{\operatörsnamn {arg\max } }}\sum _{i=1}^{n}m(v_{i},w_{i},z_{i}:\theta ,{\ bredhatt {\gamma }})$

där ${\widehat {\gamma }}$ är parametern som uppskattas av maximal sannolikhet i det första steget. För MLE,

${\widehat {\gamma }}:={\underset {\gamma \in \Gamma }{\operatörsnamn {arg\max} }}\sum _{i=1}^{n}\log f(v_{it}:z_{i},\gamma )$

där f är den villkorliga densiteten för V givet Z . Antag nu att givet Z , V är villkorligt oberoende av W. Detta kallas det villkorade oberoende antagandet eller urvalet på observerbara. Intuitivt betyder detta tillstånd att Z är en bra prediktor för V så att V när den väl har betingats på Z inte har något systematiskt beroende av W . Under antagandet om villkorligt oberoende är den asymptotiska variansen för tvåstegsuppskattaren:

$\mathrm {E} [\nabla _{\theta }s(\theta _{0},\gamma _{0})]^{-1}\mathrm {E} [g(\theta _{0},\gamma _{0 })g(\theta _{0},\gamma _{0})^{\mathrm {T} }]\mathrm {E} [\nabla _{\theta }s(\theta _{0},\ gamma _{0})]^{-1}$

var

${\begin{ aligned}g(\theta ,\gamma )&:=s(\theta ,\gamma )-\mathrm {E} [s(\theta ,\gamma )\nabla _{\gamma }d(\gamma )^{ \mathrm {T} }]\mathrm {E} [\nabla _{\gamma }d(\gamma )\nabla _{\gamma }d(\gamma )^{\mathrm {T} }]^{-1 }d(\gamma )\\s(\theta ,\gamma )&:=\nabla _{\theta }m(V,W,Z:\theta ,\gamma )\\d(\gamma )&:= \nabla _{\gamma }\log f(V:Z,\gamma )\end{aligned}}$

och ∇ representerar partiell derivata med avseende på en radvektor. I det fall där γ ₀ är känd är den asymptotiska variansen

${\displaystyle} \mathrm {E [\nabla _{\theta }s(\theta _{0},\gamma _{0})]^{-1}\mathrm {E} [s(\theta _{0},\gamma _{0 })s(\theta _{0},\gamma _{0})^{\mathrm {T} }]\mathrm {E} [\nabla _{\theta }s(\theta _{0},\ gamma _{0})]^{-1}}$

och därför, om inte $\mathrm {E} [s(\theta ,\gamma )\nabla _{\gamma }d(\gamma ) ^{\mathrm {T} }]=0$ , tvåstegs M-skattaren är mer effektiv än den vanliga M-skattaren. Detta faktum tyder på att även när γ ₀ är känt a priori, finns det en effektivitetsvinst genom att uppskatta γ med MLE. En tillämpning av detta resultat kan hittas till exempel vid uppskattning av behandlingseffekt.

Exempel

• Genererad regressor
• Heckman korrigering
• Möjliga generaliserade minsta kvadrater
• Tvåstegs genomförbar generaliserad metod för ögonblick

Se även

• Adaptiv estimator