Invariant estimator

I statistik är begreppet att vara en invariant estimator ett kriterium som kan användas för att jämföra egenskaperna hos olika estimatorer för samma kvantitet. Det är ett sätt att formalisera tanken att en estimator ska ha vissa intuitivt tilltalande egenskaper. Strängt taget skulle "invariant" innebära att själva skattningarna är oförändrade när både mätningarna och parametrarna transformeras på ett kompatibelt sätt, men innebörden har utökats för att tillåta uppskattningarna att ändras på lämpliga sätt med sådana transformationer. Termen ekvivariant estimator används i formella matematiska sammanhang som inkluderar en exakt beskrivning av relationen mellan hur estimatorn förändras som svar på förändringar i datasetet och parameterisering: detta motsvarar användningen av " ekvivarians " i mer allmän matematik.

Allmän inställning

Bakgrund

I statistisk slutledning finns det flera tillvägagångssätt till skattningsteori som kan användas för att omedelbart bestämma vilka skattare som ska användas enligt dessa tillvägagångssätt. Till exempel skulle idéer från Bayesianska slutledningar leda direkt till Bayesianska estimatorer . På samma sätt kan teorin om klassisk statistisk slutledning ibland leda till starka slutsatser om vilken estimator som ska användas. Men användbarheten av dessa teorier beror på att ha en fullt föreskriven statistisk modell och kan också bero på att ha en relevant förlustfunktion för att bestämma skattaren. Således kan en Bayesiansk analys göras, vilket leder till en posterior fördelning för relevanta parametrar, men användningen av en specifik nytto- eller förlustfunktion kan vara otydlig. Idéer om invarians kan sedan appliceras på uppgiften att sammanfatta den bakre fördelningen. I andra fall görs statistiska analyser utan en fullständigt definierad statistisk modell eller så kan den klassiska teorin om statistisk slutledning inte lätt tillämpas eftersom familjen av modeller som övervägs inte är mottagliga för sådan behandling. Utöver dessa fall där allmän teori inte föreskriver en estimator, kan begreppet invarians för en estimator tillämpas när man söker estimatorer av alternativa former, antingen för enkelhetens skull i tillämpningen av estimatorn eller så att estimatorn är robust .

Begreppet invarians används ibland på egen hand som ett sätt att välja mellan estimatorer, men detta är inte nödvändigtvis definitivt. Till exempel kan ett krav på invarians vara oförenligt med kravet på att skattaren ska vara medelvärdig opartisk ; å andra sidan definieras kriteriet median-opartiskhet i termer av estimatorns samplingsfördelning och är sålunda invariant under många transformationer.

En användning av begreppet invarians är när en klass eller familj av estimatorer föreslås och en speciell formulering måste väljas bland dessa. En procedur är att införa relevanta invariansegenskaper och sedan hitta den formulering inom denna klass som har de bästa egenskaperna, vilket leder till vad som kallas den optimala invariantestimatorn.

Vissa klasser av invarianta estimatorer

Det finns flera typer av transformationer som man kan tänka sig för när man hanterar invarianta estimatorer. Var och en ger upphov till en klass av estimatorer som är oföränderliga för dessa speciella typer av transformation.

• Skiftinvarians: I princip bör uppskattningar av en platsparameter vara oföränderliga jämfört med enkla förändringar av datavärdena. Om alla datavärden ökas med ett givet belopp, bör uppskattningen ändras med samma belopp. När man överväger uppskattning med ett vägt medelvärde innebär detta invarianskrav omedelbart att vikterna ska summera till ett. Även om samma resultat ofta härrör från ett krav på opartiskhet, kräver användningen av "invarians" inte att ett medelvärde existerar och använder ingen sannolikhetsfördelning alls.
• Skalinvarians: Observera att det här ämnet om invariansen av parametern estimatorskala inte ska förväxlas med den mer allmänna skalinvariansen om beteendet hos system under aggregerade egenskaper (i fysik).
• Parameter-transformationsinvarians: Här gäller transformationen enbart parametrarna. Konceptet här är att i huvudsak samma slutledning bör göras från data och en modell som involverar en parameter θ som skulle göras från samma data om modellen använde en parameter φ, där φ är en en-till-en-transformation av θ, φ= h (θ). Enligt denna typ av invarians bör resultat från transformationsinvarianta estimatorer också relateras med φ= h (θ). Maximala sannolikhetsuppskattare har denna egenskap när transformationen är monoton . Även om estimatorns asymptotiska egenskaper kan vara invarianta, kan de små urvalsegenskaperna vara olika och en specifik fördelning måste härledas.
• Permutationsinvarians: När en uppsättning datavärden kan representeras av en statistisk modell att de är resultat från oberoende och identiskt fördelade slumpvariabler , är det rimligt att införa kravet att varje skattare av någon egenskap hos den gemensamma fördelningen ska vara permutationsinvariant : specifikt att estimatorn, betraktad som en funktion av uppsättningen av datavärden, inte bör ändras om dataobjekt byts ut i datamängden.

Kombinationen av permutationsinvarians och platsinvarians för att uppskatta en platsparameter från en oberoende och identiskt fördelad datauppsättning med hjälp av ett viktat medelvärde innebär att vikterna bör vara identiska och summera till ett. Naturligtvis kan andra estimatorer än ett vägt genomsnitt vara att föredra.

Optimala invarianta estimatorer

Under denna inställning får vi en uppsättning mått $x$ som innehåller information om en okänd parameter $\theta$ . Måtten $x$ modelleras som en vektorslumpvariabel med en sannolikhetstäthetsfunktion $f(x|\theta )$ som beror på en parametervektor $\theta$ .

Problemet är att uppskatta $\theta$ givet $x$ . Uppskattningen, betecknad med $a$ , är en funktion av måtten och tillhör en uppsättning $A$ . Kvaliteten på resultatet definieras av en förlustfunktion $L=L(a,\theta )$ som bestämmer en riskfunktion $R=R(a,\theta )=E[L(a,\theta )|\theta ]$ . Uppsättningarna av möjliga värden för $x$ , $\theta$ och $a$ betecknas med ${\displaystyle X} ,$ Θ $\displaystyle \Theta }$ och ${\ displaystil A}$ , respektive.

I klassificering

I statistisk klassificering kan regeln som tilldelar en klass till en ny datapost anses vara en speciell typ av skattare. Ett antal överväganden av invarianstyp kan tas med vid formulering av förkunskaper för mönsterigenkänning .

Matematisk inställning

Definition

En invariant estimator är en estimator som följer följande två regler:

1. Principen för rationell invarians: Åtgärden som vidtas i ett beslutsproblem bör inte bero på transformation av den mätning som används
2. Invariansprincip: Om två beslutsproblem har samma formella struktur (i termer av $X$ , $\Theta$ , $f(x|\theta )$ och $L$ ), bör samma beslutsregel användas i varje problem.

För att formellt definiera en invariant eller ekvivariant estimator behövs först några definitioner relaterade till grupper av transformationer. Låt $X$ beteckna uppsättningen av möjliga datasampel. En grupp av transformationer av $X$ , som ska betecknas med $G$ , är en uppsättning (mätbar) 1:1 och till transformationer av $X$ till sig själv, vilket uppfyller följande betingelser:

1. Om $g_{1}\in G$ och $g_{2}\in G$ då $g_{1}g_{2} \i G\,$
2. Om $g\in G$ då $g^{-1}\in G$ , där $g^{-1}(g(x))=x\,.$ (Det vill säga att varje transformation har en invers inom gruppen.)
3. $e\in G$ (dvs det finns en identitetstransformation $e(x)=x\,$ )

Dataset $x_{1}$ och $x_{2}$ i $X$ är ekvivalenta om $x_{1}=g( x_{2})$ för vissa $g\in G$ . Alla ekvivalenta poäng bildar en ekvivalensklass . En sådan ekvivalensklass kallas en omloppsbana (i $X$ ). x $x_{0}$ omloppsbana, $X(x_{0})$ är mängden $X (x_{0})=\{g(x_{0}):g\in G\}$ . Om $X$ består av en enda bana så sägs $g$ vara transitiv.

En familj av densiteter $F$ sägs vara invariant under gruppen $G$ om för varje $g\in G$ och $\theta \in \Theta$ det finns ett unikt $\theta ^{*}\in \Theta$ så att $Y=g(x)$ har densitet $f(y|\theta ^{*})$ . $\theta ^{*}$ kommer att betecknas ${\bar {g}}(\theta )$ .

Om $F$ är invariant under gruppen $G$ så sägs förlustfunktionen $L(\theta ,a)$ vara invariant under $G$ om det för varje $g\in G$ och $a\in A$ finns ett $a^{*}\in A$ så att ${\displaystyle L(\theta ,a)=L({\bar {g}}(\theta ),a^{*})} för$ alla $\theta \in \Theta$ . Det transformerade värdet $a^{*}$ kommer att betecknas med ${\tilde {g}}(a)$ .

I ovanstående är ${\bar {G}}=\{{\bar {g}}:g\in G\}$ en grupp av transformationer från $\Theta$ till sig själv och ${\displaystyle {\tilde {G}}=\{{\tilde {g}}:g\in G\}} är$ en grupp av transformationer från $A$ till sig själv.

Ett uppskattningsproblem är invariant(ekvivariant) under $G$ om det finns tre grupper $G,{\bar {G}},{\tilde {G}}$ enligt definition ovan.

För ett estimeringsproblem som är invariant under $G$ , är estimatorn $\delta (x)$ en invariant estimator under $G$ om, för alla $x\in X$ och $g\in G$ ,

$\delta (g(x))={\tilde {g}}(\delta (x)).$

Egenskaper

1. Riskfunktionen för en invariant estimator, $\delta$ , är konstant på banor av $\Theta$ . Motsvarande ${\displaystyle R(\theta ,\delta )=R({\bar {g}}(\theta ),\delta )} för$ alla $\theta \in \Theta$ och ${\bar {g}}\in {\bar {G}}$ .
2. Riskfunktionen för en invariant estimator med transitiv ${\bar {g}}$ är konstant.

För ett givet problem kallas den invarianta estimatorn med lägst risk för "bästa invarianta estimatorn". Bästa invariant estimator kan inte alltid uppnås. Ett specialfall för vilket det kan uppnås är fallet när ${\bar {g}}$ är transitiv.

Exempel: Platsparameter

Antag att $\theta$ är en platsparameter om densiteten för $X$ har formen $f(x-\theta )$ . För $\Theta =A=\mathbb {R} ^{1}$ och $L=L(a-\theta )$ är problemet är invariant under $g={\bar {g}}={\tilde {g}}= \{g_{c}:g_{c}(x)=x+c,c\in \mathbb {R} \}$ . Den invarianta estimatorn måste i detta fall uppfylla

$\delta (x+c)=\delta (x)+c,{\text{ för alla }}c\in \mathbb {R} ,$

den har alltså formen $\delta (x)=x+K$ ( $K\in \mathbb {R}$ ). ${\bar {g}}$ är transitiv på $\Theta$ så risken varierar inte med $\theta$ : det vill säga $R(\theta ,\delta )=R(0,\delta )=\operatörsnamn {E} [L(X+K)|\theta =0]$ . Den bästa invarianta estimatorn är den som bringar risken $R(\theta ,\delta )$ till minimum.

I det fall att L är kvadratfelet $\delta (x)=x-\operatörsnamn {E} [X|\theta =0].$

Pitman estimator

Uppskattningsproblemet är att $X=(X_{1},\dots ,X_{n})$ har densitet ${\displaystyle f(x_{1}-\theta ,\dots ,x_{n}-\theta )} ,$ där θ är en parameter som ska uppskattas, och där förlustfunktionen är $L(|a-\theta |)$ . Detta problem är oföränderligt med följande (additiva) transformationsgrupper:

$G=\{g_{c}:g_{c}(x )=(x_{1}+c,\dots ,x_{n}+c),c\in \mathbb {R} ^{1}\},$

${\bar {G}}=\{g_{c}:g_{c}(\theta )=\theta +c,c\in \mathbb {R} ^{1}\},$

${\tilde {G}}=\{g_{c}:g_{c}(a)=a+c,c\in \mathbb {R} ^{1}\}.$

Den bästa invarianta estimatorn $\delta (x)$ är den som minimerar

${\frac {\int _{-\infty }^{\infty }L(\delta (x)-\theta )f(x_{1}-\theta ,\dots ,x_{n}-\ theta )d\theta }{\int _{-\infty }^{\infty }f(x_{1}-\theta ,\dots ,x_{n}-\theta )d\theta }},$

och detta är Pitmans estimator (1939).

För det kvadratiska felförlustfallet är resultatet

$\delta (x)={\frac {\int _{-\infty }^{\infty }\theta f(x_{1}-\theta ,\dots ,x_{n}-\theta )d \theta }{\int _{-\infty }^{\infty }f(x_{1}-\theta ,\dots ,x_{n}-\theta )d\theta }}.$

Om $x\sim N(\theta 1_{n},I)\,\!$ (dvs. en multivariat normalfördelning med oberoende enhetsvarianskomponenter) så

$\delta _{\text{Pitman}}=\delta _{ML}={\frac {\sum {x_{i}}}{n}}.$

Om ${\displaystyle x\sim C(\theta 1_{n},I\sigma ^{2})\,\!} ($ oberoende komponenter som har en Cauchy-fördelning med skala parameter σ ) sedan ${\displaystyle \delta _{\text{Pitman}}\neq \delta _{ML}} ,$ . Men resultatet är det

$\delta _{\text{Pitman}}=\sum _{ k=1}^{n}{x_{k}\left[{\frac {{\text{Re}}\{w_{k}\}}{\summa _{m=1}^{n}{ {\text{Re}}\{w_{k}\}}}}\right]},\qquad n>1,$

med

$w_{k}=\prod _{j\neq k}\left[{\frac {1}{(x_{k}-x_{j})^{2}+4\sigma ^{2} }}\höger]\vänster[1-{\frac {2\sigma }{(x_{k}-x_{j})}}i\höger].$

•    Berger, James O. (1985). Statistisk beslutsteori och Bayesiansk analys (2:a uppl.). New York: Springer-Verlag. ISBN 0-387-96098-8 . MR 0804611 .
• Freue, Gabriela V. Cohen (2007). "Pitman-estimatorn för Cauchy-platsparametern". Journal of Statistical Planning and Inference . 137 (6): 1900–1913. doi : 10.1016/j.jspi.2006.05.002 .
•   Pitman, EJG (1939). "Uppskattningen av platsen och skalparametrarna för en kontinuerlig population av någon given form". Biometrika . 30 (3/4): 391–421. doi : 10.1093/biomet/30.3-4.391 . JSTOR 2332656 .
•   Pitman, EJG (1939). "Tester av hypoteser rörande plats- och skalparametrar". Biometrika . 31 (1/2): 200–215. doi : 10.1093/biomet/31.1-2.200 . JSTOR 2334983 .