Bayes klassificerare

Vid statistisk klassificering minimerar Bayes -klassificeraren sannolikheten för felklassificering.

Definition

Antag att ett par $(X,Y)$ tar värden i $\mathbb {R} ^{d}\times \{1, 2,\dots ,K\}$ , där $Y$ är klassetiketten för $X$ . Antag att den villkorliga fördelningen av X , givet att etiketten Y tar värdet r ges av

$(X\mid Y=r)\sim P_{r}$ för $r=1,2,\dots , K$

där " $\sim$ " betyder "fördelas som", och där $P_{r}$ anger en sannolikhetsfördelning.

En klassificerare är en regel som tilldelar en observation X = x en gissning eller uppskattning av vad den oobserverade etiketten Y = r faktiskt var. I teoretiska termer är en klassificerare en mätbar funktion $C:\mathbb {R} ^{d}\to \{1,2,\dots ,K \}$ , med tolkningen att C klassificerar punkten x till klassen C ( x ). Sannolikheten för felklassificering, eller risk , för en klassificerare C definieras som

${\mathcal {R}}(C)=\operatörsnamn {P} \{C(X)\neq Y\}.$

Bayes klassificerare är

$C^{\text{Bayes}}(x)={\underset {r\in \{1,2,\dots ,K\}}{\operatörsnamn {argmax} }}\operatörsnamn {P} ( Y=r\mitten X=x).$

I praktiken, som i det mesta av statistik, är svårigheterna och subtiliteterna förknippade med att modellera sannolikhetsfördelningarna effektivt – i det här fallet $\operatorname {P} (Y=r\ mitten av X=x)$ . Bayes klassificerare är ett användbart riktmärke i statistisk klassificering .

Överrisken för en allmän klassificerare $C$ (möjligen beroende på vissa träningsdata) definieras som ${\displaystyle {\mathcal {R}}(C)-{\mathcal {R}}(C^{\text{Bayes}}).} Sålunda är$ denna icke-negativa kvantitet viktig för att bedöma prestandan hos olika klassificeringstekniker . En klassificerare sägs vara konsekvent om överrisken konvergerar till noll eftersom storleken på träningsdatauppsättningen tenderar till oändlighet.

Om man betraktar komponenterna $x_{i}$ i $x$ som ömsesidigt oberoende, får vi den naiva bayes-klassificeraren , där $C^{\text{Bayes}}(x)={\underset {r\in \{1,2,\dots ,K\}}{\operatörsnamn {argmax} }}\operatörsnamn {P} ( Y=r)\prod _{i=1}^{d}P_{r}(x).$

Bevis på optimalitet

Bevis på att Bayes-klassificeraren är optimal och Bayes felfrekvens är minimal intäkter enligt följande.

Definiera variablerna: Risk $R(h)$ , Bayes risk $R^{*}$ , alla möjliga klasser till vilka punkterna kan klassificeras ${\ displaystil Y=\{0,1\}}$ . Låt den bakre sannolikheten för en punkt som tillhör klass 1 vara $\eta (x)=Pr(Y=1|X=x)$ . Definiera klassificeraren ${\mathcal {h}}^{*}$ som

${\mathcal {h}}^{*}(x)={\begin{cases}1&,\eta (x)\geqslant 0.5\\0&,\eta (x)<0.5\end{cases}}$

Då har vi följande resultat:

(a) $R(h^{*})=R^{*}$ , dvs $h^{*}$ är en Bayes-klassificerare,

(b) För varje klassificerare $h} ,$$R(h)-R^{*}=2\mathbb {E} _{X}\left[|\eta (x)-0.5 |\cdot \mathbb {I} _{\left\{h(X)\neq h^{*}(X)\right\}}\right]$ uppfyller överrisken [

(c) $R^{*}=\mathbb {E} _{X}\left[\min(\eta (X),1-\eta (X))\höger]$

Bevis på (a): För alla klassificerare $h$ har vi

$R(h)=\mathbb {E} _{XY}\left[\mathbb {I} _{\left\{ h(X)\neq Y\right\}}\right]$

$=\mathbb {E} _{X}\mathbb {E} _{Y|X}[\mathbb {I} _{\left\{h( X)\neq Y\right\}}]$ (på grund av Fubinis sats )

$=\mathbb {E} _{X}[\ eta (X)\mathbb {I} _{\left\{h(X)=0\right\}}+(1-\eta (X))\mathbb {I} _{\left\{h(X) )=1\right\}}]$

Lägg märke till att $R(h)$ minimeras genom att ta $\forall x\in X$ ,

$h(x)={\begin{cases}1&,\eta (x)\geqslant 1-\eta (x )\\0&,{\text{annars}}\end{case}}$

Därför är den minsta möjliga risken Bayes-risken, $R^{*}=R(h^{*})$ .

Bevis på (b):

${\begin{aligned}R(h)-R^{*}&=R(h)-R(h^{*})\\ &=\mathbb {E} _{X}[\eta (X)\mathbb {I} _{\left\{h(X)=0\right\}}+(1-\eta (X))\ mathbb {I} _{\left\{h(X)=1\right\}}-\eta (X)\mathbb {I} _{\left\{h^{*}(X)=0\right \}}-(1-\eta (X))\mathbb {I} _{\left\{h^{*}(X)=1\right\}}]\\&=\mathbb {E} _ {X}[|2\eta (X)-1|\mathbb {I} _{\left\{h(X)\neq h^{*}(X)\right\}}]\\&=2 \mathbb {E} _{X}[|\eta (X)-0.5|\mathbb {I} _{\left\{h(X)\neq h^{*}(X)\right\}}] \end{aligned}}$

Bevis på (c):

${\begin{aligned}R(h^{*})&=\mathbb {E} _{X}[\eta (X)\mathbb {I} _{\left\{h^{*}(X)=0\right\}}+(1-\eta (X))\mathbb {I} _{\left\{h*(X)=1\ höger\}}]\\&=\mathbb {E} _{X}[\min(\eta (X),1-\eta (X))]\end{aligned}}$

Det allmänna fallet att Bayes-klassificeraren minimerar klassificeringsfel när varje element kan tillhöra någon av n kategorier fortsätter med höga förväntningar enligt följande.

${\ displaystyle {\begin{aligned}\mathbb {E} _{Y}(\mathbb {I} _{\{y\neq {\hat {y}}\}})&=\mathbb {E} _{X }\mathbb {E} _{Y|X}\left(\mathbb {I} _{\{y\neq {\hat {y}}\}}|X=x\right)\\&=\mathbb {E} \left[Pr(Y=1|X=x)\mathbb {I} _{\{{\hat {y}}=2,3,\dots ,n\}}+Pr(Y=2 |X=x)\mathbb {I} _{\{{\hat {y}}=1,3,\dots ,n\}}+\dots +Pr(Y=n|X=x)\mathbb { I} _{\{{\hat {y}}=1,2,3,\dots ,n-1\}}\right]\end{aligned}}}$

Detta minimeras genom att samtidigt minimera alla termer av förväntan med hjälp av klassificeraren $h(x)=k,\quad \ arg \max _{k}Pr(Y=k|X=x)$

för varje observation x .

Se även

• Naiv Bayes klassificerare