Osäkerhetskoefficient

Ej att förväxla med Theil index .

Inom statistik är osäkerhetskoefficienten , även kallad kompetens , entropikoefficient eller Theils U , ett mått på nominell association . Det introducerades först av Henri Theil och är baserat på begreppet informationsentropi .

Definition

Anta att vi har prover av två diskreta slumpvariabler, X och Y . Genom att konstruera den gemensamma fördelningen, P _X,Y ( x , y ) , från vilken vi kan beräkna de villkorliga fördelningarna , , P _{X | Y} ( x | y ) = P _{X, Y} ( x , y )/ PY _y ( ) och PY _{| X (} y | x ) = P X _Y ( x , y )/ P _X ( x ) , och genom att beräkna de olika entropierna kan vi bestämma graden av association mellan de två variablerna.

Entropin för en enkel fördelning ges som:

$H(X)=-\summa _{x}P_{X}(x)\log P_{X}( x),$

medan den villkorliga entropin ges som:

$H(X|Y)=-\summa _{x,~y}P_{X,Y}(x,~y)\log P_{X|Y}(x|y).$

Osäkerhetskoefficienten eller kompetensen definieras som:

$U(X|Y)={\frac {H( X)-H(X|Y)}{H(X)}}={\frac {I(X;Y)}{H(X)}},$

och berättar: givet Y , vilken bråkdel av bitarna av X kan vi förutsäga? I det här fallet kan vi tänka oss att X innehåller den totala informationen och att Y tillåter en att förutsäga en del av sådan information.

Ovanstående uttryck klargör att osäkerhetskoefficienten är en normaliserad ömsesidig information I(X;Y) . Speciellt varierar osäkerhetskoefficienten i [0, 1] eftersom I(X;Y) < H(X) och både I(X,Y) och H(X) är positiva eller noll.

Observera att värdet på U (men inte H !) är oberoende av basen för loggen eftersom alla logaritmer är proportionella.

Osäkerhetskoefficienten är användbar för att mäta giltigheten av en statistisk klassificeringsalgoritm och har fördelen framför enklare noggrannhetsmått som precision och återkallelse genom att den inte påverkas av de relativa fraktionerna av de olika klasserna, dvs P ( x ). Den har också den unika egenskapen att den inte kommer att straffa en algoritm för att förutsäga fel klasser, så länge den gör det konsekvent (dvs. den ordnar bara om klasserna). Detta är användbart för att utvärdera klusteralgoritmer eftersom klusteretiketter vanligtvis inte har någon speciell ordning.

Variationer

Osäkerhetskoefficienten är inte symmetrisk med avseende på rollerna X och Y . Rollerna kan vändas om och ett symmetriskt mått definieras således som ett viktat medelvärde mellan de två:

${\begin{aligned}U(X,~Y)&={\frac {H(X)U(X|Y)+H(Y)U(Y|X)}{H(X)+ H(Y)}}\\[8pt]&=2\vänster[{\frac {H(X)+H(Y)-H(X,~Y)}{H(X)+H(Y)} }\right].\end{aligned}}$

Även om den normalt tillämpas på diskreta variabler, kan osäkerhetskoefficienten utökas till kontinuerliga variabler med hjälp av densitetsuppskattning .

Se även

• Ömsesidig information
• Randindex
• F-poäng
• Binär klassificering

externa länkar

• libagf Innehåller programvara för beräkning av osäkerhetskoefficienter.