Bhattacharyya avstånd

I statistiken mäter Bhattacharyya -avståndet likheten mellan två sannolikhetsfördelningar . Det är nära relaterat till Bhattacharyya-koefficienten som är ett mått på mängden överlappning mellan två statistiska urval eller populationer.

Det är inte ett mått trots namnet "avstånd", eftersom det inte lyder triangelojämlikheten.

Definition

För sannolikhetsfördelningar $P$ och $Q$ på samma domän ${\mathcal {X}}$ definieras Bhattacharyya-avståndet som

$D_{B}(P,Q)=-\ln \left(BC(P,Q)\right)$

var

$BC(P,Q)=\summa _{x\in {\mathcal {X}}}{\sqrt {P (x)Q(x)}}$

är Bhattacharyya-koefficienten för diskreta sannolikhetsfördelningar .

För kontinuerliga sannolikhetsfördelningar , med $P(dx)=p(x)dx$ och $Q( dx)=q(x)dx$ där $p(x)$ och $q(x)$ är sannolikhetstäthetsfunktionerna , Bhattacharyya-koefficienten definieras som

$BC(P,Q)=\int _{\mathcal {X}}{\sqrt {p(x)q( x)}}\,dx$ .

Mer generellt, givet två sannolikhetsmått $P,Q$ på ett mätbart utrymme ${\displaystyle ({\mathcal {X}},{\mathcal {B}})} ,$ låt $\lambda$ vara ett ( sigma finit ) mått så att $P$ och $Q$ är absolut kontinuerliga med avseende på $\lambda$ dvs så att $P(dx)=p(x)\lambda (dx)$ och $Q(dx) )=q(x)\lambda (dx)$ för sannolikhetstäthetsfunktioner $p,q$ med avseende på $\lambda$ definierad $\lambda$ -nästan överallt. Ett sådant mått, även ett sådant sannolikhetsmått, finns alltid, t.ex. $\lambda ={\tfrac {1}{2}}(P+Q)$ . Definiera sedan Bhattacharrya-måttet på $({\mathcal {X}},{\mathcal {B}})$ med

$bc(dx|P,Q)={\sqrt {p(x)q(x)}}\,\lambda (dx)={\sqrt {{\frac {P(dx)}{\lambda (dx)}}(x){\frac {Q(dx)}{\lambda (dx)}}(x)}}\lambda (dx).$

Det beror inte på måttet $\lambda$ , för om vi väljer ett mått $\mu$ så att $\lambda$ och ett annat måttval $\lambda '$ är absolut kontinuerliga dvs $\lambda =l(x)\mu$ och $\lambda '=l'(x)\mu$ , då

$P(dx)=p(x)\lambda (dx)=p'(x)\lambda '(dx)=p(x)l(x)\mu (dx) =p'(x)l'(x)\mu (dx)$ ,

och liknande för $Q$ . Det har vi då

$bc(dx|P,Q)={\sqrt {p(x)q(x)}}\,\lambda (dx)={\sqrt {p(x)q( x)}}\,l(x)\mu (x)={\sqrt {p(x)l(x)q(x)\,l(x)}}\mu (dx)={\sqrt { p'(x)l'(x)q'(x)l'(x)}}\,\mu (dx)={\sqrt {p'(x)q'(x)}}\,\lambda '(dx)$ .

Vi definierar slutligen Bhattacharyya-koefficienten

$BC(P,Q)=\int _{ \mathcal {X}}bc(dx|P,Q)=\int _{\mathcal {X}}{\sqrt {p(x)q(x)}}\,\lambda (dx)$ .

beror inte kvantiteten ${\displaystyle BC(P,Q)} på$$\lambda$ , och av Cauchy-olikheten $0\leq BC(P,Q)\leq 1$ . I synnerhet om $P(dx)=p(x)Q(dx)$ är absolut kontinuerlig i förhållande till $Q$ med Radon Nikodym-derivatan ${\displaystyle p(x)={\frac {P(dx)}{Q(dx)}}(x)} ,$ sedan

$$BC(P,Q)=\int _{\mathcal {X}}{\sqrt {p(x)}}Q(dx)=\int _{\mathcal {X}}{\sqrt {\frac {P(dx)}{Q(dx)}}}Q(dx)=E_{Q}\vänster[{\sqrt {\frac {P(dx)}{Q(dx)}}}\ höger]$$

Egenskaper

$0\leq BC\leq 1$ och $0\leq D_{B}\leq \infty$ .

$D_{B}$ följer inte triangelolikheten , även om Hellingeravståndet ${\sqrt {1-BC(p,q)}}$ gör det.

Låt $p\sim {\mathcal {N}}(\mu _{p},\sigma _{p}^{2})$ , ${\displaystyle q\sim {\mathcal {N}}(\mu _{q},\sigma _{q}^{2})} ,$ där ${ \displaystyle {\mathcal {N}}(\mu ,\sigma ^{2})}$ är normalfördelningen med medelvärde $\mu$ och varians $\sigma ^{2}$ , då

$D_{B }(p,q)={\frac {1}{4}}{\frac {(\mu _{p}-\mu _{q})^{2}}{\sigma _{p}^{ 2}+\sigma _{q}^{2}}}+{\frac {1}{2}}\ln \left({\frac {\sigma _{p}^{2}+\sigma _{ q}^{2}}{2\sigma _{p}\sigma _{q}}}\right)$

Och i allmänhet, givet två multivariata normalfördelningar p $\displaystyle p_{i}={\mathcal {N}}({\boldsymbol {\mu }}_{i},\ ,{\boldsymbol {\Sigma }}_{i})}$ ,

$D_{ B}(p_{1},p_{2})={1 \över 8}({\boldsymbol {\mu }}_{1}-{\boldsymbol {\mu}}_{2})^{T }{\boldsymbol {\Sigma }}^{-1}({\boldsymbol {\mu }}_{1}-{\boldsymbol {\mu }}_{2})+{1 \over 2}\ln \,\left({\det {\boldsymbol {\Sigma }} \over {\sqrt {\det {\boldsymbol {\Sigma }}_{1}\,\det {\boldsymbol {\Sigma }}_{ 2}}}}\höger),$

där ${\displaystyle {\boldsymbol {\Sigma }}={{\boldsymbol {\Sigma }}_{1}+{\boldsymbol {\Sigma }}_{2} \over 2}.} Observera att den första termen$ är ett kvadratiskt Mahalanobis-avstånd .

Ansökningar

Bhattacharyya-koefficienten kvantifierar "närheten" av två slumpmässiga statistiska urval.

Givet två sekvenser från distributionerna $P,Q$ , placera dem i $n$ hinkar och låt frekvensen av sampel från $P$ i bucket $i$ vara $p_{i}$ , och på liknande sätt för $q_{i}$ , då är provet Bhattacharyya-koefficienten

$BC(\mathbf {p} ,\mathbf {q} )=\summa _{i=1}^{n}{\ sqrt {p_{i}q_{i}}},$

som är en estimator av $BC(P,Q)$ . Kvaliteten på uppskattningen beror på valet av skopor; för få hinkar skulle överskatta $BC(P,Q)$ , medan för många skulle underskatta..

En vanlig uppgift vid klassificering är att uppskatta klassernas separerbarhet. Upp till en multiplikativ faktor är det kvadratiska Mahalanobis-avståndet ett specialfall av Bhattacharyya-avståndet när de två klasserna är normalfördelade med samma varianser. När två klasser har liknande medel men signifikant olika varianser, skulle Mahalanobis-avståndet vara nära noll, medan Bhattacharyya-avståndet inte skulle vara det.

Bhattacharyya-koefficienten används vid konstruktionen av polära koder .

Bhattacharyya-avståndet används för extrahering och urval av funktioner, bildbehandling, högtalarigenkänning och telefonklustring.

Ett "Bhattacharyya-utrymme" har föreslagits som en funktionsvalsteknik som kan tillämpas på textursegmentering.

Historia

Både Bhattacharyya-avståndet och Bhattacharyya-koefficienten är uppkallade efter Anil Kumar Bhattacharyya , en statistiker som arbetade på 1930-talet vid Indian Statistical Institute . Han utvecklade metoden för att mäta avståndet mellan två icke-normala fördelningar och illustrerade detta med de klassiska multinomiska populationerna samt sannolikhetsfördelningar som är absolut kontinuerliga med avseende på Lebesgue-måttet. Det senare arbetet dök upp delvis 1943 i Bulletin of the Calcutta Mathematical Society , medan den tidigare delen, trots att de lämnats in för publicering 1941, dök upp nästan fem år senare i Sankhya .

Se även

• Bhattacharyya vinkel
• Kullback–Leibler divergens
• Hellinger avstånd
• Mahalanobis avstånd
• Chernoff bunden
• Rényi entropi
• F-divergens
• Trohet av kvanttillstånd

•   Nielsen, F.; Boltz, S. (2010). "Burbea-Rao och Bhattacharyya centroider". IEEE-transaktioner på informationsteori . 57 (8): 5455–5466. arXiv : 1004.5049 . doi : 10.1109/TIT.2011.2159046 . S2CID 14238708 .

• Kailath, T. (1967). "Divergensen och Bhattacharyya-avståndsmätningarna i signalval". IEEE-transaktioner på kommunikationsteknik . 15 (1): 52–60. doi : 10.1109/TCOM.1967.1089532 .

• Djouadi, A.; Snorrason, O.; Garber, F. (1990). "Kvaliteten på träningsprovuppskattningar av Bhattacharyya-koefficienten". IEEE-transaktioner på mönsteranalys och maskinintelligens . 12 (1): 92–97. doi : 10.1109/34.41388 .

• För en kort lista över fastigheter, se: http://www.mtm.ufsc.br/~taneja/book/node20.html

externa länkar

• "Bhattacharyya distans" , Encyclopedia of Mathematics , EMS Press , 2001 [1994]
• Bhattacharyyas avståndsmått som en föregångare till genetiska avståndsmått, Journal of Biosciences, 2004
• Statistisk intuition av Bhattacharyyas avstånd