Förvirringsmatris

Terminologi och härledningar från en förvirringsmatris
tillstånd positivt (P) antalet verkliga positiva fall i datavillkoret negativa (N) antalet verkliga negativa fall i datan sant positiva (TP) Ett testresultat som korrekt indikerar närvaron av ett tillstånd eller karakteristiskt sant negativt (TN ) Ett testresultat som korrekt indikerar frånvaron av ett tillstånd eller karakteristiskt falskt positivt (FP) Ett testresultat som felaktigt indikerar att ett visst tillstånd eller attribut är närvarande falskt negativt (FN) Ett testresultat som felaktigt indikerar att ett visst tillstånd eller attribut är frånvarande känslighet , återkallelse , träfffrekvens eller sann positiv frekvens (TPR) $\mathrm {TPR} ={\frac { \mathrm {TP} }{\mathrm {P} }}={\frac {\mathrm {TP} }{\mathrm {TP} +\mathrm {FN} }}=1-\mathrm {FNR}$ specificitet , selektivitet eller sann negativ frekvens (TNR) ${\displaystyle \mathrm {TNR} ={\frac {\mathrm {TN} }{\ mathrm {N} }}={\frac {\mathrm {TN} }{\mathrm {TN} +\mathrm {FP} }}=1-\mathrm {FPR} } precision eller positivt prediktivt$ värde ( PPV ) $\mathrm {PPV} ={\frac {\mathrm {TP} }{\mathrm {TP} +\mathrm {FP} }}=1 -\mathrm {FDR}$ negativt prediktivt värde (NPV) $\mathrm {NPV} ={\frac {\mathrm {TN} }{ \mathrm {TN} +\mathrm {FN} }}=1-\mathrm {FOR}$ missfrekvens eller falsk negativ frekvens (FNR) $\mathrm {FNR} ={\frac {\mathrm {FN} }{\mathrm {P} }}={\frac {\mathrm {FN} }{\mathrm {FN} +\mathrm { TP} }}=1-\mathrm {TPR}$ fall-out eller falsk positiv frekvens (FPR) $\mathrm { FPR} ={\frac {\mathrm {FP} }{\mathrm {N} }}={\frac {\mathrm {FP} }{\mathrm {FP} +\mathrm {TN} }}=1-\ mathrm {TNR}$ falsk upptäcktsfrekvens (FDR) $\mathrm {FDR} ={\frac {\mathrm {FP} }{\mathrm {FP} +\mathrm {TP} }}=1-\mathrm {PPV}$ falsk utelämnandefrekvens (FOR) ${\displaystyle \mathrm {FOR } ={\frac {\mathrm {FN} }{\mathrm {FN} +\mathrm {TN} }}=1-\mathrm {NPV} } Positivt sannolikhetsförhållande (LR$ + ) ${\displaystyle \mathrm {LR+} ={\frac {\mathrm {TPR} }{\mathrm {FPR} }}} Negativt sannolikhetsförhållande (LR-) L$ R − $\ mathrm {LR-} ={\frac {\mathrm {FNR} }{\mathrm {TNR} }}}$ prevalenströskel (PT) ${\displaystyle \mathrm {PT } ={\frac {\sqrt {\mathrm {FPR} }}{{\sqrt {\mathrm {TPR} }}+{\sqrt {\mathrm {FPR} }}}}} hotpoäng (TS) eller$ kritisk framgångsindex (CSI) $\mathrm {TS} ={\frac {\mathrm {TP} }{\mathrm {TP} +\mathrm {FN} + \mathrm {FP} }}$ Prevalens ${\frac {\mathrm {P} }{\mathrm {P} +\mathrm {N} }}$ noggrannhet (ACC) $\mathrm {ACC} ={\frac {\mathrm {TP} +\mathrm {TN} }{ \mathrm {P} +\mathrm {N} }}={\frac {\mathrm {TP} +\mathrm {TN} }{\mathrm {TP} +\mathrm {TN} +\mathrm {FP} +\ mathrm {FN} }}$ balanserad noggrannhet (BA) $\mathrm {BA} ={\frac {TPR+TNR}{2}}$ F1-poäng är övertonen medelvärde av precision och känslighet : $\mathrm {F} _{1} =2\ gånger {\frac {\mathrm {PPV} \times \mathrm {TPR} }{\mathrm {PPV} +\mathrm {TPR} }}={\frac {2\mathrm {TP} }{2\ mathrm {TP} +\mathrm {FP} +\mathrm {FN} }}$ phi-koefficient (φ eller r _φ ) eller Matthews korrelationskoefficient (MCC) ${\displaystyle \mathrm {MCC} ={\frac {\mathrm {TP} \times \mathrm$ index (FM) $\mathrm {FM} ={\sqrt {{\frac {TP}{TP+FP}}\times {\frac {TP}{TP+FN}}}} ={\sqrt {PPV\times TPR}}$ informeradhet eller bookmakerinformation (BM) $\mathrm {BM} =\mathrm {TPR} +\mathrm {TNR } -1$ markering (MK) eller deltaP (Δp) $\mathrm {MK} =\mathrm {PPV} +\mathrm {NPV} -1$ Diagnostiska odds ratio (DOR) $\mathrm {DOR} ={\frac {\mathrm {LR+} }{\mathrm {LR-} }}$ Källor: Fawcett (2006), Piryonesi och El-Diraby (2020), Powers (2011), Ting (2011), CAWCR, D. Chicco & G. Jurman (2020, 2021, 2023) , Tharwat (2018). Balayla (2020)

Inom området för maskininlärning och specifikt problemet med statistisk klassificering , är en förvirringsmatris , även känd som en felmatris, en specifik tabelllayout som möjliggör visualisering av prestandan hos en algoritm, vanligtvis en övervakad inlärning (vid oövervakad inlärning av den) kallas vanligtvis en matchande matris ). Varje rad i matrisen representerar instanserna i en faktisk klass medan varje kolumn representerar instanserna i en förutsagd klass, eller vice versa – båda varianterna finns i litteraturen. Namnet härrör från det faktum att det gör det lätt att se om systemet blandar ihop två klasser (dvs. brukar felmärka den ena som en annan).

Det är en speciell typ av beredskapstabell , med två dimensioner ("faktisk" och "förutspådd"), och identiska uppsättningar av "klasser" i båda dimensionerna (varje kombination av dimension och klass är en variabel i beredskapstabellen).

Exempel

Med ett urval av 12 individer, 8 som har diagnostiserats med cancer och 4 som är cancerfria, där individer med cancer tillhör klass 1 (positiv) och icke-cancerindivider tillhör klass 0 (negativ), kan vi visa att data enligt följande:

Individuellt nummer	1	2	3	4	5	6	7	8	9	10	11	12
Faktisk klassificering	1	1	1	1	1	1	1	1	0	0	0	0

Anta att vi har en klassificerare som på något sätt skiljer på individer med och utan cancer, vi kan ta de 12 individerna och köra dem genom klassificeraren. Klassificeraren gör sedan 9 korrekta förutsägelser och missar 3: 2 individer med cancer som felaktigt förutspåtts vara cancerfria (prov 1 och 2), och 1 person utan cancer som felaktigt förutspås ha cancer (prov 9).

Individuellt nummer	1	2	3	4	5	6	7	8	9	10	11	12
Faktisk klassificering	1	1	1	1	1	1	1	1	0	0	0	0
Förutspådd klassificering	0	0	1	1	1	1	1	1	1	0	0	0

Observera att om vi jämför den faktiska klassificeringsuppsättningen med den förutspådda klassificeringsuppsättningen, finns det fyra olika utfall som kan resultera i en viss kolumn. Ett, om den faktiska klassificeringen är positiv och den förutsagda klassificeringen är positiv (1,1), kallas detta ett sant positivt resultat eftersom det positiva provet identifierades korrekt av klassificeraren. Två, om den faktiska klassificeringen är positiv och den förutsagda klassificeringen är negativ (1,0), kallas detta ett falskt negativt resultat eftersom det positiva provet felaktigt identifieras av klassificeraren som negativt. För det tredje, om den faktiska klassificeringen är negativ och den förutsagda klassificeringen är positiv (0,1), kallas detta ett falskt positivt resultat eftersom det negativa provet felaktigt identifieras av klassificeraren som positivt. För det fjärde, om den faktiska klassificeringen är negativ och den förutsagda klassificeringen är negativ (0,0), kallas detta ett sant negativt resultat eftersom det negativa provet identifieras korrekt av klassificeraren.

Vi kan sedan utföra jämförelsen mellan faktiska och förutspådda klassificeringar och lägga till denna information i tabellen, så att korrekta resultat visas i grönt så att de är lättare att identifiera.

Individuellt nummer	1	2	3	4	5	6	7	8	9	10	11	12
Faktisk klassificering	1	1	1	1	1	1	1	1	0	0	0	0
Förutspådd klassificering	0	0	1	1	1	1	1	1	1	0	0	0
Resultat	FN	FN	TP	TP	TP	TP	TP	TP	FP	TN	TN	TN

Mallen för alla binära förvirringsmatriser använder de fyra typerna av resultat som diskuterats ovan (sanna positiva, falska negativa, falska positiva och sanna negativa) tillsammans med de positiva och negativa klassificeringarna. De fyra resultaten kan formuleras i en 2×2 förvirringsmatris , enligt följande:

		Förutspått tillstånd		^Källor:
	Total population = P + N	Positiv (PP)	Negativt (PN)
Faktiskt skick	Positiv (P)	Sant positiv (TP)	Falskt negativt (FN)
Faktiskt skick	Negativt (N)	Falskt positivt (FP)	Sant negativt (TN)

Färgkonventionen för de tre datatabellerna ovan valdes för att matcha denna förvirringsmatris, för att enkelt kunna differentiera data.

Nu kan vi helt enkelt summera varje typ av resultat, ersätta in i mallen och skapa en förvirringsmatris som kortfattat kommer att sammanfatta resultaten av att testa klassificeraren:

		Förutspått tillstånd
	Total 8 + 4 = 12	Cancer 7	Icke-cancer 5
Faktiskt skick	Cancer 8	6	2
Faktiskt skick	Icke-cancer 4	1	3

I denna förvirringsmatris, av de 8 proverna med cancer, bedömde systemet att 2 var cancerfria, och av de 4 proverna utan cancer förutspådde det att 1 hade cancer. Alla korrekta förutsägelser finns i tabellens diagonal (markerade i grönt), så det är lätt att visuellt inspektera tabellen för förutsägelsefel, eftersom värden utanför diagonalen kommer att representera dem. Genom att summera de 2 raderna i förvirringsmatrisen kan man också härleda det totala antalet positiva (P) och negativa (N) prover i den ursprungliga datamängden, dvs $P=TP+FN$ och $N=FP+TN$ .

Tabell av förvirring

I prediktiv analys är en förvirringstabell (ibland även kallad förvirringsmatris ) en tabell med två rader och två kolumner som rapporterar antalet sanna positiva , falska negativa , falska positiva och sanna negativa . Detta möjliggör en mer detaljerad analys än att bara observera andelen korrekta klassificeringar (noggrannhet). Noggrannhet kommer att ge missvisande resultat om datamängden är obalanserad; det vill säga när antalet observationer i olika klasser varierar mycket.

Till exempel, om det fanns 95 cancerprover och endast 5 icke-cancerprover i data, kan en viss klassificerare klassificera alla observationer som att de har cancer. Den totala noggrannheten skulle vara 95 %, men mer detaljerat skulle klassificeraren ha en 100 % igenkänningsgrad ( känslighet ) för cancerklassen men en 0 % igenkänningsgrad för icke-cancerklassen. F1-poängen är ännu mer opålitlig i sådana fall, och här skulle ge över 97,4%, medan informeradhet tar bort sådan fördom och ger 0 som sannolikheten för ett välgrundat beslut för någon form av gissning (här alltid gissning av cancer).

Enligt Davide Chicco och Giuseppe Jurman är det mest informativa måttet för att utvärdera en förvirringsmatris Matthews korrelationskoefficient (MCC) .

Andra mätvärden kan inkluderas i en förvirringsmatris, var och en av dem har sin betydelse och användning.

		Förutspått tillstånd		^Källor:
	Total population = P + N	Positiv (PP)	Negativt (PN)	Informedness , bookmaker informedness (BM) = TPR + TNR − 1	Prevalenströskel (PT) = ${\mathsf {\tfrac {{\sqrt {{\text{TPR}}\times {\text{FPR}}}}-{\text {FPR}}}{{\text{TPR}}-{\text{FPR}}}}}$
Faktiskt skick	Positiv (P)	Sann positiv (TP), träff	Falskt negativ (FN), typ II fel , miss, underskattning	Sann positiv frekvens (TPR), återkallelse , känslighet (SEN), sannolikhet för upptäckt, träfffrekvens, effekt = TP / P = 1 − FNR	Falsk negativ frekvens (FNR), miss rate = FN / P = 1 − TPR
Faktiskt skick	Negativt (N)	Falskt positivt (FP), typ I-fel , falskt larm, överskattning	Sant negativ (TN), korrekt avslag	Falsk positiv frekvens (FPR), sannolikhet för falskt larm, fall-out = FP / N = 1 − TNR	Sann negativ frekvens (TNR), specificitet (SPC), selektivitet = TN / N = 1 − FPR
	Prevalens = P / P + N	Positivt prediktivt värde (PPV), precision = TP / PP = 1 − FDR	Falsk utelämnandefrekvens (FOR) = FN / PN = 1 − NPV	Positiv sannolikhetskvot (LR+) = TPR / FPR	Negativ sannolikhetskvot (LR−) = FNR / TNR
	Noggrannhet (ACC) = TP + TN / P + N	Falsk discovery rate (FDR) = FP / PP = 1 − PPV	Negativt prediktivt värde (NPV) = TN / PN = 1 − FOR	Markering (MK), deltaP (Δp) = PPV + NPV − 1	Diagnostisk oddskvot (DOR) = LR+ / LR−
	Balanserad noggrannhet (BA) = TPR + TNR / 2	F ₁ poäng = 2 PPV × TPR / PPV + TPR = 2 TP / 2 TP + FP + FN	Fowlkes–Mallows index (FM) = $\scriptstyle {\mathsf {\sqrt {{\text{PPV}}\times {\text{TPR}}}}}$	Matthews korrelationskoefficient (MCC) = $\scriptstyle {\mathsf {\sqrt {{\text{TPR}}\times {\text{TNR}}\times {\text{PPV} }\times {\text{NPV}}}}}$ $\scriptstyle -{\mathsf {\sqrt {{\text{FNR}}\times {\text{FPR} }\times {\text{FOR}}\times {\text{FDR}}}}}$	Hotpoäng (TS), kritiskt framgångsindex (CSI), Jaccard-index = TP / TP + FN + FP

Förvirringsmatriser med fler än två kategorier

Förvirringsmatris är inte begränsad till binär klassificering och kan också användas i flerklassklassificerare. De ovan diskuterade förvirringsmatriserna har bara två villkor: positiva och negativa. Till exempel sammanfattar tabellen nedan kommunikation av ett visslat språk mellan två talare, nollvärden utelämnas för tydlighetens skull.

Uppfattad vokal Vokal framställd	i	a	o	u
i	15	1
e	1	1
a		79	5
o		4	15	3
u			2	2

Se även

Positiva och negativa prediktiva värden

Matrisklasser _
Explicit begränsade poster	Alternant Antidiagonal Anti-Hermitian Antisymmetrisk Pilspets Band Bidiagonal Bisymmetrisk Block-diagonal Blockera Block tridiagonal Boolean Cauchy Centrosymmetrisk Konferens Komplexa Hadamard Kopositiv Diagonalt dominant Diagonal Diskret Fourier Transform Elementärt Likvärdig Frobenius Generaliserad permutation Hadamard Hankel Hermitian Hessenberg Ihålig Heltal Logisk Matrisenhet Metzler Moore Icke negativ Pentadiagonal Permutation Persymmetrisk Polynom Kvaternionisk Signatur Skev-Hermitian Skevsymmetrisk Horisont Gles Sylvester Symmetrisk Toeplitz Triangulär Tridiagonal Vandermonde Walsh Z
Konstant	Utbyta Hilbert Identitet Lehmer Av ettor Pascal Pauli Redheffer Flytta Noll
Villkor för egenvärden eller egenvektorer	Följeslagare Konvergerande Defekt Bestämd Diagonaliserbar Hurwitz Positivt-definitivt Stieltjes
Tillfredsställande villkor på produkter eller inverser	Kongruent Idempotent eller projektion Inverterbar Ofrivilligt Nilpotent Vanligt Ortogonal Unimodulär Unipotent Enhetlig Helt unimodulärt Vägning
Med specifika applikationer	Justera Växlande tecken Förändrad Bézout Carleman Cartan Cirkulerande Kofaktor Kommutering Förvirring Coxeter Distans Duplicering och eliminering Euklidiskt avstånd Fundamental (linjär differentialekvation) Generator Gram Hessian Hushållare Jacobian Ögonblick Löna sig Plocka Slumpmässig Rotation Seifert Klippa Likhet Symplektisk Helt positivt Omvandling
Används i statistik	Centrering Korrelation Kovarians Design Dubbelstokastisk Fisher information Hatt Precision Stokastisk Övergång
Används i grafteori	Närhet Biadjacency Grad Edmonds Frekvens Laplacian Seidel angränsning Tutte
Används inom naturvetenskap och teknik	Cabibbo–Kobayashi–Maskawa Densitet Grundläggande (datorseende) Lugnt associativt Gamma Gell-Mann Hamiltonian Oregelbunden Överlappning S Statsövergång Utbyte Z (kemi)
Relaterade termer	Jordan normal form Linjärt oberoende Matris exponentiell Matrisrepresentation av koniska sektioner Perfekt matris Pseudoinvers Rad echelon form Wronskian
Matematikportal Lista över matriser Kategori:Matriser