Scotts Pi

Scotts pi (uppkallad efter William A Scott ) är en statistik för att mäta interbedömartillförlitlighet för nominella data i kommunikationsstudier . Textliga enheter kommenteras med kategorier av olika kommentatorer, och olika mått används för att bedöma graden av överensstämmelse mellan kommentatorerna, varav en är Scotts pi. Eftersom automatisk anteckning av text är ett populärt problem inom naturlig språkbehandling och målet är att få datorprogrammet som utvecklas att stämma överens med människorna i de anteckningar det skapar, är det viktigt att bedöma i vilken utsträckning människor håller med varandra. fastställa en rimlig övre gräns för datorns prestanda.

Introduktion

Scotts pi liknar Cohens kappa genom att de förbättras på enkel observerad överensstämmelse genom att ta hänsyn till graden av överensstämmelse som kan förväntas av en slump. Men i varje statistik beräknas den förväntade överenskommelsen något annorlunda. Scotts pi gör antagandet att annotatorer har samma fördelning av svar, vilket gör Cohens kappa något mer informativt. Scotts pi utökas till mer än två annotatorer av Fleiss kappa .

Ekvationen för Scotts pi, som i Cohens kappa , är:

$\pi ={\frac {\Pr(a)-\Pr(e)}{1-\Pr(e)}} ,$

Emellertid beräknas Pr(e) med hjälp av kvadratiska "fogproportioner" som är kvadratiska aritmetiska medelvärden av marginalproportionerna (medan Cohens använder kvadratiska geometriska medelvärden av dem).

Arbetat exempel

Förvirringsmatris för två kommentatorer, tre kategorier {Yes, No, Maybe} och 45 objekt betygsatta (90 betyg för två kommentatorer):

	Ja	Nej	Kanske	Marginalsumma
Ja	1	2	3	6
Nej	4	5	6	15
Kanske	7	8	9	24
Marginalsumma	12	15	18	45

För att beräkna den förväntade överensstämmelsen, summera marginaler för annotatorer och dividera med det totala antalet betyg för att få gemensamma proportioner. Kvadrat och totalt dessa:

	Ann1	Ann2	Joint Proportion	JP Squared
Ja	12	6	(12 + 6)/90 = 0,2	0,04
Nej	15	15	(15 + 15)/90 = 0,333	0,111
Kanske	18	24	(18 + 24)/90 = 0,467	0,218
Total				0,369

För att beräkna observerad överensstämmelse, dividera antalet objekt som kommentatorerna kom överens om med det totala antalet objekt. I detta fall,

$\Pr(a)={\frac {1+5+9}{45}}=0,333.$

Givet att Pr(e) = 0,369 är Scotts pi då

$\pi ={\frac {0.333-0.369}{1-0.369}}=-0.057.$

Se även

• Krippendorffs alfa

• Scott, W. (1955). "Tillförlitlighet hos innehållsanalys: fallet med kodning i nominell skala." Public Opinion Quarterly, 19(3), 321-325.
• Krippendorff, K. (2004b) "Tillförlitlighet i innehållsanalys: Några vanliga missuppfattningar och rekommendationer." i Human Communication Research. Vol. 30, sid. 411-433.