Andra ordningens samtidiga förekomst punktvis ömsesidig information

Inom beräkningslingvistik är andra ordningens samtidiga förekomst punktvis ömsesidig information ett semantiskt likhetsmått . För att bedöma graden av association mellan två givna ord använder den punktvis ömsesidig information (PMI) för att sortera listor över viktiga grannord för de två målorden från en stor korpus .

Historia

PMI-IR-metoden använde AltaVistas sökfrågesyntax för avancerad sökning för att beräkna sannolikheter . Observera att sökoperatören "NÄRA" för AltaVista är en viktig operatör i PMI-IR-metoden. Men det är inte längre i bruk i AltaVista; detta innebär att det ur implementeringssynpunkt inte är möjligt att använda PMI-IR-metoden i samma form i nya system. Hur som helst, ur algoritmisk synvinkel, är fördelen med att använda SOC-PMI att den kan beräkna likheten mellan två ord som inte förekommer ofta, eftersom de förekommer tillsammans med samma angränsande ord. Till exempel British National Corpus (BNC) använts som en källa till frekvenser och sammanhang.

Metodik

Metoden tar hänsyn till de ord som är vanliga i båda listorna och aggregerar deras PMI-värden (från den motsatta listan) för att beräkna den relativa semantiska likheten. Vi definierar den punktvisa ömsesidiga informationsfunktionen för endast de ord som har $f^{b}(t_{i},w)>0$ ,

$f^{\text{pmi}}(t_{i },w)=\log _{2}{\frac {f^{b}(t_{i},w)\ gånger m}{f^{t}(t_{i})f^{t}( w)}},$

där $f^{t}(t_{i})$ berättar hur många gånger typen $t_{i}$ förekom i hela korpusen, $f^{b}(t_{i},w)$ berättar hur många gånger ordet $t_{i}$ förekom med ordet $w$ i ett sammanhangsfönster och $m$ är det totala antalet tokens i korpusen. Nu, för ordet $w$ , definierar vi en uppsättning ord, $X^{w}$ , sorterade i fallande ordning efter deras PMI-värden med $w$ och tagit topp- de flesta $\beta$ ord som har $f^{\text{pmi}}(t_{i},w)>0$ .

Mängden $X^{w}$ , innehåller orden $X_{i}^{w}$ ,

$X^{w}=\{X_{i}^{w}\}$ , där $i=1,2, \ldots ,\beta$ och

${ \displaystyle f^{\text{pmi}}(X_{1}^{w},w)\geq f^{\text{pmi}}(X_{2}^{w},w)\geq \cdots f^{\text{pmi}}(X_{\beta -1}^{w},w)\geq f^{\text{pmi}}(X_{\beta}^{w},w)}$

En tumregel används för att välja värdet på $\beta$ . β $\beta$ -PMI summeringsfunktionen för ett ord definieras med avseende på ett annat ord För ordet $w_{1}$ med avseende på ordet $w_{2}$ är det:

$f(w_{1},w_{2},\beta )=\ summa _{i=1}^{\beta }(f^{\text{pmi}}(X_{i}^{w_{1}},w_{2}))^{\gamma }$

där $f^{\text{pmi}}(X_{i}^{w_{1}},w_{2})>0$ som summerar alla positiva PMI-värden för ord i mängden $X^{w_{2}}$ också gemensamma för orden i mängden $X^{w_{1}}$ . Med andra ord, denna funktion aggregerar faktiskt de positiva PMI-värdena för alla semantiskt nära ord i $w_{2}$ som också är vanliga i $w_{1}$ s lista. $\gamma$ bör ha ett värde som är större än 1. Så $\beta$ -PMI summeringsfunktionen för ord $w_{1}$ med avseende på ordet $w_{2}$ som har $\beta =\beta _{1}$ och $\beta$ -PMI summeringsfunktionen för ord $w_{2}$ med respekt till ord $w_{1}$ med $\beta =\beta _{2}$ är

$f(w_{1},w_{2},\beta _ {1})=\summa _{i=1}^{\beta _{1}}(f^{\text{pmi}}(X_{i}^{w_{1}},w_{2}) )^{\gamma }$

och

$f(w_{2},w_{1},\beta _ {2})=\summa _{i=1}^{\beta _{2}}(f^{\text{pmi}}(X_{i}^{w_{2}},w_{1}) )^{\gamma }$

respektive.

Slutligen definieras den semantiska PMI-likhetsfunktionen mellan de två orden, $w_{1}$ och ${\displaystyle w_{2}} som$

$\mathrm {Sim} (w_{1},w_{2})={\frac {f(w_{1},w_{2},\beta _{1})}{\beta _{1 }}}+{\frac {f(w_{2},w_{1},\beta _{2})}{\beta _{2}}}.$

Den semantiska ordlikheten är normaliserad, så att den ger en likhetspoäng mellan $0$ och $1$ inklusive. Normaliseringen av semantisk likhetsalgoritm returnerar en normaliserad poäng av likhet mellan två ord. Det tar som argument de två orden, $r_{i}$ och $s_{j}$ , och ett maximalt värde, $\lambda$ , som returneras av den semantiska likheten funktion, Sim(). Algoritmen returnerar till exempel 0,986 för orden kyrkogård och kyrkogård med $\lambda =20$ (för SOC-PMI-metoden).

• Islam, A. och Inkpen, D. (2008). Semantisk textlikhet med hjälp av korpusbaserad ordlikhet och stränglikhet . ACM Trans. Knowl. Discov. Data 2, 2 (jul. 2008), 1–25.
• Islam, A. och Inkpen, D. (2006). Andra ordningens samtidiga förekomst PMI för att fastställa den semantiska likheten mellan ord, i Proceedings of the International Conference on Language Resources and Evaluation (LREC 2006), Genua, Italien, s. 1033–1038.