ROUGE (metrisk)
ROUGE , eller Recall-Oriented Understudy for Gisting Evaluation , är en uppsättning mätvärden och ett mjukvarupaket som används för att utvärdera programvara för automatisk sammanfattning och maskinöversättning i naturlig språkbehandling . Mätvärdena jämför en automatiskt producerad sammanfattning eller översättning mot en referens eller en uppsättning referenser (människproducerad) sammanfattning eller översättning.
Metrik
Följande fem utvärderingsmått är tillgängliga.
- ROUGE-N: Överlappning av n-gram mellan system- och referenssammanfattningar.
- ROUGE-1 hänvisar till överlappningen av unigram (varje ord) mellan system- och referenssammanfattningar.
- ROUGE-2 hänvisar till överlappningen av bigram mellan system- och referenssammanfattningar.
- ROUGE-L: Longest Common Subsequence (LCS) baserad statistik. Längsta vanliga följdproblem tar hänsyn till meningsnivåstrukturlikhet naturligt och identifierar längsta samförekommande i sekvensen n-gram automatiskt.
- ROUGE-W: Viktad LCS-baserad statistik som gynnar på varandra följande LCS:er .
- ROUGE-S: Hoppa över bigrambaserad samförekomststatistik. Skip-bigram är valfritt ordpar i sin meningsordning.
- ROUGE-SU: Hoppa över bigram plus unigrambaserad statistik om samtidig förekomst.