Relevansfeedback

Relevansåterkoppling är en funktion i vissa system för informationshämtning . Tanken bakom relevansfeedback är att ta de resultat som ursprungligen returneras från en given fråga, att samla in användarfeedback och att använda information om huruvida dessa resultat är relevanta för att utföra en ny fråga. Vi kan med fördel skilja mellan tre typer av feedback: explicit feedback, implicit feedback och blind eller "pseudo" feedback.

Explicit feedback

Explicit feedback erhålls från bedömare av relevans som anger relevansen av ett dokument som hämtats för en fråga. Denna typ av feedback definieras som explicit endast när bedömarna (eller andra användare av ett system) vet att den feedback som ges tolkas som relevansbedömningar .

Användare kan ange relevans uttryckligen med hjälp av ett binärt eller graderat relevanssystem. Binär relevansfeedback indikerar att ett dokument antingen är relevant eller irrelevant för en given fråga. Graderad relevansåterkoppling indikerar relevansen av ett dokument för en fråga på en skala med siffror, bokstäver eller beskrivningar (som "inte relevant", "något relevant", "relevant" eller "mycket relevant"). Graderad relevans kan också ta formen av en kardinal ordning av dokument som skapats av en bedömare; det vill säga bedömaren placerar dokument av en resultatuppsättning i ordning efter (vanligtvis fallande) relevans. Ett exempel på detta skulle vara SearchWiki -funktionen implementerad av Google på deras sökwebbplats.

Informationen om relevansfeedback måste interpoleras med den ursprungliga frågan för att förbättra hämtningsprestandan, till exempel den välkända Rocchio-algoritmen .

Ett prestationsmått som blev populärt runt 2005 för att mäta användbarheten av en rankningsalgoritm baserad på den explicita relevansfeedbacken är normaliserad diskonterad kumulativ vinst . Andra mått inkluderar precision vid k och genomsnittlig medelprecision .

Implicit feedback

Implicit feedback härleds från användarens beteende, som att notera vilka dokument de gör och inte väljer för visning, hur lång tid det tar att titta på ett dokument, eller sidbläddring eller rullning. Det finns många signaler under sökprocessen som man kan använda för implicit feedback och vilken typ av information man ska ge som svar.

De viktigaste skillnaderna mellan implicit relevans feedback från explicit inkluderar:

  1. användaren bedömer inte relevansen till förmån för IR-systemet, utan tillfredsställer bara sina egna behov och
  2. användaren är inte nödvändigtvis informerad om att deras beteende (utvalda dokument) kommer att användas som relevant feedback

Ett exempel på detta är uppehållstid , som är ett mått på hur länge en användare ägnar åt att titta på sidan som länkas till i ett sökresultat. Det är en indikator på hur väl sökresultatet motsvarade användarens frågeavsikt och används som en återkopplingsmekanism för att förbättra sökresultaten.

Pseudo-relevansfeedback

Pseudo-relevansfeedback, även känd som blind relevansfeedback, tillhandahåller en metod för automatisk lokal analys. Den automatiserar den manuella delen av relevansfeedback, så att användaren får förbättrad hämtningsprestanda utan längre interaktion. Metoden är att göra normal hämtning för att hitta en initial uppsättning av de mest relevanta dokumenten, för att sedan anta att de överst "k"-rankade dokumenten är relevanta, och slutligen att göra relevansåterkoppling som tidigare under detta antagande. Proceduren är:

  1. Ta resultaten som returneras av den första frågan som relevanta resultat (endast översta k med k mellan 10 och 50 i de flesta experiment).
  2. Välj topp 20-30 (indikativt antal) termer från dessa dokument med till exempel tf-idf vikter.
  3. Utför Query Expansion, lägg till dessa termer i frågan och matcha sedan de returnerade dokumenten för den här frågan och returnera slutligen de mest relevanta dokumenten.

Vissa experiment, såsom resultat från Cornell SMART-systemet publicerat i (Buckley et al.1995), visar förbättring av hämtningssystemens prestanda med hjälp av pseudo-relevansfeedback i samband med TREC 4-experiment.

Denna automatiska teknik fungerar för det mesta. Bevis tyder på att det tenderar att fungera bättre än global analys. Genom en frågeexpansion kan vissa relevanta dokument som missats i den inledande omgången sedan hämtas för att förbättra den övergripande prestandan. Uppenbarligen beror effekten av denna metod starkt på kvaliteten på utvalda expansionstermer. Det har visat sig förbättra prestandan i TREC ad hoc-uppgiften [ citat behövs ] . Men det är inte utan farorna med en automatisk process. Till exempel, om frågan handlar om koppargruvor och de översta dokumenten handlar om gruvor i Chile, kan det finnas en frågedrift i riktning mot dokument i Chile. Dessutom, om orden som lagts till i den ursprungliga frågan inte är relaterade till frågeämnet, kommer kvaliteten på hämtningen sannolikt att försämras, särskilt vid webbsökning, där webbdokument ofta täcker flera olika ämnen. För att förbättra kvaliteten på expansionsord i pseudo-relevans-feedback har en positionell relevans-feedback för pseudo-relevans-feedback föreslagits för att välja från feedbackdokument de ord som är fokuserade på frågeämnet baserat på positioner för ord i feedbackdokument. Specifikt tilldelar den positionella relevansmodellen mer vikt åt ord som förekommer närmare frågeord baserat på intuitionen att ord närmare frågeord är mer sannolikt relaterade till frågeämnet.

Blind feedback automatiserar den manuella delen av relevansfeedback och har fördelen att bedömare inte krävs.

Använda relevansinformation

Relevansinformation används genom att använda innehållet i de relevanta dokumenten för att antingen justera vikten av termer i den ursprungliga frågan, eller genom att använda innehållet för att lägga till ord i frågan. Relevansfeedback implementeras ofta med hjälp av Rocchio-algoritmen .

Vidare läsning

Hämtad från " https://en.wikipedia.org/w/index.php?title=Relevance_feedback&oldid=1123733818 "