Multimediasökning

Multimediasökning möjliggör informationssökning med hjälp av frågor i flera datatyper inklusive text och andra multimediaformat . Multimediasökning kan implementeras genom multimodala sökgränssnitt , dvs gränssnitt som gör det möjligt att skicka sökfrågor inte bara som textförfrågningar, utan även via andra medier. Vi kan särskilja två metoder i multimediasökning:

Metadatasökning : sökningen görs på lagren av metadata .
Fråga efter exempel : Interaktionen består i att skicka in en del information (t.ex. en video, en bild eller ett ljudstycke) i syfte att hitta liknande multimediaobjekt.

Metadatasökning

Sökning görs med hjälp av lagren i metadata som innehåller information om innehållet i en multimediafil. Metadatasökning är enklare, snabbare och effektivare eftersom istället för att arbeta med komplext material, som ett ljud, en video eller en bild, söker den med text.

Det finns tre processer som bör göras med denna metod:

Sammanfattning av medieinnehåll ( funktionsextraktion ). Resultatet av funktionsextraktion är en beskrivning.
Filtrering av mediebeskrivningar (till exempel eliminering av redundans )
Kategorisering av mediebeskrivningar i klasser.

Fråga efter exempel

I fråga efter exempel är elementet som används för att söka ett multimediainnehåll (bild, ljud, video). Med andra ord är frågan ett media. Ofta används det audiovisuell indexering . Det kommer att bli nödvändigt att välja de kriterier vi ska använda för att skapa metadata. Sökprocessen kan delas in i tre delar:

Generera deskriptorer för media som vi ska använda som fråga och deskriptorer för media i vår databas .
Jämför beskrivningar av frågan och vår databas media.
Lista media sorterade efter maximal slump.

Multimedia sökmotor

Det finns två stora sökfamiljer, beroende på innehållet:

Visuell sökmotor

Inom denna familj kan vi urskilja två ämnen: bildsökning och videosökning

Bildsökning : Även om det vanligtvis används enkla metadatasökningar, används allt oftare indexeringsmetoder för att göra resultaten av användarnas frågor mer exakta med hjälp av fråga för exempel . Till exempel QR-koder .
Videosökning : Videor kan sökas efter enkel metadata eller med komplex metadata som genereras genom indexering. Ljudet i videorna skannas vanligtvis av ljudsökmotorer.

Sökmotor för ljud

Det finns olika metoder för ljudsökning :

Röstsökmotor : Låter användaren söka med tal istället för text. Den använder algoritmer för taligenkänning . Ett exempel på denna teknik är Google Voice Search .
Musiksökmotor: Även om de flesta program som söker efter musik fungerar på enkla metadata (artist, spårnamn, album...) . Det finns några program för musikigenkänning , till exempel Shazam eller SoundHound .

Se även